星语的博客

很多人第一次看 rsl_rl，会以为它只是“又一个 PPO 仓库”。但如果把源码真正拆开，你会发现它的核心价值并不只是实现了 PPO，而是把 模型结构、观测组织、采样存储、训练更新、蒸馏部署 这些环节统一进了一套非常清晰的接口里。 对于足式机器人来说，这种设计尤其重要。原因很简单：机器人强化学习不是只写一个 policy(obs) 就结束了。真实工程里你常常会同时面对这些问题： actor 和 critic 看到的观测不一样； 训练时可以用 privileged information，部署时却不能用； 有些任务只需要 MLP，有些任务要加 CNN 或 RNN； 训练时要高效支持并行环境、PPO、多卡同步，部署时又要能导出 JIT / ONNX。 而这组源码恰好把这些问题都落到了具体实现里。 本文会围绕你给出的几个核心文件，从 理论公式 和 工程实现 两条线同时解读 rsl_rl： MLP / MLPModel 如何构成整套模型抽象； CNNModel 和 RNNModel 如何复用这套接口； PPO 的采样、GAE、裁剪目标、KL 自适应学习率如何映射到代码； Disti...

Q-learning：从入门到理解，再到足式机器人中的应用 Q-learning 是强化学习（Reinforcement Learning, RL）中最经典的算法之一。很多人第一次接触强化学习，都是从它开始的。它结构简单、思想清晰，而且把强化学习中几个最核心的问题都体现得很完整：状态是什么、动作怎么选、奖励如何定义、以及智能体如何通过试错逐步学会更优策略。 对于初学者来说，Q-learning 是理解强化学习的最佳入口；对于做机器人，尤其是足式机器人的人来说，它虽然未必直接用于高维连续控制，但它背后的思想——通过与环境交互不断更新动作价值——仍然是后续很多现代算法的基础。 这篇文章会从以下几个方面展开： Q-learning 解决的是什么问题 它的数学基础是什么 它为什么能学到“更好”的动作 具体更新公式如何理解 一个简单的 Python 示例 它在足式机器人中的意义与局限 1. 强化学习到底在做什么？ 在监督学习里，我们通常有一批带标签的数据，模型要做的是拟合输入和输出之间的映射。而在强化学习里，没有人直接告诉智能体“正确答案是什么”，智能体只能通过和环境不断交互，根据环...

四足机器人的技术路线全景：从运动学、WBC、MPC到强化学习 四足机器人自从宇树机器狗出圈后得到频繁讨论，原因在于足式机器人几乎把机器人领域里核心的、先进的问题都搬到了一台机器上，要面对机构设计，电机驱动，运动学，动力学，状态估计，轨迹规划，全身控制，强化学习以及仿真到实机的迁移。所以这类足式机器人给作为初学者的我造成不小的困扰,问题不在于技术的细节，路线很多，但它们之间的关系不那么清晰，如何做到力位混合控制？如何将学习策略和模型控制结合？我们常常缺少一条完整的技术脉络。 当你开始做机器人，最关键的不是先选一个最先进的策略，而是看你的目标任务是要跑一条结构化的赛道？或者跑通用的locomotion?还是要面对复杂的环境？层出不穷的技术路线不应该简单堆叠在一起,而是要回答一个更实际的问题：如果要把一台四足机器人从能站、能迈步，逐步做到稳定奔跑、跳跃越障、复杂地形适应，甚至进一步做到学习型 locomotion，那么中间到底要跨过哪些层次，每一层又解决什么问题。 四足机器人的发展可以理解成一条不断抬高控制层级的路线。最底层解决的是几何问题，也就是腿在哪里、足端在哪里、关节该转多少；再...

光刻工艺 光刻的要求 分辨率（高） 曝光视场（大） 图形对准精度（高） ——1/3最小特征尺寸 产率（大） 缺陷密度（低） 掩模版制作 CAD设计、模拟、验证后由图形发生器产生数字图形 x1掩模版制作——光刻式 x4或x5投影光刻版——投影式光刻 x4或x5投影光刻版在制版时容易检查缺陷 版上缺陷可以修补 蒙膜保护防止颗粒玷污 通过电子束在光刻胶层写入目标电路图案 对涂覆的光刻胶进行显影，得到与目标图案对应的光刻胶掩模 以光刻胶为掩膜，刻蚀下方的铬层，江图案转移至铬层 剥离剩余的光刻胶，露出铬层上的图案 检测图案的关键尺寸，确保尺寸精度符合要求 验证图案的位置精度，保证各特征的相对位置精确 清洁掩模版表面的残留杂质 检测掩模版上的缺陷（如针孔、多余铬点） 对检测处的缺陷进行修复，保留图案的完整性 在加装防尘膜前，再次清洁掩模版表面 安装防尘膜，避免后续使用中颗粒物污染掩模图案 完成所有工序得到掩模版 三种硅片曝光模式及系统 接触式光刻机 MERCURY LAMP汞灯：提供光刻所需的紫外光源，是图案转移的能量来源 MIRROR反射镜+CONDENSER LE...