Q-learning
Q-learning：从入门到理解，再到足式机器人中的应用 Q-learning 是强化学习（Reinforcement Learning, RL）中最经典的算法之一。很多人第一次接触强化学习，都是从它开始的。它结构简单、思想清晰，而且把强化学习中几个最核心的问题都体现得很完整：状态是什么、动作怎么选、奖励如何定义、以及智能体如何通过试错逐步学会更优策略。 对于初学者来说，Q-learning 是理解强化学习的最佳入口；对于做机器人，尤其是足式机器人的人来说，它虽然未必直接用于高维连续控制，但它背后的思想——通过与环境交互不断更新动作价值——仍然是后续很多现代算法的基础。 这篇文章会从以下几个方面展开： Q-learning 解决的是什么问题 它的数学基础是什么 它为什么能学到“更好”的动作 具体更新公式如何理解 一个简单的 Python 示例 它在足式机器人中的意义与局限 1. 强化学习到底在做什么？ 在监督学习里，我们通常有一批带标签的数据，模型要做的是拟合输入和输出之间的映射。而在强化学习里，没有人直接告诉智能体“正确答案是什么”，智能体只能通过和环境不断交互，根据环...
(科普向)四足机器人的技术路线全景：从运动学、WBC、MPC到强化学习
四足机器人的技术路线全景：从运动学、WBC、MPC到强化学习 四足机器人自从宇树机器狗出圈后得到频繁讨论，原因在于足式机器人几乎把机器人领域里核心的、先进的问题都搬到了一台机器上，要面对机构设计，电机驱动，运动学，动力学，状态估计，轨迹规划，全身控制，强化学习以及仿真到实机的迁移。所以这类足式机器人给作为初学者的我造成不小的困扰,问题不在于技术的细节，路线很多，但它们之间的关系不那么清晰，如何做到力位混合控制？如何将学习策略和模型控制结合？我们常常缺少一条完整的技术脉络。 当你开始做机器人，最关键的不是先选一个最先进的策略，而是看你的目标任务是要跑一条结构化的赛道？或者跑通用的locomotion?还是要面对复杂的环境？层出不穷的技术路线不应该简单堆叠在一起,而是要回答一个更实际的问题：如果要把一台四足机器人从能站、能迈步，逐步做到稳定奔跑、跳跃越障、复杂地形适应，甚至进一步做到学习型 locomotion，那么中间到底要跨过哪些层次，每一层又解决什么问题。 四足机器人的发展可以理解成一条不断抬高控制层级的路线。最底层解决的是几何问题，也就是腿在哪里、足端在哪里、关节该转多少；再...
光刻技术
光刻工艺 光刻的要求 分辨率（高） 曝光视场（大） 图形对准精度（高） ——1/3最小特征尺寸 产率（大） 缺陷密度（低） 掩模版制作 CAD设计、模拟、验证后由图形发生器产生数字图形 x1掩模版制作——光刻式 x4或x5投影光刻版——投影式光刻 x4或x5投影光刻版在制版时容易检查缺陷 版上缺陷可以修补 蒙膜保护防止颗粒玷污 通过电子束在光刻胶层写入目标电路图案 对涂覆的光刻胶进行显影，得到与目标图案对应的光刻胶掩模 以光刻胶为掩膜，刻蚀下方的铬层，江图案转移至铬层 剥离剩余的光刻胶，露出铬层上的图案 检测图案的关键尺寸，确保尺寸精度符合要求 验证图案的位置精度，保证各特征的相对位置精确 清洁掩模版表面的残留杂质 检测掩模版上的缺陷（如针孔、多余铬点） 对检测处的缺陷进行修复，保留图案的完整性 在加装防尘膜前，再次清洁掩模版表面 安装防尘膜，避免后续使用中颗粒物污染掩模图案 完成所有工序得到掩模版 三种硅片曝光模式及系统 接触式光刻机 MERCURY LAMP汞灯：提供光刻所需的紫外光源，是图案转移的能量来源 MIRROR反射镜+CONDENSER LE...
