当前位置:首页 > 新闻资讯 > FPGA之家动态 >

一个资深FPGA工程师在人形机器人领域的技术创作汇总

时间:2025-02-05      来源:FPGA_UCY 关于我们 0

目录

1、在实用化人形机器人研发流程中深入应用FPGA技术的流程图(2024-02)

2、在实用化人形机器人控制系统中深入应用FPGA的框架设计(2024-03)

3、室联人形机器人:家政服务任务结构化、技术要点、深入应用FPGA的控制系统框架设计(2024-06)

4、韩国现代,波士顿动力的真命天子(2021-01)

5、关于波士顿动力Atlas机器人的最新动作:转体起跳,关于FPGA(2019-09)

6、关于在机器人领域深入应用FPGA技术的一些思考(2021-03)

7、关于在机器人领域深入应用FPGA技术的一些思考(续)(2021-04)

正文 1、在实用化人形机器人研发流程中深入应用FPGA技术的流程图(版本A)(基于工信部《人形机器人创新发展指导意见》)(2024-02)

链接中所附的流程图需要下载到PC再看。

技术思路:

将人形机器人视为一个多入多出的反馈控制系统,为实现工信部《人形机器人创新发展指导意见》(简称《意见》)提出的实用化人形机器人功能需求(其特征是应对真实场景下的复杂环境与任务、应对突发情况,下同),针对基于CPU+软件体系结构的人形机器人控制系统,在其中涉及多通道并行处理且需精准协同、强实时性(低延迟量+低延迟抖动量,下同)、大运算量、大数据传输量且构成实时性性能瓶颈的环节中导入FPGA。

流程图的起点是目前各研发团队已有的、基于CPU+软件体系结构的人形机器人产品,设计了对现有算法进行分析、评估、划分软/硬件任务(硬件算法任务由FPGA实现)的工作流程,设计了由FPGA实现所分配算法的工作流程。

特别重要的是,流程图针对在上述过程中需要由FPGA工程师与系统工程师、软件工程师进行合作的接口工作,对任务划分、工作接口、验证迭代、实施步骤做出了安排,使各方可以基于现有积累而各司其职、协同完成研发任务,不必在自己不熟悉的技术领域耗费太多精力。

同时,在流程图的注2,针对在人形机器人的运动规划算法、控制系统的数据/指令/状态传输信道中深入应用FPGA技术的必要性做了陈述,相关内容可以作为人形机器人团队负责人评估流程图所述技术思想的参考信息。

进而,在流程图的注7,列举了可能需要实时执行的、适合由FPGA辅助加速乃至全部实现的备选功能项,以供人形机器人团队负责人查阅。

并且,在流程图的注3,针对工信部《人形机器人创新发展指导意见》予以着重强调的专用芯片,针对将来可能被广泛采用的、直接将已有的CPU+外围器件+软件的体系结构“集成化”为SOC( On Chip,片上系统)的“换汤不换药”的技术路径,特别强调:

这种专用芯片应是基于ASIC体系结构(在必要的强实时性功能模块中用硬件直接实现算法、而非在操作系统调度下访问多级存储器以读取算法指令序列与操作数进而以时分复用的方式调用CPU内置运算核心)优化后的专用芯片。

另外,这个流程图的上述主要思路具备普适性,适用于有必要引入FPGA以提升产品的单项性能/系统级性能(尤其是实时性)的其他基于CPU+软件体系结构的领域(详情可咨询作者)。

2、在实用化人形机器人控制系统中深入应用FPGA的框架设计(基于特斯拉-Gen2的硬件系统)(2024-03)

针对实用化人形机器人的控制系统,以深入应用FPGA技术为指导思想,做了一个框架设计,提供了一个具象化的设计实例、参考技术方案,协助各研发团队及相关决策者了解这一技术思路的价值,进一步降低将FPGA深入应用于人形机器人在纯粹技术维度上的门槛(其他维度的门槛,需要由团队负责人基于行业竞争的现状而决定是否予以跨越)。

文章基于网传的特斯拉-Gen2人形机器人的硬件系统配置,设计了一个大尺幅的系统框图(需要下载到PC再看),用以描述人形机器人控制系统框架,其中用五种颜色分别标记了感知、运算、控制、管理、芯片间数据实时传输子系统,协助读者获得清晰的系统级印象,然后针对各子系统做了详细的描述。

进而,为了方便读者将框架设计与《流程图》相结合以评估、设计人形机器人控制系统,专列一节对两者的关系进行了说明,并且对有意基于《流程图》、《框架设计》研发人形机器人控制系统的团队提出了建议。

同样的,这个框架设计的主要思路、系统特征也具备普适性,适用于有必要引入FPGA以提升产品的系统级性能(尤其是实时性)的其他基于CPU+软件体系结构的领域(详情可咨询作者)。

3、室联人形机器人:家政服务任务结构化、技术要点、深入应用FPGA的控制系统框架设计(2024-06)

陈述人形机器人的根本特征是拟人性,拟人性导致的亲和力使其适合用于室内家政服务。

室内家政服务的环境、任务对象具备一定程度的结构化特征,导致将人形机器人应用于这一场景在技术上具备可行性。

以居所基础信息表为核心,将居所及其内部家具、家电在宏观层面上参数化,从而将人形机器人的非结构化宏观任务切分为更易实现的局部子任务。据此举例、梳理将人形机器人应用于室内基础家政服务过程中的技术要点,提供了参考流程。

针对入室服务的高安全性需求,借鉴车路协同汽车自动驾驶系统将大量传感器布置在路侧以提供全局视野、用路侧运算模块分担车侧的算力与功耗压力的思路,提出了室联人形机器人的概念。

基于这一概念,对本文第2项所述文章中的、在人形机器人控制系统中深入应用FPGA的框架设计进行了升级,设计了一个大尺幅的系统框图(需要下载到PC再看),用以描述人形机器人控制系统框架,其中用不同的颜色标记各子系统,协助读者获得清晰的系统级印象,然后针对各子系统中修改过的部分做了详细的描述。

在框架设计中增加了语音收发子系统,就居家口语大模型的部署方式及其安全性提供了参考意见。

这个框架设计中,将语音收发子系统、居家口语大模型引入控制系统的技术思路具备普适性,适用于有必要引入大模型并且对实时性有刚需的其他基于CPU+软件体系结构的领域(详情可咨询作者)。

4、韩国现代,波士顿动力的真命天子(2021-01)

基于对人形机器人构造形式缺陷(重心高、支撑范围窄、平衡困难、失去平衡的后果严重)的分析,指出“像人”、具有亲和力导致人形机器人的主要应用场景是直接接触人类个体的服务业。

以“伴侣机器人”为例,展示了人形机器人的巨大应用前景。

基于对实用化人形机器人的技术特征(拟人性、协作性、高可靠性)的分析,指出这些特征将导致严重的后果 -- 其研发过程需要长期的、持续的、大量的资源投入。

基于这种层次的资源投入需求,分析波士顿动力的前东家谷歌、软银的资本禀赋,将其与韩国、现代集团的产业基因进行对比,结合韩国人口危机造成的人力资源需求,论证了“现代+波士顿动力”组合的优势、历史使命,指出韩国现代很可能就是波士顿动力的真命天子。

5、关于波士顿动力Atlas机器人的最新动作:转体起跳,关于FPGA(2019-09)

震撼于波士顿动力当时发布的视频,文章强调了其在结构上的最重要特征是具备腰部平转自由度(以特斯拉人形机器人为首,多个团队的人形机器人在近两年具备了这个自由度)。

分析了腰部平转自由度在视频中最酷炫的转体起跳、落地平衡组合动作中的关键性作用,阐述了FPGA的性能特征、这些特征可以在上述动作中起到的关键性作用。

臆测Atlas机器人的控制系统中深入应用了FPGA,指出深入应用FPGA是后发企业进行追赶、超越的重要机会。

基于人形机器人的可靠性、实用性需求,首次提出摔倒+扭腰+手臂下探支撑+侧滚落地的功能需求(迄今为止的所有人形机器人产品都未曾演示这个功能,继续期待ing ............ )。

6、关于在机器人领域深入应用FPGA技术的一些思考(2021-03)

这篇文章完成于2018年(曾经小范围传播,2021年搬运到知乎),当时的研究对象是工业机器人,并且,当时不了解工业机器人的运动规划是基于示教,因而想当然地认为:

只要是“机器人”,就应该是“感算控一体”的,应该是基于对环境的感知、运算而输出控制信号、驱动其各肢节安装规划的路径运动以实现预期的功能。

正因为如此,这篇文章才可以被归入涉及人形机器人的技术创作 -- “感算控一体”是工信部《人形机器人创新发展指导意见》的对人形机器人提出的基本要求之一。

文章首先将基于CPU+操作系统+ROS的机器人反馈控制系统抽象为一个简化的系统框图,然后采用“3x3”的叙述架构进行分析,即:

将反馈控制环划分为3个阶段:信号采集、数据处理、指令执行,针对每个阶段,从3个角度进行研究:

概括基于ROS的架构中典型的本阶段工作过程;

分析基于ROS的架构中本阶段工作过程的性能瓶颈;

提出基于FPGA的架构针对本阶段工作过程的解决方法。

从而以系统的、层次化的方式阐述在“感算控一体”的机器人控制系统中深入应用FPGA技术的必要性、可预期的价值。

然后,从实际操作的角度介绍了在机器人领域深入应用FPGA技术的基本思路、基本思路的实施方法(本文第1项所述文章的《流程图》是对本段内容的充实、具象化、流程化,本文第2、3项所述文章中的《框架设计》则是针对本段内容、《流程图》的具象化的设计实例、参考技术方案 -- 这是一轮跨越六年的技术迭代)。

考虑到仍然是当前机器人系统架构中的主流总线,文章第4节提供了基于FPGA实现主站控制器之后的系统优化科技树。然而,如本文第2、3项的框架设计大图所显示的,相比于基于FPGA的片内、片间的强实时性+高带宽+高灵活性的通信机制,已经是过时的技术。

即:

所述涉及主站的内容,不应被当做人形机器人(笔者认为也包括工业机器人)的、有价值的参考信息。

7、关于在机器人领域深入应用FPGA技术的一些思考(续)(2021-04)

这篇文章是第6项所述文章的续篇,写作的起因是:

有业内人士在看过第6项所述文章之后告知,基于FPGA实现机器人伺服驱动、运动控制一体化(驱控一体)控制系统的研究已经有很多单位在做,相关产品已于2015年前后推出、经过了大规模市场应用的检验,并且,他们公司目前基于FPGA的控制器产品在性能基本上是过剩的。

由此,这篇文章分析了导致这种性能过剩的原因:

在基于CPU + Linux + ROS + 的机器人体系结构下,由于控制系统基础技术的性能受限,因而只能将控制模型大幅度简化,在算法设计过程中忽略掉实际运行过程中存在的、能够影响机器人应用效果的、多维度的误差。

即:

FPGA的性能“过剩”是对简化后的算法而言的-- 如果应用场景要求应对文章所述的各种误差,工业机器人的CPU+软件体系结构的性能将不够用,FPGA的“过剩”性能将成为必不可少的性能。

这个判断,也是本文将这篇文章列入人形机器人相关技术文档的原因。

即:

当前人形机器人演示的功能,绝大多数都是针对“正常”的场景(类比于工业机器人被迫采用简化的算法)。

然而,如本文第1、2、3、4项所述文章(尤其是第3项所述文章的第2.3节“人形机器人入户服务的最大痛点:安全性”)所述,考虑各种意外、突发情况(正如工信部《人形机器人创新发展指导意见》所要求的,其实例是本文第5项所述文章提出的“摔倒+扭腰+手臂下探支撑+侧滚落地”),是人形机器人在实用化过程中必须满足的需求。

面对这种功能刚需,当前人形机器人基于于CPU + Linux + ROS + 体系结构的运算核心、数据传输机制,其性能必定是不够用的,人形机器人控制系统底层技术的更新换代(例如深入应用FPGA),也必将成为刚需。


注明:本内容来源网络,不用于商业使用,禁止转载,如有侵权,请来信到邮箱:429562386ⓐqq.com 或联系本站客服处理,感谢配合!

用户登陆

    未注册用户登录后会自动为您创建账号

提交留言