MulticoreWare

人工智能与机器人

生成式人工智能:机器人技术的新领域

2023年07月25

 

作者

Milan Patel 是MulticoreWare移动和运输业务部门的副解决方案架构师。他在机器人学、机器学习和游戏开发等不同软件学科的开发方面具有实践经验。他目前正在领先的汽车半导体平台上从事尖端的人工智能和ADAS感知堆栈优化。

介绍

生成式人工智能(GenAI)是一种人工智能技术,可以产生各种形式的内容,如文本、图像和音频。在过去的几年里,GenAI已经迅速成为普通互联网用户熟悉的主流工具,经常被称为下一个范式转变。GenAI的普通用户将通过ChatGPT或DALL-E等工具使用这项技术。然而,GenAI的使用也将以不同的方式改变世界,例如使用与GenAI集成的机器人。

人工智能未来可以帮助哪些?

传统的机器人技术包括用预定义的规则和指令对机器进行编程。随着神经网络和传感器融合的出现,机器人变得更加智能和适应性强,使机器人能够执行更复杂的任务,并对看不见的问题采取一些智能方法。有了GenAI,机器人技术有可能通过持续学习和用户的个性化反应,进一步扩展到现实世界的部署。这是通过遗传算法和机器学习技术实现的,这些技术使机器人能够随着时间的推移学习、适应和提高性能。与传统机器人学不同的是,GenAI允许机器人学习和适应新情况。他们可以分析自己的环境,识别模式,并相应地调整自己的行为。这种能力使机器人能够处理动态和不可预测的场景,使其在各种应用中更加通用和高效。
GenAI在机器人领域的另一个重要方面是其在协作智能方面的潜力。通过将机器人连接到共享的人工智能网络,它们可以相互学习经验,使整个系统更加明亮。这种协作方法使机器人能够汇集知识,分享见解,共同解决复杂问题。因此,整个系统变得更加稳健、高效,能够应对可能超出单个机器人能力的挑战。

事实上,在工厂生产线为工人提供支持的机器人就是一个可以应用Generative AI的例子。如果一个机器人得知新产品或质量缺陷,这些信息可以在机器人网络中传播,从而无需对机器人进行单独的再培训,并在每次事件发生时通知机器人。

案例

一家世界领先的边缘计算解决方案提供商原型化了一个系统,他们将LLM(大型语言模型)集成到一个充当服务员的机器人中。客户可以向机器人索要多种不同的产品,包括机器人以前从未见过的产品。

这种类型的GenAI集成机器人解决方案:

  1. 实现更自然的语言交互。有了LLM,人和机器人之间的通信变得更加高效和自然。
  2. 无需对特定任务进行编码。有了LLM,机器人可以同时完成多个任务,并了解这些任务之间的联系。
  3. 更好地理解人类目标。结合LLM和人类反馈强化学习(RLHF)技术,我们可以在机器人解决方案中部署个性化。

我们可以将这种机器人解决方案应用于其他问题,如外科手术。主要的挑战总是出乎意料的复杂情况和机器人缺乏训练的情况。利用GenAI的手术机器人可能会在最初的训练之外表现出处理各种手术场景的能力。

基于这种推断,很容易在其他领域(如自主移动领域)看到即时解决方案。该领域可以从Generative AI中受益,因为它能够更好地利用多模式数据进行学习,还可以帮助生成合成模拟场景,从而改进自主机器人的测试和部署。

限制

GenAI要想有效,必须具备三个关键属性:速度(处理任务快)、质量(处理任务好)和多样性(处理任务多)。创建一个可以同时拥有这三种功能的GenAI模型是一个相当大的挑战。大多数进步都是由有资源推动这一领域并发明满足这三个要求的模型的大公司取得的。这可能会导致GenAI的使用方向发生偏差,并在利润较低但有益的领域(如医学)未得到充分利用。

对于边缘计算用例,如具有超快速延迟的机器人,如外科机器人和自动配送地面机器人,决策时间迫使所有智能在边缘上运行。当将用例与GenAI模型集成时,这就成了一个问题,因为LLM和其他GenAI技术本质上非常巨大,在Edge部署中带来了很多挑战。LLM模型和转换器的技术基础本身就给低功耗嵌入式开发带来了挑战,因为过去几年来,对人工智能加速器和边缘平台软件的大多数优化都集中在CNN上。

MulticoreWare在GenAI和机器人领域的优势

GenAI的局限性使其成为发明家和创新者不均衡的竞争环境,但这个问题的解决方案确实存MulticoreWare。

  1. 我们针对低功耗,汽车平台优化了各种transformer模型,并通过多个传感器输入实现了近乎实时的性能。
  2. 我们拥有在各种云和边缘平台架构上优化LLM和其他基于transformer的模型的推理堆栈的专业知识。
  3. 我们有能力根据客户的使用场景,传感器融合模型来定义基于transformer的模型来加速您的机器人感知解决方案实现。

结论

GenAI技术的影响、风险和标准化尚处于萌芽阶段,可能朝着不同的方向发展。随着技术的成熟,机器人技术的巨大应用将推动该领域的发展并得到利用。

通过info@multicorewareinc.com 联系我们,探索与MulticoreWare在GenerativeAI和机器人技术方面的可能合作。

Share Via

Explore More

Jul 1 2025

在机器人技术中部署基于视觉-语言-动作(VLA) 的 AI 模型:实时边缘推理的优化

机器人行业正处于一场重大的范式转变之中,其驱动力是基础模型的出现:大规模、多模态 AI 系统,经过训练,能够在统一的框架内理解视觉、语言和动作。

Read more
Sep 16 2024

利用人工智能和机器学习彻底改变搜救行动

搜救(SAR)任务是实现定位和协助遇险人员的关 键行动。搜救行动传统上依赖于人力资源和传统方 法,导致延误和效果有限,特别是在困难的地形 中。

Read more
Apr 24 2024

可解释性人工智能(Explainable AI):构建值得信赖的AI系统的基石

仅仅几十年前,机器能够思考的想法还属于科幻领域。但是,如今的机器已经不再仅仅是工具,它们在我们的思考、创造和决策中发挥着作用。

Read more

GET IN TOUCH