MulticoreWare

智慧医疗,智慧城市和工业4.0

基于神经形态硬件的超低功耗视觉流水线设计

利用神经形态硬件构建实时老年人辅助系统

2025年12月11

 

作者 Reshi Krish 是MulticoreWare 公司平台与编译器技术部门的软件工程师,专注于为资源受限平台构建超高能效的人工智能流水线。她擅长在多样化硬件环境中优化和部署人工智能,运用量化、剪枝及运行时优化等技术。其工作涵盖线性代数库优化、嵌入式系统及边缘人工智能应用领域。

引言:突破功耗限制的创新驱动力

随着人工智能以前所未有的速度持续发展,其日益增长的复杂性往往需要强大的硬件和高能耗资源。然而,在将人工智能解决方案部署到边缘时,我们寻求能够以最低能耗运行的超高效硬件,这带来了独特的工程挑战。ARM Cortex-M微控制器(MCU)及同类低功耗处理器存在严苛的计算与内存限制,使得量化、剪枝及轻量化运行时等优化技术对实时性能至关重要。这些挑战反过来也催生了创新的解决方案,从而让人工智能变得更易获取、更高效、更具可持续性。

在MulticoreWare,我们持续探索多种路径,将更多智能推向这些资源受限的设备。这一探索引领我们进入神经形态AI架构领域,并开发出专用的类脑硬件——通过模拟大脑的事件驱动处理机制,实现超低功耗推理。我们洞察到该框架的创新价值,决心将其与深厚的MCU技术积淀相结合,为医疗、智能家居及工业领域开辟持续在线AI的新路径。

面向神经形态硬件的设计

我们所确定的神经形态人工智能框架采用了一种新型神经网络——时序事件神经网络(TENNS)。TENNS采用状态空间架构,能够动态处理事件而非固定间隔处理,通过跳过空闲期来最大限度降低能耗和内存占用。该设计可在毫瓦级功耗下实现实时推理,使其成为边缘部署的理想选择。

开发神经形态AI模型远非简单移植现有架构。我们采用的框架要求实现完整的 int8 量化,并遵守严格的架构约束:仅支持有限的网络层类型,且模型必须遵循固定的层序列以确保兼容性。这些限制往往需要重大重构,包括修改模型架构、替换不支持的激活函数(如LeakyReLU→ReLU)以及简化分支拓扑结构。诸如多输入/输出模型等深度学习特性同样无法实现,开发者需实施替代方案或彻底重构模型。

简而言之,为神经形态硬件进行开发意味着从头开始,在精度、效率与严格的设计规则之间取得平衡,从而兑现其在边缘实现实时、超低功耗人工智能的潜力。

在边缘设备上实现实时老人辅助系统

为展现类脑人工智能的潜力,我们开发了一套基于计算机视觉的老人辅助系统。该系统能在极低功耗硬件上实时运行,可检测坐立、行走、躺卧或跌倒等关键人体活动。

目标简单而雄心勃勃:

构建完全基于设备的低功耗AI流水线,在资源受限环境中持续监测并解析人体动作,同时保障用户隐私与运行效率。

然而受框架架构限制,某些模型(如姿态估计)无法完全支持。为此我们采用混合方案,融合类脑与传统计算资源:

  • 神经形态硬件:通过专用模型执行物体检测与活动分类
  • CPU(Tensorflow Lite):处理姿态估计与中间特征提取

该设计在保持功能完整的同时,也确保了边缘侧推理的高能效。我们的模块化视觉流水线利用类脑加速技术进行检测和分类,而姿态估计则在主设备上运行。

成果:边缘智能低功耗辅助系统

在上述演示中,我们成功在树莓派上部署了完整的视觉处理流水线,该设备通过PCIe插槽连接神经形态加速器,实现了无缝运行。这充分证明了该系统的可移植性与实际部署能力,验证了在边缘设备上实现实时低功耗人工智能的可行性。该系统可持续实时识别并分类用户活动,可即时检测跌倒或求助手势等事件并触发紧急警报。所有处理均在边缘端完成,确保关键安全场景中的隐私保护与响应能力。

神经形态架构仅消耗传统深度学习流水线的极小功耗,同时保持稳定的推理速度和强健性能。

应用亮点:
  •  超低功耗
  • 便携式树莓派+神经形态硬件配置
  •  端到端应用在边缘硬件上运行

打造真正低功耗边缘AI的实践指南

MulticoreWare在新兴低功耗计算生态系统中运用深厚的技术专长,使AI能在资源受限的平台上高效运行。我们的解决方案融合:

  • 面向低功耗 MCU 的应用就绪型 AI 工作负载:唤醒词/关键词触发语音模型、紧凑型视觉(人物检测、分类)、传感器级异常检测及微型机器学习自然语言处理,均针对Arm Cortex-M及同类低功耗嵌入式芯片优化。
  • 端到端 SDK 赋能:提供定制的 CMSIS-NN 算子、清晰从训练到 TFLite 的转换流程,以及结合内存剖析的定向量化与剪枝技术,确保在 MCU 上的顺利部署。
  • 编译器级与运行时优化:利用TFLite Micro和TVM-Micro调优内核,管理内存紧凑张量空间,构建能在严格RAM、计算和功耗预算内保持稳定的推理路径。

更广泛的 MCU 人工智能应用:工业、智能家居与智慧城市

随着医疗健康领域引领嵌入式优先的人工智能转型,智能家居、工业系统和智慧城市正迅速跟进。质量检测、预测性维护、机器人辅助、家庭安防和在场感知等应用日益需要直接在MCU级低功耗边缘处理器上运行的AI技术。

MulticoreWare为Arm Cortex-M设备打造的实时推理框架,通过高度优化的流水线支持这一转型,包括量化、剪枝、CMSIS-NN内核调优,以及为资源受限MCU定制的内存紧凑执行路径。这使OEM厂商能够部署唤醒词检测、紧凑视觉模型和传感器级异常检测等工作负载,让最微型设备也能运行智能功能,无需依赖外部计算资源。

结论:云端之外的智能新定义

人工智能与嵌入式计算的融合,标志着智能设计、部署与扩展方式的重大变革。通过在边缘端直接实现轻量化、高能效的人工智能,MulticoreWare助力医疗、工业及智慧城市领域的客户实现更快的响应速度、更高的可靠性及更低的能耗足迹。

随着计算与智能的边界日益融合,MulticoreWare 针对 MCU 及嵌入式平台的边缘 AI 赋能方案,确保我们的合作伙伴能够保持领先,为构建一个真正去中心化、超越云端的实时智能未来奠定基础。

欲深入了解MulticoreWare边缘AI计划,请发送邮件至info@multicorewareinc.com

Share Via

Explore More

Nov 11 2025

医疗保健行业正在向嵌入式优先架构转型——以下是推动这一转型的因素

引言 过去十年,医疗保健应用经历了显著的数字化转型。最初只是用于预约、访问电子病历 (EMR) 或进行远程会诊的简单数字工具,如今已发展成为能够有效支持临床工作流程的智能平台。 随着人工智能、多模态学习和强大的数据驱动模型的出现,医疗保健应用正从“任务数字化”转向真正的“人工智能辅助的医疗增强”,从而实现更丰富的洞察、更完善的诊断支持以及更个性化的患者就医体验。在 MulticoreWare,我们认为这是数字医疗发展历程中的关键一步,软件不仅可以改善医疗服务的可及性,还能积极促进更好的治疗效果。对于临床边缘智能而言,嵌入式系统及其设计原则是基础,本博客将重点介绍这方面的技术细节。 嵌入式系统在医疗保健领域日益重要的作用 嵌入式系统正迅速成为现代医疗保健的核心推动力,为从可穿戴健康追踪器到先进成像和生命支持设备等各种设备提供动力。它们负责实时信号采集、图像数据处理以及符合严格的医疗标准,从而确保临床应用的准确性和可靠性。 由于医疗设备涵盖各种风险等级和预期用途,其嵌入式系统的复杂程度也相应不同,从可穿戴设备中的轻量级控制器到呼吸机和起搏器中的高可靠性平台,不一而足。这种日益增长的依赖性凸显了嵌入式技术如何直接影响医疗保健应用的安全性、性能和监管合规性。 嵌入式医疗设备面临的挑战 开发用于医疗保健的嵌入式系统所面临的挑战远超传统应用。这些设备必须在硬件限制下实时运行,同时确保高性能、安全性和合规性。 实时性能与可靠性: 设备必须提供确定性、容错性运行,因为即使是毫秒级的延迟也会影响患者的治疗效果 。 功耗与资源效率: 可穿戴设备和便携式监护仪需要优化的固件和通信层,以平衡功耗和性能。 传感器精度与集成: 医疗传感器需要精确校准和抗噪声处理,以保持诊断的可靠性。 互操作性与连接性: 设备、医院系统和云平台之间的无缝数据交换需要强大的协议支持和测试。 嵌入式医疗设备的关键构建模块 硬件基础搭建:电路板调试所有医疗设备都始于可靠的硬件基础。电路板调试确保定制平台能够正常运行,并为软件集成做好准备。 简化的调试流程可降低早期风险,并为操作系统和软件集成奠定稳定的基础。 赋予系统生命:操作系统集成 硬件平台验证完成后,下一步是集成稳定的操作系统。操作系统启动过程确保医疗设备在实际应用环境中可靠运行。 关键步骤包括: 操作系统集成: 在定制的SDK中部署所选的实时操作系统 (RTOS)、嵌入式Linux或Windows。 目标兼容性: 确保在各种MCU、FPGA、ASIC、DSP或SoC的评估模块或定制板上无缝启动。 同步启动: 协调硬件和操作系统初始化,为固件和应用程序开发奠定稳定的基础。 此阶段为构建设备应用程序和临床功能提供了坚实的基础,确保稳定性、合规性和可预测的性能。 建立患者与设备的桥梁:传感器驱动开发传感器是医疗嵌入式设备的核心,负责采集实时生理信号,以指导诊断、监测和治疗。确保这些传感器与计算平台无缝协作,对于设备的可靠性和合规性至关重要。 传感器驱动程序开发流程包括: 这些传感器驱动程序构成嵌入式固件的基础层,确保可靠地采集关键生物数据,并使其可用于更高级别的处理。在医疗应用中,正是这种精度和一致性,使得生命攸关的设备能够高效运行。 软件之外:硬件验证支持 虽然软件是嵌入式医疗系统的核心,但硬件设计也发挥着至关重要的作用。最佳实践包括: 验证给定的硬件设计 提供专家评审与指导,确保硬件设计符合医疗保健领域标准 识别已开发硬件的风险及其缓解措施 软硬件的结合确保医疗设备安全、高效且可投入生产。 MulticoreWare 如何助力下一代嵌入式医疗系统 医疗行业对嵌入式系统的日益依赖,需要能够将复杂的设计需求转化为可靠、合规且智能设备的合作伙伴。MulticoreWare 在电路板调试、操作系统集成和医疗级传感器开发方面拥有深厚的专业知识,这些都是构建安全、高性能医疗系统的核心要素。 我们的工程团队帮助创新者打造更智能、更安全的技术,从低延迟患者监护仪到多模态诊断平台,应有尽有。除了嵌入式开发,我们还致力于推进医学影像人工智能的发展,加速开发面向边缘计算的高性能诊断成像解决方案。(更多信息,请阅读我们的博客文章——《人工智能在医学影像领域的崛起:从研究模型到边缘医疗》)。 凭借强大的软硬件工程实践和对医疗标准的深刻理解,MulticoreWare 助力打造下一代智能化的嵌入式优先的医疗系统。

Read more
Sep 1 2025

人工智能在医学成像领域的兴起:从实验室模型到临床边缘部署

引言 人工智能正在深刻地重新定义医学影像。从放射学到病理学,深度学习如今赋能于从 CT 扫描中的异常检测到数字切片上的癌症分级等各个领域。这场变革的核心是 MONAI(人工智能医疗开放网络),这是一个基于 PyTorch 的开源框架,已迅速成为业界开发先进医学影像 AI 模型的支柱。 MONAI 为受孤立流程和碎片化工具包限制的生态系统带来了结构化和标准化。它简化了数据加载、预处理、增强、分割和部署。正因如此,研究人员、初创公司和大型医疗机构都在基于 MONAI 构建其(AI)流水线。 尽管 MONAI 拥有诸多优势,但在实际部署中仍面临诸多挑战。医院和设备制造商通常不会在 GPU 资源丰富的研究实验室中运营;他们需要在受限的硬件上实现低延迟、经济高效且临床可靠的 AI 推理。 而这正是 MulticoreWare 正在突破的瓶颈。 MONAI:医学影像 AI 标准 MONAI 是一个由 NVIDIA 和学术贡献者牵头的开源社区驱动生态系统,正迅速成为医疗领域的 Hugging Face,为构建、共享和部署医学影像 AI 提供统一的平台。其优势包括: 任务覆盖范围 支持分割(例如器官、肿瘤)、分类(例如疾病存在、严重程度分级)、检测(例如骨折、结节)、配准(例如图像对齐) 数据格式 开箱即用,支持 DICOM(医学数字成像与通信)、NIfTI(神经影像信息技术倡议)和 WSI(全切片成像) 模块 用于交互式注释的 MONAI Label、用于自动分割的 Auto3DSeg 以及用于打包和部署的 MONAI Deploy。 面向未来 可扩展至融合影像、语言和临床工作流程的多模态系统 凭借这些功能,MONAI 已成为 CT、MRI、超声和病理模型的研究黄金标准 部署差距:从实验室模型到临床应用 虽然  … Read more

Read more
Jan 8 2025

智能交通系统中的传感器融合: 智能交通系统如何改变现代交通

引言
在日益相互联系的世界中,智能交通系统(ITS)作为一个多学科领域,利用先进的计算、通信和传感器技术,提高了交通网络的效率、安全性和可持续性。

Read more

GET IN TOUCH