本案例研究强调了MulticoreWare在创建和实施软件层方面的作用,以利用客户现有的软件栈实现PyTorch后端支持。
客户
客户是顶级芯片制造商之一,拥有用于训练和推理管道的定制人工智能/机器学习加速器。
项目
通过以优化的方式扩展软件栈,为其定制硬件提供PyTorch(一种开源机器学习框架,可加速从研究原型到生产部署的过程)支持,并为此提供端到端测试套件。
挑战
- 客户内核库中的运营商支持有限
- 客户软件栈中的多个抽象层增加了复杂性
解决方案
MulticoreWare的工程师决定使用现有内核的组合来实现客户内核库中不支持的运算符。
测试套件覆盖面广,可验证添加支持的所有运算符。

MulticoreWare 的优势和方法
MulticoreWare在多个客户的ML软件栈中拥有超过8年的跨层工作经验。无论是内核编写、内核优化,还是添加ML框架支持或模型开发和调整,我们在这些领域都拥有多年的专业知识。
此外,我们还拥有从更早的Caffe框架到目前的PyTorch的专业知识。我们迅速组建了一个由解决方案架构师、高级开发人员和质量分析师组成的团队,对当前的技术生态系统进行全面评估。
成果
PyTorch框架中80%的运算能够在客户的硬件/软件堆栈中运行。使用测试套件验证了这些功能的正确性。
