客户
客户是一家基于RISC-V的AI加速器公司。
挑战
客户的加速器硬件最初通过其神经网络软件生态系统支持一组最小的模型。该项目的目标是将支持扩展到其他各种模型。
我们的团队的任务是使用各种CNN和NLP模型的架构和自定义API为它们创建端到端的模型推理管道、演示和基准测试。这包括使用函数式torch API重写torch模型，将操作转换为客户的自定义NN库，并优化函数模型以更有效地使用硬件。
解决方案
利用我们在多种不同硬件上的端到端模型推理管道方面的专业知识，我们的解决方案架构师团队成功地在客户硬件的不同架构上添加了对Stable Diffusion、Llama2、RoBERTa、Swin等模型以及各种CNN、NLP和基于变换的模型的支持。使用PyTorch参考代码和PCC度量验证了模型推理管道的正确性。
凭借MulticoreWare的专业知识以及快速开发API功能的能力，我们通过分析内存布局和配置，迅速适应了新的API和增强的模型，尽管文档很少。应客户要求，我们对不同输入分辨率的选定模型的操作进行了单元测试。
尽管文档有限和代码快速增涨带来了挑战，但我们的团队成功地满足了客户的要求，展示了我们快速学习和应用新技术的能力，克服了交付高质量结果的障碍。
解决方案
利用我们在多种不同硬件上的端到端模型推理管道方面的专业知识，我们的解决方案架构师团队成功地在客户硬件的不同架构上添加了对Stable Diffusion、Llama2、RoBERTa、Swin等模型以及各种CNN、NLP和基于变换的模型的支持。使用PyTorch参考代码和PCC度量验证了模型推理管道的正确性。
凭借MulticoreWare的专业知识以及快速开发API功能的能力，我们通过分析内存布局和配置，迅速适应了新的API和增强的模型，尽管文档很少。应客户要求，我们对不同输入分辨率的选定模型的操作进行了单元测试。
尽管文档有限和代码快速增涨带来了挑战，但我们的团队成功地满足了客户的要求，展示了我们快速学习和应用新技术的能力，克服了交付高质量结果的障碍。
技术概述
解决方案亮点
- 使用NN API为客户的硬件架构开发了35个以上模型的端到端模型推理管道。
- 使用CNN和NLP模型的公共数据集对15个以上的模型进行了基准测试。
- 对超过15个型号进行了单元测试，并报告了不受支持的操作变体和问题。
业务影响
MulticoreWare通过提供全面的人工智能生态系统提高了客户的市场竞争力，吸引了更广泛的客户群。该项目还通过更广泛地采用他们的人工智能硬件和API增加了收入机会，为客户带来了业务增长。
结论
MulticoreWare在创建端到端模型推理管道、快速适应不断发展的API以及有效的基准测试和单元测试方面表现出色。了解我们如何帮助您实现创新成果。联系我们的团队 info@multicorewareinc.com
