从端侧AI到端侧大模型，几乎所有SOC都有AI算力
这3年端侧AI进化到了端侧大模型。目前端侧大模型应用最深入的是安防行业和手机行业，安防和手机领域可以很低成本活得大量高质量的训练数据，产品数量也大，需求也在。端侧AI这个概念10年前就有了，但是当时的MCU、SOC几乎没算力也就手机稍微有点算力，因此当时的端侧AI主要讲的是手机，而且端侧AI应用极少普遍只是P图。首先训练AI大模型基本没嵌入式开发工程师什么事，但是肯定要掌握部署模型方法，现在SOC
·
端侧AI这个概念10年前就有了，但是当时的MCU、SOC几乎没算力也就手机稍微有点算力，因此当时的端侧AI主要讲的是手机，而且端侧AI应用极少普遍只是P图。绝大部分AI产品在端侧都是数据采集，然后上传至服务器，服务器推理出结果下返端侧。后来端侧算力上来了，可以运行一些端侧的人脸识别、安防监控、语音识别等这些小的AI模型。
这3年端侧AI进化到了端侧大模型。首先是AI算法的进步，尤其是deepseek这类低功耗、低算力的大模型出现，使得在端侧部署AI大模型成为现实。目前端侧大模型应用最深入的是安防行业和手机行业，安防和手机领域可以很低成本活得大量高质量的训练数据，产品数量也大，需求也在。安防行业已经将大模型推理运用的非常好，在文字、语言、视频上反复倒腾，现在有文搜NVR和文搜CVR等产品。
作为嵌入式开发工程师对端侧AI开发要有敏感。首先训练AI大模型基本没嵌入式开发工程师什么事，但是肯定要掌握部署模型方法，现在SOC部署大模型厂商基本都有指导，但是要结合自己开发应用的产品，尤其是应用软件和模型直接的接口函数、调用效率等等。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)