赛轮思推出CaLLM™Edge 专为汽车设计的嵌入式小型语言模型
盖世汽车讯 11月13日,人工智能(AI)公司赛轮思(Cerence)宣布推出其首创的车规级嵌入式小语言模型(SLM)——CaLLM™Edge,可在现有的赛轮思解决方案组合中使用,并将为其下一代人工智能助手平台提供动力,从而实现智能、无缝的用户体验,而不受连接性的影响。CaLLM Edge是与微软(Microsoft)合作开发和优化的,可直接供赛轮思的汽车制造商客户使用,也可在微软Azure AI模型目录中使用。
图片来源:Cerence
CaLLM(Cerence Automotive Large Language Model)Edge在微软的Phi-3系列小型语言模型上进行了微调,利用赛轮思海量的汽车数据集提供高度专业化的AI,可以处理各种汽车用例。该模型具有38亿个参数、4K上下文大小和4位量化,可轻松嵌入汽车主机。其核心功能包括隐式和显式汽车控制命令(例如温度、门窗、座椅位置)和兴趣点搜索和导航,以及对话式交互,比如“好莱坞有史以来最受欢迎的电影是什么?”以及“你能告诉我更多关于剧情的信息吗?”
CaLLM Edge可与主要的汽车平台兼容,既可用于纯嵌入式部署(这意味着它可以在没有任何连接的情况下独立运行),也可用于混合部署或云优先部署,此时,SLM是回答查询的一种方法,并在连接中断时作为备份。对于用户来说,这意味着即使没有连接到云端,也可以随时访问关键的生成式AI风格的功能和信息,同时还能改善数据隐私,因为数据会留在车内而不是发送到云端。对于汽车制造商来说,CaLLM Edge不仅能提高助手性能,还能提高成本效率——通过利用完全嵌入式SLM模型,OEM可以在控制成本的同时,为驾驶员提供基于生成式AI的体验。
赛轮思产品与技术执行副总裁Nils Schanz表示:“CaLLM Edge从根本上改变了用户与系统交互的方式,使用户无论身在何处,都能从基于云的系统中获得丰富、灵敏的体验。随着我们在整个产品架构中继续利用我们在嵌入式和云方面的专业知识以及在生成式AI和LLM方面的进步,我们不仅进一步扩展了现有解决方案组合的功能,还推进了我们下一代平台的发展。我们很荣幸能与微软合作,将我们在嵌入式解决方案的深厚垂直专业知识和优势与微软业界领先的语言模型功能结合起来。”
微软商业与行业解决方案副总裁Satish Thomas表示:“为了在各行各业提供智能、高效的代理体验,自适应AI模型变得越来越重要。我们很高兴能与赛轮思合作,在Azure AI模型目录中提供CaLLM Edge,让汽车企业有机会在Azure AI Studio和Microsoft Copilot Studio中构建AI解决方案。”