中国汽车论坛丨吕思南：人工智能助力智能座舱体验跃升

2023年7月5日-7日，由中国汽车工业协会主办的第13届中国汽车论坛在上海嘉定举办。本届论坛以“新时代 新使命 新动能——助力建设现代化产业体系”为主题，设置“1场闭门峰会+1个大会论坛+16个主题论坛+N场发布”共18场会议及若干发布、展示、推广等活动，旨在凝聚各方力量，形成发展共识，为建设现代化产业体系贡献汽车行业的智慧和力量。其中，在7月7日下午举办的“主题论坛十三:聚能共创，加速构建软件定义汽车新生态”上，科大讯飞股份有限公司智能汽车BU智能座舱副总经理吕思南发表精彩演讲。

以下内容为现场演讲实录:

今天非常有幸能给大家介绍从科大讯飞的视角，从人工智能企业角度考虑如何为汽车行业提供有价值的技术方案，帮助汽车成为更好的、能感知人和服务人的产品。

每家车企都希望打造自己的品牌特性，构建独立的产品规划，我们认为，从差异化的角度来看，用户可以从交互层面感受每个品牌的产品特点。人车交互包括语音输入、视觉感知、针对乘客和驾驶员的不同服务，以及讯飞星火认知大模型给用户带来的人性化体验。

我们要聚焦用户在整车生命周期中面临的一系列场景，包括如何买车、如何用车、如何日常维护，甚至最后将车辆出售，在这个过程中我们的产品应该提供什么样的服务，去帮助、引导用户，让其不再有后顾之忧。

在服务方面，我相信每家车企并不仅仅专注于销售收入，也要考虑为用户提供长期服务。在车企和用户之间，我们的产品可以通过生态、持续服务和日常活动来维持和用户之间的联系。

当前智能座舱行业存在的痛点包括为强行差异化而推出的噱头式体验，不能提供整体闭环服务，在宣传上罗列个别特色功能等，这些缺陷让用户在使用车辆时无所适从，需要打造更便捷的用车方式，通过将人工智能赋能人车交互，让用户体验更方便、更简单、更有趣味的汽车生活。在这个过程中，科大讯飞可以利用长期积累的人工智能技术，与不同行业进行匹配。帮助解决智能座舱研发周期长、量产即过时等一系列问题。为大家提供用以持续升级、不断迭代的通道。

科大讯飞主推“情景智能座舱”。“情”，就是要有更好的用户感知，轻松的跟用户进行场景化交互，在用户想要的时候出现在用户的面前，为用户提供细致入微的服务。“景”想做的是基于不同用车场景打造不同深度的交互体验。这对于用户在车里的导航通信，日常出行中的打发时间等方面是非常有必要的。在整个汽车行业，没有人会愿意在必要性场景的开发上落后于人，至少是要达到中等或中等偏上的水平。现在很多新能源车企都期望打造自己专属的车内休憩空间，以及宠物关怀场景。在沉浸式场景中如何做到真正的体贴，触及用户所求，打动用户内心，最终形成用户对品牌的粘性。这些方面确是我们目前需要一起思考的。还有惊喜型场景，用以记录车主用车时遇到的特殊情况。前几天我看到网上一个视频，一个特斯拉车主分享了他的车在哨兵模式下记录了别人拔充电枪的画面。不像传统油车加油仅需一两分钟，充电补能时间较长的新能源车，哨兵模式是刚需。在未来新能源车会越来越多，哨兵模式能更好的帮助车主完成充电。

“情”和“景”都需要从智能的方式为用户提供服务，打通用户需求，打动用户心理。科大讯飞提供的人工智能服务能给各方带来很大的帮助。如何在汽车中实现AI能力的快速迭代？这是目前汽车智能化进程中遇到的重要关卡。通过观察已经上市的车型，各大厂商在交互层面已经做了很多努力。现在不同车型都有自己定制的语音理解能力，但很多时候定制语音依然不能满足用户的需求。在面向客户交付的过程中，各方都提出了自己需要的特色功能和能力，然而车机系统实际分析语音时，用户端会产生非常多的需求偏差及个性化需求。要真正让设备、机器、汽车理解用户，我们还有很多路要走。

今年，科大讯飞发布了讯飞星火认知大模型，为有效解决人车交互痛点，引导人车交互向类人化交互体验进化，讯飞星火认知大模型从场景出发，带来了多样化的定制解决方案。

首先，在车舱中实现真正的“自由说”。人机交互的旧方法是用通配，包括表达式、文法在内的各种技术，实现全部自然语言的支持，并把支持不了的话语用兜底话术进行回应，即使用好兜底话术可以减少用户的反感，但实际上车并没有帮用户完成他真实的诉求。

“自由说”要支持多轮多意图交互理解，在现有系统中补充大量通用知识、专用知识，包括日常生活知识，汽车养护、汽车使用的知识等，跨场景业务也要实现融合。日常对话中大家经常会聊到不同的主题，从A主题聊到B主题，从B主题聊到C主题，甚至从C主题聊完以后再回来聊，这对于人类来说是正常的对话，但是车却不理解，这个问题我们用下一代技术可以解决。下一代座舱中，“自由说”要支持全部的语义理解、上下文贯穿理解，而不是有限的只能记得几轮对话前的内容，并且车机系统可以用拟人化的方式和用户交互，这里的“拟人化”并不是简单的话语上的客气、相敬如宾，而是有情感、有情绪的对话，在车内要配合系统3D形象，带有表情和肢体动作，和用户进行交互，达到像人类伙伴一样的智能交流。

智能系统要懂汽车，知道车上有什么能力，知道它能做什么，知道这辆车应该如何呈现车企对用户的关怀。此外它还要有开放扩展的能力，不管是生态的信息源，还是日常OTA过程中持续添加的内容。它都可以持续的开放、扩展，并且能够方便的对接。

我们要在车内要做到快速交互体验，包括输入、响应，此外要做全链路优化，使车的反应更加敏捷，只有反应够快，用户才能感受到车辆是在积极地向他服务。另外，要从多模态来感知用户，知道用户在车里的状态是什么，是前排乘客在问你，还是后排乘客在问你，你要对谁服务，这些都是车辆在向客户提供服务时的关键信息，比如说后排乘客在睡觉时，驾驶员想问导航信息，车辆应该小声说话。这都是车辆在视觉层面应该要感知到的。

融合手势等输入的交互方法可以实现系统级的打通，在车内各个应用里统一交互方式，让用户不会因为交互能力在不同应用里打通深度不同而感到困惑。同时，在向用户呈现结果的时候要更加丰富，以声音为例，车里的音箱除了能给大家带来很好的音乐体验，也可以给大家带来多维度的信息感知，就像一开始零束的专家说到的，要在车内实现用户对方向的感知，用户在车内提出需求后，肯定是希望得到对应的、就近的反馈，而不是把他的需求广而告之。我们现在为用车场景提供了多种声音能力，包括音效的渲染能力、多分区服务能力。另外，还可以为大家设计个性化音效定制，让用户一上车就能感受到品牌的专属服务。

AI能力的贯通并不是单纯软件层面的问题，刚才大家提到了需要融合操作系统，需要做硬件的抽象化。这部分当然是需要解决的，现在在嵌入式端的算力上还是存在一些问题。以AI算力为例，目前没有哪一家的硬件方案里可以统一NPU部分和AI计算，我们需要适度针对当前硬件平台进行定制和优化，最终拥有全链交付的能力，让端、云实现更高性能更高性价比的服务。

科大讯飞从去年加入到大模型竞争行列后，在今年5月6日正式发布了大模型产品，为什么我们能这么快？这是因为科大讯飞在长期的发展中，建立了庞大的知识体系。2017年，讯飞人工智能参加国家执业医师资格等级考试，自主阅读题目并回答，最终通过了考试；在机器阅读理解方面的持续演进，使得我们可以用一个通用的认知模型，为教育、办公、汽车等领域提供深度服务。

讯飞星火认知大模型可以提供多风格、多任务、长文本的生成能力，汽车可以扮演不同的角色，拥有跨语种的语言理解能力，综合上下文理解用户的意图。在知识问答之外，大模型可以回答很多问题，像是逻辑推理、数学计算、生成代码，并不是所有的大模型功能都要上车，而是因为有了大模型能力的支撑，人车交互体验可以变得更好。

科大讯飞在5月6日发布星火大模型以后，会在6月9日、8月15日以及10月24日全球开发者节持续更新大模型产品，特别是在今年10月24日，讯飞星火认知大模型要在中文方面超越ChatGPT，在英文方面保持同等水平，这是我们对行业、对市场的承诺。

汽车方面，要融合多轮对话贯穿理解能力，知识理解和知识应用的能力，能够实现和用户进行闲聊对话，开导、安抚用户，实现共情，完成较长链业务自动引导回复，对于新知识、汽车相关知识持续学习，基于用户意见进行修改。

车上的认知大模型并不是单纯以语音输入为中心的大模型，而是结合用户的使用场景、使用环境，给用户提供更贴心的服务。在车辆有座椅通风功能时，如果用户表达希望让身体更凉快，车辆应该自动把通风功能打开。而对于另一辆只有空调制冷的车，系统只会打开空调，现在有了大模型知识能力后，车辆可以自主帮用户进行判断，向用户推荐不同的沉浸式空间和场景。我们在今年会推出星火智能座舱产品，以平台化为全行业提供大模型能力，既包括了在交互层面丰富大模型服务，也可以开放大模型的潜在能力，供各个应用直接调度使用。

在座舱中要如何提供K歌、休息沉浸化的服务？用户在拿起麦克风唱歌时，既可以演唱歌曲，通过车载音响获得最佳听感，也可以与系统进行交互，用户不再需要把麦克风放下来说唤醒词，操作麦克风就可以完成切歌、听歌等操作。打造休息空间需要联动整车能力，车辆自动记忆用户认为舒适的位置，记录下来，方便用户下次体验。当然，如果休息的时间到了，会用闹钟把用户叫起，这些操作都可以通过语音控制。车辆还可以营造特色的儿童空间，有针对儿童的交互模式，可以很好地听懂孩子的话语，另外可以提供教育、音乐、办公等一系列服务，满足用户在车上的商务需求、家用需求。这些场景、空间、车辆控制的能力、SOA原子化能力都可以通过场景串接起来，供用户自主定义。这些产品能力，我们期望和那些力求自研的、或是使用整体方案的伙伴都能深度合作，产品全部的能力都可以通过组件化的方式，甚至是更深度的方式进行交付，满足大家自由定义和选择。

人工智能助力智能座舱，需要在智能域控、人机交互、软件服务方面搭建不同层级的平台，以满足大家获取平台化能力的需求。在人工智能方面，我们会为大家提供全套座舱在音频、视觉等方面的闭环感知能力。大家既可以自己进行组合，也可以使用成套解决方案。当然，我们还会提供评价体系，帮助大家更好地持续优化自己的产品。

科大讯飞可以协助大家完成座舱方案的分层介绍，包括软件交付形式，产品咨询与参考，硬件相关的选择。在云端，我们可以为客户提供交互、运营、生态的知识图谱服务及推荐服务，便于大家搭建自己的服务体系。在最终的硬件方面，我们也能为大家做客户端的全量设计和咨询服务。不管是由车企自己研发硬件，还是由Tier1研发硬件，我们都可以做相关的支持，AI和硬件搭配、AI算法落地方面是我们的专长，我们期望为大家提供资深的服务。

对于智能座舱而言，有智能交互解决方案，智能座舱软件硬件解决方案，还有音频音效方面的解决方案，他们构成了讯飞智能座舱综合解决方案整体。此外，我们正在智能驾驶方向进行研究，希望能将座舱交互和车辆驾驶深度打通，为大家营造更好的智能出行体验。

谢谢大家！