ad1

您当前位置:首页 > 资讯

小鹏汽车:大模型时代的车载计算平台思考

来源:盖世汽车
时间: 2024-09-10 11:48
阅读量:4338       

2024年年初,特斯拉FSD V12推送首个端到端模型方案,车载大模型开始成为行业的热议话题。5月,小鹏AI天玑系统全量推送,包括国内首个端到端AI智驾和大语言模型AI小P。

2024年9月3日,在第四届智能汽车域控制器与中央计算平台创新峰会上,小鹏汽车嵌入式架构总师唐黾表示,自动驾驶迎来了端到端大模型。对此,小鹏汽车推出了XNet、XBrain、XPlanner,智驾升级端到端大模型——能力提升2倍,XNGP全国都好用。同时唐黾系统分享了小鹏全栈自研控制器、小鹏AI计算平台软件架构。唐黾提出,需要注意的是,大模型也对计算、存储、音视频处理、信息安全、带来了挑战。同时需要思考——大模型时代,舱驾融合还有价值吗?

展望未来,小鹏开展All in AI战略。唐黾介绍,将全面覆盖AI机器人、AI芯片、AI汽车、AI大模型、飞行汽车等方面。

小鹏汽车嵌入式架构总师

以下为演讲内容整理:

汽车行业迎来大模型时代

近年来,大模型成为热议焦点,尤其在车载应用上发展迅速。年初,特斯拉率先推出FSD V12版本,是行业首个端到端模型方案。随后,华为发布ADS3.0,同样标榜端到端能力。5月,小鹏AI天玑系统全量推送,包括国内首个端到端AI智驾和大语言模型AI小P。理想、讯飞等企业亦纷纷跟进,发布大模型方案。小鹏在十周年庆典上,宣布了基于大模型的纯视觉AI鹰眼方案,标志着从激光雷达向纯视觉转型的新阶段。

自动驾驶领域,端到端大模型架构由“大脑”“小脑”与“眼睛”组成,分别负责意图理解、规划与感知。大脑依托大模型,精准解读交通参与者意图;小脑采用XPlanner神经网络规划,提升驾驶平顺性;眼睛则实现超广感知范围。大模型训练虽难,但迭代迅速,预计18个月内能力将提升30倍,XNGP因此实现全国覆盖与高效运行。

图源:演讲嘉宾素材

座舱方面,AI小P升级,增强需求推理与多模态能力,如百科问答、用车辅助及创意生成,同时通过车内外摄像头实现智能感知,提升用户体验。未来,AI小P将向多模态感知与云一体架构发展,成为座舱乃至整车智能化的核心。

小鹏车载计算平台采用全栈自研策略,基于英伟达与高通平台,实现中央+域控架构,领先业内。软件架构上,融合多操作系统,构建统一通信协议与SOA服务框架,支持跨域交互与复杂逻辑处理。同时,云端大模型辅助车端,弥补算力不足,实现边缘云一体。未来,小鹏将继续迭代中央计算平台与云原生应用,推动整车智能化进程。

大模型对车载计算平台的挑战

大模型的兴起对当前计算平台构成了多方面的挑战。

从计算角度看,以LLaMA为代表的解码器架构中,Softmax算子成为核心,其并行化能力低于传统卷积算子,对计算芯片提出新要求,需提升Softmax计算效率。

同时,大模型导致存储成为瓶颈,特别是存储密集型模型如GPT,对存储带宽要求高,现有芯片常面临“存储墙”问题。

多模态大模型处理多源数据时,前端处理增加延迟,需优化以降低推理延迟。此外,车端算力有限,需利用云端资源,但数据传输受限于5G限制,编码器的性能与压缩率直接影响模型性能。

图源:演讲嘉宾素材

信息安全方面,大模型中的提示词工程易遭注入攻击,公开或供应数据可能存在数据中毒、后门等安全隐患,需加强防护。汽车行业对安全重视不足,需提升安全防护能力。

舱驾融合方面,大模型时代座舱与智能驾驶对NPU和内存的需求激增,CPU需求相对下降。现有舱驾融合芯片设计需重新评估,可能无法同时满足两者需求,且成本高昂。未来需考虑是否继续坚持舱驾融合策略,或探索更经济的解决方案。

未来计算平台展望

小鹏汽车在迎来10周年之际,明确了以AI为核心的战略方向,聚焦于AI机器人、AI汽车及飞行汽车三大核心产品。为支撑这一战略,我们发布了首款专为大模型定制的“图灵芯片”,该芯片支持高达30B大模型的运行,并针对我们自主研发的模型和框架进行了深度优化,实现了效率与能效比的双重提升。

图源:演讲嘉宾素材

在此基础上,我们正构建一套统一的AI计算架构,旨在跨足汽车、机器人及飞行汽车三大领域,同时满足L4级自动驾驶的高功能安全与高冗余要求。这标志着我们将致力于打造一个高度集成、高效运行的中央计算系统。

面对大模型时代的挑战,我们深知算力与芯片面积需求的激增,以及半导体工艺快速发展伴随的高昂成本。鉴于国内在先进工艺上的限制,我们探索了小芯片堆叠作为替代方案,以在现有条件下实现类似大芯片的性能。此外,量子计算的潜在突破也为我们提供了长远的解决方案视角,期待其未来能解决传统计算难以逾越的难题。

在存储方面,虽然服务器领域已有内存磁化技术解决容量问题,但其车载应用的可行性尚待验证。内存带宽的提升同样面临技术瓶颈,现有标准如LPDDR5X已难以满足大模型需求,而未来技术如GDDR7、LPDDR6等虽有进步,但增长有限。HBM技术在汽车领域的应用前景亦不明朗。

我们特别关注存内计算这一新兴路径,尽管目前国内外厂商多处于研究阶段,且面临技术与战略融合的挑战。我们期望未来能有更多国产厂商加入这一领域,在存内计算上取得突破性进展,为行业带来变革。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

推荐阅读

 日前,福建海峡银行联合新华社中国经济信息社启动《绿色金融支持可持续海洋渔业认定指南》(以下简称《指南》)金融团体标准的研究编制工作。《指南》旨在分类和界定绿色海

2024-09-10 11:48

 提起自主品牌,奇瑞品牌和长城一定是两个绕不开的存在,两大品牌从技术研发到市场口碑以及产品实力,都可以称之为圈内的“老大哥”。两大品牌旗下的捷途X70PLUS和哈

2024-09-10 11:48

 最近的《喜人奇妙夜》,高圆圆又圈粉一众网友,不过吸引人的并非她的冻龄美貌,而是在内娱难得一见的敬业度和松弛感。无独有偶,最近,一汽丰田亚洲龙与高圆圆共同发布了一

2024-09-10 11:48

 日前网上车市获取了丰田第六代4Runner车型最新消息,新车计划将于4月9日全球首发,预计最快将于今年下半年上市开售,市场起售价或将保持在40,000美元上下。

2024-09-10 11:48

 作为一款中大型豪华SUV车型,途锐这款车在市场上确实没有很高的知名度,但是因为大众的身份,对于这款车有所了解的朋友也不在少数,毕竟要知道,这款车可是大众耗时大量

2024-09-10 11:48

 自由贸易试验区临港新片区(以下简称临港新片区)设立五周年。5年来,临港新片区借制度创新提升“软实力”,助力“硬科技”企业出海“行稳致远”。 今年5月29日,中

2024-09-10 11:48

 弱者抱怨环境,强者适应环境。 在价格战席卷全行业的当下,在纯电、插混、增程、节能等技术路线还在争论不休时,到底如何布局未来还兼顾当下,是一条道走到黑,还是多路

2024-09-10 11:48

 小米SU7上市之后的反响不错,至少在27分钟里的5万台大定,已经证明了它留给了米粉们一个不错的第一印象,好看好用也好开。有新玩法的座舱体验,有最低700km的续

2024-09-10 11:48

金融之家
关注我们
foot01
foot02
ewm
foot03
foota footb footc footd foote footf