小米、OPPO和vivo集体自研ISP的背后

　　过去十多年，中国的手机厂商们借高通和联发科的SoC芯片，推动了智能手机的普及，同时也跻身全球手机行业的前列。

　　然而，随着手机市场竞争的加剧，以及消费者对手机使用体验的更高追求，通用的手机SoC成为了手机巨头们提升竞争力的瓶颈。

　　于是，小米、OPPO、vivo相继走上了自研芯片的道路，他们的终极目标是自研SoC芯片，但当下都聚焦ISP(Image Signal Processor，图像信号处理器)的研发。

　　手机巨头们为什么都选择从自研ISP芯片入门?消费者需求、手机厂商的技术积累、ISP的技术特性、手机市场的未来趋势等都是关键原因，这也是本文将详细解答的问题。

　　至于手机巨头们自研芯片能否成功?多位业内资深人士都告诉雷锋网，这在于手机厂商的决心。

图片来自techthelead　　

　　困在芯片里的手机巨头，踏上自研之路

　　2013年12月，中国开启4G时代。三年后的2016年，国产手机开始全面崛起，这一年，苹果和三星在中国的市场份额开始下降，华为、OPPO和vivo的市场份额高速增长，小米也凭借超高性价比迅速占领市场。

　　两大市场研究机构Counterpoint和canalys 2021年第二季度的数据显示，小米、OPPO、vivo位列全球五大手机厂商之列，分别排名第二、第三和第五位，合计市场份额超过35%。

　　小米创始人董事长兼首席执行官雷军更是在近日放出豪言：5至10年后，小米会成世界第一的手机公司。

　　跻身全球前五的三大手机厂商们有一个共同点，每一代手机功能的重大提升都与高通、联发科当年最新的SoC的特性密切相关。

　　这也让他们面临一个共同的挑战，在增长乏力的手机市场，想要实现性能和体验的差异被芯片制约。

　　自研芯片是一条被证明可行的路径，苹果、华为和三星都通过自研芯片实现了差异化，并成功占领了高端手机市场。

　　实际上，要冲击世界第一的小米早在2014年就踏上了芯片自研之路，在2017年发布了首款手机SoC澎湃S1，但体验不尽人意。

　　有业内人士表示：澎拜S1失败一个非常关键的原因是太急于求成。

　　研发SoC受挫，小米又在2019年研发了一款ISP芯片澎湃C1，这款芯片与2021年3月发布的小米折叠屏手机MIX FOLD同时亮相，能够实现更好的3A(自动对焦，自动白平衡，自动曝光)处理，自研ISP+自研算法也顺势成为这款旗舰手机的一大卖点。

图片来自小米

　　这边MIX FOLD已经开卖，那边OPPO和vivo也在自研芯片的道路上快步前行。

　　2019年9月，vivo执行副总裁胡柏山透露其在2018年初就开始考虑深度参与SoC的设计中，并在当年年底发布了与三星联合研发的SoC芯片Exynos 980。

　　虽然已经深度参与SoC研发，但自研才是vivo的目标。界面新闻7月报道，vivo内部代号悦影的首款自研芯片即将推出，可能也是ISP芯片，将会在X70系列手机上首发。

　　OPPO公布自研芯片的进展相对较晚，2020年2月OPPO CEO特别助理发布内部文章提出了芯片、软件开发、云服务的三大计划，其中芯片项目名为马里亚纳计划。

　　有消息人士爆料，OPPO自研的首款芯片也是ISP芯片，将在2022年初上市的Find X4系列手机上首发。

　　这就意味着，困在第三方手机SoC里的三大手机巨头，明年将会进入新一轮的芯片比拼。但为什么是ISP芯片?

　　自研ISP的四大理由

　　自2017年全球手机市场增速开始下降，手机厂商们的竞争就愈加激烈。

　　2018年手机行业营销白皮书指出，2018年手机功能营销的竞争点趋于集中，AI类特性有8个、屏幕类5个、解锁方式和配色各4个，其中，AI功能又以AI拍照和摄影类居多。

　　此后的三年间，手机行业对于摄像头的关注只增不减，2020腾讯手机行业洞察白皮书指出，消费者对摄像头、用途和电池的关注度显著提升，其中摄像头的关注度增长率仅次于操作系统。

　　影像系统其实是一个很长的链条，包括前端传感器、镜头、马达，承载图像处理的核心部件ISP芯片，以及后端标定和调优等过程。安谋科技高级产品经理柴卫华对雷锋网表示。

图片来自三星

　　相同的镜头和传感器经过不同的ISP，也会有不同的效果。爱芯科技ISP负责人、系统架构师张兴同时表示，ISP的价值是提升图像质量。但ISP是非标准化的芯片IP，既有客观的性能指标，比如摄像头的数量、分辨率帧率、带宽、功耗、延迟等。也有比较难以完全客观化的图像评价指标，包括亮度指标(动态范围、对比度、曝光准确和速度等)、色彩相关指标(饱和度、色彩准确度、悦目程度等)、清晰度等。从经验中来，关于图像主观和客观的测试，大概有40-60种甚至更多。

　　爱芯科技是一家AI视觉芯片创业公司，AI ISP是其自研技术之一。

　　虽然对于好画质很难有统一的标准，但亮度、色彩和清晰度也有一些客观指标，比如有标准的颜色模型衡量色差。

　　在客观指标达到一定程度之后，客户通常也会根据不同的需求去调整主观指标。ISP的一个特点是有很多的可调参数，工程师可以调整设计好的ISP硬件参数以适应不同的环境。一款好的通用ISP，要提供有足够灵活性和具备可扩展性。柴卫华指出。

　　影像功能是消费者关注的重点，而ISP是实现差异化的关键，并且手机出货量巨大，自研芯片如果成功最终可以转化为整机的成本优势，这是手机巨头们选择自研ISP的初始动力，也是第一个理由。

　　华为能够用自研的NPU+ISP实现独具特色的AI拍照功能，相比之下，使用高通和联发科SoC的手机厂商发挥的空间会受到限制。耀途资本投资总监于光说，由于硬件迭代的周期比较长，手机厂商的需求也不能被快速满足，特别是差异化的需求，自研ISP芯片实现硬件和软件的紧密结合是一个不错的选择。

　　张兴进一步解释，ISP一旦设计完成，可供调的参数大致就确定了，但是这些参数是有限的，如果想要提供调试出所有风格的可调参数，芯片面积又会很大到无法承受，这中间需要进行平衡。

　　想要实现差异化的手机厂商们，在影像系统领域有了多年的积累，也就有了自研ISP的底气，这也是手机厂商选择自研ISP的第二个理由。

　　研发ISP芯片的可行性是手机厂商坚定迈入自研芯片之路的关键，也是第三个理由。亿智电子创始人兼CEO陈峰说：由于ISP芯片更加专用，研发ISP在生态上的限制小很多。研发ISP的主要挑战主要有三点：由于图像算法每年都有新的方法，技术在不断迭代;另外，图像的效果需要在满足图像测试客观指标之外，也需要在主观效果可调整性上下功夫;最后是需要适应不同的场景，ISP要能够做到自适应调整好各个环境下的参数。

　　芯片公司最宽的护城河就是生态，既然ISP芯片的生态限制相对较小，再加上手机厂商在算法以及对场景需求的理解上已经有丰富的经验，并且已经各有特色，特别是在场景适应方面，手机厂商都有丰富的经验。

　　手机厂商研发ISP，还有适应未来视频摄影+AI功能竞争的长远价值，这是第四个理由。

　　手机厂商已经在拍照中享受到了AI算法带来的好处，包括超级夜景、AI美颜等功能，从趋势来看未来几年，AI拍照最火的几个功能会从拍照推向视频。这就需要一颗高效的AI ISP芯片，以及将AI算法和传统ISP进行更好的结合。张兴认为。

　　柴卫华也认为：随着短视频的需求发展，手机也越来越重视视频拍摄的性能。视频流对于ISP除了有画质的要求之外，非常重要的挑战就是实时性。要实时处理4K甚至8K视频的海量数据，呈现完美的影像效果，处理器性能、算法优异、存储带宽和与系统延迟都是挑战。

　　AI是提升拍照和视频效果的关键。

　　陈峰指出，目前AI与ISP结合主要有两种形式，一种是ISP For AI，这种结合方式主要用于检测或识别功能的产品，目标是保证检测或识别的准确率，比如人脸门禁以及辅助驾驶。另一种是AI For ISP，这种结合是用AI替换ISP中的一个或多个图像增强算法，在包括HDR(高动态范围)、夜景降噪、超级分辨率等方面有较好的效果。

　　近几年，手机业界发现在目前AI算力的支持下，AI算法已经超越了传统ISP算法的效果，因此目前主流的趋势是用AI算法替代一个传统算法，或者将AI算法与传统算法结合。张兴进一步表示，要充分发挥NPU算力与ISP结合的价值，实现真正意义上的AI ISP，需要在设计的最初就将两个IP结合起来设计。如果是买来的IP，两者结合实现好的功能难度很大，即便实现，也会有大量的功耗和芯片面积的浪费。

　　陈峰具体指出：在视频应用领域，效果稍微好的AI降噪算法，实时处理1080p@30fps视频就需要10Tops以上的算力，目前这种应用方案还比较少。

　　总体看来，消费者对手机更好拍照和摄影功能的追求是原动力，在手机厂商有手机多年影像技术积累的前提下，自研ISP芯片成为了手机厂商可实现的目标，而将AI+ISP的能力从拍照延伸至视频领域能够提升手机厂商当下和未来的竞争力。自研ISP芯片自然成了手机厂商们不约而同的选择。

　　冲击高端成败的关键在决心

　　接下来的关注点是，自研ISP芯片到底能带来哪些不同?已经发布的小米澎湃C1，官方的说法是自研ISP将数字信号处理效率提升100%，可以进行更精细、更先进的3A处理。

　　业内一位资深人士说：澎湃C1实际上是一个协处理器，或者说Pre-ISP，在SoC ISP前进行图像处理，相对而言会比较容易处理，能够辅助处理一些特定场景的应用。不过，由于是在SoC外单独增加了一颗芯片，因此无论是成本还是功耗都会有所增加。

　　至于实际的使用体验是否有明显的速度和质的提升，还需要更多的用户反馈。

　　手机厂商的自研ISP要从卖点真正转化为差异化优势，ISP团队非常重要。ISP的发展一直在进步，远还没到成熟的阶段。要设计出有竞争力的ISP芯片，取决于队伍自身的成熟性。有公司做了十多年ISP，也没有进入行业的一流水平。当然，这也与一家公司对于ISP的认知以及投入有很大的关系。张兴表示。

　　业内资深人士也表示，手机厂商自研芯片成败的关键在于投入的决心，特别是SoC。

　　但国内整个芯片行业都缺人才，想要组建有丰富经验的ISP团队挑战巨大。柴卫华说：ISP研究与发展涉及到算法、电路设计、系统整合、器件调较、画质调优等多方面。因此相应的人才要求不仅专，而且广，除了需要掌握数学、物理、计算机、集成电路的知识，还需要有光学、颜色等学科知识。国内在这一领域的积累还比较有限，所以相关人才也比较缺乏。

　　国内在手机ISP领域有丰富经验的人才本来就比较有限，不过现在华为海思的不稳定，展锐也有一些相关的人才，这都是其它公司获取人才的机会。业内资深人士表示。

　　即便能设计出有竞争力的ISP。要让消费者对手机厂商的自研芯片有认知也需要时间，我认为这至少需要2-3代的迭代。 一位芯片行业的分析师对雷锋网表示，我认为小米和OPPO自研芯片从现金流的角度会更有优势，而vivo挑战会更大一些。

　　该分析师同时表示：自研ISP主要会用于高端手机，因此对高通的影响可能会大一些。

　　有意思的是，联发科在今年七月份发布了天玑5G开放架构的平台，基于其旗舰SoC为手机厂商提供更接近底层的开放资源，包括相机、显示器、图形、AI处理单元、传感器和无线连接等子系统。这既可以理解为顺应手机厂商自研芯片追求差异化的趋势，也可以理解为阻挡手机厂商自研SoC的举措。

　　无论如何，自研芯片都是手机厂商站上手机市场金字塔顶端的必选项，但这条路在时间、技术和资本投入方面都充满挑战，高通和联发科在手机SoC领域都有几十年的积累，苹果和华为也是经历十多年的努力和迭代才取得了如今的成就，而小米、OPPO、vivo才刚刚开始。

　　小米ISP芯片架构师左坤隆在《强国基石》的纪录片中透露，ISP只是小米自研芯片的起点，其SoC同样也在研发中。

　　据悉，小米和OPPO都在上海大力招聘芯片人才，有消息称OPPO芯片团队的人数已经超过千人。他们是要直接要研发一款SoC芯片还是会研发其它单芯片?上述分析师认为电源管理芯片是不错的选择，因为快充也是手机的一大卖点。

　　于光指出，在电源管理芯片市场已经有一些不错的创业公司，手机巨头们在这一领域也已经投资了多家公司。

　　热闹过后，谁会是下一个拥有自研SoC高端手机玩家?