小米ISP芯片架构师左坤隆在《强国基石》的纪录片中透露

近十几年来，中国手机厂商利用高通和联发科的SoC芯片推动了智能手机的普及，同时也跻身全球手机行业前列可是，伴随着手机市场竞争的加剧和消费者对手机体验的更高追求，通用手机SoC成为手机巨头提升竞争力的瓶颈

因此，小米，OPPO，vivo纷纷走上了自研芯片的道路他们的最终目标是自研SoC芯片，但现在都专注于ISP的研发为什么手机巨头选择从自研ISP芯片入手消费者需求，手机厂商的技术积累，ISP的技术特点，手机市场的未来趋势是关键原因，也是本文要详细回答的问题

至于手机巨头能否成功研发出自己的芯片很多行业老手都跟雷锋说过com认为，这在于手机厂商的决心

来自techthelead的图像

这个被芯片困住的手机巨头走上了自研之路

2013年12月，中国开启4G时代三年后的2016年，国产手机开始全面崛起今年苹果，三星在中国的市场份额开始下降，华为，OPPO，vivo的市场份额快速提升小米也以超高性价比迅速占领市场

根据Counterpoint和科纳仕公司2021年第二季度的数据，小米，OPPO和vivo位列全球前五大手机厂商，分别排名第二，第三和第五，市场总份额超过35%小米创始人兼首席执行官雷军最近发表了自己的言论5到10年后，小米将成为全球第一的手机公司

全球前五大手机厂商有一个共同点每一代手机功能的显著提升，都与高通和联发科最新SoCs的特性息息相关这也让他们面临着共同的挑战在低迷的手机市场，性能和体验的差异受到芯片的制约

自研芯片被证明是一种可行的方法苹果，华为，三星通过自研芯片实现差异化，成功占领高端手机市场其实想要冲击世界第一的小米早在2014年就踏上了芯片自研之路，并在2017年发布了第一款手机SoC澎湃S1，但体验并不尽如人意

有内部人士告诉雷锋com:S1失败的一个非常关键的原因是它太急于取得成功

SoC的研发受挫，小米在2019年研发了一款叫冲的ISP芯片这款芯片与小米2021年3月发布的折叠屏手机MIX FOLD同时出现，可以实现更好的3A处理自研ISP自研算法也成为了这款旗舰手机的一大卖点

MIX FOLD已经在这里发售，而OPPO和vivo也在走自研芯片的道路。

2019年9月，vivo执行副总裁胡柏山透露，2018年初开始考虑深度参与SoC设计，并于当年年底发布了与三星联合开发的SoC芯片Exynos 980虽然深入参与了SoC的研发，但自研才是vivo的目标界面新闻)，色彩相关指数(饱和度，色彩准确度，赏心悦目等))，以及清晰度等根据经验，对图像的主观和客观测试大约有40—60个或更多爱信科技是一家AI视觉芯片创业公司，AI ISP是其自研技术之一

虽然很难有一个统一的标准来衡量好的图像质量，但是有一些客观的指标来衡量亮度，颜色和清晰度，比如一个标准的颜色模型来衡量色差。客观指标达到一定水平后，客户通常会有所不同

的需求去调整主观指标ISP 的一个特点是有很多的可调参数，工程师可以调整设计好的 ISP 硬件参数以适应不同的环境一款好的通用 ISP，要提供有足够灵活性和具备可扩展性柴卫华指出

影像功能是消费者关注的重点，而 ISP 是实现差异化的关键，并且手机出货量巨大，自研芯片如果成功最终可以转化为整机的成本优势，这是手机巨头们选择自研 ISP 的初始动力，也是第一个理由。

华为能够用自研的 NPU+ISP 实现独具特色的 AI 拍照功能，相比之下，使用高通和联发科 SoC 的手机厂商发挥的空间会受到限制耀途资本投资总监于光说，由于硬件迭代的周期比较长，手机厂商的需求也不能被快速满足，特别是差异化的需求，自研 ISP 芯片实现硬件和软件的紧密结合是一个不错的选择

张兴进一步解释，ISP 一旦设计完成，可供调的参数大致就确定了，但是这些参数是有限的，如果想要提供调试出所有风格的可调参数，芯片面积又会很大到无法承受，这中间需要进行平衡。

想要实现差异化的手机厂商们，在影像系统领域有了多年的积累，也就有了自研 ISP 的底气，这也是手机厂商选择自研 ISP 的第二个理由。

研发 ISP 芯片的可行性是手机厂商坚定迈入自研芯片之路的关键，也是第三个理由亿智电子创始人兼 CEO 陈峰说:由于 ISP 芯片更加专用，研发 ISP 在生态上的限制小很多研发 ISP 的主要挑战主要有三点:由于图像算法每年都有新的方法，技术在不断迭代，另外，图像的效果需要在满足图像测试客观指标之外，也需要在主观效果可调整性上下功夫，最后是需要适应不同的场景，ISP 要能够做到自适应调整好各个环境下的参数

芯片公司最宽的护城河就是生态，既然 ISP 芯片的生态限制相对较小，再加上手机厂商在算法以及对场景需求的理解上已经有丰富的经验，并且已经各有特色，特别是在场景适应方面，手机厂商都有丰富的经验。

手机厂商研发 ISP，还有适应未来视频摄影 + AI 功能竞争的长远价值，这是第四个理由。

手机厂商已经在拍照中享受到了 AI 算法带来的好处，包括超级夜景，AI 美颜等功能，从趋势来看未来几年，AI 拍照最火的几个功能会从拍照推向视频这就需要一颗高效的 AI ISP 芯片，以及将 AI 算法和传统 ISP 进行更好的结合张兴认为

柴卫华也认为:伴随着短视频的需求发展，手机也越来越重视视频拍摄的性能视频流对于 ISP 除了有画质的要求之外，非常重要的挑战就是实时性要实时处理 4K 甚至 8K 视频的海量数据，呈现完美的影像效果，处理器性能，算法优异，存储带宽和与系统延迟都是挑战

AI 是提升拍照和视频效果的关键陈峰指出，目前 AI 与 ISP 结合主要有两种形式，一种是 ISP For AI，这种结合方式主要用于检测或识别功能的产品，目标是保证检测或识别的准确率，比如人脸门禁以及辅助驾驶另一种是 AI For ISP，这种结合是用 AI 替换 ISP 中的一个或多个图像增强算法，在包括 HDR(高动态范围)，夜景降噪，超级分辨率等方面有较好的效果

近几年，手机业界发现在目前 AI 算力的支持下，AI 算法已经超越了传统 ISP 算法的效果，因此目前主流的趋势是用 AI 算法替代一个传统算法，或者将 AI 算法与传统算法结合张兴进一步表示，要充分发挥 NPU 算力与 ISP 结合的价值，实现真正意义上的 AI ISP，需要在设计的最初就将两个 IP 结合起来设计如果是买来的 IP，两者结合实现好的功能难度很大，即便实现，也会有大量的功耗和芯片面积的浪费

陈峰具体指出，在视频应用领域，效果稍微好的 AI 降噪算法，实时处理 1080p30fps 视频就需要 10Tops 以上的算力，目前这种应用方案还比较少。

总体看来，消费者对手机更好拍照和摄影功能的追求是原动力，在手机厂商有手机多年影像技术积累的前提下，自研 ISP 芯片成为了手机厂商可实现的目标，而将 AI+ISP 的能力从拍照延伸至视频领域能够提升手机厂商当下和未来的竞争力自研 ISP 芯片自然成了手机厂商们不约而同的选择

冲击高端成败的关键在决心

接下来的关注点是，自研 ISP 芯片到底能带来哪些不同已经发布的小米澎湃 C1，官方的说法是自研 ISP 将数字信号处理效率提升 100%，可以进行更精细，更先进的 3A 处理

业内一位资深人士说:澎湃 C1 实际上是一个协处理器，或者说 Pre—ISP，在 SoC ISP 前进行图像处理，相对而言会比较容易处理，能够辅助处理一些特定场景的应用不过，由于是在 SoC 外单独增加了一颗芯片，因此无论是成本还是功耗都会有所增加

至于实际的使用体验是否有明显的速度和质的提升，还需要更多的用户反馈。

手机厂商的自研 ISP 要从卖点真正转化为差异化优势，ISP 团队非常重要ISP 的发展一直在进步，远还没到成熟的阶段要设计出有竞争力的 ISP 芯片，取决于队伍自身的成熟性有公司做了十多年 ISP，也没有进入行业的一流水平当然，这也与一家公司对于 ISP 的认知以及投入有很大的关系张兴表示

业内资深人士也表示，手机厂商自研芯片成败的关键在于投入的决心，特别是 SoC。

但国内整个芯片行业都缺人才，想要组建有丰富经验的 ISP 团队挑战巨大柴卫华说:ISP 研究与发展涉及到算法，电路设计，系统整合，器件调较，画质调优等多方面因此相应的人才要求不仅专，而且广，除了需要掌握数学，物理，计算机，集成电路的知识，还需要有光学，颜色等学科知识国内在这一领域的积累还比较有限，所以相关人才也比较缺乏

国内在手机 ISP 领域有丰富经验的人才本来就比较有限，不过现在华为海思的不稳定，展锐也有一些相关的人才，这都是其它公司获取人才的机会业内资深人士表示

即便能设计出有竞争力的 ISP要让消费者对手机厂商的自研芯片有认知也需要时间，我认为这至少需要 2—3 代的迭代一位芯片行业的分析师对雷锋网 (公众号:雷锋网) 表示，我认为小米和 OPPO 自研芯片从现金流的角度会更有优势，而 vivo 挑战会更大一些张兴表示

该分析师同时表示:自研 ISP 主要会用于高端手机，因此对高通的影响可能会大一些。

有意思的是，联发科在今年七月份发布了天玑 5G 开放架构的平台，基于其旗舰 SoC 为手机厂商提供更接近底层的开放资源，包括相机，显示器，图形，AI 处理单元，传感器和无线连接等子系统这既可以理解为顺应手机厂商自研芯片追求差异化的趋势，也可以理解为阻挡手机厂商自研 SoC 的举措

无论如何，自研芯片都是手机厂商站上手机市场金字塔顶端的必选项，但这条路在时间，技术和资本投入方面都充满挑战，高通和联发科在手机 SoC 领域都有几十年的积累，苹果和华为也是经历十多年的努力和迭代才取得了如今的成就，而小米，OPPO，vivo 才刚刚开始。

小米 ISP 芯片架构师左坤隆在《强国基石》的纪录片中透露，ISP 只是小米自研芯片的起点，其它 SoC 同样也在研发中。

根据消息显示，小米和 OPPO 都在上海大力招聘芯片人才，有消息称 OPPO 芯片团队的人数已经超过千人他们是要直接要研发一款 SoC 芯片还是会研发其它单芯片上述分析师认为电源管理芯片是不错的选择，因为快充也是手机的一大卖点

于光指出，在电源管理芯片市场已经有一些不错的创业公司，手机巨头们在这一领域也已经投资了多家公司。

热闹过后，谁会是下一个拥有自研 SoC 高端手机玩家。