「真黑光」赋能智能 IOT，爱芯智眸®AI-ISP 突破夜景成像天花板

从最初的百万像素手机, 到如今几千万甚至过亿像素的单反相机和智能手机, 各种成像设备迭代的背后, 是人们对完美画质的无尽追求。毕竟在人眼这台像素高达 5.76 亿的超级相机面前, 一切都还是不够真实。

相机的发展始终离不开 ISP 技术的支撑, 对于传统 ISP 技术而言, 夜景和高动态范围一直是非常有挑战性的场景, 尤其是夜间动态场景下的噪声大、运动拖影、模糊, 以及高光过曝和低光信息丢失等问题, 不仅无法满足大众越来越高的影像记录需求, 也一直困扰着视频监控、交通管理等行业的发展。

但技术的不断突破总能颠覆我们的想象, 当人们仍在挑剔着传统 ISP 的种种瑕疵时,AI 的飞速发展给了我们更多可能。AI-ISP 技术的出现, 让极低照度环境下的高清全彩成像成为可能, 摄像头开始从之前的「看得见」, 逐渐走向「看得清」甚至「看得懂」。

「真黑光」时代正式向我们走来。

真黑光, 赋能智能IoT

先来说说什么是真黑光, 根据夜视效果的不同, 我们可以用不同的名称来区分相机的夜景性能, 如暗光、星光、超星光、黑光等。这种名称并没有统一标准, 但关注点都在于某一个弱光亮度下是否可以保持全彩效果。一般来说, 黑光级意味着摄像机可以在 0.01lux 及以下照度的条件下工作。

传统方式下, 要实现黑光效果, 基本是通过使用大版面的 sensor、低分辨率的 sensor(一般低分辨率 sensor 的单个像素尺寸大)、增大模组光圈、降低视频帧率来增大进光量, 从而在夜晚获取更多光照和色彩信息。但使用以上方法后, 在极暗场景下色彩饱和度无法实现 100%, 运动物体还是容易产生透视或鬼影的效果, 且提高版面、增大光圈还会造成成本的增加, 都不能真正的满足行业需求。

换句话说, 在极暗环境下,「鱼和熊掌不可兼得」。

但即便这样, 也并非全无办法, 爱芯元智自主研发的爱芯智眸®AI-ISP 的出现, 让黑光全彩成像走进了现实。实测显示, 爱芯智眸®AI-ISP 加持下的相机能在<0.01Lux 的低照度下, 无需白光补光或红外补光, 即可做到 25～30 帧的实时色彩还原, 色彩饱和度≥100%, 并可以保证运动物体无明显拖影、透视或鬼影。爱芯元智也认为, 只有同时满足以下 6 大要素, 才能被称为「真黑光」, 才能真正帮助用户在极暗场景下实现更好的视频效果。

正是基于「真黑光」的突破, 智慧城市、智能 IoT 有了更丰富的应用场景。在路口、高山、池塘、农田等夜晚极暗的环境下, 无需牺牲画质, 就能提升视频亮度, 让摄像机依旧拍出画面层次感好、颜色还原准确的彩色视频;此外, 该技术还可以实现全场景的视频效果, 在池塘、农田这一类无法进行补光的地方, 同样实现更精准的智能判断。

关键模块AI化, 以端侧有限算力,实现AI-ISP最佳效果

爱芯智眸®AI-ISP 如何能实现「真黑光」？7 月 19 日，在第五届世界半导体大会「2023 年长三角集成电路产业创新发展论坛」上，爱芯元智 ISP 系统专家张兴就爱芯智眸®AI-ISP 的架构创新展开了介绍。

ISP 的全称是 Image signal processor, 即图像信号处理器, 它能将图像传感器获取的信号转换为人、机器可以识别和分辨的信息, 对图像质量非常重要。形象地来说,ISP 相当于人眼成像系统中的大脑, 它会把由镜头 sensor 收集来的影像进行加工、提升和处理, 最终得到一个真实甚至更好的成像质量。

传统 ISP 是将 CIS sensor 输出的 Raw 数据接入后, 按照一定 pipeline 顺序将 Raw 数据转换成人眼可见的 YUV 数据, 对于图像的处理是基于数学建模和人类对图像的朴素理解而实现。作为近年来新出现的技术概念,AI-ISP 则是在传统 ISP pipeline 基础上, 将传统数学建模方法解决不好的问题, 利用 AI 神经网络, 通过更丰富的参数模拟人脑, 建立更复杂的模型, 从而超越传统 ISP 的天花板, 实现更好的图像效果。

目前, 爱芯智眸®AI-ISP 是通过 AI 赋能 ISP Pipeline 里最关键的四个模块——HDR、3DNR、RLTM 和 Demosaic, 即通过 AI 训练的方式不断提升这四大模块的性能, 打破传统 ISP 成像的「天花板」。

之所以选择将关键模块 AI 化, 是因为端侧的算力往往是有限的, 考虑到实际落地中的功耗以及成本问题, 对整个 Pipeline 进行 AI 处理并不现实。可以说, 爱芯智眸®AI-ISP 更接近于真正的产品化, 其通过对重要模块的 AI 化, 将有限的算力集中于最关键、人眼最可知的功能中, 实现整个 AI-ISP 的最佳效果。

因此, 在实际应用中, 爱芯智眸®AI-ISP 通过迭代视觉模型即可提升性能, 快速实现芯片产品画质的升级换代。这意味着, 爱芯元智用一颗芯片就能实现对不同场景、不同市场的覆盖, 这既能降低 AI 综合应用成本, 也是对生产力的极大提升。

当前, 爱芯元智不仅在继续优化和迭代 HDR、3DNR、RLTM 和 Demosaic 相关的 AI 算法, 也在探索将传统 ISP pipeline 上的其他模块进行 AI 化。此外, 结合爱芯智眸®AI-ISP 的高算力要求, 爱芯元智还同步自研了爱芯通元®混合精度 NPU, 进一步加快 AI 开发的落地效率。

至于爱芯智眸®AI-ISP 与「真黑光」之间的关系, 张兴表示, 在 0.01lux. 的黑光时代, 仅从镜头和 sensor 的提升已经不能解决实质问题, 而传统 ISP 已经无法满足黑光的技术提升需求, 也因此出现了很多鱼目混珠的情况, 比如说降帧, 增加补光灯等方法,「爱芯认为, 一个合格的黑光全彩相机要保证在 0.01lux 场景下, 不需要通过补光, 可以实时 (25-30)fps, 正确分辨运动物体, 并正确还原颜色」。而这, 正是爱芯智眸®AI-ISP 所具备的差异化优势。

事实上, 也恰恰是爱芯智眸®AI-ISP 在 2020 年正式切入市场, 从而引领了「黑光全彩相机」这个新品类的快速发展。

今年以来, 大模型的火热带领 AI 发展步入新阶段, 爱芯元智认为, 基于图像处理的实时性、可靠性的高要求, 以及隐私保护的需求, 未来 AI 将从云端逐渐落地到端侧边缘侧, 这也将对端侧算力提出更高要求。目前, 爱芯元智第三代、第四代芯片所搭载的爱芯通元®混合精度 NPU 都支持 Transformer 大模型部署。随着大模型的发展, 爱芯元智也在积极探索通过大模型实现更好的 AI-ISP 效果。

可以看到, 伴随着极暗、高动态、光污染等各种极限场景下的更高成像要求,AI-ISP 在人工智能视觉成像领域正变得越来越重要。以技术创新解决低照和高动态的行业核心痛点, 爱芯智眸®AI-ISP 打造的黑光全彩相机等新品类, 也正在为人们解锁更多视界, 未来或将引领一个全新成像时代的到来。