从手机影像去模糊到眼镜突破视觉传感公司秀肌肉

IT时报记者孙妍

6月20日，2024年上海世界移动通信大会（MWCS2024）举办前夕，神经拟态视觉传感公司Prophesee与Ultraleap、雷鸟创新三方联手发布了在AR领域的最新合作，Prophesee以事件视觉传感（event-basedvisionsensing）技术见长，Ultraleap擅长于手势识别技术，两者结合，可以实现低功耗、高速度的精准手势识别和更自然的人机交互。

而在2024年2月，在巴塞罗那世界移动通信大会（MWC）期间，Prophesee宣布其手机影像去模糊解决方案可投入量产，从手机影像去模糊到眼镜突破视觉传感公司秀肌肉并与高通合作，将该技术集成到支持第三代骁龙8移动平台的设备中。

在MWCS2024期间，《IT时报》记者在现场观看了Prophesee手机影像去模糊、基于事件视觉的MOTIONMAP、频闪检测、用于手机的3D结构光技术、光学防抖、视频插帧等产品演示。从手机到AR眼镜，从拯救糊图到模拟人眼，这家小米投资的法国初创公司正像工匠一般，在视觉传感器领域精雕细琢。

手机影像去模糊解决方案可投入量产一位巴黎歌剧院芭蕾舞团的舞者随音乐翩然起舞，想用手机定格这一刻，但捕捉到的画面出现模糊失真。因为在快速移动、低光环境下，传统基于帧的RGB传感器已经难以应对，如何还原人眼捕捉到的清晰画面？

RGB传感器拍摄的图像和Prophesee事件传感器捕捉的数据一结合，影像瞬间就变得清晰起来。Prophesee副总裁兼大中华区总经理杨雪飞向《IT时报》记者解释了工作原理，RGB传感器捕捉的是一帧一帧的图像，而PropheseeMetavision事件视觉传感器以微秒为单位记录的事件填充到两帧图像的间隙，融合起来就得到了一个运动连贯的影像。那么，何为事件？Metavision传感器中的每个像素都有一个内嵌的逻辑核（logiccore），使其能够作为神经元来工作。每个像素都能根据各自感应到的光子数量，异步且智能地激活自身。像素的每次激活称为一个“事件（event）”

为了再次直观地体验Prophesee图像去模糊的效果，《IT时报》记者举起手机拍摄正在快速转动的彩色转盘，只能得到一个模糊的影像，看不清不同颜色之间的边界。而在摄像头上搭载Prophesee事件传感器后，画面瞬间就清晰了，甚至能还原到静态照片的清晰度。

清晰成像是一个系统化的工作，快速对焦和背景虚化涉及到3D结构光技术，拍摄运动场面视频涉及到光学防抖和视频插帧技术，Prophesee逐一展示了其产品demo，比如频闪检测技术。很多RGB传感器采用的是卷帘快门，无法避免拍摄的影像出现一条条闪烁的光带，这就是频闪。接着，工作人员将手机放置在一个台灯下，屏幕上实时显示出闪烁频率和具体位置，手机就能根据检测结果来针对性优化。

此外，结合AI算法，Prophesee事件视觉传感技术还可以实现非常好的视频插帧效果，不仅能够提供流畅的运动重建、更高的视频质量，并且更加节省智能手机的功耗。

今年2月，Prophesee影像去模糊解决方案已经进入可量产阶段，并集成到支持第三代高通骁龙8移动平台的设备中。

在AI手机成为新趋势的当下，事件视觉传感器能实现与主流AI加速器更好集成的优势也越发凸显。

XR设备成另一大消费级市场Prophesee这家法国创业公司曾拿到过小米、英特尔资本、博世创投、雷诺集团、欧洲投资银行、创新工场、韦豪创芯、惠友资本以及沙特阿美风投旗下的多元化增长基金Prosperity7Ventures等公司和机构的投资。2022年，它还成为了欧盟融资最多的无晶圆厂半导体公司。

Prophesee最核心的技术是独创了事件视觉（event-basedvision）传感器和系统，可以通俗地理解为“神经拟态机器眼”，模拟人眼视觉的运作模式，其第一款产品便是用于帮助视障人士恢复视力的。

传统的机器视觉技术是基于帧，即机器每秒看到25帧的静止图像，但这种成像方式受限于固定的帧率，无法及时响应场景动态变化的信息，而且每一帧图像还会储存大量的重复无用的数据，耗费昂贵的系统处理资源。而Prophesee“神经拟态机器眼”则将生成数据量降低十倍至千倍，特别是在高速和低光照环境下，可以更好地还原人眼看到的世界，也就是改变了机器看世界的方法。

2023年，Prophesee推出业界首款专为超低功耗边缘视觉设备集成设计的Metavision事件视觉传感器GenX320，为Prophesee第五代Metavision传感器产品，采用尺寸为3x4mm的裸片，尺寸的不断缩小也快速拓展了其应用范围。

于是，Prophesee的产品从人眼拓展至手机，又延伸至XR产品等新兴消费级设备市场。MWCS2024前夕，神经拟态视觉传感公司Prophesee与Ultraleap、雷鸟创新三方宣布，将联手开发低功耗的手势识别技术，共同推动AR体验迈向全新高度。就跟平常操控手机和智能手表一样，用户可通过滑动和双击实现自然熟悉的交互，无需频繁触碰眼镜。而雷鸟创新在AR硬件上的技术积累，让AR眼镜能够延展多语言对话翻译、智能导航、AI智能助手等功能，手势识别加语音识别，使得AR眼镜的交互方式更多元，沉浸感更强。

除了消费级终端外，汽车、物联网等都是其目标市场。在现场demo演示中，Prophesee还展示了事件视觉传感器在老人跌倒监测方面的应用。Prophesee的事件视觉传感器可以在复杂光源和环境下保持稳定的性能输出，准确识别老人跌倒等异常行为并及时发出警报，并且误报率更低，即使在洗手间、浴室等湿度较大的环境下也能保证超高准确度和极低误报率。

根据市场研究公司Yole的数据，神经形态传感市场在2025~2030年间将以116%的复合年增长率增长，到2030年将达50亿美元。Yole的《2021年神经拟态计算和传感报告》显示，移动、工业和新兴市场将是主要的神经拟态市场领域。

Prophesee将中国视为最大的消费级市场，包括手机、XR和新能源汽车等都展现出极强的韧性和不错的前景，于是，Prophesee在上海设立了他们在中国市场的第一个办公室，也是他们在海外开设的第一个办公室。