北青-北京头条记者从位于中关村科学城的智源研究院获悉,超高速脉冲视觉感知芯片、相机和系统的研发项目已经完成,目前已进入产业化阶段。该项研究成果实现了超高速连续成像和高速目标实时检测跟踪识别。据悉,使用脉冲相机能够在运营高铁上清晰拍摄对侧相对速度700公里/小时的会车高铁。
脉冲相机模拟人类等灵长类动物视网膜编码的原理,能打破传统相机的“帧率天花板”,解决传统视频因帧率限制而无法记录高速运动过程,甚至对瞬间突然出现的物体“视而不见”等缺陷,实现超高速连续成像和高速目标检测跟踪识别。
“电影画面每秒24帧,电视画面每秒30帧,它们都是利用了人类视觉暂留的生理特性。随着时代的发展,人们及机器设备对图像识别有了更高的要求,相较于传统相机对于光学信息的记录方式,亟需一次革命。”项目牵头人、北京大学教授、智源研究院院长黄铁军介绍,目前传统相机所拍摄的视频,其实是静止图像的序列,并不是对物理过程的完整记录,其中损失了两帧图像间隔中的信息。
现有相机成像原理这种不够智能、对高速运行的对象捕捉能力有限的特点,所导致的缺陷有很多。转瞬即逝的电火花、呼啸而过的子弹、高速旋转的乒乓球……普通相机由于帧率限制,无法清楚拍摄到这些物体超高速运动的画面。黄铁军介绍,脉冲相机则可以模拟灵长类视网膜编码原理,每个像素独立将光信号转换成比特流,准确记录一段时间内光线变化的完整过程。
目前,黄铁军团队开发的第一款超高速脉冲视觉感知芯片设定的采样频率是4万赫兹,比人类视觉和普通相机快1000倍。通俗来看,这种技术只需要利用一台笔记本电脑的算力,就能实时追踪识别超声速目标。
研发团队还采用脉冲神经网络开发了相应的超高速目标实时检测跟踪算法,利用笔记本电脑算力,就能实时追踪识别高速风扇叶片上的文字,并驱动激光器实时击中,据此测算,只要光学系统运行,这一系统已经能够跟踪识别所有可能的高速运动物体。
据悉,具备“高速、实时、智能”等特点的超高速脉冲视觉芯片和系统将可广泛应用于高铁、电力、制造等工业监测场景,自动驾驶和车路协同等领域,还可用于高速手机摄像头等消费电子领域,未来有望替代传统视频系统。
文/北京青年报记者 王斌
编辑/彭小菲