原标题：快5G的慢动作！紫光展锐虎贲T7520捕捉每一毫秒的精彩
日常生活中,手机早已成为我们形影不离的伙伴,手机的拍照和录像功能为我们记录了生活中点点滴滴,让美好的记忆成为永恒。特别是视频录制功能,忠实地留存了身边的精彩时刻。
普通视频
对于普通视频,手机中camera系统按照30fps采集图像,即一秒内均匀地采集30张图像,经过camera系统的处理,最终也按照30fps的帧率,编码成为视频文件。播放视频时,视频播放器同样按照30fps的帧率解码视频并显示。用户看到的是真实世界的原本回放,一切都如现实生活一样。
为了增强视频录制功能,如今各大旗舰手机中,不约而同地设计了慢动作视频录制功能。
什么是慢动作视频录制功能呢?
慢动作视频
所谓慢动作视频录制功能,它会将视频中拍摄对象的运动变慢、变缓,用户可以仔细地欣赏每一个动作的缓慢变化。
目前,大家看到的慢动作视频录制一般为120fps和240fps帧率。以240fps慢动作视频录制为例,当用户启动拍摄240fps慢动作视频时,手机中camera系统按照240fps帧率采集图像,即一秒采集240张图像,平均4毫秒采集一张,它更加精细地从现实中获取了图像数据。Camera系统对240帧图像逐一处理,最后编码成视频文件。
视频播放时,播放器依然按照30fps帧率播放。我们录制时候的1秒240张图像,播放时需要8秒显示,视频画面被放慢了8倍,各种动作和变化全部变缓。这种视频特别适合拍摄各种运动,或者转瞬即逝的时刻。用户看到了比普通视频精细8倍的运动变化,欣赏了更多的变化细节。
高帧率慢动作瞬间视频
既然已经拥有了240fps这样的慢动作视频,为什么还要更高帧率慢动作瞬间视频,如960fps视频?
我们对技术的追求是无止境的,用户对精彩的需求也是无限的。960fps慢动作瞬间视频可以让用户体会到每一毫秒的画面变化,欣赏到每一毫秒的精彩画面。
对于这种像960fps高帧率慢动作视频录制并非像240fps慢动作视频那样简单。Camera系统采集数据的sensor因硬件性能局限,普通camera sensor很难达到960fps这样高的采集帧率。目前市面上的旗舰手机主流是采用240fps帧率的camera sensor。为了产生960fps视频,camera系统必须采用FRC(Frame Rate Conversion)技术,将按240fps帧率采集的图像数据离线转换为960fps帧率,之后完成视频编码。这样用户就能欣赏到每一秒的精彩瞬间。由于FRC技术性能和所需资源限制,camera系统一般只采集时长为三秒左右的图像进行处理,最终视频播放时长可达10秒左右。该功能只有少数高端旗舰机具有,大大提升了这些手机的竞争力。
紫光展锐第六代影像引擎Vivimagic
紫光展锐发布的第一颗6nm 5G SoC虎贲T7520,搭载了自主研发的第六代影像引擎Vivimagic解决方案。虎贲T7520首次采用四核ISP实现了三摄/四摄场景无缝变焦,支持长焦、广角、超广角、微距镜头,可实现3倍光学变焦,6倍混合变焦,30倍数字变焦。
四核ISP处理速度高达每秒15亿像素,高可支持拍摄1.08亿像素照片,单摄零延迟拍照可达6400万像素。
对于慢动作视频录制功能,高支持480fps不限时高清慢动作视频拍摄,用户可以充分利用五亿像素级处理速度来拍摄慢动作视频;采用FRC技术,用户可抓拍高帧率高清慢动作瞬间视频,捕捉毫秒级精彩细节。
FRC技术介绍
FRC(Frame Rate Conversion)技术用于提升视频帧率,一般通过前后帧信息产生新的帧,增加单位时间内采集到的图像数据量,让用户获得更多图像信息。其中运动估计和运动补偿算法至关重要。
运动估计和运动补偿(Motion Estimation and Motion Compensation,简称MEMC),就是通过对图像中物体的运动轨迹的估计和检测运动矢量,然后利用原始帧和运动矢量信息,通过运动补偿插值的方式构建新的图像帧(称之为补偿帧),最后在原始帧中间插入补偿帧来提升画面的流畅性。
以24fps插帧到60fps来举例说明,因为60不是24的整数倍,所以必须采用3:2 pull up pull down的方式进行帧重复,也就是当前帧重复3次,下一帧重复2次,依次类推,这样就把24fps视频的各帧图像“相对均匀”的分配到60fps的时间节拍上。因为每一帧的重复次数不相同,所以产生了抖动(Judder)现象。
MEMC技术,根据物体运动信息来动态的生成补偿帧,可以非常有效的改善Judder现象。但由于所有新增的图像帧都是运动预测计算出来的,因此预测的不准确可能会带来副作用,比如光环“Halo”效应。通过对物体运动轨迹的精确计算,可以减小副作用。
另外一个可能的现象是小物体运动所对应的小物体丢失,例如足球比赛中的足球,在一些补偿帧中消失了。原因在于大部分的MEMC算法,基于运算复杂度和实现成本考虑,采用块匹配方式来计算相邻帧之间的物体的运动相关性,而不是采用像素级的预测,导致小物体的运动矢量估计不准确,进而导致小物体的丢失或出现重叠等现象。
优秀的MEMC算法,除了解决去除Judder等基本问题之外,还需对随之产生的光环Halo、小物体消失或重影等artifact有好的解决方案。
紫光展锐视频编码专家组基于MEMC算法研究出了高清视频图像四倍插帧算法,完美地实现了视频序列的四倍插帧,为了高帧率慢动作瞬间视频功能实现奠定了基础。
虎贲T7520高帧率慢动作瞬间视频
虎贲T7520中camera系统具备强大的处理能力,支持240fps 1080P和480fps 720P慢动作视频录制。基于240fps 720P图像数据,采用FRC技术,借助Vision DSP加速,可以实现960fps 720P高清慢动作瞬间视频录制。
对于更高帧率,如果camera sensor支持480fps 720P图像采集,camera系统也可以实现1920fps的瞬间视频编码,这对手机性能有了更高要求。1920fps瞬间视频,平均0.5毫秒一张图像,将现实世界的运动放慢了64倍,用户可以欣赏到更加细腻的精彩瞬间,给用户带来前所未有的视觉体验。
随着视频技术的不断发展,手机上camera系统会有越来越多的新颖功能出现,为用户带来不同凡响的视觉体验。高帧率慢动作瞬间视频无疑是其中一抹靓丽风景,虎贲T7520在影像方面会有更优秀的表现。