JAI Blog

身临其境的沉浸体验!面向VR实景变换的专用机器视觉相机

作者:JAI | April 14, 2020

不久以前,虚拟现实还只是科幻小说和电影里的东西。然而在今天,虚拟现实不仅在实际的高端科学技术领域获得广泛应用,而且还在融入进了人们的日常生活。从互动游戏和数据滚动的体育电视转播,到视频会议、教育培训,再到音乐会现场,真的是方方面面。

许多音乐爱好者可能都有过在现场与其他观众一起观看的体验,要么离得太近,被拥挤人群夹在中间,甚至看不到表演者的身影;要么避开前面的人群,躲在外围的草坪区或后排的长椅上,吵闹相对较少。但同时也完全无法看到表演的细节,更不要说与表演者近距离的情感互动。但是,正是这样的氛围让现场观看体验显得更加真实和立体。

然而2001年至2018年间,音乐实体的收入大幅下降导致行业整体低迷,在音乐产业崩盘的边缘,现场音乐演出成了收入的焦点。现在,全球每年都有几百场现场音乐会,多到乐迷们不可能场场不落地到现场观看。

现场音乐会的一个局限在于,表演场馆通常都是有限的空间。坐席的数量也同样增加了乐迷近距离接触自己喜爱艺术家的难度。面对这一问题,人们开始考虑将VR虚拟现实导入进来。VR的重要职能就是给全世界歌迷观众一个从沙发走到演唱会最前排的感官体验。

VR音乐会的流行,为音乐产业和乐迷创造了一个双赢的局面。除了那些花钱去现场听音乐会的人之外,那些买不到票的人,或者那些即使有自己喜欢的艺术家也不一定会去现场的人,都能为音乐产业创造收入。在VR的帮助下,音乐产业开始把在音乐现场看到鲜活明星的乐趣和演唱会上的超现实感觉,以及录音棚里音乐的代入感很好地结合在一起。

在虚拟现实广泛应用于现场音乐会的过程中,相机技术扮演着非常重要的角色。这是因为音乐会是用高端相机从不同角度实时拍摄。在拍摄的过程中,以几乎实时的方式对现场图像进行处理,使远程观众可自主选择自己喜欢的观看角度(比如从前排观看,从不同的伴奏者如打击乐手、吉他手或键盘手的视角观看,从现场人群的不同角度观看等),从而提供沉浸式的观看体验,而这是传统的演唱会DVD所无法提供的。

从显示再现的角度来看,与运动成像一样,水平像素分辨率对虚拟现实的质量起着重要作用。这个分辨率既可以是实际分辨率,也可以是从更高或更低原始图像格式的插值输出。

4K水平分辨率在VR中的应用已经有相当长的一段时间。4K也称为超高清,像素分辨率为4,096 x 2,160像素。当将视频流从4K压缩到高清流媒体视频时,图像会更清楚、更清晰、更“干净”。以如此高的分辨率进行拍摄给编辑人员和图像处理工程师提供一个机会,使他们能够在不丢失信息的情况下对图像进行放大和再构造。

通过使用8K水平分辨率(也称为全超高清),用户在将图像放大两倍的情况下仍然可获得4K图像。然而,即使相机支持8K水平分辨率,针对虚拟现实应用实现真正的8K水平分辨率仍非常困难。这是因为大多数虚拟现实装置更喜欢每个相机都拥有超宽的视野,这样不仅可为观众提供全景或半球形的视野,同时还可减少现场音乐会期间设备处理的复杂性。

实现这种超宽视野的唯一方法是使用鱼眼镜头。只有在成像圈小于传感器的情况下,才有可能将鱼眼镜头与使用矩形传感器的相机结合使用。如今,在与焦距为4.3毫米的鱼眼镜头搭配使用时,具备8K水平分辨率的传感器可实现5324像素的真正水平分辨率。这有助于实现250度的超广视角(每度21像素),这样的像素数量对实现高质量的图像处理和增强非常有帮助。这样一来,便可插值实现8K的水平屏幕分辨率。

显然,相机分辨率越高,就越可能实现真正的8K水平分辨率。但有一点应注意,那就是应用场景在实时发生。只有在相机拍摄速度至少要保持在30 FPS,更高的VR分辨率才有实际意义。这使得当我们在选择用于VR应用的相机时,并没有太多的选项。

虚拟现实应用中所用到的相机的最后一个要求是:在长距离低噪声环境下实现可靠的数据传输。举办音乐会的场地通常都比较大,相机可能需要放置在远离人群的地方。CXP和光学接口(例如SFP+)的可靠性,在应对户外应用的距离和环境条件要求上,颇受好评,所以被广泛接受。

更多信息:

观看网络直播:了解全新Spark系列4500万像素相机的关键成像功能。

了解更多关于Spark SP-45000-CXP4面阵扫描相机在虚拟现实、动态图片捕捉、体育成像和其他娱乐系统中的应用的信息 + 下载产品参数数据。

有任何疑问?
如果对应用于虚拟现实应用的机器视觉相机有任何疑问,或需要了解有关JAI的高速、高分辨率相机的其他信息,请联系JAI。