NTT奥运黑科技:5G+AI观赛身临其境

2021/08/06


      NTT计划通过为东京奥运会及残奥会开发的最新技术来开辟新的业务领域。该公司的技术可重现远程赛场的比赛过程,就像在眼前一样,结合了5G数据传输技术以及高清晰影像的提取与合成技术。NTT将直播变成了身临其境的体验,以此来提高服务的附加值。

  

 

       “比赛开始了”,随着解说员的声音响起,两位“乒乓球运动员”悄无声息地出现在舞台上。左手边的运动员弯着身子发球,令人紧张到窒息的连续对打持续了5次以上。右边的运动员奋力挥起球拍,扣杀成功。一名运动员做出胜利的手势,对手却不甘心地皱起眉头。虽然可以看到他们细微的表情,甚至能听到呼吸声,但两人并不是真人运动员,而是影像。

 

      临近奥运会开幕的6月下旬,在神奈川县横须贺市的NTT横须贺研究开发中心,超高临场感通信技术“Kirari !”进行了现场演示。设施内的特设舞台上,只放着一张乒乓球台。但两名运动员隔着球台打球的样子临场感十足,让人分辨不出哪些部分是影像。

 

      “能够以公共观赛方式(Public Viewing)观看远方比赛现场的影像”,在NTT集团以创新性影像技术开发为目标的“2020划时代(epoch-making)项目”中发挥主导作用的NTT人类信息研究所首席研究员木下真吾如此表示。

   

 

      用多个4K相机拍摄比赛现场的运动员,然后远程传送数据。“Kirari !”的作用说起来简单,但背后却隐藏着多项最先进的技术。其中之一就是由人工智能(AI)从影像中识别运动员并将其提取出来的“任意背景实时被摄对象提取技术”。


 

      这项技术是让AI读取几万种人物和背景图像并进行学习,只准确地截取人物图像。运动员每根头发的变化、额头上每滴汗珠的样子,甚至包括在乒乓球台上飞来飞去的球,都准备了多台高精度4K相机来提取图像。

 

      传输提取的影像采用了“Advanced MMT”技术。将运动员和背景的观众及裁判等的影像数据化,通过5G发送给播放的投影仪。利用多台电脑快速传输的数据瞬间重构成影像。

  

      原来的方法有时会缺失部分数据。数据缺失时,会导致影像延迟或缺损。因此,采用将数据分割成5个数据包,再发送一个多余数据包的方法。多余的数据包里是压缩了所有数据包的数据。“即使5个数据包中少了1个,也可以利用多余的数据包播放”, 木下真吾表示。

 

      屏幕是在漆黑的空间内组合多层半反射镜状透明板制成的,使播放的影像具有纵深感。这样一来,就像电影《星球大战》中出现的3D全息图一样,会立体呈现选手的影像。

 

      NTT为了在东京奥运会的公共观赛会场使用,一直在推进“Kirari!”的技术开发,但受疫情影响,奥运会决定以无观众形式举办而放弃使用。另一方面,利用“Kirari!”技术向帆船比赛会场的超巨大屏幕上发送4K影像,向出场运动员和赛会相关人员等展示。

  

   

      准备在Enoshima Yacht Harbor(神奈川县藤泽市)举办的帆船比赛中,将无人机和从船上拍摄的4K影像通过NTT DoCoMo的5G传输合成,发送到会场内50米长的大屏幕上。


 

      从竞技者附近利用多个摄像机拍摄的影像将拼接起来。帆船比赛的观众一般使用双筒望远镜等观战,难以捕捉到整个比赛场景。

 

      通过将多个影像拼接起来发送到一个巨大屏幕上,“可以观看单个摄像机无法实现的精致、广视角的宽屏影像”,木下真吾表示。

 

      虽然这次“Kirari!”技术暂时没有使用,但游泳和高尔夫会场也将提供活用5G的新技术。东京奥运会和残奥会以后,在大规模的国际体育大赛中或许也可以使用新技术。木下充满信心地表示:“为了展现未来的体育观赛方式,今后还将继续进行开发”。

 

      日本经济新闻(中文版:日经中文网)宇都宫想

 

版权声明:日本经济新闻社版权所有,未经授权不得转载或部分复制,违者必究。