英特尔赵宏：让我们的芯片速度更快，让我们与冬奥会友商合作更紧密

　　2022年2月5日，网易科技频道年度策划“2022，请回答”大咖线上对话栏目第二期《2022，北京冬奥会背后的黑科技》正式开启。直播现场，北京联通副总经理、冬奥通信运行指挥部总指挥王传宝，英特尔北京奥林匹克项目办公室总经理赵宏，京东方冬奥项目总指挥吴坚三位大咖相继出席。网易科技主编宁琦、《惊奇科技》主理人小雨同步连麦主持。
　　直播中，赵宏向观众拆解了冬奥会开幕式绚丽缤纷、惊艳世界的《雪花》节目背后英特尔3DAT实时追踪技术的构成。现场，赵宏从动作捕捉、实时反馈、到现场表现等方面，向观众分享了该技术从试验到落地，一系列不为人知的故事，并对该技术的适用范围提供了现实参照。
　　赵宏指出，作为北京冬奥会战略合作伙伴，英特尔凭借第三代至强服务器技术平台，为冬奥会提供了算力支持的同时，并在专业的视频编写码软件提供压缩便捷码下，为此次冬奥会各项数据处理，提供了强大助力。此外，赵宏还谈到英特尔在冬奥会相继亮相的VSS数字孪生场馆模拟服务、Mobileye等应用。直播最后，赵宏对此次英特尔在冬奥会期间表现非常骄傲与自傲。

　　以下为网易科技《2022请回答》第二期《2022，北京冬奥会背后的黑科技》直播连麦对话赵宏部分内容：
　　主持人：雪花是我们印象最深的开幕式节目。小朋友们在上面无拘无束的奔跑，脚下会有实时的绚丽的特效。据了解，这个项目英特尔提供了相应的技术的支持。想请您给我们聊聊冬奥开幕式，以及这些赛事当中英特尔提供哪些黑科技？对您来说，印象最深刻的地方是什么？
　　赵宏：其实在开幕式之前，我印象最深刻的还是主媒体中心的炒菜机器人，做饭机器人，干净又卫生，色香味俱全。
　　但是昨天开幕式结束以后，我现在还心情难以平复，非常激动。我们完美地实现了压轴的雪花这个节目。当然之前还有一个轮滑，《砥砺前行》的节目也是我们提供技术支持的，非常完美。那么今天得到所有的反馈，无论是国际奥委会，还是冬奥组委，还是广大的观众，甚至包括外媒，我们都觉得这是最好的项目。
　　主持人：之前听说《雪花》这个节目有个小朋友掉队了，之前是没有这样一个设计的，为什么后面会加入这样一个设计？而且现在这个视频已经在网上传得非常火。
　　赵宏：是。实际上有一个，在彩排的时候确实有一个小朋友掉队了，然后就有另外一个小朋友把他追过来，把他抓过来。大家觉得这个非常有意思，非常有童趣，然后导演组就把它保留了下来。这个可能是经过设计。但是所有小朋友在场上的位置，他们的动作，他们的队形，其实都没有编排过，我觉得今天大家可能在网上也看到导演组的很多电视采访，他们也提到了这是他们觉得最满意的一个地方，因为孩子是不需要去排练的，他们天性就是自由自在的，无拘无束的，在场里面游玩嬉戏。同时还能通过我们3DAT实时追踪他们的位置，实时地进行动作捕捉，实时的定位，实时的渲染，在鸟巢的大屏幕上能够给每个孩子都能渲染脚下一朵脚下的亮丽的、漂亮的雪花，和他手发光的和平鸽能够交相辉映。同时我觉得昨天咱们在电视上，包括我自己现场录制的视频里看到对面舞台上很多观众，都把手机的闪光灯打开，配合着雪花在摇动，就像万千星光，应和着万千雪花，所以非常精彩的一种现场体验。
　　主持人：这次冬奥的过程当中，您这边遇到最大的一个挑战是什么？是怎么克服的呢？
　　赵宏：我还是从这个《雪花》节目说起。这个节目遇到的最大挑战是技术，我们的3DAT技术的全称叫3维运动员追踪技术，它是一个从实验室走向应用的新的技术。这项技术的发明人就是英特尔中国研究院的王山东博士，他是一个科学家，研究方向就是计算机识别，计算机视觉和人工智能。在他把这些算法做出来以后，我们跟他碰撞的过程当中，在想利用什么样的方式，什么样的黑科技去助力奥运时，我们把他的这个技术逐渐地完善，逐渐地优化，最后沉淀下来。实际上，这项技术最早的本意，是想做运动员姿态的精准捕捉，用于竞技体育专业运动员的训练。但是我们把这个5G技术，AI的这个技术给冬奥组委的开幕式的常宇部长，还有科技小组的时候，他们也非常感兴趣。但是，我们初衷是希望用它来精准地捕捉某一个，或者某两个歌手或者是舞者，在像冰一样的地面上能够形成冰面倒影，去精准地识别他的细节动作，他的关节，细节的动作姿态，然后再把它投射在像冰一样的地面上，而且能够形成非常美妙的倒影。
　　这是最早我们希望实现的效果，但是随着我们看到的节目单——实际上大家也看到非常简洁，基本都是奥运仪式，冬奥的仪式，把它编排成节目，其中没有独唱，也没有独舞。所以，最后我们跟导演组商量，就用在了运动员入场上面。大家也看到运动员入场，我们当时的效果是在运动员的脚下，大家有一个队形，在他们的脚下实时追踪，实时定位，并且实时的能够投射出一些动画效果。比如说运动员在行进的过程当中能够踏雪而来，他们的脚下是雪花，被踢开，然后运动员迎着风雪走向观众。这是最早的一些特效。但是由于运动员入场的时间很长，我们还在想是不是要设计不同的艺术特效出来？所以大家绞尽脑汁做了激光雷达，做了各种各样比较酷炫的光效，包括踏雪而来。
　　但是，12月份跟国际奥委会在审议这个节目的时候，项目被否决了，为什么？因为IOC国际奥委会认为，运动员入场的时候运动员是主角，不应该有喧宾夺主的光效出来。所以这个项目就差点儿夭折。但是在现场张艺谋导演看到了我们这种实时捕捉、实时渲染的这样的黑科技以后，我觉得触发了他的一些想法，他就把后面轮滑的节目进行了改造，他决定我们在这个项目上做一些实时的动作，在原来的蓝色的冰面上覆盖了一层冰雪，运动员迎风冒雪砥砺前行，这是这个节目最后的含义。我们的实时动捕做到了运动员在滑行的过程当中，他们脚下风雪实时消散，非常有感觉，现场的互动感非常强。
　　主持人：您刚才提到这个3DAT技术，能不能用比较直白的语言给我们具体解释，这个技术到底是怎么实现的？
　　赵宏：好的。实际上，我们运动员轮滑的节目有四组运动员，每组有六个，一共24个人。当张艺谋导演决定在雪花的节目里面应用3DAT技术的时候，场上将有上百个运动员，甚至四五百个，当然到最后，昨天我们看到的是660个小孩子。那么，我们是降低了捕捉的精度，不去捕捉他的关节、姿态，不去捕捉他的细节，我们是实时地追踪他的人体位置。通过架设在鸟巢六层，四组摄像机能够覆盖整个鸟巢，通过四组摄像机来摄取舞台上、大屏幕上每个孩子的位置，实时地进行定位的捕捉，然后在视频服务器上进行人工智能和计算机识别，算法的核验，把他的实时数据第一时间发给艺术效果的渲染器，进行艺术效果的渲染，实时地呈现在孩子们的脚下。
　　主持人：刚刚您聊到，这个3DAT技术本不是用在咱们开幕式的现场，应该是用在运动员的训练当中，便于教练来整理并给出一个非常合理的科学计划，然后来提升训练效率。您方便透露一下，有哪些运动员在使用3DAT的技术辅助训练，他们又是怎么使用的呢？
　　赵宏：3DAT作为竞技体育专业运动员辅助训练，是通过几个摄像机来捕捉运动员的竞技动作，然后把关节，部件的部位，他的三维姿态，三维的位置，他的运动轨迹，实时的捕捉下来，并且同时形成一个三维姿态的提取，形成一个三维动画人。同时，在输出三维动画人的时候，会形成他的一系列生物力学的参数，包括速度加速度，重力、重心的轨迹，角的速度，如果他旋转的时候还有角的速度，甚至他的胳膊、腿，他的踝关节、膝关节，他跟地面的角度都可以精准地识别出来。这套生物力学模型拿给教练员，是可以非常精准地判断他的动作和理想目标的动作差距在哪里，同时针对性的进行改善。
　　目前中国的两支国家队在应用我们的3DAT运动员追踪技术，可帮他们专业地提取运动数据，由教练员和施工力学专家进行专业分析。这两支国家队一支是越野滑雪队，一支是速滑队。所以我们也非常希望再过几天能够听到这两支国家队的好消息。
　　主持人：咱们这个技术，这种竞技的技术跟开幕式造成这样一个美感，这种美学的产生，它有没有可能应用到日常生活当中？会不会给我们带来一个生活上的改变？
　　赵宏：其实想象空间还蛮大的。实际上这套技术从实验室走出来，我们首先就应用在了本次冬奥会上。之后的应用的方向还是非常广泛的。比如说我们的全民健身，我们的大众体育。在疫情的时候，2020年的时候在家要做八段锦，但是我不知道自己做的姿势对不对，对着ipad练一练，实际上可以用这套工具，我们开发一个八段锦的动作识别软件，你在做的过程当中摄像头来识别你的动作哪里做得不标准，可以给你提供一些专业的意见。我觉得这个是马上可以想象到的。
　　另外，还有一些疾病预后恢复，比如说人们摔伤后要走路，他的姿态怎么调整，怎么更好地恢复。包括青少年的训练，我认为是非常重要的，青少年是一张白纸，他进入到体校，或者进入到俱乐部以后，在这张白纸上怎么能够快速地提升他的成绩，沿着一条比较科学的训练方法和训练路径去训练，我认为是非常有潜力的领域。
　　主持人：您刚才提到我们昨天开幕式的时候用了四组摄像机，我们是怎么实现用这四组摄像机就能捕捉到全场这么多的孩子、运动员？
　　赵宏：实际上，以前的动捕技术是通过身上穿戴一些设备，然后通过很多的摄像机去追踪他，比如红外摄像机，身上关键部位贴了很多红外标识点，或者是穿上一些可穿戴的，带有重力加速器，陀螺仪这样的东西，也是通过接受器来进行姿态和动作识别，用非常复杂的算法来计算一个三维的模型。这一类技术实际上最早应用在摄影棚里面，好莱坞的很多大片用这种红外摄像机，几十组红用摄像机，在人身上贴上红外标识点来作成一个非常人体的运动模型，再把它拟合成一个巨兽、怪兽之类，所以在好莱坞大片里经常会看到这些怪兽，非常逼真。这种动捕是非常昂贵的，而且它的覆盖范围非常有限，摄影棚那么大小。
　　但是用计算机识别，通过几组摄像机从不同的角度来追踪人的姿态进行建模，进行人工智能的识别，它实际上架设非常简单。人们不需要穿戴任何设备，覆盖的范围非常广，比如说现在的速滑队可以追踪70米的直道运动员的姿态。那么对于花滑可以在2000平米的冰面上追踪花样滑冰运动员的姿态。覆盖范围广，架设非常简单，成本非常低。那么通过计算机世界、人工智能模型的不断优化，让它的识别精度也会越来越高，实际上人工智能模型是可以学习的，可以去培训的。我们经过海量的数据培训，对一些指定的专业运动，经过海量的视频培训，可以让人工智能软件越来越聪明。
　　主持人：感觉除了3DAT之外，其实还有各种比较牛的黑科技，比如说最近比较火的VR，其实这次英特尔在360对VR技术平台给大家提供了一个更加清晰实时的远程的观赛体验，我们可以通过头显、PC，各种屏幕来观看冬奥比赛。那么，这项技术最大的突破点在哪里？这些技术上又有什么比较有挑战的地方？
　　赵宏：我觉得这个技术实际上是转播商，尤其是像奥林匹克广播服务公司这样的体育盛会转播上，他们在探索新的转播方式，提供新的转播体验，吸引年轻的互联网人群做的一种非常有益的探索。那么，英特尔作为国际奥委会的赞助商，我们实际上在平昌冬奥会的时候，就跟转播商在定制一套端到端的360度VR技术平台。到了2020年东京奥运会，我们把这套技术平台升级到能够支持4K的视频。在本届冬奥会这个技术平台进一步提升它的能力，能够支持8K视频。
　　最大的难点是什么呢？从2K到4K，4K到8K，它的数据吞吐量的增加不是简单的范围，更带来着非常大的数据吞吐量。同时还要保证不延时：你不能传输很慢让大家觉得卡顿，效果就非常不好。所以，在VR的体验里，要做到处理大的数据吞吐量，还要保证低延时。英特尔第三代的至强服务器技术平台，在提供算力支持，由我们非常专业的视频编写码软件在提供压缩便捷码的支持，保证数据的处理，以及吞吐的处理，还有低延时。
　　另外一个就是带宽。实际上带宽也是一个问题，这个数据量很大了，带宽受限的话也会影响用户体验。英特尔和我们的合作伙伴针对带宽问题我们做了一套特别的软件，我们叫切片技术，它是把非常高清的视频信号，高分辨率的视频信号进行切片，切片完以后再进行编码，每一个切片都编两个码流，一套是高清的，一套是低清的。用户在戴上头显观赛的时候，他的视野里面传输的是高清的码流，视野看不到的地方是低清的码流，这样就节省了带宽。用户360度体验转头的时候，又很快地他的视野里面的码流切换成高清，看不见的地方切换成低分辨率。这个实际上也靠的是云计算、云服务器的平台给它做实时推送，让用户感受不到差别，转头时候的信号差别。
　　主持人：先前体验了一下在手机上看VR，身临其境，比直观地看屏幕差别还是挺大的。
　　赵宏：实际上去年在东京奥运会的时候，转播商已经提供了7000多分钟的360度4K的VR视频。我们也看了一些数据统计，排名最靠前的第一项是开闭幕式，第二项是拳击比赛，身临其境的坐在拳击手旁边看他们打拳击。第三项是沙滩排球。现在，北京冬奥会实际上已经开始了，前几天的这个冰球比赛我们已经在用360度8K的VR技术平台，在帮助转播商拍摄直播信号。昨天的开闭幕式也已经用了360度8K的VR进行直播。大家有兴趣的朋友可以去找找相关的素材，每天都有直播信号，花滑也会有直播，冰球，还有高山滑雪。
　　主持人：最近英特尔在冬奥场也使用VSS，提供了VSS这种数字孪生场馆模拟服务——你能不能给我们网友直白地解释一下，这是一个什么样的技术？
　　赵宏：这个服务实际上很简单，就是一种数字孪生技术，把场馆高保真地扫描下来，然后重建在一个虚拟的世界里面：你不需要到实地察看，就可以在远程互联网接入来实际访问到你的场馆。场馆信息包括场馆内、场馆外，甚至包括每个观众的坐席座位，广告牌放在哪里。这套技术实际上最早服务的对象也是转播商，就是奥林匹克广告服务公司。他们在疫情期间遇到了非常大的困难，无法到现场进行实地勘探。因此，转播商最大的一项用户需求就是他要在每个场馆架设相机来制定他的拍摄计划，机位设置在哪里面，用什么样的镜头，都要进行不断的实地踏勘和模拟、优化。疫情期间他们很难有机会去访问实际场地。比如说高山滑雪它的场地是在崇山峻岭上面，如果实地踏勘一天一个来回只能看个场地，非常辛苦。所以VSS是解决了转播商这样一个痛点。
　　我们把北京冬奥会12个进赛场馆，包括户外场馆，3个奥运村，以及主媒体中心，全部用数字孪生技术进行了虚拟化和仿真。转播商，包括各国的奥委会都可以利用这项技术服务进行网上的虚拟踏勘，熟悉场地。各国奥委会，甚至国家队、运动队他们也需要事先熟悉一下场地，由于疫情的影响也没有办法很顺利地实现。所以这项技术是非常解渴的一项技术。目前除了转播商，还有各国奥委会、国家队，各国运动队在用之外，实际上北京奥组委的各个部门，都发现了有使用它的需求，比如说冰球的颁奖典礼，我们就利用冰球馆的VSS进行了一套流程的仿真和模拟，我们发现可以节省十几分钟的时间。所以这套服务目前受到了非常多的好评，包括安保部门，他们在制定安保线路的时候，也是非常有帮助。今年9月份的杭州亚运会，这套技术也将用在亚运会的一些运营管理和规划上。
　　主持人：那么，该技术的使用场景还涉及到哪些其他领域呢？怎么去平衡成本和精度？
　　赵宏：其实这是我们根据用户的需求来的，刚才我们讨论的这几项目技术，实际上都是来源于我们的客户，我们的服务对象的实际需求。在VSS这套技术里面，很多的功能，很多的详细功能规划都是转播商团队给我们提供了非常多有价值的建议。比如说在拟合的时候某一个机位他希望看到阴天的效果，要仿真出来。所以这套系统随着用户不断地把把的建议，他的好思路，以及想法提供进来，我们不断地完善，这套方案。当然最后是有一个成本和效率的综合。
　　主持人：我们在建设的过程当中有没有遇到过一些难点，或者是技术上的问题？如何去解决的呢？
　　赵宏：其实技术上问题并不太多，我们遇到非常多的困难还是沟通的问题。比如美国团队早晨起来要给他们开会沟通项目细节，档案的管理，沟通。下午的时候又要跟转播商团队，他们在欧洲，也要做项目需求沟通。所以团队付出了非常多的时间和精力在这个项目上，非常辛苦。但是辛苦是值得的，我们用户的好评就是对我们最大的褒奖。
　　主持人：我们知道英特尔还有Mobileye，为我们冬奥的出行提供安全保障。这个Mobileye现在已经应用在我们的这种超过500辆的大巴之上——这项应用会不会在我们的日常生活有一个更大的普及性？
　　赵宏：我觉得从目前来讲更多的还是人工的辅助驾驶、人工智能出行这样一个功能。目前是在北京冬奥组委会为运动员服务的569辆大巴上安装了Mobileye。它的技术主要是，从功能上来讲一个是盲区的识别，两侧盲区识别。第二就是前方障碍物的避障和这种警示。所以更多的是通过对路况的判断，也是用计算机识别技术，通过摄象头来识别前方的路况，第一时间把预警信号发给驾驶员。
　　同时这套系统有一个好处就是它走完一趟以后，它会自动地把这条线上的所有路况信息、标志物、信号灯，还有路边的一些障碍物它都能够记下来，这样第二次的时候，都会像一个老驾驶员一样坐在旁边提醒里注意。所以从目前的效果来看，很多驾驶员认为是非常有帮助的，也帮他们改善了自己的驾驶习惯。因此，将它作为一个纯粹的无人驾驶：我觉得现在还不是这样一个目的。
　　主持人：一个相对比较开放的问题。我们知道奥林匹克的意义在于更快、更高、更强、更团结，你觉得像科技在其中扮演着一个什么样的角色呢？
　　赵宏：我认为从科技来讲，其实从技术的领导者来讲，我们的宏旨，我们的理念是非常相似的：英特尔作为一家全球领先的技术企业，领导者、技术领导者，我们也一直在致力于不断地颠覆和创新，让我们的芯片速度更快，然后我们的技术平台能力更强，跟我们中国的客户更团结在一起，实际上这次冬奥会就是英特尔和我们在中国的很多客户团结在一起来支持冬奥会，从冬奥会的台前幕后方方面面都在支持。
　　主持人：冬奥是一种比较大的赛事，未来的时候，英特尔有没有深入到中国的各大赛事当中，提供更多的这种技术支持的计划？如果有的话，方便跟我们透露一下目前的状况么？
　　赵宏：体育领域是一个非常新兴的领域。英特尔在中国，我们在很多领域都有多年的耕耘，包括我们的教育领域，一些商业领域。但是体育领域确实是新兴的，通过这次冬奥会，我们的一些技术平台服务冬奥会，接下来是有非常多的机会，我们在中国深入地拓展中国的体育行业，包括比如场馆的智能化，运动员的专业训练，包括青少年的培养，以及刚才说的全民健身，实际上我们在跟相关的部门在聊的时候，大家对3DAT技术非常感兴趣。比如说武术，武术要走上国际，其实有一个门槛就是它的评级制度，我们在跟中国武联、国际武联在聊的时候，他们一项想法，能不能做一个自动打分软件？不需要裁判打分，摄像机摆在这，你打一套长拳，你的分值就出来了，给你评级。这样大家就能做到非常普及，非常公平公正，也非常有利于国际化。
　　主持人：如果说让您用三个关键词来对英特尔在冬奥会中的表现，您会用哪三个词呢？
　　赵宏：我觉得第一个是非常出色，我认为到目前为止，无论服务开幕式，无论服务运动员出行，360VR的创新的沉浸式的观赛体验，包括VSS数字孪生场馆仿真服务，以及刚才没有谈到的，我们在每个运动员村，建了1000平米的运动员娱乐中心，里面也有沉浸式的体验，除了体验VR座椅之外，还有体验中国的蛟龙号，还有我们的神州飞船，大家可以坐在模拟器里面感受上太空，进入到中国的空间站这样一个非常奇妙的体验。所以我认为到目前为止，我们做得是非常出色的。
　　第二个就是我们也非常荣幸，能够用我们的3DAT技术能够服务到开幕式当中去。实际上最早我们团队，我们并不认为我们有机会能够服务开幕式这样一个重大的项目，但是最后非常荣幸，在导演组，在开闭幕式领导的支持下，我们沿着技术创新的道路，最后成功地把我们的3DAT技术和艺术的完美的结合，制造了一场视觉盛宴，这个非常荣幸能够参与其中。
　　第三点就是非常骄傲，我觉得我们团队人数不多，然后我们得到了公司内外大力的支持，我们落地了这么多的项目，我们非常骄傲。

---