苹果、索尼押注的技术赛道，国内公司如何拔得头筹？

3D 传感技术是人类进入虚拟世界的第一步。

文 | Founder Park
虚拟世界注定要成为现实，只是何时到来，如何到来尚未可知。
摆在大家面前的首个难题，是如何将现实世界在数字世界进行数字孪生，以及，如何让大家更好地感受到虚拟世界，3D 传感技术在其中起到决定作用。
2020 年，苹果在新发布的 iPad Pro 上配备了激光雷达扫描仪（dToF 技术），dToF 技术作为 3D 传感的新趋势为行业所关注，而在今年，作为技术元件供应商的索尼宣布量产车载 dToF 传感器。一时间，dToF 技术以及背后的 3D 传感行业成为新焦点，预计将有超万亿美元的市场规模和新的行业巨头的诞生。
而在国内，专注 dToF 技术和 3D 传感的创业公司灵明光子，先后被小米、OPPO 和美团投资，并且拥有国内唯一、全球稀缺的成熟 3D 堆叠 dToF 芯片设计和工艺能力。而他们创业的缘由，居然是因为诺贝尔化学奖的一篇论文。
3D 传感技术的发展历程是怎么样的？为何苹果和索尼都押注在 dToF 技术？在未来的数字虚拟社会，3D 传感技术又能发挥怎么样的作用？这个超万亿的赛道，谁又能成为行业顶流？
7 月 25 日，在极客公园的 Rebuild 2022，极客公园创始人 & 总裁张鹏和灵明光子的联合创始人，董事长兼 CEO 臧凯，一起探讨了 3D 传感技术的发展及未来。

臧凯做客极客公园的「Rebuild」栏目 | 来源：直播截图
01
3D 传感是
未来数字社会的基础技术
Founder Park：如何理解 3D 传感和 dToF 技术？

臧凯：我们主要做的是 dToF 技术和 3D 传感解决方案，主打的是以手机和眼镜为代表的消费类市场和以汽车激光雷达为代表的工业视觉类市场。目前主要的 3D 传感技术有汽车上熟知的超声波雷达、毫米波雷达、双目摄像头、苹果手机使用的结构光等，还有大家所熟知的 ToF（Time of Fight，飞行时间法），这个又分为 dToF*（direct）和 iToF（indirect）两种。
dToF：飞行时间法，其基本原理是通过连续发射光脉冲（一般为不可见光）到被观测物体上，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。iToF 则是发射连续光，通过探测相位差，来间接推算测量距离。

3D 传感的技术分类 | 来源：麦姆斯咨询
当前的 3D 传感技术主要包含三大功能：测距、定位和建模。超声波雷达因为波长较长，很难对精细的物体进行建模，也很难在一个巨大的场景里做出整个场景的成像；而双目摄像头作用原理跟人眼类似，是被动光的方案，因此测距准确度有待提高；而结构光则主要应用在手机的人脸解锁、智能支付上和各种工业类环境。而灵明光子采用的 dToF 技术，能够比较完美地契合这个功能的要求。

苹果在最新手机上采用的激光雷达使用的也是 dToF 技术，使用脉冲光发射和单光子探测器接收的方式来测距，从这个角度讲，dToF 在成像的精准度、功耗以及更远距离探测上有一定优势。
Founder Park：3D 传感技术的发展历程是怎么样的？
臧凯：通过 3D 传感技术的发展时间线，我们可以发现是需求驱使的变化所致。
最开始是 2D 摄像头，也就是我们平常所说的照相机的芯片，其使用 CIS 技术（CMOS Image Sensor，CMOS 图像传感器），能够生成 2D 的影像。而最早的 3D 方案是双目视觉方案，类似「人眼」一般的运作原理，不过由于这个方案源于被动光的技术原理，所以当场景比较暗的时候，可能就看不太清楚。
于是在未来的解决方案上，3D 传感产品开始引入光源来照亮场景，这时候大家发现如果光源能够按照一定的结构（如条纹、点阵等）照在实际场景上，场景中有物体的时候，可以根据光信号的畸变获得场景的景深信息。因此，结构光应运而生。
既然有了结构光，那么如果主动光源打出的是连续的光波，我们根据接收到的连续光波的相位差，能够间接识别物体的距离。这也就是大家所说的 iToF 技术，其实跟过去的 CIS 技术是一脉相承的。
随着 iToF 技术的演进，功耗过大、室外测距距离不够远、以及场景复杂的时候测量结果误差较大等问题就出现了，这个时候又引入了 dToF 技术，相比较 iToF 技术，dToF 技术采用单个脉冲，对于时间的精准度卡得比较严，接收端也需要单光子探测器，但是我们在 CMOS 兼容的情况下做到了单光子探测器的低成本和高性能。
Founder Park：除了汽车和手机之外，未来还有哪些领域会对 3D 传感技术有需求？
臧凯：在未来数字化的社会，不管是室内还是室外的场景都对于高性能的 3D 传感技术有着很强的性能需求。
室内的话，可以用手机或者戴上眼镜扫描，这样就能知道室内所有场景的布置。比如在无人的情况下，智能设备对房间进行巡游、在房间游玩各类虚拟游戏或者直接开始虚拟会议。
室外的话，目前汽车上使用的激光雷达只是定位的功能，真正的室外建模需求是像谷歌今年发布的数字化地图。今天的地图都是 2D 的，未来的地图很可能是 3D 的，当我们坐在车里的时候，与世界的感知是通过 dToF 激光雷达收集到的外部真实世界的数字孪生的影像，那个时候我们所生活的数字世界其实不只是现实的物理世界的映像，也不只是虚拟在云端的纯虚拟世界，而是一个介于现实和虚拟之间，通过眼镜、通过手机、通过未来的智能化汽车与外界感知实现的一个现实与虚拟的融合状态。
在当前的时间点我们可以看到，对于苹果公开的产品信息来说，未来肯定会使用 dToF 技术进行室内和室外场景建模等，只是现在生态系统和软件都早期阶段。因此优先基于当前的已经成熟的需求，为拍照实现更多功能，比如多点对焦、剧场模式等。根据当前实际的用户需求出发，为未来的数据化和虚拟化世界迈出关键的一步。
今天还有一个趋势，就是大家都在为未来的数字化世界搭建内容，所以我们认为基于内容所引出的需求一定会让 dToF 技术迈出第一步，也就是在 VR、AR 领域 dToF 会有更大的应用。
02
创业缘起是
诺贝尔化学奖
Founder Park：当时创业的动机是什么？背后的分析和决策的过程是怎么样的？
臧凯：最初的灵感启发是 2014 年的诺贝尔化学奖，斯坦福大学的威廉·莫纳教授和另外两名教授因为研制出「超高分辨率荧光显微镜」而获得这一奖项。这个技术能够帮助我们观察到以纳米级别来观察细胞和大分子。但是这项技术使用的探测器价格非常昂贵，当时我们认为这项技术的本质与单光子探测器是一样的，如果能把这个方案用 CMOS 兼容方案像生产 CPU 一样生产出来，成本肯定会大幅下降。

2014 年诺贝尔化学奖获得者：美国科学家埃里克·贝齐格、德国科学家斯特凡·黑尔、美国科学家威廉·莫纳（从左至右）| 来源：NobelPrize 官网
在 2014 年的时候就跟实验室的导师还有学长讨论了这个想法，当时觉得这是一个可以推进的方向。我们把探测器做出来之后，发表在 Nature Communications 上，之后我们跟斯坦福的老师一起按照诺贝尔化学奖文章的类似算法，在《Nature》上发了一篇讲述采用单光子探测器+dToF 方案的论文。

文章发表之后收到了很多厂商和投资人的认可，当时大家讨论比较多的是激光雷达，我们当时看好 dToF+单光子单光子探测器会成为激光雷达接收端，这也是我们团队创业的初衷，因为相当于完成了小的闭环，于是就开始朝着更大的需求进度进行。我们本来想的是生物领域，但是团队不太好搭建，正好有其他几位合伙人的加入，就开始了 dToF 的创业之旅。
今天其实可以看到一个新的趋势，就是已经以极低成本生产的这些单光子探测器反过来又反哺了生物和医药的开发。在技术维度上，我们看到技术的提升是横跨各个领域的，是一个螺旋上升的形态。从生物领域出发的，逐渐到了工业类，后来又到了消费类，但当消费类价格足够便宜的时候，又回来反哺了生物领域。
Founder Park：是如何下定决心进入这样一个高技术壁垒的行业创业的？
臧凯：我们本来都是一群有技术信仰的人，相信 dToF 技术可以在消费端和工业端使用，并且持续朝这个方向努力。
另外就是，我们在做这些事情的时候，一切都是以需求为导向的，由需求来反向推动合作方。我们会跟所有的客户去谈，如果说真有这样一款产品，大家是不是感兴趣。如果感兴趣，那么这款产品就是有价值的，而在近端，我们也能看到这个需求被一步步验证，比如说在苹果手机上摄影辅助的应用。以及下一步我们看到的可能在 3D 直播、3D 营销、数字虚拟人等等的应用。这些都是在一步步实现产品的落地，也能实现一定的营收，然后在这个过程中实现迭代和循环。
Founder Park：灵明光子现在有哪些产品线？
臧凯：主要有三条产品线。

首先是 3D 堆叠大面阵芯片（单光子成像阵列模组），可以说就是一个 3D 摄像的核心芯片，包括应用在手机、眼镜等消费级场景的低功耗系列，以及汽车等工业场景的高性能、精准成像系列，这是灵明光子最为知名的系列。我们也是国内首个推出 3D 堆叠 SPAD 面阵的公司。这个目前偏向工业类的应用，比如物流等，也在努力推广消费类的应用，比如手机和眼镜等，可以提高影像成像质量。
第二个是硅光子倍增管，我们把单光子探测器本身做成了产品，早年这个技术主要用在医学的紫外光 PETS 检测等，在进行了红外增强的技术改良后，现在是作为车载激光雷达的接收端，也得到了很多客户的认可。主要的客户是激光雷达公司。
第三个产品是单点和有限点 dToF 芯片模组，苹果在 iPhone 7 plus 上就开始使用了 dToF 技术，可以说这个技术现在已经很成熟了。我们的量产 dToF 模组目前应用在了 AIRFLY 吹风机上，可以实现在离头发比较近的时候，自动降温的功能。还应用在扫地机、笔记本等领域，笔记本主要是自动唤醒功能。
Founder Park：灵明光子的技术壁垒是？
臧凯：目前的话，3D 堆叠所代表的背后工艺和我们设计的体系架构是灵明在技术维度上安身立命的核心。在这个基础上，直接集成在芯片中针对应用的算法，实打实地能够将产品做量产是核心的壁垒。
从做 demo 的角度来说，百里挑一肯定能挑出一个比较好的探测器。但为车载所准备的探测器如何能做到在量产的情况下保证质量、可靠性和稳定性，这其实是对工艺更高的考虑，也是我们持续在解决的问题，在我们看来是真正核心的技术壁垒。
而接下来，随着越来越多的 dToF 公司的加入，如果以产品为引导，真正拿出符合客户需求的产品，才能保证今天的技术壁垒转化为产品上的壁垒。
我们认为，大概到 2026、2027 年，整个手机、眼镜和汽车行业会进入技术拐点开始高速增长的时候，商务和生态推广能力和市场占有率是我们具有商业护城河的关键。
Founder Park：在你们看来，未来行业是会存在很残酷的同质竞争，还是大家会有不同的技术方向？
臧凯：有更多的 dToF 技术公司加入，说明了需求本身是存在的，大家能从需求中得到商业化的回报。我认为今天的行业情况和过去的手机或者现在的电动汽车是类似的，都存在成长期和淘汰期的阶段，以电动车为例，大家会说在电动车达到 50% 渗透率之前都是成长期，之后就是淘汰赛的阶段，其实对 dToF 也是一样的。未来在手机、眼镜和汽车等领域一定会有一套通识的技术方案，谁能掌握这套方案，谁就可能成为行业内 top 级别的存在。
但是如同今天的摄像头一样，不管是在安防还是在一些科研领域，或者说在一些相对小众的应用领域，也会有各自的技术公司存在。
Founder Park：作为技术型创业公司，如何看待最近的创业环境？
臧凯：第一，我们肯定是对这个领域抱有足够的乐观，这也是我们之所坚持做这件事的原因。
其次，半导体是典型的长周期，而且是有大幅度明显周期的行业，对于这个行业来说，潮起潮落很正常。对于灵明光子来说，想在行业长期活下去，必须要适应，在巅峰时期努力抛弃泡沫、低谷时期保证能活下去。过去几年我们也感受到了消费类的库存短缺或者库存积压带来的影响，对于业界的低迷我们是有心理准备的。
第三点，我们能找到合适的方式，保证让公司生产可盈利的产品。比如说我们在推广客户的时候，不再拘泥于是不是我们直接的合作方，而是真正找到我们的客户的客户，乃至最后的客户到底要什么，因为只有这样才能真正地保证公司在行业里能够生存下去。今天业界不管是对未来数字化、元宇宙、直播包括一系列的虚拟偶像都有实际的需求。那么对于灵明光子来说，我们会在今天的行业背景下，深挖墙广积粮，同时做好相应的真正服务客户和社会的准备，这才是真正能够让公司在寒冬之下存活下去的核心。
03
5 年内
VR 行业会进入新的拐点
Founder Park：在你看来，dToF 技术会取代 iToF 技术吗？
臧凯：短期来看，我们认为 dToF 和 iToF 会共存，因为 iToF 技术更成熟，dToF 作为一个新生事物，会存在鸡生蛋蛋生鸡的问题，应用的客户需要拿原始数据做一些机器学习，但是现在除了 iPhone 和 iPad 之外，其他终端很难真正收集到 dToF 的数据，特别是原始数据，这对于行业的推进有一定的阻碍作用。
其次，从未来的发展来看，当 dToF 的像素和 iToF 处在同一个量级的时候，我们相信 dToF 能够在非常多的领域取代 iToF，但是 iToF 在成本上更占优势，在一些要求不高的场景下，依然具有一定的使用量。iToF 今天已经成熟了，未来也会稳定地在业界存在。
第三，未来多传感器是会融合的，也有可能会出现 dToF 和 iToF 融合的方案，不过目前业界巨头都在主推 dToF 的方案和算法，融合方案在我们看来是更长期的一个可能性。
Founder Park：dToF 技术要大规模量产的核心突破点是什么？
臧凯：从技术角度来说，dToF 本身对于量产的要求和算法的要求是技术维度上实现量产的一个壁垒。
另外是从产品维度上，dToF 所蕴含的数据量和场景是更大的，一旦有公司做成了量产，并且做出了生态和行业上的标准，对于其他家来说所面临的的壁垒就变成了产品迭代和生态上的竞争。就像如今的 CIS 的格局一样，坦白说技术已经很成熟了，但是真正能做 3D 堆叠 CIS 的公司也就几家。我们认为这就是由于背后从技术到产品，最后再到商业壁垒上一系列原因导致的。
Founder Park：dToF 技术和哪些技术有可能在未来产生交叉，带来新的可能性？
臧凯：主要是和光学成像相关的技术，我们认为未来多传感器一定会融合的。比如对于汽车来说，最佳的方案是 RGB-D 的摄像头，既有 RGB 的信息，同时又有深度信息的融合芯片，但这个产品可能会出现在几年之后。因为在今天的逻辑下，汽车行业做迭代一定是基于今天成熟的 CIS 再加上 3D 传感器，这样才符合业界迭代的思路。
Founder Park：3D 传感以及 dToF 技术的未来发展趋势是怎么样的？
臧凯：我们认为未来数字化是不可阻挡的，肯定要做虚拟世界和现实世界的数字化。在这个逻辑下，对于云端、管道、终端三大部分是非常关键的。我们会把所有的 3D 信息存储在云端，可能是私有云，也可能是公用云。管道的话，包括今天的 5G 技术，蓝牙新一代的传输方案等。终端是来把虚拟世界和现实世界联系在一起的工具，对应的就是手机、眼镜和汽车，也包括耳机、触感配件等。
而从现实角度来看，5G 所对应的云端和管道的要求更多体验在于物联网、车联网，打造室外的 3D 地图，车与车之间的互联，这才能帮助实现下一代的信息社会格局。也是基于此，我们认为将来汽车公司可能会造手机、造眼镜，手机公司也会造眼镜，手机、汽车、眼镜会是三位一体，但是不只是简单的三位一体，它们所代表的是实体和虚拟进行交互的窗口，所有的交互一定是 3D 的。那么 dToF 在眼镜、汽车和手机上的使用是行业发展的必然。
只是现在对于 dToF 来说，汽车激光雷达只是定位的作用，未来可能也要做建模的作用，未来 2D 地图的争夺会转向 3D 地图，任何一个厂商如果能先掌握 3D 的技术，不管是对于直播还是广告带货，还是说游戏娱乐都会有更深入的触达，这是行业发展的大方向。这个大方向下，各种 3D 成像方案都有机会，只是灵明光子判断之后，觉得最大的机会是 dToF，这也是为什么灵明光子持续在 dToF 上做迭代的原因。
Founder Park：从你们的技术路线来看，VR、AR 行业在未来五年会不会有技术突破的可能性？
臧凯：哪怕今天消费业界的需求非常疲软，我们依然非常坚定地认为 5 年之后，大概在 2026、2027 年，起码对 AR、VR 来说，整个生态系统会看到拐点，这可能是一个相对来说比较激进或者乐观的一个预判，主要原因是这样的。
我们所说的 AR、VR 指的是人通过 VR 眼镜、MR 眼镜或者 AR 眼镜与外界的世界进行感知。对外界事物进行感知，就一定需要两样事情。第一个是需要知道外面的世界是什么样子，这个时候需要对场景进行建模，戴着眼镜的时候我们还要对场景进行定位。很自然地，dToF 是一个天然非常合适的解决方案。
虽然今天也有很多替代的方案，比如说双目、结构光某种程度上也可以满足非常多的要求。但是随着行业的迭代，dToF 自身的独有特性会显示出来，因为它所加载的是对场景的建模和定位深度的判断。当我们在做 AR 的时候，肯定也希望感知到虚拟的 3D 物体，这个时候就涉及到对物体的建模和定位的逻辑，也是 dToF 能够实现的一个逻辑。我们基于对于未来行业的判断，dToF、结构光、双目甚至超声波方案有可能会出现融合。
同样的道理，对于 AR、VR 的世界来说，最直观的世界就是现实的世界。如果大家用工具来进行 3D 的创作，需要很多时间。数字孪生，背后所依赖的是对于现实世界的建模，这些都是目前 dToF 未来可以大有应用的地方，因为它所具备的是低功耗以及在室外的远距离，并且最关键是不受周围的复杂环境影响。
比如说今天的直播都是 2D 摄像头，以后有可能大家戴上眼镜看直播的时候，从不同角度去看，你可以会看到一个更加真实的 3D 主播，直播的整个影像就是 3D 的状态，这是我们对于未来世界一个很大的畅想。这个角度下，不管是数字的社交、虚拟的社交、 VR 元宇宙的社交，还是 AR 里现实与虚拟结合的社交，都会更加高效，同时会有更多的应用和需求的出现。
*以上嘉宾观点不代表 Founder Park 立场，也不构成任何投资建议。
极客一问
在未来的数字虚拟社会，
3D传感技术又能发挥怎么样的作用？

---