开创热雷达先河：浙大研发高光谱热雷达，为机器感知拓展全新领域

作为浙大博士毕业生，鲍芳琳用一篇 Nature 封面论文开创了热雷达的先河，为人工智能安上了一双白天夜晚均能看见的“眼睛”。

（来源：Nature）

这得从他和所在团队提出的新型机器感知方法——HADAR （heat-assisted detection and ranging）说起。HADAR 的中文名是“高光谱热雷达”，也可以简称为“热雷达”。

这是一种新颖的传感范式，与现有的微波雷达（radar）、激光雷达（LiDAR）、声纳（sonar）等有着根本性不同。

微波雷达、激光雷达与声纳都是主动式传感，它们会主动向环境发射信号。热雷达是被动式传感，会和相机一样“默默”地接收信号。

课题组之所以将它取名为雷达，是希望有朝一日热雷达可以像微波雷达和激光雷达一样，在各行各业中取得广泛应用。

图 | 鲍芳琳（来源：鲍芳琳）

从人类在夜晚没有视力说起

当前，人类正处于人工智能蓬勃发展的时代。机器人外卖员、扫地机器人、自动驾驶汽车等已经开始走进人类生活。预计在未来十年，将会有数以百万记的机器人和人类共同生活在地球上。届时，机器人和人类的社会互动将达到一个空前的强度。

对于这些机器人来说，它们必须借助传感器来“看”周围的环境，并在获得机器视觉之后做出自主决策。在当前的智能机器市场上，以谷歌以及特斯拉的无人驾驶汽车为例，它们主要采用相机以及激光雷达来获得机器视觉。

相机结合机器学习算法的方法，在白天的确表现优异，但是一到夜晚就没法工作。事实上即使在白天，相机也不能很好地区分真正的行人与海报上的人像。

另一方面，激光雷达以其高精度而著称，在机器视觉领域有着不可替代的作用。然而，激光雷达只适合单机使用，难以扩展到多人工智能的场景中。当多台激光雷达放在一起，就会出现信号串扰，并对人眼造成安全隐患。

由此可见对于即将来临的机器人时代来说，显然需要新一代的传感器，以便不分昼夜地支持多人工智能场景。

当然，作为人类的我们早已习惯了白天与黑夜的二分世界。在黑夜看不见东西也是一个再自然不过的现象。

那么，想要造出一个不分昼夜的传感器，先得回过头去思考：为什么人的眼睛在黑夜没有视觉能力？

这其实是生物演化的结果。几百万年前，人类跟其他陆地动物一样都还是远古海洋生物。海洋几乎只在可见光区域透明。从那时起，人的眼睛就一直围绕着可见光演化。

然而，地球一直在自转，始终只有一面朝着太阳。背对太阳的另一面没有可见光，于是就形成了黑夜。

而人工智能既没有生物演化，也无需考虑海洋的透明窗口。那么，人工智能的机器视觉可以做到没有昼夜之分吗？

鲍芳琳说：“我们的热雷达工作给出了肯定的答案，YES！”

在这项工作中，第一步便是利用红外热辐射作为传感信号源。事实上，我们周围的所有物体诸如地面、房子、人体等，都会不分昼夜地发出红外热辐射。

利用红外热辐射进行成像，具有一定的夜视能力。然而，热成像有着非常典型的“鬼影效应”。如下图，热成像之下的人脸没有细节，更像个“鬼魂”。

图 | 鲍芳琳的热成像照片（来源：鲍芳琳）

其实热成像下的其他物体也都一样：缺乏纹理、对比度低，远不如白天我们眼见的景象。

那么，“鬼影效应”是怎么产生的？假如能从热成像中恢复纹理细节，使热成像达到类似于白天景象的效果，就能得到真正的夜视吗？

鲍芳琳说：“我们的热雷达工作正是解释并克服了‘鬼影效应’，并实现了真正的夜视。热雷达可以在黑夜看到类比于白天的景象，在此基础之上实现不分昼夜的机器感知。”

由于热雷达是被动式传感，所以非常适合用于多人工智能场景，有望为未来的人机交互时代提供传感支持，并有望为机器视觉以及人工智能带来突破。

可以说，热雷达重新定义了低可见度环境下的机器感知，即将为低可见度下的机器视觉以及成像技术带来革命。

审稿人也评价称：“这篇论文将会吸引全球学者来探索热雷达，并将热雷达的框架应用到低可见度情况的各个任务场合。”

同时，热雷达毫无疑问将提升自动驾驶以及其他机器辅助技术。随着热雷达的进一步优化，它将开辟一个全被动的、对物理环境有着灵敏传感的机器感知技术。

由此可见，热雷达有望重塑我们的未来，它会让我们更加接近一个人机交互的社会。在那里，机器可以通过高灵敏传感为我们提供既关键、又安全的信息。

（来源：Nature）

具体来说：

热雷达最直接的应用就是作为机器人以及无人驾驶汽车的传感器。热雷达采取完全被动式的传感方式，可以感知材料、温度、几何纹理等多维度的物理信息，还能在黑夜看到类似白天的景象，这将为机器人提供全新的机器视觉支持。

热雷达也能用于野生动物监测。野生动物大多只在夜间活动。热雷达的夜视能力以及灵敏的温度感知能力，将帮助我们更好地监测珍稀野生动物。

热雷达也可用于智能医疗，更好地在夜间监测患者的行为、状态。

热雷达还能用于国防领域，由于其具备被动传感的特征，故其具有良好的隐蔽性。

日前，相关论文以《热辅助探测和测距》（Heat-assisted detection and ranging）为题发在 Nature，并成为当期封面论文。鲍芳琳是第一作者，美国普渡大学祖宾·雅各（Zubin Jacob）担任通讯作者[1]。

图 | 相关论文（来源：Nature）

“本来也不存在路，路都是人走出来的”

事实上，这篇发表于 Nature 封面的论文，一开始起源于鲍芳琳用来练手的一个小课题。

2019 年 5 月，为了拓宽个人研究方向，鲍芳琳来到美国普渡大学 Zubin Jacob 组从事博后研究，原本他打算做一个量子多体物理与张量网络的课题。

然而等鲍芳琳真正来到普渡大学，Zubin 却并没有成功申请到张量网络的项目。

于是，他们打算先花两三个月时间，拿个小课题练练手。一边积累机器学习与张量网络方面的知识，一边申请新的项目。

对于这个小课题，Zubin 给鲍芳琳设定了一些相对浅显的内容：用机器学习对红外光谱进行材料分类。

不过，Zubin 却给这个小课题取了一个响亮的名字——HADAR（heat-assisted detection and ranging），这便是此次研究的前身。

但是，Zubin 和鲍芳琳都没有红外遥感方面的基础。等鲍芳琳掌握了张量网络、神经网络与机器学习方面的必要知识后，鲍芳琳又开始了解领域内的现状，结果发现对于红外光谱进行材料分类这种工作，早在十年前就被做完了，因此并不能作为新的课题。

但是，鲍芳琳觉得 HADAR 这个名字有点意思。利用红外辐射进行被动式传感，相比激光雷达而言也有其独特的优势。

在 HADAR 这个单词里，D 跟 R 分别代表目标探测与距离测量。如果不像激光雷达那样主动发射信号出去，又该如何测量目标物体的距离呢？

最直接的做法就是模拟人眼，用双目视差法测量距离。然而，鲍芳琳发现热成像受到“鬼影效应”影响，普遍都缺乏纹理，这时就很难采用双目视差的方法，这也是热成像传感领域的一个瓶颈。

那么，为什么热相机拍照片无法像普通相机那样富含纹理呢？“鬼影效应”又是怎么产生的？以及能否克服“鬼影效应”，实现热红外的目标探测与距离测量？

这些问题让鲍芳琳来了兴趣，也让他看到了真正适合 HADAR 这个名字的、完全不同于当初小课题的研究思路与内容。

找到新的研究思路之后，他很快就想通了“鬼影效应”的机制与克服办法，由此提出了“TeX 视觉”的概念，这也是热雷达的核心原理。

与此同时，Zubin 也极大肯定了鲍芳琳的想法。综合一些其他想法，再加上组里的前期研究基础，他们很快就在一年之内申请到 4 个项目。热雷达项目，则由其中一个 DARPA 项目支持。

获得支持之后，他们分析了热雷达的理论极限，也研究了一些基础问题，比如热雷达需要多少个光子才能分辨目标物体的材料、以及测量目标物体的距离等。

另一方面，他们也开始着手使用仿真模拟的方法，去证实热雷达的可行性，以及通过户外实验去实现热雷达的原始模型。

（来源：Nature）

后来，他们把上述研究整理为论文并投稿到 Nature，尽管得到了非常正面的评价，期刊编辑以及审稿人都表示这项工作很有意思。

不过，鲍芳琳和导师以及同事基本都是物理或光学背景出身，而审稿人全部来自计算机科学和机器视觉领域。

不同背景学者的关注点很不一样。审稿人在点赞理论框架的同时，也希望鲍芳琳等人补充更多的模拟与实验，真正把热雷达做出来，并与现有的激光雷达等进行对比。

在长达两年的审稿过程中，鲍芳琳自学了一些计算机图形的基础知识。他还带着几个研究生开发出一个基于光线追迹的计算机图形仿真软件，生成了世界上唯一一个公开的红外高光谱成像的数据库（the HADAR database）。

利用这个数据库，他们开始训练机器学习，并对热雷达理论进行数值验证。同时，利用 DARPA 项目组提供的更加优质的实验数据，鲍芳琳开发了一系列算法，在实验上实现了热雷达的所有效果，包括 TeX 视觉、类比于白天的夜视能力、显著优于传统热成像的目标探测与距离测量等。

热雷达是一个新概念，也是一个跨领域的工作。虽然目前只是一篇期刊论文，但是鲍芳琳感觉其工作量堪比一个博士学位论文。

短短 6 页的 Nature 正文背后，有着将近 100 页的方法与补充材料，涵盖光学信息理论、机器学习算法、实验细节、与当前机器视觉的对比分析等内容。

审稿意见以及修改材料也长达 143 页。原本 3 个月的小课题做了 4 年才有了这第一个阶段性成果。

鲍芳琳说：“论文合作者之一的 Vaneet Aggarwal 教授曾问我，这么长时间没出成果，你不怕以后找不到工作（教职）吗？说实话，我也担心。不过权衡之下，我觉得‘做好一件事情’比‘做过多件事情’更重要，所以一直在坚持。”

而鲍芳琳和同事踏实的论证工作，也得到了审稿人多次的赞赏。与此同时，漫长的研究也并未让鲍芳琳过于担心找工作一事。因为在此前，他曾在其他项目上发表过一些论文。

但是，由于热雷达过于前沿，他也曾遇到过一些困惑。其表示：“我本科学的是物理，博士学的是光学。在做热雷达之前，我主要研究量子物理。”

在做热雷达之后，曾经有很长一段时间，组里新来的同学问他从事什么研究方向，很多次他都答不上来。

尽管热雷达涉及到多个学科的知识，但它本身是一个新生事物，不曾被明确定义过。直到研究临近结束，他才慢慢释然。“本来也不存在路，路都是人走出来的。也许若干年后，热雷达本身就成了一个研究方向。”鲍芳琳总结称。

另据悉，在论文审稿期间，鲍芳琳也迎来了女儿 Louisa 的出生。组里同学开玩笑说，她的名字应该叫 HADAR。他继续说道：“这项工作能坚持到最后，离不开亲人们默默的支持。”

未来，鲍芳琳会持续推动热雷达相关的研究，直到它像激光雷达等一样在社会上取得广泛的应用。这其实是一条漫长的路，前文提到了鲍芳琳的热成像照片。那么，它对应的热雷达图像在哪里？目前依旧无法得到。

这是因为，目前的热雷达仍然处于概念验证的阶段，还有很多理论需要通过进一步的实验加以验证，也有更多应用值得去探索。

与此同时，热雷达所使用的高光谱热相机非常笨重、迟缓和昂贵，急需得到进一步的突破。“我计划回国之后在这些方面继续开展研究工作，希望 2024 年初能回到祖国怀抱，我未来的研究方向也会继续围绕量子物理与人工智能开展，热雷达便是其中的一个方向。”他说。

参考资料：

1.Bao, F., Wang, X., Sureshbabu, S.H. et al. Heat-assisted detection and ranging. Nature 619, 743–748 （2023）. https://doi.org/10.1038/s41586-023-06174-6