只需对着你的双脚拍几张照片，这个APP就能帮你匹配到适合的鞋子

SnapFoots是一款新的手机应用程序，根据用户脚的3D形状显示鞋子的合脚程度。它还提供了一个简单的增强现实（AR）可视化，显示鞋子在脚上的样子。

这款应用程序技术专为在线鞋类零售商设计，旨在为其客户提供不同款式的鞋子的精确搭配，并让他们有机会了解鞋子在购物者脚上的外观,这会减少退回的鞋子数量。无论是在金钱上还是在环境上，回报都会带来巨大的成本。由于高回报率，许多鞋类零售商从网上销售中获得的收入微乎其微，因此这款应用的目的就是改变这种状况。

Roberto Cipolla教授和他的团队机器智能小组的James Charles博士和博士生Ollie Boyne博士与Giorgio Raccanelli和Snapfeet团队合作开发了这款应用程序。

借助增强现实技术（AR），SnapFoots应用程序允许客户通过手机虚拟地穿上鞋子，并在几分钟内找到完美的鞋子。SnapFoots实时创建用户脚的精确3D副本。只需从不同角度拍摄几张手机照片，几秒钟内就可以制作出双脚的3D模型。

使用用户的脚形，并将其与鞋的几何结构进行比较，SnapFoots就能够为每种类型的鞋推荐正确的尺寸，向用户传达脚的不同部位（脚趾、脚背、脚跟和鞋底）可以达到的舒适度。

乔治·拉卡内利说，“你下载SnapFoots应用程序，注册，在脚周围拍摄几张照片，就会出现一个脚的3D模型，让你立即开始购物。该应用程序会自动将脚的三维图像与所选的鞋款进行比较，向你展示它将如何适合你，或者直接建议最适合你脚形的款式。”

Snapfeet的第一大客户是Hugo Boss和Golden Goose。

SnapFoots的母公司Trya于2011年通过剑桥企业（Cambridge Enterprise）从Cipolla教授的团队获得新型摄影测量软件的许可。

最初的摄影测量技术使用带有校准图案的照片。拍摄完这些照片后，它们被上传到服务器，剑桥大学开发的多视点立体算法发现了多个点对应，并生成了一个3D模型，解释了所有不同的视点，并在世界空间中定位相机。这是2011年最先进的重建精度。

自2019年以来，Cipolla教授的团队一直在与SnapFoots合作，将原始的摄影测量技术发展为一款手机应用程序，该应用程序可以实时重建手机上的3D脚部形状，而无需任何校准模式，并在AR中正确调整鞋的尺寸和可视化。

最初的摄影测量软件非常精确，精确到1毫米，但速度很慢，很难处理。准确性是存在的，但可用性不是。它也没有利用它试图重建的物体的任何知识。

该团队研究了如何使其更快、更人性化，这个想法诞生于一部手机上，无需校准模式，也无需在服务器上进行处理。他们能够利用机器学习和现代手机上强大的处理器方面令人兴奋的新发展。

“我们能够利用机器学习（深度学习）的新发展用于识别3D对象，以及现代手机上的先进传感器和强大处理器，以便在手机上实时运行重建算法。总之，我们可以将参数化的脚部模型和新的深度学习算法结合起来，用于识别曲线和曲面，使我们能够在设备上实时运行3D重建算法。”Cipolla教授说。

他们使用了一个参数化的脚部模型，这个模型是使用原始的摄影测量技术从大量的脚部3D扫描中学习到的。应用程序构建的3D脚部模型可以在任何图形引擎中渲染，以可视化它的外观。脚的形状可以改变，并使用机器学习学习的10个不同参数进行控制。我们的目标是找出这些参数中的哪一个能产生与用户最匹配的3D脚。

“主”脚模型被称为“先验”，是关于脚的外观的先验知识的缩写。应用程序用户仍然会在脚周围拍摄多张图像，但应用程序使用机器学习来预测控制脚形状的更高级功能，而不是构建点云（如摄影测量）。这样做的好处是，应用程序用户需要拍摄更少的照片，返回的脚部模型具有更少的瑕疵，并且如果扫描过程中出现错误，该过程更加稳健。由于应用程序的实时深度学习元素，该模型的制作速度也要快得多。

该团队刚刚发布了新版本的应用程序，可以在移动设备上做任何事情。不再需要服务器。

谈到这款应用，詹姆斯·查尔斯（James Charles）说：“我一直很难买到正确尺码的鞋子。我不喜欢商店里的试穿过程，网上订购大量鞋子对环境的影响是我的一大担忧。然而，在这款应用之前，真的没有其他选择。因此，我非常积极地解决这个问题，认为我们已经有了很好的解决方案。”

最初，当用户打开应用程序时，有一个校准阶段，用户开始使用手机上最新的AR功能跟踪摄像头。在iOS手机上是AR Kit，在Android手机上是AR Core，它们使用的例程与室内设计应用程序用于绘制房间地图和以图形形式表示物理空间的例程相同。

在校准阶段，手机摄像头会被跟踪。该应用基于AR技术来跟踪相机并计算它移动的距离，它还可以检测脚和地板，从而更好地了解世界空间。该应用程序知道手机的位置，精度在2毫米以内，并且在加载应用程序的几秒钟内完成。

当手机在脚上的某些关键感兴趣点周围移动时，会检测到这些点，以帮助确定脚的长度和宽度，然后根据这些测量值创建一个3D网格，然后将模型覆盖在AR中用户的脚上，以便他们可以直观地验证模型是否正确。

这是另一个关键步骤，与竞争不同。市场上有一些应用程序也可以以这种方式验证模型重建，但它们不允许您主动调整模型。SnapFoots允许您实时调整模型，然后立即在手机上获取脚的3D模型，而无需服务器。

有三种机器学习算法在起作用。一是建立参数化的足部模型；第二种是机器学习，它可以在移动手机时从多视图图像中恢复模型的参数。最后，应用程序中还有第三种机器学习算法，它将3D脚部模型与客户感兴趣的所有鞋子形状或“鞋楦”进行比较，然后返回最适合用户脚的鞋子尺寸。这是虚拟试穿。

当制造商制造鞋子时，他们会制造鞋楦，鞋楦是鞋子内部的实体模型。围绕鞋楦，他们创造了鞋子的设计。鞋楦和用于制作鞋子的材料决定了一个人将脚放进鞋子时的尺寸和舒适度。

该算法将采用脚部模型，并以数字方式将其放入您感兴趣的所有鞋子中，并给您一个舒适度评分。然后，你可以使用AR将虚拟鞋渲染到你的脚上。该应用程序还可以检测腿/裤子的位置，以便获得正确的遮挡效果，使用机器学习捕捉脚的跟踪。

一旦你恢复了脚的形状，这款应用也会使用AR，这样用户就可以在你试穿鞋子时获得应有的感觉。然后，应用程序的AR元素允许用户查看鞋子在他们脚上的样子，以及它们是否适合特定的服装。

SnapFoots公司慷慨资助了一项博士研究项目，使奥利·博因能够扩展从照片中塑造脚的研究。该应用现在在app Store上上线，许多鞋商正在使用和测试该应用，以帮助降低在线销售的回报。下载该应用程序，自己动手试试。