手机秒变投篮机，模拟投篮真实手感，腾讯微视技术家底到底有多厚官网

机器之心原创作者：徐丹、陈平

小型AR拍摄机背后有哪些技术？我们和腾讯的微视技术团队聊了聊。

腾讯微视最近发布了黑科技。这款新的网络游戏“AR射击游戏”可以让你的手机在几秒钟内变成射击机器。操作方法如下：进入腾讯微视APP，搜索“AR拍摄”。

点击AR射击机进入游戏界面。找到一个背景平面，将篮筐调整到最佳投篮位置，瞄准篮筐，将篮球向上滑动并撞击篮筐得分。游戏对场地的适应性非常强，即使在黑暗的环境中，它也可以定位具有单一纹理的地板。

虽然是虚拟拍摄，但腾讯微视的重力和碰撞是通过模拟现实世界的物理特征来设计的。在滑屏抛投过程中，用户滑动的速度、距离和角度共同决定了篮球抛投的落点。

最大程度模拟现实世界中抛掷物体的力度、方向和重力。用户只要击打几次，就能掌握投球的力度和技巧，然后凭借肌肉记忆多次击打，得分的加成会越来越高，视觉和听觉的特效反馈也会更酷更强。不仅如此，

根据篮板的距离，游戏分为普通模式和挑战模式，模拟现实中的两分球和三分球。连续进球得分达到20分后，篮筐会开始左右移动，最大程度还原了投篮机器的真实游戏体验。

虽然游戏很小，但背后的技术并不简单。腾讯微视有一个AR团队，专门从事AR技术的研发。这款AR拍摄机器耗时四个月，可以说是腾讯微视AR技术的集大成者。除了AR拍摄机器，

腾讯微视还有许多其他很酷的AR应用程序，例如“纸片人”和3D人民币。AR是近两年才出现在大众面前的“黑科技”，大众对它的认知度并不高。而且在很多人的印象中，这还是一项设备门槛很高的技术。

然而，腾讯微视可以让AR触及普通消费者，并在90%的安卓手机上运行。这些炫酷的AR应用背后的技术原理是什么？AR技术如何“走进寻常百姓家”？我们和腾讯的微视技术团队聊了聊。

横向AR算法：覆盖90%安卓机，爆款“AR射手”在后。在AR射击游戏中，虚拟的3D背板看起来像是附着在真实的地板上。

如何做到这一点？本质上，需要在三维场景中找到具有某些特征点的附着平面（例如图案化地板），确定其坐标位置，然后将附着平面映射到二维屏幕上，然后绘制要在平面上显示的图形或3D模型。

腾讯微视使用“水平AR算法”来确定附着平面。通常使用SLAM算法对三维场景进行扫描和映射，并定位水平位置。定位后，将AR模型放在水平面上。

接下来要做的实际上是获得一个转换，以建立模型坐标系和屏幕坐标系之间的映射关系。根据这种变换，在屏幕上绘制的图形可以实现将图形附加到AR模型上的效果。具体步骤是，

从模型坐标系到真实屏幕坐标系的转换需要首先旋转和平移到摄像机坐标系，然后再从摄像机坐标系映射到屏幕坐标系。但是在移动AR的玩法中，如果直接使用SLAM进行定位，在用户体验上会存在一些痛点。

这使得游戏很难爆发。对此，腾讯微视团队对该技术进行了诸多优化。“不同的玩法要搭配不同的算法。SLAM算法不能一成不变地使用，否则会杀鸡用牛刀。例如，大多数手机只有一个摄像头。

因此，只能使用单目SLAM算法，用户必须在初始化之前平移手机，直到有足够的视差。这种翻译操作极大地影响了用户的体验。此外，单目SLAM算法无法计算真实规模，会出现“大国却小国”的问题。

腾讯微视的做法是充分利用手机上多个传感器的信息和用户的交互信息，可以在第一帧进行初始化并确定尺度。然后，使用自主开发的特征点跟踪算法，可以在弱纹理区域实现精确和鲁棒的跟踪。在使用过程中，

不会出现卡顿、定位丢失等情况。此外，用户可以用手拖放AR模型，他们可以用手拿起模型并放下它，这对用户来说将是非常有趣的互动。相比之下，ARkit和ARcore都没有这样的功能。

ARkit和ARcore只是在没有手交互的情况下放置AR模型。

PBR渲染：基于物理定律，游戏级渲染效果的水平AR算法可以使篮板附着在真实的地板上，但要制作逼真的篮球和篮板3D模型则需要依赖渲染技术。在这方面，腾讯微视使用了PBR渲染。

PBR全名（基于物理的渲染）。这是一种基于物理定律模拟的渲染技术，最初用于电影的照片级逼真渲染。近年来，由于硬件性能的不断提高，

它已广泛应用于PC游戏和主机游戏的实时渲染。腾讯微视光流实验室在移动端自研的高性能3D引擎采用业界领先的PBR算法，可媲美游戏级渲染效果，在移动端处于领先水平。与主流游戏引擎相比，

除了出色的PBR渲染效果外，该引擎架构还保持了良好的可扩展性，并支持高性能的头发效果渲染。同时，腾讯微视的3D引擎支持为每个3D节点配置独立的着色器，可扩展性更强。

它为创新应用提供了技术基础。此外，该算法还集成了DynamicBone插件，可以高性能地模拟头发和衣服等各种软硬抖动效果。并且还有高性能的GPU 3D粒子系统，可以同时支持上万个粒子。

对于设计师来说，腾讯微视3D引擎可以支持Android、Windows、Linux和macOS等跨平台应用，还提供了一整套工具链和配套的3D编辑器。

它可以帮助设计师灵活高效地组装各种3D游戏。

AR物理引擎：“黑科技”模拟真实拍摄手感，与一般AR应用不同。AR篮球还应能实时模拟现实世界物体运动和碰撞的反馈，并根据用户滑动篮球的速度、距离和角度共同确定篮球投掷的落点。

这背后的技术是“AR物理引擎”。物理引擎支持长方体、球体、胶囊、圆柱体和用户定义的曲面的刚体模拟和碰撞，并支持任意形状的软件模拟。

可以定制物体的各种碰撞参数（如质量、摩擦系数、弹性系数和碰撞形状）。它还可以模拟物体受力后的运动状态，包括加速、减速、静止、碰撞等。在软件模拟功能中，它可以很好地支持软球和布料的模拟。

以及真实软件的碰撞效果。腾讯微视“AR射手”采用BVH、CCD等技术加快碰撞检测过程，同时保证碰撞检测的准确性。在复杂场景下，它可以同时支持数百个刚体的连续碰撞。

可以在Android、iOS和桌面上进行物理实时仿真，并针对不同设备调整参数，鲁棒性高，不易失控。目前，

腾讯微视已将3D渲染软件LightStudio深度集成到物理引擎中。通过LightStudio上简单的界面操作，您可以以低成本配置相当真实和酷炫的物理模拟效果。为了最大程度地模拟真实的拍摄体验，

腾讯微视在用户体验上也做了很多优化设置。在生成碰撞体时，腾讯微视最初使用简单的碰撞体来表示整个篮球框，这导致篮球与篮球框之间的碰撞不准确，球体的碰撞反馈效果不一致。

后来，一个具有超高精度的模型被用于创建碰撞体，但卡壳的问题会再次出现。对此，腾讯微视专门为篮筐结构搭建了网格模型进行碰撞。该模型的点数和面数减少了约90%，并且该模型可以包裹篮框。

并且具有良好的碰撞反馈效果。当篮子中碰撞物体的数量减少时，检测的准确性实际上会降低。此外，篮球在高速运动时可能会直接穿过篮筐。腾讯微视使用连续碰撞检测等解决方案来解决这一问题。优化后实现了碰撞反馈效果和仿真效率的平衡。

骷髅动画：《神笔良马》让纸片人心动。除了最新的AR篮球，腾讯微视还有很多新奇的AR应用，比如“AR纸人”挂件。画中的静态图像可以变成3D模型，模型还可以晃动和跳跃。

这里使用了两个重要的技术：纸板人算法和骨骼动画。cardboard man算法负责图片的边缘检测，提取轮廓，将其转换为3D对象，然后分析图案以提出骨骼点（肘部，膝盖等。），并将图案的每个部分绑定到相应的骨骼点。在提取算法上，

腾讯应用研究中心和腾讯微视联合开发的通用对象分割网络可以实时提取复杂背景。结合传统的提取方法，可以适应各种场景并具有实时性能，在低端机型上达到30~40FPS。当骨头被捆绑时，

腾讯微视算法会根据模型图案自动提取骨骼点，并将图案的所有部分绑定到相应的骨骼点。在移动终端上只需几十毫秒就可以完成单个模式的骨骼提取和绑定。骨架动画负责为绑定模型提供各种动作。

例如，起身、跳跃和挥手。在这里，腾讯微视还简化了算法，仅求解骨骼的最后一个子节点来驱动骨骼的变化，降低了资源占用率，甚至可以应用于美颜等特效。

Marker AR:秒变钞票图案的“3D人民币”挂件也是一款典型的AR游戏。只要用户用手机扫描人民币背面，纸币上的景点就会像被激活一样直接出现在屏幕上，充满了乐趣。

它为许多用户提供了一种在旅行中打卡的新思路。

这背后涉及的技术是标记AR算法。在扫描人民币时，Marker AR算法可以使用图像检索算法识别人民币背后的Maker图案。

用户可以投入不止一元人民币。为了保证多个标记的实时检测，腾讯微视团队在检测到标记后基于连续图像帧对标记进行跟踪，并在移动端支持多达10个标记的实时跟踪。

这么多AR特效，动画师应该如何应用呢？在这方面，腾讯微视也做了很多工作：将现有的所有AR算法集成到一个SDK中。在游戏设计方面，

腾讯微视将底层能力打包成面向设计师的图形化操作工具。设计师不需要了解复杂的算法，只需要准备材料和想法，几分钟内就可以快速制作出原本需要算法和工程专业学生投入数周时间的游戏玩法。

大大提高了生产效率。AR技术会给短视频带来哪些影响？腾讯微视认为，目前AR技术还比较先进，用户认知度不高，整个行业的软硬件成熟度也不高。

但AR 这种基于三维空间的信息展现及交互的形式是未来的趋势，是与5G、AI 等技术的发展相互促进的。而腾讯微视正在给AR 带给更多的用户，并培育用户习惯。

「购买昂贵的AR 设备显然不会是大多数人的选择，我们以一种更接地气的方式，打破虚拟与真实的界线，是一种全新的玩法体验，也在这个过程中建立用户心智」。