整理 / 王丹
在克日举行的 2023 游戏开辟者大会（Game Developers Conference）上，腾讯 AI Lab 发表了题为《AI Enhanced Procedural City Generation》的演讲，提出自研的 3D 假造场景主动天生办理方案，资助游戏开辟者以更低本钱创造风格多样、贴近实际的假造都会，提拔 3D 假造场景的生产服从。
《AI Enhanced Procedural City Generation》结果展示
会上，腾讯展示了利用 AI 从零开始敏捷搭建一座 3D 假造都会的过程，所建假造都会面积到达 25 平方公里，包罗 130 千米路网、 4416 栋修建以及凌驾 38 万个室内映射。如许一座大规模都会的 " 构建 "，已往每每必要多名美术师以年为单元的时间才气完成，而联合 AI 只必要数周。
01
都会结构天生
都会结构的真实感与多样化，重要泉源于两方面：门路结构和修建结构。
第一步，创造真实感的门路结构。实际中的都会路网复杂多样，结构疏密弯曲，且不少都会独具风格。传统步伐化天生的路网通常横平竖直、风格单一，要实现差别都会风格必须手动计划和反复修改，耗时至少一周。
腾讯 AI Lab 的办理方案，是让 AI 学习实际天下路网，再主动创造新门路，不但天生效果更贴近实际，且操纵轻便高效：用户只必要输入都会主干道和海岸线，模子在 1 分钟内即可添补公道、多样的路网细节。同时，工具支持及时修改输入，快速天生差别变体；也可在天生效果上举行细节微调，得到更符合需求的路网。整个过程仅需不到 30 分钟，相比手动计划服从提拔近 100 倍。
详细到技能实现，起首是数据的预备，包罗数据的提取、筛选、裁剪及绘制。然后，练习一个扩散模子来学习这些数据的规律，得到差别都会风格的路网天生模子，末了将该模子嵌入到路网生产管线中。
第二步，在路网底子上实现多样化的修建结构。现有的步伐化天生技能，同样只能天生风格有限的修建表面，且修建排布规律单一，实现多样性仍要依靠手工计划。
为办理以上题目，腾讯 AI Lab 基于大量真实修建的表面数据及修建排布信息，通过天生技能学习数据中的规律，从而天生大量真实多样且符合实际天下规律的修建表面及修建排布，末了把这些天生的修建单位添补到路网中，从而完成修建结构的制作。以演讲展示的 demo 为例，操纵者在路网底子上，用 10 分钟就完成了这一过程。
02
修建表面天生
完成都会结构天生后，下一步是给修建计划独特的表面。现在常用的步伐化天生管线包罗以下步调：网络图片、界说修建拆解组合方式、预备 3D 素材库、参考照片制作独特修建、已有修建随机组合出更多变体、增长装饰。此中重要服从瓶颈在于参考照片制作单个独特修建，以是通常只会制作少量独特修建，而依靠随机组合产生的多样性较为有限，轻易让天生的场景产生重复感。
腾讯 AI Lab 的办理方案将 AI 与步伐化天生联合，加快了 2D 照片到 3D 修建的制作过程，将单个独特修建的制作时间低落至 17.5 分钟，使低本钱、高服从天生大量多样化修建表面成为大概。同时，借助自研的图像天生本领，批量天生大量表面独特的 2D 修建照片，提拔了修建表面的丰富度。
通过单张 2D 照片天生 3D 修建，其难点是对 3D 信息的正确估计。联合修建的布局特点，腾讯 AI Lab 创新地提出公道的先验假设，有用办理了从 2D 照片提取 3D 信息的困难，较好地实现了从单张照片提取 3D 修建的立面布局和表观细节（如凸起的阳台、墙面凹凸等）。
然后，将照片中检测到的各个单位，如窗户和阳台，主动映射到预先预备好的 3D 素材，以及将墙面映射到预先预备好的材质。以上提取的信息接入步伐化管线即可完成图片到 3D 修建的天生。
对于图像中不可见的部门（如房顶）和易遮挡的部门（如底层），腾讯 AI Lab 通过步伐化管线补全得到了完备修建。基于以上管线他们制作了 157 栋独特修建，借助这些丰富的修建立面资产，即可变革出数以千计的修建表面。
03
室内映射天生
为了让都会更具真实感，通常会增长修建窗户上的室内结果。实现的第一步是构建假造房间，腾讯 AI Lab 的方法是将实际中的房间照相重修。相比于传统美术建模，可以直接获取实际房间的丰富内容和细节，进步制作服从。
详细步调包罗，给一个房间拍摄多张一连照片，估计相机位姿，练习 NeRF 模子，合成新视角图片作为后续材质制作的输入。
思量游戏运行性能，腾讯 AI Lab 基于 NeRF 输出的给定视角的颜色图和深度图，制作内部映射材质实现伪三维结果。相比于业内常见的两视图方案（下图左），腾讯 AI Lab 接纳三视图方案（下图右），明显淘汰渲染结果中的拖影，同时分身性能。
末了，用步伐化 UV 盘算，将这些 " 伪 3D" 房间添补到之宿世成好的修建外墙上，都会里即布满了各式各样的房间。
基于以上技能，真实感假造都会所必要的多样化都会结构、多风格都会修建等焦点要素已根本具备。然后，借助步伐化天生，完成路面、植被等尺度元素，再把全部元素转移至游戏引擎中，增长动态变革气候、车流与行人等，一个活龙活现的假造都会轻松完工。
游戏葡萄雇用内容编辑，
