新能源人工智能汽车股票 新能源汽车下乡相关股票人工智能东方证券-汽车行业周报：新能源车下乡活动开启
普林斯顿矩阵开启，AI 100%创造自然
2023/6/22 18:30:06 主编：孟泽
矩阵世界是AI精心设计的模拟世界！ 普林斯顿用这把钥匙打开矩阵之门，AI生成的大自然比现实世界更加真实！
在《黑客帝国》中，尼奥发现自己生活的世界并不是真实的，而是一个精心设计的模拟现实。
而你，你有没有想过，我们生活的世界是一个模拟的矩阵世界。
而现在，矩阵正式开启。
冥想感受这个人类长期生活的地球，自然界的一切都是一个虚幻的世界。
北极冰川太阳升起。 海底世界里奇特的鱼群和色彩缤纷的珊瑚礁。
山上白雪皑皑，雄鹰翱翔在广阔的天空。 炎热的沙漠中，危险的蛇类自由穿梭。
河边一棵小树燃起熊熊大火，烟雾缭绕。
清澈见底的海水和小溪，海龟在沙滩上懒洋洋地晒着太阳，还有许多蜻蜓在空中嬉戏。
洞内光影的变化。
随着雨滴的飘落，枫叶随风飘落，时间戛然而止。
你所看到的一切都是由人工智能设计的。 他们的模拟是如此逼真，以致于所有人都误认为是现实本身。
打开这个矩阵大门的团队来自普林斯顿大学，研究成果一出，就在网络上引起了轩然大波。
网友纷纷表示，我们生活在一个矩阵里！
在论文中，研究人员介绍了一种真实的自然世界3D场景程序生成器。
从形状到纹理，完全程序化，都是使用随机数学规则从头开始生成的。
甚至，它可以变化无穷，涵盖自然界的植物、动物、地形，以及火、云、雨、雪等自然现象。
最新论文已被CVPR 2023接收。
论文地址：pdf/2306.09310.pdf
建立在免费和开源的图形工具之上，也是开源的。
值得注意的是，在 3.5 小时内生成了一对 1080p 图像！
无限简历数据生成器
由普林斯顿大学提出，可以轻松定制以生成各种特定任务的真实情况。
如下，模拟了自然界的多样性。
它的主要作用是它可以作为无限训练数据的生成器，用于广泛的计算机视觉任务。
其中包括对象检测、语义分割、姿态估计、3D重建、视图合成和视频生成。
此外，它还可用于构建用于训练物理机器人以及虚拟代理的模拟环境。
当然，3D 打印、游戏开发、虚拟现实、电影制作和一般内容创作都是可用的。
接下来看看系统是如何设计的。
预览。
研究人员主要开发了程序规则，这是一种提供各种原语和实用程序的开源 3D 建模软件。
将场景表示为放置对象的层次结构。
用户通过变换对象、添加基元和编辑网格来修改此表示。
提供了最常见的 3D 文件格式的导入/导出。
最后，所有内容都可以通过其 API 或通过检查其开源代码自动完成。
节点翻译器。
作为其中的一部分，研究人员开发了一套新的工具来加速研究人员的程序建模。
一个值得注意的例子是研究人员的节点转换器，它自动将节点图转换为代码，如下所示。
生成的代码更加通用，允许研究人员随机化图结构，而不仅仅是输入参数。
该工具使节点图更具表现力，并允许与直接或用 C++ 开发的其他编程规则轻松集成。
它还允许非程序员通过制作节点图来贡献代码。
构建器子系统。 由生成器组成，生成器是概率程序，每个生成器专用于生成资产的子类（例如山脉或鱼）。
每个生成器都有一组高级参数（例如山的整体高度），反映了用户可控的外部自由度。
默认情况下，研究人员从调整后的分布中随机采样这些参数以反映自然，无需用户输入。
然而，用户还可以使用研究人员的 API 覆盖任何参数，以对数据生成进行细粒度控制。
下图是一个随机的、仅地形的场景。 研究人员针对不同的自然场景类型选择了 13 张图像。
它们是：山脉、上涨的河流、雪山、海岸日出、水下、北极冰山、沙漠、洞穴、峡谷和浮岛。
下图是随机生成的模拟火焰图片，包括烟雾、瀑布、火山喷发。
叶子、花朵、蘑菇、松果。
树木、仙人掌、灌木。
海洋生物。
各种类型的表面。
下图展示了生物的生成。
研究人员自动生成了不同的基因组（a）、身体部位（b）、身体部位组装体（c）、头发（d）和身体形状（e）。
在图像的右侧，研究人员展示了随机生成的捕食者、食草动物、鸟类、甲虫和鱼类。
在下图中，研究人员按程序构建了一个随机场景布局（a）。
研究人员生成所有必要的图形内容（b，显示每个网格面的颜色），并应用程序材料和位移 (c)。
最后，渲染真实图像 (d)。
下图显示了动态分辨率缩放。
研究人员展示了三种特写网格可视化，相机距离不同，但内容相同。
尽管网格分辨率不同，但最终图像中看不到任何变化。
实验结果
为了评估 ，研究人员生成了 30K 个具有地面实况的图像对，用于校正立体匹配。
研究人员开始对这些图像进行训练，并比较验证集和测试集的结果。
研究代码今天刚刚发布，已经获得了 99 颗星。
《西部世界》似曾相识
科学家 Jim Fan 表示，当我们现实中没有良好的训练数据时，模拟就是下一个“金矿”。
这里是一个开源的、程序生成的 3D 视觉真实感数据集。 其品质令人惊叹！ 没有两个世界是相同的。
▸ 每个小细节都是随机和可定制的，甚至是花瓣上的褶皱！
▸ 自然界中的各种物体和场景：植物、动物、地形； 火、云、雨和雪。
▸ truth 值的自动标注：光流、3D 场景流、深度、表面法向量、全景图分割、封闭边界。
▸ 书写。
有网友表示，这真是让我大开眼界。 以程序方式生成 3D 世界。 无需使用人工智能即可创建您可以想象的任何世界。
结合这样的工具来创建世界，使用 Daz3D 等工具来创建角色，结合 Labs 来创建天空盒和 NPC。
还有人表示，它将在人工智能计算机视觉研究中发挥作用。
他相信，未来人工智能将无所不能。
例如，我们想在雾森林中建造一个有瀑布的村庄。
我们告诉 AI 编写森林的详细描述并将其发送到 3D 世界生成器。
世界生成后，可以将角色添加到村庄中。 这些人将被人工智能控制，他们将进行互动、对话和记忆。
一种西部世界的热潮。
另外，有网友表示，程序生成已经有20年了（我已经做了15年了）。 《无人深空》是五年前技术的一个很好的例子。
其美妙之处在于它生成标记数据。 这些数据可用于训练人工智能。 太疯狂了。
其他人则认为在不久的将来，游戏会变得疯狂……“独立”游戏开发商将能够推出一些疯狂的高端内容。
生成的非常真实，以至于有些人认为它是由虚幻引擎生成的。
关于作者
我是普林斯顿大学计算机系二年级博士生，导师是邓佳。
拉哈夫
拉哈夫是普林斯顿大学三年级博士生。
他的研究重点是为 3D 视觉构建深度网络，利用对极几何的强大假设来实现更好的泛化和测试准确性。
马泽宇
马泽宇是一名三年级博士生。 普林斯顿大学视觉与学习实验室的候选人。 2020年获清华大学电子工程学士学位。目前主要研究方向为多视角3D重建和程序数据生成。
参考：
