人工智能驱动的纹理工具
关于工具
Artomatix 是为纹理、角色和环境艺术家设计的工具。它可以自动化艺术家目前使用其他工具手动完成的最耗时、最平凡的工作。从表面上看，它类似于艺术家们已经熟悉的久经考验且值得信赖的工具：Photoshop、Substance Suite、3D Studio Max 等。在表面之下，它包含了世界上最先进的创意人工智能，能够占用最少的时间但最有价值- 使用艺术家的作品，而不必在质量上妥协。
在过去的六个月中，我们一直专注于对功能齐全的专业级工具进行最后润色。过去两个月它一直处于 alpha 阶段，我们很高兴看到它迅速聚集起来的兴奋和赞美。我们真的很高兴推出下一代材质创作软件，我们相信它将很快成为每个纹理艺术家工具箱的重要组成部分。
在这里，我们展示了 Artomatix 的一个简单用例，我们有一个无纹理的军用背心模型和我们想要继续使用的迷彩材料。Artomatix 在这里做了两件事：(1) 它采用了一个材料的小例子，并通过创建该纹理的新但相似版本而将其外推以覆盖更大的区域，而无需平铺或重复特征；(2) 它是在由模型的 UV 空间引导的同时执行此操作，因此它直接在模型的表面上创建新纹理，而无需手动绘画工具，例如Substance Painter或 3D Coat。
因为 Artomatix 可以根据示例创建新的纹理，它可以重新构想该纹理的新版本，或者通过更改输入示例，它可以快速自动地更改最终输出的外观和样式，而无需艺术家手动重做所有内容从头开始。
这只是 Artomatix 中的一项功能。在设计该工具时，我们注意到美术师需要一个完全可定制的、非破坏性的工作流程，因此我们围绕基于图形的界面设计了所有内容，让美术师可以将不同的 Artomatix 函数一起编写脚本，以创建新的、更强大的操作。
这是在 Artomatix 中制作的典型节点图的示例。从 1K 漫反射纹理开始，我们在向两个方向拆分之前生成 PBR 贴图：
(1) 在导出之前，在绿色框架中将我们的材料自然生长到 2K 大小。
(2) 在黄色框架中，再次增长我们的框架，这次是 4K，同时还应用了一个忽略蒙版来去除一些不需要的特征。基于节点的图形用户界面仅与节点本身一样强大，因此我们将大量注意力集中在解决行业中一些最大的痛点上；强调几个：
(1) Up-res：该节点接收材质并将分辨率提高 2 倍或 4 倍。它使用一个经过训练的神经网络，可以在原始材料中不存在的新的似是而非的细节中产生幻觉。
(2) 纹理分割：随着基于扫描的工作流程变得越来越普遍，艺术家们每天花费更多时间绘制蒙版，这非常耗时。我们开发了一项新功能，可以在一次扫描中自动检测不同的独特纹理并自动生成蒙版。这可以输入到 Texture Mutation 节点中，以创建图像中每个纹理的两个版本的自平铺功能，或者可以将其输入到 Texture Painter 节点中，艺术家可以直接控制不同纹理的组合方式。
(3) 纹理绘制：在过去几年中，直接在模型上绘制纹理而不是在 UV 展开的图像上绘制纹理已成为标准，因此我们知道我们需要构建模型绘制控件并扩展我们的核心合成功能在艺术家的输入和指导下工作。我们构建了一个绘画节点，让艺术家可以直接在 2D 和 3D 中引导纹理突变。
我们还开发了大量其他强大的节点，例如自动接缝去除、压缩伪影去除、光梯度去除。我们甚至创建了一个名为“Material Generation”的节点，它提供了与其他软件包（如 Substance B2M、Knald 或 Crazy Bump）类似的功能集。
处理扫描材料
需要注意的是，我们的技术不是程序性的。它基于人工智能，在处理扫描材料时会产生很大的不同，并对最终用户体验产生影响。我们的方法是实际自动化此工作流程的大部分，并大幅减少所需的时间。
另一方面，程序是使用数学和随机数（噪声）来制作艺术的手工脚本。这些脚本需要针对特定的艺术作品手动定制，并且非常耗费人力。
程序工具在应用于基于扫描的工作流程时会带来许多挑战，因为它们对所修饰的内容没有任何分析或理解。因此，没有一种通用程序可以很好地处理任意数据。今天通常使用的那些存在伪影和一般质量问题。一种这样的策略被称为纹理轰炸，它将图像数据作为输入并随机混合周围的补丁，将它们混合在一起。这有时适用于没有结构或独特特征的非常简单的纹理。另一种通用策略称为图切割。第二种方法不是将补丁混合在一起，而是关于在补丁之间找到理想的切口，最大限度地减少接缝。Graph Cuts 有两个问题：
(1) 它们没有完全去除接缝伪影，而是减少和重新分布接缝。
(2) 获得最好的剪裁很难得到你想要的尺寸，通常游戏美术师会希望他们的最终纹理是 2 的幂。
在不调整扫描大小的情况下，使用 Graph Cuts 方法很难做到这一点，从而丢失独特的特征和高保真细节。通用程序永远不能创造任何新东西。当你做程序时，你从一个固定的算法开始，你必须根据它定制你的数据。当你使用人工智能时，你从数据开始，算法会自行调整。因此，AI 可以是一种适用于所有情况的解决方案，可以在各种扫描中产生出色的结果。人工智能有时会遇到困难的地方是当可以推断出的数据很少时。当扫描不是纹理，它只是一些非常独特的特征并且 AI 找不到足够的冗余来学习该纹理的关键方面时，就会发生这种情况。
不过，总的来说，我认为我们的技术方法的一个巨大证明是，我们甚至还没有发布成熟的产品，扫描领域的许多领导者已经找到了使用我们的方法。我们制造了更好的捕鼠器，可以说我们从市场中得到了令人难以置信的反响。
超过 18 个月以来，我们一直在整合来自 Unity 演示团队的反馈，以优化我们针对下一代扫描工作流程的解决方案。我们的 Web 原型是他们选择的方法（18:50 和 23:50），用于将他们为最近的摄影测量演示捕获的扫描整理成自拼贴、随时可用的资产。
在较高的层面上，我们解决基于扫描的工作流程问题的方法不仅是技术上的，也是我们的心态。当 Artomatix 成立时，该行业围绕两种类型的工作流程进行格式化，手动和程序。手动工作流程当然以人工为中心，从头开始做所有事情，程序工作流程意味着运行一组自定义程序来制作特定的利基艺术品，因此基本上，该行业具有人员和程序的思维方式。在 Artomatix，我们一直对艺术本身更感兴趣，因此我们开始展望一种新的第三种工作流程，称为“基于示例”。我们担心的是，一旦基于扫描的工作流程变得司空见惯，艺术家们就会花越来越多的时间进行清理，而花更少的时间进行真正的创作。
基于示例的工作流程背后的理念是用户从原始示例开始。它们向计算机提供 (1) 数据和 (2) 有关如何处理该数据的高级指令。使用 Artomatix 方法，计算机根据示例数据进行推断和构思，因此艺术家提供高级复杂的创造力，而计算机则贡献低级机械创造力。这是艺术家和工具之间的完美共生，他们相互赋予权力。至于技术特征，迄今为止我们已经提交了超过 200 页的专利文件，因此很难用一两段来概括所有内容。我只想说，我们选择人工智能作为构建我们自己对基于示例的未来愿景的一种手段，我将在本文后面更深入地探讨这意味着什么。
使用扫描
在这里我们需要解释一下，这是一项服务，它自己做所有事情。无需任何手动输入。我们实际上对这个问题有了更多的了解，并最终通过直接与一些基于扫描的工作流程的先驱合作来解决它。给定一种材料，Artomatix 可以对其进行变异并将其增长（或缩小）到任何大小。因此，我们始终可以相对于现实世界合成具有所需分辨率和 DPI 的纹理。在该软件中，有一个简单的标尺小部件，可让您指定纹理中元素的输入大小。然后您可以指定输出测量，Artomatix 将限制分辨率和 DPI 以准确匹配。
此外，Artomatix 有一个称为“忽略屏蔽”的功能，艺术家可以在其中屏蔽掉他们不想出现在最终输出中的输入区域。此功能可与标尺小部件并行使用，以实现完美的物理精确真实世界比例。用户所要做的就是在扫描场景之前在场景中放置一个实际的标尺。当他们将扫描结果带入 Artomatix 时，他们可以在使用标尺小部件时使用扫描的标尺作为参考，从而消除过程中的任何猜测。要从扫描中移除标尺，只需在其上绘制一个快速忽略蒙版即可。
算法
在底层，Artomatix 的大部分内容都基于信息论中的原理，或者换句话说，跟踪纹理不同区域之间的信噪比。我们花了很多时间思考是什么使纹理成为纹理，我们提出了一些简单的指导方针。
(1) 最简单的纹理是同质的，这意味着如果我们在纹理的任何地方观察两个大约 30×30 像素的小块，它们看起来就像是相同的纹理，例如涂漆的墙。
(2) 更复杂的纹理是异质的，这意味着它们由两个或多个以某种布局混合在一起的同质纹理组成，例如带有一些锈斑的油漆墙。
(3) 纹理也有需要考虑的比例元素。坚持我们生锈的彩绘墙。在非常放大的视图中，根据我们放大的位置，我们的纹理可能只涂上裂缝或锈迹。当我们缩小时，我们有两个独立的纹理，锈迹和油漆。随着我们进一步缩小，油漆和锈迹本身的分布变成了均匀的纹理。基本上，这一切都归结为识别图像中的相似特征和元素，以及识别程度如何跨空间和尺度变化。
当我们说识别时，我们谈论的是使用神经网络将图像转换为一组特征向量或简称“特征”。这些是高维空间中的点。通过统计分析这些点之间的关系，我们可以检测和修改纹理的某些属性。例如，如果我们的特征差异太大，并且图像中远点的差异比近点的差异大，我们可以假设这可能是由于梯度造成的。或者，如果方差太小，那么我们可能会在合成过程中看到许多特征向量聚集在一个点上或周围，那么我们就知道我们有重复的伪影。当我们进行梯度移除时，我们想要收缩我们的特征空间，当我们进行重复移除时，我们想要扩展我们的特征空间。这一切都归结为优化统计数据。当您考虑强制执行严格的对称模式和用户绘图约束时，事情会变得更加复杂，但在高层次上，这是将所有内容粘合在一起的基础理论。
将照片写实变成风格化
风格迁移问题基本上是将两个图像，一个风格和内容图像转换到相同的特征空间，然后将两者进行统计组合，以便课程特征与内容图像中的特征更接近，更精细的特征与内容图像中的特征更接近。风格形象。我们的目标是帮助我们的用户获取扫描数据并改变其风格以适应他们可能想要采取的任何艺术方向。样式转换是一个棘手的问题，由于该过程的高计算需求而变得更加棘手。我们不仅专注于让 Style Transfer 运行良好，而且还让它快速运行。我们每天都在使用这项技术在游戏开发中开辟新天地，因此我们很高兴将此功能推向市场。我们根据该领域艺术家的真实输入和令人难以置信的需求构建了它。
