DreamMat：根据文字描述生成高质量基于物理渲染的材质

生活网6月5日 消息:近期研究取得突破，通过2D 扩散模型在未纹理的原始网格上生成外观。然而，这些方法生成 RGB 纹理时往往包含不必要的固定阴影效果，在下游应用中导致渲染效果不真实。与其只生成 RGB 纹理，生成物理渲染（PBR）材质可能是一个更有前景的解决方案。然而，直接从2D 扩散模型提取 PBR 材质参数仍然存在材质分解不正确的问题，例如在反照率中固定的阴影效果。

效果展示视频如下：

DreamMat 应运而生，致力于解决上述问题，通过文字描述生成高质量 PBR（基于物理渲染） 材质。发现大规模2D 扩散模型只能训练生成最终着色颜色，导致在提取过程中材质分解不足的问题。

DreamMat产品入口：https://top.aibase.com/tool/dreammat

为了解决这个问题，其大致流程为，首先通过微调新的光照感知2D 扩散模型，使其根据给定光照环境条件，生成特定光照条件下的着色结果。然后，在材质提取过程中应用相同的环境光，DreamMat 可以生成高质量的 PBR （基于物理的渲染）材质，不仅与给定的几何一致，而且在反照率中不包含任何固定的阴影效果。

大量实验表明，通过这种方法生成的材质对用户更具吸引力，并在渲染质量上显著优于基准方法，适用于游戏和电影制作等下游任务。