解耦漫反射与镜面反射光的可编辑神经纹理映射OA

解耦三维物体几何与纹理的数据驱动的深度学习方法能够进行外观编辑,但在局部纹理编辑后通过网络渲染的视图保真度仍有不足,并且由于隐式神经网络端到端的进行视图渲染可控性仍不强,为了像传统方法一样能够灵活编辑物体的外观,提出解耦漫反射与镜面反射光的可编辑外观的神经纹理映射方法。首先,基于物理光照模型构建漫反射、镜面反射及纹理映射三个独立的阶段学习框架。接着,以球状空间采样构建神经辐射场,建立漫反射分量损失函数,在进行真实数据监督学习的同时学习漫反射光照能量分布。然后,基于3D高斯泼溅的神经壳网络方法使用多分辨率哈希编码可学习的颜色信息,加入漫反射分量后使用真实图像进行监督学习实现视角相关的镜面反射建模。最后,使用循环一致性纹理映射网络建立独立于颜色空间的位置得到显式的2D纹理,并将视角无关的漫反射颜色分量一一对应于纹理贴图,实现编辑纹理图片逆操作神经纹理。实验结果表明:在DTU公共数据集上,相较于先进的可编辑纹理的NeuTex与Texture-GS方法,新视角合成测试集上定量指标的峰值信噪比方面平均提升了5.6%,感知图像损失平均降低了18%,在NeRFSyn数据集上的结构相似性也具有优势,并且在显式编辑纹理再通过神经网络渲染多视角视图后明显更加清晰。本方法实现了神经纹理的构建与可控的编辑,能够显式地在2D纹理上灵活修改神经隐式表达的3D模型的外观,且保证了多视角外观的一致性。