近日，我校计算机学院智能可视化建模与仿真(iGame)实验室以杭电为第一单位的论文SAGE: Semantic-aware Generation of Multi-view Portrait Drawings 被人工智能领域的顶级会议IJCAI 2023 (the 32nd International Joint Conference on Artificial Intelligence, CCF A类会议)录用。论文第一作者为计算机学院2021级硕士研究生马彪同学，通讯作者为高飞副教授，论文的合作者包括硕士生蒋畅，西安电子科技大学王楠楠教授和杭电iGame实验室负责人徐岗教授。本届大会投稿量达4566篇，接受率约为15%。
该工作提出了一种基于神经辐射场(NeRF)的多视角艺术肖像画合成方法。由于艺术肖像画(素描、线条画)通常等只包含稀疏的视觉元素，现有方法难以从中精确重构密集的三维信息。此外，线条画等主要体现三维结构的轮廓信息，在不同视角下存在一定的不一致性。对此，本文提出利用语义信息，指导多视角艺术画像的合成。为此，本文设计了一种新的合成框架，其可以同时合成照片、语义图和画像，并且利用语义信息指导画像的合成过程。此外，本文还提出使用两阶段训练与合成数据增强的策略，提升合成图像的质量和多样性。本文方法在线条画、钢笔画、素描、油画等多种艺术风格的画像生成任务中，都优于现有最佳方法。
网络结构图
实验结果图
该项工作依托计算机学院智能可视建模与仿真实验室(iGame-Lab)完成。该实验室目前拥有教师7名，博士/硕士研究生60余名，主要致力于面向设计仿真类工业软件的网格生成、等几何分析仿真、结构优化及可视化、深度学习与三维视觉相关研究，取得了一系列创新性学术成果，并研发了相应的软件平台。相关研究得到国家自然科学基金重点/面上项目、国家数值风洞重大工程项目、国家重点研发计划项目、装发共用信息系统课题、浙江省重点研发计划项目以及之江实验室课题资助。
