先验和知识引导的多模态内容生成技术

讲座名称：先验和知识引导的多模态内容生成技术

讲座人：杨易 教授

讲座时间：11月27日19:30

地点：腾讯会议直播（ID：182 107 714）

讲座人介绍：

杨易，浙江大学求是讲席教授（二级教授），国家特聘专家。目前担任浙江大学计算机学院副院长、微软-教育部视觉感知重点实验室主任、人工智能省部共建协同创新中心副主任。曾获教育部全国优秀博士论文，浙江省自然科学一等奖，澳大利亚科研终身成就奖，澳大利亚研究理事会青年职业奖，澳大利亚计算机学会颠覆创新金奖，谷歌学者研究奖和AWS机器学习研究奖等二十余次人工智能领域国际奖项。Google Scholar 引用59000余次，H-index 118，近五年连续入选Clarivate Analytics全球高被引学者。国际科研竞赛中累计获得40余次奖项，含20次世界冠军。担任7种重要国际期刊的副主编或领域主编，以及CVPR、ICCV、IJCAI，ACM MM等重要国际学术会议的重要职务等20余次。

讲座内容：

多重知识表达旨在融合多种知识表达，用于突破单一知识模式的局限，建立具有知识协同、领域外推的人工智能模型。人类先验知识和数据结合是实现多重知识表达的一种有效方式。首先，本报告将探讨多模态内容生成技术中面临的挑战和问题，并分析多重知识表达的优势和特点。随后，本报告将讨论多模态内容生成的研究进展，重点关注融合大语言模型和人类先验知识的内容生成技术，并举例讨论其有效性。在数字人重建方面，本报告将探讨融合几何等先验信息的方法在数字人驱动中的应用。在跨媒体数字人生成方面，本报告将讨论从音频、文本等输入到生成数字人图像、视频等表达形式的方法和技术。本报告还将结合实际案例，讨论专用知识嵌入方法和结构化表达机制等。最后，本报告将展望先验和知识引导多模态内容生成的研究前景。

主办单位：人工智能学院