多模态知识图谱构建研究与挑战讲座视频：https://www.bilibili.com/video/BV15A411q7Wy?t=4786

自动化知识图谱的构建

• ESG 网页端的小游戏

  • 收集图片和 文本的标签

• 多媒体信息，如何使用图谱来描述

• ImageNet VISIpedia

• IMGpedia

• Multimodel knowledge Graph 2019

• 多模态是互补的

  • image
  • KG
  • text

• 跨模态之间的消息，可以互补

• 给定一个输入，通过建模，得到输出

1：多模态图谱

1：实体

• Image entity

• text entity

• Video

• 视觉概念

• 文本概念

3：关系

• 首先构建一个文本的图谱

• 构建一个视觉的图谱

• 文本和视觉的图谱融合在一起

• 形成一个多模态的知识图谱

• NLP的东西

• 涨叶子

• 把我们已经有的实体，融合多模态

  • 涨叶子，把图片和实体建立起来关系
  • 建立图像和图像之间的关系，工程的角度
  • 筛选出来比较好的照片
  • 语义关系，等价的关系，包含的关系

• 2018年 Cross-modal Entity Linking

2：挑战

• 精细力度的标注
• 抽象概念
• 多模态的数据
  • 结构化的图谱，转为多模态
  • 模态缺失的问题
  • 多模态如何表示
• 多模态表示和学习
  • 预训练学习

3：作业

• 多模态知识图谱的构建

• 结构化的数据

  • JSON 文件
  • EXCEL 文件

• 半结构化的数据

• 非结构化的数据

  • 文本
  • 图像

• 对于网站爬取的建模

• 英文的，还是中文的？

• 形式化的，还是非形式化的？

• 医药方面的，还是非医药方面的

• 在某一个方面的构建

• 上传一张图片，传到后

• 功能需求

  • 上传结构化的文件，Excel文件，构建知识图谱
  • 上传非结构化的文件，JPG，PNG文件
  • 构建知识图谱
    • 纯文本形式的
    • 纯图片形式的
    • 文本和图形混合的，多模态展示

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TkDRQCci-1622964666140)(…/Documents/WeChat%20Files/wxid_sqa2clf665n122/FileStorage/File/2021-06/%E8%87%AA%E5%8A%A8%E5%8C%96%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1%E7%9A%84%E6%9E%84%E5%BB%BA.assets/image-20210606143602414.png)]

  • 图片的文本的转换，在几万张照片中检索