利用知识图谱增强大模型预训练
2023-10-16 23:06:31 1 举报使用图结构将知识图谱信息注入到大模型的输入中，增强大模型预训练能力。
作者其他创作
大纲/内容
母亲
知识图谱
王氏
信
掩盖的实体预测
输入文本：李清照给赵明诚一封信
文本图
span data-docs-delta=\
K-编码器
...
父亲
知识图谱输出
融合模块
李清照
掩盖的文本预测
赵明诚
N层
文本知识
[MASK]
大模型
Self-Attention
M层
利用知识图谱增强大模型预训练
文本输出
给
赵挺之
输入文本
T-编码器
文本序列
实体序列
爱人
一封
0 条评论
下一页
