通用图大模型HiGPT:一己之力建模任何图结构关系!来自港大数据智能实验室&百度

AIGC动态4个月前发布 QbitAI
358 0 0
通用图大模型HiGPT:一己之力建模任何图结构关系!来自港大数据智能实验室&百度

 

文章摘要


【关 键 词】 HiGPT异质图大模型图学习语言模型

文章介绍了香港大学数据智能实验室最新推出的图结构大模型HiGPT,该模型是由GraphGPT的原班人马打造而成。GraphGPT是将图数据与大模型结合的代表方法之一,但仅适用于同质图,对于生活中更常见的异质图则无法胜任。因此,HiGPT应运而生,专注于复杂的异质图学习任务,实现了一个模型建模任意关系类型的目标。HiGPT面临的挑战包括关系类型异质性偏移复杂异质图结构模型微调的数据稀缺。为了解决这些挑战,HiGPT采用了上下文异质图Tokenizer异质图指令微调Mixture-of-Thought指令增强等方法。上下文异质图Tokenizer通过预训练提高了语义建模能力,异质图指令微调框架增强了大语言模型异质关系同质关系的感知能力,而Mixture-of-Thought机制则解决了数据稀缺性问题。研究团队由港大数据智能实验室的GraphGPT原班人马以及百度等机构的研究人员完成,他们在监督学习零样本学习中超越了一众主流模型。此外,HiGPT还展现了在图上下文学习中的优异表现,仅通过添加图问答示例就能在1 shot训练中击败60 shot模型,表现出了出色的图-意识。整个研究团队在图学习推荐系统城市计算等领域有持续的探索,近期开源了多个与大语言模型相关的项目,包括GraphGPTHiGPTLLMRecRLMRecUrbanGPTGraphEdit等。文章最后提供了相关论文代码项目网站的链接,欢迎进一步探索。

原文和模型


【原文链接】 阅读原文 [ 1549字 | 7分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-3.5-turbo-0125
【摘要评分】 ★☆☆☆☆

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...