肛交 准备 图结构转文本序列，大模子径直读懂！图推感性能大涨

西风 发自 凹非寺肛交 准备

量子位 | 公众号 QbitAI

大言语模子径直领路复杂图结构的新门径来了：

将图（Graph）转机为符合Transformer架构的线性token序列。

belike：

这种最新图线性化门径，反应了当然言语中局部依赖性和全局对都性两个要津属性，即：

不仅需要保留基于前文转折文展望下一个token的能力（局部依赖性），并且不同图的token序列应该从具有同样特征的token开动或收场（全局对都性），就像当然言语文本经常以特定词语源流或收尾。

如斯一来，在海量文本数据上西席的LLM也能更好地领路图结构中的关系和属性，如节点计数、最大度数想象和图式风物分类等图推理任务都能完成。

具体如何完结？

机器学习工程师Rohan Paul发帖保举论文并作念了个追忆。

用多种本事开采了图线性化门径：图中心性（PageRank和度）、图退化（k-core意见）、节点重秀气决议基于节点蹙迫性创建了边排序战略应用节点重秀气以保捏全局对都

作家使用GraphWave合成数据集进行评估，搁置标明他们建议的线性化门径比拟基线门径获得了更好的性能，相当是基于度中心性和PageRank的门径在多个任务中弘扬稀奇。

有网友还是迫不足待集成到RAG中了：

我一直在寻找这方面的论文。

多种基于图论的线性化门径

在具体门径上，图线性化触及将图的节点和边转机为线性token序列。

连络团队建议了几种基于图论的图线性化门径。

一种是把柄图中心性（Graph centrality）对节点进行排序。

这里的中心性不错是节点的度（Degree centrality），即与节点径直衔接的边的数目；也不错是更为复杂的PageRank值，它不仅筹议节点的招引数，还筹议招引到它的节点的蹙迫性。

连络东谈主员把柄排序搁置取舍与蹙迫性最高的节点衔接的边，并随即陈设这些边，然后对下一个蹙迫性节点访佛此历程。要是多个节点具有交流的中心性值，则随即取舍它们的功令。

另一种是基于图退化性（Graph degeneracy）的门径，即通过图的核编号（Core Number）来排序节点。

行使k-core意见，将图意见为一系列嵌套的子图。核编号是指节点在图中最高核的编号。通过这种风物，省略捕捉到图中最中枢的部分，并将这些信息线性化。

除了基于节点属性的排序，作家们还筹议了径直对边进行排序的门径。

他们将每个图转机为其对应的线图（Linegraph），将原图的每条边转机为线图中的节点，要是原图中两条边相邻，则在线图中对应节点衔接。然后，应用与核编号交流的历程来对Linegraph中的节点进行排序。

为了完结全局对都性，作家还建议了节点重定名战略。

在这个战略中，不同图中具有最高核编号的节点被重新秀气为索引0，依此类推。这么作念的主张是让LLM省略将节点索引与其蹙迫性属性之间成立一致的关系。

中心性门径总体优于退化性门径

为了测试上述门径的有用性，作家使用GraphWave生成器构建了合成数据集。

领先构造基础图（轮回或链式结构），然后附加预界说风物的图案（motifs）。

连络东谈主员取舍了五种基本风物（团、星形、扇形、菱形和树），并包含了这些风物的组合，所有这个词生成了3000个图，平均每个图包含32.33个节点和43.72条边。

本质中想象了三个评估任务：

节点计数：条件模子从边列表揣测节点数目最大度想象：详情图中最大节点度数图案风物分类：给定详备的图案界说，识别图中存在的图案

本质取舍了Llama 3 Instruct 8B模子，使用4bit量化版块。为确保输出的详情趣和一致性，temperature参数设为1e-3，sampling参数设为1e-1。

包括zero-shot和one-shot两种栽培，并与两个基线门径比较：MotifAware基线，保捏图生成历程中的默许边序；Random基线，澈底随即的边列表排序和节点标签。

搁置通晓了以下几个蹙迫发现。

领先，在节点计数任务中，系数门径都通晓较低的平均极度，但准确率弘扬分裂。基于度中心性和PageRank的门径弘扬最好，向上了基线门径。

在最大度想象任务中，由于需要更复杂的想象历程，全体性能低于节点计数任务。使用默许节点标签时，度中心性和PageRank门径在one-shot栽培下获得最好后果。

节点重秀气战略的后果因任务而异，在节点计数中，除了zero-shot的度中心性门径外，大多导致准确率下落，但在平均极度上平凡有改善。

one-shot栽培的性能无数低于zero-shot，这标昭示例可能并不老是有助于升迁性能。

基于中心性的门径（度中心性和PageRank）总体上优于基于退化性的门径。

参考招引：https://x.com/rohanpaul_ai/status/1863014451827655118论文招引：https://arxiv.org/pdf/2410.19494

av番号

— 完 —

量子位 QbitAI · 头条号签约

温雅咱们肛交 准备，第一时分获知前沿科技动态