Quantifying Informativeness in Knowledge Graph-Augmented In-Context Learning for Multiple Choice Query Answering
Pourquoi ce travail est dans la base
Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.
Notice bibliographique
Résumé
Large Language Models (LLMs) face significant challenges when attempting to utilize knowledge not encoded during pre-training. In-context learning (ICL) addresses this limitation by embedding relevant information directly into prompts, enabling LLMs to leverage external knowledge without updating their parameters. Recent advances have explored integrating knowledge graph (KG) information into prompts, taking advantage of the structured and factual representations of entities and relationships that KGs provide. A common approach involves identifying key concepts in a task, grounding them to KG nodes, extracting ego-subgraphs centered on these concepts, and incorporating them into prompts. However, not all subgraphs are equally relevant to the task, and selecting appropriate knowledge remains a critical challenge, as irrelevant or noisy subgraphs can reduce model accuracy. This study investigates how KG-based information related to task-specific concepts influences LLM performance on multiple-choice question answering (MCQA) tasks. We implement a four-stage pipeline that (1) identifies key concepts from questions and grounds them in the KG, (2) extracts individual ego-subgraphs for each concept, (3) integrates these subgraphs into prompts, and (4) evaluates their impact on LLM reasoning via probability scoring. Our analysis highlights which concept-specific subgraphs enhance performance, which introduce misleading information, and which have neutral effects. We show that carefully selected KG subgraphs can substantially outperform others in semantic relevance. Furthermore, we examine how the size and connectivity of selected KG subgraphs influence model performance. Overall, this work deepens understanding of KG-based knowledge selection in ICL and informs the design of more effective, targeted prompting strategies. This project's source code is publicly available at https://github.com/maryam-ghanbari/InformativenessOfKGs.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,001 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,002 | 0,006 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,003 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle