Sentiment Analysis with LLMs: Evaluating QLoRA Fine-Tuning, Instruction Strategies, and Prompt Sensitivity
Notice bibliographique
Résumé
In this study, we explore the performance of large language models (LLMs) and provide insights into the strengths and weaknesses of these models in sentiment analysis. In addition, we explore the impact of various instruction methods and fine-tuning techniques on the models' performance and analyze how sensitive they are to different prompts. Although there are studies comparing LLMs on sentiment analysis tasks, there is a limited number of studies on fine-tuning strategies, instruction variety, and prompt sensitivity of LLMs for sentiment analysis. For this purpose, we used Llama2-7B, Lama3-8B, Mistral-7B, Gemma-7B, and Bloom-7B and compared them with BERT and Roberta. We evaluated fine-tuned and original chat versions with zero and few-shot experiments. We generated various instruction strategies and observed their effects on the performance of the models. We also compared Quantized Low-Rank Adapters (QLoRA) fine-tuning and full fine-tuning with all parameters. The fine-tuned versions performed better compared to the original chat versions on almost all tasks. The fine-tuned and chat versions of Llama3-8B and Mistral-7B outperformed others on these tasks, while the Llama2-7B-chat model often produced invalid responses. Our research indicates that QLoRA is a practical substitute for full fine-tuning, as it lessens computational demands without sacrificing performance. Fine-tuned models were less affected by variations in test prompts compared to chat models. This is likely because their specialized training allows them to better handle queries within their domain. In this exploratory study, we provide insights into the potential of LLMs in sentiment analysis tasks.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,002 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,002 | 0,001 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».