Notice bibliographique
Résumé
Background: There is a recent and dangerous threat to online research and data collection: bots and bad actors. Bots (artificial intelligence (AI)) and bad actors (human participants who do not truthfully complete surveys) are growing in their strength and numbers when it comes to infiltrating studies. In the field of autism research, these present additional barriers to an already underrepresented population. As these fraudulent participants continue to evolve past current methods which aim to combat them, it is imperative researchers consider all options of prevention, detection, and elimination, without compromising their survey’s integrity or increasing participation barriers for valid participants. Objective: To synthesize current reviews of bot and bad actor prevention, detection, and elimination from online research surveys. Methods: A search of major databases was conducted for independent studies and reviews, resulting in 19 papers found to be most applicable. The literature was then summarized by what methods of bot and bad actor prevention, detection, and elimination were explored, how authors used each method, and the effectiveness of these. Results: The search resulted in 19 articles, 12 of which were independent studies which explained authors firsthand experiences dealing with bots and bad actors [1-12]. The remaining 7 were reviews which assessed common strategies for bot/bad actor prevention, detection, and elimination [13-19]. Of the independent studies, 2 focused on dealing with bad actors, 1 focused on bots, and 9 focused on both. For the reviews, none focused solely on bad actors, 1 focused on bots, and 6 discussed dealing with both. Conclusion: Current strategies employed to tackle bots and bad actors in online autism research is a complex and nuanced landscape. A synthesis of 19 relevant studies revealed several distinct approaches. However, none of these methods are completely effective in isolation. This emphasizes the necessity to combine multiple strategies to enhance their overall efficacy. Another recurring concern surfaces throughout the discussion: the imminent obsolescence of current strategies in the face of rapidly evolving AI capabilities. While these methods can have effective outcomes, the relentless progress of AI technologies poses a formidable challenge to their sustainability. Thus, it becomes evident that a dynamic and adaptable approach is needed. Researchers across disciplines must collaborate to find novel method combinations and novel strategies. As the use of online questionnaires in all research—especially studies on autism and other underrepresented populations—continues to grow, it is increasingly important to keep participation barriers low while collecting valid data.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,005 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,002 | 0,001 |
| Études des sciences et des technologies | 0,003 | 0,001 |
| Communication savante | 0,003 | 0,002 |
| Science ouverte | 0,002 | 0,005 |
| Intégrité de la recherche | 0,003 | 0,004 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,711 | 0,261 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».