Notice bibliographique
Résumé
The Washington Post, one of the main newspapers in Washington D.C., cites in Reference 1 the case of a decision made based on a computer system error that caused 80,000 people to stop receiving their monthly benefits.It all started in 1996 when a federal law was promulgated to prevent justice fugitives from receiving any benefit from the government.In order to implement the measure, information from several government databases was compiled and, based on that, several thousand people had their benefits cancelled.The measure helped to capture several justice fugitives, but it also affected several people who had no criminal records.The article cites the case of Rosa Martinez, a resident from Redwood City California, whose monthly disability check was cancelled because the system had confused her records with those of another Rosa Martinez from Miami Florida.Apart from the hardships caused to people affected by the mistakes, the government faced several lawsuits that resulted in a considerable amount of vindications. System CharacteristicsThe system described in the case study has typical components of a decision support system: data sources and a series of rules to analyze the data and recommend actions based on it.In this case, the quality of the data and the quality of the implemented algorithms to analyze it were not good enough to prevent problems for the system's owner.176 Appendix Cost of Missing Quality: Case Studies Missing Quality• Functionality.The system was not able to correctly perform its task.The data used in the system did not contain enough information to identify in a conclusive way every person in the databases.Due of this reason, when information from several data sources was aggregated, the implementers very likely had to resort to manual matching or heuristic algorithms.• Testability.Even though the newspaper article does not mention this information, the outcome suggests that the system designers did not have enough elements to be able to correctly match the data from different data sources and be able to test different scenarios.Its lack of testability is very likely the cause of several of the errors when government policies changed.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,043 | 0,165 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,002 |
| Bibliométrie | 0,005 | 0,010 |
| Études des sciences et des technologies | 0,008 | 0,003 |
| Communication savante | 0,004 | 0,005 |
| Science ouverte | 0,004 | 0,004 |
| Intégrité de la recherche | 0,007 | 0,004 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,006 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».