Robust penalized logistic regression with truncated loss functions

The penalized logistic regression (PLR) is a powerful statistical tool for classification. It has been commonly used in many practical problems. Despite its success, since the loss function of the PLR is unbounded, resulting classifiers can be sensitive to outliers. To build more robust classifiers, we propose the robust PLR (RPLR) which uses truncated logistic loss functions, and suggest three schemes to estimate conditional class probabilities. Connections of the RPLR with some other existing work on robust logistic regression have been discussed. Our theoretical results indicate that the RPLR is Fisher consistent and more robust to outliers. Moreover, we develop estimated generalized approximate cross validation (EGACV) for the tuning parameter selection. Through numerical examples, we demonstrate that truncating the loss function indeed yields better performance in terms of classification accuracy and class probability estimation. The Canadian Journal of Statistics 39: 300–323; 2011 © 2011 Statistical Society of Canada La régression logistique pénalisée (PLR) est un outil statistique puissant pour effectuer une classification. Elle est courramment utilisée en pratique. Malgré son succès, les règles de classifications obtenues peuvent être sensibles aux valeurs aberrantes, car la fonction de perte de la PLR n'est pas bornée. Afin de construire des règles de classifications plus robustes, nous proposons une PLR robuste (RPLR) utilisant une fonction de perte logistique tronquée et nous suggérons trois mécanismes pour l'estimation des probabilités conditionnelles d'appartenir à chaque classe. Nous discutons aussi des relations entre la RPLR et d'autres travaux déjà existants sur la régression logistique robuste. Nos résultats théoriques indiquent que la RPLR est convergente et plus robuste aux valeurs aberrantes. De plus, nous développons un estimateur de la validation croisée généralisée approximative (EGACV) pour sélectionner le paramétre d'ajustement. À l'aide d'exemples numériques, nous démontrons que la troncation de la fonction de perte conduit à de meilleures performances en terme de précision de la classification et l'estimation des probabilités d'appartenance aux différentes classes. La revue canadienne de statistique 39: 300–323; 2011 © 2011 Société statistique du Canada

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.