« Un billet de blog sur les difficultés, limites et arguments fallacieux autour de l'évaluation des performances de l'IA sur les tâches de code. L'auteur discute les faiblesses des indicateurs de performance habituels (# lignes de code, rapidité d'écriture, etc.), les biais et effets indésirables derrière les méthodologies d'étude, et les angles morts derrière l'acceptation de la supériorité de l'outil. Je trouve cette dernière partie importante car, en dépit du bénéfice perçu au niveau individuel, l'intérêt à l'échelle collective ou systémique reste trop peu discuté. »