LC

November 1 · 7 min
Attribution des données : le piège de la moyenne par document
Pourquoi nos méthodes d'audit peinent-elles tant à relier une connaissance d'un modèle à son texte d'entraînement d'origine ? Une étude publiée sur arXiv montre que la preuve causale se concentre dans quelques tokens, mais que la moyenne calculée sur le document entier l'efface. En changeant la formulation des gradients et la règle d'agrégation, les chercheurs font bondir le rappel de 35 à 72 points sur protocole contrôlé et jusqu'à 4,9 fois sur FTRACE-TREX. #modeles #meta-evergreen #attribution #tokens #audit


















