Skip to content
Artwork for Le centre de gravité
Le centre de gravité · Sunday · 7 min

H-Net : segmentation apprise sur octets ou tokenizer fixe ?

Et si les modèles apprenaient eux-mêmes où découper le flux d'octets au lieu de dépendre d'un vocabulaire figé ? Avec H-Net, Cartesia Research propose un regroupement dynamique dépendant du contenu tout en conservant strictement la prédiction autorégressive séquentielle. Entre une efficacité d'apprentissage prometteuse face à SmolLM3 et l'absence de mesures de latence ou de débit dans ce billet, nous posons les critères d'un vrai arbitrage industriel sans déclarer de gagnant. #modeles #meta-volatile #tokenisation #architecture #cartesia

0:00-7:12

transcript

No transcript — this publisher did not publish one.

show notes

Et si les modèles apprenaient eux-mêmes où découper le flux d'octets au lieu de dépendre d'un vocabulaire figé ? Avec H-Net, Cartesia Research propose un regroupement dynamique dépendant du contenu tout en conservant strictement la prédiction autorégressive séquentielle. Entre une efficacité d'apprentissage prometteuse face à SmolLM3 et l'absence de mesures de latence ou de débit dans ce billet, nous posons les critères d'un vrai arbitrage industriel sans déclarer de gagnant.

#modeles #meta-volatile #tokenisation #architecture #cartesia