The Neuron Times

À la Une · Recherche — EntraînementFront Page · Research — TrainingSchlagzeilen · Forschung — TrainingPrima pagina · Ricerca — AddestramentoIn prima pagina · Recherche — Entraînement

MoE géants : Kakao publie la méthode pour prédire leurs learning rates sans calculs ruineuxGiant MoEs: Kakao publishes the method for predicting their learning rates without ruinous computeMoE-Giganten: Kakao veröffentlicht die Methode, ihre Learning Rates ohne ruinöse Rechenläufe vorherzusagenMoE giganti: Kakao pubblica il metodo per prevedere i loro learning rate senza calcoli rovinosiMoE géants : Kakao publie la méthode pour prédire leurs learning rates sans calculs ruineux

Un cadre en deux étapes extrapole les hyperparamètres optimaux jusqu'à 10 000 milliards de tokens et est validé par le pré-entraînement d'un MoE de 155 milliards de paramètres dont 17 milliards d'actifs.A two-stage framework extrapolates optimal hyperparameters up to 10 trillion tokens and is validated by the pre-training of a 155-billion-parameter MoE with 17 billion active parameters.Ein zweistufiger Rahmen extrapoliert die optimalen Hyperparameter bis zu 10 Billionen Tokens; validiert wird er durch das Pre-Training eines MoE mit 155 Milliarden Parametern, davon 17 Milliarden aktive.Un quadro in due fasi estrapola gli iperparametri ottimali fino a 10'000 miliardi di token e viene convalidato dal pre-addestramento di un MoE da 155 miliardi di parametri, di cui 17 miliardi attivi.Un cadre en deux étapes extrapole les hyperparamètres optimaux jusqu'à 10 000 milliards de tokens et est validé par le pré-entraînement d'un MoE de 155 milliards de paramètres dont 17 milliards d'actifs.

De la rédaction — 24 août 2026From the editorial desk — 24 August 2026Von der Redaktion — 24. August 2026Dalla redazione — 24 agosto 2026De la redazzion — 24 agosto 2026

Leur cadre procède en deux étapes. D'abord, une adaptation de la paramétrisation maximale de mise à jour (μP) aux architectures MoE combinant attention latente multi-tête (MLA) et optimiseur Muon, qui montre que les learning rates optimaux se transfèrent de manière cohérente entre modèles de largeurs croissantes. Ensuite, une loi d'échelle prédictive le long de l'axe des tokens : une simple régression linéaire sur les valeurs optimales mesurées sur de petits modèles proxy extrapole le taux idéal jusqu'à 10 000 milliards de tokens, avec une fidélité de R² = 0,95.Their framework proceeds in two stages. First, an adaptation of maximal update parameterization (μP) to MoE architectures combining multi-head latent attention (MLA) and the Muon optimizer, showing that optimal learning rates transfer consistently across models of increasing width. Second, a predictive scaling law along the token axis: a simple linear regression on optimal values measured on small proxy models extrapolates the ideal rate up to 10 trillion tokens, with a fidelity of R² = 0.95.Ihr Framework geht in zwei Schritten vor. Zunächst eine Anpassung der maximalen Update-Parametrisierung (μP) an MoE-Architekturen, die Multi-Head Latent Attention (MLA) und den Optimierer Muon kombinieren; sie zeigt, dass sich optimale Learning Rates konsistent über Modelle zunehmender Breite hinweg übertragen. Sodann ein prädiktives Skalierungsgesetz entlang der Token-Achse: Eine einfache lineare Regression über die auf kleinen Proxy-Modellen gemessenen Optimalwerte extrapoliert die ideale Lernrate bis zu 10 Billionen Tokens — mit einer Anpassungsgüte von R² = 0,95.Il loro quadro procede in due fasi. In primo luogo, un adattamento della parametrizzazione massimale di aggiornamento (μP) alle architetture MoE che combinano attenzione latente multi-testa (MLA) e ottimizzatore Muon, che dimostra come i learning rate ottimali si trasferiscano in modo coerente tra modelli di larghezza crescente. In secondo luogo, una legge di scala predittiva lungo l'asse dei token: una semplice regressione lineare sui valori ottimali misurati su piccoli modelli proxy estrapola il tasso ideale fino a 10'000 miliardi di token, con una fedeltà di R² = 0,95.Leur cadre procède en deux étapes. D'abord, une adaptation de la paramétrisation maximale de mise à jour (μP) aux architectures MoE combinant attention latente multi-tête (MLA) et optimiseur Muon, qui montre que les learning rates optimaux se transfèrent de manière cohérente entre modèles de largeurs croissantes. Ensuite, une loi d'échelle prédictive le long de l'axe des tokens : une simple régression linéaire sur les valeurs optimales mesurées sur de petits modèles proxy extrapole le taux idéal jusqu'à 10 000 milliards de tokens, avec une fidélité de R² = 0,95.

La démonstration ne s'arrête pas à la simulation : l'équipe a pré-entraîné de zéro un modèle fondation de 155 milliards de paramètres totaux, dont 17 milliards actifs. L'entraînement est resté stable et les évaluations valident la conclusion centrale du papier — les configurations optimales d'une cible à pleine échelle peuvent être prédites avec un coût d'ablation minimal, rendant les balayages massifs superflus.The demonstration does not stop at simulation: the team pre-trained a foundation model from scratch with 155 billion total parameters, of which 17 billion active. Training remained stable and the evaluations validate the paper's central conclusion — the optimal configurations of a full-scale target can be predicted at minimal ablation cost, rendering massive sweeps superfluous.Der Nachweis bleibt nicht bei der Simulation: Das Team hat von Grund auf ein Foundation-Modell mit 155 Milliarden Parametern vortrainiert, davon 17 Milliarden aktive. Das Training blieb stabil, und die Evaluationen bestätigen die zentrale Schlussfolgerung des Papiers — die optimalen Konfigurationen eines Ziels in voller Grösse lassen sich mit minimalem Ablationsaufwand vorhersagen, was grosse Sweeps überflüssig macht.La dimostrazione non si ferma alla simulazione: il team ha pre-addestrato da zero un modello fondazione da 155 miliardi di parametri totali, di cui 17 miliardi attivi. L'addestramento è rimasto stabile e le valutazioni convalidano la conclusione centrale del paper — le configurazioni ottimali di un bersaglio a piena scala possono essere previste con un costo di ablazione minimo, rendendo superflui gli sweep massicci.La démonstration ne s'arrête pas à la simulation : l'équipe a pré-entraîné de zéro un modèle fondation de 155 milliards de paramètres totaux, dont 17 milliards actifs. L'entraînement est resté stable et les évaluations valident la conclusion centrale du papier — les configurations optimales d'une cible à pleine échelle peuvent être prédites avec un coût d'ablation minimal, rendant les balayages massifs superflus.