Transfert de modèles
Model transfer
Modelltransfer
Trasferimento di modelli
Transfer di modej
PACT : les gains du dialogue entre grands et petits modèles souvent illusoiresPACT: the gains of large-to-small model dialogue are often illusoryPACT: Die Gewinne des Dialogs zwischen grossen und kleinen Modellen sind oft trügerischPACT: i guadagni del dialogo tra grandi e piccoli modelli spesso illusoriPACT: i guadagn del dialogh intra gròss e piscinin modej despess illusori
Le papier de King's College London publié le 6 novembre 2026 sur les
transferts préfill-vers-autorégressif (12 upvotes sur les Daily Papers) montre que les améliorations apportées par la communication latente entre un gros modèle émetteur et un petit récepteur peuvent être reproduites par des signaux non informatifs ou l'entraînement du seul récepteur. Les auteurs proposent PACT-Check, un protocole pour quantifier la part réelle du gain issue de la communication.
The King's College London paper published on 6 November 2026 on
prefill-to-autoregressive transfers (12 upvotes on the Daily Papers) shows that improvements from latent communication between a large sender model and a small receiver can be reproduced by non-informative signals or by training the receiver alone. The authors propose PACT-Check, a protocol to quantify the share of the gain genuinely attributable to communication.
Das Papier des King's College London, veröffentlicht am 6. November 2026 zu
Prefill-zu-autoregressiven Transfers (12 Upvotes auf den Daily Papers), zeigt, dass die Verbesserungen durch latente Kommunikation zwischen einem grossen Sender- und einem kleinen Empfängermodell durch nicht-informative Signale oder das Training allein des Empfängers reproduziert werden können. Die Autoren schlagen PACT-Check vor, ein Protokoll zur Quantifizierung des tatsächlichen Anteils des Gewinns, der aus der Kommunikation stammt.
Il documento di King's College London pubblicato il 6 novembre 2026 sui
trasferimenti prefill-verso-autoregressivo (12 upvote sulle Daily Papers) mostra che i miglioramenti apportati dalla comunicazione latente tra un grande modello trasmittente e un piccolo ricevente possono essere riprodotti con segnali non informativi o l'addestramento del solo ricevente. Gli autori propongono PACT-Check, un protocollo per quantificare la quota reale del guadagno derivante dalla comunicazione.
El papèr del King's College London publicaa el 6 de november 2026 sora i
transfer prefrell-vers-autoregressiv (12 upvote sora i Daily Papers) el mostra che i migliorament portaa de la comunicazion latenta intra on gròss modei emettor e on piscinin ricevor poden vess riproduu cont di segnaj minga informativ o cont l'addestrament del domà ricevor. I autor proponen PACT-Check, on protocoll per quantificà la part reala del guadagn che la vegn de la comunicazion.
Architecture
Architecture
Architektur
Architettura
Architetura
Muir : l'attention linéaire extrapole de 4K à 10 millions de tokensMuir: linear attention extrapolates from 4K to 10 million tokensMuir: Die lineare Aufmerksamkeit extrapoliert von 4K auf 10 Millionen TokensMuir: l'attenzione lineare estrapola da 4K a 10 milioni di tokenMuir: l'atenzion linear la estrapola de 4K a 10 milion de token
Des chercheurs de Google présentent le 6 novembre 2026
Muir, une attention linéaire à gating alloué par sensibilité : elle abaisse la perplexité de 1,8 à 2,0 % face à Gated DeltaNet-2 et de 2,5 à 3,6 % face au Transformer entre 166M et 1,34B paramètres. À 1,34B, le modèle extrapole 2 560 fois sa longueur d'entraînement de 4K jusqu'à 10M tokens sans dérive, avec un entraînement 2,7 fois plus rapide que le Transformer à 32K.
On 6 November 2026, Google researchers presented
Muir, a linear attention with sensitivity-allocated gating: it lowers perplexity by 1.8 to 2.0% versus Gated DeltaNet-2 and by 2.5 to 3.6% versus the Transformer between 166M and 1.34B parameters. At 1.34B, the model extrapolates 2,560 times its 4K training length up to 10M tokens without drift, with training 2.7 times faster than the Transformer at 32K.
Forschende von Google stellen am 6. November 2026
Muir vor, eine lineare Aufmerksamkeit mit sensibilitätsallokiertem Gating: Sie senkt die Perplexität um 1,8 bis 2,0 % gegenüber Gated DeltaNet-2 und um 2,5 bis 3,6 % gegenüber dem Transformer zwischen 166M und 1,34B Parametern. Bei 1,34B extrapoliert das Modell das 2 560-Fache seiner Trainingslänge von 4K bis zu 10M Tokens ohne Drift, mit einem 2,7-fach schnelleren Training als der Transformer bei 32K.
Ricercatori di Google presentano il 6 novembre 2026
Muir, un'attenzione lineare a gating allocato per sensibilità: abbassa la perplessità dell'1,8–2,0 % rispetto a Gated DeltaNet-2 e del 2,5–3,6 % rispetto al Transformer tra 166M e 1,34B parametri. A 1,34B, il modello estrapola 2 560 volte la sua lunghezza di addestramento di 4K fino a 10M token senza deriva, con un addestramento 2,7 volte più rapido del Transformer a 32K.
Di ricercador de Google presenten el 6 de november 2026
Muir, ona atenzion linear a gating assegnaa per sensibilità: la sbassa la perplessità de l'1,8 al 2,0% in front a Gated DeltaNet-2 e del 2,5 al 3,6% in front al Transformer intra 166M e 1,34B parametr. A 1,34B, el modei el estrapola 2 560 voeult la soa longhezza de addestrament de 4K fin a 10M token senza deriva, cont on addestrament 2,7 voeult pussee svelt del Transformer a 32K.
Benchmarks
Benchmarks
Benchmarks
Benchmark
Benchmark
TB-MathModel : 18 problèmes de modélisation passés au terminalTB-MathModel: 18 modeling problems run in the terminalTB-MathModel: 18 Modellierungsprobleme im Terminal durchlaufenTB-MathModel: 18 problemi di modellazione passati al terminaleTB-MathModel: 18 problema de modellazion passaa al terminal
Le
premier benchmark agentique et vérifiable de modélisation mathématique, publié le 6 novembre 2026 avec 7 upvotes, couvre 18 problèmes réels CUMCM/MCM (2023-2025) exécutés en terminal conteneurisé, avec 624 obligations Lean 4 de vérification de faisabilité. Le meilleur système multicapteur atteint 64,58 % en O-Eval multi-références, contre 59,81 % pour un modèle open à 1/100e du coût.
The
first agentic and verifiable benchmark for mathematical modeling, published on 6 November 2026 with 7 upvotes, covers 18 real CUMCM/MCM problems (2023–2025) executed in a containerized terminal, with 624 Lean 4 feasibility-proof obligations. The best multi-sensor system reaches 64.58% on multi-reference O-Eval, versus 59.81% for an open model at 1/100th of the cost.
Der
erste agentische und verifizierbare Benchmark für mathematische Modellierung, veröffentlicht am 6. November 2026 mit 7 Upvotes, deckt 18 reale CUMCM/MCM-Probleme (2023–2025) ab, die in einer containerisierten Umgebung ausgeführt werden, mit 624 Lean-4-Verpflichtungen zur Machbarkeitsprüfung. Das beste Multisensor-System erreicht 64,58 % in der O-Eval mit mehreren Referenzen, gegenüber 59,81 % für ein offenes Modell bei einem Hundertstel der Kosten.
Il
primo benchmark agente e verificabile di modellazione matematica, pubblicato il 6 novembre 2026 con 7 upvote, copre 18 problemi reali CUMCM/MCM (2023-2025) eseguiti in terminale containerizzato, con 624 obblighi Lean 4 di verifica di fattibilità. Il miglior sistema multisensore raggiunge il 64,58 % in O-Eval multiriferimento, contro il 59,81 % di un modello open a 1/100 del costo.
El
primm benchmark agentigh e verificabel de modellazion matematiga, publicaa el 6 de november 2026 con 7 upvote, el quattta 18 problema reai CUMCM/MCM (2023-2025) eseguii in terminal contegnidà, con 624 obligazion Lean 4 de verificazion de fattibilità. El sistema multisenzor mej el riva al 64,58% in O-Eval multi-referenz, contra el 59,81% per on modei open a 1/100 del cost.
Découverte scientifique
Scientific discovery
Wissenschaftliche Entdeckung
Scoperta scientifica
Descoverta scentifega
SwarmEvolve : des essaims d'agents latents battent AlphaEvolve avec Qwen3 8BSwarmEvolve: latent agent swarms beat AlphaEvolve with Qwen3 8BSwarmEvolve: Latente Agentenschwärme schlagen AlphaEvolve mit Qwen3 8BSwarmEvolve: sciami di agenti latenti battono AlphaEvolve con Qwen3 8BSwarmEvolve: di sciami d'agent latent batten AlphaEvolve cont Qwen3 8B
Le cadre de Brown University
SwarmEvolve, publié le 6 novembre 2026, fait raisonner des centaines d'agents par tour dans l'espace latent en partageant leurs KV caches. Sur 21 problèmes de découverte mathématique, il atteint en 3 à 8 minutes médianes les meilleurs scores que d'autres cadres SOTA n'obtiennent qu'en 60 minutes, et améliore avec Qwen3 8B plusieurs solutions initialement trouvées par AlphaEvolve avec des LLM de frontière.
The Brown University framework
SwarmEvolve, published on 6 November 2026, has hundreds of agents reason per turn in latent space by sharing their KV caches. On 21 mathematical discovery problems, it reaches in a median of 3 to 8 minutes the best scores other SOTA frameworks only achieve after 60 minutes, and with Qwen3 8B improves several solutions initially found by AlphaEvolve using frontier LLMs.
Das Framework der Brown University,
SwarmEvolve, veröffentlicht am 6. November 2026, lässt pro Runde Hunderte von Agenten im latenten Raum unter gemeinsamer Nutzung ihrer KV-Caches schlussfolgern. Bei 21 Problemen mathematischer Entdeckung erreicht es in 3 bis 8 Minuten im Median die Bestwerte, die andere SOTA-Frameworks erst in 60 Minuten erzielen, und verbessert mit Qwen3 8B mehrere Lösungen, die ursprünglich von AlphaEvolve mit Grenz-LLMs gefunden wurden.
Il framework della Brown University
SwarmEvolve, pubblicato il 6 novembre 2026, fa ragionare centinaia di agenti per turno nello spazio latente condividendo le loro KV cache. Su 21 problemi di scoperta matematica, raggiunge in 3-8 minuti mediani i punteggi migliori che altri framework SOTA ottengono solo in 60 minuti, e migliora con Qwen3 8B diverse soluzioni inizialmente trovate da AlphaEvolve con LLM di frontiera.
El quadro de la Brown University
SwarmEvolve, publicaa el 6 de november 2026, el fa ragionà centinai de agent per turn in del spazzi latent cont el condivid i sò KV cache. Sora 21 problema de descoverta matematiga, el riva in 3 a 8 menut median ai pont pussee volt che alter quadri SOTA ottegnen domà in 60 menut, e con Qwen3 8B el migliora divers soluzion trovaa inizialment de AlphaEvolve cont di LLM de frontiera.