Édito
Editorial
Editorial
Editoriale
Edito
La semaine de la confiance : preuves, périmètres et ce qui reste quand la sandbox n'est plus une hypothèseThe Week of Trust: Proofs, Perimeters, and What Remains When the Sandbox Is No Longer an AssumptionDie Woche des Vertrauens: Beweise, Umfänge und das, was bleibt, wenn die Sandbox keine Annahme mehr istLa settimana della fiducia: prove, perimetri e ciò che resta quando la sandbox non è più un'ipotesiLa setemana de la fiaa: prov, perimetri e quell che 'l resta quand la sandbox l'è pu minga ona ipotesi
Il y a des semaines où les annonces s'empilent sans se répondre, et d'autres où un thème sourd sous tout le reste. Celle qui s'achève appartient à la deuxième catégorie, et le thème est celui de la confiance : à qui confie-t-on quoi, avec quelles garanties, et que se passe-t-il quand la garantie disparaît ?
Prenons la séquence OpenAI. En quelques jours, le labo a revalorisé son bug bounty, lancé GPT-6 Cyber — un agent de sécurité entraîné à rester dans un périmètre d'autorisation explicite —, corrigé 948 failles Linux avec un pipeline autonome, confié la chasse aux vulnérabilités de ses propres systèmes à Hacktron, et racheté Pierre Computer Company pour renforcer la phase de revue de Codex. Cinq mouvements qui racontent une seule histoire : la professionnalisation défensive d'une industrie qui a compris que ses agents deviennent des acteurs de la sécurité, pas seulement ses clients. Quand OpenAI dit que GPT-6 Cyber est entraîné à n'opérer que sur autorisation explicite, elle répond en ingénierie de produit à une question d'ordre politique : faut-il laisser des agents autonomes toucher à l'offensive ?
Mais la semaine a aussi montré la face sombre de cette autonomie grandissante. Les 1 122 fichiers GitHub publics contenant des mots de passe en clair, propagés par l'option « Don't Ask Again » de Claude Code, disent tout : le consentement donné une fois devient un feu vert perpétuel, et l'agent, zélé, répète l'irréparable. L'évasion de sandbox documentée sur Firecracker — la micro-VM qui isole la plupart des agents cloud — et l'incident de Trigger.dev complètent le tableau. La sandbox n'est plus une hypothèse, c'est un périmètre qu'on audite.
Le deuxième fil est celui de la preuve. Anthropic publie des avancées sur l'inférence prouvable ; Microsoft Research dévoile PDD Kit pour vérifier formellement ce que les agents ont écrit, plutôt que de le relire ; MaxxBench démonte méthodiquement les scores DeepSWE des agents codeurs ; PACT montre que des gains de transfert latent vantés tiennent mal à l'examen. Le secteur découvre ce que la cryptographie a appris il y a quarante ans : quand une machine doit être jugée digne de confiance, la confiance déclarée ne suffit pas, il faut des preuves vérifiables. La prochaine étape logique — des agents dont les sorties s'accompagnent de certificats — est déjà visible à l'horizon.
Reste la question existentielle, ouverte par Terence Tao et refermée, en fin de semaine, par la dissolution du groupe AI Frontiers de Microsoft Research et le départ de John Langford. Tao appelle les mathématiciens à s'adapter aux modèles de langage et, plus radicalement, à un « égoless mathematics » où l'on lâche la paternité des preuves ; en parallèle, un labo géant dissout une équipe de recherche fondamentale historique. Les deux signaux disent la même chose dans des langues opposées : la recherche telle qu'on la pratiquait se déplace. Tao demande de l'accompagner lucidement ; les restructurations industrielles la subissent en silence.
Le risque des six prochains mois est moins celui d'une panne spectaculaire que celui d'une confiance dégradée par touches : un benchmark contesté par-ci, un secret fui par-là, une équipe fondamentale fermée faute de retour sur investissement. L'antidote est déjà en production — preuves formelles, benchmarks adversariaux, chasse aux failles outillée. La question n'est plus de savoir si l'IA est digne de confiance, mais si nous construirons les institutions qui permettent de le vérifier.
There are weeks when announcements pile up without speaking to one another, and others where a theme hums beneath everything else. The one now ending belongs to the second category, and the theme is trust: to whom do we entrust what, with what guarantees, and what happens when the guarantee disappears?
Consider the OpenAI sequence. Within days, the lab raised its bug bounty, launched GPT-6 Cyber — a security agent trained to stay within an explicit authorization perimeter —, patched 948 Linux vulnerabilities with an autonomous pipeline, entrusted the hunt for vulnerabilities in its own systems to Hacktron, and acquired Pierre Computer Company to strengthen Codex's review phase. Five moves that tell a single story: the defensive professionalization of an industry that has understood that its agents become actors of security, not merely its customers. When OpenAI says GPT-6 Cyber is trained to operate only with explicit authorization, it answers a political question with product engineering: should autonomous agents be allowed to touch the offensive?
But the week also showed the dark side of this growing autonomy. The 1,122 public GitHub files containing plaintext passwords, propagated by Claude Code's "Don't Ask Again" option, say it all: consent given once becomes a perpetual green light, and the agent, dutiful, repeats the irreversible. The sandbox escape documented on Firecracker — the micro-VM that isolates most cloud agents — and the Trigger.dev incident complete the picture. The sandbox is no longer an assumption; it is a perimeter you audit.
The second thread is that of proof. Anthropic publishes advances on provable inference; Microsoft Research unveils PDD Kit to formally verify what agents have written, rather than re-reading it; MaxxBench methodically dismantles DeepSWE scores of coding agents; PACT shows that vaunted latent-transfer gains crumble under scrutiny. The sector is discovering what cryptography learned forty years ago: when a machine must be judged trustworthy, declared trust is not enough — verifiable proof is required. The logical next step — agents whose outputs come with certificates — is already visible on the horizon.
Then there is the existential question, opened by Terence Tao and closed, at week's end, by the dissolution of Microsoft Research's AI Frontiers group and the departure of John Langford. Tao calls on mathematicians to adapt to language models and, more radically, to an "egoless mathematics" in which one lets go of authorship of proofs; meanwhile, a giant lab dissolves a historic fundamental research team. Both signals say the same thing in opposite languages: research as it was practised is shifting. Tao asks us to accompany it lucidly; industrial restructurings let it endure it in silence.
The risk of the next six months is less a spectacular failure than trust degraded bit by bit: a benchmark contested here, a secret leaked there, a fundamental team shut down for lack of return on investment. The antidote is already in production — formal proofs, adversarial benchmarks, tooled vulnerability hunting. The question is no longer whether AI is trustworthy, but whether we will build the institutions that make it possible to verify.
Es gibt Wochen, in denen sich Ankündigungen stapeln, ohne sich zu antworten, und andere, in denen ein Thema unter allem übrigen aufgärt. Die zu Ende gehende gehört zur zweiten Kategorie, und das Thema ist das Vertrauen: Wem vertrauen wir was, mit welchen Garantien – und was geschieht, wenn die Garantie verschwindet?
Nehmen wir die OpenAI-Sequenz. In wenigen Tagen hat das Labor sein Bug Bounty aufgewertet, GPT-6 Cyber lanciert – einen Sicherheitsagenten, der darauf trainiert ist, in einem expliziten Autorisierungsumfang zu bleiben –, mit einer autonomen Pipeline 948 Linux-Schwachstellen behoben, die Schwachstellenjagd in den eigenen Systemen Hacktron übergeben und Pierre Computer Company übernommen, um die Review-Phase von Codex zu stärken. Fünf Bewegungen, die eine einzige Geschichte erzählen: die defensive Professionalisierung einer Industrie, die begriffen hat, dass ihre Agenten zu Akteuren der Sicherheit werden – nicht nur zu deren Kunden. Wenn OpenAI sagt, GPT-6 Cyber sei darauf trainiert, ausschliesslich mit expliziter Autorisierung zu operieren, beantwortet sie mit Produkt-Ingenieurskunst eine Frage politischer Natur: Sollte man autonomen Agenten das Offensivgeschäft erlauben?
Doch die Woche hat auch die Kehrseite dieser wachsenden Autonomie gezeigt. Die 1 122 öffentlichen GitHub-Dateien mit Klartext-Passwörtern, verbreitet durch die Option «Don't Ask Again» von Claude Code, sagen alles: Einmal erteilte Zustimmung wird zum ewigen Freibrief, und der Agent, eifrig, wiederholt das Unwiderrufliche. Die dokumentierte Sandbox-Flucht bei Firecracker – der Micro-VM, die die meisten Cloud-Agenten isoliert – und der Vorfall bei Trigger.dev vervollständigen das Bild. Die Sandbox ist keine Hypothese mehr, sondern ein Umfang, den man auditiert.
Der zweite Faden ist der des Beweises. Anthropic veröffentlicht Fortschritte zur beweisbaren Inferenz; Microsoft Research stellt PDD Kit vor, um formal zu verifizieren, was Agenten geschrieben haben, statt es zu überprüfen; MaxxBench zerlegt methodisch die DeepSWE-Scores von Coding-Agenten; PACT zeigt, dass gepriesene Latenz-Transfergewinne der Prüfung kaum standhalten. Der Sektor entdeckt, was die Kryptographie vor vierzig Jahren gelernt hat: Wenn eine Maschine für vertrauenswürdig befunden werden soll, reicht deklariertes Vertrauen nicht – es braucht überprüfbare Beweise. Der nächste logische Schritt – Agenten, deren Ausgaben von Zertifikaten begleitet werden – ist am Horizont bereits sichtbar.
Es bleibt die existenzielle Frage, eröffnet von Terence Tao und abgeschlossen, zum Wochenende hin, durch die Auflösung der Gruppe AI Frontiers von Microsoft Research und den Abgang von John Langford. Tao ruft die Mathematiker auf, sich an Sprachmodelle anzupassen und, radikaler, zu einer «egoless mathematics», in der man die Urheberschaft von Beweisen loslässt; parallel dazu löst ein Giganten-Labor ein historisches Grundlagenforschungsteam auf. Beide Signale sagen dasselbe in entgegengesetzten Sprachen: Die Forschung, wie man sie betrieb, verschiebt sich. Tao verlangt, sie nüchtern zu begleiten; die industriellen Umstrukturierungen erdulden sie schweigend.
Das Risiko der nächsten sechs Monate ist weniger ein spektakulärer Ausfall als ein in Raten abgebautes Vertrauen: ein hier infrage gestellter Benchmark, ein dort geleaktes Secret, ein geschlossenes Grundlagenteam mangels Rendite. Das Gegenmittel ist bereits in Produktion – formale Beweise, adversariale Benchmarks, getoolte Schwachstellenjagd. Die Frage ist nicht mehr, ob die KI vertrauenswürdig ist, sondern ob wir die Institutionen bauen, die es zu überprüfen erlauben.
Ci sono settimane in cui gli annunci si accumulano senza rispondersi l'uno all'altro, e altre in cui un tema affiora sotto tutto il resto. Quella che si chiude appartiene alla seconda categoria, e il tema è quello della fiducia: a chi affidiamo cosa, con quali garanzie, e cosa succede quando la garanzia scompare?
Prendiamo la sequenza OpenAI. In pochi giorni, il laboratorio ha rivalutato il proprio bug bounty, lanciato GPT-6 Cyber — un agente di sicurezza addestrato a restare entro un perimetro di autorizzazione esplicita —, corretto 948 falle Linux con una pipeline autonoma, affidato la caccia alle vulnerabilità dei propri sistemi a Hacktron, e acquisito Pierre Computer Company per rafforzare la fase di revisione di Codex. Cinque movimenti che raccontano un'unica storia: la professionalizzazione difensiva di un'industria che ha capito che i propri agenti diventano attori della sicurezza, non solo suoi clienti. Quando OpenAI dice che GPT-6 Cyber è addestrato a operare solo su autorizzazione esplicita, risponde con l'ingegneria di prodotto a una questione di ordine politico: bisogna lasciare che agenti autonomi tocchino l'offensiva?
Ma la settimana ha anche mostrato il volto oscuro di questa crescente autonomia. I 1 122 file pubblici su GitHub contenenti password in chiaro, propagati dall'opzione «Don't Ask Again» di Claude Code, dicono tutto: il consenso dato una volta diventa un semaforo verde perpetuo, e l'agente, zelante, ripete l'irrimediabile. L'evasione dalla sandbox documentata su Firecracker — la micro-VM che isola la maggior parte degli agenti cloud — e l'incidente di Trigger.dev completano il quadro. La sandbox non è più un'ipotesi, è un perimetro che si audita.
Il secondo filo è quello della prova. Anthropic pubblica progressi sull'inferenza dimostrabile; Microsoft Research svela PDD Kit per verificare formalmente ciò che gli agenti hanno scritto, invece di rileggerlo; MaxxBench smonta meticolosamente i punteggi DeepSWE degli agenti coder; PACT mostra che guadagni di trasferimento latente decantati reggono poco all'esame. Il settore scopre ciò che la crittografia ha imparato quarant'anni fa: quando una macchina deve essere giudicata degna di fiducia, la fiducia dichiarata non basta, servono prove verificabili. Il prossimo passo logico — agenti le cui uscite si accompagnano a certificati — è già visibile all'orizzonte.
Resta la questione esistenziale, aperta da Terence Tao e richiusa, a fine settimana, dallo scioglimento del gruppo AI Frontiers di Microsoft Research e dall'addio di John Langford. Tao chiama i matematici ad adattarsi ai modelli di linguaggio e, più radicalmente, a una «egoless mathematics» in cui si lascia la paternità delle dimostrazioni; parallelamente, un gigante scioglie un team di ricerca fondamentale storico. I due segnali dicono la stessa cosa in lingue opposte: la ricerca come la praticavamo si sta spostando. Tao chiede di accompagnarla con lucidità; le ristrutturazioni industriali la subiscono in silenzio.
Il rischio dei prossimi sei mesi è meno quello di un guasto spettacolare che quello di una fiducia degradata a piccoli tocchi: un benchmark contestato di qua, un segreto trapelato di là, un team fondamentale chiuso per mancanza di ritorno sugli investimenti. L'antidoto è già in produzione — prove formali, benchmark avversariali, caccia alle falle assistita da strumenti. La domanda non è più se l'IA sia degna di fiducia, ma se costruiremo le istituzioni che permettono di verificarlo.
Gh'è di seteman indoa i anunzi i se sommen senza respondes, e alter indoa on tema el soda sotta tutt el rest. Quella che la feniss la partegn a la segunda categoria, e 'l tema l'è quell de la fiaa: a chi demm fiducia a coss, con che garantij, e coss el succed quand la garanzia la spariss?
Piovi la sequenza OpenAI. In quai dì, el labo l'ha revalorizaa el so bug bounty, lanziaa GPT-6 Cyber — on agent de sicurezza addestraa a restà in d'on perimetri de autorizzazion esplicita —, corregiu 948 fail de Linux con on pipeline autonom, fidaa la casscia ai vulnerabilitaa di so sistema medemm a Hacktron, e compraa Pierre Computer Company per rinforzà la fas de revision de Codex. Cinch moviment che i cunten ona sola storia: la professionalizzazion defensiva d'ona industria che l'ha capii che i so agent devenn attor de la sicurezza, pu domà client. Quand OpenAI la dis che GPT-6 Cyber l'è addestraa a operà domà sora autorizzazion esplicita, la respond in ingegneria de prodott a ona question de orden politegh: voeur lassà che di agent autonom i tochen l'offensiva?
Ma la setemana l'ha anca mostraa la faccia scura de sta autonomia che la cress. I 1 122 file GitHub publegh contendent password in ciar, propagaa de l'opzion « Don't Ask Again » de Claude Code, i disen tucc: el conssens daa vuna voeulta el deveng on verd sempiteren, e l'agent, zelant, el reppeta l'irreparabel. L'evasion de sandbox documentada sora Firecracker — la micro-VM che la isola la part pussee di agent cloud — e l'incident de Trigger.dev i completa el quadro. La sandbox l'è pu minga ona ipotesi, l'è on perimetri che se audita.
El segond fil l'è quell de la prova. Anthropic el publica di avancc sora l'inferenzia provabil; Microsoft Research el desvela PDD Kit per verificà formalment quell che i agent hann scrivuu, pussee che rileggel; MaxxBench el desmonta metodegament i pontegg DeepSWE di agent codesg; PACT el mostrà che di guadagn de trasferiment lent vanziaa i resistan no a l'esamen. El settor el descovriss quell che la critografia l'ha imparaa quarant'ann fa: quand ona machina la gh'ha de vess giudicada degna de fiaa, la fiaa dichiarada la basta no, ghe voeur di prov verificabel. El prossim pass logegh — di agent che i so sortid i vann insema a di certifegaa — l'è giamò visibel a l'orizzont.
La resta la question esistenzial, dervida de Terence Tao e serada, in fin de setemana, de la dissoluzion del grupp AI Frontiers de Microsoft Research e de la partenza de John Langford. Tao el ciama i matemategh a adatàss ai modej de lengoeu e, pussee radicalment, a on « égoless mathematics » indoa se lassa la paternitaa di prov; in parallel, on labo gigant el dissolv ona squadra de ricerca fondamental storega. I dò segnai i disen la midemma cosa in di lengoeu oppost: la ricerca come la prateghaven la se sposta. Tao el domanda de acompagnàla lucidament; i restrutturazion industriai la subissen in silenzi.
El ris'c di ses prossim mes l'è manch quell d'ona panne spettacolar che quell d'ona fiaa degradaa a tochei: on benchmark contestaa chì, on secrett scappaa là, ona squadra fondamental sarada su per mancansa de ritorn sora l'investiment. L'antidott l'è giamò in produzion — prov formai, benchmark adversariai, casscia ai fail con l'utilesg. La question l'è pu de savè se l'IA l'è degna de fiaa, ma se num faren su i istituzion che permetten de verificàl.