Verificare formală și programare cu agenți AI

  • 3 minute de citit
  • 5 exemple de cod

Disponibil și în English

Pe această pagină

Introducere

Salut tuturor! 👋

Am aflat despre TLA+ și Lean de la Boris Cherny, când a scris pe Twitter despre folosirea lor pentru verificarea SDK-ului Claude Code.

TLA a fost inventat de Leslie Lamport pentru a verifica dacă sistemele distribuite se comportă așa cum ar trebui. Până acum, pentru mine cel puțin, modelarea unui sistem era dificilă; nici măcar nu auzisem de TLA. Era nevoie de multă experiență și timp pentru a construi un model de verificare formală pentru sistemul vizat.

Acum, dacă folosești un agent de programare, pare simplu și la îndemână.

Verificare formală

Tot ce trebuie să faci este să-i ceri agentului să creeze modelul, apoi să adaugi verificarea lui ca pas suplimentar în CI.

Notă

Tratează specificația generată ca pe o primă versiune: verificatorul de modele validează doar comportamentul și ipotezele incluse în model. Compar-o cu implementarea înainte să ai încredere într-un rezultat fără erori.

Următoarele prompturi funcționează:

Folosește TLA+ pentru a modela logica tranzacțiilor de plată.
Folosește Lean pentru a modela logica tranzacțiilor de plată.

Acestea sunt doar exemple. Îi poți cere modelului să formuleze un prompt mai detaliat, de exemplu:

Analizează implementarea existentă a tranzacțiilor de plată și creează o specificație TLA+.Modelează autorizarea, capturarea, decontarea, rambursările, reîncercările, cererile concurente, timeout-urile, evenimentele duplicate și defecțiunile serviciilor, după caz.Definește și verifică proprietăți de siguranță, inclusiv prevenirea capturărilor duplicate, păstrarea consistenței stării tranzacției și interzicerea tranzițiilor invalide. Include proprietăți de progres relevante, cu ipotezele de echitate precizate explicit.Rulează TLC sau Apalache și raportează domeniul verificării, ipotezele, limitele explorate, contraexemplele și limitările.Nu modifica implicit cerințele doar ca verificarea să treacă. Identifică diferențele dintre model și implementare.Adaugă un pas de verificare reproductibil în CI. Păstrează specificația în controlul versiunilor și cere revizuirea modificărilor aduse ipotezelor, invariantelor și comportamentului.
Sfat

Începe cu o proprietate importantă, cum ar fi prevenirea capturării duble, și cu o versiune simplificată a fluxului. Adaugă reîncercări și cereri concurente după ce primul model este ușor de înțeles.

Experiment

Adaugă o a doua cerere de capturare după una reușită. Verifică dacă verificatorul de modele găsește un contraexemplu la proprietatea care interzice capturările duplicate, apoi compară urma de execuție cu modul în care implementarea tratează cererile idempotente.

În mod obișnuit, folosești TLA+ pentru sisteme distribuite, mașini cu stări și protocoale concurente, iar Lean pentru demonstrații matematice, algoritmi și proprietăți definite formal.

Când le-am folosit într-un proiect, am obținut rezultate destul de bune: modelarea a scos la iveală câteva erori subtile și condiții de cursă, pe care le-am remediat la scurt timp după aceea.

Păstrarea modelului de verificare formală în sincronizare cu codul

O provocare pe care o văd în această abordare este că modelul de verificare formală se poate îndepărta de codul existent.

O strategie ar fi să adaugi o regulă în AGENTS.md, care să-i spună agentului că, ori de câte ori modifică un sistem cu un model de verificare formală, trebuie să actualizeze și modelul.

# Verificare formalăCând modifici cod acoperit de o specificație formală (de exemplu, TLA+ sau Lean):- Actualizează specificația formală pentru a reflecta orice schimbare de comportament a sistemului.- Revizuiește invariantele, ipotezele și proprietățile existente pentru a confirma că rămân corecte.- Rulează verificatorul de model sau de demonstrații potrivit.- Nu slăbi și nu elimina proprietățile de verificare doar pentru a face verificările să treacă.- Raportează orice diferențe dintre implementare și specificația formală.

Dacă folosești Claude Code, poți crea și un fișier REVIEW.md în care să specifici aceeași regulă.

# RevizuireLa revizuirea modificărilor de cod, verifică următoarele:Coerența verificării formale: dacă o modificare afectează un sistem, o componentă sau un flux de lucru care are deja o specificație formală (de exemplu, TLA+ sau Lean), verifică dacă specificația a fost actualizată pentru a reflecta noul comportament. Asigură-te că invariantele, ipotezele și proprietățile relevante rămân valabile și că verificatorul de model sau de demonstrații corespunzător trece. Semnalează schimbările de comportament care nu se regăsesc în modelul formal.

După ce agentul implementează funcționalitatea, poți rula oricând /review sau /verify pentru a verifica dacă modificarea este de calitate.

Concluzie

Verificarea formală este o tehnică avansată pentru a verifica dacă o aplicație sau un sistem software este corect. Până acum era folosită mai ales în mediul academic, în cercetare sau în sisteme critice. Cu ajutorul unui model de ultimă generație, oricine poate verifica formal corectitudinea software-ului folosind Lean și TLA+.

Mulțumesc că ai citit! Sper ca acest mic sfat să-ți îmbunătățească experiența de programare cu agenți AI!