Anthropic wydaje otwartą bibliotekę do formalnej weryfikacji Claude

Firma sztucznej inteligencji Anthropic, w ramach zespołu Frontier Red Team, opublikowała 22 października badania, które wskazują, że duże modele językowe są w stanie automatycznie tworzyć formalne dowody na większą skalę. Zespół współpracował z Theorem, wykorzystując Claude do weryfikacji właściwości bezpieczeństwa ponad 100 rzeczywistych otwartych bibliotek w warstwie asemblera RISC-V, co stanowi pierwszy przypadek użycia AI do dużej skali formalnej weryfikacji oprogramowania produkcyjnego na poziomie asemblera. W trakcie pisania dowodów odkryto luki, które nie były wykrywane przez wiele lat. Eksperyment przekształcił istniejące kompilowalne testy fuzz z Google OSS-Fuzz w specyfikacje, zakładając jednowątkowy statyczny binarny kod, stały budżet pamięci, CPU RISC-V oraz Linux. Dla dowolnego wejścia mniejszego niż 64 MB program powinien normalnie zakończyć działanie i nie wywoływać błędów bezpieczeństwa pamięci ani niepowodzeń asercji. Po naprawieniu problemów, Claude udowodnił powyższe właściwości dla 239 punktów wejścia w 123 bibliotekach OSS-Fuzz, dowodząc dla skompilowanych instrukcji RISC-V około 180 milionów linii Rocq, które zostały sprawdzone przez rdzeń Rocq. Strona stwierdza, że to nie oznacza, iż te biblioteki nie mają luk, a pozostałe problemy mogą znajdować się w zaufanych komponentach lub poza zakresem dowodu. Zespół zlecił także Claude formalizację RFC 1950 i w warstwie binarnej x86 udowodnił, że implementacja zlib w jądrze Linuxa spełnia tę specyfikację; napisano interpreter w Rust, który pokrywa dużą część Pythona, a proporcja programów losowo generowanych, które są zgodne z zachowaniem CPython, wynosi 99,95%. W 36 małych zadaniach weryfikacyjnych, Opus 5.5 udowodnił, że połowa z nich wymagała o około 40% mniej tokenów niż Opus 5.