"Tim Chrome melaporkan bahwa Carbon tampil lebih dari 10 kali lebih baik daripada model frontier besar dari lab lain dalam menghasilkan patch berkualitas tinggi," tulis Koray Kavukcuoglu, wakil presiden senior Google DeepMind dan kepala arsitek AI Google, dalam unggahan blog perusahaan.
Platform keamanan cloud Wiz turut melaporkan Carbon memimpin benchmark pengujian penetrasi web. Namun perlu dicatat, benchmark siber eksternal itu diukur tanpa mengaktifkan guardrail, dan skor SEC-bench Pro serta ExploitGym dihitung Google sendiri melalui framework Antigravity, bukan oleh penilai independen.
Bekerja Berhari-hari Tanpa Henti
Di luar keamanan siber, Carbon dibangun untuk pekerjaan rekayasa jangka panjang. Tim internal Google menyaksikan model ini bekerja berhari-hari pada satu tugas, menelusuri akar masalah bug yang samar di codebase besar dan sistem tingkat rendah, hingga menemukan dan memperbaiki bug tersebut.
Google juga meningkatkan Carbon pada coding, tugas agentic, tugas ilmiah, pengembangan web full-stack, dan pemahaman multimodal. Di WebDev Arena, Carbon melompat 89 poin Elo ke peringkat keempat, menandakan kualitas output pengembangan web yang membaik.