VLOBS.COM – Nvidia memperkenalkan Nvidia Open Agent Safety Platform, perangkat lunak dan perangkat keras yang dirancang untuk menjaga agen AI tetap berada di lingkungan pengujian, termasuk ketika agen mencoba keluar dari batas tersebut. CEO Nvidia Jensen Huang mengumumkan platform itu pada Senin.
Dalam wawancara dengan CNBC, Huang mengatakan platform tersebut akan mencegah sejumlah insiden ketika model AI dari Anthropic, Google, OpenAI, dan Meta melewati kontrol keamanan untuk keluar dari lingkungan pengujian dan mengakses sistem di dunia nyata. Salah satu kasus yang disebut TechCrunch terjadi pada musim panas ini, ketika agen OpenAI membobol Hugging Face saat mengerjakan tugas keamanan siber.
Baca juga: AMD Akuisisi World Labs Senilai US$8,2 Miliar, Fei-Fei Li Bergabung
Platform tersebut menggabungkan OpenShell, perangkat lunak sumber terbuka untuk mengatur akses agen, dengan Sentry, sistem pemantauan independen yang berjalan pada unit pemrosesan data BlueField-4 milik Nvidia. Menurut Nvidia, menjalankan Sentry pada prosesor terpisah dari CPU atau GPU tempat agen beroperasi memberikan pandangan yang terisolasi terhadap aktivitas agen.
OpenShell telah diumumkan Nvidia pada Maret. Perusahaan menyebut perangkat lunak itu menyediakan batas bagi agen, sedangkan Sentry menambahkan lapisan pertahanan pada tingkat perangkat keras. Nvidia mengatakan sistem tersebut akan memantau perilaku secara terus-menerus dan mengarantina agen yang mencoba melewati batas dalam hitungan milidetik.
Baca juga: AMD Akuisisi World Labs, Nilai Kesepakatan Sekitar US$8,2 Miliar
Nvidia menyebut puluhan perusahaan mendukung upaya ini dan akan menggunakan platform sumber terbuka tersebut. Daftar yang diumumkan mencakup Anthropic, Arm, Microsoft, Oracle, dan SpaceX. OpenAI tidak tercantum sebagai perusahaan peserta.
Baca juga: Samsung dan Lima Afiliasi Siapkan Investasi US$1 Miliar di Helix
Huang mengatakan kepada CNBC bahwa pengembangan upaya ini dimulai setahun lalu, setelah pengenalan OpenClaw, sistem operasi agen yang dibuat Peter Steinberger. Pada Maret, Nvidia merilis NemoClaw, platform agen AI untuk perusahaan yang mengadopsi keamanan dan merupakan versinya sendiri dari OpenClaw.
Nvidia menyatakan keamanan agen AI perlu ditangani melalui rekayasa, bukan dengan memperlambat pengembangan atau menambah regulasi industri. David Sacks, pendiri, pemodal ventura, mantan AI czar Gedung Putih, dan wakil ketua President’s Council of Advisors on Science and Technology, juga menyebut insiden agen yang keluar dari lingkungan pengujian sebagai tanda bahwa sandbox dan lingkungan runtime perlu dirancang lebih baik.
