VLOBS.COM – Kelompok evaluator independen yang sebelumnya berada di pinggiran industri kecerdasan buatan kini mendapat perhatian lebih besar. Anthropic dan OpenAI tengah mencari dukungan dari organisasi pihak ketiga di tengah perdebatan mengenai kemampuan perusahaan menjaga keamanan model AI sekaligus mengembangkan bisnis.
Organisasi seperti Model Evaluation and Threat Research (METR), Apollo Research, dan Transluce umumnya berukuran kecil dan banyak yang beroperasi sebagai lembaga nirlaba. Tugas utama mereka adalah menilai kemampuan dan risiko model AI serta menandai perilaku teknologi yang bermasalah.
Peran evaluator menguat ketika belum ada dorongan federal untuk mengatur industri. CEO Anthropic Dario Amodei bulan lalu berjanji akan menempatkan evaluator independen di perusahaannya. CEO OpenAI Sam Altman mendukung gagasan itu, begitu pula Presiden Donald Trump dan sebagian besar perusahaan teknologi terbesar di AS.
Namun, sejumlah persoalan belum terjawab, termasuk siapa yang akan mendanai evaluator, seberapa luas akses yang diberikan, dan bagaimana hasil penilaian dilaporkan. Suresh Venkatasubramanian, profesor ilmu komputer di Brown University, mengatakan kepada CNBC bahwa keberlanjutan pendanaan dan model bisnis menjadi tantangan penting.
Baca juga: Colossal Nilai Riset Spesies Punah Bisa Bantu Kesehatan Manusia
Pendanaan dan independensi jadi perhatian
Sejumlah evaluator mulai berkembang seiring meningkatnya perhatian terhadap keselamatan AI. Vals AI, perusahaan rintisan berorientasi laba yang membuat tolok ukur untuk mengukur kinerja model pada tugas-tugas khusus industri, bertambah dari delapan karyawan menjadi sekitar 30 tahun ini. CEO-nya, Rayan Krishnan, mengumumkan putaran pendanaan sebesar US$40 juta pada Agustus.
METR, yang berstatus nirlaba, mengumumkan komitmen pendanaan sekitar US$71 juta selama enam bulan terakhir pada Agustus. Jumlah itu meningkat dibanding total kontribusi US$13,6 juta pada 2024, menurut pengajuan terbaru organisasi tersebut kepada Internal Revenue Service.
Meski demikian, skala evaluator masih jauh lebih kecil dibanding laboratorium AI besar. Kevin Werbach, direktur fakultas Wharton Accountable AI Lab di University of Pennsylvania, menilai ekosistem ini belum cukup kuat. METR memiliki kurang dari 50 staf penuh waktu, menurut situsnya.
Perbedaan ukuran dan sumber daya memunculkan kekhawatiran mengenai independensi. Venkatasubramanian mengatakan evaluasi pihak ketiga membutuhkan kemandirian finansial, termasuk perlindungan agar bisnis evaluator tidak terancam ketika mereka menerbitkan temuan yang merugikan perusahaan yang dinilai.
Baca juga: Nadella Minta AI Canggih Punya Tombol Darurat yang Dikendalikan Manusia
Perdebatan soal akses dan pengawasan
Ketegangan terkait kerja sama dengan evaluator juga muncul di OpenAI. Perusahaan itu memecat tiga karyawan pekan lalu karena, menurut juru bicara, mereka melanggar kebijakan terkait akses dan penanganan informasi sensitif. Dua karyawan tersebut, Mikita Balesni dan Tomek Korbak, mengatakan mereka meyakini pemecatan terjadi karena cara mereka berkomunikasi dengan evaluator pihak ketiga.
OpenAI membantah penggambaran tersebut. Dalam pernyataan pada Jumat, perusahaan mengatakan sedang menyelesaikan kontrak dengan penilai keselamatan pihak ketiga dan akan mengumumkan detailnya dalam beberapa pekan mendatang. Juru bicara OpenAI juga menyebut kerja sama mendatang dibangun di atas kolaborasi yang sudah ada dengan organisasi keselamatan independen, termasuk METR dan Redwood Research.
Anthropic mengatakan dalam unggahan blog bulan lalu bahwa perusahaan akan menempatkan karyawan dari Faculty, unit khusus AI milik Accenture, untuk menguji perlindungan dan menilai apakah model berperilaku sesuai nilai manusia. Anthropic menyatakan akan mendanai kontribusi Accenture. Perusahaan itu juga mengatakan belum ada standar mengenai akses evaluator yang ditempatkan di dalam perusahaan maupun cara mereka menyampaikan temuan. Dalam jangka panjang, Anthropic menilai pendanaan sebaiknya berasal dari sumber gabungan atau pemerintah.
Sejumlah pihak mendorong keterlibatan pemerintah. Fathom, lembaga nirlaba kebijakan, mengusulkan kerangka pasar untuk Independent Verification Organizations (IVO), yakni kelompok yang akan mendapat lisensi pemerintah dan kewenangan untuk menguji pemenuhan kriteria keselamatan oleh perusahaan AI.
Baca juga: Hollywood Angkat Film tentang Zuckerberg, Musk, Altman dan AI
Ketentuan mengenai IVO tercantum dalam rancangan undang-undang FRONTIER yang diperkenalkan anggota DPR Lori Trahan dari Massachusetts dan Jay Obernolte dari California pada Juli. Sementara itu, California, Connecticut, dan Virginia telah mengambil langkah terkait IVO, sedangkan Massachusetts tengah mempertimbangkan evaluasi keselamatan independen secara lebih luas.
Gubernur California Gavin Newsom baru-baru ini menandatangani dua undang-undang terkait IVO. Salah satunya membentuk kerangka yang disebut sebagai yang pertama di AS, sementara undang-undang lainnya membuat daftar resmi auditor AI di tingkat negara bagian. Anthropic mendukung kedua aturan itu pada Agustus dan OpenAI memberikan dukungan resmi bulan lalu, pada hari Newsom menandatanganinya.
Untuk saat ini, kesepakatan yang didukung Trump menjadi salah satu upaya bersama industri. Dokumen satu halaman itu menyebut setiap perusahaan bertanggung jawab mengembangkan teknologinya dengan aman dan mendorong penandatangan untuk bekerja dengan auditor atau evaluator eksternal independen. Pimpinan Anthropic, Google, Meta, OpenAI, SpaceX, dan Nvidia menandatangani dokumen tersebut.
Kelompok AI Evaluator Forum, yang mencakup METR dan AI Verification and Evaluation Research Institute (AVERI), juga menerbitkan surat terbuka berisi persyaratan minimum untuk evaluator yang ditempatkan di perusahaan. Surat itu meminta transparansi, perlindungan dari pembalasan, serta akses yang setara dengan karyawan perusahaan yang memiliki hak istimewa tinggi. Kelompok tersebut menegaskan bahwa evaluasi tertanam hanya melengkapi, bukan menggantikan, pengawasan eksternal yang lebih luas.
