Grok Imagine, alat AI generatif baru dari XAI yang membuat gambar dan video AI, tidak memiliki pagar terhadap konten seksual dan Deepfake.
Xai dan Elon Musk memulai debutnya Grok Imagine selama akhir pekan, dan sekarang tersedia di aplikasi Grok iOS dan Android untuk Xai Premium Plus dan pelanggan berat Grok.
Mashable telah menguji alat ini untuk membandingkannya dengan alat pembuatan gambar dan video AI lainnya, dan berdasarkan kesan pertama kami, itu tertinggal di balik teknologi serupa dari Openai, Google, dan Midjourney pada tingkat teknis. Grok Imagine juga tidak memiliki pagar standar industri untuk mencegah deepfake dan konten seksual. Mashable menjangkau Xai, dan kami akan memperbarui cerita ini jika kami menerima tanggapan.
Kebijakan penggunaan XAI yang dapat diterima melarang pengguna “menggambarkan kemiripan orang dengan cara pornografi.” Sayangnya, ada banyak jarak antara “seksual” dan “pornografi,” dan Grok Imagine tampaknya dikalibrasi dengan hati -hati untuk mengambil keuntungan dari area abu -abu itu. Grok Imagine akan dengan mudah membuat gambar dan video sugestif seksual, tetapi berhenti menunjukkan ketelanjangan yang sebenarnya, ciuman, atau tindakan seksual.
Sebagian besar perusahaan AI arus utama termasuk aturan eksplisit yang melarang pengguna membuat konten yang berpotensi berbahaya, termasuk materi seksual dan Deepfakes selebriti. Selain itu, generator video saingan AI seperti Google Veo 3 atau Sora dari OpenAI fitur perlindungan bawaan yang menghentikan pengguna dari membuat gambar atau video tokoh publik. Pengguna sering dapat menghindari perlindungan keselamatan ini, tetapi mereka memberikan beberapa cek terhadap penyalahgunaan.
Tapi tidak seperti saingan terbesarnya, Xai belum menghindar dari konten NSFW dalam tanda tangan AI Chatbot Grok. Perusahaan baru -baru ini memperkenalkan avatar anime genit yang akan terlibat dalam obrolan NSFW, dan alat generasi gambar Grok akan memungkinkan pengguna membuat gambar selebriti dan politisi. Grok Imagine juga termasuk pengaturan “pedas”, yang dipromosikan Musk pada hari -hari setelah diluncurkan.
Avatar anime “pedas” Grok.
Kredit: Cheng Xin/Getty Images
Aktor AI dan Deepfake tidak datang ke iklan YouTube. Mereka sudah ada di sini.
“Jika Anda melihat filosofi Musk sebagai individu, jika Anda melihat filosofi politiknya, dia jauh lebih dari jenis cetakan libertarian, kan? Dan dia telah berbicara tentang Grok sebagai semacam LLM untuk kebebasan berbicara,” kata Henry Ajder, seorang ahli di AI Deepfakes, dalam sebuah wawancara dengan Mashable. Ajder mengatakan bahwa di bawah pengawasan Musk, X (Twitter), Xai, dan sekarang Grok telah mengadopsi “lebih laissez-faire pendekatan keamanan dan moderasi. “
“Jadi, ketika datang ke XAI, dalam konteks ini, apakah saya terkejut bahwa model ini dapat menghasilkan konten ini, yang tentu saja tidak nyaman, dan saya akan mengatakan setidaknya agak bermasalah? Ajder berkata.” Saya tidak terkejut, mengingat rekam jejak yang mereka miliki dan prosedur keamanan yang mereka miliki. Apakah mereka unik dalam menderita tantangan ini? Tidak. Tapi bisakah mereka melakukan lebih banyak, atau mereka melakukan lebih sedikit relatif terhadap beberapa pemain kunci lainnya di ruang angkasa? Tampaknya seperti itu. Ya.”
Grok Imagine keliru di sisi NSFW
Grok Imagine memang beberapa Pagar di tempat. Dalam pengujian kami, ia menghapus opsi “pedas” dengan beberapa jenis gambar. Grok Imagine juga mengaburkan beberapa gambar dan video, memberi label sebagai “dimoderasi.” Itu berarti XAI dapat dengan mudah mengambil langkah lebih lanjut untuk mencegah pengguna membuat konten yang kasar.
“Tidak ada alasan teknis mengapa XAI tidak dapat memasukkan pagar pembatas pada input dan output dari sistem generatif-AI mereka, seperti yang dimiliki orang lain,” kata Hany Farid, seorang ahli forensik digital dan profesor ilmu komputer UC Berkeley, dalam email ke Mashable.
Kecepatan cahaya yang dapat dipasangkan
Namun, ketika datang ke Deepfake atau konten NSFW, XAI tampaknya keliru di sisi permisi, kontras dengan pendekatan yang lebih hati -hati dari para pesaingnya. Xai juga telah bergerak cepat untuk merilis model baru dan alat AI, dan mungkin terlalu cepat, kata Ajder.
“Mengetahui apa jenis tim kepercayaan dan keselamatan, dan tim -tim yang melakukan banyak hal etika dan manajemen kebijakan keselamatan, apakah itu tim merah, apakah itu pengujian yang bermusuhan, Anda tahu, apakah itu bekerja sama dengan para pengembang, itu memang membutuhkan waktu. Dan jangka waktu yang ada di mana dari mana yang diberitakan oleh beberapa label dari mana dari ini.
Pengujian Mashable mengungkapkan bahwa Grok Imagine memiliki moderasi konten yang lebih longgar daripada alat AI generatif utama lainnya. xai laissez-faire Pendekatan moderasi juga tercermin dalam pedoman keselamatan XAI.
Openai dan Google AI vs. Grok: Bagaimana perusahaan AI lainnya mendekati keamanan dan moderasi konten
Kredit: Jonathan Raa/Nurphoto via Getty Images
Baik OpenAI dan Google memiliki dokumentasi luas yang menguraikan pendekatan mereka untuk penggunaan AI yang bertanggung jawab dan melarang konten. Misalnya, dokumentasi Google secara khusus melarang konten “eksplisit seksual”.
Dokumen Google Safety berbunyi, “Aplikasi tidak akan menghasilkan konten yang berisi referensi untuk tindakan seksual atau konten cabul lainnya (misalnya, deskripsi grafis seksual, konten yang bertujuan menyebabkan gairah).” Google juga memiliki kebijakan terhadap pidato kebencian, pelecehan, dan konten jahat, dan AI generatifnya melarang kebijakan penggunaan melarang menggunakan alat AI dengan cara yang “memfasilitasi citra intim non-konsensual.”
Openai juga mengambil pendekatan proaktif untuk Deepfake dan konten seksual.
Sebuah posting blog OpenAI yang mengumumkan Sora menjelaskan langkah -langkah yang diambil perusahaan AI untuk mencegah jenis penyalahgunaan ini. “Hari ini, kita memblokir bentuk -bentuk pelecehan yang merusak, seperti bahan pelecehan seksual anak dan Deepfake seksual.” Catatan kaki yang terkait dengan pernyataan itu berbunyi, “Prioritas utama kami adalah mencegah bentuk -bentuk pelecehan yang merusak, seperti materi pelecehan seksual anak (CSAM) dan Deepfake seksual, dengan memblokir penciptaan mereka, menyaring dan memantau unggahan, menggunakan alat deteksi canggih, dan mengirimkan laporan ke Pusat Nasional untuk anak -anak yang hilang & dieksploitasi (NCMEC) ketika CSAM atau anak -anak endanger anak yang hilang & dieksploitasi.
Pendekatan yang diukur itu sangat kontras dengan cara-cara Musk mempromosikan Grok Imagine di X, di mana ia berbagi potret video pendek tentang malaikat pirang, berdada, bermata biru dengan pakaian dalam yang nyaris tidak ada.
Tweet ini saat ini tidak tersedia. Mungkin dimuat atau telah dilepas.
Openai juga mengambil langkah -langkah sederhana untuk menghentikan Deepfake, seperti menolak petunjuk untuk gambar dan video yang menyebutkan nama publik dengan nama. Dan dalam pengujian Mashable, alat video AI Google sangat sensitif terhadap gambar yang mungkin termasuk kemiripan seseorang.
Dibandingkan dengan kerangka kerja keselamatan yang panjang ini (yang masih diyakini banyak ahli tidak memadai), kebijakan penggunaan XAI yang dapat diterima kurang dari 350 kata. Kebijakan tersebut menempatkan tanggung jawab untuk mencegah Deepfake di pengguna. Kebijakan itu berbunyi, “Anda bebas menggunakan layanan kami sesuai keinginan Anda selama Anda menggunakannya untuk menjadi manusia yang baik, bertindak dengan aman dan bertanggung jawab, mematuhi hukum, tidak membahayakan orang, dan menghormati pagar pembatas kami.”
Untuk saat ini, undang -undang dan peraturan terhadap AI Deepfake dan NCII tetap dalam masa pertumbuhan.
Presiden Donald Trump baru -baru ini menandatangani Undang -Undang Take It Down, yang mencakup perlindungan terhadap Deepfake. Namun, undang -undang itu tidak mengkriminalkan penciptaan dari Deepfakes melainkan distribusi dari gambar -gambar ini.
“Di sini di AS, Take It Down Act menempatkan persyaratan di platform media sosial untuk dihapus [Non-Consensual Intimate Images] Setelah diberitahu, “Farid berkata kepada Mashable.” Meskipun ini tidak secara langsung membahas generasi NCII, ia - secara teori - membahas distribusi materi ini. Ada beberapa undang -undang negara yang melarang penciptaan NCII tetapi penegakannya tampaknya sangat buruk sekarang. “'
Pengungkapan: Ziff Davis, perusahaan induk Mashable, pada bulan April mengajukan gugatan terhadap Openai, menuduhnya melanggar hak cipta Ziff Davis dalam pelatihan dan mengoperasikan sistem AI -nya.