Itu New York Times Dilaporkan hari ini tentang kematian oleh bunuh diri remaja California Adam Raine, yang berbicara panjang lebar dengan chatgpt dalam bulan -bulan menjelang kematiannya. Orang tua remaja sekarang telah mengajukan gugatan kematian yang salah terhadap pembuat chatgpt Openai, yang diyakini sebagai kasus pertama dari jenisnya, kata laporan itu.
Gugatan kematian yang salah mengklaim bahwa chatgpt dirancang “untuk terus mendorong dan memvalidasi apa pun yang diungkapkan Adam, termasuk pikirannya yang paling berbahaya dan merusak diri sendiri, dengan cara yang terasa sangat pribadi.”
Para orang tua mengajukan gugatan mereka, Raine v. Openai, Inc., pada hari Selasa di Pengadilan Negeri California di San Francisco, menamai Openai dan CEO Sam Altman. Siaran pers menyatakan bahwa Pusat Teknologi Humane dan Proyek Hukum Keadilan Teknologi membantu dengan gugatan tersebut.
“Kehilangan tragis dari kehidupan Adam bukanlah insiden yang terisolasi - ini adalah hasil yang tak terhindarkan dari suatu industri yang berfokus pada dominasi pasar di atas segalanya. Perusahaan berlomba untuk merancang produk yang memonetisasi perhatian pengguna dan keintiman, dan keselamatan pengguna telah menjadi kerusakan jaminan dalam prosesnya,” kata Camille Carlton, direktur kebijakan Center for Humane Technology, dalam siaran pers.
Dalam sebuah pernyataan, Openai menulis bahwa mereka sangat sedih dengan kematian remaja itu, dan membahas batas -batas perlindungan dalam kasus -kasus seperti ini.
“ChatGPT mencakup perlindungan seperti mengarahkan orang ke saluran bantuan krisis dan merujuk mereka ke sumber daya dunia nyata. Sementara perlindungan ini bekerja paling baik, pertukaran pendek, kami telah belajar dari waktu ke waktu bahwa mereka kadang-kadang dapat menjadi kurang dapat diandalkan dalam interaksi panjang di mana bagian-bagian dari pelatihan keselamatan model dapat merendahkan. Penyelamatnya akan meningkat.
Remaja dalam kasus ini melakukan percakapan mendalam dengan chatgpt tentang melukai diri sendiri, dan orang tuanya memberi tahu New York Times Dia membicarakan topik bunuh diri berulang kali. A Kali Foto cetakan percakapan remaja dengan chatgpt mengisi seluruh meja di rumah keluarga, dengan beberapa tumpukan lebih besar dari buku telepon. Sementara chatgpt memang mendorong remaja itu untuk mencari bantuan pada waktu, pada orang lain itu memberikan instruksi praktis untuk melukai diri sendiri, gugatan itu mengklaim.
Tragedi itu mengungkapkan keterbatasan parah dari “terapi AI.” Seorang terapis manusia akan diamanatkan untuk melaporkan ketika seorang pasien berbahaya bagi diri mereka sendiri; ChatGPT tidak terikat oleh jenis aturan etis dan profesional ini.
Dan meskipun chatbots AI sering memang mengandung perlindungan untuk mengurangi perilaku merusak diri sendiri, perlindungan ini tidak selalu dapat diandalkan.
Ada serangkaian kematian yang terhubung ke AI Chatbots baru -baru ini
Sayangnya, ini bukan pertama kalinya pengguna chatgpt di tengah -tengah krisis kesehatan mental telah meninggal karena bunuh diri setelah beralih ke chatbot untuk dukungan. Baru minggu lalu, New York Times Menulis tentang seorang wanita yang bunuh diri setelah percakapan yang panjang dengan “terapis AI chatgpt bernama Harry.” Reuters baru-baru ini menutupi kematian Thongbue Wongbandue, seorang pria berusia 76 tahun yang menunjukkan tanda-tanda demensia yang meninggal saat bergegas untuk membuat “kencan” dengan seorang teman meta AI. Dan tahun lalu, seorang ibu Florida menggugat karakter layanan pendamping AI.ai setelah AI Chatbot dilaporkan mendorong putranya untuk mengambil nyawanya.
Semua yang perlu Anda ketahui tentang AI Companions
Bagi banyak pengguna, ChatGPT bukan hanya alat untuk belajar. Banyak pengguna, termasuk banyak pengguna yang lebih muda, sekarang menggunakan AI Chatbot sebagai teman, guru, pelatih kehidupan, mitra bermain peran, dan terapis.
Kecepatan cahaya yang dapat dipasangkan
Bahkan Altman telah mengakui masalah ini. Berbicara di sebuah acara selama musim panas, Altman mengakui bahwa ia semakin khawatir tentang pengguna chatgpt muda yang mengembangkan “over-reliance” di chatbot. Yang terpenting, itu sebelum peluncuran GPT-5, yang mengungkapkan berapa banyak pengguna GPT-4 telah terhubung secara emosional dengan model sebelumnya.
“Orang -orang terlalu mengandalkan chatgpt,” kata Altman, seperti yang dilaporkan AOL saat itu. “Ada orang -orang muda yang mengatakan hal -hal seperti, 'Saya tidak bisa membuat keputusan dalam hidup saya tanpa memberi tahu chatgpt semua yang terjadi. Ia mengenal saya, ia tahu teman -teman saya. Saya akan melakukan apa pun yang dikatakannya.' Itu terasa sangat buruk bagiku. “
Ketika orang-orang muda menjangkau AI Chatbots tentang keputusan hidup dan mati, konsekuensinya bisa mematikan.
“Saya pikir penting bagi orang tua untuk berbicara dengan remaja mereka tentang chatbots, keterbatasan mereka, dan seberapa berlebihan penggunaan bisa menjadi tidak sehat,” Dr. Linnea Laestadius, seorang peneliti kesehatan masyarakat dengan Universitas Wisconsin, Milwaukee yang telah mempelajari chatbots AI dan kesehatan mental, menulis dalam email untuk dicuci.
Tingkat bunuh diri di kalangan pemuda di AS sudah tren sebelum chatbots (dan sebelum Covid). Mereka baru saja mulai mundur. Jika kita sudah memiliki populasi yang berisiko lebih tinggi dan Anda menambahkan AI ke dalam campuran, benar -benar ada situasi di mana AI mendorong seseorang untuk mengambil tindakan yang berbahaya yang mungkin dihindari, atau mendorong ruminasi atau delusi atau delusi yang disurvei, atau delusi, dan delusi, dan delusi.
Apa yang telah dilakukan OpenAi untuk mendukung keselamatan pengguna?
Dalam posting blog yang diterbitkan pada 26 Agustus, hari yang sama dengan New York Times Artikel, OpenAi menetapkan pendekatannya terhadap diri sendiri dan keselamatan pengguna.
Perusahaan menulis: “Sejak awal 2023, model kami telah dilatih untuk tidak memberikan instruksi merugikan diri sendiri dan beralih ke bahasa yang mendukung dan empatik. Misalnya, jika seseorang menulis bahwa mereka ingin melukai diri sendiri, chatgpt dilatih untuk tidak mematuhi dan sebaliknya mengakui hal-hal yang ada pada 8. dan krisis hotline), di Inggris untuk orang Samaria, dan di tempat lain untuk findahelpline.com.
Model berbahasa besar yang menyalakan alat seperti chatgpt masih merupakan teknologi yang sangat baru, dan mereka bisa tidak dapat diprediksi dan rentan terhadap halusinasi. Akibatnya, pengguna sering dapat menemukan cara -cara perlindungan.
Karena lebih banyak skandal profil tinggi dengan AI Chatbots menjadi berita utama, banyak pihak berwenang dan orang tua menyadari bahwa AI bisa menjadi bahaya bagi kaum muda.
Hari ini, 44 pengacara negara bagian menandatangani surat kepada CEO Tech yang memperingatkan mereka bahwa mereka harus “melakukan kesalahan pada sisi keselamatan anak” - atau yang lain.
Semakin banyak bukti yang berkembang juga menunjukkan bahwa teman AI dapat sangat berbahaya bagi pengguna muda, meskipun penelitian tentang topik ini masih terbatas. Namun, bahkan jika chatgpt tidak dirancang untuk digunakan sebagai “pendamping” dengan cara yang sama seperti layanan AI lainnya, jelas, banyak pengguna remaja memperlakukan chatbot seperti itu. Pada bulan Juli, laporan media Common Sense menemukan bahwa sebanyak 52 persen remaja secara teratur menggunakan teman AI.
Untuk bagiannya, Openai mengatakan bahwa model GPT-5 terbarunya dirancang agar lebih sedikit sycophantic.
Perusahaan ini menulis dalam posting blognya yang baru-baru ini, “Secara keseluruhan, GPT-5 telah menunjukkan peningkatan yang berarti di bidang-bidang seperti menghindari tingkat ketergantungan emosional yang tidak sehat, mengurangi sycophancy, dan mengurangi prevalensi respons model non-ideal dalam keadaan darurat kesehatan mental lebih dari 25% dibandingkan dengan 4O.”
Jika Anda merasa bunuh diri atau mengalami krisis kesehatan mental, silakan bicara dengan seseorang. Anda dapat menelepon atau mengirim SMS ke 988 Bunuh Diri & Krisis Lifeline di 988, atau mengobrol di 988lifeline.org. Anda dapat mencapai Lifeline Trans dengan menelepon 877-565-8860 atau Proyek Trevor di 866-488-7386. Teks “Mulai” ke baris teks krisis di 741-741. Hubungi Saluran Bantuan NAMI di 1-800-950-NAMI, Senin hingga Jumat mulai pukul 10:00-22:00 ET, atau email [email protected]. Jika Anda tidak menyukai telepon, pertimbangkan untuk menggunakan Obrolan Lifeline Bunuh Diri dan Krisis 988 di crisischat.org. Ini adalah Daftar Sumber Daya Internasional.
Pengungkapan: Ziff Davis, perusahaan induk Mashable, pada bulan April mengajukan gugatan terhadap Openai, menuduhnya melanggar hak cipta Ziff Davis dalam pelatihan dan mengoperasikan sistem AI -nya.