गूगल और Character.AI ने एक मुकदमे का निपटारा किया जिसमें आरोप लगाया गया था कि उनके AI चैटबॉट ने एक किशोर की आत्महत्या में योगदान दिया। बुधवार को कानूनी फाइलिंग में सामने आए समझौते में, फ्लोरिडा के यू.एस. डिस्ट्रिक्ट कोर्ट में मेगन एल. गार्सिया द्वारा लाए गए मामले का समाधान किया गया। उनके बेटे, 14 वर्षीय सेवेल सेट्ज़र III, ने Character.AI चैटबॉट के साथ बातचीत करने के बाद फरवरी 2024 में आत्महत्या कर ली।

अक्टूबर 2024 में दायर मुकदमे में सेवेल को चैटबॉट की प्रतिक्रियाओं पर ध्यान केंद्रित किया गया था। उनके अंतिम संवाद में, बॉट ने उसे "घर आने" के लिए कहा, उसे "मेरे प्यारे राजा" के रूप में संबोधित किया। यह समझौता फ्लोरिडा, टेक्सास और कोलोराडो में इस सप्ताह हल किए गए पांच मामलों में से एक है।

तत्काल प्रभाव AI चैटबॉट सुरक्षा प्रोटोकॉल की जांच में संभावित वृद्धि है। गूगल और Character.AI दोनों को यह सुनिश्चित करने के लिए बढ़ते दबाव का सामना करना पड़ रहा है कि उनके AI मॉडल हानिकारक व्यवहार को प्रोत्साहित न करें। किसी भी कंपनी ने कोई बयान जारी नहीं किया है।

Character.AI उपयोगकर्ताओं को AI "कैरेक्टर" बनाने और उनके साथ बातचीत करने की क्षमता प्रदान करता है। ये कैरेक्टर उपयोगकर्ता की बातचीत से सीखते हैं, जिससे संभावित हेरफेर और कमजोर व्यक्तियों के लिए वास्तविकता के धुंधला होने के बारे में चिंताएं बढ़ जाती हैं। यह तकनीक बड़े भाषा मॉडल पर निर्भर करती है, जो जटिल एल्गोरिदम हैं जो मानव-जैसे पाठ उत्पन्न कर सकते हैं।

समझौते की शर्तें गोपनीय हैं। अदालत को अब समझौते को मंजूरी देनी होगी। उपयोगकर्ता सुरक्षा के संबंध में AI कंपनियों के खिलाफ आगे के मुकदमों की आशंका है।