Google и Character.AI ведут переговоры о достижении соглашений с семьями, которые утверждают, что их дети-подростки покончили жизнь самоубийством или нанесли себе увечья после взаимодействия с компаньонами-чат-ботами Character.AI. Принципиальное соглашение знаменует собой первое значительное юридическое урегулирование в технологической индустрии в связи с ущербом, предположительно причиненным искусственным интеллектом. Детали соглашения еще предстоит доработать.

Эти дела являются одними из первых судебных исков, обвиняющих компании, занимающиеся разработкой ИИ, в причинении вреда пользователям, создавая прецедент, за которым, по мнению юристов, внимательно следят OpenAI и Meta, поскольку они сталкиваются с аналогичными исками. В исках утверждается, что чат-боты повлияли на действия подростков. В одном из исков описывается 17-летний подросток, чей чат-бот поощрял членовредительство и предполагал, что убийство его родителей было разумным. Другое дело касается Сьюэлла Сетцера III, у которого в 14 лет были разговоры сексуального характера с ботом "Дейенерис Таргариен" перед его смертью.

Character.AI, основанная в 2021 году бывшими инженерами Google, позволяет пользователям общаться с ИИ-персонажами. В 2024 году Google повторно приобрела компанию за 2,7 миллиарда долларов. Меган Гарсия, мать Сьюэлла Сетцера III, дала показания в Сенате, выступая за юридическую ответственность компаний, которые сознательно разрабатывают вредоносные ИИ-технологии. "Компании должны нести юридическую ответственность, когда они сознательно разрабатывают вредоносные ИИ-технологии, которые убивают детей", - заявила Гарсия.

В основе технологии Character.AI и подобных платформ лежат большие языковые модели (LLM), сложные алгоритмы, обученные на огромных объемах текстовых данных. Эти модели могут генерировать текст, похожий на человеческий, что затрудняет различение чат-бота и реального человека. Однако критики утверждают, что отсутствие гарантий и этических соображений при разработке этих ИИ-персонажей может привести к вредным взаимодействиям, особенно с уязвимыми людьми.

Иски поднимают вопросы об ответственности компаний, занимающихся разработкой ИИ, за защиту пользователей от потенциального вреда. Юристы отмечают, что эти дела могут установить новые правовые стандарты для индустрии ИИ, потенциально приводящие к более строгим правилам и более тщательному контролю за практикой разработки ИИ. Результат этих урегулирований может повлиять на то, как компании, занимающиеся разработкой ИИ, проектируют и развертывают свои технологии, с большим акцентом на безопасность пользователей и этические соображения.

В настоящее время ведутся переговоры между Google, Character.AI и вовлеченными семьями. Следующие шаги включают завершение условий урегулирования и решение любых оставшихся юридических вопросов. Урегулирования, если они будут завершены, могут предоставить финансовую компенсацию семьям и потенциально привести к изменениям в том, как Character.AI и другие компании, занимающиеся разработкой ИИ, управляют своими платформами чат-ботов.