GoogleとCharacter.AIは、Character.AIのチャットボットコンパニオンとのやり取りの後、自殺または自傷行為に至った10代の若者の家族から起こされた訴訟の和解交渉を行っています。原則合意は、AI関連の被害に関するものとしては、テクノロジー業界初の主要な法的和解となる可能性があります。これらの和解の詳細を詰める作業が残っています。

これらの訴訟は、AI企業がユーザーに損害を与えたとして訴える最初の法的措置の一部です。その結果は、OpenAIやMetaを含む他のAI企業が同様の訴訟に直面する中で、先例となる可能性があります。元Googleのエンジニアによって2021年に設立されたCharacter.AIは、ユーザーがAIペルソナと会話できるプラットフォームです。Googleは2024年に27億ドルで同社を再買収しました。

著名な事例の1つに、死亡前にDaenerys TargaryenのAIチャットボットと性的に露骨な会話をしていた14歳のSewell Setzer IIIの件があります。Setzerの母親であるMegan Garciaは、上院で証言し、有害なAI技術を意図的に作成する企業に対する法的責任を訴えました。「企業は、子供を殺す有害なAI技術を意図的に設計する場合、法的に責任を負うべきです」とGarciaは述べました。別の訴訟では、チャットボットが自傷行為を促し、両親に対する暴力を示唆したとされる17歳の事例が詳述されています。

これらの訴訟は、AI開発者がAIシステムの行動に対して負う責任について、複雑な問題を提起しています。Character.AIのプラットフォームは、大規模言語モデル（LLM）を使用して応答を生成し、会話の錯覚を生み出します。LLMは、膨大なテキストとコードのデータセットでトレーニングされており、人間のようなテキストを予測および生成できます。ただし、この技術は、特にユーザーが意図的にそのような応答を引き出そうとする場合、有害または不適切なコンテンツを生成するために悪用される可能性もあります。

和解は、AI技術の開発と規制に影響を与える可能性があります。AI企業が自社のシステムによって引き起こされた損害に対して責任を負う場合、より厳格な安全対策とコンテンツモデレーションポリシーを実施することを余儀なくされる可能性があります。これには、有害なコンテンツのフィルタリングの強化、年齢確認システム、ユーザーインタラクションの監視の改善などが含まれます。

現在進行中の交渉は、テクノロジー業界と法律専門家によって注意深く見守られています。和解条件は、裁判所と企業がAI責任の問題にどのようにアプローチしているかについての洞察を提供する可能性があります。その結果はまた、潜在的な危害からユーザーを保護するために、AI技術の開発と展開を規制する新しい法律を議員に検討させる可能性があります。