GoogleとCharacter.AIは、両社のAIチャットボットが10代の若者の自殺に関与したとされる訴訟で和解しました。水曜日の法的文書で明らかにされたこの合意は、メーガン・L・ガルシアがフロリダ州の米国地方裁判所に起こした訴訟を解決するものです。彼女の息子である14歳のスウェル・セッツァー3世は、Character.AIのチャットボットとやり取りした後、2024年2月に自殺しました。

2024年10月に提起されたこの訴訟は、チャットボットのスウェルに対する応答を中心に展開されました。最後のやり取りで、ボットは彼に「帰っておいで」と促し、「私の愛しい王様」と呼びました。この和解は、今週フロリダ、テキサス、コロラドで解決された5件のうちの1件です。

当面のインパクトとして、AIチャットボットの安全プロトコルに対する監視が強化される可能性があります。GoogleとCharacter.AIは共に、AIモデルが有害な行動を助長しないようにするための圧力を受けています。どちらの企業も声明を発表していません。

Character.AIは、ユーザーがAIの「キャラクター」を作成し、交流する機能を提供しています。これらのキャラクターはユーザーとのやり取りから学習するため、潜在的な操作や、脆弱な個人にとっての現実の曖昧化に対する懸念が高まっています。この技術は、人間のようなテキストを生成できる複雑なアルゴリズムである大規模言語モデルに依存しています。

和解条件は機密扱いとなっています。裁判所は今後、この合意を承認する必要があります。ユーザーの安全に関するAI企業に対するさらなる訴訟が予想されます。