シリコンウェハーで切れるほど、その皮肉は濃厚だ。Anthropicでは、Claudeモデルで人工知能の限界を押し広げているまさにその会社で、エンジニアたちは終わりのない軍拡競争に巻き込まれている。彼らの対戦相手は？彼ら自身の創造物だ。賞品は？信頼できる技術面接テストだ。

2024年以来、Anthropicのパフォーマンス最適化チームは、採用候補者のスキルを測るために持ち帰り形式のテストに頼ってきた。これは、小麦と籾殻を選り分け、真のコーディング能力を持つ候補者を見つけるための簡単な方法だった。しかし、AIコーディングツール、特にAnthropic自身のClaudeが急速に進歩するにつれて、テストは動く標的となった。

チームリーダーのトリスタン・ヒュームが最近のブログ記事で説明したように、課題はClaudeが優秀になりすぎたことだ。モデルの反復ごとに、評価の完全な再設計が必要になる。「新しいClaudeモデルが出るたびに、テストを再設計せざるを得なくなりました」とヒュームは書いている。問題は、Claudeがテストを完了できることだけではない。Claudeがそれを非常にうまく完了できることだ。ヒュームによれば、Claude Opus 4は、同じ時間制限を与えられた場合、ほとんどの人間応募者よりも優れたパフォーマンスを発揮した。これにより、当初はAnthropicが依然として最も優秀な候補者を特定できたが、その後のClaude Opus 4.5のリリースにより、その境界線はさらに曖昧になり、トップレベルの応募者のパフォーマンスに匹敵するようになった。

これは、候補者評価における重大な問題となる。持ち帰り形式の環境では、試験監督者の監視の目がないため、応募者がAIの支援を利用していないことを保証する方法はない。そして、もしそうなら、彼らは本来のスキルではなく、AIを効果的にプロンプトする能力のために、応募者プールのトップにすぐに躍り出る可能性がある。「持ち帰りテストの制約下では、もはやトップ候補者のアウトプットと、最も有能なモデルのアウトプットを区別する方法がありませんでした」とヒュームは認めている。

Anthropicの状況は、教育現場で繰り広げられているより広範な闘いを反映している。世界中の学校や大学は、AI支援による不正行為の影響に取り組んでいる。学生は現在、AIを使ってエッセイを書いたり、複雑な方程式を解いたり、コードを生成したりすることさえでき、従来の評価方法の妥当性について疑問が生じている。AnthropicのようなAI研究所が同様のジレンマに直面しているという事実は、この問題の蔓延ぶりを強調している。

しかし、Anthropicはこの課題に対処するための独自の立場にある。主要なAI研究企業として、人間とAIが生成した作品を効果的に区別できる、斬新な評価方法を開発するための技術的専門知識を持っている。同社は、AIが再現するのが難しい、よりオープンエンドな創造的な問題解決タスクを組み込むなど、さまざまなソリューションを検討している。また、AIが生成したコードを検出する方法も調査しているが、これは常に進化している分野だ。

この状況の影響は、技術面接の領域を超えて広がる。AIが進化し続けるにつれて、人間のスキルと能力を正確に評価することがますます困難になるだろう。これは、教育、雇用、そして人間の知能の定義そのものにまで、広範囲に及ぶ影響を与える可能性がある。

AnthropicのエンジニアとAIモデルとの間の継続的な戦いは、AI時代における評価の根本的な再考の必要性を浮き彫りにしている。それは、創造性、革新性、そして急速に変化する技術環境に適応する意欲を必要とする課題だ。評価の未来は、機械の一歩先を行く私たちの能力にかかっていると言えるだろう。