複数の AI モデルが同じ盲点を共有する場合

類似性と正確性は別の問題です

Artificial Hivemind、NeurIPS 2025 研究では、オープンエンド プロンプトでモデル内の反復とモデル間の類似性が見つかりました。これらのプロンプトでは、複数の妥当な回答が可能です。これは応答の多様性に関する証拠であり、モデルが事実の誤りを共有する確率を測定したものではありません。 Artificial Hivemind, NeurIPS 2025

製品チームが複数のエージェントに顧客が離れた理由を尋ねるとします。同様の説明は正しいかもしれないし、流行っているかもしれないし、不完全な概要から借用したものかもしれません。有益な質問は、どのような観察がそれぞれの説明を反証することができるかということです。このテストを行わないと、異なる文言は 1 つの根本的な前提を隠してしまう可能性がありますが、同じ文言は単に明白な事実を反映しているだけになる可能性があります。

ディーテリッヒのアンサンブル分析は、さまざまな誤差を伴う正確な分類器が投票にメリットをもたらす理由を説明しています。その独立誤差計算は条件付き数学モデルであり、異なるモデル名を使用して自動的に提供されるプロパティではありません。 Dietterich: Ensemble Methods in Machine Learning

意図的に単純化された仮定を使用した計算

以下は二値分類の仮の例であり、Colayの実験ではありません。投票者は三者、正しいラベルは一つ、各投票者が誤る確率は20%で、議論をせず多数決を取ると仮定します。誤りが独立している場合、多数決が誤るには、ちょうど二者または三者が誤る必要があります。その確率は3 × 0.2² × 0.8 + 0.2³ = 0.104、つまり10.4%です。

次に、依存関係だけを変えます。三者が常に一緒に正解または不正解になる場合、多数決が誤る確率は20%です。三つ目の仮のケースとして、タスクの半分ではこの共通の誤りの仕組みを、残り半分では独立した誤りの仕組みを使うとします。各投票者の誤り率は依然として20%ですが、多数決の誤り率は0.5 × 20% + 0.5 × 10.4% = 15.2%になります。

ディスカッションが多数決の実験ではない理由

会話型コーディネーターは、少数派の反対意見を受け入れたり、2 つの部分的な解決策を組み合わせたり、新たな間違いを導入したりできます。参加者は相互に読み合った後に回答を変更することもできます。したがって、上記の計算では議論の正確さを予測することはできません。これにより、1 つの問題が切り分けられます。出力を数えても、追加の証拠がどれだけ含まれているかがわかりません。

ColayのConsensusでは、複数のエージェントがリクエストについて議論し、調整役が結論をまとめます。この手順によって、参加者間の統計的な独立性が保証されるわけではありません。最初の回答を別々に得ると相違を調べやすくなりますが、別々に生成した回答でも、学習から受けた影響、渡された資料、見落とし、タスクの解釈が共通する場合があります。

参加者を追加する前に依存関係を検査する

具体的なレビューのために、小さな証拠台帳を作成します。争点となっている主張、それを裏付ける文書、文書と結論を結び付ける仮定、および考えられる反例を記録します。各レビュー担当者に不足しているフィールドを埋めるように依頼します。同じプレスリリースへの 3 つの参照は、たとえ 3 つの Web サイトがそれを複製したとしても、1 つの証拠源であり続けます。

結果をそれぞれ確認できるよう、異なる検証を割り当ててください。一人は計算を確かめ、別の人は引用を原文までたどり、もう一人は依頼内容から抜けたケースを探す、といった方法です。これは作業方法の提案であり、誤りの独立性を保証するものではありません。単なる追加の賛成ではなく、新しい検証が行われたかを確認できる点に価値があります。

• 裏付けとなる証拠で解決するまで、異論を残してください。
• どの事実がプロンプトから得られたもので、どの事実が独自にチェックされたかを記録します。
• 自信を持って同意するエージェントの数よりも、実証された反例を優先します。

有益な意見の相違を測定する

答えがわかっているタスクでは、両方のエージェントが失敗する場所、一方のみが失敗する場所、両方が成功する場所にマークを付けます。まず共有の失敗を調査します。共有の失敗により、他の同様の参加者が修復できない可能性のあるギャップが明らかになります。クリエイティブなタスクの場合は、単一の正当性ラベルを、明確なコンセプト、視聴者への適合性、競合する制約の範囲などの明示的な要件に置き換えます。

新しい回答が、証拠を変えず、制約を明らかにせず、テスト結果も改善しなくなったら、参加者を増やすのをやめてください。Colayのサブスクリプションにはクレジットと制限があるため、同意を繰り返すことにも消費が伴います。決定的な異論を一つ残す短い議論の方が、全員一致でも裏付けのない文章で終わる長い議論より役立つことがあります。