AI ニュース調査: 複数の回答には依然として出典の確認が必要

BBC と EBU が実際に測定したもの

BBC–EBUは、2025年5月24日から6月10日までに、一般向けの四つのアシスタントから回答を収集しました。主要質問への回答2,709件のうち、45%に少なくとも一つの重大な問題、31%に重大な出典上の問題、20%に重大な正確性の問題がありました。調査は22の報道機関、18か国、14言語にわたります。問題の分類は重複しています。これらは現在のすべてのAIの誤り率を示すものではありません。 BBC–EBU, News Integrity in AI Assistants, 2025

2025年3月6日に公開されたTow CenterのCJRレポートは、八つのAI検索ツールにニュースの抜粋の出典を特定させる1,600件のリクエストを評価しました。回答の60%超が不正解でした。確認対象は記事、発行者、URLです。これは特定の出典特定タスクの評価であり、あらゆるニュース要約の評価ではありません。 Tow Center, Columbia Journalism Review, 2025

これらの割合を足したり、普遍的な順位に換算したりしないでください。編集上は、回答と引用先を別々に確認することを勧めます。出来事の説明がもっともらしくても、個々の数値、引用、因果関係の説明には根拠が必要です。段落の横に信頼される媒体名があれば、その記事を読む理由にはなりますが、確認したことの代わりにはなりません。

各主張がどこから伝わったかを調べる

公開するステートメントから始めます。そのリンクを開いて、ソースが実際にそれをサポートしている場所を見つけてください。次に、ジャーナリストが独自の観察を報告しているか、文書を引用しているか、または別の報道を繰り返しているかを確認します。複数のリンクが 1 つのプレス リリースに戻っている場合は、その共通の発信元を記録します。異なるドメインが自動的に独立した観測値を表すわけではありません。

出来事が起きた日、記事の公開日、ページの更新日を別々に記録してください。今日更新されたページでも、数値は前四半期のものかもしれません。要約でも、その数値が対象とする期間を保つ必要があります。評価を述べる場合は、誰の評価かも必要です。誰がその結果を成功だと考え、どの証拠がその評価を支えているのでしょうか。

具体例：30%増という数値の意味が変わるとき

登録数が前月比30%増えたという、架空の企業発表を考えます。ある要約は、それを有料顧客の増加と説明します。別の媒体がその要約を転載し、三つのAI回答が同じ説明を繰り返します。一連の情報は説得的に見えますが、指標がすり替わっています。この説明例の数値と登場する主体は、すべて架空です。

検証では、測定された内容、期間、比較基準を復元する必要があります。登録数が 1,000 から 1,300 に増加した場合、その増加は実際に 30% になります。これらの値は、何人が支払ったかを確定するものではありません。最終ブリーフィングでは、有料コンバージョンを不明としてマークしながら登録を報告できます。そのギャップを、もっともらしく考え出されたコンバージョン率で埋める必要はありません。

別の視点による確認では、情報が伝わる過程で指標の定義が変わっていないかを調べることが役立ちます。似た記事をもう一本見つけるだけでは不十分です。三つ目の確認で計算を検証できますが、計算が正しくても概念のすり替わりは直せません。統合した説明を求める前に、出典、意味、計算を分けて確認してください。

Consensusへの具体的な依頼

ColayのConsensusに、参照できる原資料と確認すべき主張の一覧を渡してください。参加者には定義、時系列、引用の正確さを比較してもらいます。調整役には、各主張を出典と限界に結び付けた表を作り、裏付けのない主張を別に列挙するよう求めます。このモードがリンクを開いたり最新性を検証したりすると決めつけず、実際に利用できた資料を確認してください。

公開する前に、重要なリンクをすべて開く必要があります。全文が利用できない場合は、モデルに見出しから再構成するよう依頼しないでください。アクセス可能な主要文書を見つけて、確立できる内容にステートメントを絞り込むか、省略します。 Consensusは比較を整理することができ、証拠はどの文言が正当であるかを決定します。

引用は原文と照合する

直接引用する場合は、元の文章を保存し、発言者を特定してください。周囲の条件を削除すると意味が変わるかどうかを確認します。翻訳を翻訳としてマークし、元の文言を利用可能な状態に保ちます。本質だけが必要な場合は、モデルの洗練された再構成を誰かの正確な言葉として提示するよりも、短い帰属を伴う言い換えの方が望ましいです。

検証済みの 1 つの段落の信頼性をブリーフィング全体に拡張しないでください。短いニュース項目には、確立された事実、関係者の主張、予測を組み合わせることができます。これらのカテゴリは、圧縮後も区別されたままである必要があります。レビュー担当者に、予測が事実になる、登録が購入になる、または 1 人のライターの判断が組織の立場になるなどの変化を探すよう依頼します。

公開できる状態かを判断する基準

読者が重要な結論をソースの特定の一節まで追跡し、残りの制限を確認できるようになると、ブリーフィングの準備が整います。チームは、文言、URL、アクセス日、レビュー担当者、ステータスを含む簡単な検証記録を保持できます。これは手動で維持できる編集方法の提案であり、別の Colay 機能についての主張ではありません。

現在の草案から、最も重要な五つの主張を選んで確認してください。Consensusには、渡した文書間の相違を特定してもらい、その相違を自分で検証します。問題が見つからなくても、実際に確認した内容の記録を残してください。異論が出なかったことは、文書中のすべての記述が正しいという証明にはなりません。