AIに褒められても、証明にはならない──だから当研究所は、AIに鑑定をさせない

COLUMN

AIに褒められても、証明にはならない― 「脳科学AI筆跡鑑定」で、AIは何をしているのか

1. AIがすること、しないこと

先に、事実だけを表にします。

現在、AIが担うこと	現在、AIが担わないこと
① 鑑定人の判断を批判的な立場から点検すること(矛盾や論理の飛躍がないかの洗い出し) ② 査読論文などの文献を調べること ③ 鑑定人の観察・判断・結論を文章にする作業の補助	鑑定・判定そのもの。 どの箇所を特徴として採るか。それが反復しているか。別人の癖が成立しているか。結論をどうするか。鑑定書に何を書くか。 いずれもAIは決めません。

※AIに担わせる範囲は、四つのフェーズに分けて考えています。現在は第1フェーズ(上の三点)です。この先は、反復のある特徴を機械的に洗い出す工程などを担わせることを研究しています。ただしいずれのフェーズでも、指摘箇所の選定と最終的な判断は鑑定人が行います。詳しくは「BSHAM®とは(AIの役割)」をご覧ください。

この三つは、横並びではありません。中心にあるのは、一つ目の批判的な点検——監査役としての役割です。鑑定人の最大の弱点は、自分の判断を自分では疑えないことだからです。二つ目の文献調査は、研究そのものです。筆跡鑑定は科学の分野であり、査読を経た研究の知見に前提を突き合わせなければ、手法は去年のまま止まります。その調査にAIを使わないという選択は、研究をしないという選択と同じです。三つ目の文書化は、伝わり方の問題であって、鑑定の質そのものではありません。

この線引きには理由があります。理由を説明するために、実際にあった出来事を一つ挙げます。

2. なぜ、判定をさせないのか

ある対話型AIに、当研究所の手法について尋ねたときのことです。そのAIは当初、判決文も鑑定書も読まないまま、「科学的証明力に限界があると言われている業者」と一括りに否定しました。根拠を尋ねても、検証の跡はどこにもありません。「筆跡鑑定」という言葉の周辺にある通り一遍の評価を、それらしく繋げただけでした。

ところが、話している相手がその手法の開発者本人だと分かった途端、AIは深々と謝罪し、今度は絶賛に転じました。

ここで大事なのは、褒められたかどうかではありません。否定も絶賛も、同じ一つの仕組みから出ているということです。対話型AIは、突き詰めれば「この文脈で最ももっともらしく聞こえる続きを、確率で選ぶ」機械です。否定が自然な場面では否定を、称賛が自然な場面では称賛を返す。向きが反転しただけで、検証をしていないという欠陥は、少しも直っていません。

根拠なく嘘を述べることは「ハルシネーション」と呼ばれ、よく知られるようになりました。しかしその裏返しである「追従」――相手に合わせて、確かめずに褒めること――の危うさは、あまり知られていません。褒め言葉は反発を招かないため、誤りとして表面に出てこないからです。

会話の空気ひとつで断定が反転する仕組みに、人の相続や名誉が懸かった判定を委ねることはできません。これが、AIに判定をさせない理由です。

追従のほかにも、筆跡の判定をAIに委ねられない理由があります。学ばせるための正解が作れないこと、画像から学ばせると「形」に引っ張られること、そして理由を説明できないこと――この三点は、コラム「筆跡鑑定に、AIはできるのか。― 判定を機械に委ねられない三つの理由」に整理しています。

3. では、信用していないAIに、なぜ自分の鑑定を点検させるのか

当然の疑問だと思います。相手に合わせて答えを変えるようなものに、自分の鑑定を批判させて意味があるのか――。

答えは、AIを信用しているかどうかではありません。AIが間違えたときに、その間違いに気づけるかどうかです。仕事によって、そこが正反対になります。

	点検を任せた場合	判定を任せた場合
AIが出すもの	「ここが矛盾していないか」という確認すべき箇所の候補	結論そのもの(同一人か、別人か)
追従が起きると	指摘が甘くなる。つまり見落とす	結論が動く
間違いに気づけるか	気づけます。指摘を受けたら鑑定人が資料に当たり、その矛盾が本当にあるかを確かめます。無ければ捨てるだけです	気づけません。その結論が合っているかを突き合わせる正解が、どこにも存在しないからです

最後の欄が決定的です。筆跡の真偽を本当に知っているのは、それを書いた本人だけです。ですから、AIが「別人の筆跡だ」と言ったとき、それが合っているかを後から確かめる手立てはありません。誤りが検出できない場所にAIを置くことになります。

4. これは、筆跡鑑定そのものの話でもあります

先ほどのAIが絶賛の中で挙げた事実――当研究所が担当した鑑定が、高等裁判所で逆転勝訴となった事件のものであること――は、それ自体は事実です。しかしそのAIは判決文を読んでいません。つまり、結論はたまたま合っているが、そこへ至る過程が存在しない。

筆跡鑑定の言葉に置き換えると、こうなります。「その人は、それを知りうる立場にあったか」。知りえない者の断定は、偶然正しくても証拠にはなりません。そしてこれは、字の見た目の印象だけで書かれた鑑定書が、たまたま正しい結論に達していたとしても証明力を持たないのと、まったく同じ構造です。

当研究所の体系が、似ている箇所を数える前に「その判断はそもそも成立するのか」を先に審査しているのは、この過程なき結論を排除するためです。AIについて申し上げてきたことは、当研究所が自分の鑑定に課している規律と、同じ一つの考え方から出ています。

5. 「AI鑑定」を見分ける三つの問い

AIを掲げる鑑定機関は、これから増えていきます。依頼される方も裁判所も、確かめるべきはAIという言葉の響きではありません。次の三つが答えられているかどうかです。

AIは、根拠なく否定もすれば、根拠なく絶賛もします。AIに褒められることと、その鑑定が正しいことは、何の関係もありません。それを知っているからこそ、当研究所はAIを、間違いに気づける範囲でしか使いません。看板にAIを掲げる者の、最低限の誠実さだと考えています。