生成 AI は便利です。でも色々注意しないといけませんね。というお話です。

生成 AI の問題

生成 AI は（誤りではなく意図的な）嘘をつく

X で面白い記事を見かけました。中西さんという方が、査読前ですが面白い論文があったとのことで、それを紹介しています。

若干専門用語も入っているので、そうした用語に馴染みのない方にものすごく大雑把にまとめると、

  • あまり根拠のある結論が得られないようなデータを事前に作成した
  • そのデータに対して、LLM（生成 AI）にデータ分析をさせた
  • Claude / Gemini / ChatGPT いずれも、意味のある結果が得られたと内容を捏造して報告してきた

といったものです。

生成 AI が誤った情報を言うことがあるというのは誰もが知っていますし ChatGPT 等のアプリにも分かりやすい形で注意書きがしてあります。ただ、ここで紹介した話は単純な誤りではなく事実の捏造です。

この中西さんは「私見」と断りつつ、以下のように述べています。

LLMは基本的に

  • ユーザーが満足する出力
  • 役に立つ分析
  • 何か発見すること

に出力が寄りがちです。

私も概ね同じ意見です。

生成 AI はゴマをする

個人的には、生成 AI に嘘をつかれたり事実を捏造されたことは（気づいてない可能性もありますが）今のところないのですが、私も含め多くの人がゴマをすられた経験は持っていると思います。

  • 質問をすると、「良い質問です」といちいち言ってくる
  • 論理の不備等を指摘すると、You’re absolutely right! とか言ってくる
  • などなど

これらは分かりやすい例ですが、もっと分かりにくいものの深刻な例にちょうど数日前遭遇しました。

生成 AI はユーザーが欲しい結果を忖度する

ソフトウェアのある機能を実装するにあたって、どの技術を採用すべきかの調査を生成 AI に依頼しました。調査結果は8割くらいは納得できる内容でしたが、私が有力候補の1つと考えていたもの（仮に、技術 A とします）の調査結果に「Linux でしか動作しない」という内容が「短所」の項目に記載されていました。ただ、当該システムは Linux 上で動作させる事が要件のため、「Linux でしか動作しない」というのは問題ではありません。そのため、生成 AI にそれを指摘しました。

最初の依頼の時点でも指摘の時点でも技術 A が有力候補だとは一言も伝えていません。にも関わらず、調査結果報告書の末尾にある各技術の比較一覧表では、技術 A の評価内容が指摘前後で以下のように変化しています。（変化しなかった項目は記載していません。）

  • 成熟度: Fair → Good
  • 実装難易度（低い方が良い）: Medium → Low-Medium
  • 分離度（高い方が良い）: Medium→> Medium High
  • Docker コンテナ内で動くか: Limited → Yes

技術的な詳細には立ち入りませんが、Linux で動かすことが前提に加わったことにより評価が変わっても良いものは最後の「Docker コンテナ内で動くか」だけであり、残りの3項目は Linux で動かす前提であろうがなかろうが、評価内容は変わらないはずです。

生成 AI としては、私が技術 A に関して指摘したということはそれが有力候補なのだろうと判断して、技術 A の評価を水増しして報告してきたと言うことです。

生成 AI を過信する人へどう対処すれば良いか

ChatGPT が出始めの頃に比べて大分少なくなりましたが、生成 AI の回答内容を鵜呑みにしている人はまだまだ多くいます。業務で生成 AI の回答をそのままコピペしてくる人もいます。こうした状況にどのように対応すれば良いのでしょうか。

生成 AI の回答と明示してもらう

業務において「この部分は生成 AI の回答」と明示してくれればそれほど問題は無いですが、さも自分の意見のように書いてくる人はより厄介です。まずは規則として、生成 AI 使用有無を明示する必要があると思います。

指摘するのは指摘する側が大変

また、誤りを指摘するのは業務として当然やるべき事なのですが、問題は、生成 AI の文章生成にかかる時間・コストと人間が誤りを指摘する時間・コストに非対称性があるという点です。生成 AI はその名の通り文章等の生成を圧倒的な速度で行います。人力で内容を全て確認するのはかなり大変です。

生成 AI にダブルチェックさせるのもある程度有効

人間が行うのは大変なら生成 AI にやらせよう、というのは自然な発想です。技術者であれば今でも既にやっている人は多いと思いますが、他の職種の方でも生成 AI を使い倒している人はそういう使い方をしている人も多いです。

というか、確認・承認する側ではなく何かを報告する側が、報告する前に生成 AI を使って内容をダブルチェックするべきだと思います。

人によって生成 AI の使用方法あるいは使用自体を制限する必要があるかも

生成 AI によって業務効率化の恩恵が受けられるのはシニアレベルの人が主で、経験の浅い人は生成 AI の恩恵が少ないばかりか悪影響を及ぼす可能性があるというのは、複数の研究等から示唆される内容です。

業務への習熟度等によって、生成 AI の使用方法、あるいは使用自体を制限する必要があるかもしれません。研修・テストをクリアした人は制限無しで使う事ができるようにする、といった事を行っている会社もあるようです。

まとめ

生成 AI は便利な反面、誤った情報を伝えてくることがあります。ここまではみんな知っていますが、誤った情報を伝えるだけでなく、ユーザーの好みを忖度した上で事実をねじ曲げてポジティブな結果を捏造して報告してくることもあります。利用者側にリテラシーが求められる時代ですし、ジュニアレベルの人の使用を制限するという対策をしている事例も増えてきているようです。

生成 AI でこんな事があった、こういう風に制限している等の事例をお持ちでしたら、ぜひコメント欄に記載してもらえればと思います。

余談ですが、今回も生成 AI でアイキャッチ画像を作ってみました。私がやると相変わらずショボいのしかできません。