私は生成AIを使わない日はない、
と言っていいくらい、ほぼ毎日使っています。
利用法の一つに学術知見の収集があります。
あるテーマについてどんなことが科学的にわかっているか知りたい。
そんなとき、AIに学術論文の検索と簡単な内容の紹介をお願いします。
表情から健康状態や治療経過を推定する研究はないか調べていたときのことです。
AIはいくつかの論文とその内容を教えてくれました。
AIはどんなふうに論文を紹介してくれたか?
AIの回答
――――――――――
Bailey, G., Halamová, J., & Vráblová, V. (2023). Clients’ Facial Expressions of Self-Compassion, Self-Criticism, and Self-Protection in Emotion-Focused Therapy Videos. International Journal of Environmental Research and Public Health, 20(2), 1129. https://doi.org/10.3390/ijerph20021129
この論文は、感情焦点化療法(EFT)の実際のセッション映像を使い、クライエントが「自己批判」「自己慈悲」「自己防衛」を表しているとき、顔にどのようなAction Unit(AU)が現れるかを自動表情分析ソフトiMotionsで調べた探索的研究です。著者らは、自己批判では怒り・軽蔑・恐怖、自己慈悲では悲しみ・幸福・怒り、自己防衛では怒りを中心に複数感情に関連するAUが混在すると解釈しています。
――――――――――
※AUとは、顔面筋の動きの単位を意味します。
面白そうと思い、論文を入手し、読んでみました。
すると驚くべきことがわかりました。
論文を読んでわかった結果と考察の大きな乖離
論文の実験結果パートにおいて自己批判時には、
「AU1、AU2、AU7、AU12_smirkの出現がベースラインと比較して有意に増加し、
AU5、AU20、AU43の出現は有意に減少した。
その他のAUには有意差が認められなかった」
と書かれていました。
一方、論文の考察パートにおいて自己批判時には、
「怒りの表出に特徴的なものとしてAU5とAU7を、
また軽蔑に特徴的なものとしてAU12_smirkとAU43を特定した。
AU1、AU2、AU5、AU7、AU20は、恐怖と関連している。
以上を踏まえると、クライエントが内なる批判的な声を表現している際の顔には、
怒り、軽蔑、恐怖に特徴的なAUが現れることを示している」
と書かれていました。
明かな問題です。
AU5、AU20、AU43は有意に減少しているのに
出現・増加したかのように解釈し、著者は、
「怒り、軽蔑、恐怖に特徴的なAUが現れる」としてしまっているのです
(なお、AU12_smirkは、片方の口角が引き上げられる動きですので、
「軽蔑」という解釈は問題ないと考えられます)
。
この論文は査読付きです。
第三者の目が入っているにも関わらず、
著者は結果の読みとりを大きく間違えているのです。
査読者も気づかなかったのでしょうか。
生成AIを情報検察・収集で使う際の注意
生成AIを使う私たちにとって重要なのは、
AIは、この考察パートを論文の内容として紹介している
ということです。
仕事で学術的な根拠が必要になりAI検索をするとき、
AIの回答を確認せず、そのまま信じてしまっていたら、
著者の解釈の間違いをそのままコピーしてしまうことになります。
結果の解釈・考察は、著者のカラーが生じるのは当然ですが、
ときに「なぜこんな解釈・考察になるの?」と思うこともあります。
しかし、問題なのはそこではなく、
AIのアウトプットが客観的な結果(データ)パートではなく、
主観が入り得る考察パートを表示させることがあり得るということです。
どんな論文があるのか、どんな内容か、ざっくり知るにはAI検索は便利です。
しかし、その知見を用いてレポート作成やプロジェクト実行をするには、
コピペは危険です。
自身の目で論文をしっかり読んだ方が良いと思います。
