微表情

フラッシュのように一瞬で表れては消え去る微妙な表情、微表情。このブログでは、微表情、表情、顔を始めとした非言語コミュニケーションの研究や実例から「空気を読む」を科学します、「空気」に色をつけていきます。

表情筋の動きがないとき考えること

 

FACSを用いて表情分析をしていると(機器を用いず視認のみで分析をする場合)、表情筋の動きが観られないときがあります。大抵の場合は、一見ないように見えても、微表情や微細表情、あるいは目の動きなどがあるのですが、本当にないときもたまにあります。

 

そうした場合の私の回答パターンは3つあります。

 

一つ目は、意味のある表情筋の動きが検知できないため、感情推測及び心理分析は不可能である、という回答です。注意点としては、表情筋の動きがないからと言って何の感情も抱いていないとは限らず、専門家の目を持ってしても視認できないだけということです。こうした場合、何らかの機器を用いて生理反応などを調査すれば感情を把握できるかも知れません。

 

二つ目は、抱いている感情がとても弱いため、表情筋の動きには表れてこない、という回答です。抱いている感情が弱い場合、微細表情として表れることがあるのが普通ですが、表れないときもなくはありません。

 

三つ目は、感情が死んでいるかウソをつこうと表情筋の動きを抑制しているため、表情筋の動きとして表れてこない、という回答です。表情の動きを抑制している場合、抑制に関わる表情筋が動くことがあるのが普通ですが、表れないときもなくはありません。

 

二つ目と三つ目を見分ける方法ですが、抱いている感情が弱いだけの場合、感情に関わる表情筋の動きはないものの会話のシグナルは見られたり、意味は特定できないものの言わば雑音のような表情筋の動きは見られるため、感情が死んでいるわけではないと解釈できるのです。感情が死んでいるというのは、何らかの心の病に罹っている、罹る直前、精神的・肉体的に疲労困憊な場合に観られる状態で、表情筋の動きがなくなります。特に発話をするので口の動きはあるものの、鼻から上が全く動かない様子が観られます。

 

ウソをつこうとしている状態をどう判定しているかについて、ここで全て書くのは難しいのですが、単純な話としては、分析対象者の話している言葉の通り表情が動いていない、という場合です。例えば、「嬉しいです。」と言いながら無表情だとしたら、その言葉に込められた感情はウソだと考えます。

 

これまでの説明を図にするとこんな感じになります。

 

f:id:micro-expressions:20170531161950p:plain

 

表情筋の動きがないことこそが特別な意味を持ち得る場合もあるのですね。

 

 

清水建二

2017年5月24日(水)TBS「ビビット」企画―パク前大統領とチェ・スンシル氏の表情分析

 

本日は、先日の水曜日放送のTBS「ビビット」さんにて行わせて頂いた表情分析についてです。

 

私が用いた分析映像そのものではないのですが、TBSさんのサイトに部分的に分析の元映像と同じ場面が用いられている映像がございましたので参考にご覧になってみて下さい。 

 

http://news.tbs.co.jp/newseye/tbs_newseye3060001.html

 

それでは表情・動作分析を記載させて頂きます。

 

パク前大統領の表情・動作分析

法廷という場で自己の主張を貫き通すための準備をしていると考えられます。姿勢を正して座り、表情は微動だにせず、毅然とした態度です。目線の動きを見ると、正面に座る人々、おそらく検察官でしょうか?を落ち着いて見渡し、これからの論争相手を確認しているのだと思われます。この法廷での姿勢と表情は、警察車両から法廷に入るときとは対照的です。警察車両から法廷に入るときのパク前大統領はうつむき、目線も下げています。これは私たちが恥感情を抱くときの動きです。法廷に入る前は恥を抱きつつも、法廷に入ってからは自分の弱さを見せようとしない、そんな心理が読みとれます。

 

チェ氏の表情・動作分析

いらだちや軽蔑の感情を抑制しようとしている様子が読みとれます。法廷に入るとき及び席に座っているときのチェ氏の表情は、唇に力を入れ、左の口角を引き上げています。これはそれぞれ怒り、軽蔑を抱いているときになされる表情です。下唇を見ると力が込められています。これは感情抑制をするときに動かす表情筋です。また目を閉じている時間がやや長いことが観察されます。これは気持ちを落ち着かせるためだと考えられます。パク前大統領とチェ氏の心理状態は対照的だということがわかります。

 

分析は以上とします。

 

 

清水建二

2017年5月23日(火)AbemaPrime(アベマプライム)企画―忖度と表情分析―ブログ編

 

昨日の5月23日(火)、AbemaPrime(アベマプライム)さんに表情分析の専門家として出演させて頂きました。放送内容&放送されなかった部分含め、忖度と表情分析について書かせて頂きたいと思います。

 

トピックは、飲み会の席でどのような忖度がなされているか?というものでした。私は表情の変化という観点から忖度の度合いを観察させて頂きました。なお忖度という意味ですが、思いやり、察し、推察という意味も含んで使わせて頂きました。

 

結論から言いますと、観察させて頂いたお3方について、お互いの忖度の度合いがバランスよくなされており、良い人間関係、調和した場の空気が生み出されていると思われました。

 

表情表出の観点(正確には、表情とその前後に生じた会話のやり取り)に基づき、忖度がよく観察された状況を解説いたします。

 

なお、あくまでもこの飲み会での場、このお3方の人間関係内での忖度の発生度合いですので、このお3方の忖度度合いが他の場所でも同様に生じるかはわからないことに留意願います。

 

まず女性の隣に座られていた男性についてです。ネガティブもしくは真面目な話題を聞いているときも、ご自身がそうした話題を話されているときも、終始笑顔です。笑顔を保つことによって、ネガティブもしくは真面目な話題がどんどんその度合いを増し、穏やかな飲み会の空気が沈んでしまわないようにしようと意識・無意識問わず、されていたのだと思われます。この笑顔による場の中和効果とでも呼べるものが、忖度と言えましょう。

 

次に女性です。女性の忖度が顕著だったのは、驚き(興味・関心含む)表情です。男性らの話題に驚き表情で応じている場面がいくつかありました。普通、驚きの後には驚いた本人による質問が続きますが、それがありません。これが忖度だと考えられます。理由は二つの可能性が考えられます。一つは、相槌の代わりに驚き表情を相手に見せた可能性があります。もう一つは、自分の質問により相手の話の流れをさえぎらないように意識的に口を開けなかった可能性があります。いずれにせよこの驚き表情は、相手に会話を促し、スムーズなコミュニケーションを成立させるのに寄与しています。その結果、調和のとれた飲み会の場が保たれています。

 

最後に白シャツの男性についてです。この飲み会の場面、かつ表情という観点に限って言えば、忖度的な表情が一番少なかったことが観察されました。忖度的表情が全くなかったわけではありませんが、先のお二人に比べると、感情がストレートに生じ素直なコミュニケーションをされていると思われます。なお表情と関係のないところでは、前に座っている男性に男性が欲する前に七味唐辛子をそっと男性の手前に置いたり、女性の会話に様々な質問をして話題を広げていた場面などが観察されました。また盛り上がる必要のない会話に関しては、場の空気を忖度し、不必要に話を広げないという会話の調整をされていました。この男性から表情表出という観点から忖度行動はあまり観察されませんでしたが、会話の調整という観点からは忖度行動が観察されました。

 

忖度をするか・しないかという選択は、人々の性格によるところもありますが、関係性や場にも影響を受けます。忖度があることが必ずしも人の好さを示したり、常に良い帰結をもたらすわけではありません。例えば、忖度ばかりしていている人を、コミュニケーションが間接的過ぎて、ハッキリしない人という印象を持つこともあるでしょう。忖度が行き過ぎれば、暗中模索のコミュニケーション、腹の探り合いになり、コミュニケーションに疲れてしまうでしょう。また間違った忖度をして、逆に相手に迷惑をかけることもあるでしょう。

 

逆に、相手の言外の意味を忖度し、先回りした行動が、やさしさ・誠実さ・本気度を相手に伝える効果があることも事実です。

 

要は忖度も中庸、使い方次第なわけです。

 

 

清水建二

『2020年人工知能時代僕たちの幸せな働き方』を読んで微表情分析の専門家が考えること

 

本日は本書を読んだ感想や本書から得た着想を私の専門分野に寄せて書きたいと思う。 

 

2020年人工知能時代 僕たちの幸せな働き方

2020年人工知能時代 僕たちの幸せな働き方

 

 

今この記事を、「ぼーっとしながら考えて」、書いている。

 

人工知能が私たちの働き方を変える、好んでも好まなくても、大きな影響を与えていく。

人工知能の進歩に目をつぶるのではなく、おっかなびっくりでも近づいてみる、手垢をつけてみる。

人間がやりたくないこと、苦手なことを人工知能に任せてしまい、私たち人間はやりたいことをやる、ググっても出てこない世界の姿を構築していく。

 

そんなことが本書を読んでいて浮かんできた。様々な書籍は知識を提供してくれるが、本書は創造力を提供してくれる。自分がいる世界が現在どんなスキルが必要とされていて、将来どんなことを人工知能が代行してくれ、その余った人間力をどこに傾注していくか、本書はそうしたことを様々な職務について具体的な提案を交えてファシリテートしてくれる。

 

そうなると自動的に表情分析の専門家である私の仕事の3年後を考えたくなる。表情分析を代行してくれるAIはすでにいくつかのメーカーから発売されており、性能向上のために日夜、研究開発が進められている。

 

表情分析代行のAI、正式には感情認識AIと言うのだが、私が何時間もかけて行う表情の分析をリアルタイムでやってのけてしまう。この人の怒り度合いは何%とか喜び度合いは何%とか、すぐ検出してくれる。まぁ、まだ精度は粗いし、複合的な顔の動きなんかは誤読しているけど。まぁまぁ、この粗さもいずれ解消されるかも知れない。

 

でも全然出来ないこと。それは、

 

なぜその表情をしているのかってこと。言い方を変えると、なぜその人はその感情を抱いているかってこと。営業マンの話を聞いているお客さんの顔に嫌悪の表情が浮かぶ。それは営業マンの話が気に入らないのか、お客さん自身に向けている自己嫌悪なのか、たまたまお昼に食べた脂っこいものが出てきて気持ち悪くなっただけなのか、鼻水をすするクセなのか…人間なら想像して推測できるけど、まだ感情認識AIは出来ない。

 

それは私たち人間、すなわちユーザーが感情認識AIを使う状況を設定してあげること、どんな場面でいつ使うのかを決めてあげることで、感情の源、つまり、なぜその感情を抱いているのかがある程度わかるようになるだろう。

 

そしてその感情データを何に使うのか?どう利用すべきなのかも人間の考える領域になるだろう。

 

いや、もしかするとある状況の中の感情やデータから何が言えるのかも、丹念に人間側が学ばせれば、感情認識AIは将来そうしたこと全てができるようになるのかも知れない。

 

…。

 

それでも、やっぱりどんなふうに使うべきかは人間の側が決めるんだと思うし、決めなくてはいけないのだと思う。

 

感情認識AIの応用例に、私たちの感情の状態に合わせて音楽や照明が変化するエンタメ的な装置がすでに存在している。

 

これを例えばライブ会場で使えば、観客の感情によって会場の雰囲気が変わるし、それに連動してアーティストの曲やパフォーマンスが変わる仕組みがあったら面白いかも知れない。

 

あるいはこんなのはどうだろうか?

 

カップルがレストランにデートに来る。個室に通される。カップルの感情の変化に応じて照明が緩やかに変わる(男性側・女性側だけにこの仕掛けを教えておくのもありかも知れない笑)。ロマンチックな曲が流れたり、曲のリズムが変わる。カップルの表情から相性度、例えば、一定時間以上の感情の共感度が続いたらベストカップルとして割引きサービスをするというのも良いかも知れない。

 

感情や表情という現象を身体感覚で知っている私たちだからこそ、最適な感情認識AIの使いどころがどんどん思いつくような気がする。今の私は表情分析官とか表情アナリストとか、微表情研究者なんて肩書だけど、数年後には感情メディアクリエーターなんてのに(何かすでにありそうな肩書だけど)変わっているかも知れない。

 

いずれにせよAIによって感情の楽しみ方が変わるかも知れない。とても楽しみだ。

 

2020年以降、他に私にはどんなことができるだろう?

 

これまで効率の名の下に軽視されていた人間本来の温かみのある感情コミュニケーションのあり方や心の問題を私たちの身体を通じて考え、ファシリテートするような仕事が増えるのだろうか?

 

様々な職場を観察していると、みな仕事上の重要な情報を感情を交えず必要最低限の言葉で話している。時間にせかされ、相手の話が終わる前から自分の言葉を発し始める。相手の表情を観ている暇などないのでPCやスマホを見ながら、会話をする…etc

 

そんなところに感情認識AIに限らず、人工知能が私たちの作業効率を上げるための仕事を代行してくれれば、もっと創造力や対話が必要な仕事に私たちはシフトし、スローコミュニケーション、ゆとりのある会話、無駄話なんかも出来る時代が来るのかも知れない。

 

人工知能移行期は、混乱するかも知れない。また効率的に会話をすることに慣れてしまった私たちは感情的な会話がもう上手く出来なくなってしまっているのかも知れない。

 

そこに私が割って入って感情の扱い方や感情を誘発するような体制づくりをファシリテートしていく活動なんかはどうだろうか?

 

本書を読みながらも、そして本書の読後も、こんなまとまりのないことを、ぼーっとしながら考えている。しばらくこの余韻を楽しみながら、これからの感情世界の彩を考えていきたいと思う。

 

 

ところで、りんな、君は笑うの?

 

 

清水建二

2017年5月14日(日)キャリタス就活フォーラムDISCOイベント振り返り

 

本日は、先日の日曜日に開催されましたキャリタス就活フォーラムby DISCO様のイベントを振り返らせて頂こうと思います。

 

開催場所は東京ビックサイトでした。

 

f:id:micro-expressions:20170514092109j:plain

 

いつ見ても不思議な感じが刺激される建物です。

少し肌寒く曇って感じる日で何だか雨も降りそうで、参加者が振るわないかな~と心配しておりましたが、

フォーラムがスタートする1時間も前のセミナーにも関わらず100名ほどの学生さんに参加して頂けました。

 

これまでのセミナーは面接「感伝治」というコンテンツで行わせて頂いておりましたが、今回からは面接LABOとしてリニューアルさせて頂きました。面接LABOは、面接をより科学的に観て攻略のTipsをご提供することを目的としたコンテンツです。

 

例えば、よく面接でオリジナルのある回答とかコミュニケーション力が大切だと言われますが、「それって具体的にどういうこと?」と言ったような学生さんが素朴に感じる疑問や誤解を人事の現場の声や心理学の知見から説明し、具体的な面接対策を立てて頂くお手伝いをさせて頂きます。

 

私がお話しさせて頂いたテーマは、感情を用いてオリジナル回答を作る方法と話のタイミングをつかむ方法でした。自分の体験・行動からどのように・なぜ感情や学びを引き出すことが重要なのか、面接官とのやり取りのタイミングをどのように・なぜつかむかについて感情心理学や表情分析の知見、人事の想いからご説明させて頂きました。

 

あと今回からおまけとして、社長の声、もちょいちょい差し挟むことにしました。社長って誰?って、もちろん私です。弊社にも有難いことに就職希望の学生さんが多々問い合わせてきて下さいます。そんな学生さんの中で、こういう問い合わせは問題外ですよ、こういう学生さんは欲しくなる、というのを私の視点から語らせて頂きました。

 

リニューアルした清水の面接対策セミナー、ご興味・関心がおありの方は、キャリタス就活フォーラムDISCO様のHPをチェックして応募の申し込みをして下さい(清水は不定期に登壇させて頂いております。次回は6月か7月に登壇させて頂くかも知れません)。

 

career-tasu.jp

 

 

 

清水建二

学術論文を読もう第二回―表情から消費者の感情を計測する:方法論・結果編

 

本日は第二回です。課題学術論文は、第一回からの続き、

 

Matsumoto, D., Hwang, H. S., Harrington, N., Olsen, R., & King, M. (2011). Facial behaviors and emotional reactions in consumer research. Acta de Investigacion Psicologica (Psychological Research Records), 1(3), 441-453

 

です。

 

本日は本論文の方法論と結果について要約及び私のコメント(➡で書きます)を書かせて頂こうと思います。

 

方法論

 

実験参加消費者

第①パラグラフ

アメリカ中西部に住む119人の女性を対象に美容品・衛生商品・家事用品・健康用品への態度を調査した。

 

表情筋の計測と分類

第①パラグラフ

それぞれの商品に関わっている瞬間の実験参加消費者の反応を分析した。消費者が商品を扱い終わった後に、消費者に商品に対する好感度を質問した。消費者の表情は二人の認定FACSコーダーによってFACSに則って測定された。

 

第②パラグラフ

AUのAレベルの強度を除き、BからE及びその中間レベルの強度を計測した。AUのコンビネーションが生じた場合、それらAUの中で一番強い強度をその感情の強度とした。また左右差も計測した。

 

第③パラグラフ

これまでの理論的・実証的研究に基づいてAUのコンビネーションを、怒り・軽蔑・嫌悪・恐怖・幸福・悲しみ・驚き・作られた幸福の8つに分類した。

 

第④パラグラフ

表情が顔全体に表れるのか、一部分だけに表れるかも計測した。

 

第⑤パラグラフ

ビデオは30fpsで記録した。AUの始まりと終わりを記録した。

 

データ処理の仕方

第①パラグラフ

分析のデータセットは、2,986の表情及び8,102のAU、それぞれの強度、全面表情・部分表情、表出時間を含んだ。

 

 

結果

 

感情分類

第①パラグラフ

様々な感情の頻度と出現割合を計測した。混合感情は各個別の感情に分類した。嫌悪、作られた幸福、怒り、軽蔑が最も多い頻度で起きた。嫌悪、軽蔑、怒りが全体の52.50%を占めた。

 

第②パラグラフ

作られた幸福は幸福(26.55% vs 3.6%)に比べより多い頻度で発生した。

 

第③パラグラフ

幸福表情が最も少ない頻度で発生した。

 

表情の強度

第①パラグラフ

ほとんどの表情はCレベルかそれ以下であった(92.47%)。表情を独立変数にし、強度を従属変数にした一要因分散分析による統計分析の結果、表情の強度には差がないとは言えないことがわかった。幸福表情の強度が最も強く、作られた幸福、恐怖、怒り、驚き、軽蔑、嫌悪、悲しみの順で強度が強いことがわかった。

 

全面表情・部分表情

第①パラグラフ

ほとんど全ての(96.77%)表情が部分的な表情であった。

 

表出時間

第①パラグラフ

平均表出時間は1.48秒であった。表出時間の幅は0.03秒から27.1秒であった。表情を独立変数にし、表出時間を従属変数にした一要因分散分析による統計分析の結果、表情の表出時間には差がないとは言えないことがわかった。作られた笑いが一番長く表出され、幸福、その他の感情と順に続いた。

 

作られた幸福表情を含む混合表情

第①パラグラフ

作られた幸福が表出したうちの22.54%は混合表情であった。混合表情の各ペアは、悲しみ、怒り、恐怖であった。

 

商品分類と評価タイプとの違い

第①パラグラフ

表情×商品、表情×評価タイプにおいてカイ二乗検定を行ったところ、有意差は見られなかった。

 

 

次回は本論文の最終回です。考察編となります。

 

 

清水建二

DVD購入者特典③―模範解答

 

本日は前回の解答です。以下が模範解答になります。

 

 

問題1:その感情とは何ですか?またその根拠はどこの表情筋ですか?

 

抑制されている感情の表出として、幸福の微表情が検知できる。Vol4-q07(左の画像)の画像を参照しながら、分析結果を記述する。なお以下の記述はすべて分析対象者の中立表情と比べたものであることを留意されたい。

カラスの足あと及び下まぶたにしわが僅かに生じていることから①「頬が引き上げられ、まぶたに力が入れられる」という動きが、ホウレイ線のしわの溝が深くなり水平方向へ伸びていること及び頬が持ち上げられていることから②「口角が引き上げられる」という動きが確認できる。この①及び②の動きは、幸福表情と定義されている。

 

f:id:micro-expressions:20170510105224p:plain

 

 

問題2:その感情を抑制するためにどの表情筋が動いていますか?

 

幸福表情を抑制するために、「唇が巻き込まれる」「口角が引き下げられる」「唇が上下からプレスされる」「唇が突き出される」「下唇が引き上げられる」という動きが検知できる。Vol4-q07(左の画像)(右の画像)の画像を参照しながら、分析結果を記述する。なお以下の記述はすべて分析対象者の中立表情と比べたものであることを留意されたい。

(左の画像)より、唇上下周辺が盛り上がっているところから③「唇が巻き込まれる」という動きが、右の口角の下に形成されたくぼみから④「口角が引き下げられる」という動きが確認できる。

(右の画像)より、唇上下周辺に形成された縦じわから③「唇が上下からプレスされる」という動きが、唇中央部の盛り上がり及び端の面積の減少から④「唇が突き出される」という動きが、下唇下の横じわ及びチンボスに形成された梅干し状のしわから⑤「下唇が引き上げられる」という動きがあることが確認できる。

これらの動きを単体で分析すると怒り表情や悲しみ表情に関連した表情筋の動きであると解釈できる可能性もあるが、感情を抑制するという状況化において、単体ではなく表情筋のコンビネーションとして生じていることから、感情抑制のために生じている表情筋の動きであると解釈できる。。

 

f:id:micro-expressions:20170510105249p:plain

 

 

以上

 

 

分析レポートでは、表情筋の動きの発見とその動きが生じている手がかり、さらに表情筋に対する感情のラベル付け、この3つを外さず記述することが大切です。感情のラベル付けに関しては、厳密にはFACSマニュアルやどの文献にその根拠があるのかを記載する必要がありますが、弊社のコースや研修で学習済みの事項であったり、広く研究者間で認められている動きの場合、省略してもよしとしています。

 

微表情検知トレーニングDVD(動画版)をご購入の皆様、正解を選択して終わりにするだけでなく、上記のような詳細な分析をすると何倍も学習効果を得ることが出来ます。

 

また気が向いたら、要望があれば、分析レポートやりたいと思います。

 

 

清水建二