コーヒー1杯の暖かさ

心理学を研究する大学院生が、研究もそこそこちゃんとやりながら、日本の教育に一石を投じます。

連続的でリアルタイムな感情注釈:ジョイスティックベースの新しい分析フレームワーク (Sharma et al., IEEE Transactions on Affective Computing ,2020)

f:id:jin428:20201122223909j:plain

みなさんこんばんは!

教育と心理学について考えているじんぺーです。

今日も論文を読んでいきます。昨日の論文はこちら▽

 

www.jinpe.biz

 

さっそくいきます!

 

連続的でリアルタイムな感情注釈:ジョイスティックベースの新しい分析フレームワーク (Sharma et al., IEEE Transactions on Affective Computing ,2020)

結論から言うと、ジョイスティックでの感情追跡の妥当性を検証した研究で、特定の感情喚起を想定した動画で、想定した感情を喚起し、参加者のユーザビリティも高かった。

 

背景

■被験者の感情経験の根拠となる真実は、その後、リッカート尺度に基づいた刺激後の質問票を用いて得られるか、または離散的な感情ラベルを用いて手動で注釈を付けられることが多い

・これらの評価方法は、感情の時間変化する性質を考慮していないため、どちらも動的刺激(例えばビデオ)を使用する場合には不向き

■研究者は最近、継続的な報告を可能にするアノテーションツールの使用を開始している

・CMS、GTrace、CARMA、FEELtrace、EMuJoy、DARMAなど

■課題がある

・連続的なアノテーションに関連した認知的・物理的負荷

→マウスベースのツールよりも直感的に使えると報告されているジョイスティックの使用が徐々に始まっている

・2次元空間での価値と覚醒の同時アノテーションは、感情経験のより包括的な報告を可能にするが [4], [13], [18] 、ツールがないか、または認知的な過負荷の懸念のために、これはしばしば追求されていない

→価数と覚醒度を同時に取得できる2次元ツールの普及が進んでいる

 

目的

動的刺激の連続同時アノテーションを目的としたジョイスティックベースの新しいアノテーションフレームワークを記述し,テストし,評価する

・平均評価パターンと連続評価パターンの整合性を評価する多変量統計解析とシーケンス解析

・複数の主観的な連続アノテーション(CA)を一つの代表的なCAに結合するためのロバスト回帰に基づくアプローチ

・アノテーションの変化点分析(CPA)

・異なる被験者間での変化点の一貫性を調べるために、アノテーションから検出された変化点に対して標準的な分類法を学習

 

方法

参加者:30名(男性15名、年齢28.6±4.8歳、女性15名、年齢25.7±3.1歳、22歳~37歳)

手続き:4つの対象感情は、「娯楽」「退屈」「リラックス」「怖さ」を持つ8本の動画を視聴し、ジョイスティックを用いたアノテーションフレームワークを用いて、感情状態を同時に自己申告

→アノテーションに関する質問にも対応

→システムユーザビリティ尺度(System Usability Scale:SUS)アンケート[29]に回答してもらい、インターフェースの使い勝手をフィードバック

 

結果

■ユーザビリティ

・すべての回答が「中立」以上(すなわち、回答値3)であり、特にシステムのシンプルさ(q.2)と直観性(q.8)に関する質問については、「中立」以上の回答

■各参加者による平均評定値(V-A)の散布図

・同じ感情タイプの2つの動画に関する評価は、UIの同じ領域に集まる傾向

■視聴パターン間の違いを正式に検定するために、平均視聴率を多変量反復測定ANOVA(別名RM MANOVA)を用いて分析

・ビデオの主効果は有意 (F(14,406)=40.9; p<.001; Pillia's trace =1.17; η2p=.58)

・ValenceとArousalの主効果も有意

→MANOVAとANOVAは、実験中の8つのビデオで評価パターンが異なることを立証

■配列の非類似性(以下、「距離」と呼ぶ)分析

・同じ/異なる感情ラベルの動画の評価は、それに応じて互いに近い/離れている必要がある

・dUSとは異なり、dLCSSの距離が配列中の要素/状態の時間的順序をも考慮している

■変化点分析

・Q~(Xτ,Yτ(κ);α,δ)の大きな値は分布の有意な変化に対応

・任意のビデオの変化点の数は、通常、価数と覚醒時系列で同じではない

・出された変化点の数は、時系列の範囲に正比例しない

■各動画の感情内容に応じてCA自体から抽出された特徴を分類することを試みた

・得られた全体の分類率は51.76%

 

コメント

このブログには著作権の都合上載せられないが、いくつかある図表がとても分かりやすく、式や統計の難しさはあったけど、そのビジュアル情報でなんとか理解できたように思う。ジョイスティックはマウスよりも負荷が少なく、人間工学的に優れているというのはおもしろかった。ほかにも検討事項が多そうだけど、一つひとつ研究を積み上げていったら解消しそうなものばかりと思った。ただ、何より気になるのはこの論文があまり引用されていないことで、これが他の手法がより注目されているからなのか、それとも妥当性に不安があるからなのかが気になるところ。

もう少しこれ関連の研究を読んでいきたい。

 

論文

Sharma, K., Castellini, C., Stulp, F., & van den Broek, E. L. (2020). Continuous, Real-Time Emotion Annotation: A Novel Joystick-Based Analysis Framework,"  IEEE Transactions on Affective Computing, 11(1), 78-84. doi: 10.1109/TAFFC.2017.2772882.