image: Kumamoto University researchers assessed the McGurk effect between native English and Japanese speakers and found a major difference: English speakers "listen with their eyes" and Japanese speakers use only their ears. Audio-video & audio-only tests were performed in the first two experiments, and an audio-video test was performed in the third experiment.
Follow the following links for more information.
http://www.nature.com/articles/srep31388
http://www.nature.com/articles/srep35265
Credit: Dr. Kaoru Sekiyama
会話をする時、あなたは相手のどこを見ていますか？ 会話をする時、相手の口の動きが聞こえ方に影響を与えることが知られていますが、日本人はこの影響を受けにくいことが分かっていました。今回、熊本大学などの研究により、対面話者の話を聞く際の視線パターンや脳内ネットワークの活性化の仕方が、日本語母語者と英語母語者とで異なることが明らかになりました。
人と向かい合って話をする時、相手の唇の動きといった視覚的な情報が、耳から入る音の聞こえに影響を与えることが知られています。例えば、騒音の酷いところでは口の動きが見える方が聞き取り成績はよくなりますし、逆に、ムービーの吹き替えで声とは矛盾する口の動きの動画を同期させると、違う音のように聞こえる錯覚、「マガーク効果」が生じます。
ところが、日本語母語者の場合には、英語母語者ほどには視覚情報による影響を受けないことが、これまでの研究でわかっていました。そこで、熊本大学の研究チームらが日本語母語者と英語母語者それぞれ20名ずつのグループで視線パターン、脳波、音声判断速度などを調べました。
違いははっきりと分かりました。声と口の動きが一致している自然な音声の場合、英語母語者では音が始まる前から視線が話者の口に集中しているのに対して、日本語母語者では視線が分散しており、口への集中は見られませんでした。また、英語母語者では音声のみの聴覚条件よりも口の動きが伴う視聴覚条件の方が早く音声判断できたのに対して、日本語母語者では口の動きがある方が遅くなる結果が得られました。
「英語母語者では音が始まる数百ミリ秒前から動き出している口の情報から次に来る音の候補を絞っているのに対し、日本語母語者では聴覚重視で準備しているために、視覚情報があると余分な処理が必要になっていることが考えられます。」と、研究を主導した積山教授は説明します。
また、こうした母語による違いが脳活動のどのような差異と関係しているのかを調べるために、fMRI（機能的MRI）を用いて脳活動パターンを計測し分析しました*。熊本大学、札幌医科大学、国際電気通信基礎技術研究所との共同研究によるものです。
調査したところ、両群の違いが明らかになりました。英語母語者では、聴覚を処理する一次聴覚野と、視覚的な運動情報を処理するMT野という脳の部位との機能的な結合が、日本語母語者より強いことがわかったのです。英語母語者では情報処理の早い段階で聴覚情報と視覚情報が交わっているのに対し、日本語母語者では聴覚情報と視覚情報の処理がそれぞれもう少し進んだ後で、やっと交わることが推測されます。耳から聞こえる音の脳内処理と、目に見える口の動きの脳内処理の連携度合いが、日本語母語者と英語母語者とではっきり違っていたことが明らかになりました。
外国語を学習する時、ビデオ教材を用いた方が音声だけより良いのではないかという考え方があります。ところが、日本語母語者ではビデオの効果がなかなか得られないという報告がありました。その背景には、今回の発見に見られるような日本人の情報処理のユニークな特徴があると考えられます。
本研究は科研費による支援を受けたもので、成果論文は、平成28年8月11日および10月13日の「Scientific Reports」に掲載されました。
###
Journal
Scientific Reports