感覚を用いたBCI技術を進化させ、新たなエンタメ創出や社会貢献へ

島田 温人　Haruto Shimada
学部：環境情報学部3年
出身校：土浦日本大学高等学校（茨城県）

やりたいことを見つけたら１年生から本格的な研究が始められる

高校はグローバル・スタディコースに通っていましたが、何か自分で新しいものを作り出したいという考えから理系の学部を志望していました。その中で、他大学と比べ自分で手を動かして学ぶ環境が整っていること、SFCならではの分野横断的な内容の授業も魅力的で、SFCに決めました。
入学後、1年の春学期は幅広い分野の授業を取り、そこで脳情報科学に興味を持ちました。さらに、その授業でBCI（ブレイン・コンピュータ・インターフェース）という技術について学び、本格的に研究をしたいと考えて１年の秋学期から青山敦研究会に入りました。
研究会に入るよさは、個人で本格的な研究に取り組めることのほかに、各自ゴールは異なるものの研究会の仲間とともに走っていけることです。また、脳情報科学などの被験者が必要な研究では学生同士がお互い被験者を務められるメリットもあります。特に脳波測定時は、実験タスクに対する習熟度によって脳波の特性が異なるため、被験者確保はかなり重要なミッションです。

感覚を思い起こすだけで、VRゲーム内で魔法が打てる？

私が現在取り組んでいる研究テーマ「手指における温覚・冷覚想起に関する脳研究」は、脳とコンピュータが直接通信出来るようになるようなインターフェースであるBCIという分野の研究です。現在、ALS（筋萎縮性側索硬化症）やGBS（ギラン・バレー症候群）などの神経疾患によって身体の自由が制限される人々の補助を目的としたBCIの研究が進められており、それらは運動想起による動作制御や、視覚刺激を用いた文字入力が主流となっています。しかし、青山先生からご提示いただいた「感覚の想起」はそうした研究とは一線を画しており、新たな挑戦として研究をスタートさせました。また、エンターテインメントに重きを置いた研究は少ないことから、BCIの新たな可能性を探ることができると考えています。
この研究が上手くいくことによって、実際に「熱い」という感覚を思っただけでVRゲームやメタバースの中で炎の魔法を打てたり、「冷たい」と思っただけで氷の魔法が打てたりといったようなことが出来るようになります。

熱い・冷たいといった温度感覚想起による脳波を、緻密に解析

「手指における温覚・冷覚想起に関する脳研究」とは、具体的には指先において、温覚（熱い）や冷覚（冷たい）という感覚を想起（思い浮かべる）した際にオンライン（リアルタイム）で機械学習を用いて脳波を分類し、将来のエンターテインメントに活用できるのではないかという研究です。
研究においては、被験者を集め、脳波計を頭に装着してもらった被験者に、暗室下で画面上に十字が表示されているモニターを見てもらい、その十字の色に応じて指先で熱いものを触っている感覚、もしくは冷たいものを触っている感覚を想起してもらいました。ただ、何もない状態で「熱い」「冷たい」という感覚を想起するのは難しく、また被験者間での感覚イメージを一貫させる必要があります。そこで、ペルチェ素子を用いた温度刺激デバイスを自作し、実験前に「熱い」温度と「冷たい」温度に設定したペルチェ素子に実際に触ってもらい、感覚を覚えてもらう準備を行いました。
実験によって得られた脳波データは、MATLAB（数値計算プラットフォーム）を用いて適切にノイズ除去を施し、モデルの学習のためにさまざまな特徴量を抽出しました。例えばパワースペクトル密度やPAC(位相振幅カップリング)等です。そのあと、さまざまなアルゴリズムや特徴量で学習、オフラインでの分類の評価を繰り返し、精度を高めていきました。
最終的な目標であるオンラインで分類ということができるように、オンラインで行う処理をどのようにするかを試行錯誤しています。脳波は様々な処理をすることによってノイズを除去することができ、精度向上につながりますが、それだけ計算コストもかかってしまい、結果的にオンラインで分類したとしても、脳波を受信してからその分類結果を出力するまでの時間が長くなってしまいユーザビリティが低下してしまいます。そのため、脳波処理の計算コストを可能な限り低くしつつ、有意な特徴量のみを抽出することが今の課題です。

BCI技術の活用でバリアフリーや異文化体験ができる未来が実現

今回の研究ではリアルタイムでの処理を実現し、VRゲーム内で炎や氷の魔法を放つ体験を提供することを目標としています。楽しい未来図を想像する方が研究に対するモチベーションも高まるからです。
今後の目標としては、現在取り組んでいる脳波研究をさらに発展させ、実用的なBCI技術の開発に寄与することです。特に、VRやメタバースの分野で「感覚」を活用した新しい体験を提供する技術を実現したいと考えています。
さらに将来のビジョンとしては、BCI技術が社会に浸透し、誰もが簡単に利用できる環境になればと思います。例えば、身体が不自由な人が思考だけで周囲の環境を操作できるバリアフリーの実現。或いは感覚を通じて異なる文化や価値観を直接体験できるようなインターフェースなどです。考えれば考えるほどBCI技術が普及した社会への想像は尽きません。