発話が難しい患者さんのコミュニケーションと自己実現を支援する：医療現場と共同で作り上げた「コミュニケーションボード」の紹介
構音障碍などで言葉を発することが難しい患者さんが、自分の意思をよりスムーズに周囲へ伝えられるようにする「コミュニケーションボード」。
一見すると普通の眼鏡のようなスマートグラスを装着すると、目の前の景色に重なるように、文字入力画面がレンズに表示されます。患者さんは、頭の動き（ヘッドトラッキング）や、手指の動かしやすさに合わせて調整された「Xboxアダプティブ ジョイスティック」を使って文字を選び、伝えたい言葉を入力します。AIが周囲の状況や患者さんの症状をもとに意図を予測し、文章の候補を表示。入力した文章は、音声で読み上げられます。
コミュニケーションボードは、ゲーム開発のノウハウを持つ株式会社ロケットスタジオと、医療法人大平会 嶺井第一病院が共同で開発・実証を重ね、製品化に至りました。今回は、開発の経緯や医療現場での活用について、実際の開発に携わった現場の方々にお話をお伺いしました。
お話を伺った方々
株式会社ロケットスタジオ
代表取締役社長 竹部氏
取締役副社長 中嶋氏
システム開発センター 大山氏
【左から 大山氏、竹部氏、中嶋氏】
医療法人大平会 嶺井第一病院
リハビリテーション科 部長 與那城氏
― 構音障碍などによって発話が難しい患者さんとのコミュニケーションにおいて、医療現場ではどのような課題がありましたか。
與那城：
医療従事者としては、患者さんの意思や必要なケアを正確に把握することが重要です。しかし言葉でのコミュニケーションが難しい場合、「痛い」という訴え一つをとっても、どこが、どのくらい、いつから痛いのかを十分に把握できないことがありました。患者さん自身も「どうせ伝わらないから」と諦めてしまうことが少なくありませんでした。 話せなくなったことで患者さんの表情が暗くなったり、自信を失ってしまったりする様子を見てきましたので、入院中に少しでも自分の思いを表現できる環境をつくりたいという思いがありました。
― ロケットスタジオとの共同実証実験はどのように実現しましたか。
中嶋：
以前、長崎大学と一緒に遠隔医療のシステムを開発した際、展示会に訪れた介護関係者の方から、話すことが難しい方とのコミュニケーションに課題があると聞きました。アクリル板に書かれた50音表を見せ、患者さんの視線を追いながら一文字ずつ言葉を確認するという従来のやり方に対して「もっと簡単にできる方法はないか」という相談を受けたことが、コミュニケーションボード開発の出発点になりました。 プロトタイプを開発した当初は筋ジストロフィーの患者さんが多くいらっしゃる病院で試用いただく機会もあったのですが、重症の方の場合は操作が難しいなどの課題もありました。
與那城：
2025年に沖縄で開催された展示会でコミュニケーションボードのプロトタイプを拝見し、現場が抱えるコミュニケーションの課題を解決できる可能性を感じました。「実証実験をするなら協力したい」と声をかけさせていただいたことが始まりです。
― 実証実験が始まってからは、どのようなプロセスで改良を重ねていきましたか。
中嶋：
例えば、病室ではカーテンが閉められることがあり、壁も白一色であるため、オフィスとはスマートグラスを通した見え方も異なります。実証をはじめてから半年ほどは毎月沖縄を訪問し、現場から意見をいただき、修正したものを送り、再び使っていただくというサイクルを重ねました。
【現場に何度も足を運び、医療現場との密な連携を通じてソリューション開発を推進した中嶋氏】
與那城：
当初はヘッドトラッキングという頭を動かして操作する方法を用いていましたが、寝た状態で過ごす患者さんにとっては首への負担が大きいという課題がありました。その声を伝えたところ、開発チームが迅速にジョイスティック操作へ対応してくれました。 ジョイスティックは親指が少し動けば利用できるため、多くの患者さんにとって使いやすい入力方法でした。また、関節の動きに制限がある方に対しても、3Dプリンターで操作部分を個別に加工するなど柔軟な対応が行われました。
― アクセシビリティの観点で、開発中に特に意識したことは何でしょうか。
大山：
アクセシビリティ面では、開発者にとって見やすい画面ではなく、患者さんにとって見やすい画面を作ることを意識しました。最初は私たちの感覚で設計していましたが、患者さんに使っていただくと、「青は見づらい」「光が反射すると見えにくい」といった意見がありました。そこで、どの色が見やすいか、光の影響を受けにくいかを患者さんご本人や現場の方々に聞きながら、できる限り目に優しく、患者さんが見やすい表示へ改善しました。
【スマートグラスに投影されるアプリの文字入力画面】
竹部：
作り手だけで正解を決めるのではなく、実際に利用される方と一緒に正解を探していくことが重要だと考えています。患者さんの使い勝手を考えると、開発側が「これでいい」と判断したものが、そのまま楽に使えるものになるとは限りません。ゲーム開発でも、ユーザーから様々な反応を受けながら、より良いものを探し続けます。今回も同じように、患者さんや医療スタッフと距離の近いところで、一緒に作る取り組みになりました。
與那城：
現場として一番ありがたかったのは、「困りごとを我慢する」のではなく、「困りごとを伝えると、改善してもらえる」という姿勢でした。患者さん一人ひとりの、残された機能を活かせる仕組みになっていると感じています。
【嶺井第一病院の患者さんとともに実証実験に取り組み、現場の声を開発に届けた與那城氏】
― 実証実験でコミュニケーションボードを導入し、現場ではどのような変化がありましたか。
與那城：
大切なのは、患者さんが残された身体機能を活かして自分で意思表示できることです。例えば、少しでも手が動くのであれば、その機能を使ってコミュニケーションを取ること自体に大きな価値があります。 印象的だったのは、1回では使いこなせなかった患者さんが、「またやりたい」と話してくれたことです。この言葉から、コミュニケーションボードが単なる意思伝達ツールではなく、新しいことへ挑戦する意欲や、リハビリへのモチベーションを引き出す存在になっていたことを実感しました。
また、実際にコミュニケーションボードを利用した患者さんからは、「こんなリハビリをやってみたい」といった要望が出るようになりました。自分で意思を伝えられることで、リハビリへの主体的な参加やモチベーション向上にもつながったと感じています。
【実証実験を行う患者さんの様子】
― コミュニケーションボードの強みはどこにあると感じますか。
與那城：
重度の意思伝達障碍に対応する機器は他にも存在しますが、多くは高額であったり、設置や姿勢に制約があったりします。 コミュニケーションボードの特徴は、脳卒中発症直後など、入院から退院までの比較的短い期間でも活用しやすいことです。さらに、寝た状態でも座った状態でも利用でき、スマートグラスとジョイスティックを装着すれば移動しながらでも使用できます。 そのため、これまで専門機器を利用するほどではなかった患者さんにも活用の幅が広がると感じています。
― コミュニケーションボードにはAzureの音声認識やAI技術が活用されています。開発を進める中で難しかった点や、「この機能を実装してよかった」と感じた瞬間があれば教えてください。
大山：
コミュニケーションボードには、スマートグラスのマイクで拾った音声を字幕で表示する機能があります。病院は機械の音や周囲の声など様々な音が発生する環境で、人の声をできるだけ抽出してからAzureの音声認識へ渡す必要がありました。周囲の雑音を抑え、人の声をより正確に取得できるよう調整する部分が特に難しいポイントでした。
また、コミュニケーションボードの特徴であるAIによる文章予測機能では、入力の区切り方が適切でないと、不自然な単語や文章が表示される可能性があります。そのため、患者さんの意図に合った文章が表示されるよう試行錯誤しました。実際に使っていただいた際、「患者さんが伝えたい内容がきちんと出ている」と言っていただけたことが、とても嬉しかったです。
予測の精度を高めるためには、プロンプトへ細かな条件を追加し、患者さんに寄り添った文章を生成できるよう調整しました。また、それぞれの症状に合うよう、個別性を意識した予測変換の仕組みを作っています。
大山：
Azureのサービス自体は、とても使いやすいと感じました。さまざまなサンプルが用意されていますし、それらを参考にすることで必要な情報や解決方法を確認することができました。そして、マイクロソフトさんの技術支援や様々なアドバイスもとても助かりました。
中嶋：
今回の開発前にも、大山には画像解析や会議の文字起こし・翻訳システムなど、Azureのサービスを活用した様々な実験・開発を担当してもらっていました。その蓄積もあったため、今回はAzureの機能を比較的スムーズに組み込むことができたのではないかと思います。
― AzureやAIを活用したソリューションの開発を目指す人への助言はありますか。
大山：
AIを学ぶ際には、結果を文字だけで確認するのではなく、UnityやUnreal Engineなどを使って、まず目に見える形にすることも有効だと思います。動くもの、さらに見た目でも楽しめるものを作ることで、開発への興味やモチベーションが高まり、そこから実際のソリューションへ広げていくことができるためです。
【アプリケーションの開発・実装を担当した大山氏。約半年をかけて開発を進めた】
― これからコミュニケーションボードに期待する機能はありますか。
與那城：
まず期待したいのは、より長時間利用できるよう（デバイス側の）バッテリー性能が向上されることです。病院内だけでなく、一日中装着して外出できるようになれば活用の幅は大きく広がります。さらに、電動車椅子や周辺機器との連携も期待しています。患者さんが周囲の支援に頼るだけでなく、自分の意思で行動できる社会の実現につながってほしいと考えています。
中嶋：
医療スタッフからは、スマートグラスで患者さんを認識し、必要な情報やバイタルデータを表示できれば、看護師や作業療法士の間の申し送りを短縮・支援できるのではないかというアイディアもいただいています。
竹部：
コミュニケーションボードの基本機能は、完成形に近づいていると感じています。一方で、利用する方の年代や好みに応じた、外側の体験にはまだ工夫の余地があります。長く使い、操作に慣れていただくためには、興味を持って使えることが大切です。たとえば、入力を手伝うキャラクターを表示するなど、利用者に合わせて選べる付加機能があってもよいと思います。ただし、すべての年代に同じインターフェースが合うわけではありません。シンプルな画面を好む方もいます。サービスを一方的に与えるのではなく、利用者自身が自分に合ったものを選べることが重要です。
理想は、患者さんが考えたことをできるだけ短い時間で外へ伝えられることです。デバイスやインターフェースの進歩によって、より自然な速度で意思を伝えられるようになれば、コミュニケーションの質もさらに高められると考えています。新しいデバイスを試しながら、「この技術を別の場面に使えないか」と常に考え続けることで、コミュニケーションボードも今後さらに進化していくと思います。
【コミュニケーションボードの展望や、医療分野での可能性について語る竹部氏】
― 医療現場でAIやIT技術を活用して解決したい課題はありますか。
與那城：
現在の医療現場では効率化が優先される場面も多く、患者さんが自ら選択する機会が十分とは言えません。しかし本来は、患者さんと医療者が一緒に方針を決める「共同意思決定（SDM）」が重要です。 例えばリハビリのメニューについても、AIやデータを活用して複数の選択肢を提示し、患者さん自身に選んでもらう仕組みがあれば、自ら選んだリハビリとして意欲的に取り組めるようになります。 また、リハビリの成果をデータで可視化し、自分がどれだけ回復したかを分かりやすく示すことができれば、モチベーションの向上にもつながると思います。重要なのは、医療者の効率ではなく、患者さん本人の意思と価値観を中心に据えることです。
― ロケットスタジオでは、このような課題に対しどのようなソリューションが提案できると考えますか。
竹部：
リハビリを続けたくなる工夫として、伴走するキャラクターがいたり、続けることで何かが集まったり、ご褒美がもらえたりするようなゲーム性の要素があっても面白いと思います。患者さん自身が選んだり、目標を持ったりしながらリハビリに取り組めるようにするために、楽しみながら継続できる体験設計には無限の可能性があると考えています。
ロケットスタジオはゲーム開発を主軸に「ソフトウェアを作る会社」としてスタートしました。ゲームには、人が機械や画面を自然に受け入れ、操作できるようにするためのインターフェース設計が数多く詰まっています。その知見は、医療システムにも応用できると考えています。
単に要望へ正しく答えるだけでなく、「面白く答える」ことが、実際に使う方の喜びにつながるのではないかとも思っています。ゲーム開発とシステム開発で得た知見を双方向に共有することで、ほかにはない唯一無二ものを作ることができると考えています。
技術が進めば、できることも増えていきます。簡単に正解が見えるものではありませんが、未来の技術と組み合わせながら、より良い答えを求めて開発を続けていきたいと思います。
実際に使用してみて
今回の取材では、コミュニケーションボードを実際に試用させていただきました。アプリをインストールしたスマートフォンと Xbox アダプティブ ジョイスティック、スマートグラスが接続されており、ジョイスティックを動かしながらスマートグラスに映る画面を操作します。レンズに映る操作画面のデザインはシンプルで見やすく工夫されており、大山氏のコメントにある通り、文字の大きさや背景色などは実証実験でのフィードバックを受けてより見やすい形に改善を重ねたそうです。
文字の入力には、50音順や「スライド」「定型文」など複数の方法があります。「スライド」による入力では、伝えたい言葉の最初の文字を選ぶと、AIが文章の候補を予測して表示します。例えば「た」を選ぶと「だるさ」などの候補が現れ、さらに「だるさ」を選ぶと、続く助詞や言葉が文節単位で次々に提示されます。候補を順番に選ぶだけで、「だるさが強くて動けない」という一文があっという間に完成しました。 一文字ずつ入力するよりも手間が少なく、完成した文章は Azure Speech in Foundry Tools の技術を使用してすぐに音声で読み上げられるため、スムーズな双方向のコミュニケーションが可能となります。
この予測候補は、利用者が普段からよく利用する文章のほか、スマートグラスに映る周囲の景色からもAIが推測します。この機能には Azure Vision in Foundry Tools の技術が使用されています。たとえば、視界にカーテンを認識すると予測候補に「カーテン」が表示され、「カーテンを閉めて（開けて）ほしい」という文章をすぐに決定できます。また、患者個人の病状に合わせて細かいカスタマイズを行うことも可能です。AIの学習データにはAzureによる強固なセキュリティや情報漏洩防止の仕組みが備わっており、安心して利用できることもポイントです。
【スマートグラスに映る景色から「病院」「カーテン」「窓」などをAIが認識し、候補に表示する】
【「カーテンを」に続く文章の候補が表示されている様子。直感的に選択していくことができる】
取材からは、開発者であるロケットスタジオと、利用者である患者さんや医療スタッフが密に連携し、現場の声を丁寧に拾いながら改善を重ねてきた過程が伺えました。当事者の声と使いやすさを大切にする姿勢は、アクセシビリティに配慮したソリューションの開発に欠かせません。
マイクロソフトは、今後もテクノロジーを通じて、より多くの人に寄り添う製品・サービスの開発を支援していきます。
コミュニケーションボード 製品情報・関連情報
本情報の内容 (添付文書、リンク先などを含む) は、作成日時点でのものであり、予告なく変更される場合があります。