施設 通信 遠隔

日本マイクロソフトがMRとAIを活用した遠隔医療システムの開発・提供で長崎大学,五島中央病院,長崎県,五島市と連携協定

日本マイクロソフト株式会社 は、次世代オンライン遠隔医療システムの開発・提供において、国立大学法人 長崎大学、長崎県五島中央病院、長崎県、五島市と連携協定を締結し、最初のプロジェクトとして、関節リウマチ患者を対象とした遠隔医療の実用化に向けて、Mixed Reality (複合現実) を活用した国内初の次世代型オンライン遠隔医療システムとして、長崎大学関節リウマチ遠隔医療システム「NURAS」(ニューラス、Nagasaki University Rheumatoid Arthritis remote medical System) を開発し、本日より長崎大学病院 と五島中央病院において実証実験を開始しました。

五島中央病院において、患者の患部を Azure Kinect DK でスキャンして診察を受ける様子
長崎大学病院において、HoloLens 2 を装着した専門医の目の前に投影される、患者の病変部位の 3D ホログラムのイメージ

長崎大学関節リウマチ遠隔医療システムNURAS

NURAS は、専門医過疎地域である離島・へき地など遠隔地にいる患者が、Mixed Reality などの活用により、リウマチ専門医による遠隔医療を、これまでよりも高い精度で受けることが可能となるシステムです。従来のテレビ電話あるいは Web 会議システムを用いても遠隔医療は可能ですが、関節を中心とした病変部位を平面映像 (2D) だけで観察および類推することしかできず、関節リウマチ診療に不可欠である正確な関節評価を行うことは困難です。本システムでは、マイクロソフトの「Azure Kinect DK」を深度センサーとして患者の前に置き、Mixed Reality を実現するデバイス「Microsoft HoloLens 2」を専門医が装着、コラボレーションツールの「Microsoft Teams」を使ってビデオ会議を行うことで、平面映像だけでは評価が困難な病変部位を立体的 (3D) かつリアルタイムに観察・評価できるようにしました。

Azure Kinect DK は、被写体の立体的な動画を撮影できるカメラです。Azure Kinect DK を用いることで、医師が装着した HoloLens 2 に投影される 3D ホログラムを、高精度かつリアルタイムに生成できるほか、Azure Kinect DK に内蔵された 7 つのマイクロフォン アレイで、音源の方向を含めたクリアな音声を録音できます。また、厚生労働省、経済産業省、総務省が所管する “3 省 3 ガイドライン” に準拠しているクラウドプラットフォーム「Microsoft Azure」を通じて、撮影された患部の映像、および録音された患者と医師の会話などのデータはセキュアに処理されます。これにより離島・へき地といった専門医過疎地域においても高水準で均てん化されたリウマチ専門遠隔医療が可能になります。長崎大学関節リウマチ遠隔医療システム「NURAS」の活用イメージビデオは下記から確認出来ます。

今後の展開

本システムは、国内 60~100 万人と推定されている関節リウマチ患者のみならず、その他の神経疾患や運動器疾患など、患者と対話を行いながら病変部位の観察や運動評価が必要な分野にも応用できます。今回は長崎大学病院と五島中央病院をネットワークでつないで実証実験を行いますが、ネットワーク接続が可能なあらゆる地域と専門医を結ぶことができることから、国内外において、新型コロナウイルス感染症流行下における遠方通院時の感染リスクや通院に伴う人の移動の削減、さらに医療従事者の働き方改革にも貢献できると考えています。将来的には 5G による高速通信技術との連携や、現在はコロナ禍で難航している学生の実習を中心とした教育や研究を含む他分野への発展も予定しています。

また、2021 年 3 月下旬には、本システムに人工知能 (AI) を適用し、診察時の患者の表情の変化を素早く捉え自動的に患者の心情 (不安や満足度など) を評価する機能や、患者との対話を時系列に文章で記録する機能などを実装する予定です。Microsoft Azure の AI 機能である「Azure Cognitive Services」を活用することでセキュアかつ信頼性の高い推測と提案を行います。AI から得られたそれらのデータを参照し、物理的に離れた患者と医師との心理的な距離を縮めることによって、患者本人の生活の質の向上にも役立てられると期待しています。

AI を活用し、患者の心情の評価・対話を時系列で文書に記録するアプリケーションのイメージ

向かって左: 長崎大学 学長 河野 茂氏、画面左上から時計回り: 長崎県医療人材対策室長 加藤 一征氏、五島市長 野口 市太郎氏、五島中央病院 事務部長 藤野 弘幸氏、日本マイクロソフト 執行役員 最高技術責任者 榊原 彰

本日実施した協定締結式の模様

sauce:プレスリリースより

-施設, 通信, 遠隔
-, ,

Copyright© fvpress.news , 2021 All Rights Reserved.