空間 遠隔

Facebook Reality Labsが次世代コンピューティングプラットフォームに向けた手首ベースのインタラクション

2021年3月18日

先週、ヒューマンコンピュータインタラクション(HCI)の将来に関する3部構成のシリーズを開始しました。最初の投稿では、共有することを選択した情報を使用して、必要なときに何をしたいかを推測できる、拡張現実(AR)メガネ用のコンテキスト認識のAI搭載インターフェースの10年間のビジョンを共有しましたそれをするために。今日、私たちはいくつかの短期的な研究を共有しています:手首ベースの入力と、使用可能であるが制限されたコンテキスト化されたAIを組み合わせて、あなたとあなたの環境に動的に適応します。今年の後半には、ソフトロボティクスの画期的な作業に取り組み、快適で終日ウェアラブルデバイスを構築し、触覚グローブの研究に関する最新情報を提供します。

Facebook Reality Labs(FRL)Researchでは、ARのインターフェイスを構築しており、デバイスとのやり取りと周囲の世界のどちらを操作するかを選択する必要はありません。私たちは、常に利用可能なARメガネと対話するための自然で直感的な方法を開発しています。これにより、近くや遠くの人々とのつながり方が変わると信じているからです。 

ヒューマンコンピュータインタラクションの未来には 、非常に使いやすく、信頼性が高く、プライベートなインターフェイスが必要です。これにより、常に現実の世界に完全に存在し続けることができます。そのインターフェースは、私たちがデジタル世界と対話する主要な方法になるために、多くの革新を必要とします。最も重要な要素の2つは、 コマンドとアクション、および周囲のコンテキストと環境を理解するコンテキスト認識AIと、システムと簡単に通信できるテクノロジーです。これを超低摩擦入力と呼びます。AIはあなたとあなたの周囲の理解に基づいて、あなたが必要とするかもしれない情報やあなたが様々な文脈でやりたいと思うかもしれないことについて深い推論をし、そしてあなたに調整された選択肢のセットを提示します。入力により、選択を簡単に選択できます。これを使用すると、指を少し動かすだけで、いつでも利用できる仮想のボタンをクリックするのと同じくらい簡単になります。

しかし、このシステムは何年も先のことです。そのため、本日は、はるかに早く可能になる可能性のあるバージョンを詳しく見ていきます。手首ベースの入力と、使用可能であるが制限されたコンテキスト化されたAIを組み合わせたもので、ユーザーと環境に動的に適応します。

手首を選ぶ理由

なぜ手首?利用可能な他の多くの入力ソースがあり、それらはすべて便利です。音声は直感的ですが、公共圏にとって十分にプライベートではなく、バックグラウンドノイズのために十分に信頼できません。携帯電話やゲームコントローラーのようにポケットに収納できる別のデバイスは、あなたとあなたの環境の間に摩擦の層を追加します。可能性を探っていくと、入力デバイスを手首に置くことが明確な答えになりました。手首は時計を着用する伝統的な場所です。つまり、手首は日常生活や社会的状況に適度に適合する可能性があります。終日着用できる快適な場所です。それはあなたが世界と相互作用するために使用する主要な楽器、つまりあなたの手のすぐ隣にあります。この近接性により、手の豊富な制御機能をARに取り入れることができ、直感的で強力で満足のいく対話が可能になります。

手首ベースのウェアラブルには、さまざまなセンサーをサポートしながら、コンピューティング、バッテリー、アンテナのプラットフォームとして簡単に機能するという追加の利点があります。欠けていた部分は、豊富な入力への明確な道を見つけることでした、そして潜在的に理想的な解決策はEMGでした。

EMG、筋電は、あなたは、デバイスの機能を制御するために使用できるデジタルコマンドに手に手首を通って移動していること、電気運動神経信号を変換するためにセンサーを使用しています。これらの信号により、鮮明な1ビットコマンドをデバイスに伝達できます。これは、高度にパーソナライズされ、多くの状況に適応できる高度な制御です。

手首を通る信号は非常に明確であるため、EMGはわずか1ミリメートルの指の動きを理解できます。つまり、入力は簡単です。最終的には、指を動かす意図だけを感知することさえ可能かもしれません。  

手首ベースのウェアラブル研究プロトタイプの写真

「私たちが神経インターフェースでやろうとしているのは、末梢神経系、特に手や指の筋肉をアニメーション化する脳外の神経の出力を使用して、マシンを直接制御できるようにすることです」と、神経運動インターフェースのFRLディレクターは述べています。 2019年にFacebookがCTRL-labsを買収したときにFRLチームに加わったThomasReardon。 

これは読書を気にすることと似ていません。このように考えてください:あなたはたくさんの写真を撮り、それらのいくつかだけを共有することを選択します。同様に、あなたは多くの考えを持っており、あなたはそれらのいくつかだけに基づいて行動することを選択します。それが起こると、脳は手や指に信号を送り、タイピングやスワイプなどのアクションを実行するために特定の方法で動くように指示します。これは、手首でこれらの信号(すでに実行することを決定したアクション)をデコードし、それらをデバイスのデジタルコマンドに変換することです。これは、携帯電話で曲をタップして選択したり、マウスをクリックしたり、キーボードで入力したりしたときに、デバイスにすでに送信した指示に基づいて行動するためのはるかに高速な方法です。

手首のダイナミックコントロール

最初に、EMGは、ボタンをタップするのと同じように、「クリック」と呼ばれる1ビットまたは2ビットの制御を提供します。これらは、親指や人差し指をつまんだり離したりするなどの動きに基づくジェスチャであり、歩いたり、話したり、両手を前に置いて座ったりしながら、どこにいても何をしているかに関係なく、簡単に実行できます。またはあなたのポケットに。指を一緒にクリックすると、ウェイクワードを必要とせずに常に機能し、ARの最初のユビキタスで超低摩擦のインタラクションになります。

しかし、それは最初のステップにすぎません。EMGは、最終的にはより豊富なコントロールに進みます。ARでは、このデモビデオでわかるように、仮想UIとオブジェクトに実際に触れて移動することができます。また、離れた場所にある仮想オブジェクトを制御することもできます。フォースのような超大国を持っているようなものです。

https://www.facebook.com/watch/?v=1126949421469231

そして、それはほんの始まりに過ぎません。最終的には、テーブルまたは膝の上でEMGを使用して高速で入力できる可能性が高くなります。おそらく、現在のキーボードよりも高速で入力できる可能性があります。初期の研究は有望です。実際、2019年にFRLに参加して以来、CTRL-labsチームはパーソナライズされたモデルで重要な進歩を遂げ、個人のタイピング速度とテクニックに適応するカスタムキーボードモデルのトレーニングにかかる​​時間を短縮しました。

https://www.facebook.com/watch/?v=483171806026501

「ニューラルインターフェイスの目標は、人間とコンピューターの相互作用のこの長い歴史を混乱させ、人間が私たちよりも機械をより制御できるようにすることです」とリアドンは説明します。「私たちは、人間が体験全体の絶対的な中心であるコンピューティング体験を望んでいます。」

例としてQWERTYキーボードを取り上げます。それは150年以上前のものであり、根本的に改善することができます。代わりに、時間の経過とともに独自のタイピングスタイル(タイプミスなど)を学習して適応する仮想キーボードを想像してみてください。その結果、あなたと世界中の誰もが同じ物理キーボードを学習するのではなく、ゆっくりとあなたに向かって変形するキーボードができあがります。これは、どの機械式タイピングインターフェイスよりも高速であり、キーボードであるためいつでも利用できます。そして、仮想タイピングとクリックのようなコントロールの美しさは、人々がすでにそれらを使用することに長けていることです。

アダプティブインターフェースとインテリジェントクリックへの道

では、短期的には何が可能でしょうか。そして、どのようにしてそこにたどり着くのでしょうか。

「当社のリストバンドウェアラブルは、ARメガネの超低摩擦で常に利用可能な入力への道を提供する可能性があると考えていますが、マウスがグラフィカルユーザーインターフェイスの一部であるように、それだけでは完全なソリューションではありません。 」とFRLのリサーチサイエンスディレクターであるHrvojeBenko氏は述べています。「彼らは、あなたとあなたの特定のコンテキストにリアルタイムで適応する意図予測とユーザーモデリングで支援される必要があります。」

メニューをクリックしてやりたいことをするのではなく、システムがそのことを提供し、単純な「クリック」ジェスチャで確認できるとしたらどうでしょうか。入力マイクロジェスチャをアダプティブインターフェイスと組み合わせると、いわゆる「インテリジェントクリック」に到達します。

「基盤となるAIは、将来何をしたいかをある程度理解しています」と、FRLリサーチサイエンスマネージャーのTanyaJonker氏は説明します。「おそらくあなたはジョギングのために外に出て、あなたの過去の行動に基づいて、システムはあなたがあなたの実行中のプレイリストを聞きたいと思う可能性が最も高いと考えます。次に、そのオプションがディスプレイに表示されます。「実行中のプレイリストを再生しますか?」これが、機能しているアダプティブインターフェイスです。次に、マイクロジェスチャを使用して、その提案を簡単に確認または変更できます。インテリジェントなクリックにより、これらの高度にコンテキストに応じたアクションを非常に低摩擦で実行できます。これは、インターフェースが個人の履歴と選択に基づいて関連性のあるものを表示し、最小限の入力ジェスチャでそれを実行できるためです。」

これにより、インタラクションごとに数秒しか節約できない場合がありますが、それらすべての秒数が合計されます。そしておそらくもっと重要なことは、これらの微妙なジェスチャーがあなたの思考の流れや動きの流れからあなたを狂わせないことです。たとえば、デジタルの世界に参入する前に、適切なアプリを選択して開くために行っていることを停止する必要がなかった場合に、どれだけの時間を節約できるか想像してみてください。ARメガネが私たちの生活を真に改善し、その瞬間に存在し続けるためには、関連する場合にのみデジタル情報を穏やかに表示し、その後自然に背景にフェードインする適応型インターフェースが必要です。

「常にデバイスに注意を向けるのではなく、必要なときにインターフェースの焦点を合わせたり外したりするだけです」とJonker氏は述べています。「そして、非常に軽量なフィードバックに基づいて、インターフェースの動作を調整できる必要があります。システム全体が時間の経過とともに改善されるように、提案の有用性についてのシステム。」

それは難しい注文であり、多くの技術的な課題が残っています。ユーザーと世界からのコンテキストを識別して解釈するインターフェースを構築するには、機械学習、HCI、およびユーザーインターフェース設計の進歩が求められます。

「システムは、ランニングシューズや行動認識など、現在地や主要なオブジェクトについて何かを学習します」とJonker氏は言います。「そして、過去に、靴を履いたまま家を出るときに音楽アプリを起動することがよくあることを学びました。次に、音楽を再生するかどうかを尋ねられ、クリックするだけで確認できます。これらのより単純で実行可能な例は、現在の研究で調査しているものです。」

焦点のハプティックス

指のクリックやマイクロジェスチャなどの超低摩擦入力により、アダプティブインターフェイスとの対話が可能になりますが、フィードバックループを閉じる方法も必要です。システムがユーザーに通信できるようにし、仮想オブジェクトを具体的に感じさせます。そこで、触覚が作用します。

「出生時の最初の把握から、オブジェクトの巧妙な操作やキーボードでの入力に至るまで、この非常に豊富なフィードバックループがあります。ここでは、手や指で物事を見て実行し、操作するときに感覚が戻ってくるのを感じます。世界」とFRLリサーチサイエンスディレクターのショーンケラーは言います。「私たちは、これらの触覚信号を活用して世界について学ぶように進化しました。ツールと微調整を使用できるのは触覚です。メスを使用する外科医から鍵盤の端を感じるコンサートピアニストまで、すべては触覚に依存します。リストバンドで、それは始まりです。現実世界の現実の物体と相互作用するときに感じるかもしれない仮想世界のすべての感覚を再現することはできませんが、私たちはそれらをたくさん生み出し始めています。」

仮想の弓と矢を取ります。手首ベースの触覚では、アクションを正しく実行しているという自信を与えるために、弓の弦を引き戻す感覚を概算することができます。

「緊急」とマークされた電子メールを受信すると、一連の振動とパルスを感じて警告を発する場合がありますが、通常の電子メールでは、好みに応じて、パルスが1つあるか、触覚フィードバックがまったくない場合があります。電話がかかってくると、手首にカスタムの触覚フィードバックがあり、誰が電話をかけているのかを知ることができます。これにより、視覚的なフィードバックをほとんどまたはまったく受けずに、アクション(この場合は、インテリジェントなクリックで電話に出るかボイスメールに送信する)を完了することができます。これらはすべて、HCIがあなたとあなたのデバイスの間の双方向の会話になるのを助ける触覚フィードバックの例です。

「触覚はさまざまな感情を伝えることもできるかもしれません。これを触覚絵文字と呼びます」とFRLリサーチサイエンスマネージャーのニコラスコロンネーゼは付け加えます。「適切な状況にある場合、さまざまな種類の触覚フィードバックが人気の絵文字に対応している可能性があります。これは、より良い社会的コミュニケーションのための新しい遊び心のある方法かもしれません。」

現在、リストバンドの触覚について学ぶのに役立つ一連の研究プロトタイプを作成しています。1つのプロトタイプは「ベローズバンド」と呼ばれ、手首の周りに配置された8つの空気圧ベローズにちなんで名付けられた柔らかく軽量のリストバンドです。ベローズ内の空気を制御して、空間と時間の複雑なパターンで圧力と振動をレンダリングできます。これは、さらなる調査に値する触覚フィードバックのタイプを決定するのに役立つ初期の研究プロトタイプです。

別のプロトタイプであるTasbi(Tactile and Squeeze Bracelet Interface)は、6つの振動触覚アクチュエータと新しい手首のスクイーズメカニズムを使用しています。BellowbandとTasbiを使用して、仮想ボタンの剛性の違いを検出できるかどうかの確認から、さまざまなテクスチャの感覚、仮想オブジェクトの移動まで、さまざまな仮想インタラクションをテストしました。これらのプロトタイプは、実際のオブジェクトやアクティビティと見分けがつかないと感じる触覚フィードバックを作成するための重要なステップです。感覚置換と呼ばれる生物学的現象のおかげで、これは実際に可能です。私たちの精神は、視覚、聴覚、触覚の刺激を組み合わせて、これらの仮想体験に新しい次元を与えます。

まだ初期の段階ですが、将来は有望です。

「触覚研究の最先端は、私たちが実際に豊かなコミュニケーションを可能にすることができると私たちに信じさせます」とケラーは述べています。「人々はタッチを通して、そして潜在的にはリストバンドだけを通して言語を学ぶことができます。開放され始めたばかりのまったく新しいスペースがあり、その多くは手首のより豊かな触覚システムから始まります。」

基礎研究の質問としてのプライバシー、セキュリティ、および安全性

日常生活で実際に使用できるARの人間中心のインターフェイスを構築するには、プライバシー、セキュリティ、および安全性を、手首ベースの対話におけるすべての調査の根底にある基礎研究の質問と見なす必要があります。私たちは、人々がARインタラクションの経験について情報に基づいた決定を下すのをどのように支援できるかを尋ねなければなりません。言い換えれば、人々が自分自身とデバイスの間に意味のある境界を作成できるようにするにはどうすればよいでしょうか。

「倫理的問題の全範囲を理解して解決するには、社会レベルの関与が必要です」とケラーは言います。「私たちは自分たちでそこにたどり着くことはないので、そうしようとはしていません。新しいテクノロジーを発明するとき、私たちはコミュニティと学んだことを共有し、懸念に対処するためにオープンな議論に従事することに取り組んでいます。」

だからこそ、私たちは研究者が査読付きのジャーナルに研究を発表することを支持し、奨励しているのです。そして、今日この話をしているのはそのためです。このテクノロジーが消費者製品の一部になるずっと前に、HCIの将来がどのようになり、どのように見えるべきかについて、オープンかつ透過的に議論することがたくさんあると私たちは信じています。

「私たちは、テクノロジーが社会にどのようにプラスとマイナスの影響を与えるかについて深く考えています。そのため、私たちは非常に原則的な方法で研究開発を推進しています」とケラーは言います。 。」

私たちは、技術開発と並行して、重要な脳神経倫理の問題について話し合うための具体的な措置を講じています。FRL Researchの脳神経倫理プログラムには、製品から発生する可能性のある潜在的な危害を明らかにして軽減するResponsible Foresightワークショップと、開発中に発生する可能性のある潜在的な問題を特定して対処するのに役立つResponsibleInnovationワークショップが含まれます。私たちは学術倫理学者と協力して業界全体がこれらの問題に対処するのを支援し、チーム内に組み込まれた倫理学者がデータ管理などの考慮事項に対処する際のガイドを提供します。

ARの可能性を探求し続けると同時に、私たちが追求するすべてのリサーチクエスチョンのバックボーンとして責任あるイノベーションの原則に取り組み続けます。

可能性の世界

手首にセンサーを配置すると、仮想オブジェクトを操作したり、リビングルームの雰囲気をほぼ摩擦なく制御したりできます。そして、手を使わずに生まれた人は、仮想のものを操作することさえ学ぶことができます。

「私たちは、私たちが可能だと思うことに基づいて、私たちの創造性、代理店、そして世界での行動を制限しています」とリアドンは言います。「より多くのことをより速く、したがってより多くの実験を行い、より多くを作成し、より多くを探索できるようになることは、次のコンピューティングプラットフォームの中心です。」

私たちは、人々が仮想世界と現実世界のどちらかを選択する必要はないと信じています。超低摩擦の手首ベースの入力、状況に応じたAIを利用した適応型インターフェース、触覚フィードバックにより、私たちは瞬間から離れることなくデバイスと通信でき、より深くつながることができます。他の人と私たちの生活を向上させます。「これは信じられないほどの瞬間であり、旧世界への変化であるため、革新と発見の舞台を設定します」とケラーは言います。「これは、コンピューティングを前進させるために私たちが従い、信頼してきたルールへの変更です。そして、それは私が今参加していると想像できる最も豊かな機会の1つです。」

FB、手を動かすだけで端末操作

スマホの次世代開発
2021/3/19 16:24 (JST)

【ニューヨーク共同】米交流サイト大手フェイスブック(FB)は18日、手を動かすだけで操作できる新技術を採用した眼鏡型端末を開発していると発表した。手首を通る電気信号を活用する。今後は文字入力にも対応させる予定。フェイスブックはスマートフォンに替わる次世代端末として、眼鏡型端末の開発に力を入れている。

 専用のリストバンドのセンサーが、脊髄から手に伝わる電気信号をとらえ、指を動かすことで端末を入力できるようにする。現実の世界に架空の物体を映し出す「拡張現実(AR)」の機能を備え、眼前にコンピューターの選択画面などが表示される。

共同通信

-空間, 遠隔
-

Copyright© fvpress.news , 2021 All Rights Reserved.