Systems and methods for augmented reality and virtual reality
Patent Information
- Authority / Receiving Office
- JP · JP
- Patent Type
- Applications
- Current Assignee / Owner
- MAGIC LEAP INC
- Filing Date
- 2026-04-15
- Publication Date
- 2026-06-25
AI Technical Summary
【0040】 本発明の付加的ならびに他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。 本願明細書は、例えば、以下の項目も提供する。 (項目1) ユーザディスプレイデバイスであって、 ユーザの頭部に搭載可能な筐体フレームと、 前記筐体フレームに連結され、前記ユーザの眼の移動を追跡し、前記追跡された眼移動に基づいて、焦点深度を推定するための第1の対のカメラと、 光生成機構を有し、前記推定される焦点深度に基づいて、ディスプレイオブジェクトが焦点に現れるように、ディスプレイオブジェクトアプリと関連付けられた投影光を生成および修正するための投影モジュールと、 前記筐体フレーム上に搭載される、レンズと、 前記投影モジュールに通信可能に連結され、前記ディスプレイ画像と関連付けられたデータを前記投影モジュールに通信するためのプロセッサと、 を備える、デバイス。 (項目2) 前記レンズはさらに、前記ユーザの眼の正面に位置付けられ、前記投影された光を前記ユーザの眼の中に入り込ませるための少なくとも1つの透明ミラーを備える、項目1に記載のユーザディスプレイデバイス。 (項目3) 前記少なくとも1つの透明ミラーは、選択的に、ローカル環境からの光の透過を可能にする、項目2に記載のユーザディスプレイデバイス。 (項目4) 前記筐体フレーム上に搭載可能であって、第2の対のカメラのそれぞれに対応する眼の視野画像を捕捉するための第2の対のカメラをさらに備える、項目1に記載のユーザディスプレイデバイス。 (項目5) 前記プロセッサは、前記捕捉された視野画像に基づいて、前記ユーザの頭部姿勢を計算する、項目4に記載のユーザディスプレイデバイス。 (項目6) 前記投影モジュールは、前記推定される焦点深度に基づいて、前記ディスプレイオブジェクトと関連付けられた投影された光を修正するための走査式レーザ配列を備える、項目1に記載のユーザディスプレイデバイス。 (項目7) 前記投影された光は、直径0.7mm未満を有する光ビームである、項目6に記載のユーザディスプレイデバイス。 (項目8) 前記第1の対のカメラは、前記ユーザの眼のそれぞれの移動を追跡するために、赤外線光源と対合される、赤外線カメラを備える、項目1に記載のユーザディスプレイデバイス。 (項目9) 前記ユーザの移動、前記ユーザの場所、前記ユーザの方向、および前記ユーザの配向のうちの少なくとも1つを感知するための少なくとも1つのセンサを備える、センサアセンブリをさらに備える、項目1に記載のユーザディスプレイデバイス。 (項目10) 前記少なくとも1つのセンサは、加速度計、コンパス、およびジャイロスコープのうちの少なくとも1つである、項目9に記載のユーザディスプレイデバイス。 (項目11) 前記プロセッサは、前記ユーザの移動、前記ユーザの場所、前記ユーザの方向、および前記ユーザの配向のうちの少なくとも1つに基づいて、前記ユーザの頭部姿勢を推定する、項目9に記載のユーザディスプレイデバイス。 (項目12) GPSシステムをさらに備える、項目1に記載のユーザディスプレイデバイス。 (項目13) 前記プロセッサは、コンピュータネットワークに通信可能に連結され、仮想世界データの少なくとも一部を伝送し、前記仮想世界データの別の部分を受信する、項目1に記載のユーザディスプレイデバイス。 (項目14) 前記頭部フレーム上に搭載可能であって、音を出力するためのオーディオスピーカモジュールをさらに備える、項目1に記載のユーザディスプレイデバイス。 (項目15) 前記筐体フレーム上に搭載可能であって、前記ユーザにローカルの音を捕捉するためのマイクロホンをさらに備える、項目1に記載のユーザディスプレイデバイス。 (項目16) 前記投影モジュールは、他のオブジェクトがぼやけて現れるように、ディスプレイオブジェクトではない別のオブジェクトと関連付けられた別の投影された光を修正する、項目1に記載のユーザディスプレイデバイス。 (項目17) 前記プロセッサは、少なくとも60フレーム/秒の率で前記ディスプレイオブジェクトのフレームをレンダリングする、項目1に記載のユーザディスプレイデバイス。 (項目18) 前記投影モジュールに通信可能に連結され、触知フィードバックを提供するための触覚インターフェースデバイスをさらに備える、項目1に記載のユーザディスプレイデバイス。 (項目19) 前記ディスプレイオブジェクトは、仮想オブジェクト、レンダリングされた物理的オブジェクト、画像、およびビデオのうちの少なくとも1つである、項目1に記載のユーザディスプレイデバイス。 (項目20) 前記ユーザの環境をデジタル的に再構築するための環境感知システムをさらに備える、項目1に記載のユーザディスプレイデバイス。 (項目21) 方法であって、 ユーザの眼の移動を追跡するステップと、 前記追跡された眼移動に基づいて、前記ユーザの眼の焦点深度を推定するステップと、 ディスプレイオブジェクトが焦点に表されるように、前記推定される焦点深度に基づいて、ディスプレイオブジェクトと関連付けられた光ビームを修正するステップと、 前記修正された光ビームを前記ユーザの眼の中に投影するステップと、 を含む、方法。 (項目22) 前記ディスプレイオブジェクトの可視化モードに基づいて、前記ユーザのローカル環境からの光の透過を選択的に可能にするステップをさらに含み、前記可視化モードは、拡張現実モード、仮想現実モード、ならびに拡張および仮想現実モードの組み合わせのうちの1つである、項目21に記載の方法。 (項目23) 前記ユーザの眼のそれぞれの視野画像を捕捉するステップをさらに含む、項目21に記載の方法。 (項目24) 前記ユーザの眼の少なくとも1つの視野画像に基づいて、前記ユーザの頭部姿勢を推定するステップをさらに含む、項目23に記載の方法。 (項目25) 前記捕捉された視野画像内の少なくとも1つの物理的オブジェクトを物理的にレンダリングされた仮想オブジェクトに変換するステップと、 前記物理的にレンダリングされた仮想オブジェクトを前記ユーザに表示するステップと、 をさらに含む、項目23に記載の方法。 (項目26) 前記捕捉された視野画像内の点集合を抽出するステップと、 前記抽出された点集合に基づいて、前記捕捉された視野画像内の少なくとも1つの物理的オブジェクトのための基準を作成するステップと、 をさらに含む、項目23に記載の方法。 (項目27) 前記抽出された点集合および前記作成された基準のうちの少なくとも1つをクラウドコンピュータに伝送するステップと、 前記抽出された点集合および前記作成された基準のうちの少なくとも1つをオブジェクトのタイプにタグ付けするステップと、 をさらに含む、項目26に記載の方法。 (項目28) 前記オブジェクトのタイプと関連付けられたタグ付けされた点集合および前記オブジェクトのタイプと関連付けられたタグ付けされた作成された基準のうちの少なくとも1つに基づいて、異なる物理的オブジェクトが前記オブジェクトのタイプに属すると認識するステップをさらに含む、項目27に記載の方法。 (項目29) 前記投影された光は、直径0.7mm未満を有する光ビームである、項目21に記載の方法。 (項目30) 前記ユーザの移動、前記ユーザの場所、前記ユーザの方向、および前記ユーザの配向のうちの少なくとも1つを感知するステップと、 前記少なくとも1つの感知された移動、感知された場所、感知された方向、および感知された配向に基づいて、前記ユーザの姿勢を計算するステップと、 をさらに含む、項目21に記載の方法。 (項目31) 前記少なくとも1つのセンサは、加速度計、コンパス、およびジャイロスコープのうちの少なくとも1つである、項目30に記載の方法。 (項目32) コンピュータネットワークへの前記ディスプレイオブジェクトと関連付けられた仮想世界データを処理するステップと、 第2のユーザが、第2の場所におけるディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を体験し得るように、前記ディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を第2の場所に位置する第2のユーザに伝送するステップと、 をさらに含む、項目21に記載の方法。 (項目33) 物理的オブジェクトを感知するステップと、 前記感知された物理的オブジェクトとの所定の関係に基づいて、前記ディスプレイオブジェクトと関連付けられた仮想世界データの少なくとも一部を修正するステップと、 をさらに含む、項目32に記載の方法。 (項目34) 前記修正された仮想世界データを前記第2のユーザに提示するステップをさらに含む、項目33に記載の方法。 (項目35) 他のオブジェクトがぼやけて現れるように、ディスプレイオブジェクトではない別のオブジェクトと関連付けられた別の光を修正するステップをさらに含む、項目21に記載の方法。 (項目36) ユーザインターフェースを通してユーザ入力を受信するステップと、 前記受信されたユーザ入力に基づいて、前記ディスプレイオブジェクトを修正するステップと、 をさらに含む、項目21に記載の方法。 (項目37) 前記ユーザインターフェースは、触覚インターフェースデバイス、キーボード、マウス、ジョイスティック、モーションキャプチャコントローラ、光学追跡デバイス、およびオーディオ入力デバイスのうちの少なくとも1つである、項目36に記載の方法。 (項目38) 前記ディスプレイオブジェクトは、仮想オブジェクト、レンダリングされた物理的オブジェクト、画像、およびビデオのうちの少なくとも1つである、項目21に記載の方法。 (項目39) 方法であって、 頭部搭載型ユーザディスプレイデバイスを通して仮想世界データを含む仮想世界と相互作用するステップであって、前記頭部搭載型ユーザディスプレイデバイスは、前記ユーザの眼の推定される焦点深度に基づいて、前記仮想世界データの少なくとも一部と関連付けられたディスプレイ画像をユーザにレンダリングする、ステップと、 前記頭部搭載型ユーザデバイスと前記仮想世界の相互作用および前記ユーザの物理的環境との相互作用のうちの少なくとも1つを起源とする付加的仮想世界データを作成するステップと、 前記付加的仮想世界データをコンピュータネットワークに伝送するステップと、 を含む、方法。 (項目40) 第2のユーザが第2の場所からの付加的仮想世界データを体験することができるように、提示のために、前記付加的仮想世界データを第2の場所における第2のユーザに伝送するステップをさらに含む、項目39に記載の方法。 (項目40) 前記付加的仮想世界データは、前記頭部搭載型ユーザディスプレイデバイスを通して捕捉された視野画像と関連付けられる、項目39に記載の方法。 (項目41) 前記付加的仮想世界データは、前記ユーザの感知された移動、前記ユーザの感知された場所、前記ユーザの感知された方向、および前記ユーザの感知された配向のうちの少なくとも1つと関連付けられる、項目39に記載の方法。 (項目42) 前記付加的仮想世界データは、前記頭部搭載型ユーザディスプレイデバイスによって感知された物理的オブジェクトと関連付けられる、項目39に記載の方法。 (項目43) 前記付加的仮想世界データは、前記感知された物理的オブジェクトとの所定の関係を有するディスプレイオブジェクトと関連付けられる、項目42に記載の方法。 (項目44) ユーザ入力に基づいて、前記ユーザと前記頭部搭載型ユーザディスプレイデバイスとの間の相互作用を可能にするためのインターフェースを選択するステップと、 前記選択されるインターフェースに基づいて、前記仮想世界データの少なくとも一部と関連付けられたディスプレイオブジェクトをレンダリングするステップと、 をさらに含む、項目39に記載の方法。 (項目45) 前記選択されるインターフェースは、仮想現実モード、拡張現実モード、混合現実モード、ならびに前記仮想現実および拡張現実モードの組み合わせのうちの1つである、項目44に記載の方法。 (項目46) 前記仮想世界は、2次元形式で提示される、項目39に記載の方法。 (項目47) 前記仮想世界は、3次元形式で提示される、項目39に記載の方法。 (項目48) 2人またはそれを上回るユーザが、仮想世界データを含む仮想世界と相互作用することを可能にする方法であって、 第1のユーザの第1の可視化モードにおいて、第1のユーザディスプレイデバイスを通して前記仮想世界を表示するステップと、 コンピュータネットワークを通して第2のユーザディスプレイに前記仮想世界データの少なくとも一部を伝送するステップと、 第2のユーザの第2のユーザディスプレイデバイスにおいて、第2の可視化モードにおいて、前記仮想世界データの伝送される部分と関連付けられた仮想世界を表示するステップと、 を含む、方法。 (項目49) 前記第1の可視化モードは、前記第2の可視化モードと異なる、項目48に記載の方法。 (項目50) 前記第1の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに前記仮想現実および拡張現実モードの組み合わせのうちの少なくとも1つである、項目48に記載の方法。 (項目51) 前記第2の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに前記仮想現実および拡張現実モードの組み合わせのうちの少なくとも1つである、項目48に記載の方法。 (項目52) 方法であって、 ユーザの選択に基づいて、実際の物理的オブジェクトの画像と関連付けられたレンダリングされた物理的画像データおよび仮想ディスプレイオブジェクトと関連付けられた仮想画像データのうちの少なくとも1つを処理するステップと、 前記ユーザによってリアルタイムで見られるような実際の物理的オブジェクト、前記ユーザによってリアルタイムで見られるような実際の物理的オブジェクトに基づいてレンダリングされる、レンダリングされた物理的仮想オブジェクト、および前記仮想ディスプレイオブジェクトの選択される組み合わせをユーザに選択的に表示するステップと、 を含む、方法。 (項目53) 実際の物理的オブジェクト、前記レンダリングされた物理的仮想オブジェクト、および前記仮想ディスプレイオブジェクトのうちの少なくとも1つは、可視化モードのユーザ入力に基づいて選択的に表示される、項目52に記載の方法。 (項目54) 前記可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに前記仮想および拡張現実モードの組み合わせのうちの少なくとも1つである、項目53に記載の方法。 (項目55) コンピュータネットワークを通して別のディスプレイオブジェクトと関連付けられた画像データを受信するステップと、 前記ユーザが、前記選択される可視化モードにおいて、他のディスプレイオブジェクトを視認することができるように、前記画像データを前記選択される可視化モードと互換性があるデータ形式に変換するステップと、 をさらに含む、項目53に記載の方法。 (項目56) 前記選択される可視化モードに基づいて、前記ユーザが、前記実際の物理的オブジェクトを視認することができるように、外側環境からの光の透過を選択的に可能にするステップをさらに含む、項目52に記載の方法。 (項目57) 方法であって、 頭部搭載型ユーザディスプレイデバイスのレンズを通して、外側環境からの光の透過を選択的に可能にするステップを含み、前記頭部搭載型ユーザディスプレイデバイスは、全体的仮想オブジェクト、全体的物理的オブジェクト、または仮想オブジェクトおよび物理的オブジェクトの組み合わせのいずれかを表示するために構成される、方法。 (項目58) 前記光の透過の選択的可能化は、所望の可視化モードに基づき、前記所望の可視化モードは、拡張現実モード、仮想現実モード、混合現実モード、ならびに拡張および仮想現実モードの組み合わせのうちの1つである、項目57に記載の方法。 (項目59) 前記ユーザが、前記全体的物理的オブジェクトのみを視認するように、前記頭部搭載型ユーザディスプレイデバイスがオフにされると、前記外側環境からの光の完全透過を可能にするステップをさらに含む、項目57に記載の方法。 (項目60) 特定の形状を有する少なくとも1つのディスプレイオブジェクトと関連付けられた光ビームを前記ユーザの眼の中に投影させるステップと、 前記ユーザが、前記外側環境内の物理的オブジェクトとともに、前記ディスプレイオブジェクトを視認するように、前記少なくとも1つのディスプレイオブジェクトの特定の形状に基づいて、前記外側環境からの光の透過を選択的に可能にするステップと、 をさらに含む、項目57に記載の方法。 (項目61) 前記ユーザが、前記全体的仮想オブジェクトのみを視認するように、前記外側環境からの光の透過を防止するステップをさらに含む、項目57に記載の方法。 (項目62) 2人またはそれを上回るユーザが、仮想世界データを含む仮想世界と相互作用することを可能にする方法であって、 第1のユーザが、第1の場所における第1のユーザデバイスを通して前記仮想世界にアクセスするために、遠隔アバターを作成するステップと、 前記第1のユーザが、前記第1の場所における前記第1のユーザデバイスを通して前記実際の地理的場所を体験することができるように、前記第1のユーザの遠隔アバターを実際の地理的場所に設置するステップと、 前記実際の地理的場所に設置された遠隔アバターを通して、前記実際の地理的場所における第2のユーザデバイスを通して前記仮想世界にアクセスする第2のユーザと相互作用するステップと、 を含む、方法。 (項目63) 前記第1の場所は、前記実際の地理的場所と異なる、項目62に記載の方法。 (項目64) 前記第1の場所は、実質的に、前記実際の地理的場所と同一である、項目62に記載の方法。 (項目65) 前記遠隔アバターは、前記実際の地理的場所における物理的オブジェクトと所定の関係を有する、項目62に記載の方法。 (項目66) 前記遠隔アバターは、前記実際の地理的場所における環境キューに応答する、項目62に記載の方法。 (項目67) 前記遠隔アバターの移動は、前記第1のユーザによって制御される、項目62に記載の方法。 (項目68) 前記遠隔アバターは、前記実際の地理的場所における第2のユーザと相互作用することができる、項目62に記載の方法。 (項目69) 方法であって、 頭部搭載型ユーザディスプレイデバイスを通して、前記ユーザの眼のそれぞれの視野画像を捕捉するステップと、 前記捕捉された視野画像内の点集合を抽出するステップと、 前記抽出された点集合と特定のオブジェクトを関連付けるステップと、 前記特定のオブジェクトの関連付けられた点集合に基づいて、異なるオブジェクトを認識するステップと、 を含む、方法。 (項目70) 2人またはそれを上回るユーザが仮想世界データを含む仮想世界と相互作用することを可能にするためのシステムであって、 1つまたはそれを上回るコンピューティングデバイスを備えるコンピュータネットワークであって、前記1つまたはそれを上回るコンピューティングデバイスは、メモリと、処理回路と、少なくとも部分的に前記メモリに記憶され、前記仮想世界データの少なくとも一部分を処理するように前記処理回路によって実行可能であるソフトウェアとを備える、コンピュータネットワークを備え、 前記仮想世界データの少なくとも第1の部分は、第1のユーザにローカルである第1のユーザ仮想世界が起源であり、前記第1のユーザ仮想世界の側面が前記第2のユーザに効果的に渡されるように、前記第2のユーザが第2のユーザの位置から第1の部分を体験し得るように、前記コンピュータネットワークは、前記第2のユーザに提示するために前記第1の部分をユーザデバイスに伝送するように動作可能である、システム。 (項目71) 前記第1および第2のユーザは、異なる物理的位置にある、項目70に記載のシステム。 (項目72) 前記第1および第2のユーザは、実質的に同一の物理的位置にある、項目70に記載のシステム。 (項目73) 前記仮想世界の少なくとも一部分は、前記仮想世界データの変更に応答して変化する、項目70に記載のシステム。 (項目74) 前記仮想世界の少なくとも一部分は、前記ユーザデバイスによって感知される物理的オブジェクトに応答して変化する、項目70に記載のシステム。 (項目75) 仮想世界データの前記変更は、前記物理的オブジェクトとの所定の関係を有する仮想オブジェクトを表す、項目74に記載のシステム。 (項目76) 仮想世界データの前記変更は、前記所定の関係に従って、前記第2のユーザに提示するために第2のユーザデバイスに提示される、項目75に記載のシステム。 (項目77) 前記仮想世界は、前記コンピュータサーバまたはユーザデバイスのうちの少なくとも1つによってレンダリングされるように動作可能である、項目70に記載のシステム。 (項目78) 前記仮想世界は、2次元形式で提示される、項目70に記載のシステム。 (項目79) 前記仮想世界は、3次元形式で提示される、項目70に記載のシステム。 (項目80) 前記ユーザデバイスは、拡張現実モードでユーザと前記仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能である、項目70に記載のシステム。 (項目81) 前記ユーザデバイスは、仮想現実モードでユーザと前記仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能である、項目70に記載のシステム。 (項目82) 前記ユーザデバイスは、拡張および仮想現実モードの組み合わせでユーザと前記仮想世界との間の相互作用を可能にするためのインターフェースを提供するように動作可能である、項目80に記載のシステム。 (項目83) 前記仮想世界データは、データネットワーク上で伝送される、項目70に記載のシステム。 (項目84) 前記コンピュータネットワークは、ユーザデバイスから前記仮想世界データの少なくとも一部分を受信するように動作可能である、項目70に記載のシステム。 (項目85) 前記ユーザデバイスに伝送される前記仮想世界データの少なくとも一部分は、前記仮想世界の少なくとも一部分を生成するための命令を備える、項目70に記載のシステム。 (項目86) 前記仮想世界データの少なくとも一部分は、処理または配信のうちの少なくとも1つのためにゲートウェイに伝送される、項目70に記載のシステム。 (項目87) 前記1つまたはそれを上回るコンピュータサーバのうちの少なくとも1つは、前記ゲートウェイによって配信される仮想世界データを処理するように動作可能である、項目86に記載のシステム。
Smart Images
Figure 2026104966000001_ABST
Abstract
Claims
[Claim 1] Systems and methods for augmented reality and virtual reality, etc.