JP6123120B2

JP6123120B2 - 拡張現実オブジェクトを発見するための方法および端末

Info

Publication number: JP6123120B2
Application number: JP2015554037A
Authority: JP
Inventors: 国▲慶▼ 李; 志皓金
Original assignee: ▲華▼▲為▼▲終▼端有限公司
Priority date: 2013-01-28
Filing date: 2014-01-23
Publication date: 2017-05-10
Anticipated expiration: 2034-01-23
Also published as: KR101748226B1; EP2865993A4; JP2016507746A; CN103968824B; KR20150108925A; EP2865993B1; US9436874B2; EP2865993A1; WO2014114244A1; CN103968824A; US20150104069A1

Description

本発明は、拡張現実(Augmented Reality、AR)技術の領域に関し、詳細には、ARオブジェクトを発見するための方法および端末に関する。

ARは、より直観的かつより鮮明な方法で、現実世界における物質に関係する情報を人々が取得するのを支援するために使用される技術であり、コンピュータシステムによって提供される情報を使用することによって、ユーザの現実世界の認識を拡張する技術である。ARは、一般的に、モバイル端末または頭部装着型ディスプレイシステム(Head Mounted Display、HMD)を使用することによって実装される。前述のデバイスのハードウェアは、少なくとも1つのカメラおよび1つのディスプレイデバイスを含み、全地球測位システム(Global Positioning System、GPS)、ジャイロスコープ、および光センサなど、測位システムおよび様々なセンサをさらに含むことができる。

ARオブジェクトを正確に発見するために前述のデバイスが使用される既存のソリューションでは、ARオブジェクトが、たとえば歴史的な建築など大きなオブジェクトである場合、ユーザにARオブジェクトを見つけさせるためにGPSを使用することで十分である。しかし、ARオブジェクトが、たとえば、屋内ブースにある複数のセルラー式電話のモデルまたは博物館にある複数の古美術品など小さなオブジェクトである場合、既存のソリューションは、ユーザにARオブジェクトと非ARオブジェクトを正確に識別させることができず、ユーザは、ARオブジェクトをさらに識別するために、ARオブジェクトの付近に到達した後に、周囲環境を手作業で撮影する必要がある。

本発明の実施形態の目的は、ARオブジェクトを発見するための方法およびシステムを提供することである。本発明の実施形態は、大きなARオブジェクトのみ位置を特定することができ、小さなARオブジェクトは正確に識別され得ないという従来技術の問題を解決することを意図するものである。

第1の態様によると、事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、端末の状態を決定するステップと、端末が検索状態にあると決定される場合、カメラを開始し写真を取得するステップと、取得された写真がARオブジェクトを含む場合、ARオブジェクトについて通知するステップとを含む、ARオブジェクトを発見するための方法が提供される。

第1の態様の第1の可能な実装方法では、事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定されることは、事前に生成されたナビゲーション経路により、ARオブジェクトの位置と端末の開始位置との間の距離を取得するステップと、ユーザによって事前に選択された移動方法により、移動方法の平均移動速度を取得するステップと、距離および平均移動速度により、端末がARオブジェクトの付近に到達するための予想される時間を計算するステップと、端末の開始位置から端末が開始し、予想される時間を移動した後に、ARオブジェクトの付近に到達すると決定するステップとを含む。

第1の態様または第1の態様の第1の可能な実装方法に関して、第2の可能な実装方法では、方法は、取得された写真がARオブジェクトを含んでいない場合、ナビゲーションおよび測位システムを使用することによって、端末の現在位置パラメータを収集するステップと、位置パラメータによりナビゲーション経路を修正するステップとをさらに含む。

第1の態様の第2の可能な実装方法に関して、第3の可能な実装方法では、位置パラメータは、端末の現在位置の測位パラメータ情報および端末の現在位置の明白な標示の少なくとも1つを含む。

第1の態様または第1の態様の任意の可能な実装方法に関して、第4の可能な実装方法では、端末がARオブジェクトの付近で不規則に移動し、最終的にARオブジェクトから離れると決定される場合、警告情報を出力するステップをさらに含む。

第1の態様または第1の態様の任意の可能な実装方法に関して、端末の状態を決定するステップは、
ジャイロスコープおよび事前に設定された機能が使用されるかどうかにより、端末が検索状態にあるかどうかを決定するステップ
を含む。

第1の態様の第4の可能な実装方法に関して、第5の可能な実装方法では、警告情報は、振動、呼出し信号、または光放出の少なくとも1つを含む。

第2の態様によると、事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、端末の状態を決定するように構成された状態決定ユニットと、状態決定ユニットが、端末が検索状態にあると決定する場合、カメラを開始し写真を取得するように構成された写真取得ユニットと、写真取得ユニットによって取得された写真がARオブジェクトを含む場合、ARオブジェクトについて通知するように構成された通知ユニットとを含む端末が提供される。

第2の態様の第1の可能な実装方法では、状態決定ユニットは、事前に生成されたナビゲーション経路により、ARオブジェクトの位置と端末の開始位置との間の距離を取得するように構成された距離取得サブユニットと、ユーザによって事前に選択された移動方法により、移動方法の平均移動速度を取得するように構成された速度取得サブユニットと、距離取得サブユニットによって取得された距離および速度取得サブユニットによって取得された平均移動速度により、端末がARオブジェクトの付近に到達するための予想される時間を計算するように構成された予想時間取得サブユニットと、端末が端末の開始位置から開始し、予想される時間を移動した後に、ARオブジェクトの付近に到達すると決定するように構成された決定サブユニットとを含む。

第2の態様または第2の態様の第1の可能な実装方法に関して、第2の可能な実装方法では、写真取得ユニットによって取得された写真がARオブジェクトを含んでいない場合、ナビゲーションおよび測位システムを使用することによって、端末の現在位置パラメータを収集するように構成されたパラメータ収集ユニットと、パラメータ収集ユニットによって収集された位置パラメータにより、ナビゲーション経路を修正するように構成された修正ユニットとをさらに含む。

第2の態様の第2の可能な実装方法に関して、第3の可能な実装方法では、位置パラメータは、端末の現在位置の測位パラメータ情報および端末の現在位置の明白な標示の少なくとも1つを含む。

第2の態様または第2の態様の任意の可能な実装方法に関して、第4の可能な実装方法では、端末は、端末がARオブジェクトの付近で不規則に移動し、最終的にARオブジェクトから離れると決定される場合、警告情報を出力するように構成された警告ユニットをさらに含む。

第2の態様または第2の態様の任意の可能な実装方法に関して、状態決定ユニットは、事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、ジャイロスコープおよび事前に設定された機能が使用されるかどうかにより、端末が検索状態にあるかどうかを決定するように特に構成されている。

第2の態様の第4の可能な実装方法に関して、第5の可能な実装方法では、警告情報は、振動、呼出し信号、または光放出の少なくとも1つを含む。

本発明の実施形態では、端末が検索状態にあると決定される場合、周囲環境の写真が自動的に取得され、それによって、ARオブジェクトに一致するように写真から1つまたは複数のオブジェクトを抽出し、小さなARオブジェクトを正確に発見するために、マーキングオブジェクトなしで、環境のAR処理手順の自動的な開始を実装して、これにより、ARオブジェクトを発見するための時間を大幅に短縮する。

本発明の実施形態による、ARオブジェクトを発見するための方法の実装を示す流れ図である。本発明の実施形態による、ARオブジェクトを発見するための方法においてステップS101の特定の実装を示す流れ図である。本発明の実施形態による、ARオブジェクトを発見するための方法において端末が検索状態にあるかどうかを決定する実装を示す流れ図である。本発明の別の実施形態による、ARオブジェクトを発見するための方法の実装を示す流れ図である。本発明の別の実施形態による、ARオブジェクトを発見するための方法の実装を示す流れ図である。本発明の実施形態による、ARオブジェクトを発見するための端末を示す構造的なブロック図である。本発明の実施形態による、ARオブジェクトを発見するための端末のハードウェアを示す構造的なブロック図である。本発明の実施形態による、ARオブジェクトを発見するための端末のハードウェアの実装を示すブロック図である。

本発明の目的、技術的ソリューション、および利点をより明瞭かつより理解しやすくするために、以下に、添付の図面および実施形態に関する本発明について、さらに詳細に記述する。本明細書に記述した特定の実施形態は、単に本発明について説明するために使用されるものであり、本発明を限定することを意図しないことを理解されるであろう。

図1は、本発明の実施形態によるARオブジェクトを発見するための方法の実装を示す流れ図であり、以下に詳細に記述する。

ステップS101では、事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、端末の状態を決定する。

端末の状態を決定するステップは、ジャイロスコープおよび事前に設定された機能が使用されるかどうかにより、端末が検索状態にあるかどうかを決定するステップを含む。

この実施形態では、端末は、入力命令を受信することによって、ユーザによって事前に選択されたARオブジェクトを取得し、ARオブジェクトの位置を決定することができ、それによって、ナビゲーションおよび測位システムを使用することによって、ならびに端末の現在位置(すなわち開始位置)およびARオブジェクトの位置により、ナビゲーション経路を生成して、ユーザをユーザによって事前に選択されたARオブジェクトの付近に到達させる。ナビゲーションおよび測位システムは、限定しないが、全地球測位システム(Global Positioning System、GPS)、全地球型衛星航法システム(Global Navigation Satellite System、GLONASS)、Beidouシステムなどを含む。

具体的には、端末は、端末に表示されたマップでユーザによって選択された位置を取得し、選択された位置を中心に、ARオブジェクトを検索し、ユーザの現在位置を中心に、レーダマップの検索を通じて取得されたARオブジェクトを表示する。ユーザは、レーダマップを使用することによって、1つまたは複数のARオブジェクトを選択することができ、それによって、ナビゲーション経路を生成し、ユーザを事前に選択された1つまたは複数のARオブジェクトの付近に到達させる。

具体的には、ナビゲーション経路は、ユーザによって事前に選択された移動方法により生成することができる。ユーザは、たとえば、歩く、自転車で移動する、または自動車で移動するなど、目的地に到着する交通手段を事前に選択する。この場合、端末の現在位置は、出発位置として使用することができ、ナビゲーション経路は、出発位置、目的地、およびユーザによって事前に選択された移動方法により生成され、それによって、ユーザをユーザによって選択されたARオブジェクトの付近領域に到着させる。ナビゲーションおよび測位システムの測位精度の問題のために、ARオブジェクトが小さなオブジェクトである場合、ナビゲーションおよび測位機能を使用することによって生成されたナビゲーション経路は、ユーザをARオブジェクトの付近に到達させることができるだけであり、ユーザがARオブジェクトの正確な位置に到達させられることは必ずしも保証されないことに留意されたい。

好ましくは、端末がナビゲーション経路を生成した後、カメラ、ジャイロスコープ、アクセラレータ、電子コンパス、およびGPSなど、端末の移動プロセスの間に使用することが求められない構成要素または機能モジュールは、一時的に無効化され得て、一時的に無効化されている構成要素または機能モジュールは、ARオブジェクトの付近に到達することを端末が決定した後、再び有効化される。ナビゲーションおよび測位システムは、端末の移動プロセスの間にナビゲーションに使用されない。代わりに、端末の電力消費を減らすために、GSM（登録商標）/3G信号および基地局が低精度なナビゲーションに使用される。

この実施形態では、ナビゲーションおよび測位システムを使用することによって、ナビゲーション経路を生成した後、端末は、生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達するかどうかを決定することができる。具体的には、図2に示すように、ステップS101は特に以下のとおりである。

ステップS201: 事前に生成されたナビゲーション経路により、ARオブジェクトの位置と端末の開始位置との間の距離を取得する。

端末は、生成されたナビゲーション経路により、ARオブジェクトの位置と端末の開始位置との間の距離を取得する。

ステップS202では、ユーザによって事前に選択された移動方法により、移動方法の平均移動速度を取得する。

たとえば、ユーザが歩くことを選択した場合、関係する構成されたパラメータにより、徒歩の平均移動速度(たとえば5km/h)が取得され得る。取得される平均移動速度は、異なる移動方法によりシステムで事前構成され得て、値が推定され得る。同様に、ユーザが歩く、走る、自転車で移動する、または別の方法で移動する場合、端末は速度を事前に記録し、統計データにより各移動方法でのユーザの平均速度を推定することができる。

ステップS203では、距離および平均移動速度により、端末がARオブジェクトの付近に到達するための予想される時間を計算する。

ステップS204では、端末が端末の開始位置から開始し、予想される時間を移動した後に、ARオブジェクトの付近に到達すると決定する。

この実施形態では、端末は、端末が目的地に接近している予測された瞬間にタスクアラームの形で、ARオブジェクトが近くにあることをユーザに知らせるために、推定を通じて取得された予想される時間によりタスクアラームを設定することができ、それによって、ARオブジェクトが現れるかどうかに注目するようにユーザに気づかせる。

好ましくは、予想される時間は、端末の実際の移動状況により修正され得る。たとえば、ユーザは、端末を運びARオブジェクトの付近に歩いて行くことをもともと計画しているが、ナビゲーション経路の途中で計画を変更し、残りのルートを運転によって達成すると決定する。移動方法が変更された場合、端末は、移動プロセスの間に、「徒歩」という移動方法が「運転」という移動方法に変更されたという、ユーザによって入力された移動方法変更指示を受信し、次いで、端末は、ユーザによって変更された移動方法の平均移動速度および残りのルートにより予想される時間を調整することができる。

ステップS102では、端末が検索状態にあると決定される場合、カメラを開始し、写真を取得する。

この実施形態では、端末がARオブジェクトの付近に到達するとステップS101で決定された後、端末の状態パラメータを収集するために、一時的に無効化されたジャイロスコープおよび光センサなどのセンサを再び有効化され得る。端末の現在の状態を決定するために、端末の状態パラメータが事前に設定された条件を満たすかどうかが決定され、それによって、端末が、通常の移動状態にあるか、または検索状態にあるかを決定する。端末が検索状態にあると決定される場合、すなわち、周囲環境のARオブジェクトを探すために、ユーザは現在、端末を使用することによって周囲環境を確認していると決定される。端末の状態パラメータが事前に設定された条件を満たすかどうかの決定に関係する内容は、本発明の次の実施形態に詳細に記述されているため、詳細は、本明細書に再び記述されていない。

検索状態にあると決定した後、端末は、カメラが写真を撮るか、または画像フレームを抽出するためにビデオストリームを収集するように自動的に有効化する。写真を撮るか、またはビデオストリームを取得するという前述の動作は、スマートフォンまたは頭部装着型のデバイスなどの端末を使用することによって実装され得る。さらに、写真またはビデオストリームの画像フレームが取得される前に、たとえば、拡大、輝度の調整、コントラストの調整など、写真または画像フレームは最適化され得る(処理手法は、限定しないが、前述の方法を含み、可視の内容の監視効果を改善する任意の方法の場合があり、可視の内容を人間の目で見ることにより適したものにする)。後に、ユーザが注目することができるN個の注目されたオブジェクトは、N個の注目されたオブジェクトがARオブジェクトを含むかどうかを決定するために、画像認識アルゴリズムを使用することによって写真から抽出され、ここでNは1以上の整数である。

具体的には、N個(Nは1以上の整数である)の注目されたオブジェクトを写真から抽出され得る場合、事前に写真でM個(ここでMは1以上かつN以下の整数である)の注目されたオブジェクトを処理するために、システムは、高速で低精度な認識アルゴリズムを使用し、次いで、注目されたオブジェクトがARオブジェクトを含むかどうかを決定するために、正確な認識アルゴリズムを使用することによって、残りのN〜M個の注目されたオブジェクトを識別することができる。この実施形態では、高速で低精度な認識アルゴリズムは、ARオブジェクトとして非ARオブジェクトを識別する場合があるが、非ARオブジェクトとしてARオブジェクトを識別しない場合がある一方、正確な認識アルゴリズムは、ARオブジェクトおよび非ARオブジェクトを正確に識別することができる。しかしながら、これには比較的長い時間がかかる。したがって、前述の処理手法を使用することによって、全体的な処理時間は、識別精度が保証されることを前提に短縮される。

好ましくは、ARオブジェクトを発見するためのデバイスとして頭部装着型のデバイスが使用される場合、頭部装着型のデバイスは、ユーザの視野の角度における変更を検出することができるので、写真を取得した後に、ユーザが現在の視野の角度を迅速に変更したことを発見した場合、すなわち、ユーザが、注目状態にいる時間は、しきい値T未満である場合、現在の写真はもはや最適化されず、単に保存され、ユーザが注目状態にいる時間がしきい値Tより大きい場合、ユーザは、現在の視野にあるオブジェクトに興味を持っていると決定される。すなわち、取得された現在の写真は、おそらくARオブジェクトを含んでおり、次の処理が写真に対して実行される。

ステップS103では、取得された写真がARオブジェクトを含む場合、ARオブジェクトについて通知する。

本発明のこの実施形態では、端末が検索状態にあることが決定されると、周囲環境の写真が自動的に取得され、それによって、ARオブジェクトに一致するように写真から1つまたは複数のオブジェクトを抽出し、小さなARオブジェクトを正確に発見するために、マーキングオブジェクトなしで環境のAR処理手順の自動開始を実装し、これにより、ARオブジェクトを発見するための時間を大幅に短縮する。

前述のステップS101からS103およびステップS201からS204の実行体は端末であることに留意されたい。

以下に、本発明のこの実施形態により、端末の状態パラメータが事前に設定された条件を満たすかどうかを決定する特定の実施形態について詳細に記述する。

本発明の実施形態では、端末の状態パラメータは、出発位置からARオブジェクトの付近への端末の平均移動速度を含み、かつ端末の現在の移動速度を含むことができ、この場合、具体的に端末が検索状態にあるかどうかを決定するステップは、
端末の現在の移動速度が平均移動速度より低い差値が事前に設定されたしきい値より大きいかどうかを決定するステップ
である。

この実施形態では、端末の速度を監視することによって、および端末の速度の変更状況により、端末が検索状態にあるかどうかが決定される。具体的には、端末の平均移動速度は、移動時間および端末がARオブジェクトの付近に到達する前の蓄積された実際の移動距離により、計算を通じて取得することができるか、またはユーザによって事前に選択された移動方法の平均移動速度は、直接的に取得することができ、端末の現在の移動速度が平均移動速度より低いことによる差値が、事前に設定されたしきい値より大きいかどうかにより、端末の移動速度が明らかに減少しているかどうかが決定される。端末の移動速度が明らかに減少している場合、端末は検索状態にあることが考えられる。

さらに、好ましくは、端末の状態パラメータは、端末の事前に設定された機能の実行状態をさらに含む。端末の移動速度は、おそらく一時的に呼出しに応答したり、またはショートメッセージサービスのメッセージをチェックしたりするなどのために明らかに低下することを考えて、具体的に端末が検索状態にあるかどうかを決定するステップは、
端末の現在の移動速度が平均移動速度より低い差値が事前に設定されたしきい値より大きい場合、事前に設定された機能が無効化されている状態にあるかどうかを決定するステップ
である。

この実施形態では、事前に設定された機能は、限定しないが、音声通話、ショートメッセージサービスのメッセージ、マルチメディアメッセージサービス、アラーム、およびカレンダーイベントなどの事前に設定された機能を含む。事前に設定された機能の1つまたは複数が使用されていると決定された場合、そのユーザは、疑わしいARオブジェクトに注目しているので、端末の移動速度は低下しないことが決定され、端末の移動速度の変更の監視が再開される。すべての事前に設定された機能が無効化されている状態であると決定される場合、端末が検索状態にあることが決定され得る。

さらに、好ましくは、端末の状態パラメータは、端末の移動状態をさらに含み、この場合、具体的に端末が検索状態にあるかどうかを決定するステップは、
端末の現在の移動速度が平均移動速度より低い差値が事前に設定されたしきい値より大きい場合、端末の移動状態が安定した状態かどうかを決定するステップ
である。

具体的には、ジャイロスコープなどのセンサは、スマートフォンまたは頭部装着型のデバイスが安定した状態かどうかを決定するために使用され得る。端末の移動状態が安定した状態である場合、ユーザがオブジェクトに注目していることがさらに決定される。

さらに、端末の移動状態が安定した状態かどうかを決定するステップは、特に、
端末の移動状態が安定した状態である時間が、事前に設定された時間のしきい値より大きいかどうかを決定するステップ
の場合がある。

この実施形態では、端末の移動状態の変わりやすさを考えると、ジャイロスコープによって収集されたデータが、端末の移動状態が安定した状態にあることを示している場合、端末の移動状態が安定した状態である時間が事前に設定された時間のしきい値より大きいかどうかがさらに決定され得る。それが現在の時間のしきい値未満である場合、前記端末が検索状態にないことが決定され、端末の移動状態が安定した状態である時間が、事前に設定された時間のしきい値より大きくなるまで、端末が検索状態にあることが決定される。

好ましくは、端末がユーザの瞳孔監視機能をさらに持っている場合、ユーザがオブジェクトを凝視しているかどうかを識別するために、瞳孔のサイズの変更状況が使用され得る。たとえば、ユーザがある物体に注目している場合、目の瞳孔が広がる。このようにして、補助的な参照のためにユーザの瞳孔のサイズを撮影するために、端末の前向きのカメラが使用され得て、それによって端末の状態を決定する際に精度をさらに改善する。

図3は、本発明の実施形態により、端末がARオブジェクトを発見するための方法において、検索状態にあるかどうかを決定する実装の流れ図を示している。図3に示した実施形態では、端末の移動速度が明らかに低下したことが決定された後、端末のすべての状態パラメータが満たす必要のあるすべての事前に設定された条件に関して、端末の状態を決定する精度は、図3に示された実施形態を使用することによって、最大限まで改善され得る。明らかに、実際の決定プロセスでは、図3に示された実施形態のステップS302およびS303の実行順序は限定されておらず、また、S302のみまたはS303のみが実行される場合があり、本明細書では1つずつ限定されていない。具体的には、図3に示すように、
ステップS301では、差値が端末の現在の移動速度が平均移動速度より低い値が事前に設定された値より大きいかどうかを決定する。値が事前に設定された値より大きい場合、ステップS302を実行する。値が事前に設定された値より大きくない場合、端末が検索状態にないと決定する。

ステップS302では、端末の事前に設定された機能が無効化されている状態かどうかを決定する。「Yes」の場合、ステップS303を実行する。そうでない場合、端末が検索状態にないと決定する。

ステップS303では、端末の移動状態が安定した状態かどうかを決定する。端末の移動状態が安定した状態である場合、ステップS304を実行する。端末の移動状態が安定した状態にない場合、端末が検索状態にないと決定する。

さらに、ステップS303では、端末の移動状態が安定した状態であることが決定された後、端末の移動状態が安定した状態である時間が事前に設定された時間のしきい値より大きいかどうかをさらに決定する。端末の移動状態が安定した状態である時間が事前に設定された時間のしきい値より大きい場合、ステップS304を実行する。

ステップS304では、端末が検索状態にあると決定する。

本発明の図3に示した実施形態では、ステップS301の後のすべての関係するステップは、端末のセンサまたは関係する検出装置によって実装されるので、好ましくは、端末の移動速度が明らかに変更されることがステップS301で決定される前に、端末のセンサまたは関係する検出装置は、無効化された状態またはスタンバイ状態にある場合があり、端末装置の電力消費を減らすために、ユーザの移動速度が明らかに変更されることがステップS301で決定された後に、端末のセンサまたは関係する検出装置は、検出を実行するために再び有効化され得ることに留意されたい。

前述のステップS301からS304の実行体が端末であることに留意されたい。

図4は、本発明の別の実施形態による、ARオブジェクトを発見するための方法を実装する手順を示している。本発明の図1に示した実施形態に基づいて、この実施形態は、1つまたは複数の注目されたオブジェクトは、ARオブジェクトを含んでいないことが識別される状況について記述する。詳細は以下に記述されている。

ステップS104では、取得された写真がARオブジェクトを含んでいない場合、ナビゲーションおよび測位システムを使用することによって、端末の現在位置パラメータを収集する。

ステップS105では、位置パラメータによりナビゲーション経路を修正する。

この実施形態では、抽出された注目されたオブジェクトがARオブジェクトを含んでいない場合、端末がARオブジェクトの付近に正確に案内されるかどうかが考えられる。この場合、現在位置の位置パラメータは、ナビゲーション経路を修正するために収集される。具体的には、位置パラメータは、限定しないが、端末の現在位置のGPSパラメータ、および端末の現在位置の明白な標示などのパラメータ情報を含み、ここで、GPSパラメータは、現在位置がARオブジェクトの付近に位置されるかどうかを決定するために使用され得て、現在位置の明白な標示は、現在位置がARオブジェクトの付近にあるかどうかを決定するために、システムにおいて、ARオブジェクトの付近の明白な標示に一致させるために使用され得るため、ナビゲーション経路は、間違った位置の場合に再修正され、それによってユーザを前進させる。

ユーザがARオブジェクトの付近にいるが、ARオブジェクトの特定の位置を確認することができない場合を考えると、図5は、本発明の別の実施形態による、ARオブジェクトを発見するための方法を実装する手順を示している。具体的には、ステップS101の前に、またはステップS103の後に、またはステップS105の後に、方法は、以下をさらに含む。

ステップS106: 端末がARオブジェクトの付近で不規則に移動し、最終的にARオブジェクトから離れると決定される場合、警告情報を出力する。

警告情報は、振動、呼出し信号、または光放出の少なくとも1つを含むため、ユーザは、現在の環境においてARオブジェクトの特定の位置を学習することができ、ARオブジェクトを発見することにさらにつながる。

あるいは、ARオブジェクトの付近に到達することをユーザに通知するために、ARタスクアラームが使用される場合、ARタスクアラームが鳴り出すとき、またはARタスクアラームが鳴り出す前、またはARタスクアラームが鳴り出した後、ARオブジェクトが発見されたことに気づくようにユーザに知らせるために、警告情報を出力することができる。

図6は、本発明の実施形態による、ARオブジェクトを発見するための端末の構造的なブロック図を示している。端末は、スマートモバイル端末または頭部装着型のデバイスなどのAR端末に位置され得て、本発明の図1から図5の実施形態に記述した方法を実行するように構成される。記述を容易にするために、この実施形態に関係する部分だけが示されている。

図6を参照すると、端末は、
事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、端末の状態を決定するように構成された状態決定ユニット61と、
端末が検索状態にあるとことを状態決定ユニット61が決定する場合、カメラを開始し写真を取得するように構成された写真取得ユニット62と、
写真取得ユニット62によって取得された写真がARオブジェクトを含んでいる場合、ARオブジェクトについて通知するように構成された通知ユニット63と
を含む。

必要に応じて、状態決定ユニット61は、
事前に生成されたナビゲーション経路により、ARオブジェクトの位置と端末の開始位置との間の距離を取得するように構成された距離取得サブユニットと、
ユーザによって事前に選択された移動方法により、移動方法の平均移動速度を取得するように構成された速度取得サブユニットと、
距離取得サブユニットによって取得された距離および速度取得サブユニットによって取得された平均移動速度により、端末がARオブジェクトの付近に到達する予想される時間を計算するように構成された予想時間取得サブユニットと、
端末が端末の開始位置から開始し、予想される時間を移動した後に、ARオブジェクトの付近に到達すると決定するように構成された決定サブユニットと
を含む。

必要に応じて、状態決定ユニット61は、事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、ジャイロスコープおよび事前に設定機能が使用されるかどうかにより、端末が検索状態にあるかどうかが決定されるように特に構成される。

必要に応じて、端末は、
写真取得ユニット62によって取得された写真がARオブジェクトを含んでいない場合、ナビゲーションおよび測位システムを使用することによって、端末の現在位置パラメータを収集するように構成されたパラメータ収集ユニットと、
パラメータ収集ユニットによって収集された位置パラメータにより、ナビゲーション経路を修正するように構成された修正ユニットと
をさらに含む。

必要に応じて、位置パラメータは、端末の現在位置の測位パラメータ情報および端末の現在位置の明白な標示の少なくとも1つを含む。

必要に応じて、端末は、
端末がARオブジェクトの付近で不規則に移動し、最終的にARオブジェクトから離れると決定される場合、警告情報を出力するように構成された警告ユニット
をさらに含む。

さらに、警告情報は、振動、呼出し信号、または光放出の少なくとも1つを含む。

図7は、本発明の実施形態による、ARオブジェクトを発見するための端末のハードウェアの構造的なブロック図を示している。端末は、スマートモバイル端末または頭部装着型のデバイスなどの端末の場合があり、本発明の図1から図5の実施形態に記述した方法を実行するように構成される。記述を容易にするために、この実施形態に関係する部分だけが示されている。

図7を参照すると、端末は、プロセッサ71、メモリ72、およびバス73を含む。プロセッサ71およびメモリ72は、バス73を使用することによって相互に通信し、メモリ72は、プログラムを格納するように構成され、プロセッサ71は、メモリ72に格納されたプログラムを実行するように構成される。実行される場合、プログラムは、
事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、端末の状態を決定し、
端末が検索状態にあると決定される場合、カメラを開始し写真を取得し、
取得された写真がARオブジェクトを含む場合、ARオブジェクトについて通知する
ために使用される。

必要に応じて、端末の状態を決定するステップは、
ジャイロスコープおよび事前に設定された機能が使用されるかどうかにより、端末が検索状態にあるかどうかを決定するステップ
を含む。

必要に応じて、事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定されることは、
事前に生成されたナビゲーション経路により、ARオブジェクトの位置と端末の開始位置との間の距離を取得するステップと、
ユーザによって事前に選択された移動方法により、移動方法の平均移動速度を取得するステップと、
距離および平均移動速度により、端末がARオブジェクトの付近に到達するための予想される時間を計算するステップと、
端末が端末の開始位置から開始し、予想される時間を移動した後に、ARオブジェクトの付近に到達すると決定するステップと
を含む。

必要に応じて、実行されるときに、プログラムは、
取得された写真がARオブジェクトを含んでいない場合、ナビゲーションおよび測位システムを使用することによって、端末の現在位置パラメータを収集し、
位置パラメータによりナビゲーション経路を修正する
ためにさらに使用される。

必要に応じて、実行されるときに、プログラムは、
端末がARオブジェクトの付近で不規則に移動し、最終的にARオブジェクトから離れると決定される場合、警告情報を出力する
ためにさらに使用される。

必要に応じて、警告情報は、振動、呼出し信号、または光放出の少なくとも1つを含む。

本発明の図6に示した実施形態に基づいて、図8は、本発明の実施形態による、ARオブジェクトを発見するためのシステムにおいてハードウェアの実装のブロック図を提供する。図8に示すように、本発明の図6の実施形態に記述した装置の関係する機能は、本明細書に再び記述されていない、図8に別々に展開した関係するハードウェア機能モジュールを使用することによって実装され得る。

前述の記述は、単に本発明の例示的な実施形態であり、本発明を限定することを意図するものではない。本発明の精神および原理から逸脱することなく行われた任意の修正、等価な交換、または改善は、本発明の保護範囲内にあるものとする。

61 状態決定ユニット
62 写真取得ユニット
63 通知ユニット
71 プロセッサ
72 メモリ
73 バス

Claims

拡張現実（AR）オブジェクトを発見するための方法であって、
事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、前記端末の状態を決定するステップと、
前記端末が検索状態にあると決定される場合、カメラを開始し写真を取得するステップと、
画像認識アルゴリズムを使用することによってＮ個の注目されたオブジェクトを前記写真から抽出するステップであって、Ｎは1以上の整数であるステップと、
高速で低精度な認識アルゴリズムを使用して、前記Ｎ個の注目されたオブジェクトのうちＭ個の注目されたオブジェクトを処理するステップであって、Ｍは1以上かつＮ以下の整数であるステップと、
正確な認識アルゴリズムを使用して、前記Ｎ個の注目されたオブジェクトのうちＮ−Ｍ個の注目されたオブジェクトを処理するステップと、
前記写真の前記Ｍ個の注目されたオブジェクトおよびＮ−Ｍ個の注目されたオブジェクトが前記ＡＲオブジェクトを含むか否かを決定するステップと、
前記取得された写真が前記ARオブジェクトを含む場合、前記ARオブジェクトについて通知するステップと
を含む方法。
事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定されることは、
前記事前に生成されたナビゲーション経路により、前記ARオブジェクトの位置と前記端末の開始位置との間の距離を取得するステップと、
ユーザによって事前に選択された移動方法により、前記移動方法の平均移動速度を取得するステップと、
前記距離および前記平均移動速度により、前記端末が前記ARオブジェクトの前記付近に到達するための予想される時間を計算するステップと、
前記端末が前記端末の開始位置から開始し、前記予想される時間を移動した後に、前記ARオブジェクトの前記付近に到達すると決定するステップと
を含む請求項1に記載の方法。
前記取得された写真が前記ARオブジェクトを含んでいない場合、ナビゲーションおよび測位システムを使用することによって、前記端末の現在位置パラメータを収集するステップと、
前記位置パラメータにより前記ナビゲーション経路を修正するステップと
をさらに含む請求項1または2に記載の方法。
前記位置パラメータは、前記端末の現在位置の測位パラメータ情報および前記端末の前記現在位置の明白な標示の少なくとも1つを含む請求項3に記載の方法。
前記端末の状態を決定するステップは、
ジャイロスコープおよび事前に設定された機能が使用されるかどうかにより、前記端末が前記検索状態にあるかどうかを決定するステップ
を含む請求項1から4のいずれか一項に記載の方法。
前記端末が前記ARオブジェクトの前記付近で不規則に移動し、最終的に前記ARオブジェクトから離れると決定される場合、警告情報を出力するステップ
をさらに含む請求項1から5のいずれか一項に記載の方法。
事前に生成されたナビゲーション経路および端末の移動速度により、事前に選択されたARオブジェクトの付近に到達すると決定される場合、前記端末の状態を決定し、
前記状態決定ユニットが前記端末が検索状態にあると決定された場合、カメラを開始し写真を取得し、
画像認識アルゴリズムを使用することによってＮ個の注目されたオブジェクトを前記写真から抽出し、Ｎは1以上の整数であって、
高速で低精度な認識アルゴリズムを使用して、前記Ｎ個の注目されたオブジェクトのうちＭ個の注目されたオブジェクトを処理し、Ｍは1以上かつＮ以下の整数であって、
正確な認識アルゴリズムを使用して、前記Ｎ個の注目されたオブジェクトのうちＮ−Ｍ個の注目されたオブジェクトを処理し、
前記写真の前記Ｍ個の注目されたオブジェクトおよびＮ−Ｍ個の注目されたオブジェクトが前記ＡＲオブジェクトを含むか否かを決定し、
取得された前記写真が前記ARオブジェクトを含む場合、前記ARオブジェクトについて通知するように構成されたコンピュータプロセッサ
を含む端末。
前記コンピュータプロセッサは、
前記事前に生成されたナビゲーション経路により、前記ARオブジェクトの位置と前記端末の開始位置との間の距離を取得し、
ユーザによって事前に選択された移動方法により、前記移動方法の平均移動速度を取得し、
前記距離および前記平均移動速度により、前記端末が前記ARオブジェクトの前記付近に到達するための予想される時間を計算し、
前記端末が前記端末の開始位置から開始し、前記予想される時間を移動した後に、前記ARオブジェクトの前記付近に到達すると決定するように構成される
を含む請求項7に記載の端末。
前記コンピュータプロセッサは、
前記写真が前記ARオブジェクトを含んでいない場合、ナビゲーションおよび測位システムを使用することによって、前記端末の現在位置パラメータを収集し、
収集された前記位置パラメータにより、前記ナビゲーション経路を修正するように構成される、
請求項7または8に記載の端末。
前記位置パラメータは、前記端末の現在位置の測位パラメータ情報および前記端末の前記現在位置の明白な標示の少なくとも1つを含む請求項9に記載の端末。
前記コンピュータプロセッサは、前記事前に生成されたナビゲーション経路および前記端末の移動速度により、前記事前に選択されたARオブジェクトの付近に到達すると決定される場合、ジャイロスコープおよび事前に設定された機能が使用されるかどうかにより、前記端末が前記検索状態にあるかどうかを決定するように特に構成されている請求項7から10のいずれか一項に記載の端末。
前記コンピュータプロセッサは、
前記端末が前記ARオブジェクトの前記付近で不規則に移動し、最終的に前記ARオブジェクトから離れると決定される場合、警告情報を出力するように構成される
請求項7から11のいずれか一項に記載の端末。