JP6304240B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents
表示制御装置、表示制御方法およびプログラム Download PDFInfo
- Publication number
- JP6304240B2 JP6304240B2 JP2015509966A JP2015509966A JP6304240B2 JP 6304240 B2 JP6304240 B2 JP 6304240B2 JP 2015509966 A JP2015509966 A JP 2015509966A JP 2015509966 A JP2015509966 A JP 2015509966A JP 6304240 B2 JP6304240 B2 JP 6304240B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- real space
- display control
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 35
- 238000003384 imaging method Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 230000003993 interaction Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000003760 hair shine Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
1.システムおよび装置の構成
1−1.システム構成
1−2.装置構成
2.実空間画像の共有およびインタラクション
2−1.インタラクションの概念
2−2.利用されうる技術
3.ウェアラブル端末での表示例
3−1.マージビュー
3−2.カメラビュー
3−3.キャリブレーション
4.タブレット端末での表示例
5.マージビューとカメラビューとの切り替え
6.表示可能範囲外にあるアノテーションの表示
7.補足
(1−1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図1を参照すると、システム10は、サーバ100と、クライアント200〜500とを有する。
(2)ディスプレイなどの表示手段と、タッチパネルなどの操作手段とを有し、(1)の装置から提供された画像をサーバ100から取得し、ユーザの閲覧に供するとともに、ユーザによる画像へのアノテーション入力を受け付ける装置。
(3)ディスプレイなどの表示手段を有し、(2)の装置によって入力が受け付けられたアノテーションを実空間に表示させる装置。
図2は、本開示の一実施形態に係る装置の概略的な構成を示す図である。図2を参照すると、装置900は、プロセッサ910、およびメモリ920を含む。装置900は、さらに、表示部930、操作部940、通信部950、撮像部960、またはセンサ970を含みうる。これらの構成要素は、バス980によって相互に接続される。装置900は、例えば、上記のサーバ100を構成するサーバ装置、およびクライアント200〜500を実現しうる。
次に、図3A〜図4を参照して、本開示の一実施形態に係るインタラクションの基本的な概念について説明する。
図3Aは、本開示の一実施形態における撮像画像の共有の例を示す図である。図示された例では、ウェアラブル端末200のカメラ260(撮像部)によって撮像された実空間の画像がサーバ100を介してタブレット端末300にストリーミング配信され、ディスプレイ330(表示部)に画像1300として表示される。このとき、ウェアラブル端末200では、撮像された実空間の画像がディスプレイ230(表示部)に表示されるか、実空間の像がディスプレイ230を透過して直接視認される。このときディスプレイ230に表示されている像(透過して視認される背景を含む)を、以下では画像1200として参照する。
本実施形態では、上述した実空間画像の共有とインタラクションを実現するにあたって、いくつかの技術が利用される。まず、本実施形態では、送信側の装置において、送信される実空間の画像データに空間情報が付加される。空間情報は、送信側の装置の撮像部(図3Aおよび図3Bの例ではウェアラブル端末200のカメラ260、図4の例ではタブレット端末300aのカメラ)が実空間の中でどのように移動しているかを推定することを可能にする情報である。
上記で説明した技術には、いくつかの利点がある。例えば、ウェアラブル端末200で実空間の画像が取得されてから、タブレット端末300で当該画像に対するアノテーションが入力され、さらにそのアノテーションがウェアラブル端末200に送信されるまでには時間差が生じていることが多い。
また、例えば、ウェアラブル端末200で表示される実空間の画像1200が、ディスプレイ230を透過して直接視認されるものであったり、ディスプレイ230の外側に見えている実空間の像と整合させてディスプレイ230に表示されるものであったりする場合、画像1200の範囲が、ウェアラブル端末200のカメラ260が撮像する実空間の画像の範囲よりも狭い(つまり、ウェアラブル端末200のユーザが視認している範囲よりも、撮像画像の範囲の方が広い)場合がありうる。
次に、図6〜図9を参照して、本開示の一実施形態におけるウェアラブル端末での表示例について説明する。
図7および図8は、本開示の一実施形態に係るウェアラブル端末におけるマージビューの例を示す図である。図示された例では、ディスプレイ230の領域でも他のレンズ部分231を通して視認される実空間の像に連続した像が表示されている(透過している場合を含む)状態で、ディスプレイ230に実空間の位置または実空間のオブジェクトに対するアノテーション(ポインタ1210およびコメント1220)が表示されている。このとき、ディスプレイ230の表示は、周囲の実空間の像に没入されている。従って、本明細書では、このようなディスプレイ230の表示によって観察されるビューをマージビューともいう。
図9は、本開示の一実施形態に係るウェアラブル端末におけるカメラビューの例を示す図である。図示された例では、ディスプレイ230の領域において、他のレンズ部分231を通して視認される実空間の像とは独立して、カメラ260によって撮像された実空間の画像2300が表示され、画像2300に実空間の位置または実空間のオブジェクトに対するアノテーション(ポインタ1210およびコメント1220)が表示されている。このとき、ディスプレイ230の表示は、周囲の実空間の像にかかわらず、カメラ260の撮像画像が表示されている。従って、本明細書では、このようなディスプレイ230の表示によって観察されるビューをカメラビューともいう。
図10は、本開示の一実施形態におけるウェアラブル端末でのキャリブレーション手順の例を示す図である。図示された例では、ユーザが、他の端末装置201に表示されたグラフィックGを、ウェアラブル端末200を通して視認する。このとき、レンズ部分231に含まれるディスプレイ230には所定の位置および形状の基準線2330が表示され、ユーザはグラフィックGが基準線2330に一致するように端末装置201を移動および回転させる。グラフィックGが基準線2330にほぼ一致したところで、ユーザはウェアラブル端末200の操作部に対して所定の決定操作を実行する。あるいは、ユーザは端末装置201の操作部に対して所定の決定操作を実行し、その情報が端末装置201の通信部からサーバ100、またはサーバ100を経由してウェアラブル端末200に伝送されてもよい。
次に、図11を参照して、本開示の一実施形態におけるタブレット端末での表示例について説明する。
次に、図12〜図15を参照して、本開示の一実施形態におけるマージビューとカメラビューとの切り替えについて説明する。マージビューとカメラビューは、上記の例で説明したように、例えばウェアラブル端末200のディスプレイ230の表示によって提供される2種類のビューである。なお、以下の例では、例としてウェアラブル端末200のディスプレイ230によるマージビューとカメラビューとの切り替えについて説明するが、本開示の実施形態はこの例には限られない。例えば、上記のようにタブレット端末300においてもマージビューおよびカメラビューの表示が可能であるため、同様にビューを切り替えることが可能である。
続いて、図16〜図25を参照して、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
図16〜図18は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第1の例を示す図である。
図19および図20は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第2の例を示す図である。この第2の例では、表示可能範囲外にアノテーションの対象が存在することに加えて、アノテーションの対象までの距離が表示される。
図21および図22は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第3の例を示す図である。
図23は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第4の例を示す図である。図示された例では、アノテーションの対象であるリンゴ(APPLE)が画像2300の外にある場合に、リンゴにより近い画像2300の端部分1260が光る。例えば、画像2300aでは、リンゴが画面の右下の方向にあるため、右下の端部分1260aが光る。また、画像2300bでは、リンゴが画面の左上の方向にあるため、左上の端部分1260bが光る。画像2300cでは、リンゴが画面の左下の方向にあるため、左下の端部分1260cが光る。
図24は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第5の例を示す図である。図示された例では、アノテーションとしてコメント1220が表示されている。しかし、コメント1220は横に長いため、画像2300には表示しきれていない。図では、これによって生じる非表示部分1221も示されている。この場合のコメント1220の非表示部分1221も、表示可能範囲外にあるアノテーションであるといえる。この非表示部分1221の存在を示すために、コメント1220が画像2300の端部に当接した部分に発光領域1280が表示される。
図25は、本開示の一実施形態における表示可能範囲外にあるアノテーションの表示の第6の例を示す図である。図示された例では、道案内で方向を示す矢印のアノテーション1210が表示されている。このアノテーション1210は、例えばユーザが画像2300bを見ている場合には視認可能であるが、画像2300aを見ている場合には視認可能ではない。そこで、ユーザが画像2300aを見ている場合には、アノテーション1210の影1290が表示されうる。影1290が表示されることによって、画像2300aを見ているユーザは、画面の上方の外にアノテーションが存在することを認識することができる。
本開示の実施形態は、例えば、上記で説明したような表示制御装置(サーバまたはクライアント)、システム、画像処理装置またはシステムで実行される表示制御方法、表示制御装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
(1)端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させる表示制御部を備え、
前記表示制御部は、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第1の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第2の画像から選択する表示制御装置。
(2)前記第2の画像は、前記第1の画像よりも広い前記実空間の範囲を含み、
前記表示制御部は、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲に含まれる場合には前記仮想オブジェクトを含む前記第1の画像を前記表示部に表示させ、前記仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲には含まれず前記第2の画像の範囲には含まれる場合には前記仮想オブジェクトを含む前記第2の画像を前記表示部に表示させる、前記(1)に記載の表示制御装置。
(3)前記表示制御部は、前記表示部において透過される前記実空間の像に前記仮想オブジェクトを重畳させることによって前記第1の画像を表示させる、前記(2)に記載の表示制御装置。
(4)前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像に前記仮想オブジェクトを加えた画像を前記第1の画像として表示させる、前記(2)に記載の表示制御装置。
(5)前記表示制御部は、前記仮想オブジェクトが設定されていない場合には前記第1の画像を前記表示部に表示させる、前記(2)に記載の表示制御装置。
(6)前記表示制御部は、前記表示部において前記実空間の像を透過させることによって前記第1の画像を表示させる、前記(1)に記載の表示制御装置。
(7)前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像を前記第1の画像として表示させる、前記(1)に記載の表示制御装置。
(8)前記表示部は、前記実空間の像を透過させることが可能であり、
前記表示制御部は、前記実空間に存在するグラフィックを前記表示部を透過して視認した場合の第1の形状と前記撮像画像に含まれる前記グラフィックの第2の形状とを比較することによって、前記撮像画像を前記実空間の像に整合させるためにどのように変形するかを決定する、前記(7)に記載の表示制御装置。
(9)前記表示制御部は、固定された前記第1の形状を示す基準線を前記表示部に表示させ、前記表示部を透過して視認される前記グラフィックが前記基準線に合わせられた場合に前記第1の形状と前記第2の形状とを比較する、前記(8)に記載の表示制御装置。
(10)前記端末装置におけるユーザ操作に基づく情報を取得する操作取得部をさらに備え、
前記表示制御部は、前記ユーザ操作に応じて前記第1の画像または前記第2の画像のいずれかを前記表示部に表示させる、前記(1),(6)〜(9)のいずれか1項に記載の表示制御装置。
(11)前記第2の画像は、前記第1の画像よりも広い前記実空間の範囲を含み、
前記表示制御部は、前記第1の画像が前記表示部に表示されていて、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲に含まれず前記第2の画像の範囲には含まれる場合に、前記仮想オブジェクトの存在を示す通知を前記第1の画像に表示させる、前記(10)に記載の表示制御装置。
(12)前記表示制御部は、前記仮想オブジェクトの全部が前記第1の画像の範囲の外にある場合に前記通知を表示させる、前記(11)に記載の表示制御装置。
(13)前記通知は、前記第1の画像の範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、前記(12)に記載の表示制御装置。
(14)前記通知は、前記第1の画像の範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、前記(13)に記載の表示制御装置。
(15)前記仮想オブジェクトは、前記仮想オブジェクトが配置される前記実空間の位置を示すポインタと、前記位置に関する情報とを含み、
前記通知は、前記情報を含む、前記(12)に記載の表示制御装置。
(16)前記通知は、前記撮像画像から抽出された、前記仮想オブジェクトが配置される前記実空間の位置の前記実空間の画像を含む、前記(12)に記載の表示制御装置。
(17)前記第2の画像は、前記実空間に存在する実オブジェクトを基準にして前記撮像画像を拡大した画像である、前記(1),(6)〜(10)のいずれか1項に記載の表示制御装置。
(18)前記表示制御部は、前記第1の画像の少なくとも前記実オブジェクトを含む部分を前記実オブジェクトに対して正対するように変形および拡大することによって前記第2の画像を生成する、前記(17)に記載の表示制御装置。
(19)端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるプロセッサが、
前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第1の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第2の画像から選択すること
を含む表示制御方法。
(20)端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるコンピュータに、
前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第1の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第2の画像から選択する機能
を実現させるためのプログラム。
100 サーバ
200,300,400,500,600,700 クライアント
900 装置
910 プロセッサ
920 メモリ
930 表示部
940 操作部
950 通信部
960 撮像部
970 センサ
Claims (19)
- 端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させる表示制御部を備え、
前記表示制御部は、前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第1の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第2の画像から選択し、
前記第2の画像は、前記第1の画像よりも広い前記実空間の範囲を含み、
前記表示制御部は、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲に含まれる場合には前記仮想オブジェクトを含む前記第1の画像を前記表示部に表示させ、前記仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲には含まれず前記第2の画像の範囲には含まれる場合には前記仮想オブジェクトを含む前記第2の画像を前記表示部に表示させる、
表示制御装置。 - 前記表示制御部は、前記表示部において透過される前記実空間の像に前記仮想オブジェクトを重畳させることによって前記第1の画像を表示させる、請求項1に記載の表示制御装置。
- 前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像に前記仮想オブジェクトを加えた画像を前記第1の画像として表示させる、請求項1に記載の表示制御装置。
- 前記表示制御部は、前記仮想オブジェクトが設定されていない場合には前記第1の画像を前記表示部に表示させる、請求項1に記載の表示制御装置。
- 前記表示制御部は、前記表示部において前記実空間の像を透過させることによって前記第1の画像を表示させる、請求項1に記載の表示制御装置。
- 前記表示制御部は、前記撮像画像を前記表示部以外の領域で視認される前記実空間の像に整合するように変形した画像を前記第1の画像として表示させる、請求項1に記載の表示制御装置。
- 前記表示部は、前記実空間の像を透過させることが可能であり、
前記表示制御部は、前記実空間に存在するグラフィックを前記表示部を透過して視認した場合の第1の形状と前記撮像画像に含まれる前記グラフィックの第2の形状とを比較することによって、前記撮像画像を前記実空間の像に整合させるためにどのように変形するかを決定する、請求項6に記載の表示制御装置。 - 前記表示制御部は、固定された前記第1の形状を示す基準線を前記表示部に表示させ、前記表示部を透過して視認される前記グラフィックが前記基準線に合わせられた場合に前記第1の形状と前記第2の形状とを比較する、請求項7に記載の表示制御装置。
- 前記端末装置におけるユーザ操作に基づく情報を取得する操作取得部をさらに備え、
前記表示制御部は、前記ユーザ操作に応じて前記第1の画像または前記第2の画像のいずれかを前記表示部に表示させる、請求項5〜8のいずれか1項に記載の表示制御装置。 - 前記第2の画像は、前記第1の画像よりも広い前記実空間の範囲を含み、
前記表示制御部は、前記第1の画像が前記表示部に表示されていて、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲に含まれず前記第2の画像の範囲には含まれる場合に、前記仮想オブジェクトの存在を示す通知を前記第1の画像に表示させる、請求項9に記載の表示制御装置。 - 前記表示制御部は、前記仮想オブジェクトの全部が前記第1の画像の範囲の外にある場合に前記通知を表示させる、請求項10に記載の表示制御装置。
- 前記通知は、前記第1の画像の範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、請求項11に記載の表示制御装置。
- 前記通知は、前記第1の画像の範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、請求項12に記載の表示制御装置。
- 前記仮想オブジェクトは、前記仮想オブジェクトが配置される前記実空間の位置を示すポインタと、前記位置に関する情報とを含み、
前記通知は、前記情報を含む、請求項11に記載の表示制御装置。 - 前記通知は、前記撮像画像から抽出された、前記仮想オブジェクトが配置される前記実空間の位置の前記実空間の画像を含む、請求項11に記載の表示制御装置。
- 前記第2の画像は、前記実空間に存在する実オブジェクトを基準にして前記撮像画像を拡大した画像である、請求項5〜9のいずれか1項に記載の表示制御装置。
- 前記表示制御部は、前記第1の画像の少なくとも前記実オブジェクトを含む部分を前記実オブジェクトに対して正対するように変形および拡大することによって前記第2の画像を生成する、請求項16に記載の表示制御装置。
- 端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるプロセッサが、
前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第1の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第2の画像から選択すること
を含み、
前記第2の画像は、前記第1の画像よりも広い前記実空間の範囲を含み、
前記プロセッサが、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲に含まれる場合には前記仮想オブジェクトを含む前記第1の画像を前記表示部に表示させ、前記仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲には含まれず前記第2の画像の範囲には含まれる場合には前記仮想オブジェクトを含む前記第2の画像を前記表示部に表示させること、
をさらに含む、
表示制御方法。 - 端末装置の表示部を制御して前記端末装置が存在する実空間の像を表示させるコンピュータに、
前記表示部に表示させる画像を、前記表示部以外の領域で視認される前記実空間の像との間に連続性を有する第1の画像、または前記実空間の撮像画像に基づいて生成され前記表示部以外の領域で視認される前記実空間の像とは独立した第2の画像から選択する機能
を実現させ、
前記第2の画像は、前記第1の画像よりも広い前記実空間の範囲を含み、
前記コンピュータに、前記撮像画像に対して設定される仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲に含まれる場合には前記仮想オブジェクトを含む前記第1の画像を前記表示部に表示させ、前記仮想オブジェクトが配置される前記実空間の位置が前記第1の画像の範囲には含まれず前記第2の画像の範囲には含まれる場合には前記仮想オブジェクトを含む前記第2の画像を前記表示部に表示させる機能、
をさらに実現させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013078893 | 2013-04-04 | ||
JP2013078893 | 2013-04-04 | ||
PCT/JP2014/056158 WO2014162824A1 (ja) | 2013-04-04 | 2014-03-10 | 表示制御装置、表示制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014162824A1 JPWO2014162824A1 (ja) | 2017-02-16 |
JP6304240B2 true JP6304240B2 (ja) | 2018-04-04 |
Family
ID=51658127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509966A Expired - Fee Related JP6304240B2 (ja) | 2013-04-04 | 2014-03-10 | 表示制御装置、表示制御方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160049011A1 (ja) |
EP (1) | EP2983140A4 (ja) |
JP (1) | JP6304240B2 (ja) |
CN (1) | CN105339865B (ja) |
WO (1) | WO2014162824A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102413074B1 (ko) | 2015-09-21 | 2022-06-24 | 삼성전자주식회사 | 사용자 단말, 전자 장치 및 이들의 제어 방법 |
JP6766824B2 (ja) * | 2015-12-10 | 2020-10-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN107038746B (zh) * | 2017-03-27 | 2019-12-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US11054894B2 (en) | 2017-05-05 | 2021-07-06 | Microsoft Technology Licensing, Llc | Integrated mixed-input system |
US10895966B2 (en) | 2017-06-30 | 2021-01-19 | Microsoft Technology Licensing, Llc | Selection using a multi-device mixed interactivity system |
US11023109B2 (en) | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
DK180640B1 (en) | 2018-05-07 | 2021-11-09 | Apple Inc | Devices and methods of measurement using augmented reality |
US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
WO2020152585A1 (en) * | 2019-01-21 | 2020-07-30 | Insightness Ag | Transparent smartphone |
US10992926B2 (en) | 2019-04-15 | 2021-04-27 | XRSpace CO., LTD. | Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium |
CN110300225A (zh) * | 2019-06-28 | 2019-10-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
US11138771B2 (en) | 2020-02-03 | 2021-10-05 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
KR20230029885A (ko) * | 2020-06-30 | 2023-03-03 | 스냅 인코포레이티드 | 말 풍선들 및 번역을 갖는 증강 현실 안경류 |
JP7484586B2 (ja) | 2020-08-31 | 2024-05-16 | 株式会社Jvcケンウッド | 表示制御装置、及び表示制御プログラム |
US11615595B2 (en) | 2020-09-24 | 2023-03-28 | Apple Inc. | Systems, methods, and graphical user interfaces for sharing augmented reality environments |
US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
US11379950B1 (en) * | 2021-05-07 | 2022-07-05 | Lemon Inc. | System and method for projecting content in an environment |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278461B1 (en) * | 1993-09-10 | 2001-08-21 | Geovector Corporation | Augmented reality vision systems which derive image information from other vision systems |
JP4065507B2 (ja) * | 2002-07-31 | 2008-03-26 | キヤノン株式会社 | 情報提示装置および情報処理方法 |
JP2005149409A (ja) * | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
US20160267720A1 (en) * | 2004-01-30 | 2016-09-15 | Electronic Scripting Products, Inc. | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience |
US7737965B2 (en) * | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
JP5311440B2 (ja) * | 2007-12-05 | 2013-10-09 | 独立行政法人産業技術総合研究所 | 情報提示装置 |
US20110084983A1 (en) * | 2009-09-29 | 2011-04-14 | Wavelength & Resonance LLC | Systems and Methods for Interaction With a Virtual Environment |
US8730312B2 (en) * | 2009-11-17 | 2014-05-20 | The Active Network, Inc. | Systems and methods for augmented reality |
US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
EP2539759A1 (en) * | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8315674B2 (en) * | 2010-10-08 | 2012-11-20 | Research In Motion Limited | System and method for displaying object location in augmented reality |
US9275499B2 (en) * | 2010-11-08 | 2016-03-01 | Sony Corporation | Augmented reality interface for video |
JP5724543B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 端末装置、オブジェクト制御方法及びプログラム |
SE535881C2 (sv) * | 2011-06-15 | 2013-01-29 | Mebe Viewcom Ab | Videokonferenssystem som använder en kamera med inverterat teleskop |
JP2013020569A (ja) * | 2011-07-14 | 2013-01-31 | Toshiba Corp | 画像処理装置 |
US9081177B2 (en) * | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US8963805B2 (en) * | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
US9147221B2 (en) * | 2012-05-23 | 2015-09-29 | Qualcomm Incorporated | Image-driven view management for annotations |
US9846960B2 (en) * | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US10269179B2 (en) * | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
WO2015090421A1 (en) * | 2013-12-19 | 2015-06-25 | Metaio Gmbh | Method and system for providing information associated with a view of a real environment superimposed with a virtual object |
US9977493B2 (en) * | 2015-06-17 | 2018-05-22 | Microsoft Technology Licensing, Llc | Hybrid display system |
JP6017664B1 (ja) * | 2015-12-28 | 2016-11-02 | 株式会社コロプラ | 情報処理方法及び情報処理プログラム |
-
2014
- 2014-03-10 JP JP2015509966A patent/JP6304240B2/ja not_active Expired - Fee Related
- 2014-03-10 EP EP14780249.0A patent/EP2983140A4/en not_active Withdrawn
- 2014-03-10 WO PCT/JP2014/056158 patent/WO2014162824A1/ja active Application Filing
- 2014-03-10 CN CN201480018521.8A patent/CN105339865B/zh not_active Expired - Fee Related
- 2014-03-10 US US14/779,782 patent/US20160049011A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2014162824A1 (ja) | 2014-10-09 |
EP2983140A4 (en) | 2016-11-09 |
JPWO2014162824A1 (ja) | 2017-02-16 |
CN105339865B (zh) | 2018-05-22 |
US20160049011A1 (en) | 2016-02-18 |
EP2983140A1 (en) | 2016-02-10 |
CN105339865A (zh) | 2016-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6304240B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP6304241B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP6308213B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6304242B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5843340B2 (ja) | 3次元環境共有システム及び3次元環境共有方法 | |
JP2019079056A (ja) | モバイル端末、方法、プログラムおよび記録媒体 | |
JP6288084B2 (ja) | 表示制御装置、表示制御方法および記録媒体 | |
JP5871345B2 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
EP3654146A1 (en) | Anchoring virtual images to real world surfaces in augmented reality systems | |
US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2013168120A (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
CN107884930B (zh) | 头戴式装置及控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170123 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6304240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |