JP2020024752A - Information processing device, control method thereof, and program - Google Patents

Information processing device, control method thereof, and program Download PDF

Info

Publication number
JP2020024752A
JP2020024752A JP2019204820A JP2019204820A JP2020024752A JP 2020024752 A JP2020024752 A JP 2020024752A JP 2019204820 A JP2019204820 A JP 2019204820A JP 2019204820 A JP2019204820 A JP 2019204820A JP 2020024752 A JP2020024752 A JP 2020024752A
Authority
JP
Japan
Prior art keywords
real
virtual
image
virtual object
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019204820A
Other languages
Japanese (ja)
Other versions
JP7079231B2 (en
JP2020024752A5 (en
Inventor
伸敏 難波
Nobutoshi Namba
伸敏 難波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Publication of JP2020024752A publication Critical patent/JP2020024752A/en
Publication of JP2020024752A5 publication Critical patent/JP2020024752A5/en
Application granted granted Critical
Publication of JP7079231B2 publication Critical patent/JP7079231B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

To output a composite image in which a real image and a virtual object image are composed, corresponding to distance of the objects in space so that the presence or absence of a real object can be recognized when virtual space is arranged in real space.SOLUTION: A distance is calculated between a position of a virtual object displayed following a real object movable in real space and the other object in virtual space or real space. Then, when the distance becomes equal to or less than a threshold, transparency of a part or whole of at least either an image of the virtual object or the other object is controlled.SELECTED DRAWING: Figure 5

Description

本発明は、情報処理装置及びその制御方法、プログラムに関する。   The present invention relates to an information processing apparatus, a control method thereof, and a program.

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。ＭＲ技術を用いて、ヘッドマウントディスプレイを装着したユーザに対し、現実物体とＣＧモデルを配置した空間の疑似体験を提供できる。ＭＲ空間（現実空間と仮想空間とを合成した複合現実空間）を生成するにあたり、仮想空間と現実空間の位置合わせに用いられる位置指標として、マーカを用いる場合がある。
特許文献１には、当該マーカの存在をユーザに意識させないために、マーカを検出した場合に、当該マーカを隠した画像を描画する技術が記載されている。 In recent years, mixed reality (hereinafter, referred to as MR) technology has become widespread. Using the MR technology, a user wearing a head-mounted display can be provided with a simulated experience of a space in which a real object and a CG model are arranged. In generating an MR space (a mixed reality space obtained by combining a real space and a virtual space), a marker may be used as a position index used for alignment between the virtual space and the real space.
Patent Literature 1 describes a technique for rendering an image in which a marker is hidden when the marker is detected so that the user is not aware of the presence of the marker.

また、特許文献２では、仮想のペットを育成する複合現実感提示装置において、ユーザの所定部位による所定動作により、仮想のペットを示す３次元モデルの内部状態を遷移させ、仮想物体の存在感の認知を容易にするＭＲに関する技術が開示されている。   Further, in Patent Document 2, in a mixed reality presentation apparatus for cultivating a virtual pet, the internal state of a three-dimensional model representing the virtual pet is changed by a predetermined operation by a predetermined part of the user, and the presence of the virtual object is determined. Techniques related to MR that facilitate cognition are disclosed.

特開２０００−３５０８６０号公報JP 2000-350860 A 特開２００２−１１２２８６号公報JP 2002-112286 A

しかしながら、例えば、特許文献１及び特許文献２に記載の技術を用いて仮想物体（ＣＧオブジェクト）の画像を描画して現実の画像と単純に重畳する場合には問題はないが、ユーザがＭＲ空間に積極的に参加する形式の場合に問題になることがある。その代表的なものは、２つの物体の一方（もしくは両方でも良い）をユーザが操作し、他方の物体に近づける、もしくは接触（衝突）させる場合である。   However, for example, there is no problem in a case where an image of a virtual object (CG object) is drawn using the technology described in Patent Literature 1 and Patent Literature 2 and is simply superimposed on a real image. This can be a problem if you are actively participating in the event. A typical example is a case where a user operates one (or both) of two objects to approach or touch (collide with) the other object.

一例を示すなら、ユーザが現実物体を手に持ち、それを移動させ、テーブルの上にその物体を置く操作を考えると分かりやすい。この場合、テーブルが仮想物体（仮想オブジェクト）であると、ユーザは何もない空間上に現実物体を置く操作を行ったわけであるから、その現実物体は落下してしまい、ユーザは混乱することになる。ここではユーザは現実物体を持ち、他方が仮想物体の場合であるが、この関係が逆の場合にも言えることである。   As an example, it is easy to understand when the user holds the real object in his hand, moves it, and places the object on the table. In this case, if the table is a virtual object (virtual object), the user has performed an operation of placing the real object on an empty space, so that the real object falls and the user is confused. Become. Here, the user has a real object and the other is a virtual object, but the same can be said for the opposite case.

本発明は、現実空間に仮想空間が配置されている場合に、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、空間内における物体同士の距離に応じて出力することを第１の目的とする。   The present invention provides, when a virtual space is arranged in a real space, a synthesized image obtained by synthesizing a real image and a virtual object image so that the presence or absence of a real object can be recognized, at a distance between the objects in the space. The first purpose is to output the information in response to the request.

また、ＭＲ空間において移動するオブジェクトと他のオブジェクトとの距離に応じて、少なくとも一方が仮想オブジェクトである場合に、ユーザに通知する仕組みを提供することを第２の目的とする。   A second object is to provide a mechanism for notifying a user when at least one of them is a virtual object according to the distance between an object moving in the MR space and another object.

例えば本発明の情報処理装置は以下の構成を備える。すなわち、
現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置であって、
仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報と、前記仮想空間が配置された現実空間における現実物体の位置情報とを用いて、前記仮想オブジェクトと前記現実物体との距離を特定する特定手段と、
現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力する出力手段と、
を備えることを特徴とする。 For example, the information processing apparatus of the present invention has the following configuration. That is,
An information processing apparatus for outputting a synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize,
Using the position information of the virtual object in the virtual space where the virtual object is placed and the position information of the real object in the real space where the virtual space is placed, specify the distance between the virtual object and the real object. Identification means,
Output means for outputting a synthesized image obtained by synthesizing the real image and the virtual object image so as to enable the presence or absence of a real object to be displayed on the display device according to the distance specified by the specifying means; ,
It is characterized by having.

本発明によれば、現実空間に仮想空間が配置されている場合に、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、空間内における物体同士の距離に応じて出力することができる。   According to the present invention, when a virtual space is arranged in a real space, a synthesized image obtained by synthesizing a real image and a virtual object image so that the presence or absence of a real object can be recognized is formed between objects in the space. It can output according to the distance.

また、例えば、ＭＲ空間において移動するオブジェクトと他のオブジェクトとの距離に応じて、少なくとも一方が仮想オブジェクトである場合に、ユーザに通知する仕組みを提供することができる。具体的には、例えば、仮想オブジェクトの透明度を変更することで、仮想オブジェクトに重なっている現実物体の存否をユーザに通知することができる。   Further, for example, according to the distance between an object moving in the MR space and another object, a mechanism for notifying a user when at least one of the objects is a virtual object can be provided. Specifically, for example, by changing the transparency of the virtual object, the user can be notified of the presence or absence of the real object overlapping the virtual object.

実施形態における、情報処理システムの構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a configuration of an information processing system according to an embodiment. 実施形態における情報処理装置とＨＭＤのハードウェア構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of an information processing apparatus and an HMD according to the embodiment. 実施形態のける各テーブルの例を示す図である。FIG. 4 is a diagram illustrating an example of each table according to the embodiment. 仮想オブジェクトが他のオブジェクトに近づいた際の表示形態の変化を示す図である。FIG. 9 is a diagram illustrating a change in a display mode when a virtual object approaches another object. 実施形態における情報処理装置の処理手順を示すフローチャートである。5 is a flowchart illustrating a processing procedure of the information processing apparatus according to the embodiment. 仮想オブジェクトが他のオブジェクトに近づいた際の表示形態の変化を示す図である。FIG. 9 is a diagram illustrating a change in a display mode when a virtual object approaches another object. 仮想オブジェクトが他のオブジェクトに近づいた際の表示形態の変化を示す図である。FIG. 9 is a diagram illustrating a change in a display mode when a virtual object approaches another object. 仮想オブジェクトが他のオブジェクトに近づいた際の表示形態の変化を示す図である。FIG. 9 is a diagram illustrating a change in a display mode when a virtual object approaches another object. 第４の実施形態の動作概要を説明するための図である。It is a figure for explaining an operation outline of a 4th embodiment. 第４の実施形態における情報処理装置の処理手順を示すフローチャートである。13 is a flowchart illustrating a processing procedure of an information processing device according to a fourth embodiment. 第５の実施形態における情報処理装置の処理手順を示すフローチャートである。15 is a flowchart illustrating a processing procedure of an information processing device according to a fifth embodiment. 第６の実施形態における情報処理装置の処理手順を示すフローチャートである。16 is a flowchart illustrating a processing procedure of an information processing device according to a sixth embodiment. 第２の実施形態における各テーブルの例を示す図である。It is a figure showing the example of each table in a 2nd embodiment.

以下、添付図面に従って本発明に係る実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

［第１の実施形態］
図１は実施の形態における情報処理システムの構成とその利用の様子を示している。 [First Embodiment]
FIG. 1 shows the configuration of an information processing system according to the embodiment and how it is used.

本情報処理システムは情報処理装置１００とヘッドマウントディスプレイ（以下、ＨＭＤ）１０１で構成される。図示ではＨＭＤ１０１と情報処理装置とはケーブル１０２で接続されているものとしているが、情報処理装置１００とＨＭＤ１０１とが互いに通信が行えれば良いので、有線、無線は問わない。   The information processing system includes an information processing apparatus 100 and a head-mounted display (hereinafter, HMD) 101. Although the HMD 101 and the information processing apparatus are assumed to be connected by the cable 102 in the figure, the information processing apparatus 100 and the HMD 101 may be wired or wireless as long as they can communicate with each other.

図示の環境では、ＨＭＤ１０１を装着したユーザが室内にいる状態を示している。また、室内には現実物体としての机１１０、モック１２０が存在している例を示している。また、この室内には複数のマーカ１５０が貼り付けられている。マーカの形状は問わないが、実施形態では正方形であり、全て同じサイズであるものとする。各マーカにはユニークなマーカ番号が埋め込まれているものとする。そして、ＨＭＤ１０１に設けられたカメラで撮像した際に、個々のマーカが識別でき、デコードした際に、そのマーカ番号が得られるものとする。マーカの種類（マーカが果たす役割の種類）は、ＨＭＤ１０１の位置姿勢を決定するための位置検出用マーカ（位置検出マーカ）、並びに、そのマーカで規定される箇所に仮想オブジェクトを描画するものとして利用される仮想オブジェクト配置用マーカ（仮想オブジェクト化マーカ）の２種類がある。そして、位置検出用マーカについては、ＨＭＤ１０１の位置姿勢がどのような状態であっても、内蔵するカメラの視野内に最低でも３つが含まれるように、予め既知の位置に貼り付けられているものとする。   In the illustrated environment, the user wearing the HMD 101 is in a room. Also, an example is shown in which a desk 110 and a mock 120 exist as real objects in the room. Also, a plurality of markers 150 are attached in this room. Although the shape of the marker is not limited, it is assumed in the embodiment that the marker is square and all have the same size. It is assumed that a unique marker number is embedded in each marker. It is assumed that each marker can be identified when an image is captured by a camera provided in the HMD 101, and the marker number is obtained when the image is decoded. The type of marker (the type of role played by the marker) is used as a marker for position detection (position detection marker) for determining the position and orientation of the HMD 101 and for drawing a virtual object at a location defined by the marker. There are two types of virtual object placement markers (virtual object conversion markers) to be used. Regarding the position detection markers, whatever the position and orientation of the HMD 101 are, they are pasted to a known position so that at least three are included in the field of view of the built-in camera. And

仮想オブジェクトとは、仮想空間上に配置された３次元モデル（３次元ＣＡＤデータ／描画データ）のことである。尚、３次元モデルのデータは情報処理装置１００の外部メモリ上に、当該３次元モデルを仮想空間上のいずれの位置にどのような姿勢で配置するかを示す位置姿勢の情報と対応付けられて記憶されている（例えば、図３（ｂ））。   A virtual object is a three-dimensional model (three-dimensional CAD data / drawing data) arranged in a virtual space. It should be noted that the data of the three-dimensional model is associated on the external memory of the information processing apparatus 100 with position and orientation information indicating at which position in the virtual space and in which orientation the three-dimensional model is to be arranged. It is stored (for example, FIG. 3B).

上記の構成におけるＨＭＤ１０１の位置姿勢を検出する原理は、撮像した画像中の３つの位置検出用マーカ（その位置は既知）それぞれのサイズから、ＨＭＤ１０１からそれぞれまでの位置検出用マーカまでの距離を求める。そして、逆に、３つの位置検出用マーカから求めた３つの距離が重なる位置を、ＨＭＤ１０１の位置として決定する。また、ＨＭＤ１０１の姿勢は、撮像した画像中の３つの位置検出用マーカの配置から求めればよい。   The principle of detecting the position and orientation of the HMD 101 in the above configuration is that the distance from the HMD 101 to the position detection marker from each of the three position detection markers (the positions of which are known) in the captured image is determined. . Then, conversely, a position where the three distances obtained from the three position detection markers overlap is determined as the position of the HMD 101. Further, the posture of the HMD 101 may be obtained from the arrangement of the three position detection markers in the captured image.

図２は実施形態における情報処理装置１００とＨＭＤ１０１のハードウェアのブロック構成図を示している。尚、図２の情報処理装置１００とＨＭＤ１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例が考えられる。図示はあくまでその一例であると認識されたい。   FIG. 2 is a block diagram illustrating hardware of the information processing apparatus 100 and the HMD 101 according to the embodiment. Note that the hardware configuration of the information processing apparatus 100 and the HMD 101 in FIG. 2 is merely an example, and various configuration examples are conceivable according to applications and purposes. It should be recognized that the illustration is merely an example.

まず、情報処理装置１００は、例えば、パーソナルコンピュータである。そして、内部には、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、システムバス２０４、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８、入力デバイス２０９、ディスプレイ２１０、外部メモリ２１１等を備える。   First, the information processing apparatus 100 is, for example, a personal computer. Further, inside, a CPU 201, a ROM 202, a RAM 203, a system bus 204, an input controller 205, a video controller 206, a memory controller 207, a communication I / F controller 208, an input device 209, a display 210, an external memory 211, and the like are provided.

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。   The CPU 201 generally controls each device and controller connected to the system bus 204.

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。   The ROM 202 or the external memory 211 stores a basic input / output system (BIOS), a control program of the CPU 501, an operating system, and various programs to be described later that are necessary to realize functions executed by various devices. ing. The RAM 203 functions as a main memory, a work area, and the like for the CPU 201.

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス２５０等のポインティングデバイスからの入力を制御する。
ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器は液晶ディスプレイでもＣＲＴでも構わない。 The CPU 201 implements various operations by loading programs and the like necessary for executing processing into the RAM 203 and executing the programs.
An input controller (input C) 205 controls input from a pointing device such as a keyboard or a mouse 250.
The video controller (VC) 206 controls display on a display such as the display 210. The display may be a liquid crystal display or a CRT.

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。   The memory controller (MC) 207 is an adapter for a hard disk (HD), a flexible disk (FD), or a PCMCIA card slot that stores a boot program, browser software, various applications, font data, user files, edited files, various data, and the like. The access to the external memory 211 such as a card-type memory connected via the PC is controlled.

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。通信Ｉ／Ｆコントローラ２０８は、トランスミッター２７０から磁場を受信したレシーバ２７１との通信と、赤外線カメラ１０４との通信も制御する。   A communication I / F controller (communication I / FC) 208 connects and communicates with external devices via a network, and executes communication control processing on the network. For example, Internet communication using TCP / IP is possible. The communication I / F controller 208 also controls communication with the receiver 271 that has received the magnetic field from the transmitter 270 and communication with the infrared camera 104.

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。   Note that the CPU 201 enables display on the display 210 by executing, for example, an outline font developing (rasterizing) process on a display information area in the RAM 203. Further, the CPU 201 enables a user instruction with a mouse cursor (not shown) on the display 210.

本実施形態の情報処理装置１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本実施形態に係わるプログラムが用いる定義ファイルや各種情報テーブル（後述の図３のテーブルを含む）は外部メモリ２１１に格納されている。   Various programs and the like used by the information processing apparatus 100 of the present embodiment to execute various processes described below are recorded in the external memory 211 and executed by the CPU 201 by being loaded into the RAM 203 as necessary. It is. Further, definition files and various information tables (including a table in FIG. 3 described later) used by the program according to the present embodiment are stored in the external memory 211.

一方、ＨＭＤ１０１は、右目ビデオカメラ２２１、左目ビデオカメラ２２２、右目ディスプレイ２２３、左目ディスプレイ２２４、コントローラ２２５等を備える。   On the other hand, the HMD 101 includes a right-eye video camera 221, a left-eye video camera 222, a right-eye display 223, a left-eye display 224, a controller 225, and the like.

右目ビデオカメラ２２１と、左目ビデオカメラ２２２は、現実世界を撮影するビデオカメラである。右目ビデオカメラ２２１は、右目ディスプレイ２２３に表示するための画像を撮影し、左目ビデオカメラ５２２は、左目ディスプレイ２２４に表示するための画像を撮影する。撮影された画像（現実空間画像）は、コントローラ２２５が情報処理装置１００の通信Ｉ／Ｆコントローラ２０８に向けて送信する。   The right-eye video camera 221 and the left-eye video camera 222 are video cameras that shoot the real world. The right-eye video camera 221 captures an image to be displayed on the right-eye display 223, and the left-eye video camera 522 captures an image to be displayed on the left-eye display 224. The captured image (real space image) is transmitted from the controller 225 to the communication I / F controller 208 of the information processing apparatus 100.

情報処理装置１００から通信Ｉ／Ｆコントローラ２０８を通じて複合現実画像データが送信されると、コントローラ２２５が受信し、受信した複合現実画像を右目ディスプレイ２２３と左目ディスプレイ２２４に表示させる。この時、右目ビデオカメラ２２１で撮影された現実空間画像に基づいて生成された複合現実画像は、右目ディスプレイ２２３に表示し、左目ビデオカメラ２２２で撮影された現実空間画像に基づいて生成された複合現実画像は、左目ディスプレイ２２４に表示する。   When mixed reality image data is transmitted from the information processing apparatus 100 via the communication I / F controller 208, the controller 225 receives the mixed reality image data and displays the received mixed reality image on the right-eye display 223 and the left-eye display 224. At this time, the composite reality image generated based on the physical space image captured by the right-eye video camera 221 is displayed on the right-eye display 223, and the composite reality image generated based on the physical space image captured by the left-eye video camera 222. The real image is displayed on the left-eye display 224.

以上実施形態におけるシステムの構成を説明した。次に、実施形態における各種テーブルを説明する。以下に説明する各テーブルは、外部メモリ２１１に格納されているものである。   The configuration of the system according to the embodiment has been described above. Next, various tables in the embodiment will be described. Each table described below is stored in the external memory 211.

図３（ａ）はマーカテーブルを示している。マーカテーブルは、マーカ番号（マーカＮｏ）、マーカの種別（マーカの種類）、属性、座標（位置及び向き＝位置姿勢）、オブジェクトＩＤのフィールドで構成されている。マーカ番号は、マーカを一意に特定するためのものである。マーカの種別には、位置検出用マーカと、仮想オブジェクト配置用マーカがある。なお、マーカに埋め込めるビット数にもよるが、位置検出用マーカと仮想オブジェクト配置用マーカを兼ねるマーカを定義しても構わない。   FIG. 3A shows a marker table. The marker table includes fields of a marker number (marker number), a marker type (marker type), an attribute, coordinates (position and orientation = position and orientation), and an object ID. The marker number is for uniquely specifying a marker. The marker types include a position detection marker and a virtual object placement marker. Note that, although it depends on the number of bits that can be embedded in the marker, a marker that also functions as a position detection marker and a virtual object placement marker may be defined.

属性は、当該属性に対応するマーカが“固定”であるか、“非固定”であるかを示す。“固定”とは、当該“固定”の属性を持つマーカ、もしくは、当該“固定”の属性を持つマーカが貼り付けられた物体が移動することはないことを示す属性である。つまり、“固定”の属性を持つマーカの仮想空間上の位置（図３（ａ）における「座標」の値）は変動しない。“固定”の属性を持つマーカは、例えば現実空間の壁に貼り付けられたマーカである。ここでは、位置検出用マーカは固定の属性を持つものとする。   The attribute indicates whether the marker corresponding to the attribute is “fixed” or “non-fixed”. “Fixed” is an attribute indicating that the marker having the “fixed” attribute or the object to which the marker having the “fixed” attribute is attached does not move. That is, the position of the marker having the “fixed” attribute in the virtual space (the value of “coordinate” in FIG. 3A) does not change. The marker having the “fixed” attribute is, for example, a marker attached to a wall in the real space. Here, it is assumed that the position detection marker has a fixed attribute.

また、“非固定”とは、当該“非固定”の属性を持つマーカ自体、もしくは、当該“非固定”の属性を持つマーカが貼り付けられた物体が移動する可能性があることを示す属性である。例えば、モック１２０のようにユーザの動作等により仮想空間上の位置（図３（ａ）における「座標」の値）が変動するマーカの属性を示している。   “Non-fixed” refers to a marker itself having the “unfixed” attribute or an attribute indicating that an object to which the marker having the “non-fixed” attribute is attached may move. It is. For example, the attribute of a marker whose position in the virtual space (the value of “coordinate” in FIG. 3A) fluctuates due to a user operation or the like, such as a mock 120, is shown.

仮想オブジェクト配置用マーカとは、仮想オブジェクトを表示する位置を特定するために用いられるマーカである。情報処理装置１００のＣＰＵ２０１は、当該仮想オブジェクト配置用マーカが検出された際、当該仮想オブジェクト配置用マーカが存在する位置（正確には後述するように当該仮想オブジェクト配置用マーカの重心位置からオフセットを持つ位置）に仮想オブジェクトを表示するための処理を行う。例えば、３次元モデルを当該オフセットの示す仮想空間上の位置に配置する処理を行う。   The virtual object placement marker is a marker used to specify a position at which the virtual object is displayed. When the virtual object arrangement marker is detected, the CPU 201 of the information processing apparatus 100 adjusts the position of the virtual object arrangement marker (exactly, as will be described later, from the center of gravity of the virtual object arrangement marker). Processing for displaying the virtual object at the position where the virtual object is held. For example, a process of arranging the three-dimensional model at a position in the virtual space indicated by the offset is performed.

本実施形態では、モック１２０にこの仮想オブジェクト配置用マーカが貼り付けられているものとしている。また、仮想オブジェクト配置用マーカにも属性としての“固定”、“非固定”が存在する。図示のモック１２０はユーザが手に持って移動可能であるものとしているので、“非固定”の属性が付されている。なお、“固定”の属性を持つ仮想オブジェクト配置用マーカとして、例えば、壁に貼り付けて「窓」の仮想オブジェクトを見せる（表示する）場合などが考えられる。   In the present embodiment, it is assumed that the virtual object placement marker is attached to the mock 120. The virtual object placement marker also has “fixed” and “non-fixed” as attributes. The illustrated mock 120 is assumed to be movable by being held by the user, and thus has an attribute of “non-fixed”. As a marker for arranging virtual objects having an attribute of “fixed”, for example, a case in which the virtual object of “window” is displayed (displayed) by pasting it on a wall can be considered.

位置及び向きフィールドには、３次元空間（仮想空間）における当該位置検出用マーカの座標（位置・向き＝位置姿勢）が格納される。また、オブジェクトＩＤフィールドには、そのマーカが位置検出用マーカであればｎｕｌｌ（データなし）の値が格納される。   In the position and orientation field, the coordinates (position / orientation = position and orientation) of the position detection marker in the three-dimensional space (virtual space) are stored. If the marker is a position detection marker, a value of null (no data) is stored in the object ID field.

マーカが仮想オブジェクト配置用マーカであれば、仮想空間における当該仮想オブジェクト配置用マーカの座標と、当該仮想オブジェクト配置用マーカに対応する仮想オブジェクトの描画データを特定するオブジェクトＩＤが格納される。   If the marker is a marker for arranging a virtual object, the coordinates of the marker for arranging the virtual object in the virtual space and an object ID for specifying drawing data of the virtual object corresponding to the marker for arranging the virtual object are stored.

なお、マーカの中心を通る法線方向に視点があるとき、そのマーカ画像が正方形に見えることになる。そして、視点が法線方向からずれると、そのずれの度合いに応じて正方形が歪んで見える。つまり、この歪みから、視点の軸に対するマーカで規定される平面の向きが判明し、マーカのサイズから視点とマーカ間の距離を検出でき、マーカが貼り付けられた平面が規定できる。また、実施形態では、マーカには、互いに識別できる２つの印が設けられ、マーカの中心位置を原点とし、マーカで規定される上記の平面上の、原点からその印に向かう２つのベクトルを２軸、マーカの中心位置から法線方向の１軸で、局所的（ローカル）な３次元座標を規定する３軸を規定しているものとする。   When the viewpoint is in the normal direction passing through the center of the marker, the marker image looks like a square. When the viewpoint shifts from the normal direction, the square looks distorted according to the degree of the shift. In other words, the direction of the plane defined by the marker with respect to the axis of the viewpoint is determined from the distortion, the distance between the viewpoint and the marker can be detected from the size of the marker, and the plane on which the marker is pasted can be defined. Further, in the embodiment, the marker is provided with two marks that can be distinguished from each other. The center position of the marker is set as the origin, and two vectors from the origin on the plane defined by the marker toward the mark are defined as 2 marks. It is assumed that three axes defining local (local) three-dimensional coordinates are defined by one axis normal to the axis and the center position of the marker.

図３（ｂ）は仮想オブジェクト描画データのテーブルを示している。このテーブルは、オブジェクトＩＤ、仮想オブジェクトの描画データ、位置、向きのフィールドを有する。オブジェクトＩＤは、図３（ａ）の「座標／オブジェクトＩＤフィールドに格納されたＩＤを格納する。描画データは、３次元ＣＡＤデータ等の（仮想オブジェクトの形状である）３次元モデルのデータである。位置は、仮想オブジェクト配置用マーカで規定される局所的な３次元座標において、仮想オブジェクトを描画する位置を格納する。「向き」は、「位置」に仮想オブジェクトを仮想空間上に配置して画像として描画する際に、その仮想オブジェクトの向きを規定するための情報である。   FIG. 3B shows a table of virtual object drawing data. This table has fields of object ID, drawing data of the virtual object, position, and orientation. The object ID stores the ID stored in the “coordinate / object ID field” in FIG. 3A. The drawing data is data of a three-dimensional model (which is the shape of a virtual object) such as three-dimensional CAD data. The position stores the position at which the virtual object is drawn at the local three-dimensional coordinates defined by the virtual object arrangement marker, and the “direction” indicates that the virtual object is arranged at the “position” in the virtual space. This is information for defining the orientation of the virtual object when drawing as an image.

つまり、仮想オブジェクトは、仮想オブジェクトマーカの重心位置を局所的な座標原点としたとき、その座標原点から「位置」「向き」で規定される位置と向きに、描画データに基づく形状を描画することで得られる。換言すれば、仮想オブジェクトは、位置検出用マーカで規定される座標空間における仮想オブジェクト配置用マーカの重心位置から、「位置」で規定されるオフセットだけずれた位置に、「向き」で示される向きに表示されることを意味する。   In other words, when the center of gravity of the virtual object marker is set as the local coordinate origin, the virtual object draws a shape based on the drawing data from the coordinate origin to the position and orientation defined by “position” and “direction”. Is obtained. In other words, the virtual object is shifted from the center of gravity of the virtual object placement marker in the coordinate space defined by the position detection marker by a position defined by “position” to an orientation indicated by “direction”. Means to be displayed.

図３（ａ）によると、マーカ番号「５０」は仮想オブジェクト配置用マーカであり、そのオブジェクトＩＤは“２０１”である。このオブジェクトＩＤ“２０１”を用いて、図３（ｂ）のテーブルから、描画データを読み出し、仮想オブジェクト配置用マーカの重心位置を原点とした局所的な３次元座標上の「位置」と「向き」に合わせて、仮想空間上に配置された仮想オブジェクトの画像を描画することになる。   According to FIG. 3A, the marker number “50” is a marker for arranging a virtual object, and its object ID is “201”. Using this object ID “201”, drawing data is read from the table of FIG. 3B, and “position” and “direction” on local three-dimensional coordinates with the center of gravity of the virtual object placement marker as the origin. , An image of the virtual object arranged in the virtual space is drawn.

実施形態では説明を簡単にするため、仮想オブジェクト配置用マーカの重心位置が仮想オブジェクトの重心位置と一致している、つまり、「位置」の３成分（Ｘ，Ｙ，Ｚ座標）がゼロであるものとする。繰り返すが、仮想オブジェクトの位置は、厳密には、仮想オブジェクト配置用マーカに図３（ｂ）で示した「位置」（オフセット）を加味したものとなる点に注意されたい。   In the embodiment, for the sake of simplicity, the barycentric position of the virtual object arrangement marker matches the barycentric position of the virtual object, that is, the three components (X, Y, Z coordinates) of “position” are zero. Shall be. Again, note that the position of the virtual object is, strictly speaking, the position of the virtual object placement marker plus the “position” (offset) shown in FIG. 3B.

図３（ｃ）はユーザが体感するＭＲ空間（図１の部屋）内に存在する現実物体のデータを管理する現実物体テーブルである。現実物体も、管理する上で現実物体の番号が割り当てられ、かつ、その現実物体の仮想空間上の位置、向き、形状の情報（いわゆるＣＡＤデータ／ＣＡＤデータと仮想空間上の位置姿勢の情報を対応付けたデータ）を格納する。詳細は後述するが、ＭＲ空間における、仮想物体と現実物体との距離を求める際の、現実物体の位置座標もこの情報を参照することになる。   FIG. 3C is a real object table that manages data of a real object existing in the MR space (the room in FIG. 1) experienced by the user. The real object is also assigned the number of the real object for management, and the position, orientation, and shape information of the real object in the virtual space (so-called CAD data / CAD data and information of the position and orientation in the virtual space are stored in the virtual space). Associated data) is stored. Although the details will be described later, the position coordinates of the real object in obtaining the distance between the virtual object and the real object in the MR space also refer to this information.

以上実施形態におけるテーブルを説明した。次に、実施形態における特徴となる処理を説明する。   The table in the embodiment has been described above. Next, a description will be given of processing that is a feature of the embodiment.

ＨＭＤ１０１のコントローラ２２５の処理は単純である。すなわち、左右のビデオカメラ２２１，２２２で撮像した２つの画像を情報処理装置１００に送信する処理と、情報処理装置１００から受信した２つの画像（ＭＲ空間画像）を左右のディスプレイ２２３，２２４に表示する処理とを、例えば１秒当たり３０回程度の速度で繰り返し行うだけである。   The processing of the controller 225 of the HMD 101 is simple. That is, a process of transmitting two images captured by the left and right video cameras 221 and 222 to the information processing device 100, and displaying two images (MR space images) received from the information processing device 100 on the left and right displays 223 and 224. This process is repeated only at a speed of, for example, about 30 times per second.

従って、以下では情報処理装置１００（のＣＰＵ２０１）の処理概要を説明する。   Therefore, the processing outline of (the CPU 201 of) the information processing apparatus 100 will be described below.

まず、理解を容易にするため、ここでは、図１に示すような環境において、ＨＭＤ１０１を装着したユーザがモック１２０を手に持ちそれを移動させる例を説明する。   First, in order to facilitate understanding, an example in which the user wearing the HMD 101 holds the mock 120 in his hand and moves it in the environment shown in FIG. 1 will be described.

情報処理装置１００は、ＨＭＤ１０１からの受信した画像を解析することで、マーカを識別（デコード）し、図３（ａ）のマーカテーブルを参照して、当該画像に含まれるマーカが位置検出用マーカか、仮想オブジェクト配置用マーカかを判定する。位置検出用マーカはＨＭＤ１０１の位置姿勢の算出に用いられる。ここでは、更に、撮像した画像内に仮想オブジェクト配置用マーカが存在した場合について説明する（ユーザの視野の範囲内に少なくともモック１２０が存在する場合である）。   The information processing apparatus 100 identifies (decodes) the marker by analyzing the image received from the HMD 101, and refers to the marker table in FIG. Or a virtual object placement marker. The position detection marker is used for calculating the position and orientation of the HMD 101. Here, the case where the marker for arranging the virtual object exists in the captured image will be further described (the case where at least the mock 120 exists within the range of the visual field of the user).

仮想オブジェクト配置用マーカを検出すると、当該仮想オブジェクト配置用マーカに対応するオブジェクトＩＤから、図３（ｂ）の仮想オブジェクト描画データを取得し、ＨＭＤ１０１の位置姿勢と、仮想オブジェクト配置用マーカの存在する仮想空間上の位置、図３（ｂ）の位置姿勢の情報（ここでは図３（ｂ）の位置姿勢の情報＝０，０，０であるものとする）に基づき、３次元モデルを仮想空間内の仮想オブジェクト配置用マーカの位置に配置し、仮想空間内の仮想オブジェクト配置用マーカの存在する位置に左右のカメラから見たと仮定した場合の仮想オブジェクトを描画する。そして、その描画した画像と、現実に撮像された左右の目用の画像とを合成し、ＭＲ画像を生成し、ＨＭＤ１０１に送信し、表示させる。   When the virtual object placement marker is detected, the virtual object drawing data of FIG. 3B is acquired from the object ID corresponding to the virtual object placement marker, and the position and orientation of the HMD 101 and the presence of the virtual object placement marker are present. Based on the position in the virtual space and the information on the position and orientation in FIG. 3B (here, the information on the position and orientation in FIG. 3B = 0, 0, 0), the three-dimensional model is converted into a virtual space. Is placed at the position of the virtual object placement marker within the virtual space, and a virtual object is drawn at the position where the virtual object placement marker exists in the virtual space, assuming that the virtual object is viewed from the left and right cameras. Then, the drawn image is combined with the actually captured left and right eye images, an MR image is generated, transmitted to the HMD 101, and displayed.

例えば、ここでは、モック１２０に貼り付けられたマーカが仮想オブジェクト配置用マーカであって、その属性が“非固定”であり、仮想オブジェクトマーカを覆う「コップ」を描画する仮想オブジェクト描画データのオブジェクトＩＤを有しているものとする。この場合、ＨＭＤ１０１を装着したユーザには、モック１２０に代わって「コップ」の画像がその位置に存在するものとして知覚させることができる。そして、ユーザがモック１２０を手に持って移動している間、ユーザには自信がコップを持って移動していると認識させることができる。   For example, here, the marker affixed to the mock 120 is a marker for arranging a virtual object, the attribute of which is “non-fixed”, and an object of virtual object drawing data for drawing a “cup” covering the virtual object marker. It is assumed that the user has an ID. In this case, the user wearing the HMD 101 can perceive the image of the “cup” instead of the mock 120 as being present at that position. Then, while the user is moving with the mock 120 in his hand, the user can be made to recognize that his / her confidence is moving with the cup.

室内には、図１に示すように現実物体として机１１０が載置されている。今、モック１２０以外に、仮想オブジェクト配置用マーカが存在し、仮想オブジェクトとして「椅子」が描画されているものとする。その結果、ユーザの視野には、机、コップ、椅子が存在することになる。この場合、ユーザは手に持っているコップ（コップが上から描画されているモック）を椅子に接触させても、素通りしてしまうことになる。一方、コップを机１１０に接触させると、現実空間でも現実物体であるモックと机が接触（衝突）することになる。つまり、ユーザにとっては上記の２つの操作は同じであるものの、体感できる感覚は異なったものとなってしまい、混乱を招く可能性が高い。   In the room, a desk 110 is placed as a real object as shown in FIG. Now, it is assumed that a marker for arranging virtual objects exists other than the mock 120, and a "chair" is drawn as a virtual object. As a result, a desk, a cup, and a chair exist in the user's field of view. In this case, even if the user brings a cup (a mock in which the cup is drawn from above) in hand into contact with the chair, the user passes the cup. On the other hand, when the cup is brought into contact with the desk 110, the mock, which is a real object, comes into contact with (collides with) the desk in the real space. In other words, although the above two operations are the same for the user, the sensations that can be experienced are different, and confusion is highly likely to occur.

そこで、実施形態では、図４に示すように、仮想オブジェクト４００と、現実物である机１１０との距離が予め設定した距離以下になった場合という条件が成立したとき、その仮想オブジェクトを表す画像の一部４０１（又は全部でも良い）の透明度を大きくする（以下、透過処理という）。その後、ＭＲ画像を生成してＨＭＤ１０１に出力し、表示させることで、上記の状態（仮想空間上で物体同士が接近した状態）であることを積極的にユーザに知らしめる。   Therefore, in the embodiment, as shown in FIG. 4, when the condition that the distance between the virtual object 400 and the real desk 110 is equal to or less than a preset distance is satisfied, an image representing the virtual object is obtained. The transparency of a part 401 (or the whole) may be increased (hereinafter, referred to as transmission processing). Thereafter, an MR image is generated, output to the HMD 101, and displayed, thereby actively notifying the user of the above state (a state in which objects are close to each other in the virtual space).

現実物体である机１１０の位置と形状、大きさに係るデータは図３（ｃ）に示すように外部メモリ２１１に現実物体テーブルとして記憶されている。従って、ここで判定する「距離」は、机１１０の形状を特定するデータ（ＣＡＤデータ）の中で、モック１２０に貼り付けられた仮想オブジェクト配置用マーカの中心位置に最も近い座標を検索することで判定するものとした。   Data relating to the position, shape, and size of the desk 110, which is a real object, is stored in the external memory 211 as a real object table as shown in FIG. Therefore, the “distance” determined here is to search for coordinates closest to the center position of the virtual object placement marker attached to the mock 120 from the data (CAD data) specifying the shape of the desk 110. Was determined.

仮想オブジェクト配置用マーカの中心位置の座標を｛Ｘv，Ｙv，Ｚv｝とし、図３（ｃ）の机１１０の形状と特定するデータ中の座標を｛Ｘi,Ｙi,Ｚi｝(ここで、i=0,1,2,…)と定義したとき、距離Ｌは次式で得られる。
Ｌ＝｛（Ｘv−Ｘi）2＋（Ｙv−Ｙi）2＋（Ｚv−Ｚi）2｝1/2
ここで、iを変化させた際の最小の距離Ｌを、仮想オブジェクト配置用マーカと机１１０との距離とした。なお、上記では距離を計算する際に、最終的に平方根を求めたが、大小の判定で良いのであれば、平行根を求める必要な無く、座標の差分の二乗和を算出しても構わない。 The coordinates of the center position of the virtual object placement marker are {Xv, Yv, Zv}, and the coordinates in the data specifying the shape of the desk 110 in FIG. 3C are {Xi, Yi, Zi} (where i = 0, 1, 2,...), The distance L is obtained by the following equation.
L = {(Xv−Xi) 2 + (Yv−Yi) 2 + (Zv−Zi) 2 } 1/2
Here, the minimum distance L when i is changed is defined as the distance between the virtual object arrangement marker and the desk 110. In the above description, when calculating the distance, the square root is finally obtained. However, if it is sufficient to judge the magnitude, it is not necessary to obtain the parallel root, and the sum of squares of the coordinate difference may be calculated. .

なお、上記式では、仮想オブジェクト配置用マーカの中心位置＝仮想オブジェクトの中心位置とした場合である。先に説明したように、仮想オブジェクトの配置される位置（図３（ｂ）の「位置」の示す位置）は、仮想オブジェクト配置用マーカの中心位置に対し、「位置」で示されるオフセットが与えられる。   Note that, in the above equation, the center position of the virtual object placement marker is equal to the center position of the virtual object. As described above, the position at which the virtual object is arranged (the position indicated by “position” in FIG. 3B) is given an offset indicated by “position” with respect to the center position of the virtual object arrangement marker. Can be

また、実施形態では、仮想オブジェクト４００と、現実物である机１１０との距離が予め設定した距離以下になった場合であっても、仮想オブジェクト４００が停止状態になってから所定時間（例えば５秒）経過した場合、仮想オブジェクト４００に対する透過処理を行わず、仮想オブジェクトの全体を描画するものとした。これにより、例えば現実空間にてモック１２０を机１１０の上に置いた状態で、上記所定時間が経過すると、机１１０上にコップが自然な画像として位置させ、違和感のないＭＲ空間をユーザに提供できる。   Further, in the embodiment, even when the distance between the virtual object 400 and the desk 110 which is a real object becomes equal to or less than a predetermined distance, a predetermined time (for example, 5 minutes) after the virtual object 400 is stopped. After the elapse of (sec), the entire virtual object is drawn without performing the transparency process on the virtual object 400. Thus, for example, when the above-described predetermined time elapses while the mock 120 is placed on the desk 110 in the real space, the cup is positioned as a natural image on the desk 110, and the MR space without discomfort is provided to the user. it can.

上記を実現するため、実施形態における情報処理装置１００のＣＰＵ２０１の処理を図５のフローチャートに従って説明する。なお、ＨＭＤ１０１からは、１秒当たり、左目、右目それぞれの画像が３０枚転送されてくるので、以下に説明する処理も１秒当たり３０回行うものである。   In order to realize the above, processing of the CPU 201 of the information processing apparatus 100 according to the embodiment will be described with reference to the flowchart of FIG. Since 30 images of each of the left eye and the right eye are transferred from the HMD 101 per second, the processing described below is also performed 30 times per second.

まず、ＣＰＵ２０１は、ステップＳ５０１にて、ＨＭＤＩ１０１が撮像した２枚の画像データを入力し、ステップＳ５０２にてその画像中のマーカ画像を識別する。そして、ステップＳ５０３にて、位置検出用マーカであると判定されたマーカ画像から、ＨＭＤ１０１の位置姿勢を検出（算出）する。次いで、ステップＳ５０４にて、仮想オブジェクト配置用マーカが存在したか否かを判定する。入力した画像中に仮想オブジェクト配置用マーカが存在しないと判定した場合、合成すべき仮想オブジェクトを描画する必要はないので、ステップＳ５１２に進み、入力した画像をそのまま左目、右目用の画像としてＨＭＤ１０１に送信する。   First, in step S501, the CPU 201 inputs two pieces of image data captured by the HMDI 101, and identifies a marker image in the image in step S502. Then, in step S503, the position and orientation of the HMD 101 are detected (calculated) from the marker image determined to be the position detection marker. Next, in step S504, it is determined whether or not there is a virtual object placement marker. If it is determined that there is no virtual object placement marker in the input image, there is no need to draw a virtual object to be combined, so the process proceeds to step S512, and the input image is left as it is on the HMD 101 as a left-eye and right-eye image. Send.

一方、ステップＳ５０４にて、入力した画像中に仮想オブジェクト配置用マーカが存在すると判定した場合（ユーザの視野内にモック１２０が存在する場合である）、処理はステップＳ５０５に進む。このステップＳ５０５にて、ＣＰＵ２０１は、その仮想オブジェクト配置用マーカの属性は“固定”、“非固定”のいずれであるかを判定する。“固定”であると判定した場合には、ステップＳ５１０にて、該当するオブジェクトＩＤで特定される描画データを読み出し、現在のＨＭＤＩ１０１の位置姿勢、並びに、仮想オブジェクト配置用マーカの位置に従い、通常の仮想オブジェクト（透過率０％の仮想オブジェクト）を描画し、ステップＳ５１２にて、描画した仮想オブジェクトと現実空間の画像を合成した、左右の目に対応するＭＲ画像を、ＨＭＤ１０１に送信する。   On the other hand, if it is determined in step S504 that there is a virtual object placement marker in the input image (this is a case where the mock 120 exists in the user's field of view), the process proceeds to step S505. In step S505, the CPU 201 determines whether the attribute of the virtual object placement marker is “fixed” or “non-fixed”. If it is determined to be “fixed”, in step S510, the drawing data specified by the corresponding object ID is read out, and according to the current position and orientation of the HMDI 101 and the position of the virtual object placement marker, the normal A virtual object (a virtual object having a transmittance of 0%) is drawn, and in step S512, the MR images corresponding to the left and right eyes, which are obtained by combining the drawn virtual object and the image of the real space, are transmitted to the HMD 101.

また、ステップＳ５０５の判定結果が、着目している仮想オブジェクト配置用マーカの属性が“非固定”であることを示している場合、処理はステップＳ５０６に進み、仮想オブジェクトマーカは移動中であるか否かを判定する。実施形態では、３０フレーム／秒で処理することを想定しているので、１／３０秒前の仮想オブジェクト配置用マーカの位置と、現在の位置との差が所定閾値以上あるか否かで判断するものとする。１／３０秒前に、仮想オブジェクト配置用マーカの存在が検出できない場合も移動中であるものとする。なお、この閾値は、ＨＭＤ１０１の位置姿勢の検出精度に依存して決めればよい。   If the determination result in step S505 indicates that the attribute of the focused virtual object placement marker is “non-fixed”, the process proceeds to step S506, and determines whether the virtual object marker is moving. Determine whether or not. In the present embodiment, it is assumed that processing is performed at 30 frames / sec. Therefore, it is determined whether or not the difference between the position of the virtual object placement marker 1/30 seconds ago and the current position is equal to or greater than a predetermined threshold. It shall be. It is also assumed that the moving object is moving when the presence of the virtual object placement marker cannot be detected 1/30 second before. The threshold may be determined depending on the detection accuracy of the position and orientation of the HMD 101.

ステップＳＳ５０６の判定結果が移動中ではない、すなわち、停止状態を示す場合、処理はステップＳ５０７に進み、停止状態になってから所定時間（実施形態では５秒）経過したか否かを判定する。判定結果が所定時間経過したことを示す場合、ステップＳ５１０に進み、通常の仮想オブジェクトの描画処理を行う。   If the determination result in step SS506 is not moving, that is, indicates a stopped state, the process proceeds to step S507, and determines whether a predetermined time (5 seconds in the embodiment) has elapsed since the stopped state. If the determination result indicates that the predetermined time has elapsed, the process advances to step S510 to perform a normal virtual object drawing process.

また、ステップＳ５０６の判定結果が、仮想オブジェクト配置用マーカが移動中であることを示している場合、ＣＰＵ２０１は処理をステップ５０８に進める。そして、図３（ｃ）の現実物体テーブルを参照して、移動中であると判定された仮想オブジェクト配置用マーカ（実施形態ではモック１２０）で特定されるオフセット位置（仮想オブジェクトの位置＝３次元モデルの配置されている位置）との距離が所定以下となっている現実物体が存在するか否かを判定する（ステップＳ５０９）。なお、この判定では、現実物体が、ＨＭＤ１０１の視野内にあるか否かは問わない。距離が所定以下の現実物体が存在しない場合には、ステップＳ５１０に処理を進める。   If the determination result in step S506 indicates that the virtual object placement marker is moving, the CPU 201 advances the process to step 508. Then, referring to the real object table in FIG. 3C, the offset position (the position of the virtual object = three-dimensional position) specified by the virtual object placement marker (mock 120 in the embodiment) determined to be moving. It is determined whether or not there is a real object whose distance to the position (where the model is located) is equal to or less than a predetermined value (step S509). In this determination, it does not matter whether or not the real object is within the field of view of the HMD 101. If there is no real object whose distance is equal to or less than the predetermined value, the process proceeds to step S510.

一方、距離が所定以下の現実物体が存在する場合には、処理をステップＳ５１１に進める。この場合、ＣＰＵ２０１は、仮想オブジェクト配置用マーカで示される描画データで仮想オブジェクトの全体をまず描画し、上記の距離が所定以下となる領域の透明度を例えば１００％に設定して描画することで、図４の４００にしめすような、一部が透過する仮想オブジェクトを生成する。そして、ステップＳ５１２にて、描画した仮想オブジェクトと現実空間の画像を合成し、ＭＲ画像を生成し、ＨＭＤ１０１に送信する。   On the other hand, when there is a real object whose distance is equal to or less than the predetermined value, the process proceeds to step S511. In this case, the CPU 201 first draws the entire virtual object with the drawing data indicated by the marker for arranging the virtual object, and sets the transparency of the area where the distance is equal to or smaller than a predetermined value to, for example, 100% to draw the virtual object. A partially transparent virtual object is generated as shown at 400 in FIG. Then, in step S512, the drawn virtual object and the image of the real space are combined, an MR image is generated, and transmitted to the HMD 101.

以上説明した処理を行うことで、ユーザがモック１２０を手に持って、机１１０に近づけていくと、或るタイミングで、ユーザには「コップ」として見えていたオブジェクトの一部の透明度が大きくなり、コップが仮想オブジェクトであることを知らしめることが可能になる。さらに、モック１２０を机１１０上に置いて所定時間経過すると、正常なコップ画像が表示されることになり、ＭＲ空間の自然な体験を継続できることになる。   By performing the processing described above, when the user holds the mock 120 in his hand and approaches the desk 110, at a certain timing, the transparency of a part of the object that has been viewed as a “cup” by the user increases. Thus, it is possible to inform that the cup is a virtual object. Furthermore, when the mock 120 is placed on the desk 110 for a predetermined time, a normal cup image is displayed, and a natural experience of the MR space can be continued.

つまり、仮想オブジェクトと現実物体との相対距離に変化があった場合に、当該距離に応じて、仮想オブジェクトを透過するものである。よって、例えばユーザがモックを持って移動した場合、モック（モックに貼付された仮想オブジェクト配置用マーカ）に対応する仮想オブジェクトのコップが移動中であっても、仮想オブジェクト（コップ）と現実物体（モック）との相対距離は短くなっていない（近付いていない）ため、コップの仮想オブジェクトと現実物体のモックの距離に応じてコップの仮想オブジェクトが透過されることはなくなり、ユーザは、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、空間内における物体同士の接近・遠離の状態に応じて出力することができる。   That is, when the relative distance between the virtual object and the real object changes, the virtual object is transmitted according to the distance. Therefore, for example, when the user moves with the mock, even if the cup of the virtual object corresponding to the mock (the virtual object placement marker attached to the mock) is moving, the virtual object (cup) and the real object ( Mock) is not short (not approaching), the cup virtual object is no longer transmitted according to the mock distance between the cup virtual object and the real object. A composite image in which a real image and a virtual object image are composited so that presence or absence can be recognized can be output according to the state of the approaching / separating objects in space.

また、仮想オブジェクトと現実物体の接触状態を監視し、所定時間、現実物体と接触している仮想オブジェクトは透過処理を行わず、仮想オブジェクトの全体を描画するようにしてもよい。つまり、現実の机の上に所定時間置かれているコップの仮想オブジェクトは描画（表示）され、ユーザに、ＭＲ空間の自然な体験をさせることができる。   Alternatively, the state of contact between the virtual object and the real object may be monitored, and the entire virtual object may be drawn without performing the transmission process on the virtual object in contact with the real object for a predetermined time. That is, the virtual object of the cup placed on the real desk for a predetermined time is drawn (displayed), and the user can have a natural experience of the MR space.

なお、上記実施形態における透過処理では、管理者が透明率を設定できるようにしても良い。例えば、透明率を１００より小さくすると、ＨＭＤ１０１を装着したユーザには、透過処理を経た仮想オブジェクトの輪郭が維持されて見え、仮想オブジェクトの原形を把握したまま操作できるようになる。   In the transmission processing in the above embodiment, the administrator may be able to set the transparency. For example, if the transparency is smaller than 100, the user wearing the HMD 101 can maintain the contour of the virtual object that has been subjected to the transparency processing, and can operate while grasping the original shape of the virtual object.

また、透明度を、距離に応じて変化するようにしてもよい。たとえば、距離の閾値Ｔｈ、算出した距離Ｌ、透明度αと定義したとき、
Ｌ＞Ｔｈのときα＝０（すなわち、非透明）
Ｌ≦Ｔｈのとき、α＝（Ｔｈ−Ｌ）／Ｔｈ
としても良い。この場合、仮想オブジェクトが移動中で、現実物体との距離がＴｈ以下の部分については現実物体に近い位置ほど透明度が高くすることができる。なお、上記の２つのバリエーションは、以下に説明する他の実施形態でも適用可能である。 Further, the transparency may be changed according to the distance. For example, when the distance threshold Th, the calculated distance L, and the transparency α are defined,
Α = 0 when L> Th (that is, non-transparent)
When L ≦ Th, α = (Th−L) / Th
It is good. In this case, for a portion where the virtual object is moving and the distance to the real object is equal to or less than Th, the transparency can be increased as the position is closer to the real object. Note that the above two variations are also applicable to other embodiments described below.

［第２の実施形態］
上記第１の実施形態では、仮想オブジェクトと現実物体との距離を判定する際、その現実物体の位置、形状が、予め図３（ｃ）に示すように外部メモリ２１１に格納されているものとして説明した。つまり、第３者が、図３（ｃ）に示す現実物体テーブルに登録していない第２の現実物体を部屋内に置いた場合には、仮にコップを第２の現実物体に近づけたとしても、透過処理が行われないこととなる。 [Second embodiment]
In the first embodiment, when determining the distance between the virtual object and the real object, it is assumed that the position and shape of the real object are stored in advance in the external memory 211 as shown in FIG. explained. That is, when a third person places a second real object in the room that is not registered in the real object table shown in FIG. 3C, even if the cup approaches the second real object, , The transmission process is not performed.

そこで、ステップＳ５０８では、左目、右目のそれぞれの画像中の対応画素の視差からＨＭＤ１０１から該当する画素までの距離と視線方向から、各画素の現実空間における位置を推定する。ただし、仮想オブジェクト配置用マーカを包含する所定の領域の画素は除外する。そして、推定した画素の中で、仮想オブジェクト配置用マーカとの距離が所定閾値以下の画素が存在する場合も、ステップＳ５１１に処理を移行するようにする。この結果、現実物体テーブルに未登録の現実物体が存在したとしても、撮像した画像内にその現実物体が写っている限りは、第１の実施形態と同様の作用効果を奏することができる。   Therefore, in step S508, the position of each pixel in the real space is estimated from the distance from the HMD 101 to the corresponding pixel and the line of sight from the parallax of the corresponding pixel in each of the left-eye and right-eye images. However, pixels in a predetermined area including the virtual object placement marker are excluded. Then, even when there is a pixel whose distance to the virtual object placement marker is equal to or smaller than the predetermined threshold among the estimated pixels, the process proceeds to step S511. As a result, even if an unregistered real object exists in the real object table, the same operation and effect as in the first embodiment can be achieved as long as the real object is included in the captured image.

また、ＨＭＤのカメラで取得した画像からマーカの画像を取得した場合、当該マーカを現実物体として記憶するようにしてもよい。具体的には、マーカを認識した場合、マーカの大きさ・ベクトルから、マーカの示す四角形を一面とする正立方体形状の現実物体のデータ、現実物体テーブルに追加する（図１３（ｃ）の現実物体Ｎｏ＝５０）。   When an image of a marker is obtained from an image obtained by an HMD camera, the marker may be stored as a real object. More specifically, when the marker is recognized, data of a real object having a cubic shape having a square defined by the marker as one surface is added to the real object table based on the size and vector of the marker (the real object in FIG. 13C). Object No = 50).

図１３は、図３（ａ）に、マーカの貼付先が追加され、図３（ｂ）に、新たなデータ（１５０（手）／１０１ｏｂｊ等）が追加され、図３（ｃ）に、新たなデータ（５０（マーカＮｏ）、１５０（手））が追加されたデータである。   In FIG. 13, a marker paste destination is added to FIG. 3A, new data (150 (hand) / 101 obj, etc.) is added to FIG. 3B, and a new data is added to FIG. Data (50 (marker No.), 150 (hand)).

ＨＭＤのカメラで取得した画像においてユーザの手が認識された場合、当該手の位置を、三角測量によって特定されるＨＭＤから手までの距離の情報と、ＨＭＤの位置姿勢の情報を用いて特定し、当該手の位置に、例えば予め情報処理装置１００の外部メモリに記憶されているユーザの手の大きさ・形状を持った透明な仮想オブジェクトを配置して現実物体として管理する（図１３（ｃ）の現実物体Ｎｏ＝１５０）。   When the user's hand is recognized in the image acquired by the camera of the HMD, the position of the hand is specified using information on the distance from the HMD to the hand specified by triangulation and information on the position and orientation of the HMD. For example, a transparent virtual object having the size and shape of the user's hand stored in advance in the external memory of the information processing apparatus 100 is arranged at the position of the hand and managed as a real object (FIG. 13C ) Real object No. = 150).

マーカや手を現実物体として記憶・管理することで、例えば、机の仮想オブジェクトと手の距離に応じて、机の仮想オブジェクトを透過する処理を行うことが可能となる。よって、ユーザは机の仮想オブジェクトの下に現実物体があるか否かを確認することができる。   By storing and managing the markers and hands as real objects, it becomes possible to perform a process of transmitting the virtual objects of the desk according to the distance between the virtual objects of the desk and the hands, for example. Therefore, the user can check whether or not there is a real object under the virtual object on the desk.

また、仮想オブジェクトのコップを手に持って現実物体の机に近づけた場合であって、机の位置にも仮想オブジェクトが配置されている場合（例えばテクスチャを張り替えるだけで机の色・模様を自由に変更できるように、現実物体の机の位置に配置された、机と同一形状の仮想オブジェクト（机の仮想オブジェクト）が存在する場合）、仮想オブジェクトのコップが現実物体の机に接近し、且つ、現実物体としての手（またはマーカの貼付されたモック）が仮想オブジェクトの机に接近したことになる。この場合、例えば、仮想オブジェクトのコップと、仮想オブジェクトの机の両方が透過される。   Also, when the virtual object cup is held close to the real object desk, and the virtual object is also placed at the desk position (for example, the color and pattern of the desk can be changed simply by replacing the texture). If there is a virtual object (desk virtual object) of the same shape as the desk placed at the desk position of the real object so that it can be changed freely, the cup of the virtual object approaches the desk of the real object, In addition, a hand (or a mock with a marker attached) as a real object approaches the desk of the virtual object. In this case, for example, both the cup of the virtual object and the desk of the virtual object are transmitted.

［第３の実施形態］
上記第１、第２の実施形態では、仮想オブジェクトが、現実物体に近づいた場合に、その仮想オブジェクトの一部又は全部を透過するものとした。 [Third Embodiment]
In the first and second embodiments, when a virtual object approaches a real object, a part or all of the virtual object is transmitted.

本発明の第３の実施形態においては、仮想オブジェクトで隠れている可能性がある現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、仮想オブジェクト同士の距離に応じて出力することを目的とする。   In the third embodiment of the present invention, a synthesized image obtained by synthesizing a real image and a virtual object image so that the presence or absence of a real object that may be hidden by a virtual object can be recognized is determined. The purpose is to output according to the distance.

つまり、仮想オブジェクトが移動して、他の仮想オブジェクトとの距離が所定閾値以下になったとき、当該移動中の仮想オブジェクトの一部又は全部を透過する。一方、仮想オブジェクトと現実物体との間の距離の応じた透過処理は行わない（通常の描画処理を行う）。この場合の処理は、ステップＳ５０８の処理が、移動中の仮想オブジェクト配置用マーカと、他の仮想オブジェクトマーカとの距離とを算出するようにすれば実現できる。   That is, when the virtual object moves and the distance from the other virtual object becomes equal to or less than the predetermined threshold, the virtual object that is moving is partially or entirely transmitted. On the other hand, the transmission processing according to the distance between the virtual object and the real object is not performed (normal drawing processing is performed). In this case, the processing in step S508 can be realized by calculating the distance between the moving virtual object placement marker and another virtual object marker.

例えば、図１３に示すように、現実物体の机と同じ位置に仮想オブジェクトの机が配置されて描画されていることがある。現実物体の机と仮想オブジェクトの机とが必ずしも同じ形状とは限らないため、場合によっては（例えば現実物体の机よりも仮想オブジェクトの机の方が大きい場合）、現実物体の机が仮想オブジェクトの机に包含されてしまい（重なってしまい）、隠れて見えなくなってしまう。   For example, as shown in FIG. 13, a desk of a virtual object may be placed and drawn at the same position as a desk of a real object. Since the desk of the real object and the desk of the virtual object are not always the same shape, in some cases (for example, when the desk of the virtual object is larger than the desk of the real object), the desk of the real object is They are wrapped up in the desk (overlapping) and hide and disappear.

第３の実施形態においては、例えば、仮想オブジェクト同士の距離に応じて、仮想オブジェクトに重なって配置されている現実物体（例えば、仮想オブジェクトの机で隠れている現実物体の机）の存否をユーザに通知することができる。   In the third embodiment, for example, according to the distance between the virtual objects, the user determines whether or not there is a real object (for example, a desk of a real object hidden behind a desk of the virtual object) arranged so as to overlap the virtual object. Can be notified.

固定の仮想オブジェクトとは、固定の仮想オブジェクト配置用マーカに対応付けられた仮想オブジェクトである（図１３（ａ）のマーカＮｏ＝５１）。非固定の仮想オブジェクト配置用マーカに対応付けられた仮想オブジェクトを、非固定の仮想オブジェクトとであるものとする（図１３（ａ）のマーカＮｏ＝５０）。固定の仮想オブジェクト配置用マーカは、移動しない物体（例えば机）に貼り付けられた、仮想オブジェクトを描画するためのマーカである。   The fixed virtual object is a virtual object associated with the fixed virtual object placement marker (marker No. = 51 in FIG. 13A). It is assumed that the virtual object associated with the non-fixed virtual object placement marker is a non-fixed virtual object (marker No. = 50 in FIG. 13A). The fixed virtual object placement marker is a marker attached to an immovable object (for example, a desk) for drawing a virtual object.

例えば、仮想オブジェクトの「机」（図１３（ｂ）のオブジェクト識別Ｎｏ＝１０１ｏｂｊ）があり、ユーザがモックを仮想オブジェクトの「机」に向けて近づけたとする。この場合、近付いたモックの位置に配置されているコップの仮想オブジェクトと近づけられた机の仮想オブジェクトとについて、固定の仮想オブジェクトか非固定の仮想オブジェクトかを判断し、図６に示すように、移動中の仮想オブジェクトであるコップ（非固定の仮想オブジェクト）ではなく、机の仮想オブジェクト（固定の仮想オブジェクト／１０１ｏｂｊ）の方を透過処理する。尚、非固定の仮想オブジェクトを透過処理するように設定することも可能である。   For example, it is assumed that there is a virtual object “desk” (object identification No. 101obj in FIG. 13B) and the user approaches the mock toward the virtual object “desk”. In this case, it is determined whether the virtual object of the cup placed at the position of the approached mock and the virtual object of the approached desk are fixed virtual objects or non-fixed virtual objects, and as shown in FIG. The desk virtual object (fixed virtual object / 101obj) is subjected to the transparent processing instead of the moving virtual object cup (non-fixed virtual object). Note that it is also possible to make settings so that a non-fixed virtual object is transparently processed.

また、２つの仮想オブジェクトのうちの、透過処理を行う対象を、移動中の仮想オブジェクトとするか、停止中の仮想オブジェクトとするかをユーザの選択で、適宜設定できるようにしてもよい。   In addition, it may be possible to appropriately set, by the user's selection, whether the target to be subjected to the transparent processing of the two virtual objects is a moving virtual object or a stopped virtual object.

例えば、今、仮想オブジェクトの「机」があり、ユーザがモックを当該仮想オブジェクトの「机」に向けて近づけたとする。この場合、図６に示すように、移動中の仮想オブジェクトであるコップではなく、机の方を透過処理する。尚、移動中の仮想オブジェクトを透過処理するように設定がされている場合は、モックに描画されたコップの仮想オブジェクトを透過することが可能である。   For example, it is assumed that there is a virtual object “desk”, and the user approaches the mock toward the virtual object “desk”. In this case, as shown in FIG. 6, the transparent processing is performed not on the cup which is the moving virtual object but on the desk. If the setting is made so that the moving virtual object is transparently processed, it is possible to transmit the virtual object of the cup drawn on the mock.

また、図７に示すように、所定距離以下になった仮想オブジェクトのいずれも(両方に対して）透過処理を行っても構わない。また、場合によっては、図８に示すように、所定距離以下になった仮想オブジェクトの全部を透過処理（仮想オブジェクトの描画を中止することを意味する）を行っても構わない。   Further, as shown in FIG. 7, any of the virtual objects having a distance equal to or less than the predetermined distance may be subjected to the transmission processing (for both). Further, in some cases, as shown in FIG. 8, the entirety of the virtual object which has become a predetermined distance or less may be subjected to the transparency processing (meaning that the drawing of the virtual object is stopped).

また、ここでは仮想オブジェクト同士の距離に応じて仮想オブジェクトを透過するものとしたが、例えば、所定距離内の仮想オブジェクトのどちらか一方または両方の仮想オブジェクトの色を変更することで、オブジェクト（物体）同士の接近を識別表示するようにしてもよい。   Further, here, the virtual object is transmitted according to the distance between the virtual objects. However, for example, by changing the color of one or both of the virtual objects within a predetermined distance, the object (object ) The approach between them may be identified and displayed.

また、仮想オブジェクト同士が所定距離内にある場合に、いずれか一方または両方の仮想オブジェクトの存在する位置に、新たに生成したマスクオブジェクト（仮想オブジェクトを描画しない領域（Ｘ，Ｙ，Ｚ）・形状を定義した）を所定時間配置して、仮想オブジェクトを一時的に描画させないようにしてもよい。つまり、新たな情報（マスクオブジェクト）を生成して画像に合成することで、仮想オブジェクトの下に現実物体があるか否かをユーザに通知する。   In addition, when the virtual objects are within a predetermined distance, a newly generated mask object (a region (X, Y, Z) / shape where the virtual object is not drawn) / shape is placed at one or both of the virtual objects. May be arranged for a predetermined time so that the virtual object is not drawn temporarily. That is, by generating new information (mask object) and combining it with an image, the user is notified whether or not there is a real object under the virtual object.

本発明の第３の実施形態によれば、仮想オブジェクトで隠れている可能性がある現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、仮想オブジェクト同士の距離に応じて出力することができる。   According to the third embodiment of the present invention, a combined image in which a real image and a virtual object image are combined so that the presence or absence of a real object that may be hidden by a virtual object can be recognized, and Can be output according to the distance of

［第４の実施形態］
第４の実施形態を説明する。本第４の実施形態では、ユーザがモック１２０（仮想オブジェクトであるコップ）を移動させ、他の仮想物体と衝突（接触）させた場合の処理である。 [Fourth embodiment]
A fourth embodiment will be described. In the fourth embodiment, the processing is performed in a case where the user moves the mock 120 (a cup which is a virtual object) and collides (contacts) with another virtual object.

第４の実施形態においては、仮想オブジェクトを他の仮想オブジェクトと接触させることで、容易に仮想オブジェクトのコピー、配置、削除をすることを目的とする。   In the fourth embodiment, an object is to easily copy, arrange, and delete a virtual object by bringing the virtual object into contact with another virtual object.

図９を参照して説明する。図９において、９００は、モック１２０に貼り付けられた仮想オブジェクト配置用マーカ（ただし、非固定）で規定される仮想オブジェクト（コップ）であり、９０１は仮想オブジェクトである箱である。仮想オブジェクト９０１は、それに該当する仮想化オブジェクトマーカに従って描画しても構わないし、マーカとは無関係に定義したオブジェクトであっても構わない。いずれにしても仮想ボックス９０１は固定であり、その形状、位置は既にデータとして、外部メモリ２１１に登録されているものとする。   This will be described with reference to FIG. In FIG. 9, reference numeral 900 denotes a virtual object (cup) defined by a virtual object placement marker (not fixed) attached to the mock 120, and reference numeral 901 denotes a box which is a virtual object. The virtual object 901 may be drawn according to the corresponding virtual object marker, or may be an object defined independently of the marker. In any case, the virtual box 901 is fixed, and its shape and position are already registered in the external memory 211 as data.

本第４の実施形態では、図９（ａ）に示すように、非固定の属性を持つ仮想オブジェクト９００が矢印９５０に沿って移動中に、他の仮想オブジェクト９０１と衝突（接触）した場合、その仮想オブジェクトが衝突した位置に配置されるようにする。また、この際、本第４の実施形態では、載置した仮想オブジェクト９００の３次元空間の位置と、それが仮想オブジェクト９０１に衝突した際の移動方向（衝突方向）とをＲＡＭ２０３に登録しておく。ユーザからすれば、視覚的にはコップが箱の上に載置されたかのように見えるものの、触覚による衝突の知覚は無いので、そのままモック１２０は矢印９５１に沿って移動できる。また、衝突以降、モック１２０に貼り付けられた仮想オブジェクト配置用マーカの識別処理は継続するものの、該当する仮想オブジェクト配置用マーカにより規定される仮想オブジェクトは描画対象から除外する。   In the fourth embodiment, as shown in FIG. 9A, when a virtual object 900 having a non-fixed attribute collides (contacts) with another virtual object 901 while moving along an arrow 950, The virtual object is arranged at the collision position. At this time, in the fourth embodiment, the position of the placed virtual object 900 in the three-dimensional space and the moving direction (collision direction) when the virtual object 900 collides with the virtual object 901 are registered in the RAM 203. deep. From the user's point of view, the cup looks visually as if it were placed on the box, but since there is no tactile perception of collision, the mock 120 can move along the arrow 951 as it is. After the collision, the process of identifying the virtual object placement marker pasted on the mock 120 is continued, but the virtual object defined by the corresponding virtual object placement marker is excluded from the drawing target.

一方、仮想オブジェクト９００が仮想オブジェクト９０１上に載置した状態で、許容範囲内で逆方向（矢印９５２）にモック１２０を移動し、かつ、モック１２０に貼り付けられた仮想オブジェクト配置用マーカの座標が、既に登録した仮想オブジェクト９００の座標の許容範囲内に入ったとき、固定表示を解除する。すなわち、それまで表示されていた仮想オブジェクト９００を消去すると共に、仮想オブジェクト配置用マーカに規定された仮想オブジェクト９００による描画処理を開始させる。ユーザから見た場合、モック１２０が仮想オブジェクト９００の近傍を、それを載置した方向とは逆方向に移動したとき、矢印９５３に沿ってコップを持ち上げたものとして知覚することになる。   On the other hand, with the virtual object 900 placed on the virtual object 901, the mock 120 is moved in the opposite direction (arrow 952) within the allowable range, and the coordinates of the virtual object placement marker attached to the mock 120 are moved. Is released within the allowable range of the coordinates of the already registered virtual object 900, the fixed display is released. That is, the virtual object 900 that has been displayed so far is erased, and drawing processing by the virtual object 900 defined by the virtual object placement marker is started. When viewed from the user, when the mock 120 moves near the virtual object 900 in the direction opposite to the direction in which the virtual object 900 is placed, the user perceives that the cup has been lifted along the arrow 953.

本第４の実施形態における装置構成は第１の実施形態と同じであるものとする。以下、本第４の実施形態におけるＣＰＵ２０１の処理を図１０のフローチャートに従って説明する。
ステップＳ５０１乃至Ｓ５０４は第１の実施形態と同じであるので、その説明は省略する。 It is assumed that the device configuration in the fourth embodiment is the same as that in the first embodiment. Hereinafter, processing of the CPU 201 according to the fourth embodiment will be described with reference to the flowchart of FIG.
Steps S501 to S504 are the same as in the first embodiment, and a description thereof will be omitted.

ＨＭＤ１０１で撮像した画像中に非固定の仮想オブジェクト配置用マーカ（モック１２０に貼り付けられている）を検出すると、処理はステップＳ１００１に進み、着目している仮想オブジェクト配置用マーカの中心位置の座標と、図３（ｂ）に示すデータの中に、接触状態の他の仮想化オブジェクト（図９では箱を表す仮想オブジェクト９０１）があるか否かを判定する。なければ、ステップＳ１００７に処理を進める。   If a non-fixed virtual object placement marker (attached to the mock 120) is detected in the image captured by the HMD 101, the process proceeds to step S1001, and the coordinates of the center position of the focused virtual object placement marker Then, it is determined whether or not there is another virtual object in the contact state (the virtual object 901 representing a box in FIG. 9) in the data shown in FIG. If not, the process proceeds to step S1007.

一方、接触状態の他の仮想オブジェクトが存在すると判断した場合、処理はステップＳ１００２に進み、移動中の仮想オブジェクト配置用マーカの中心位置の、前回撮像した際の座標と、現在の座標から、移動中の仮想オブジェクト配置用マーカの接触方向を特定する。そして、ステップＳ１００３にて、他の仮想オブジェクト上の接触位置から予め設定された距離以内に、仮想オブジェクト配置用マーカで表される仮想オブジェクトと同じ仮想オブジェクトが既に固定表示されているか否かを判定する。   On the other hand, if it is determined that another virtual object in the contact state exists, the process advances to step S1002 to move the center position of the moving virtual object placement marker from the coordinates at the time of the previous imaging and the current coordinates. The contact direction of the middle virtual object placement marker is specified. Then, in step S1003, it is determined whether or not the same virtual object as the virtual object represented by the virtual object arrangement marker is already fixedly displayed within a preset distance from the contact position on another virtual object. I do.

このステップＳ１００３の判定方法は後述するが、ここでは否であるものとして説明する。この場合、処理はステップＳ１００５に進み、他の仮想オブジェクト上の接触位置に、移動中の仮想オブジェクト配置用マーカで表される仮想オブジェクト（実施形態では「コップ」の画像）を固定する。この際、ＲＡＭ２０３の予め設定された領域に、移動中の仮想オブジェクト配置用マーカで表される仮想オブジェクトが配置されたことを示す情報、並びに、ステップＳ１００２で求めた接触方向を示す情報を格納する。先に説明した、ステップＳ１００３の判定は、ＲＡＭ２０３の上記領域のデータを検索することで判定することになる。また、このステップＳ１００５以降、移動中の仮想オブジェクト配置用マーカについてはその位置検出処理は継続するものの、該当する仮想オブジェクトは描画の対象外として設定する。   Although the determination method in step S1003 will be described later, the description will be made here assuming that the determination is negative. In this case, the process proceeds to step S1005, and the virtual object (in the embodiment, an image of a “cup”) represented by the moving virtual object placement marker is fixed at the contact position on another virtual object. At this time, information indicating that the virtual object represented by the moving virtual object arrangement marker has been arranged and information indicating the contact direction obtained in step S1002 are stored in a preset area of the RAM 203. . The above-described determination in step S1003 is made by searching for data in the above area of the RAM 203. After step S1005, the position detection process is continued for the moving virtual object placement marker, but the corresponding virtual object is set as a target not to be drawn.

上記の結果、図９（ａ）の状態、すなわち、ユーザがモック１２０を移動させて、そのモック１２０上に貼り付けられた仮想オブジェクト配置用マーカが、他の仮想オブジェクトと接触（衝突）した際、仮想オブジェクト配置用マーカで表される仮想オブジェクトが、他の仮想オブジェクト上に固定表示されることになる。つまり、ユーザは、コップを箱の上に置いたとものとして体感することになる。   As a result of the above, when the user moves the mock 120 and the virtual object placement marker pasted on the mock 120 contacts (collides) with another virtual object as shown in FIG. The virtual object represented by the virtual object arrangement marker is fixedly displayed on another virtual object. In other words, the user feels as if the cup is placed on the box.

一方、ステップＳ１００３にて、接触位置から予め設定された距離以内に、仮想オブジェクト配置用マーカで表される仮想オブジェクトと同じ仮想オブジェクトが既に固定表示されていると判定した場合、処理はステップＳ１００４に進む。このステップＳ１００４では、現在の仮想オブジェクト配置用マーカの接触方向と、ＲＡＭ２０３に登録した接触方向とが、予め設定した許容範囲内で逆であるかを判定する。逆であると判定した場合、処理はステップＳ１００８に進み、仮想オブジェクト配置用マーカで表される仮想オブジェクトの固定化を解除する。すなわち、再び、仮想オブジェクト配置用マーカの位置に追従して、それに規よって固定される仮想オブジェクトの描画処理を行う。   On the other hand, if it is determined in step S1003 that the same virtual object as the virtual object represented by the virtual object placement marker has already been fixedly displayed within a preset distance from the contact position, the process proceeds to step S1004. move on. In this step S1004, it is determined whether the current contact direction of the virtual object placement marker and the contact direction registered in the RAM 203 are opposite within a preset allowable range. If it is determined to be the opposite, the process proceeds to step S1008, and the virtual object represented by the virtual object arrangement marker is released from being fixed. That is, the drawing processing of the virtual object fixed according to the position of the virtual object arrangement marker is performed again following the position of the virtual object arrangement marker.

この結果、図９（ｂ）の状態、すなわち、ユーザがモック１２０を、以前に仮想オブジェクト上に固定したコップの近傍で移動させ、かつ、その移動方向が、そのコップを配置した際の移動方向とは逆方向であった場合、仮想オブジェクト配置用マーカの位置に追従して仮想オブジェクトが移動することになる。つまり、ユーザは、箱の上に置いたコップを持ち上げたとして体感することになる。   As a result, the state of FIG. 9B, that is, the user moves the mock 120 in the vicinity of the cup previously fixed on the virtual object, and the moving direction is the moving direction when the cup is arranged If the direction is opposite to the above, the virtual object moves following the position of the virtual object placement marker. That is, the user feels as if he lifts the cup placed on the box.

なお、上記第４の実施形態では、仮想物体を載置した際のモックの移動方向に対して逆方向である場合に、固定を解除するものとしたが、ステップＳ１００４の判定処理を無くし、既に固定した仮想物体の近傍に再び仮想オブジェクト配置用マーカが移動したという条件だけで固定表示を解除しても構わない。   In the fourth embodiment, the fixing is released when the virtual object is in the opposite direction to the moving direction of the mock when the virtual object is placed. However, the determination process of step S1004 is eliminated, and The fixed display may be released only under the condition that the virtual object placement marker has moved again to the vicinity of the fixed virtual object.

また、上記第４の実施形態では、移動中の仮想物体（コップ）を、接触した他の仮想物体上に固定した場合に、当該移動中だった仮想物体（コップ）を表す仮想オブジェクトマーカに対する、当該仮想物体（コップ）の描画を行わないものとしたが、例えば、当該接触後であっても、当該仮想オブジェクトマーカに対する当該仮想物体（コップ）の描画を継続するようにしてもよい。つまり、移動中の仮想オブジェクトマーカ（モックに貼り付けられたマーカ）の位置に対するコップの仮想オブジェクトの描画は継続したまま、接触したほかのオブジェクト上に当該コップの仮想オブジェクトを複製（生成）して、固定する処理を行う。   Further, in the fourth embodiment, when a moving virtual object (cup) is fixed on another virtual object with which it is in contact, a virtual object marker representing the moving virtual object (cup) is Although the drawing of the virtual object (cup) is not performed, for example, the drawing of the virtual object (cup) on the virtual object marker may be continued even after the contact. In other words, while the drawing of the cup virtual object at the position of the moving virtual object marker (the marker affixed to the mock) is continued, the virtual object of the cup is duplicated (generated) on another contacted object. , And perform a fixing process.

この場合、図１０のステップＳ１０１５の処理を複数回繰り返すことで、複数のコップの仮想オブジェクトが、接触した当該他のオブジェクト上に固定（複製）される。   In this case, by repeating the process of step S1015 of FIG. 10 a plurality of times, the virtual objects of the plurality of glasses are fixed (duplicated) on the other object that has come into contact.

第４の実施形態においては、仮想オブジェクトを他の仮想オブジェクトと接触させることで、容易に仮想オブジェクトのコピー、配置、削除をすることができる。   In the fourth embodiment, the virtual object can be easily copied, arranged, and deleted by bringing the virtual object into contact with another virtual object.

［第５の実施形態］
本発明の第５の実施形態においては、現実物体と仮想オブジェクトが重なっている場合に、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、物体同士の距離に応じて出力することを目的とする。 [Fifth Embodiment]
In the fifth embodiment of the present invention, when a real object and a virtual object overlap, a synthesized image obtained by synthesizing the real image and the virtual object image so that the presence or absence of the real object can be recognized is compared with the object. The purpose is to output according to the distance.

第５の実施形態においては、仮想オブジェクトと他の物体が所定距離内にある場合に、仮想オブジェクトに重なっている現実物体の存否を、現実物体テーブル（図１３（ｃ））を参照して判定し、当該判定結果をユーザに通知する。例えば、仮想オブジェクトを透過して、仮想オブジェクトに重なっている現実物体の存在をユーザに視認させる。   In the fifth embodiment, when a virtual object and another object are within a predetermined distance, the presence or absence of a real object overlapping the virtual object is determined with reference to a real object table (FIG. 13C). Then, the user is notified of the determination result. For example, the user can visually recognize the presence of a real object overlapping the virtual object through the virtual object.

図１１を参照して、本発明の第５の実施形態の処理について説明する。第１の実施形態と共通の処理については上述したため、説明を省略する。   The processing according to the fifth embodiment of the present invention will be described with reference to FIG. Since the processing common to the first embodiment has been described above, the description is omitted.

情報処理装置１００のＣＰＵ２０１は、ステップＳ５０８で距離が算出された仮想オブジェクト（コップ）の、形状を示すデータ（図１３（ｂ）の描画データ）を取得し、コップから所定距離内にある現実物体の形状を示すデータ（図１３（ｃ）の形状）を取得する。また、ステップＳ５０８で距離を算出した現実物体（机）の、形状を示すデータ（図１３（ｃ）の形状）を取得し、コップから所定距離内にある仮想オブジェクトの形状を示すデータ（図１３（ｂ）の描画データ）を取得する。そして、ステップＳ５０８で距離が算出された現実物体の机に重なっている仮想オブジェクトがあるか、及び、ステップＳ５０８で距離が算出された仮想オブジェクトのコップに現実物体が重なっているか判定する。つまり、仮想オブジェクトと現実物体が重なっているか判定する（ステップＳ１１０１）。   The CPU 201 of the information processing apparatus 100 acquires data indicating the shape (drawing data of FIG. 13B) of the virtual object (cup) for which the distance has been calculated in step S508, and the real object within a predetermined distance from the cup. (Shape in FIG. 13 (c)) is obtained. Further, data indicating the shape of the real object (desk) whose distance has been calculated in step S508 (shape in FIG. 13C) is acquired, and data indicating the shape of the virtual object within a predetermined distance from the cup (FIG. 13). (Drawing data of (b)). Then, it is determined whether there is a virtual object overlapping the desk of the real object whose distance has been calculated in step S508 and whether the real object overlaps the cup of the virtual object whose distance has been calculated in step S508. That is, it is determined whether the virtual object and the real object overlap (step S1101).

重なっていないと判定された場合（ステップＳ１１０１でＮＯ）、処理をステップＳ５１０に移行する。重なっていると判定された場合（ステップＳ１１０１でＹＥＳ）、当該現実物体と重なっている仮想オブジェクトを透過して描画する（ステップＳ１１０２）。   If it is determined that they do not overlap (NO in step S1101), the process proceeds to step S510. If it is determined that they overlap (YES in step S1101), the virtual object overlapping with the real object is transparently drawn (step S1102).

当該透過の処理は、現実物体の存否を認識可能にするための手段の１つである。   The transmission processing is one of means for making it possible to recognize the presence or absence of a real object.

例えば、仮想オブジェクトを透過する代わりに、仮想オブジェクトに重なっている現実物体と同じ形状の仮想オブジェクトを生成して、現実物体と同じ位置に配置して強調表示する（現実物体の形状をしたオブジェクトを最前面に表示する／点線で輪郭を表示する等）することで、仮想オブジェクトと重なっている現実物体の存在をユーザに通知し、視認（確認）させるようにしてもよい。   For example, instead of transmitting the virtual object, a virtual object having the same shape as the real object overlapping the virtual object is generated, arranged at the same position as the real object, and highlighted (the object having the shape of the real object is highlighted). By displaying the real object in the foreground / displaying the outline with a dotted line), the user may be notified of the presence of the real object overlapping the virtual object and visually recognized (confirmed).

また、仮想オブジェクトから所定距離離れた位置（予め決められた座標）に、当該仮想オブジェクトに現実物体が重なっている旨を示す、不図示の吹き出しアイコン（２次元画像）を表示して当該通知を行うようにしてもよい。   Further, a balloon icon (two-dimensional image) (not shown) indicating that the real object is overlapped with the virtual object is displayed at a position (predetermined coordinates) away from the virtual object by a predetermined distance, and the notification is made. It may be performed.

透過処理、現実物体のオブジェクト描画、アイコン表示はそれぞれ個別に行ってもよいし、同時に行うようにしてもよい。   The transparency processing, the drawing of the object of the real object, and the icon display may be performed individually or simultaneously.

本発明の第５の実施形態によれば、現実物体と仮想オブジェクトが重なっている場合に、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、物体同士の距離に応じて出力することができる。   According to the fifth embodiment of the present invention, when a real object and a virtual object are overlapped with each other, a synthesized image obtained by synthesizing the real image and the virtual object image so that the presence or absence of the real object can be recognized is converted into an object. The output can be made according to the distance between them.

［第６の実施形態］
本発明の第６の実施形態においては、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、現実物体同士の距離に応じて出力することを目的とする。 [Sixth Embodiment]
A sixth embodiment of the present invention aims to output a synthesized image in which a real image and a virtual object image are synthesized so that the presence or absence of a real object can be recognized according to the distance between the real objects. I do.

現実物体に仮想オブジェクトが重なっている場合があるため、第６の実施形態においては、現実物体同士が所定距離内にある場合に、例えば、仮想オブジェクトを透過して現実物体の存否をユーザに確認させる。   Since the virtual object may overlap the real object, in the sixth embodiment, when the real objects are within a predetermined distance, for example, the user confirms the presence or absence of the real object through the virtual object. Let it.

図１２を参照して、本発明の第６の実施形態の処理について説明する。第１の実施形態と共通の処理については上述したため、説明を省略する。   The processing according to the sixth embodiment of the present invention will be described with reference to FIG. Since the processing common to the first embodiment has been described above, the description is omitted.

情報処理装置１００のＣＰＵ２０１は、ＨＭＤの位置、現実物体テーブル（図１３（ｃ））を参照して、ＨＭＤから所定距離内に現実物体があるか判定する（ステップＳ１２０１）。現実物体がない場合（ステップＳ１２０１でＮＯ）、処理をステップＳ５１０に移行する。現実物体がある場合（ステップＳ１２０１でＹＥＳ）、処理をステップＳ５０６に移行する。   The CPU 201 of the information processing apparatus 100 determines whether there is a real object within a predetermined distance from the HMD with reference to the position of the HMD and the real object table (FIG. 13C) (step S1201). If there is no real object (NO in step S1201), the process proceeds to step S510. If there is a real object (YES in step S1201), the process proceeds to step S506.

情報処理装置１００のＣＰＵ２０１は、現実物体が移動中であるか否かを判定する（ステップＳ１２０２）。実施形態では、３０フレーム／秒で処理することを想定しているので、１／３０秒前の現実物体の位置との差が所定閾値以上あるか否かで判断するものとする。１／３０秒前に、現実物体の存在が検出できない場合も移動中であるものとする。なお、この閾値は、ＨＭＤ１０１の位置姿勢の検出精度に依存して決めればよい。   The CPU 201 of the information processing apparatus 100 determines whether the real object is moving (Step S1202). In the embodiment, it is assumed that the processing is performed at 30 frames / sec. Therefore, it is determined whether or not the difference from the position of the real object 1/30 sec before is equal to or more than a predetermined threshold. It is assumed that the moving object is moving even if the presence of the real object cannot be detected 1/30 second before. The threshold may be determined depending on the detection accuracy of the position and orientation of the HMD 101.

ステップＳ１２０２の判定結果が移動中ではない、すなわち、停止状態を示す場合（ステップＳ１２０２でＮＯ）、処理はステップＳ１２０３に進み、停止状態になってから所定時間（実施形態では５秒）経過したか否かを判定する。判定結果が所定時間経過したことを示す場合、ステップＳ５１０に進み、通常の仮想オブジェクトの描画処理を行う。   If the determination result in step S1202 is not moving, that is, indicates a stopped state (NO in step S1202), the process proceeds to step S1203, and a predetermined time (5 seconds in the embodiment) has elapsed since the stopped state. Determine whether or not. If the determination result indicates that the predetermined time has elapsed, the process advances to step S510 to perform a normal virtual object drawing process.

また、ステップＳ１２０２の判定結果が、現実物体が移動中であることを示している場合（ステップＳ１２０２でＹＥＳ）、ＣＰＵ２０１は処理をステップＳ１２０４に進める。そして、図１３（ｃ）の現実物体テーブルを参照して、他の現実物体との距離を算出し（ステップＳ１２０４）、移動中であると判定された現実物体との距離が所定以下となっている現実物体が存在するか否かを判定する（ステップＳ１２０５）。なお、この判定では、現実物体がＨＭＤ１０１の視野内にあるか否かは問わない。距離が所定以下の現実物体が存在しない場合には（ステップＳ１２０５でＮＯ）、ステップＳ５１０に処理を進める。
一方、距離が所定以下の現実物体が存在する場合には（ステップＳ１２０５でＹＥＳ）、処理をステップＳ１２０６に進める。 If the determination result in step S1202 indicates that the real object is moving (YES in step S1202), CPU 201 advances the process to step S1204. Then, referring to the real object table of FIG. 13C, the distance to another real object is calculated (step S1204), and the distance to the real object determined to be moving becomes equal to or less than a predetermined value. It is determined whether or not a real object exists (step S1205). In this determination, it does not matter whether the real object is in the field of view of the HMD 101 or not. If there is no real object whose distance is equal to or less than the predetermined value (NO in step S1205), the process proceeds to step S510.
On the other hand, if there is a real object whose distance is equal to or less than the predetermined value (YES in step S1205), the process proceeds to step S1206.

情報処理装置１００のＣＰＵ２０１は、移動中の現実物体、及び、移動中の現実物体から処理距離内にあると判定された現実物体に重なっている仮想オブジェクトがあるかを、各現実物体の形状、及び、各現実物体から所定距離内にある仮想オブジェクトを図１３（ｂ）（ｃ）を参照して判定する（ステップＳ１２０６）。   The CPU 201 of the information processing apparatus 100 determines whether there is a moving real object and a virtual object overlapping with the real object determined to be within the processing distance from the moving real object, by determining the shape of each real object, Then, virtual objects within a predetermined distance from each real object are determined with reference to FIGS. 13B and 13C (step S1206).

現実物体に重なっている仮想オブジェクトがないと判定された場合（ステップＳ１２０６でＮＯ）、処理をステップＳ５１０に移行する。現実物体に重なっている仮想オブジェクトがあると判定された場合（ステップＳ１２０６でＹＥＳ）、当該現実物体に重なっている仮想オブジェクトを透過して描画し（ステップＳ１２０７）、通常描画された他の仮想オブジェクトと合わせて現実画像と合成して出力する。   If it is determined that there is no virtual object overlapping the real object (NO in step S1206), the process proceeds to step S510. If it is determined that there is a virtual object overlapping with the real object (YES in step S1206), the virtual object overlapping with the real object is drawn through (step S1207), and another virtual object that is normally drawn is drawn. Combined with the real image and output.

本発明の第６の実施形態によれば、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、現実物体同士の距離に応じて出力することができる。   According to the sixth embodiment of the present invention, it is possible to output a synthesized image in which a real image and a virtual object image are synthesized so that the presence or absence of a real object can be recognized according to the distance between the real objects. .

以上、本発明に係る各実施形態を説明したが、上記実施形態は、本発明に係る例であると認識されたい。たとえば、ＨＭＤ１０１の位置姿勢を検出するため、上記実施形態では位置検出用マーカが撮像した視野内に３つは存在するものとして、位置検出用マーカを部屋中に多数張り付けるものとしたが、これによって本発明が限定されるものではない。位置検出用マーカには向きを規定する印があり、位置検出用マーカの座標だけでなく、形状や寸法も既知であれば、撮像した画像の位置検出の歪み、サイズ、印の位置から、１つの位置検出用マーカからだけでもＨＭＤ１０１の位置姿勢を特定できる。また、位置検出用マーカを用いるのではなく、ＨＭＤそのものの位置姿勢を、光学式センサ、磁気センサ、超音波センサなどを利用して検出する公知技術を利用しても構わない。つまり、ＨＭＤの位置姿勢検出に係る手段は問わない。   As described above, each embodiment according to the present invention has been described, but it should be recognized that the above embodiment is an example according to the present invention. For example, in order to detect the position and orientation of the HMD 101, in the above-described embodiment, it is assumed that there are three position detection markers in the field of view captured by the position detection markers, and a large number of position detection markers are attached in the room. However, the present invention is not limited thereto. The position detection marker has a mark defining the direction. If not only the coordinates of the position detection marker but also its shape and dimensions are known, the distortion, size, and position of the mark in the position detection of the captured image can be considered as 1 position. The position and orientation of the HMD 101 can be specified from only one position detection marker. Instead of using the position detection marker, a known technique of detecting the position and orientation of the HMD itself using an optical sensor, a magnetic sensor, an ultrasonic sensor, or the like may be used. In other words, means for detecting the position and orientation of the HMD does not matter.

尚、上述した実施形態においては、仮想オブジェクトの透明化処理（透明度の変更の処理）を行うことによって、ユーザに通知を行ったが、例えば、移動中の仮想オブジェクトと現実物体、又は他の仮想オブジェクトが所定距離以上近付いた場合に、前記近付いたもの同士の最短距離を示す仮想オブジェクトを生成して、描画するようにしてもよい。例えば、定規の仮想オブジェクトを、移動中の仮想オブジェクトと現実物体、又は他の仮想オブジェクトとの間に表示するようにしてもよい。   In the above-described embodiment, the user is notified by performing transparency processing (transparency change processing) of a virtual object. For example, a moving virtual object and a real object, or another virtual object may be notified. When an object approaches by a predetermined distance or more, a virtual object indicating the shortest distance between the approaching objects may be generated and drawn. For example, a ruler virtual object may be displayed between a moving virtual object and a real object or another virtual object.

また、所定時間以上、当該所定距離以内にあるオブジェクトと現実物体、又は他の仮想オブジェクトが停止した状態にある場合、当該定規の仮想オブジェクトの描画を停止するようにしてもよい。   Further, when the object and the real object or another virtual object within a predetermined time or longer and within the predetermined distance are in a stopped state, the drawing of the virtual object of the ruler may be stopped.

また、移動中の仮想オブジェクトと現実物体、又は他の仮想オブジェクトが所定距離以上近付いた場合、例えば、上述した透明度の変更の処理の代わりに、当該移動中の仮想オブジェクト、及び／又は前記移動中の仮想オブジェクトが接近した仮想オブジェクトの全部又は一部の色を変更する処理を行ってもよい。   Further, when the moving virtual object and the real object or another virtual object are closer than a predetermined distance, for example, instead of the above-described process of changing the transparency, the moving virtual object and / or the moving object A process of changing the color of all or some of the virtual objects approached by the virtual object may be performed.

また、所定時間以上、当該所定距離以内にあるオブジェクトと現実物体、又は他の仮想オブジェクトが停止した状態にある場合、当該色の変更処理を停止し、元の色彩に仮想オブジェクトの色彩を戻して描画するようにしてもよい。   In addition, when the object and the real object or the other virtual object within the predetermined distance are stopped for a predetermined time or more, the process of changing the color is stopped, and the color of the virtual object is returned to the original color. You may make it draw.

以上説明した通り、本発明によれば、現実空間に仮想空間が配置されている場合に、現実物体の存否を認識可能にするように現実画像と仮想オブジェクト画像が合成された合成画像を、空間内における物体同士の距離に応じて出力することができる。   As described above, according to the present invention, when a virtual space is arranged in a real space, a synthesized image obtained by synthesizing a real image and a virtual object image so that the presence or absence of a real object can be recognized is converted into a space. Can be output in accordance with the distance between objects in the space.

また、本発明によれば、ＭＲ空間において移動するオブジェクトと他のオブジェクトとの距離に応じて、少なくとも一方が仮想オブジェクトである場合に、ユーザに通知する仕組みを提供することができる。   Further, according to the present invention, it is possible to provide a mechanism for notifying a user when at least one of them is a virtual object according to the distance between an object moving in the MR space and another object.

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。   The present invention is, for example, possible as an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. You may apply to the apparatus which consists of three apparatuses.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。   The present invention also includes a software program for realizing the functions of the above-described embodiments, which is supplied directly or remotely to a system or an apparatus. The present invention also includes a case where the present invention is also achieved by a computer of the system or the apparatus reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Therefore, the program code itself installed in the computer to implement the functional processing of the present invention by the computer also implements the present invention. That is, the present invention includes the computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。   In this case, as long as it has the function of the program, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。   Examples of a recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, an MO, a CD-ROM, a CD-R, and a CD-RW. Further, there are a magnetic tape, a nonvolatile memory card, a ROM, a DVD (DVD-ROM, DVD-R), and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another method of supplying the program, a browser on a client computer is used to connect to a homepage on the Internet. The computer program of the present invention or a compressed file including an automatic installation function can be supplied from the home page by downloading the file to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。   Also, the present invention can be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. In other words, the present invention also includes a WWW server that allows a plurality of users to download a program file for implementing the functional processing of the present invention on a computer.

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and downloaded to a user who satisfies predetermined conditions from a homepage via the Internet to download key information for decryption. Let it. It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer to realize the program.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   The functions of the above-described embodiments are implemented when the computer executes the read program. In addition, the OS or the like running on the computer performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments can also be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, the program read from the recording medium is written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on instructions of the program, a CPU or the like provided in the function expansion board or the function expansion unit performs part or all of actual processing, and the functions of the above-described embodiments are also realized by the processing.

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   It should be noted that the above-described embodiment is merely an example of the embodiment for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.

１００…情報処理装置、１０１…ＨＭＤ１０１、１０２…ケーブル、１２０，１５０…マーカ、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…システムバス、２０５…入力コントローラ、２０６…ビデオコントローラ、２０７…メモリコントローラ、２０８…通信Ｉ／Ｆコントローラ、２０９…入力デバイス、２１０…ディスプレイ、２１１…外部メモリ、２２１…右目ビデオカメラ、２２２…左目ビデオカメラ、２２３…右目ディスプレイ、２２４…左目ディスプレイ、２２５…コントローラ   Reference Signs List 100 information processing device, 101 HMD 101, 102 cable, 120, 150 marker, 201 CPU, 202 ROM, 203 RAM, 204 system bus, 205 input controller, 206 video controller, 207 memory Controller, 208 Communication I / F controller, 209 Input device, 210 Display, 211 External memory, 221 Right eye video camera, 222 Left eye video camera, 223 Right eye display, 224 Left eye display, 225 Controller

Claims (22)

現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置であって、
仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報と、前記仮想空間が配置された現実空間における現実物体の位置情報とを用いて、前記仮想オブジェクトと前記現実物体との距離を特定する特定手段と、
現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力する出力手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus for outputting a synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize,
Using the position information of the virtual object in the virtual space where the virtual object is placed and the position information of the real object in the real space where the virtual space is placed, specify the distance between the virtual object and the real object. Identification means,
Output means for outputting a synthesized image obtained by synthesizing the real image and the virtual object image so as to enable the presence or absence of a real object to be displayed on the display device according to the distance specified by the specifying means; ,
An information processing apparatus comprising: 現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置であって、
仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報を用いて、前記仮想オブジェクト同士の距離を特定する特定手段と、
前記仮想空間が配置された現実空間における現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力する出力手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus for outputting a synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize,
Specifying means for specifying the distance between the virtual objects using position information of the virtual objects in the virtual space where the virtual objects are arranged;
Displaying the synthesized image obtained by synthesizing the real image and the virtual object image so that the presence or absence of a real object in the real space in which the virtual space is arranged can be recognized according to the distance specified by the specifying unit; Output means for outputting to be displayed on the device;
An information processing apparatus comprising: 現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置であって、
仮想空間が配置された現実空間における現実物体の位置情報を用いて、前記現実物体同士の距離を特定する特定手段と、
現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力する出力手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus for outputting a synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize,
Specifying means for specifying the distance between the real objects using position information of the real objects in the real space in which the virtual space is arranged;
Output means for outputting a synthesized image obtained by synthesizing the real image and the virtual object image so as to enable the presence or absence of a real object to be displayed on the display device according to the distance specified by the specifying means; ,
An information processing apparatus comprising: 現実物体の存否を認識可能にするように前記仮想オブジェクト画像の表示形態を変更する表示形態変更手段と、
を備え、
前記出力手段は、前記表示形態変更手段で、現実物体の存否を認識可能にするように表示形態が変更された仮想オブジェクト画像と前記現実画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 Display form changing means for changing the display form of the virtual object image so that the presence or absence of a real object can be recognized;
With
The output unit is configured to specify a combined image obtained by combining the virtual image and the real image whose display mode has been changed so that the presence or absence of a real object can be recognized by the display mode changing unit. The information processing apparatus according to any one of claims 1 to 3, wherein the information is output so as to be displayed on the display device according to the distance. 前記表示形態変更手段は、前記仮想オブジェクト画像の一部又は全部の透明度を変更することを特徴とする請求項４に記載の情報処理装置。   The information processing apparatus according to claim 4, wherein the display mode changing unit changes the transparency of a part or all of the virtual object image. 前記表示形態変更手段は、
前記特定手段で特定した距離が小さいほど、前記仮想オブジェクト画像の一部もしくは全部の透過度を大きくすることを特徴とする請求項５に記載の情報処理装置。 The display form changing means,
6. The information processing apparatus according to claim 5, wherein the smaller the distance specified by the specifying unit, the greater the transparency of a part or the entirety of the virtual object image. 前記表示形態変更手段は、前記仮想オブジェクト画像の一部又は全部の色を変更することを特徴とする請求項４乃至６のいずれか１項に記載の情報処理装置。   The information processing apparatus according to claim 4, wherein the display mode changing unit changes a color of part or all of the virtual object image. 現実物体の存否を認識可能にするように、前記現実画像の存否を示す新規オブジェクトを生成する新規オブジェクト生成手段と、
前記出力手段は、前記新規オブジェクト生成手段で生成した新規オブジェクトと、前記現実画像と、前記仮想オブジェクト画像とが合成された合成画像を、前記現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像として、前記特定手段で特定された距離に応じて前記表示装置に出力することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。 New object generating means for generating a new object indicating the presence or absence of the real image so that the presence or absence of the real object can be recognized;
The output unit is configured to convert the new object generated by the new object generation unit, the real image, and the synthesized image obtained by synthesizing the virtual object image into a real image so that the presence or absence of the real object can be recognized. 8. The information processing apparatus according to claim 1, wherein a combined image obtained by combining the virtual object image and the virtual object image is output to the display device in accordance with the distance specified by the specifying unit. 9. apparatus. 前記新規オブジェクト生成手段は、前記仮想空間が配置された現実空間における現実物体の位置情報を用いて、前記現実物体の位置を示す新規オブジェクトを生成することを特徴とする請求項８に記載の情報処理装置。   9. The information according to claim 8, wherein the new object generation unit generates a new object indicating the position of the real object using position information of the real object in the real space where the virtual space is arranged. Processing equipment. 前記新規オブジェクト生成手段は、仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報と、前記仮想空間が配置された現実空間における現実物体の位置情報を用いて、前記仮想オブジェクトと重なって前記現実物体が存在しているか否かを示す新規オブジェクトを生成することを特徴とする請求項８又は９に記載の情報処理装置。   The new object generating means overlaps with the virtual object by using position information of the virtual object in the virtual space in which the virtual object is arranged and position information of the real object in the real space in which the virtual space is arranged. 10. The information processing apparatus according to claim 8, wherein a new object indicating whether or not a real object exists is generated. 前記出力手段は、前記特定手段で距離が特定された現実物体または仮想オブジェクトが移動中である、又は、前記特定手段で距離が特定された現実物体または仮想オブジェクトが停止状態になってからの所定時間以内であることを条件に、現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記表示装置に出力することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。   The output unit is configured to determine whether the real object or the virtual object whose distance has been specified by the specifying unit is moving or that the real object or the virtual object whose distance has been specified by the specifying unit has been stopped. 2. A combined image in which the real image and the virtual object image are combined so that the presence or absence of a real object can be recognized on condition that the time is within a time, and output to the display device. 11. The information processing device according to any one of claims 10 to 10. 前記特定手段で距離が特定された前記仮想オブジェクトと現実物体が重なっているか判定する第１の判定手段と、
を備え、
前記出力手段は、前記第１の判定手段で前記特定手段で距離が特定された前記仮想オブジェクトと現実物体が重なっていると判定された場合に、当該仮想オブジェクトが重なっている現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。 First determining means for determining whether the virtual object whose distance has been specified by the specifying means and the real object overlap each other;
With
The output means, when the first determination means determines that the virtual object and the real object whose distance has been specified by the specifying means are overlapped, determines whether or not the virtual object overlaps the real object. 2. The image processing apparatus according to claim 1, wherein a composite image in which the real image and the virtual object image are composed so as to be recognizable is output to be displayed on the display device in accordance with the distance specified by the specifying unit. 12. The information processing device according to any one of claims 11 to 11. 前記出力手段は、前記特定手段で距離が特定された仮想オブジェクトと当該仮想オブジェクトが重なっている現実物体との相対距離が変化していることを条件に、現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記表示装置に出力することを特徴とする請求項１２に記載の情報処理装置。   The output means enables the presence or absence of a real object to be recognized on condition that the relative distance between the virtual object whose distance has been specified by the specifying means and the real object on which the virtual object overlaps has changed. 13. The information processing apparatus according to claim 12, wherein a combined image in which the real image and the virtual object image are combined is output to the display device. 前記特定手段で距離が特定された前記現実物体と仮想オブジェクトが重なっているか判定する第２の判定手段と、
を備え、
前記出力手段は、前記第２の判定手段で前記特定手段で距離が特定された前記現実物体と仮想オブジェクトが重なっていると判定された場合に、当該仮想オブジェクトが重なっている現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。 Second determining means for determining whether the real object and the virtual object whose distance has been specified by the specifying means overlap with each other;
With
The output means determines whether the virtual object overlaps the real object when the second determination means determines that the real object and the virtual object whose distance has been specified by the specifying means overlap. 2. The image processing apparatus according to claim 1, wherein a composite image in which the real image and the virtual object image are composed so as to be recognizable is output to be displayed on the display device in accordance with the distance specified by the specifying unit. 14. The information processing device according to any one of claims 13 to 13. 前記出力手段は、前記特定手段で距離が特定された現実物体と当該現実物体に重なっている仮想オブジェクトとの相対距離が変化していることを条件に、現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記表示装置に出力することを特徴とする請求項１４に記載の情報処理装置。   The output unit enables the presence or absence of the real object to be recognized on condition that the relative distance between the real object whose distance has been specified by the specifying unit and the virtual object overlapping the real object has changed. The information processing apparatus according to claim 14, wherein a combined image obtained by combining the real image and the virtual object image is output to the display device. 前記表示装置は、前記現実空間を撮像するための左右の視点位置用の２つのカメラを備える頭部装着ディスプレイを有し、
仮想空間が配置された現実空間における現実物体の位置情報は、前記２つのカメラで撮像された２枚の画像中の各画素の視差に基づき特定されることを特徴とする請求項１乃至のいずれか１項乃至１５のいずれか１項に記載の情報処理装置。 The display device has a head-mounted display including two cameras for left and right viewpoint positions for imaging the real space,
The position information of a real object in a real space where a virtual space is arranged is specified based on a parallax of each pixel in two images captured by the two cameras. 16. The information processing device according to any one of items 1 to 15. 現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置の制御方法であって、
特定手段が、仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報と、前記仮想空間が配置された現実空間における現実物体の位置情報とを用いて、前記仮想オブジェクトと前記現実物体との距離を特定する特定工程と、
出力手段が、現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定工程で特定された距離に応じて前記表示装置に表示させるべく出力する出力工程と、
を備えることを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus for outputting a synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize,
Specifying means for using the position information of the virtual object in the virtual space in which the virtual object is arranged and the position information of the real object in the real space in which the virtual space is arranged, to determine the relationship between the virtual object and the real object; A specifying step of specifying a distance;
An output unit configured to output a synthesized image obtained by synthesizing the real image and the virtual object image on the display device according to the distance specified in the specifying step so that the presence or absence of a real object can be recognized. Output process,
A method for controlling an information processing apparatus, comprising: コンピュータに読み込ませ実行させることで、前記コンピュータを、現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置として機能させるためのプログラムであって、
前記コンピュータを、
仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報と、前記仮想空間が配置された現実空間における現実物体の位置情報とを用いて、前記仮想オブジェクトと前記現実物体との距離を特定する特定手段、
現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力する出力手段、
として機能させるためのプログラム。 The computer functions as an information processing device that, when read and executed by a computer, outputs the synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize. A program for causing
Said computer,
Using the position information of the virtual object in the virtual space where the virtual object is arranged and the position information of the real object in the real space where the virtual space is arranged, specify the distance between the virtual object and the real object. Specific means,
Output means for outputting a synthesized image obtained by synthesizing the real image and the virtual object image so as to enable the presence or absence of a real object to be displayed on the display device according to the distance specified by the specifying means;
Program to function as 現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置の制御方法であって、
特定手段が、仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報を用いて、前記仮想オブジェクト同士の距離を特定する特定工程と、
出力手段が、前記仮想空間が配置された現実空間における現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定工程で特定された距離に応じて前記表示装置に表示させるべく出力する出力工程と、
を備えることを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus for outputting a synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize,
Specifying means for specifying a distance between the virtual objects using position information of the virtual objects in a virtual space in which the virtual objects are arranged;
An output unit is configured to combine the real image and the virtual object image so that the presence or absence of a real object in the real space in which the virtual space is arranged can be recognized, at a distance specified in the specifying step. An output step of outputting to display on the display device accordingly.
A method for controlling an information processing apparatus, comprising: コンピュータに読み込ませ実行させることで、前記コンピュータを、現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置として機能させるためのプログラムであって、
前記コンピュータを、
仮想オブジェクトが配置された仮想空間における前記仮想オブジェクトの位置情報を用いて、前記仮想オブジェクト同士の距離を特定する特定手段、
前記仮想空間が配置された現実空間における現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力する出力手段、
として機能させるためのプログラム。 The computer functions as an information processing device that, when read and executed by a computer, outputs the synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize. A program for causing
Said computer,
Specifying means for specifying a distance between the virtual objects using position information of the virtual objects in a virtual space in which the virtual objects are arranged;
Displaying the synthesized image obtained by synthesizing the real image and the virtual object image so that the presence or absence of a real object in the real space in which the virtual space is arranged can be recognized according to the distance specified by the specifying unit; Output means for outputting to be displayed on the device,
Program to function as 現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置の制御方法であって、
仮想空間が配置された現実空間における現実物体の位置情報を用いて、前記現実物体同士の距離を特定する特定工程と、
現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定工程で特定された距離に応じて前記表示装置に表示させるべく出力する出力工程と、
を備えることを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus for outputting a synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize,
A specifying step of specifying the distance between the real objects using position information of the real objects in the real space where the virtual space is arranged;
An output step of outputting a synthesized image obtained by synthesizing the real image and the virtual object image so as to enable the presence or absence of a real object to be displayed on the display device according to the distance specified in the specifying step. ,
A method for controlling an information processing apparatus, comprising: コンピュータに読み込ませ実行させることで、前記コンピュータを、現実空間を表す現実画像と、仮想空間における仮想オブジェクト画像とを合成した合成画像をユーザが視認するための表示装置に出力する情報処理装置として機能させるためのプログラムであって、
前記コンピュータを、
仮想空間が配置された現実空間における現実物体の位置情報を用いて、前記現実物体同士の距離を特定する特定手段、
現実物体の存否を認識可能にするように前記現実画像と前記仮想オブジェクト画像が合成された合成画像を、前記特定手段で特定された距離に応じて前記表示装置に表示させるべく出力する出力手段、
として機能させるためのプログラム。 The computer functions as an information processing device that, when read and executed by a computer, outputs the synthesized image obtained by synthesizing a real image representing a real space and a virtual object image in a virtual space to a display device for a user to visually recognize. Is a program for causing
Said computer,
Specifying means for specifying a distance between the real objects by using position information of the real objects in the real space in which the virtual space is arranged,
Output means for outputting a synthesized image obtained by synthesizing the real image and the virtual object image so as to enable the presence or absence of a real object to be displayed on the display device according to the distance specified by the specifying means;
Program to function as
JP2019204820A 2013-12-25 2019-11-12 Information processing equipment, information processing system, control method, program Active JP7079231B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013268068 2013-12-25
JP2013268068 2013-12-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014250305A Division JP6618681B2 (en) 2013-12-25 2014-12-10 Information processing apparatus, control method and program therefor, and information processing system

Publications (3)

Publication Number Publication Date
JP2020024752A true JP2020024752A (en) 2020-02-13
JP2020024752A5 JP2020024752A5 (en) 2020-04-30
JP7079231B2 JP7079231B2 (en) 2022-06-01

Family

ID=53888953

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014250305A Active JP6618681B2 (en) 2013-12-25 2014-12-10 Information processing apparatus, control method and program therefor, and information processing system
JP2019204820A Active JP7079231B2 (en) 2013-12-25 2019-11-12 Information processing equipment, information processing system, control method, program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014250305A Active JP6618681B2 (en) 2013-12-25 2014-12-10 Information processing apparatus, control method and program therefor, and information processing system

Country Status (1)

Country Link
JP (2) JP6618681B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199626A1 (en) * 2022-04-14 2023-10-19 株式会社Ｎｔｔドコモ Display control device
WO2024029858A1 (en) * 2022-08-04 2024-02-08 삼성전자주식회사 Display module control method, and electronic device performing the method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030193A1 (en) * 2015-08-20 2017-02-23 ソニー株式会社 Information processing device, information processing method, and program
JP6690277B2 (en) * 2016-02-09 2020-04-28 富士通株式会社 Image processing control method, image processing control program, and information processing apparatus
US10540825B2 (en) 2016-05-02 2020-01-21 Sony Interactive Entertainment Inc. Image processing apparatus
US10311543B2 (en) 2016-10-27 2019-06-04 Microsoft Technology Licensing, Llc Virtual object movement
WO2019067482A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc Displaying applications in a simulated reality setting
US11182964B2 (en) * 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US11373379B2 (en) 2018-08-23 2022-06-28 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method for generating augmented reality images based on user interaction
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
CN113168732A (en) 2018-12-03 2021-07-23 麦克赛尔株式会社 Augmented reality display device and augmented reality display method
EP3928192B1 (en) 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
CN113661691B (en) 2019-09-27 2023-08-08 苹果公司 Electronic device, storage medium, and method for providing an augmented reality environment
JP7442168B2 (en) 2019-10-07 2024-03-04 株式会社リトプラ Video processing system
US11836871B2 (en) * 2021-03-22 2023-12-05 Apple Inc. Indicating a position of an occluded physical object

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004713A (en) * 2005-06-27 2007-01-11 Canon Inc Image processing method and image processor
US20130155106A1 (en) * 2011-12-20 2013-06-20 Xerox Corporation Method and system for coordinating collisions between augmented reality and real reality

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08185545A (en) * 1994-12-28 1996-07-16 Nippon Steel Corp Method and device for generating image
JP2009025918A (en) * 2007-07-17 2009-02-05 Canon Inc Image processor and image processing method
JP2012155655A (en) * 2011-01-28 2012-08-16 Sony Corp Information processing device, notification method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004713A (en) * 2005-06-27 2007-01-11 Canon Inc Image processing method and image processor
US20130155106A1 (en) * 2011-12-20 2013-06-20 Xerox Corporation Method and system for coordinating collisions between augmented reality and real reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199626A1 (en) * 2022-04-14 2023-10-19 株式会社Ｎｔｔドコモ Display control device
WO2024029858A1 (en) * 2022-08-04 2024-02-08 삼성전자주식회사 Display module control method, and electronic device performing the method

Also Published As

Publication number Publication date
JP2015143976A (en) 2015-08-06
JP7079231B2 (en) 2022-06-01
JP6618681B2 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
JP7079231B2 (en) Information processing equipment, information processing system, control method, program
CN107810465B (en) System and method for generating a drawing surface
CN105637559B (en) Use the structural modeling of depth transducer
JP6920057B2 (en) Image processing equipment, image processing method, computer program
JP6004051B2 (en) INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP7060778B2 (en) Information processing system, information processing system control method and program
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
JP2015125641A (en) Information processing device, control method therefor, and program
JP6409861B2 (en) Information processing apparatus, information processing system, control method thereof, and program
CN115335894A (en) System and method for virtual and augmented reality
US20220172439A1 (en) Head-mounted information processing apparatus and head-mounted display system
JP2019067323A (en) Information processing apparatus, information processing method, and recording medium
JP2022507502A (en) Augmented Reality (AR) Imprint Method and System
JP7273325B2 (en) Information processing device, information processing system, information processing method and program
JP6152888B2 (en) Information processing apparatus, control method and program thereof, and information processing system, control method and program thereof
JP6357412B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP6376251B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP6164177B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2015121892A (en) Image processing apparatus, and image processing method
JP2016115230A (en) Information processing apparatus, information processing system, control method thereof, and program
JP6810342B2 (en) Information processing equipment, information processing system, its control method and program
JP2019040357A (en) Image processing system, image processing method and computer program
JP6741939B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP6734537B2 (en) Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program
JP7111940B2 (en) Information processing device, information processing system, control method thereof, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210129

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220310

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220324

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220520

R150 Certificate of patent or registration of utility model

Ref document number: 7079231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150