JP4574323B2 - Image processing method and image processing apparatus - Google Patents

Image processing method and image processing apparatus Download PDF

Info

Publication number
JP4574323B2
JP4574323B2 JP2004311037A JP2004311037A JP4574323B2 JP 4574323 B2 JP4574323 B2 JP 4574323B2 JP 2004311037 A JP2004311037 A JP 2004311037A JP 2004311037 A JP2004311037 A JP 2004311037A JP 4574323 B2 JP4574323 B2 JP 4574323B2
Authority
JP
Japan
Prior art keywords
image
image processing
real space
touch panel
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004311037A
Other languages
Japanese (ja)
Other versions
JP2006126936A5 (en
JP2006126936A (en
Inventor
俊広 小林
英太 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004311037A priority Critical patent/JP4574323B2/en
Publication of JP2006126936A publication Critical patent/JP2006126936A/en
Publication of JP2006126936A5 publication Critical patent/JP2006126936A5/ja
Application granted granted Critical
Publication of JP4574323B2 publication Critical patent/JP4574323B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、現実空間の映像上に仮想空間の映像を重畳して外部に出力する為の技術に関するものである。   The present invention relates to a technique for superimposing a virtual space image on a real space image and outputting the same to the outside.

現実空間と仮想空間とを違和感なく自然に結合する複合現実感（MR: Mixed Reality）の技術を応用した装置（複合現実感提示装置）が盛んに提案されている。これらの複合現実感提示装置は、カメラなどの撮像装置によって撮影した現実空間の画像に対し、コンピュータグラフィックス（CG: Computer Graphics）で描画した仮想空間の画像を重畳し、ヘッドマウントディスプレイ（HMD: Head-Mounted Display）などの表示装置に表示することで、ユーザに提示している（特許文献１参照）。   Devices (mixed reality presentation devices) that apply a mixed reality (MR) technology that combines a real space and a virtual space naturally without a sense of incongruity have been actively proposed. These mixed reality presentation devices superimpose a virtual space image drawn by computer graphics (CG) on a real space image captured by an imaging device such as a camera, and a head mounted display (HMD: It is presented to the user by displaying on a display device such as Head-Mounted Display (see Patent Document 1).

複合現実感提示装置を用いると、現実には存在しない物体を、あたかも現実に存在しているかのような感覚で見ることができる。さらに、仮想空間はコンピュータ内にデータとして保持されており、ＣＧによって描画される。すなわち、仮想空間には物理的な制約がほとんど存在しないため、任意に変更することが可能である。例えば、仮想物体の位置や大きさ、外観や物体中の部位の可視・不可視などを変更することができる。このような利点から、複合現実感提示装置は、工業製品などの設計や、外観シミュレーションのなどの分野での応用が特に期待されている。   By using the mixed reality presentation device, an object that does not actually exist can be viewed as if it actually existed. Further, the virtual space is held as data in the computer and is drawn by CG. That is, since there is almost no physical restriction in the virtual space, it can be arbitrarily changed. For example, it is possible to change the position and size of the virtual object, the appearance, and the visibility / invisibility of a part in the object. Due to such advantages, the mixed reality presentation apparatus is particularly expected to be applied in the fields of industrial product design and appearance simulation.

複合現実感提示装置は、仮想空間を任意に変更できることが大きな特徴である。しかし、その反面、仮想空間を任意に変更するためには、複合現実感提示装置のユーザに対して、数多くの種類の操作を行わせるための環境が必要となる。ユーザに仮想空間を変更させる自由度をより広くすると、それに伴い、ユーザが行うべき操作は膨大かつ複雑なものとなる。   A great feature of the mixed reality presentation device is that the virtual space can be arbitrarily changed. However, in order to arbitrarily change the virtual space, an environment for allowing the user of the mixed reality presentation apparatus to perform many types of operations is required. As the degree of freedom for changing the virtual space by the user is further increased, the operations to be performed by the user become enormous and complicated.

一般的に複合現実感提示装置の制御は、グラフィックス・ワークステーションやパーソナル・コンピュータで行われる。そのため、複合現実感提示装置の操作は、コンピュータに接続されているディスプレイを見ながら、キーボードやマウスによって行われることが主流となっている。   In general, the mixed reality presentation apparatus is controlled by a graphics workstation or a personal computer. Therefore, the operation of the mixed reality presentation apparatus is mainly performed by a keyboard or a mouse while looking at a display connected to the computer.

しかし、複合現実空間を観測するユーザが、従来のようにマウスやキーボードによって複合現実感提示装置の操作を行うのは、決して容易なことではない。   However, it is not easy for a user observing the mixed reality space to operate the mixed reality presentation device using a mouse or a keyboard as in the past.

複合現実感提示装置のユーザは撮像装置および表示装置を頭部に装着しており、撮像装置で撮像された画像によって、現実空間を観察することとなる。そのため、ユーザが肉眼で直接現実空間を観察するのと比較すると、現実空間画像の視野角や解像度は撮像装置によって制限される。特に、複合現実感提示装置では表示装置および撮像装置をユーザの頭部に装着するため、表示装置、撮像装置は小型でなければならない。しかし、小型の撮像装置では視野角や解像度の制約はさらに大きくなる。すなわち、現状では、頭部装着が可能であるような撮像装置の視野角や解像度は、肉眼と比較すると遠く及ばない。すなわち、複合現実感提示装置のユーザが、撮像装置や表示装置を装着している状態で、（撮像装置によって撮像された画像中の）コンピュータのディスプレイを見ながら、マウスやキーボードを操作することは、現実的に困難であると言える。さらに、仮想空間の画像が、現実空間画像中のマウスやキーボード、ディスプレイを隠蔽し得る状況下では、そもそも操作を行うこと自体が不可能となる。
特開平１１−１３６７０６号公報 A user of the mixed reality presentation device wears an imaging device and a display device on his / her head, and observes a real space by an image captured by the imaging device. Therefore, the viewing angle and resolution of the real space image are limited by the imaging device as compared with the case where the user directly observes the real space with the naked eye. In particular, in the mixed reality presentation device, the display device and the imaging device must be small because the display device and the imaging device are mounted on the user's head. However, in a small imaging apparatus, restrictions on the viewing angle and resolution are further increased. In other words, at present, the viewing angle and resolution of an imaging device that can be worn on the head are far from those of the naked eye. That is, the user of the mixed reality presentation device operates the mouse and the keyboard while looking at the computer display (in the image captured by the imaging device) while wearing the imaging device and the display device. It can be said that it is practically difficult. Furthermore, in a situation where the virtual space image can hide the mouse, keyboard, and display in the real space image, it is impossible to perform the operation in the first place.
Japanese Patent Laid-Open No. 11-136706

そのため、専任のオペレータを配し、オペレータがユーザの指示に従い、マウスやキーボードによる複合現実感提示装置の操作を代行する方法が採られることが多い。しかしこの場合、ユーザがオペレータに自らの意志を正確に伝え、きめ細かな操作を行うことには限度があり、必ずしもユーザの意図通りの操作が実現できるものではなかった。   For this reason, a method is often employed in which a dedicated operator is assigned and the operator performs an operation of the mixed reality presentation device using a mouse or a keyboard in accordance with a user instruction. However, in this case, there is a limit for the user to accurately convey his / her will to the operator and perform a detailed operation, and the operation as intended by the user cannot always be realized.

また、ユーザが頭部に装着する表示装置に２次元のＧＵＩ（Graphical User Interface）を表示させ、ユーザはプレゼンテーションマウスなどの手持ち型マウスを操作することによって、ユーザ自身が操作を直接行うようにする方法が存在する。しかし、一般的なＧＵＩが表示される領域は、表示装置中でかなりの面積を占め、ユーザが観測する現実空間像が阻害されてしまうため、ユーザに対して危険を及ぼす場合がある。さらに、ユーザが頭部を動かした場合、現実空間と仮想空間は頭部の動きに追従して見え方が変化するのに対し、ＧＵＩは２次元的に表示されるため見え方が変化せず、ユーザの違和感を増長する要因となる。ユーザがＧＵＩを凝視するような状況下では、いわゆる「ＶＲ酔い」を起こすことがあり、ユーザが複雑な操作を行うことは困難であった。   In addition, a two-dimensional GUI (Graphical User Interface) is displayed on a display device worn by the user on the head, and the user operates the hand-held mouse such as a presentation mouse so that the user can directly perform the operation. There is a method. However, a region where a general GUI is displayed occupies a considerable area in the display device, and a real space image observed by the user is obstructed, which may be dangerous for the user. Furthermore, when the user moves the head, the real space and the virtual space change following the movement of the head, whereas the GUI is displayed two-dimensionally, so the appearance does not change. This is a factor that increases the user's discomfort. Under the situation where the user stares at the GUI, so-called “VR sickness” may occur, and it is difficult for the user to perform a complicated operation.

本発明は以上の問題に鑑みて成されたものであり、複合現実空間を観察するユーザが簡便に各種の操作を行う為の技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to provide a technique for a user who observes a mixed reality space to easily perform various operations.

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。   In order to achieve the object of the present invention, for example, an image processing method of the present invention comprises the following arrangement.

即ち、画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、現実空間の画像を取得する取得工程と、
前記画像処理装置の配置手段が、前記現実空間中に配置された表示装置の表示画面であって全画面に渡って単一色を表示している該表示画面上に設けられたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
前記画像処理装置の生成手段が、前記取得工程で取得された現実空間の画像に含まれている前記表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、前記現実空間の画像における当該見なした領域以外の領域上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記画像処理装置の特定手段が、前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記画像処理装置の実行手段が、前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする。 That is, an image processing method performed by the image processing apparatus ,
An acquisition step in which the acquisition means of the image processing apparatus acquires an image of a real space;
A virtual object is displayed on a touch panel provided on the display screen on which the arrangement unit of the image processing device displays a single color over the entire screen, which is a display screen of the display device arranged in the real space. An arrangement step of arranging an operation panel as
The generation means of the image processing device may select a region other than the single color in the display screen portion of the display device included in the image of the real space acquired in the acquisition step , or a finger color of an operator or an indicator Generation of generating a mixed reality space image by superimposing a virtual space image including an image of the operation panel arranged in the arrangement step on an area other than the regarded area in the image of the real space Process,
A specifying step in which the specifying unit of the image processing apparatus acquires a position instructed on the touch panel, and specifies an operation part on the operation panel corresponding to the acquired position;
The execution unit of the image processing apparatus includes an execution step of executing an operation corresponding to the operation part specified in the specifying step.

本発明の構成により、複合現実空間を観察するユーザが簡便に各種の操作を行うことができる。   With the configuration of the present invention, a user who observes the mixed reality space can easily perform various operations.

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。   Hereinafter, the present invention will be described in detail according to preferred embodiments with reference to the accompanying drawings.

［第１の実施形態］
＜複合現実感提示システム＞
図１は、本実施形態に係る複合現実感提示システムの基本構成を示すブロック図である。同図に示す如く、本実施形態に係る複合現実感提示システムは、コンピュータ１００（複合現実感提示装置と呼称する場合もある）、ＨＭＤ（ＨＭＤ：Head Mounted Display）２００、及び操作部３００により構成されている。 [First Embodiment]
<Mixed reality presentation system>
FIG. 1 is a block diagram showing the basic configuration of the mixed reality presentation system according to the present embodiment. As shown in the figure, the mixed reality presentation system according to the present embodiment includes a computer 100 (sometimes referred to as a mixed reality presentation device), an HMD (HMD: Head Mounted Display) 200, and an operation unit 300. Has been.

先ず、ＨＭＤ２００について説明する。ＨＭＤ２００は複合現実空間を観察する観察者の頭部に装着し、現実空間と仮想空間とを合成した画像を観察者の眼前に提供する為の頭部装着型表示装置で、表示装置２０１、撮像装置２０２、センサ２０３により構成されている。   First, the HMD 200 will be described. The HMD 200 is a head-mounted display device that is attached to the head of an observer who observes the mixed reality space and provides an image obtained by combining the real space and the virtual space in front of the observer's eyes. The apparatus 202 and the sensor 203 are comprised.

撮像装置２０２は例えば１以上のＣＣＤカメラにより構成されており、自身の位置姿勢に応じて見える現実空間を連続して撮像するものであり、撮像した各フレームの画像はコンピュータ１００が備える画像入力装置１０７に出力される。なお、撮像装置２０２は、観察者の視点として用いることから、観察者が自身の頭部にＨＭＤ２００を装着した際に、観察者の視点（目）の位置にできるだけ近い位置に撮像装置２０２を設けるようにする。   The imaging device 202 includes, for example, one or more CCD cameras, and continuously captures a real space that can be seen according to its own position and orientation. The captured image of each frame is an image input device included in the computer 100. It is output to 107. Since the imaging device 202 is used as an observer's viewpoint, when the observer wears the HMD 200 on his / her head, the imaging device 202 is provided as close as possible to the position of the observer's viewpoint (eyes). Like that.

表示装置２０１は、観察者がＨＭＤ１００を頭部に装着したときに眼前に位置するようにＨＭＤ１００に装着されたものであり、コンピュータ１００が備える画像出力装置１０３から出力された画像信号に基づいた画像を表示する。従って観察者の眼前にはコンピュータ１００が生成した画像が提供されることになる。   The display device 201 is attached to the HMD 100 so as to be positioned in front of the eye when the observer wears the HMD 100 on the head, and an image based on the image signal output from the image output device 103 provided in the computer 100. Is displayed. Therefore, an image generated by the computer 100 is provided in front of the observer's eyes.

センサ２０３は、不図示のトランスミッタが発する磁場の変化を検知し、検知した結果の信号をコンピュータ１００に出力するものである。検知した結果の信号は、トランスミッタの位置を原点とし、この原点の位置で互いに直交する３軸をｘ、ｙ、ｚ軸とする座標系（以下、センサ座標系と呼称する）において、センサ２０３の位置姿勢に応じて検知される磁場の変化を示す信号である。コンピュータ１００は、この信号に基づいて、センサ座標系におけるセンサ２０３の位置姿勢を求める。   The sensor 203 detects a change in the magnetic field generated by a transmitter (not shown), and outputs a detection result signal to the computer 100. The signal of the detection result is obtained from the sensor 203 in a coordinate system (hereinafter referred to as a sensor coordinate system) in which the position of the transmitter is an origin, and three axes orthogonal to each other at the position of the origin are x, y, and z axes. It is a signal which shows the change of the magnetic field detected according to a position and orientation. Based on this signal, the computer 100 obtains the position and orientation of the sensor 203 in the sensor coordinate system.

なお本実施形態では、ＨＭＤ２００を構成する装置をユーザが装着しているが、ユーザが複合現実空間を体験できる形態であれば、ＨＭＤ２００は必ずしもユーザが装着する必要はない。   In the present embodiment, the user wears the device that constitutes the HMD 200, but the HMD 200 does not necessarily have to be worn by the user as long as the user can experience the mixed reality space.

次に、操作部３００について説明する。操作部３００は、観察者が各種の操作指示を入力するためのものであり、ＬＣＤ３０１とタッチパネル３０２から構成される。   Next, the operation unit 300 will be described. The operation unit 300 is used by an observer to input various operation instructions, and includes an LCD 301 and a touch panel 302.

ＬＣＤ３０１は、タッチパネル３０２上に画像出力装置１０３から出力される画像信号に基づく画像を表示するための表示装置であり、液晶パネルなどによって実現される。ＬＣＤ３０１はタッチパネル３０２と一体になっており、観察者は、ＬＣＤ３０１上を指などで触れることにより、タッチパネル３０２に入力を行うことが可能である。   The LCD 301 is a display device for displaying an image based on the image signal output from the image output device 103 on the touch panel 302, and is realized by a liquid crystal panel or the like. The LCD 301 is integrated with the touch panel 302, and an observer can input to the touch panel 302 by touching the LCD 301 with a finger or the like.

タッチパネル３０２は、観察者が指などで触れると、触れた位置を検出するデバイスであり、ＬＣＤ３０１と一体になっている。観察者はＬＣＤ３０１の上からＬＣＤ３０１上の任意の場所を指で触れることができ、タッチパネル３０１はユーザが指で触れた位置を検出して、入力装置１０６に送出する。   The touch panel 302 is a device that detects a touched position when the observer touches with a finger or the like, and is integrated with the LCD 301. An observer can touch an arbitrary place on the LCD 301 with a finger from above the LCD 301, and the touch panel 301 detects a position touched by the user with the finger and sends it to the input device 106.

次に、コンピュータ１００について説明する。   Next, the computer 100 will be described.

１０１はＣＰＵで、ＲＡＭ１０２が保持するプログラムやデータを用いて本装置全体の制御を行うと共に、コンピュータ１００が行う後述の処理を実行する。   Reference numeral 101 denotes a CPU that controls the entire apparatus using programs and data stored in the RAM 102 and executes processing to be described later performed by the computer 100.

１０２はＲＡＭで、ディスク装置１０５からロードされたプログラムやデータを一時的記憶する為のエリア、入力装置１０６を介して受信したデータ、画像入力装置１０７を介して受信したデータを一時的に記憶するためのエリア等を備えると共に、ＣＰＵ１０１が各種の処理を行う際に用いるワークエリアを備える。   Reference numeral 102 denotes a RAM which temporarily stores an area for temporarily storing programs and data loaded from the disk device 105, data received via the input device 106, and data received via the image input device 107. And a work area used when the CPU 101 performs various processes.

１０３は画像出力装置で、グラフィックスカードなどの機器により構成されており、一般的には、画像出力装置１０３は不図示のグラフィックスメモリを保持している。ＣＰＵ１０１が実行するプログラムによって生成された画像情報は、システムバス１０４を介して、画像出力装置１０３が保持するグラフィックスメモリに書き込まれる。画像出力装置１０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置２０１、ＬＣＤ３０１に送出する。グラフィックスメモリは必ずしも画像出力装置１０３が保持する必要はなく、ＲＡＭ１０２によってグラフィックスメモリの機能を実現してもよい。また、画像出力装置１０３は、表示装置２０１、ＬＣＤ３０１には独立して各々異なる画像信号を送ることができる。   Reference numeral 103 denotes an image output device, which is constituted by a device such as a graphics card. In general, the image output device 103 holds a graphics memory (not shown). Image information generated by a program executed by the CPU 101 is written into a graphics memory held by the image output device 103 via the system bus 104. The image output device 103 converts the image information written in the graphics memory into an appropriate image signal and sends it to the display device 201 and the LCD 301. The graphics memory is not necessarily held by the image output device 103, and the RAM 102 may realize the function of the graphics memory. The image output device 103 can send different image signals to the display device 201 and the LCD 301 independently.

１０５はディスク装置で、ここにはＯＳ（オペレーティングシステム）やコンピュータ１００が行う後述の各処理をＣＰＵ１０１に実行させるために必要なプログラムやデータが保存されている。   Reference numeral 105 denotes a disk device, in which programs and data necessary for causing the CPU 101 to execute processes (described later) performed by the OS (operating system) and the computer 100 are stored.

１０６は入力装置で、各種インタフェース機器により構成され、センサ２０３から受信したデータ、タッチパネル３０２から受信したデータを受け、これをＲＡＭ１０２に出力する。   An input device 106 includes various interface devices, receives data received from the sensor 203 and data received from the touch panel 302 and outputs the data to the RAM 102.

１０７は画像入力装置で、キャプチャカードなどの機器により構成されており、撮像装置２０２が撮像した現実空間の画像を受け、これをデータとしてＲＡＭ１０２に出力する。   Reference numeral 107 denotes an image input device, which is constituted by a device such as a capture card. The image input device 107 receives an image of a real space imaged by the imaging device 202, and outputs this as data to the RAM 102.

１０４は上述の各部を繋ぐバスであり、上述の各部間でデータ通信を行う際にはデータはこのシステムバス１０４を介して送受信される。   Reference numeral 104 denotes a bus connecting the above-described units. When data communication is performed between the above-described units, data is transmitted / received via the system bus 104.

次に、上記構成を備える本実施形態に係る複合現実感提示システムが、ＨＭＤ２００を頭部に装着した観察者に対して複合現実空間の画像を提示する為に行う処理について説明する。   Next, a description will be given of processing performed by the mixed reality presentation system according to the present embodiment having the above-described configuration to present an image of the mixed reality space to an observer wearing the HMD 200 on the head.

ＨＭＤ２００に備わっている撮像装置２０２は、自身の位置姿勢に応じて見える現実空間の画像を撮像し、撮像した画像は画像入力装置１０７を介してデータとしてＲＡＭ１０２に入力される。   The imaging device 202 provided in the HMD 200 captures an image of a real space that can be seen according to its position and orientation, and the captured image is input to the RAM 102 as data via the image input device 107.

一方で、センサ２０３は上述の通り、センサ座標系における自身の位置姿勢に応じた信号を入力装置１０６を介してデータとしてＲＡＭ１０２に入力するので、ＣＰＵ１０１は、このデータが示す「センサ座標系におけるセンサ２０３の位置姿勢」に、予め測定した「センサ２０３と撮像装置２０２との位置姿勢関係」を加算して、「センサ座標系における撮像装置２０２の位置姿勢」を求める。予め測定した「センサ２０３と撮像装置２０２との位置姿勢関係」を示すデータはディスク装置１０５に予め保存されているものとする。   On the other hand, as described above, since the sensor 203 inputs a signal corresponding to its position and orientation in the sensor coordinate system as data to the RAM 102 via the input device 106, the CPU 101 displays the “sensor in the sensor coordinate system” indicated by this data. “Position and orientation relationship between the sensor 203 and the imaging device 202” is added to the “position and orientation of the 203” to obtain “position and orientation of the imaging device 202 in the sensor coordinate system”. It is assumed that data indicating the “position / orientation relationship between the sensor 203 and the imaging device 202” measured in advance is stored in the disk device 105 in advance.

また、ＣＰＵ１０１はディスク装置１０５に保存されている仮想空間を構成する各仮想物体のデータ（仮想物体の形状や色、仮想空間における配置位置、などを示すデータ、テクスチャデータ等）を用いて、仮想空間中に仮想物体を配置する。そして先に求めた「撮像装置２０２のセンサ座標系における位置姿勢」に基づいて、撮像装置２０２から見える仮想空間の画像を生成する。所定の位置姿勢を有する１点から見える仮想空間の画像を生成する処理については周知のものであるので、ここでの説明は省略する。   Further, the CPU 101 uses the data of each virtual object (data indicating the shape and color of the virtual object, the arrangement position in the virtual space, texture data, etc.) constituting the virtual space stored in the disk device 105 to Arrange virtual objects in space. Then, based on the previously obtained “position and orientation of the imaging device 202 in the sensor coordinate system”, an image of the virtual space that can be seen from the imaging device 202 is generated. Since the process of generating an image of a virtual space that can be seen from one point having a predetermined position and orientation is well known, a description thereof is omitted here.

そして生成した仮想空間の画像を、先にＲＡＭ１０２に入力した現実空間の画像上に重畳させ、画像出力装置１０３を介してＨＭＤ２００の表示装置２０１に出力する。これにより、表示装置２０１の表示画面上には複合現実空間の画像が表示されるので、観察者の眼前には撮像装置２０２の位置姿勢に応じた複合現実空間の画像が見えることになる。   The generated virtual space image is superimposed on the real space image previously input to the RAM 102 and is output to the display device 201 of the HMD 200 via the image output device 103. As a result, an image of the mixed reality space is displayed on the display screen of the display device 201, so that an image of the mixed reality space corresponding to the position and orientation of the imaging device 202 can be seen in front of the observer.

なお、複合現実空間の画像を生成して観察者に提示する為の一連の処理については様々考えられ、以上の処理に限定するものではない。   Various processes for generating an image of the mixed reality space and presenting it to the observer are conceivable and are not limited to the above processes.

＜仮想メニュー＞
本実施形態では、仮想物体としての操作パネルを操作部３００が備えるＬＣＤ３０１上（タッチパネル３０２上）に配置する。即ち、予めＬＣＤ３０１上のセンサ座標系における座標値を求めておき、求めた座標値にこの操作パネルを配置する。この予め求めておいた座標値はデータとしてディスク装置１０５に保存されているものとする。 <Virtual menu>
In the present embodiment, an operation panel as a virtual object is arranged on the LCD 301 (on the touch panel 302) provided in the operation unit 300. That is, coordinate values in the sensor coordinate system on the LCD 301 are obtained in advance, and this operation panel is arranged at the obtained coordinate values. The coordinate values obtained in advance are assumed to be stored in the disk device 105 as data.

図２は、この操作パネルの構成例を示す図である。以下では仮想物体としての操作パネルを「仮想メニュー」と呼称する場合がある。同図において４００は仮想メニューで、同図に示す如く、複数の機能ボタン（同図では「Ｆｉｌｅ」、「Ｖｉｅｗ」、「Ｃｏｎｆｉｇ」、「Ｓｅｌｅｃｔ」、「Ｍｏｖｅ」、「Ｑｕｉｔ」）が配されている。それぞれの機能ボタンは観察者が自身の指や指示具などでもって指示することができる。本実施形態では観察者の指で指示するものとする。このような仮想メニューのデータ（メニューデータ）は予め作成され、仮想空間に係るデータとしてディスク装置１０５に保存されているものとする。メニューデータには例えば、メニューの画像や文字情報、仮想メニューにおける各機能ボタンの領域を示す情報、メニューを選択したときに実行される所定の操作内容、メニューとタッチパネル３０２上の領域とを対応づけるための情報、メニューが複数の階層を持つ場合にはその階層構造、メニューの状態が遷移する場合には、その状態遷移情報が含まれる。   FIG. 2 is a diagram illustrating a configuration example of the operation panel. Hereinafter, an operation panel as a virtual object may be referred to as a “virtual menu”. In the figure, reference numeral 400 denotes a virtual menu, and a plurality of function buttons (in the figure, “File”, “View”, “Config”, “Select”, “Move”, “Quit”) are arranged. ing. Each function button can be instructed by an observer with his / her finger or pointing tool. In this embodiment, it is assumed that an instruction is given by an observer's finger. It is assumed that such virtual menu data (menu data) is created in advance and stored in the disk device 105 as data relating to the virtual space. For example, the menu data associates menu image and character information, information indicating the area of each function button in the virtual menu, predetermined operation contents executed when the menu is selected, and the area on the touch panel 302. If the menu has a plurality of hierarchies, the hierarchy structure is included, and if the menu transitions, the state transition information is included.

図３は、このような仮想メニュー４００をＬＣＤ３０１上（タッチパネル３０２上）に配置した場合の操作部３００全体の様子を示す図である。このような状態で、頭部にＨＭＤ２００を装着した観察者がＬＣＤ３０１（タッチパネル３０２）上に顔を向けると（換言すれば撮像装置２０２がＬＣＤ３０１（タッチパネル３０２）上を撮像すると）、ＬＣＤ３０１（タッチパネル３０２）上に仮想メニュー４００が重畳された画像が表示装置２０１に表示される。   FIG. 3 is a diagram showing the overall operation unit 300 when such a virtual menu 400 is arranged on the LCD 301 (on the touch panel 302). In this state, when an observer wearing the HMD 200 on his head turns his / her face on the LCD 301 (touch panel 302) (in other words, when the imaging device 202 captures an image on the LCD 301 (touch panel 302)), the LCD 301 (touch panel 302). ) The image on which the virtual menu 400 is superimposed is displayed on the display device 201.

観察者は、操作部３００上に配置された仮想メニュー４００を見ながら、仮想メニュー４００において所望の操作内容が表示されている（タッチパネル３０２上の）領域を指などで触れることによって、機能ボタンに対応する操作を指示することができる。メニューが階層構造を持つ場合には、機能ボタンに対応するサブメニューを表示する。   While observing the virtual menu 400 arranged on the operation unit 300, the observer touches an area (on the touch panel 302) where the desired operation content is displayed on the virtual menu 400 with a finger or the like, so that the function button is displayed. A corresponding operation can be instructed. If the menu has a hierarchical structure, a submenu corresponding to the function button is displayed.

上述の通り、頭部にＨＭＤ部２００を装着した観察者は、表示装置２０１に表示される仮想メニュー４００を観察することができる。また、仮想メニュー４００は操作部３００、すなわちＬＣＤ３０１上に重畳されるため、頭部にＨＭＤ部２００を装着した観察者は、現実空間像としてＬＣＤ３０１を観察することはできない。   As described above, an observer wearing the HMD unit 200 on the head can observe the virtual menu 400 displayed on the display device 201. In addition, since the virtual menu 400 is superimposed on the operation unit 300, that is, the LCD 301, an observer wearing the HMD unit 200 on the head cannot observe the LCD 301 as a real space image.

ここで、一般的な複合現実感提示装置においては、現実空間画像上にＣＧが重畳するように描画処理を行うため、観察者には、仮想空間が現実空間の手前に存在するように知覚される。よって、観察者が仮想メニュー４００を見ながら、タッチパネル３０２を自らの指で触れようとした場合、現実空間画像内の指の上に仮想メニュー４００が重畳されることになるため、自らの指が仮想メニュー４００に隠され、見えなくなってしまう。図４は、ユーザの指が仮想メニュー４００によって隠され、見えなくなっている様子を示す図である。   Here, in the general mixed reality presentation device, since the rendering process is performed so that CG is superimposed on the real space image, the observer perceives that the virtual space exists in front of the real space. The Therefore, when the observer tries to touch the touch panel 302 with his / her finger while looking at the virtual menu 400, the virtual menu 400 is superimposed on the finger in the real space image. It is hidden by the virtual menu 400 and disappears. FIG. 4 is a diagram illustrating a state where the user's finger is hidden by the virtual menu 400 and is not visible.

そこで、本実施形態では、現実空間画像中に観察者の指など、肌色の領域が存在する場合には、その領域について、ＣＧの描画を行わないようにする。これを行う方法については様々なものが考えられるが、例えば特開２００３−２９６７５９において具体的に示されている。   Therefore, in the present embodiment, when a skin-colored area such as an observer's finger exists in the real space image, CG rendering is not performed for the area. Various methods for doing this are conceivable, and are specifically shown in Japanese Patent Application Laid-Open No. 2003-296759, for example.

この処理によって、観察者がタッチパネル３０２を指で触れる場合においても、重畳される仮想メニュー４００のうち、ユーザの指と認識された領域については、ＣＧの描画が行われないため、ユーザは自らの指を確認することができるようになる。図５は、観察者の指の領域についてＣＧを描画しない処理を行うことにより、指が確認できる様子を示す図である。   With this process, even when the observer touches the touch panel 302 with his / her finger, the user does not draw the CG for the region recognized as the user's finger in the superimposed virtual menu 400. You can check your finger. FIG. 5 is a diagram illustrating a state in which the finger can be confirmed by performing a process of not drawing the CG for the observer's finger region.

＜コンピュータ１００が行う処理＞
図６は、本実施形態に係る複合現実感提示システムが、ＨＭＤ２００を頭部に装着している観察者に対して複合現実空間の画像を提示するために、コンピュータ１００が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１０１に実行させるためのプログラムやデータはディスク装置１０５に保存されており、これをＣＰＵ１０１の制御に基づいてＲＡＭ１０２にロードし、ＣＰＵ１０１がこれを用いて処理を行うことで、コンピュータ１００は以下説明する各処理を行うことになる。 <Processing performed by computer 100>
FIG. 6 is a flowchart of processing performed by the computer 100 in order to present the mixed reality space image to the observer wearing the HMD 200 by the mixed reality presentation system according to the present embodiment. . Note that programs and data for causing the CPU 101 to execute the processing according to the flowchart of FIG. 10 are stored in the disk device 105, which is loaded into the RAM 102 based on the control of the CPU 101, and is processed by the CPU 101. By performing the above, the computer 100 performs each process described below.

先ず、コンピュータ１００を初期化する（ステップＳ１０１０）。この初期化とは例えば、以下の処理に必要なプログラムやデータをディスク装置１０５からＲＡＭ１０２にロードしたり、コンピュータ１００に接続されている周辺機器（ＨＭＤ２００、操作部３００を含む）に対する初期化指示の入力などである。   First, the computer 100 is initialized (step S1010). This initialization includes, for example, loading a program and data necessary for the following processing from the disk device 105 to the RAM 102, and an initialization instruction for peripheral devices (including the HMD 200 and the operation unit 300) connected to the computer 100. Input.

次に、ＨＭＤ２００に備わっている撮像装置２０２が撮像した現実空間の画像（実写画像）が順次画像入力装置１０７を介してＲＡＭ１０２に入力されるので、これを一時的にＲＡＭ１０２に記憶させる（ステップＳ１０２０）。また、センサ２０３が計測した「自身のセンサ座標系における位置姿勢」（センサ計測値）が入力装置１０６を介してＲＡＭ１０２に入力されるので、これを一時的にＲＡＭ１０２に記録させる（ステップＳ１０３０）。   Next, since the real space image (actual image) captured by the imaging device 202 included in the HMD 200 is sequentially input to the RAM 102 via the image input device 107, this is temporarily stored in the RAM 102 (step S1020). ). In addition, since “the position and orientation in the sensor coordinate system” (sensor measurement value) measured by the sensor 203 is input to the RAM 102 via the input device 106, this is temporarily recorded in the RAM 102 (step S1030).

次に、タッチパネル３０２上に配置された仮想物体としての仮想メニュー上に配されたメニュー項目（図２では機能ボタン「Ｆｉｌｅ」、「Ｖｉｅｗ」、「Ｃｏｎｆｉｇ」、「Ｓｅｌｅｃｔ」、「Ｍｏｖｅ」、「Ｑｕｉｔ」）のうち、何れが指示されたのかを判断する（ステップＳ１０４０）。ここで、ステップＳ１０４０における処理についてより詳細に説明する。   Next, menu items arranged on a virtual menu as a virtual object arranged on the touch panel 302 (in FIG. 2, function buttons “File”, “View”, “Config”, “Select”, “Move”, “ It is determined which one of “Quit”) is instructed (step S1040). Here, the process in step S1040 will be described in more detail.

タッチパネル３０２は周知の通り、常に画面上のどの位置が指示されたのかをチェックしており、観察者が自身の指でタッチパネル３０２上の何れかの部分を指示すると、タッチパネル３０２は指示された位置（例えばタッチパネル３０２の左上隅を（０，０）とした座標系（タッチパネル座標系）における指示された位置）を示す信号を入力装置１０６に出力する。ＣＰＵ１０１はこれを受け、この信号が示す位置が、タッチパネル３０２上に配置された仮想メニューに配された機能ボタン群のうち何れの機能ボタンの位置であるのかをチェックする。   As is well known, the touch panel 302 always checks which position on the screen is designated, and when the observer designates any part on the touch panel 302 with his / her finger, the touch panel 302 is designated. For example, a signal indicating the position indicated in the coordinate system (touch panel coordinate system) in which the upper left corner of the touch panel 302 is (0, 0) is output to the input device 106. In response to this, the CPU 101 checks which function button of the function button group arranged on the virtual menu arranged on the touch panel 302 is the position indicated by this signal.

これは例えば、タッチパネル座標系とセンサ座標系との位置関係を示すデータ（タッチパネル座標系における座標値を、センサ座標系における座標値に変換する（もしくはその逆の変換を行う）ためのデータ）を予め作成してディスク装置１０５に保存させておき、ＣＰＵ１０１はタッチパネル３０２上の指示された位置を入力装置１０６を介して受けると、このデータを用いて、タッチパネル３０２上の指示された位置の座標値をセンサ座標系における座標値に変換する。これにより、タッチパネル３０２上で指示した位置が仮想メニュー上の何れの位置であるのかをチェックすることができるので、タッチパネル３０２上で指示した位置が、仮想メニュー上に配された各機能ボタンのうちのどの機能ボタン上にあるのかをチェックすることで、どの機能ボタンが指示されたのかをチェックすることができる。   This is, for example, data indicating the positional relationship between the touch panel coordinate system and the sensor coordinate system (data for converting coordinate values in the touch panel coordinate system into coordinate values in the sensor coordinate system (or vice versa)). When the CPU 101 receives an instructed position on the touch panel 302 via the input device 106, the coordinate value of the instructed position on the touch panel 302 is obtained using this data. Are converted into coordinate values in the sensor coordinate system. Thus, since it is possible to check which position on the virtual menu the position indicated on the touch panel 302 is, the position indicated on the touch panel 302 is the position of each function button arranged on the virtual menu. By checking which function button is on, it is possible to check which function button has been instructed.

そして、観察者の指の位置が仮想メニュー上の所定の機能ボタンのボタン画像上にある場合（例えば図２において「Ｆｉｌｅ」という機能ボタン画像上にある場合）には処理をステップＳ１０５０に進め、指示された機能ボタンに対応する処理を行う（ステップＳ１０５０）。なお、仮想メニュー上に配する機能ボタンについては特に限定するものではないが、例えば本装置の動作終了を指示するためのメニュー項目や、所定の仮想物体の表示／消去／移動／変形を指示するためのメニュー項目、各種のパラメータの調整を指示するためのメニュー項目などの機能ボタンが考えられる。   If the position of the observer's finger is on the button image of a predetermined function button on the virtual menu (for example, on the function button image “File” in FIG. 2), the process proceeds to step S1050. Processing corresponding to the instructed function button is performed (step S1050). The function buttons arranged on the virtual menu are not particularly limited. For example, a menu item for instructing the end of the operation of the apparatus or a display / deletion / movement / deformation of a predetermined virtual object is instructed. For example, function buttons such as a menu item for instructing adjustment of various parameters can be considered.

そして、ステップＳ１０２０でＲＡＭ１０２に入力した実写画像を読み出し、画像出力装置１０３が有するメモリに描画する（ステップＳ１０６０）。そして、ステップＳ１０３０でＲＡＭ１０２に入力した「センサ２０３のセンサ座標系における位置姿勢を示すデータ」を、予め測定した「センサ２０３と撮像装置２０２との位置姿勢関係」を示すデータでもって変換し、「センサ座標系における撮像装置２０２の位置姿勢」を示すデータを得、得たこのデータが示す視点から見える仮想メニュー以外の仮想物体の画像を生成し、画像出力装置１０３が有するメモリに先にステップＳ１０６０で描画された実写画像上に重畳して描画する（ステップＳ１０７０）。   Then, the photographed image input to the RAM 102 in step S1020 is read and drawn in the memory included in the image output device 103 (step S1060). Then, the “data indicating the position and orientation of the sensor 203 in the sensor coordinate system” input to the RAM 102 in step S1030 is converted with the data indicating the “position and orientation relationship between the sensor 203 and the imaging device 202” measured in advance. Data indicating the “position and orientation of the imaging device 202 in the sensor coordinate system” is obtained, and an image of a virtual object other than the virtual menu that can be seen from the viewpoint indicated by the obtained data is generated. The image is superimposed and drawn on the photographed image drawn in step S1070.

そして更に、「センサ座標系における撮像装置２０２の位置姿勢」から見える仮想メニューの画像の画像を生成し（その際には当然、タッチパネル３０２上に仮想メニューを配置している）、画像出力装置１０３が有するメモリに先にステップＳ１０６０で描画された実写画像、ステップＳ１０７０でこの実写画像上に描画された仮想物体の画像上に重畳して描画する（ステップＳ１０８０）。ステップＳ１０７０，Ｓ１０８０における処理により、撮像装置２０２の位置姿勢に応じて見える仮想空間の画像が、画像出力装置１０３が有するメモリに先にステップＳ１０６０で描画された実写画像上に重畳して描画されるので、結果としてこのメモリ上には、撮像装置２０２の位置姿勢に応じて見える複合現実空間の画像が描画されていることになる。なお、仮想空間の画像の描画の際には先に説明したように、実写画像において肌色部分には仮想空間の画像が描画しないようにする。   Further, an image of a virtual menu image that can be seen from “the position and orientation of the imaging device 202 in the sensor coordinate system” is generated (in this case, the virtual menu is naturally arranged on the touch panel 302), and the image output device 103 is generated. The real image drawn in step S1060 and the virtual object image drawn in step S1070 on the image of the virtual object previously drawn in the memory included in the image are drawn (step S1080). Through the processing in steps S1070 and S1080, an image of the virtual space that can be seen according to the position and orientation of the imaging device 202 is drawn by being superimposed on the real image drawn in step S1060 in the memory of the image output device 103 first. Therefore, as a result, an image of the mixed reality space that is visible according to the position and orientation of the imaging device 202 is drawn on this memory. It should be noted that when the image in the virtual space is drawn, as described above, the image in the virtual space is not drawn in the skin color portion of the photographed image.

そして、仮想メニューなどでもって本処理の終了が指示された場合には本処理を終了するのであるが、指示されていない場合には処理をステップＳ１０２０に戻し、以降の処理を繰り返す。   If the end of the process is instructed by a virtual menu or the like, the process ends. If not instructed, the process returns to step S1020 to repeat the subsequent processes.

また、ステップＳ１０４０のチェック処理の結果、何れの機能ボタンも指示されていない（即ち、指示した位置が仮想メニュー上にはあるものの、どの機能ボタン上にもない）、もしくはタッチパネル３０２上を指示していない場合には処理をステップＳ１０６０に進め、以降の処理を行う。   In addition, as a result of the check processing in step S1040, no function button is instructed (that is, the instructed position is on the virtual menu but not on any function button), or the touch panel 302 is instructed. If not, the process proceeds to step S1060 to perform the subsequent processes.

なお、同図のフローチャートにおいて、以下の条件が満たされる限りにおいては、処理の順序を変更してもよい。   In the flowchart of FIG. 5, the processing order may be changed as long as the following conditions are satisfied.

・ ステップＳ１０６０はステップＳ１０２０の後に実行されなければならない。   Step S1060 must be executed after step S1020.

・ ステップＳ１０７０はステップＳ１０３０の後に実行されなければならない。   Step S1070 must be executed after step S1030.

・ ステップＳ１０５０はステップＳ１０４０の後に実行されなければならない。   Step S1050 must be performed after step S1040.

・ ステップＳ１０８０はステップＳ１０４０の後に実行されなければならない。   Step S1080 must be executed after step S1040.

以上の説明のように、本実施形態では、ユーザはタッチパネル３０２を指で触れることにより、各種の操作指示を入力することができるので、マウスやキーボードを使用する必要はなく、より簡便に操作入力を行うことができる。また、メニューなどのインタフェースはタッチパネル３０２に重畳される形で、ユーザが頭部に装着する表示装置２０１上に描画される。そのため、撮像装置２０２の視野角や解像度による制約の影響を受けない。また、タッチパネル３０２が存在する位置に３次元的に描画されるため、ユーザの違和感も低減される。   As described above, in this embodiment, since the user can input various operation instructions by touching the touch panel 302 with a finger, it is not necessary to use a mouse or a keyboard, and operation input can be performed more easily. It can be performed. Further, an interface such as a menu is drawn on the display device 201 worn by the user on the head in a form superimposed on the touch panel 302. Therefore, it is not affected by restrictions due to the viewing angle and resolution of the imaging device 202. In addition, since the drawing is performed three-dimensionally at the position where the touch panel 302 exists, the user's uncomfortable feeling is reduced.

なお、本実施形態ではタッチパネル３０２は観察者の指で指示する場合について説明したが、タッチパネル３０２を指示具により指示する場合には、実写画像において肌色の領域ではなく、指示具の色の領域を特定し、特定した領域以外に仮想空間の画像を重畳させる。   In this embodiment, the case where the touch panel 302 is designated by the observer's finger has been described. However, when the touch panel 302 is designated by the pointing tool, the color area of the pointing tool is not the skin color area in the photographed image. Identify and superimpose an image in the virtual space outside the identified area.

また、本実施形態では、センサとして磁気センサを用いるが、これに限定するものではなく、例えばその他にも超音波センサなどを用いるようにしても良い。また、位置姿勢の計測方法についても上記方法に限定するものではない。   In this embodiment, a magnetic sensor is used as the sensor, but the present invention is not limited to this. For example, an ultrasonic sensor or the like may be used. Also, the position and orientation measurement method is not limited to the above method.

［第２実施形態］
図１に示した構成を有するシステムにおいて、実写画像から肌色の領域を抽出する為には例えば以下のようにしても良い。即ち、ＬＣＤ３０１上に単一色の背景画像を表示する。この背景画像は青・緑など、肌色との分離が容易であるような色で塗りつぶされた画像である。 [Second Embodiment]
In the system having the configuration shown in FIG. 1, for example, the following may be performed in order to extract the skin color region from the photographed image. That is, a single color background image is displayed on the LCD 301. This background image is an image filled with a color such as blue or green that can be easily separated from the skin color.

そして、観察者がタッチパネル３０２を操作するとき、ステップＳ１０２０で入力される実写画像には、ユーザの手・指の周囲に背景画像が観測される。よって、ステップＳ１０７０では、背景画像の内部に存在し、特定の色ではない領域を肌色の領域や指示具の色の領域と判定し、この領域以外に仮想空間の画像を描画するようにする。このようは方法であれば、タッチパネル３０２を操作する手段が観察者の指であろうと、指示具であろうと構わない。   When the observer operates the touch panel 302, a background image is observed around the user's hand / finger in the live-action image input in step S1020. Therefore, in step S1070, an area that is present inside the background image and is not a specific color is determined to be a skin color area or an indicator color area, and an image in the virtual space is drawn outside this area. In this manner, the means for operating the touch panel 302 may be an observer's finger or an indicator.

［第３実施形態］
更に、操作部３００にセンサ２０３と同様のセンサを取り付ければ、センサ座標系における操作部３００の位置姿勢を計測することができるので、操作部３００の位置姿勢を任意に変更しても構わない。また、操作部３００のサイズが比較的小さい場合には、観察者が手に持って用いることができるので、例えば一方の手に操作部３００を持ち、他方の手の指でもって操作部３００のタッチパネル３０２上に配置される仮想メニューを操作するようにしても良い。 [Third Embodiment]
Furthermore, if a sensor similar to the sensor 203 is attached to the operation unit 300, the position and orientation of the operation unit 300 in the sensor coordinate system can be measured. Therefore, the position and orientation of the operation unit 300 may be arbitrarily changed. In addition, when the size of the operation unit 300 is relatively small, the observer can hold it in his / her hand. For example, the operation unit 300 is held in one hand, and the operation unit 300 is held by a finger of the other hand. A virtual menu arranged on the touch panel 302 may be operated.

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。 [Other Embodiments]
An object of the present invention is to supply a recording medium (or storage medium) that records software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer of the system or apparatus (or CPU or MPU). Needless to say, this can also be achieved by reading and executing the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるャｃ鰍ノ書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program code read from the recording medium is written in the function expansion card inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU of the function expansion card or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。   When the present invention is applied to the recording medium, program code corresponding to the flowchart described above is stored in the recording medium.

本発明の第１の実施形態に係る複合現実感提示システムの基本構成を示すブロック図である。It is a block diagram which shows the basic composition of the mixed reality presentation system which concerns on the 1st Embodiment of this invention. 操作パネルの構成例を示す図である。It is a figure which shows the structural example of an operation panel. 仮想メニュー４００をＬＣＤ３０１上（タッチパネル３０２上）に配置した場合の操作部３００全体の様子を示す図である。It is a figure which shows the mode of the operation part 300 whole at the time of arrange | positioning the virtual menu 400 on LCD301 (on touch panel 302). ユーザの指が仮想メニュー４００によって隠され、見えなくなっている様子を示す図である。It is a figure which shows a mode that a user's finger | toe is hidden by the virtual menu 400 and is not visible. 観察者の指の領域についてＣＧを描画しない処理を行うことにより、指が確認できる様子を示す図である。It is a figure which shows a mode that a finger | toe can be confirmed by performing the process which does not draw CG about the area | region of an observer's finger | toe. 本発明の第１の実施形態に係る複合現実感提示システムが、ＨＭＤ２００を頭部に装着している観察者に対して複合現実空間の画像を提示するために、コンピュータ１００が行う処理のフローチャートである。The mixed reality presentation system which concerns on the 1st Embodiment of this invention is the flowchart of the process which the computer 100 performs in order to show the image of mixed reality space with respect to the observer who has mounted | worn HMD200 to the head. is there.

Claims (6)

画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、現実空間の画像を取得する取得工程と、
前記画像処理装置の配置手段が、前記現実空間中に配置された表示装置の表示画面であって全画面に渡って単一色を表示している該表示画面上に設けられたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
前記画像処理装置の生成手段が、前記取得工程で取得された現実空間の画像に含まれている前記表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、前記現実空間の画像における当該見なした領域以外の領域上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記画像処理装置の特定手段が、前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記画像処理装置の実行手段が、前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
An acquisition step in which the acquisition means of the image processing apparatus acquires an image of a real space;
A virtual object is displayed on a touch panel provided on the display screen on which the arrangement unit of the image processing device displays a single color over the entire screen, which is a display screen of the display device arranged in the real space. An arrangement step of arranging an operation panel as
The generation means of the image processing device may select a region other than the single color in the display screen portion of the display device included in the image of the real space acquired in the acquisition step, or a finger color of an operator or an indicator Generation of generating a mixed reality space image by superimposing a virtual space image including an image of the operation panel arranged in the arrangement step on an area other than the regarded area in the image of the real space Process,
A specifying step in which the specifying unit of the image processing apparatus acquires a position instructed on the touch panel, and specifies an operation part on the operation panel corresponding to the acquired position;
An image processing method comprising: an execution step of executing an operation corresponding to the operation portion specified in the specifying step. 前記取得工程では、ヘッドマウントディスプレイに備わっているビデオカメラにより撮像された現実空間の画像を取得することを特徴とする請求項１に記載の画像処理方法。   The image processing method according to claim 1, wherein in the acquiring step, an image of a real space captured by a video camera provided in a head mounted display is acquired. 更に、
前記画像処理装置の出力手段が、前記生成工程で生成された前記複合現実空間画像をヘッドマウントディスプレイに備わっている表示装置に出力する工程を備えることを特徴とする請求項１に記載の画像処理方法。 Furthermore,
2. The image processing according to claim 1, further comprising a step of outputting the mixed reality space image generated in the generation step to a display device provided in a head mounted display. Method. 画像処理装置であって、
現実空間の画像を取得する取得手段と、
前記現実空間中に配置された表示装置の表示画面であって全画面に渡って単一色を表示している該表示画面上に設けられたタッチパネル上に仮想物体としての操作パネルを配置する配置手段と、
前記取得手段が取得した現実空間の画像に含まれている前記表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、前記現実空間の画像における当該見なした領域以外の領域上に、前記配置手段が配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成手段と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定手段と、
前記特定手段が特定した操作部分に対応する動作を実行する実行手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus,
An acquisition means for acquiring an image of a real space;
Arrangement means for arranging an operation panel as a virtual object on a touch panel provided on the display screen of the display device arranged in the real space and displaying a single color over the entire screen When,
An area other than the single color in the display screen portion of the display device included in the image of the real space acquired by the acquisition means is regarded as the color of the finger of the operator or the color of the pointing tool, and the image of the real space Generating means for generating a mixed reality space image by superimposing a virtual space image including an image of the operation panel arranged by the arranging means on an area other than the regarded area in
A specifying means for acquiring a position instructed on the touch panel and specifying an operation part on the operation panel corresponding to the acquired position;
An image processing apparatus comprising: an executing unit that executes an operation corresponding to the operation part specified by the specifying unit. コンピュータに請求項１乃至３の何れか１項に記載の画像処理方法を実行させる為のプログラム。 A program for causing a computer to execute the image processing method according to any one of claims 1 to 3 . 請求項５に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium storing the program according to claim 5 .
JP2004311037A 2004-10-26 2004-10-26 Image processing method and image processing apparatus Expired - Fee Related JP4574323B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004311037A JP4574323B2 (en) 2004-10-26 2004-10-26 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004311037A JP4574323B2 (en) 2004-10-26 2004-10-26 Image processing method and image processing apparatus

Publications (3)

Publication Number Publication Date
JP2006126936A JP2006126936A (en) 2006-05-18
JP2006126936A5 JP2006126936A5 (en) 2007-12-06
JP4574323B2 true JP4574323B2 (en) 2010-11-04

Family

ID=36721666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004311037A Expired - Fee Related JP4574323B2 (en) 2004-10-26 2004-10-26 Image processing method and image processing apparatus

Country Status (1)

Country Link
JP (1) JP4574323B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179069A1 (en) * 2017-03-27 2018-10-04 サン電子株式会社 Image display system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5029759B2 (en) * 2008-04-23 2012-09-19 コニカミノルタホールディングス株式会社 Information input system
JP5293154B2 (en) * 2008-12-19 2013-09-18 ブラザー工業株式会社 Head mounted display
JP2010145861A (en) * 2008-12-19 2010-07-01 Brother Ind Ltd Head mount display
JP5414380B2 (en) 2009-06-23 2014-02-12 キヤノン株式会社 Image processing method and image processing apparatus
JP2012008745A (en) * 2010-06-23 2012-01-12 Softbank Mobile Corp User interface device and electronic apparatus
JP5603766B2 (en) * 2010-12-27 2014-10-08 新日鉄住金ソリューションズ株式会社 Information processing system, information processing method, and program
KR101985674B1 (en) * 2012-09-18 2019-06-04 삼성전자 주식회사 Method of recognizing contactless user interface motion and System there-of
JP5696908B2 (en) 2013-02-15 2015-04-08 コニカミノルタ株式会社 Operation display system
JP6303723B2 (en) * 2014-03-31 2018-04-04 コニカミノルタ株式会社 Display control device and display control device control program
JP2017016572A (en) * 2015-07-06 2017-01-19 デュプロ精工株式会社 Processing device, terminal device, and processing system
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
WO2017169158A1 (en) 2016-03-29 2017-10-05 ソニー株式会社 Information processing device, information processing method, and program
JP7092028B2 (en) * 2016-04-26 2022-06-28 ソニーグループ株式会社 Information processing equipment, information processing methods, and programs
KR102407111B1 (en) 2016-05-20 2022-06-08 매직 립, 인코포레이티드 Contextual awareness of user interface menus
JP6373537B1 (en) * 2017-09-04 2018-08-15 株式会社ワコム Spatial position indication system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021363A (en) * 1996-06-28 1998-01-23 Sanyo Electric Co Ltd Method and device for supporting evaluation
JP2003296759A (en) * 2002-03-29 2003-10-17 Canon Inc Information processing method and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021363A (en) * 1996-06-28 1998-01-23 Sanyo Electric Co Ltd Method and device for supporting evaluation
JP2003296759A (en) * 2002-03-29 2003-10-17 Canon Inc Information processing method and device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018179069A1 (en) * 2017-03-27 2018-10-04 サン電子株式会社 Image display system
JPWO2018179069A1 (en) * 2017-03-27 2020-01-30 サン電子株式会社 Image display system
US11227413B2 (en) 2017-03-27 2022-01-18 Suncorporation Image display system

Also Published As

Publication number Publication date
JP2006126936A (en) 2006-05-18

Similar Documents

Publication Publication Date Title
JP4533087B2 (en) Image processing method and image processing apparatus
JP4574323B2 (en) Image processing method and image processing apparatus
JP4227561B2 (en) Image processing method and image processing apparatus
JP4883774B2 (en) Information processing apparatus, control method therefor, and program
JP5871345B2 (en) 3D user interface device and 3D operation method
JP4401728B2 (en) Mixed reality space image generation method and mixed reality system
US7952594B2 (en) Information processing method, information processing apparatus, and image sensing apparatus
JP4950834B2 (en) Image processing apparatus and image processing method
US8098263B2 (en) Image processing method and image processing apparatus
JP6057396B2 (en) 3D user interface device and 3D operation processing method
JP6288084B2 (en) Display control device, display control method, and recording medium
WO2014016987A1 (en) Three-dimensional user-interface device, and three-dimensional operation method
JP2005293142A (en) Image processing method and image processing device
JP2009025918A (en) Image processor and image processing method
JP2009123018A (en) Image processor and image processing method
JP7480388B2 (en) Head-mounted information processing device
JP2023065528A (en) Head-mounted information processing apparatus and head-mounted display system
JP4217661B2 (en) Image processing method and image processing apparatus
JP2006343954A (en) Image processing method and image processor
JP7279113B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM
JP2005251118A (en) Method and device for image processing
JP4343744B2 (en) Image processing method and image processing apparatus
JP2024079124A (en) Information processing device, information processing method, and program
JP2022140141A (en) Information processing system, information processing program, and information processing method
JP2007004716A (en) Image processing method and image processor

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071024

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees