JP4574323B2 - Image processing method and image processing apparatus - Google Patents
Image processing method and image processing apparatus Download PDFInfo
- Publication number
- JP4574323B2 JP4574323B2 JP2004311037A JP2004311037A JP4574323B2 JP 4574323 B2 JP4574323 B2 JP 4574323B2 JP 2004311037 A JP2004311037 A JP 2004311037A JP 2004311037 A JP2004311037 A JP 2004311037A JP 4574323 B2 JP4574323 B2 JP 4574323B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- real space
- touch panel
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、現実空間の映像上に仮想空間の映像を重畳して外部に出力する為の技術に関するものである。 The present invention relates to a technique for superimposing a virtual space image on a real space image and outputting the same to the outside.
現実空間と仮想空間とを違和感なく自然に結合する複合現実感(MR: Mixed Reality)の技術を応用した装置(複合現実感提示装置)が盛んに提案されている。これらの複合現実感提示装置は、カメラなどの撮像装置によって撮影した現実空間の画像に対し、コンピュータグラフィックス(CG: Computer Graphics)で描画した仮想空間の画像を重畳し、ヘッドマウントディスプレイ(HMD: Head-Mounted Display)などの表示装置に表示することで、ユーザに提示している(特許文献1参照)。 Devices (mixed reality presentation devices) that apply a mixed reality (MR) technology that combines a real space and a virtual space naturally without a sense of incongruity have been actively proposed. These mixed reality presentation devices superimpose a virtual space image drawn by computer graphics (CG) on a real space image captured by an imaging device such as a camera, and a head mounted display (HMD: It is presented to the user by displaying on a display device such as Head-Mounted Display (see Patent Document 1).
複合現実感提示装置を用いると、現実には存在しない物体を、あたかも現実に存在しているかのような感覚で見ることができる。さらに、仮想空間はコンピュータ内にデータとして保持されており、CGによって描画される。すなわち、仮想空間には物理的な制約がほとんど存在しないため、任意に変更することが可能である。例えば、仮想物体の位置や大きさ、外観や物体中の部位の可視・不可視などを変更することができる。このような利点から、複合現実感提示装置は、工業製品などの設計や、外観シミュレーションのなどの分野での応用が特に期待されている。 By using the mixed reality presentation device, an object that does not actually exist can be viewed as if it actually existed. Further, the virtual space is held as data in the computer and is drawn by CG. That is, since there is almost no physical restriction in the virtual space, it can be arbitrarily changed. For example, it is possible to change the position and size of the virtual object, the appearance, and the visibility / invisibility of a part in the object. Due to such advantages, the mixed reality presentation apparatus is particularly expected to be applied in the fields of industrial product design and appearance simulation.
複合現実感提示装置は、仮想空間を任意に変更できることが大きな特徴である。しかし、その反面、仮想空間を任意に変更するためには、複合現実感提示装置のユーザに対して、数多くの種類の操作を行わせるための環境が必要となる。ユーザに仮想空間を変更させる自由度をより広くすると、それに伴い、ユーザが行うべき操作は膨大かつ複雑なものとなる。 A great feature of the mixed reality presentation device is that the virtual space can be arbitrarily changed. However, in order to arbitrarily change the virtual space, an environment for allowing the user of the mixed reality presentation apparatus to perform many types of operations is required. As the degree of freedom for changing the virtual space by the user is further increased, the operations to be performed by the user become enormous and complicated.
一般的に複合現実感提示装置の制御は、グラフィックス・ワークステーションやパーソナル・コンピュータで行われる。そのため、複合現実感提示装置の操作は、コンピュータに接続されているディスプレイを見ながら、キーボードやマウスによって行われることが主流となっている。 In general, the mixed reality presentation apparatus is controlled by a graphics workstation or a personal computer. Therefore, the operation of the mixed reality presentation apparatus is mainly performed by a keyboard or a mouse while looking at a display connected to the computer.
しかし、複合現実空間を観測するユーザが、従来のようにマウスやキーボードによって複合現実感提示装置の操作を行うのは、決して容易なことではない。 However, it is not easy for a user observing the mixed reality space to operate the mixed reality presentation device using a mouse or a keyboard as in the past.
複合現実感提示装置のユーザは撮像装置および表示装置を頭部に装着しており、撮像装置で撮像された画像によって、現実空間を観察することとなる。そのため、ユーザが肉眼で直接現実空間を観察するのと比較すると、現実空間画像の視野角や解像度は撮像装置によって制限される。特に、複合現実感提示装置では表示装置および撮像装置をユーザの頭部に装着するため、表示装置、撮像装置は小型でなければならない。しかし、小型の撮像装置では視野角や解像度の制約はさらに大きくなる。すなわち、現状では、頭部装着が可能であるような撮像装置の視野角や解像度は、肉眼と比較すると遠く及ばない。すなわち、複合現実感提示装置のユーザが、撮像装置や表示装置を装着している状態で、(撮像装置によって撮像された画像中の)コンピュータのディスプレイを見ながら、マウスやキーボードを操作することは、現実的に困難であると言える。さらに、仮想空間の画像が、現実空間画像中のマウスやキーボード、ディスプレイを隠蔽し得る状況下では、そもそも操作を行うこと自体が不可能となる。
そのため、専任のオペレータを配し、オペレータがユーザの指示に従い、マウスやキーボードによる複合現実感提示装置の操作を代行する方法が採られることが多い。しかしこの場合、ユーザがオペレータに自らの意志を正確に伝え、きめ細かな操作を行うことには限度があり、必ずしもユーザの意図通りの操作が実現できるものではなかった。 For this reason, a method is often employed in which a dedicated operator is assigned and the operator performs an operation of the mixed reality presentation device using a mouse or a keyboard in accordance with a user instruction. However, in this case, there is a limit for the user to accurately convey his / her will to the operator and perform a detailed operation, and the operation as intended by the user cannot always be realized.
また、ユーザが頭部に装着する表示装置に2次元のGUI(Graphical User Interface)を表示させ、ユーザはプレゼンテーションマウスなどの手持ち型マウスを操作することによって、ユーザ自身が操作を直接行うようにする方法が存在する。しかし、一般的なGUIが表示される領域は、表示装置中でかなりの面積を占め、ユーザが観測する現実空間像が阻害されてしまうため、ユーザに対して危険を及ぼす場合がある。さらに、ユーザが頭部を動かした場合、現実空間と仮想空間は頭部の動きに追従して見え方が変化するのに対し、GUIは2次元的に表示されるため見え方が変化せず、ユーザの違和感を増長する要因となる。ユーザがGUIを凝視するような状況下では、いわゆる「VR酔い」を起こすことがあり、ユーザが複雑な操作を行うことは困難であった。 In addition, a two-dimensional GUI (Graphical User Interface) is displayed on a display device worn by the user on the head, and the user operates the hand-held mouse such as a presentation mouse so that the user can directly perform the operation. There is a method. However, a region where a general GUI is displayed occupies a considerable area in the display device, and a real space image observed by the user is obstructed, which may be dangerous for the user. Furthermore, when the user moves the head, the real space and the virtual space change following the movement of the head, whereas the GUI is displayed two-dimensionally, so the appearance does not change. This is a factor that increases the user's discomfort. Under the situation where the user stares at the GUI, so-called “VR sickness” may occur, and it is difficult for the user to perform a complicated operation.
本発明は以上の問題に鑑みて成されたものであり、複合現実空間を観察するユーザが簡便に各種の操作を行う為の技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a technique for a user who observes a mixed reality space to easily perform various operations.
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。 In order to achieve the object of the present invention, for example, an image processing method of the present invention comprises the following arrangement.
即ち、画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、現実空間の画像を取得する取得工程と、
前記画像処理装置の配置手段が、前記現実空間中に配置された表示装置の表示画面であって全画面に渡って単一色を表示している該表示画面上に設けられたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
前記画像処理装置の生成手段が、前記取得工程で取得された現実空間の画像に含まれている前記表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、前記現実空間の画像における当該見なした領域以外の領域上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記画像処理装置の特定手段が、前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記画像処理装置の実行手段が、前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする。
That is, an image processing method performed by the image processing apparatus ,
An acquisition step in which the acquisition means of the image processing apparatus acquires an image of a real space;
A virtual object is displayed on a touch panel provided on the display screen on which the arrangement unit of the image processing device displays a single color over the entire screen, which is a display screen of the display device arranged in the real space. An arrangement step of arranging an operation panel as
The generation means of the image processing device may select a region other than the single color in the display screen portion of the display device included in the image of the real space acquired in the acquisition step , or a finger color of an operator or an indicator Generation of generating a mixed reality space image by superimposing a virtual space image including an image of the operation panel arranged in the arrangement step on an area other than the regarded area in the image of the real space Process,
A specifying step in which the specifying unit of the image processing apparatus acquires a position instructed on the touch panel, and specifies an operation part on the operation panel corresponding to the acquired position;
The execution unit of the image processing apparatus includes an execution step of executing an operation corresponding to the operation part specified in the specifying step.
本発明の構成により、複合現実空間を観察するユーザが簡便に各種の操作を行うことができる。 With the configuration of the present invention, a user who observes the mixed reality space can easily perform various operations.
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。 Hereinafter, the present invention will be described in detail according to preferred embodiments with reference to the accompanying drawings.
[第1の実施形態]
<複合現実感提示システム>
図1は、本実施形態に係る複合現実感提示システムの基本構成を示すブロック図である。同図に示す如く、本実施形態に係る複合現実感提示システムは、コンピュータ100(複合現実感提示装置と呼称する場合もある)、HMD(HMD:Head Mounted Display)200、及び操作部300により構成されている。
[First Embodiment]
<Mixed reality presentation system>
FIG. 1 is a block diagram showing the basic configuration of the mixed reality presentation system according to the present embodiment. As shown in the figure, the mixed reality presentation system according to the present embodiment includes a computer 100 (sometimes referred to as a mixed reality presentation device), an HMD (HMD: Head Mounted Display) 200, and an
先ず、HMD200について説明する。HMD200は複合現実空間を観察する観察者の頭部に装着し、現実空間と仮想空間とを合成した画像を観察者の眼前に提供する為の頭部装着型表示装置で、表示装置201、撮像装置202、センサ203により構成されている。
First, the HMD 200 will be described. The HMD 200 is a head-mounted display device that is attached to the head of an observer who observes the mixed reality space and provides an image obtained by combining the real space and the virtual space in front of the observer's eyes. The
撮像装置202は例えば1以上のCCDカメラにより構成されており、自身の位置姿勢に応じて見える現実空間を連続して撮像するものであり、撮像した各フレームの画像はコンピュータ100が備える画像入力装置107に出力される。なお、撮像装置202は、観察者の視点として用いることから、観察者が自身の頭部にHMD200を装着した際に、観察者の視点(目)の位置にできるだけ近い位置に撮像装置202を設けるようにする。
The
表示装置201は、観察者がHMD100を頭部に装着したときに眼前に位置するようにHMD100に装着されたものであり、コンピュータ100が備える画像出力装置103から出力された画像信号に基づいた画像を表示する。従って観察者の眼前にはコンピュータ100が生成した画像が提供されることになる。
The
センサ203は、不図示のトランスミッタが発する磁場の変化を検知し、検知した結果の信号をコンピュータ100に出力するものである。検知した結果の信号は、トランスミッタの位置を原点とし、この原点の位置で互いに直交する3軸をx、y、z軸とする座標系(以下、センサ座標系と呼称する)において、センサ203の位置姿勢に応じて検知される磁場の変化を示す信号である。コンピュータ100は、この信号に基づいて、センサ座標系におけるセンサ203の位置姿勢を求める。
The
なお本実施形態では、HMD200を構成する装置をユーザが装着しているが、ユーザが複合現実空間を体験できる形態であれば、HMD200は必ずしもユーザが装着する必要はない。 In the present embodiment, the user wears the device that constitutes the HMD 200, but the HMD 200 does not necessarily have to be worn by the user as long as the user can experience the mixed reality space.
次に、操作部300について説明する。操作部300は、観察者が各種の操作指示を入力するためのものであり、LCD301とタッチパネル302から構成される。
Next, the
LCD301は、タッチパネル302上に画像出力装置103から出力される画像信号に基づく画像を表示するための表示装置であり、液晶パネルなどによって実現される。LCD301はタッチパネル302と一体になっており、観察者は、LCD301上を指などで触れることにより、タッチパネル302に入力を行うことが可能である。
The
タッチパネル302は、観察者が指などで触れると、触れた位置を検出するデバイスであり、LCD301と一体になっている。観察者はLCD301の上からLCD301上の任意の場所を指で触れることができ、タッチパネル301はユーザが指で触れた位置を検出して、入力装置106に送出する。
The
次に、コンピュータ100について説明する。
Next, the
101はCPUで、RAM102が保持するプログラムやデータを用いて本装置全体の制御を行うと共に、コンピュータ100が行う後述の処理を実行する。
102はRAMで、ディスク装置105からロードされたプログラムやデータを一時的記憶する為のエリア、入力装置106を介して受信したデータ、画像入力装置107を介して受信したデータを一時的に記憶するためのエリア等を備えると共に、CPU101が各種の処理を行う際に用いるワークエリアを備える。
103は画像出力装置で、グラフィックスカードなどの機器により構成されており、一般的には、画像出力装置103は不図示のグラフィックスメモリを保持している。CPU101が実行するプログラムによって生成された画像情報は、システムバス104を介して、画像出力装置103が保持するグラフィックスメモリに書き込まれる。画像出力装置103は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置201、LCD301に送出する。グラフィックスメモリは必ずしも画像出力装置103が保持する必要はなく、RAM102によってグラフィックスメモリの機能を実現してもよい。また、画像出力装置103は、表示装置201、LCD301には独立して各々異なる画像信号を送ることができる。
105はディスク装置で、ここにはOS(オペレーティングシステム)やコンピュータ100が行う後述の各処理をCPU101に実行させるために必要なプログラムやデータが保存されている。
106は入力装置で、各種インタフェース機器により構成され、センサ203から受信したデータ、タッチパネル302から受信したデータを受け、これをRAM102に出力する。
An
107は画像入力装置で、キャプチャカードなどの機器により構成されており、撮像装置202が撮像した現実空間の画像を受け、これをデータとしてRAM102に出力する。
104は上述の各部を繋ぐバスであり、上述の各部間でデータ通信を行う際にはデータはこのシステムバス104を介して送受信される。
次に、上記構成を備える本実施形態に係る複合現実感提示システムが、HMD200を頭部に装着した観察者に対して複合現実空間の画像を提示する為に行う処理について説明する。
Next, a description will be given of processing performed by the mixed reality presentation system according to the present embodiment having the above-described configuration to present an image of the mixed reality space to an observer wearing the
HMD200に備わっている撮像装置202は、自身の位置姿勢に応じて見える現実空間の画像を撮像し、撮像した画像は画像入力装置107を介してデータとしてRAM102に入力される。
The
一方で、センサ203は上述の通り、センサ座標系における自身の位置姿勢に応じた信号を入力装置106を介してデータとしてRAM102に入力するので、CPU101は、このデータが示す「センサ座標系におけるセンサ203の位置姿勢」に、予め測定した「センサ203と撮像装置202との位置姿勢関係」を加算して、「センサ座標系における撮像装置202の位置姿勢」を求める。予め測定した「センサ203と撮像装置202との位置姿勢関係」を示すデータはディスク装置105に予め保存されているものとする。
On the other hand, as described above, since the
また、CPU101はディスク装置105に保存されている仮想空間を構成する各仮想物体のデータ(仮想物体の形状や色、仮想空間における配置位置、などを示すデータ、テクスチャデータ等)を用いて、仮想空間中に仮想物体を配置する。そして先に求めた「撮像装置202のセンサ座標系における位置姿勢」に基づいて、撮像装置202から見える仮想空間の画像を生成する。所定の位置姿勢を有する1点から見える仮想空間の画像を生成する処理については周知のものであるので、ここでの説明は省略する。
Further, the
そして生成した仮想空間の画像を、先にRAM102に入力した現実空間の画像上に重畳させ、画像出力装置103を介してHMD200の表示装置201に出力する。これにより、表示装置201の表示画面上には複合現実空間の画像が表示されるので、観察者の眼前には撮像装置202の位置姿勢に応じた複合現実空間の画像が見えることになる。
The generated virtual space image is superimposed on the real space image previously input to the
なお、複合現実空間の画像を生成して観察者に提示する為の一連の処理については様々考えられ、以上の処理に限定するものではない。 Various processes for generating an image of the mixed reality space and presenting it to the observer are conceivable and are not limited to the above processes.
<仮想メニュー>
本実施形態では、仮想物体としての操作パネルを操作部300が備えるLCD301上(タッチパネル302上)に配置する。即ち、予めLCD301上のセンサ座標系における座標値を求めておき、求めた座標値にこの操作パネルを配置する。この予め求めておいた座標値はデータとしてディスク装置105に保存されているものとする。
<Virtual menu>
In the present embodiment, an operation panel as a virtual object is arranged on the LCD 301 (on the touch panel 302) provided in the
図2は、この操作パネルの構成例を示す図である。以下では仮想物体としての操作パネルを「仮想メニュー」と呼称する場合がある。同図において400は仮想メニューで、同図に示す如く、複数の機能ボタン(同図では「File」、「View」、「Config」、「Select」、「Move」、「Quit」)が配されている。それぞれの機能ボタンは観察者が自身の指や指示具などでもって指示することができる。本実施形態では観察者の指で指示するものとする。このような仮想メニューのデータ(メニューデータ)は予め作成され、仮想空間に係るデータとしてディスク装置105に保存されているものとする。メニューデータには例えば、メニューの画像や文字情報、仮想メニューにおける各機能ボタンの領域を示す情報、メニューを選択したときに実行される所定の操作内容、メニューとタッチパネル302上の領域とを対応づけるための情報、メニューが複数の階層を持つ場合にはその階層構造、メニューの状態が遷移する場合には、その状態遷移情報が含まれる。
FIG. 2 is a diagram illustrating a configuration example of the operation panel. Hereinafter, an operation panel as a virtual object may be referred to as a “virtual menu”. In the figure,
図3は、このような仮想メニュー400をLCD301上(タッチパネル302上)に配置した場合の操作部300全体の様子を示す図である。このような状態で、頭部にHMD200を装着した観察者がLCD301(タッチパネル302)上に顔を向けると(換言すれば撮像装置202がLCD301(タッチパネル302)上を撮像すると)、LCD301(タッチパネル302)上に仮想メニュー400が重畳された画像が表示装置201に表示される。
FIG. 3 is a diagram showing the
観察者は、操作部300上に配置された仮想メニュー400を見ながら、仮想メニュー400において所望の操作内容が表示されている(タッチパネル302上の)領域を指などで触れることによって、機能ボタンに対応する操作を指示することができる。メニューが階層構造を持つ場合には、機能ボタンに対応するサブメニューを表示する。
While observing the
上述の通り、頭部にHMD部200を装着した観察者は、表示装置201に表示される仮想メニュー400を観察することができる。また、仮想メニュー400は操作部300、すなわちLCD301上に重畳されるため、頭部にHMD部200を装着した観察者は、現実空間像としてLCD301を観察することはできない。
As described above, an observer wearing the
ここで、一般的な複合現実感提示装置においては、現実空間画像上にCGが重畳するように描画処理を行うため、観察者には、仮想空間が現実空間の手前に存在するように知覚される。よって、観察者が仮想メニュー400を見ながら、タッチパネル302を自らの指で触れようとした場合、現実空間画像内の指の上に仮想メニュー400が重畳されることになるため、自らの指が仮想メニュー400に隠され、見えなくなってしまう。図4は、ユーザの指が仮想メニュー400によって隠され、見えなくなっている様子を示す図である。
Here, in the general mixed reality presentation device, since the rendering process is performed so that CG is superimposed on the real space image, the observer perceives that the virtual space exists in front of the real space. The Therefore, when the observer tries to touch the
そこで、本実施形態では、現実空間画像中に観察者の指など、肌色の領域が存在する場合には、その領域について、CGの描画を行わないようにする。これを行う方法については様々なものが考えられるが、例えば特開2003−296759において具体的に示されている。 Therefore, in the present embodiment, when a skin-colored area such as an observer's finger exists in the real space image, CG rendering is not performed for the area. Various methods for doing this are conceivable, and are specifically shown in Japanese Patent Application Laid-Open No. 2003-296759, for example.
この処理によって、観察者がタッチパネル302を指で触れる場合においても、重畳される仮想メニュー400のうち、ユーザの指と認識された領域については、CGの描画が行われないため、ユーザは自らの指を確認することができるようになる。図5は、観察者の指の領域についてCGを描画しない処理を行うことにより、指が確認できる様子を示す図である。
With this process, even when the observer touches the
<コンピュータ100が行う処理>
図6は、本実施形態に係る複合現実感提示システムが、HMD200を頭部に装着している観察者に対して複合現実空間の画像を提示するために、コンピュータ100が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をCPU101に実行させるためのプログラムやデータはディスク装置105に保存されており、これをCPU101の制御に基づいてRAM102にロードし、CPU101がこれを用いて処理を行うことで、コンピュータ100は以下説明する各処理を行うことになる。
<Processing performed by
FIG. 6 is a flowchart of processing performed by the
先ず、コンピュータ100を初期化する(ステップS1010)。この初期化とは例えば、以下の処理に必要なプログラムやデータをディスク装置105からRAM102にロードしたり、コンピュータ100に接続されている周辺機器(HMD200、操作部300を含む)に対する初期化指示の入力などである。
First, the
次に、HMD200に備わっている撮像装置202が撮像した現実空間の画像(実写画像)が順次画像入力装置107を介してRAM102に入力されるので、これを一時的にRAM102に記憶させる(ステップS1020)。また、センサ203が計測した「自身のセンサ座標系における位置姿勢」(センサ計測値)が入力装置106を介してRAM102に入力されるので、これを一時的にRAM102に記録させる(ステップS1030)。
Next, since the real space image (actual image) captured by the
次に、タッチパネル302上に配置された仮想物体としての仮想メニュー上に配されたメニュー項目(図2では機能ボタン「File」、「View」、「Config」、「Select」、「Move」、「Quit」)のうち、何れが指示されたのかを判断する(ステップS1040)。ここで、ステップS1040における処理についてより詳細に説明する。 Next, menu items arranged on a virtual menu as a virtual object arranged on the touch panel 302 (in FIG. 2, function buttons “File”, “View”, “Config”, “Select”, “Move”, “ It is determined which one of “Quit”) is instructed (step S1040). Here, the process in step S1040 will be described in more detail.
タッチパネル302は周知の通り、常に画面上のどの位置が指示されたのかをチェックしており、観察者が自身の指でタッチパネル302上の何れかの部分を指示すると、タッチパネル302は指示された位置(例えばタッチパネル302の左上隅を(0,0)とした座標系(タッチパネル座標系)における指示された位置)を示す信号を入力装置106に出力する。CPU101はこれを受け、この信号が示す位置が、タッチパネル302上に配置された仮想メニューに配された機能ボタン群のうち何れの機能ボタンの位置であるのかをチェックする。
As is well known, the
これは例えば、タッチパネル座標系とセンサ座標系との位置関係を示すデータ(タッチパネル座標系における座標値を、センサ座標系における座標値に変換する(もしくはその逆の変換を行う)ためのデータ)を予め作成してディスク装置105に保存させておき、CPU101はタッチパネル302上の指示された位置を入力装置106を介して受けると、このデータを用いて、タッチパネル302上の指示された位置の座標値をセンサ座標系における座標値に変換する。これにより、タッチパネル302上で指示した位置が仮想メニュー上の何れの位置であるのかをチェックすることができるので、タッチパネル302上で指示した位置が、仮想メニュー上に配された各機能ボタンのうちのどの機能ボタン上にあるのかをチェックすることで、どの機能ボタンが指示されたのかをチェックすることができる。
This is, for example, data indicating the positional relationship between the touch panel coordinate system and the sensor coordinate system (data for converting coordinate values in the touch panel coordinate system into coordinate values in the sensor coordinate system (or vice versa)). When the
そして、観察者の指の位置が仮想メニュー上の所定の機能ボタンのボタン画像上にある場合(例えば図2において「File」という機能ボタン画像上にある場合)には処理をステップS1050に進め、指示された機能ボタンに対応する処理を行う(ステップS1050)。なお、仮想メニュー上に配する機能ボタンについては特に限定するものではないが、例えば本装置の動作終了を指示するためのメニュー項目や、所定の仮想物体の表示/消去/移動/変形を指示するためのメニュー項目、各種のパラメータの調整を指示するためのメニュー項目などの機能ボタンが考えられる。 If the position of the observer's finger is on the button image of a predetermined function button on the virtual menu (for example, on the function button image “File” in FIG. 2), the process proceeds to step S1050. Processing corresponding to the instructed function button is performed (step S1050). The function buttons arranged on the virtual menu are not particularly limited. For example, a menu item for instructing the end of the operation of the apparatus or a display / deletion / movement / deformation of a predetermined virtual object is instructed. For example, function buttons such as a menu item for instructing adjustment of various parameters can be considered.
そして、ステップS1020でRAM102に入力した実写画像を読み出し、画像出力装置103が有するメモリに描画する(ステップS1060)。そして、ステップS1030でRAM102に入力した「センサ203のセンサ座標系における位置姿勢を示すデータ」を、予め測定した「センサ203と撮像装置202との位置姿勢関係」を示すデータでもって変換し、「センサ座標系における撮像装置202の位置姿勢」を示すデータを得、得たこのデータが示す視点から見える仮想メニュー以外の仮想物体の画像を生成し、画像出力装置103が有するメモリに先にステップS1060で描画された実写画像上に重畳して描画する(ステップS1070)。
Then, the photographed image input to the
そして更に、「センサ座標系における撮像装置202の位置姿勢」から見える仮想メニューの画像の画像を生成し(その際には当然、タッチパネル302上に仮想メニューを配置している)、画像出力装置103が有するメモリに先にステップS1060で描画された実写画像、ステップS1070でこの実写画像上に描画された仮想物体の画像上に重畳して描画する(ステップS1080)。ステップS1070,S1080における処理により、撮像装置202の位置姿勢に応じて見える仮想空間の画像が、画像出力装置103が有するメモリに先にステップS1060で描画された実写画像上に重畳して描画されるので、結果としてこのメモリ上には、撮像装置202の位置姿勢に応じて見える複合現実空間の画像が描画されていることになる。なお、仮想空間の画像の描画の際には先に説明したように、実写画像において肌色部分には仮想空間の画像が描画しないようにする。
Further, an image of a virtual menu image that can be seen from “the position and orientation of the
そして、仮想メニューなどでもって本処理の終了が指示された場合には本処理を終了するのであるが、指示されていない場合には処理をステップS1020に戻し、以降の処理を繰り返す。 If the end of the process is instructed by a virtual menu or the like, the process ends. If not instructed, the process returns to step S1020 to repeat the subsequent processes.
また、ステップS1040のチェック処理の結果、何れの機能ボタンも指示されていない(即ち、指示した位置が仮想メニュー上にはあるものの、どの機能ボタン上にもない)、もしくはタッチパネル302上を指示していない場合には処理をステップS1060に進め、以降の処理を行う。
In addition, as a result of the check processing in step S1040, no function button is instructed (that is, the instructed position is on the virtual menu but not on any function button), or the
なお、同図のフローチャートにおいて、以下の条件が満たされる限りにおいては、処理の順序を変更してもよい。 In the flowchart of FIG. 5, the processing order may be changed as long as the following conditions are satisfied.
・ ステップS1060はステップS1020の後に実行されなければならない。 Step S1060 must be executed after step S1020.
・ ステップS1070はステップS1030の後に実行されなければならない。 Step S1070 must be executed after step S1030.
・ ステップS1050はステップS1040の後に実行されなければならない。 Step S1050 must be performed after step S1040.
・ ステップS1080はステップS1040の後に実行されなければならない。 Step S1080 must be executed after step S1040.
以上の説明のように、本実施形態では、ユーザはタッチパネル302を指で触れることにより、各種の操作指示を入力することができるので、マウスやキーボードを使用する必要はなく、より簡便に操作入力を行うことができる。また、メニューなどのインタフェースはタッチパネル302に重畳される形で、ユーザが頭部に装着する表示装置201上に描画される。そのため、撮像装置202の視野角や解像度による制約の影響を受けない。また、タッチパネル302が存在する位置に3次元的に描画されるため、ユーザの違和感も低減される。
As described above, in this embodiment, since the user can input various operation instructions by touching the
なお、本実施形態ではタッチパネル302は観察者の指で指示する場合について説明したが、タッチパネル302を指示具により指示する場合には、実写画像において肌色の領域ではなく、指示具の色の領域を特定し、特定した領域以外に仮想空間の画像を重畳させる。
In this embodiment, the case where the
また、本実施形態では、センサとして磁気センサを用いるが、これに限定するものではなく、例えばその他にも超音波センサなどを用いるようにしても良い。また、位置姿勢の計測方法についても上記方法に限定するものではない。 In this embodiment, a magnetic sensor is used as the sensor, but the present invention is not limited to this. For example, an ultrasonic sensor or the like may be used. Also, the position and orientation measurement method is not limited to the above method.
[第2実施形態]
図1に示した構成を有するシステムにおいて、実写画像から肌色の領域を抽出する為には例えば以下のようにしても良い。即ち、LCD301上に単一色の背景画像を表示する。この背景画像は青・緑など、肌色との分離が容易であるような色で塗りつぶされた画像である。
[Second Embodiment]
In the system having the configuration shown in FIG. 1, for example, the following may be performed in order to extract the skin color region from the photographed image. That is, a single color background image is displayed on the
そして、観察者がタッチパネル302を操作するとき、ステップS1020で入力される実写画像には、ユーザの手・指の周囲に背景画像が観測される。よって、ステップS1070では、背景画像の内部に存在し、特定の色ではない領域を肌色の領域や指示具の色の領域と判定し、この領域以外に仮想空間の画像を描画するようにする。このようは方法であれば、タッチパネル302を操作する手段が観察者の指であろうと、指示具であろうと構わない。
When the observer operates the
[第3実施形態]
更に、操作部300にセンサ203と同様のセンサを取り付ければ、センサ座標系における操作部300の位置姿勢を計測することができるので、操作部300の位置姿勢を任意に変更しても構わない。また、操作部300のサイズが比較的小さい場合には、観察者が手に持って用いることができるので、例えば一方の手に操作部300を持ち、他方の手の指でもって操作部300のタッチパネル302上に配置される仮想メニューを操作するようにしても良い。
[Third Embodiment]
Furthermore, if a sensor similar to the
[その他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
[Other Embodiments]
An object of the present invention is to supply a recording medium (or storage medium) that records software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer of the system or apparatus (or CPU or MPU). Needless to say, this can also be achieved by reading and executing the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるャc鰍ノ書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the recording medium is written in the function expansion card inserted into the computer or the function expansion unit connected to the computer, based on the instruction of the program code, It goes without saying that the CPU of the function expansion card or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。 When the present invention is applied to the recording medium, program code corresponding to the flowchart described above is stored in the recording medium.
Claims (6)
前記画像処理装置の取得手段が、現実空間の画像を取得する取得工程と、
前記画像処理装置の配置手段が、前記現実空間中に配置された表示装置の表示画面であって全画面に渡って単一色を表示している該表示画面上に設けられたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
前記画像処理装置の生成手段が、前記取得工程で取得された現実空間の画像に含まれている前記表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、前記現実空間の画像における当該見なした領域以外の領域上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記画像処理装置の特定手段が、前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記画像処理装置の実行手段が、前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
An acquisition step in which the acquisition means of the image processing apparatus acquires an image of a real space;
A virtual object is displayed on a touch panel provided on the display screen on which the arrangement unit of the image processing device displays a single color over the entire screen, which is a display screen of the display device arranged in the real space. An arrangement step of arranging an operation panel as
The generation means of the image processing device may select a region other than the single color in the display screen portion of the display device included in the image of the real space acquired in the acquisition step, or a finger color of an operator or an indicator Generation of generating a mixed reality space image by superimposing a virtual space image including an image of the operation panel arranged in the arrangement step on an area other than the regarded area in the image of the real space Process,
A specifying step in which the specifying unit of the image processing apparatus acquires a position instructed on the touch panel, and specifies an operation part on the operation panel corresponding to the acquired position;
An image processing method comprising: an execution step of executing an operation corresponding to the operation portion specified in the specifying step.
前記画像処理装置の出力手段が、前記生成工程で生成された前記複合現実空間画像をヘッドマウントディスプレイに備わっている表示装置に出力する工程を備えることを特徴とする請求項1に記載の画像処理方法。 Furthermore,
2. The image processing according to claim 1, further comprising a step of outputting the mixed reality space image generated in the generation step to a display device provided in a head mounted display. Method.
現実空間の画像を取得する取得手段と、
前記現実空間中に配置された表示装置の表示画面であって全画面に渡って単一色を表示している該表示画面上に設けられたタッチパネル上に仮想物体としての操作パネルを配置する配置手段と、
前記取得手段が取得した現実空間の画像に含まれている前記表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、前記現実空間の画像における当該見なした領域以外の領域上に、前記配置手段が配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成手段と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定手段と、
前記特定手段が特定した操作部分に対応する動作を実行する実行手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus,
An acquisition means for acquiring an image of a real space;
Arrangement means for arranging an operation panel as a virtual object on a touch panel provided on the display screen of the display device arranged in the real space and displaying a single color over the entire screen When,
An area other than the single color in the display screen portion of the display device included in the image of the real space acquired by the acquisition means is regarded as the color of the finger of the operator or the color of the pointing tool, and the image of the real space Generating means for generating a mixed reality space image by superimposing a virtual space image including an image of the operation panel arranged by the arranging means on an area other than the regarded area in
A specifying means for acquiring a position instructed on the touch panel and specifying an operation part on the operation panel corresponding to the acquired position;
An image processing apparatus comprising: an executing unit that executes an operation corresponding to the operation part specified by the specifying unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004311037A JP4574323B2 (en) | 2004-10-26 | 2004-10-26 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004311037A JP4574323B2 (en) | 2004-10-26 | 2004-10-26 | Image processing method and image processing apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006126936A JP2006126936A (en) | 2006-05-18 |
JP2006126936A5 JP2006126936A5 (en) | 2007-12-06 |
JP4574323B2 true JP4574323B2 (en) | 2010-11-04 |
Family
ID=36721666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004311037A Expired - Fee Related JP4574323B2 (en) | 2004-10-26 | 2004-10-26 | Image processing method and image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4574323B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018179069A1 (en) * | 2017-03-27 | 2018-10-04 | サン電子株式会社 | Image display system |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5029759B2 (en) * | 2008-04-23 | 2012-09-19 | コニカミノルタホールディングス株式会社 | Information input system |
JP5293154B2 (en) * | 2008-12-19 | 2013-09-18 | ブラザー工業株式会社 | Head mounted display |
JP2010145861A (en) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | Head mount display |
JP5414380B2 (en) | 2009-06-23 | 2014-02-12 | キヤノン株式会社 | Image processing method and image processing apparatus |
JP2012008745A (en) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | User interface device and electronic apparatus |
JP5603766B2 (en) * | 2010-12-27 | 2014-10-08 | 新日鉄住金ソリューションズ株式会社 | Information processing system, information processing method, and program |
KR101985674B1 (en) * | 2012-09-18 | 2019-06-04 | 삼성전자 주식회사 | Method of recognizing contactless user interface motion and System there-of |
JP5696908B2 (en) | 2013-02-15 | 2015-04-08 | コニカミノルタ株式会社 | Operation display system |
JP6303723B2 (en) * | 2014-03-31 | 2018-04-04 | コニカミノルタ株式会社 | Display control device and display control device control program |
JP2017016572A (en) * | 2015-07-06 | 2017-01-19 | デュプロ精工株式会社 | Processing device, terminal device, and processing system |
US10338673B2 (en) * | 2015-09-16 | 2019-07-02 | Google Llc | Touchscreen hover detection in an augmented and/or virtual reality environment |
WO2017169158A1 (en) | 2016-03-29 | 2017-10-05 | ソニー株式会社 | Information processing device, information processing method, and program |
JP7092028B2 (en) * | 2016-04-26 | 2022-06-28 | ソニーグループ株式会社 | Information processing equipment, information processing methods, and programs |
KR102407111B1 (en) | 2016-05-20 | 2022-06-08 | 매직 립, 인코포레이티드 | Contextual awareness of user interface menus |
JP6373537B1 (en) * | 2017-09-04 | 2018-08-15 | 株式会社ワコム | Spatial position indication system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021363A (en) * | 1996-06-28 | 1998-01-23 | Sanyo Electric Co Ltd | Method and device for supporting evaluation |
JP2003296759A (en) * | 2002-03-29 | 2003-10-17 | Canon Inc | Information processing method and device |
-
2004
- 2004-10-26 JP JP2004311037A patent/JP4574323B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021363A (en) * | 1996-06-28 | 1998-01-23 | Sanyo Electric Co Ltd | Method and device for supporting evaluation |
JP2003296759A (en) * | 2002-03-29 | 2003-10-17 | Canon Inc | Information processing method and device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018179069A1 (en) * | 2017-03-27 | 2018-10-04 | サン電子株式会社 | Image display system |
JPWO2018179069A1 (en) * | 2017-03-27 | 2020-01-30 | サン電子株式会社 | Image display system |
US11227413B2 (en) | 2017-03-27 | 2022-01-18 | Suncorporation | Image display system |
Also Published As
Publication number | Publication date |
---|---|
JP2006126936A (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4533087B2 (en) | Image processing method and image processing apparatus | |
JP4574323B2 (en) | Image processing method and image processing apparatus | |
JP4227561B2 (en) | Image processing method and image processing apparatus | |
JP4883774B2 (en) | Information processing apparatus, control method therefor, and program | |
JP5871345B2 (en) | 3D user interface device and 3D operation method | |
JP4401728B2 (en) | Mixed reality space image generation method and mixed reality system | |
US7952594B2 (en) | Information processing method, information processing apparatus, and image sensing apparatus | |
JP4950834B2 (en) | Image processing apparatus and image processing method | |
US8098263B2 (en) | Image processing method and image processing apparatus | |
JP6057396B2 (en) | 3D user interface device and 3D operation processing method | |
JP6288084B2 (en) | Display control device, display control method, and recording medium | |
WO2014016987A1 (en) | Three-dimensional user-interface device, and three-dimensional operation method | |
JP2005293142A (en) | Image processing method and image processing device | |
JP2009025918A (en) | Image processor and image processing method | |
JP2009123018A (en) | Image processor and image processing method | |
JP7480388B2 (en) | Head-mounted information processing device | |
JP2023065528A (en) | Head-mounted information processing apparatus and head-mounted display system | |
JP4217661B2 (en) | Image processing method and image processing apparatus | |
JP2006343954A (en) | Image processing method and image processor | |
JP7279113B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM | |
JP2005251118A (en) | Method and device for image processing | |
JP4343744B2 (en) | Image processing method and image processing apparatus | |
JP2024079124A (en) | Information processing device, information processing method, and program | |
JP2022140141A (en) | Information processing system, information processing program, and information processing method | |
JP2007004716A (en) | Image processing method and image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071024 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071024 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071024 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |