JP2014109802A - Image processor, image processing method and program - Google Patents
Image processor, image processing method and program Download PDFInfo
- Publication number
- JP2014109802A JP2014109802A JP2012262523A JP2012262523A JP2014109802A JP 2014109802 A JP2014109802 A JP 2014109802A JP 2012262523 A JP2012262523 A JP 2012262523A JP 2012262523 A JP2012262523 A JP 2012262523A JP 2014109802 A JP2014109802 A JP 2014109802A
- Authority
- JP
- Japan
- Prior art keywords
- modeling data
- user
- image processing
- virtual
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、３Ｄモデリングデータの生成や修正を行う、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program for generating and correcting 3D modeling data.
従来から、３Ｄ−ＣＡＤ（３Ｄｉｍｅｎｔｉｏｎ−ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）等で設計された、建物や住宅、施設等の建築物の仮想物体の３Ｄデータに基づいて、建築物やその中のインテリアが配置された仮想空間を疑似体験できるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実感）疑似体験ソフト等がある。これら疑似体験ソフトでは、ユーザが仮想空間の中に入ったときの見かけの様子を、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：（以下、「ＨＭＤ端末１００」と呼ぶ））等にＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）映像表示することにより、仮想現実感が実現される。
Conventionally, based on 3D data of a virtual object of a building such as a building, a house, or a facility designed by 3D-CAD (3Dimension-computer aided design) or the like, a virtual in which a building and an interior in the building are arranged VR (Virtual Reality) pseudo-experience software that allows you to experience a space. In these pseudo-experience software, the appearance when the user enters the virtual space is displayed on a head mounted display (hereinafter referred to as “
例えば、洋服ショップや家具のサイト等では、ユーザは家具や家電等の仮想物体の３Ｄデータをダウンロードして、家具等の仮想物体を擬似的に配置することができる。また、ユーザの実際の部屋の中に家具等の仮想物体を配置した時の大きさや様子等の具合を、仮想ＣＧ映像によるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）映像としてＰＣ（Ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）画面にシミュレーション表示させたりして、疑似体験できるサービスやアプリが提供されている。 For example, in a clothes shop or a furniture site, a user can download 3D data of virtual objects such as furniture and home appliances, and place virtual objects such as furniture in a pseudo manner. In addition, the size, state, and the like of a virtual object such as furniture placed in a user's actual room are displayed on a PC (Personal Computer) screen as an AR (Augmented Reality) image using a virtual CG image. Services and applications that can be simulated by displaying simulations are provided.
また、現実空間に配された指標を撮像画像中で検出し、カメラの位置姿勢と指標と画像中の位置とから、指標を画像面上に投影し、指標の方向性等から、対応する指標を同定する技術が存在する（例えば、特許文献１参照）。 In addition, the index placed in the real space is detected in the captured image, and the index is projected on the image plane from the position and orientation of the camera, the index, and the position in the image. There exists a technique for identifying (see, for example, Patent Document 1).
しかしながら、上述の特許文献１を含む従来の技術では、ユーザは仮想空間において仮想物体の大きさを擬似的に体感することができるものの、ユーザが仮想空間において配置した仮想物体の大きさや長さ等の性状を変更することはできなかった。
However, in the conventional techniques including the above-described
本発明は、このような状況に鑑みてなされたものであり、仮想空間における仮想物体の性状を任意に修正することを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to arbitrarily correct the properties of a virtual object in a virtual space.
上記目的を達成するため、本発明の一態様の画像処理装置は、
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段と、
実空間に対する所定部位の位置と方向と姿勢を検出する検出手段と、
前記検出手段により検出された実空間内の前記所定部位の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向と姿勢に変換する変換手段と、
前記変換手段により変換された位置と方向と姿勢に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御手段と、
前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成や修正を行う修正手段と、
を備えることを特徴とする。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention includes:
A virtual object represented by 3D modeling data is virtually arranged in a virtual space with a predetermined position, direction, and orientation, and is made to correspond to the position and direction of a virtual viewpoint specified in the virtual space. Generating means for generating image data from the 3D modeling data;
Detection means for detecting the position, direction and orientation of a predetermined part with respect to real space;
Based on the correspondence between the coordinate system of the real space and the coordinate system of the virtual space, the position and direction of the predetermined part in the real space detected by the detecting means Conversion means for converting into a posture;
Display control means for causing the generation means to generate image data from the 3D modeling data in correspondence with the position, direction, and orientation converted by the conversion means, and to display the image on a display unit;
When an operation for instructing generation or correction of the 3D modeling data is performed by a user in a state where the image is displayed by the control of the display control unit, the detection unit performs the operation when the operation is performed. A correction means for generating and correcting 3D modeling data by specifying a portion for generating and correcting 3D modeling data based on the detected position, direction, and orientation;
It is characterized by providing.
本発明によれば、仮想空間における仮想物体の性状を任意に修正することが可能となる。 According to the present invention, it is possible to arbitrarily correct the properties of a virtual object in a virtual space.
以下、本発明の一実施形態について、図面を用いて説明する。
［ハードウェア構成］
図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばＨＭＤ端末１００として構成される。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[Hardware configuration]
FIG. 1 is a block diagram showing a hardware configuration of an
The
本実施形態に係る画像処理装置１は、３Ｄモデリングデータからの画像のデータに基づいて画像が表示されている状態で、ユーザからの指示操作が行われることにより、３Ｄモデリングデータの生成や修正を行う。
The
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
ＣＰＵ１１は、例えば、後述する３Ｄモデリングデータ生成処理のためのプログラム等、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０およびドライブ２１が接続されている。
The
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the
Hereinafter, the output signal of the
入力部１７は、各種釦やポインティングデバイス、ソフトウェアキー等で構成され、３Ｄモデリングデータ生成処理における３Ｄモデリングデータの仮想物体を選択する操作、３Ｄモデリングデータの生成を指示する操作等、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介してＨＭＤ端末１００や感覚フィードバック装置１１０との間で行う通信を制御する。ＨＭＤ端末１００や感覚フィードバック装置１１０については、後述の図２を参照して説明する。
The
The
The
The
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
A
［使用例］
次に、図１の画像処理装置１の使用例について説明する。
図２は、図１の画像処理装置１をユーザが使用している様子の一例を模式的に示す図である。
なお、画像処理装置１の撮像部１６は、ユーザの手の動きを示す一連の撮像画像のデータを出力できるものとする。
[Example of use]
Next, a usage example of the
FIG. 2 is a diagram schematically illustrating an example of a state in which the user is using the
Note that the
初めに、ユーザ２００は、仮想空間を体感するために、ＨＭＤ端末１００を身体の頭部に装着する。ＨＭＤ端末１００は、身体に装着できるディスプレイであれば足り、眼鏡型や帽子型等ユーザの身体に合わせた形状により構成される。また、画像の表示形式は、ディスプレイ方式や投影方式等既存の表示形式が採用される。ＨＭＤ端末１００は、画像処理装置１の通信部２０を介してＢｌｕｅｔｏｏｔｈ（登録商標）や赤外線等の近距離無線通信により双方向通信可能に接続されている。
First, the
また、同様に、仮想空間を体感するために、ユーザ２００が感覚フィードバック装置１１０を身体の手や腕に装着する。感覚フィードバック装置１１０は、仮想物体に仮想的に接した場合の圧力を、電気的に変換し、人体の感覚器官に伝達（フィードバック）する装置であれば足りる。感覚フィードバック装置１１０は、例えば、手袋型や指サック型等ユーザの身体に合わせた形状により構成される。感覚フィードバック装置１１０から感覚器官への伝達（フィードバック）方式は、モータや圧電素子等を使用する振動、帯電、圧接等既存の感覚フィードバック技術（「触覚フィードバック技術」や「ハプティック」とも呼ばれる）が採用される。感覚フィードバック装置１１０は、画像処理装置１の通信部２０を介してＢｌｕｅｔｏｏｔｈ（登録商標）や赤外線等の近距離無線通信により双方向通信可能に接続されている。
Similarly, in order to experience the virtual space, the
ユーザ２００が、画像処理装置１の入力部１７（図１）を操作して、３Ｄモデリングデータの再生を指示すると、記憶部１９に記憶されている３Ｄモデリングデータから生成される２次元画像がＨＭＤ端末１００に表示される。
より具体的には例えば、図２の例では、ユーザ２００が建築を依頼している「家」についての３Ｄモデリングデータが記憶部１９に記憶されているものとする。この３Ｄモデリングデータは、家を構成する各要素（扉、窓、壁、家具等）を示す仮想物体（以下、「部品」と呼ぶ）が組み合わされて構成されている。図２には、扉の部品３００Ｍが示されている。仮想空間内の各部品の位置や大きさ等は、実空間内の各要素の位置や大きさ等に対応しているものとする。ただし、「家」は設計段階であり実空間上に未だ存在しないため、各部品の位置や大きさ等は自在に可変できるものとする。
ＨＭＤ端末１００に表示される２次元画像は、当該３Ｄモデリングデータを含む仮想空間内に存在する「視点」から眺望した様子（２次元平面に投影した様子）を示している。この視点は、画像処理装置１の入力部１７（図１）に対するユーザ２００の所定の操作や、ユーザ２００の身体に装着したＨＭＤ端末１００の向きに応じて、仮想空間内を自在に移動可能であり、その方向も自在に変更可能である。
これにより、ユーザ２００は、ＨＭＤ端末１００に表示される２次元画像、即ち、仮想空間内の視点から眺望した家の外部または内部を示す２次元画像を、あたかも自身の目で眺めたかのように見ることができる。図２の例では、扉の部品３００Ｍを含む室内の仮想空間において当該扉の部品３００Ｍを眺望可能な位置に視点が配置されており、この視点から眺めた様子の２次元画像、即ち扉の画像３００Ｇを含む２次元画像が、ＨＭＤ端末１００に表示される。そして、ユーザ２００は、入力部１７を操作して視点の位置および方向を自在に変更することで、ＨＭＤ端末１００に表示される２次元画像の内容を、あたかも自身が移動したり自身の目を動かした際に見える風景に変化させることができる。このようにして、ユーザ２００は、視覚的に、仮想空間を擬似的に体感することができる。
When the
More specifically, for example, in the example of FIG. 2, it is assumed that 3D modeling data regarding the “house” for which the
The two-dimensional image displayed on the
As a result, the
更に、この間、撮像部１６は、実空間におけるユーザ２００の手を撮像した様子を示す撮像画像のデータを逐次出力している。画像処理装置１は、逐次出力される撮像画像のデータに対して所定の画像処理を施すことで、ユーザ２００の手の動きを認識する。そして、画像処理装置１は、ユーザ２００の手に対応する仮想オブジェクト（図２の例では、ユーザ２００全体に対応する仮想オブジェクト）を、認識した実際の手の動きに応じて仮想空間内でも移動させる。手に対応する仮想オブジェクトが、扉の部品３００Ｍと接触した場合、感覚フィードバック装置１１０は、実際のユーザ２００の手に対して、実際の扉に接触した場合の触感を伝達（フィードバック）する。このようにして、ユーザ２００は、視覚的のみならず触覚的にも、仮想空間を擬似的に体感することができる。
Further, during this time, the
ユーザが、感覚フィードバック装置１１０を手に装着した状態で、手を動かすことにより３Ｄモデリングデータの仮想物体の位置や大きさを修正する指示をすることができる。この指示の仕方は、ユーザが、実空間内の実物体の位置や大きさを変化させるのと同様に手を動かすだけでよい。
画像処理装置１は、上述したように、ユーザが手を動かしている様子が写る一連の撮像画像のデータから、当該手の動きを認識することで、３Ｄモデリングデータの仮想物体の位置や大きさの修正指示を認識する。そして、画像処理装置１は、認識した手の動き（その位置と方向と姿勢との時間推移）に基づいて３Ｄモデリングデータを修正する。
具体的には例えば図２の例では、ユーザは、ＨＭＤ端末１００に表示される扉の画像３００Ｇをあたかも手で押し広げるように、実空間上で左右の手を所定方向に離していくように動かすことで、３Ｄモデリングデータの扉の部品３００Ｍの寸法を修正する指示をする。この場合、撮像部１６は、実空間におけるユーザ２００の手の動きの様子を逐次撮像し、撮像画像のデータを逐次出力する。画像処理装置１は、撮像部１６から逐次出力される撮像画像のデータから、ユーザ２００の手の位置と方向と姿勢の時間的推移（動き）を検出し、検出された位置と方向と姿勢との時間推移に基づいて、３Ｄモデリングデータの修正を行う部位が扉の部品３００Ｍであることと、その扉の部品３００Ｍの修正後のサイズ等を特定する。そして、画像処理装置１は、特定した内容に基づいて、３Ｄモデリングデータを修正する。
The user can instruct to correct the position and size of the virtual object in the 3D modeling data by moving the hand while wearing the
As described above, the
Specifically, in the example of FIG. 2, for example, the user moves his / her left and right hands apart in a predetermined direction in real space so as to spread the door image 300 </ b> G displayed on the
［機能的構成］
図３は、このような画像処理装置１の機能的構成のうち、３Ｄモデリングデータ生成処理を実行するための機能的構成を示す機能ブロック図である。
３Ｄモデリングデータ生成処理とは、実空間内の所定部位の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて変換された仮想空間内の位置と方向と姿勢に対応させて生成された画像を表示する。そして、画像が表示されている状態で、ユーザにより３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、３Ｄモデリングデータの生成や修正を行うまでの一連の処理をいう。
[Functional configuration]
FIG. 3 is a functional block diagram illustrating a functional configuration for executing the 3D modeling data generation process among the functional configurations of the
The 3D modeling data generation process is a position and direction in a virtual space obtained by converting the position, direction, and orientation of a predetermined part in the real space based on the correspondence between the coordinate system in the real space and the coordinate system in the virtual space. And an image generated corresponding to the posture is displayed. When the user performs an operation for instructing generation or correction of 3D modeling data in a state where an image is displayed, this refers to a series of processes until generation or correction of 3D modeling data is performed.
３Ｄモデリングデータ生成処理が実行される場合、ＣＰＵ１１においては、生成部５１と、検出部５２と、変換部５３と、表示制御部５４と、修正部５５と、感覚フィードバック制御部５６と、記憶制御部５７と、が機能する。
When the 3D modeling data generation process is executed, in the
生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから２次元画像の画像データを生成する。
生成部５１により生成される３Ｄモデリングデータは、仮想物体の他に、この仮想物体が配置される仮想背景の３Ｄデータを含む。生成部５１は、３Ｄモデリングデータに基づいて仮想物体と仮想背景を含む２次元画像の生成を行う。
また、生成部５１により生成される３Ｄモデリングデータで表現される仮想物体は、建物である。また、生成部５１により生成される３Ｄモデリングデータで表現される仮想物体は、家具であり、仮想背景は建物内とすることができる。仮想背景とは、図２の例では、ユーザ２００が建築を依頼している家（建物）の間取りに合わせて３Ｄモデリングデータにより生成される画像であり、建物の内装を含む建物内の背後の光景により構成される。ユーザは、所望の仮想背景に任意の仮想物体を自由に配置することができる。生成部５１は、生成した画像データを変換部５３へ供給する。
The
The 3D modeling data generated by the
The virtual object represented by the 3D modeling data generated by the
検出部５２は、撮像部１６から供給されるユーザの手の位置から位置情報を算出し、算出した位置情報に基づき、実空間に対するユーザの手の位置と方向と姿勢とを検出する。検出部５２は、時系列的に複数検出したユーザの手の位置に基づいて手の移動方向を検出する。検出部５２は、検出したユーザの底の位置と方向と姿勢の情報を変換部５３へ供給する。
The
また、検出部５２は、身体に装着したＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向をリアルタイムに検出する。ＨＭＤ端末１００に設けられているセンサとしては、例えば、加速度センサ、角速度センサおよび磁気センサ等を用いることができる。検出部５２は、時系列的に検出したユーザの視線の位置に基づいてユーザの視線の変化を検出することができる。この場合、検出部５２は、ＨＭＤ端末１００に設けられた各種センサにより、実空間に対するユーザの視線の位置や方向の変化をリアルタイムに検出することができる。
The
変換部５３は、検出部５２により検出された実空間内の所定部位の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の位置と方向と姿勢に変換する。この場合、変換部５３は、３Ｄモデリングデータで表現される仮想物体の種類に応じて、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して変換する。変換部５３は、変換した仮想空間内の位置と方向と姿勢の情報を表示制御部５４および感覚フィードバック制御部５６へ供給する。
The
表示制御部５４は、変換部により変換された位置と方向と姿勢に対応させて、生成部５１により生成された３Ｄモデリングデータから画像のデータを生成させ、当該画像をＨＭＤ端末１００に表示させる制御を実行する。この、ＨＭＤ端末１００は、背景を透過可能な表示装置であり、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケール（相互変換倍率）を同じにする。この場合、表示制御部５４は、修正部５５による３Ｄモデリングデータの生成や修正中において、生成や修正中の３Ｄモデリングデータに基づく２次元画像の生成と表示をリアルタイムに行う。
また、表示制御部５４は、３Ｄモデリングデータから２次元画像を生成する際に、記憶部１９に記憶されているタグ情報を関連付けられた位置に合成して表示する。
また、表示制御部５４は、仮想空間内に、前記仮想空間の座標系と前記実空間の座標系とを対応付けている座標スケール（相互変換倍率）に対応した寸法目盛りを表示させる。表示制御部５４により表示される寸法目盛りとしては、メジャーやものさし等ユーザが仮想物体の大きさを容易に把握するのに便宜なスケールが仮想物体に添えられて表示される。
The
Further, when generating a two-dimensional image from the 3D modeling data, the
Further, the
修正部５５は、表示制御部の制御により画像が表示されている状態で、ユーザによる３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに検出部５２で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成や修正を行う。
また、修正部５５は、表示制御部５４の制御により３Ｄモデリングデータから生成される２次元画像がＨＤＭ端末１００に表示されている状態で、ユーザが手を動かすことにより３Ｄモデリングデータの修正を指示する操作を行った場合に、３Ｄモデリングデータの生成や修正を行う。
具体的には、修正部５５は、感覚フィードバック装置１１０から供給される指示に基づき操作が行われたときに３Ｄモデリングデータの修正を指示する操作を受け付ける。そして、修正部５５は、検出部５２で検出されているユーザの手の位置、方向、姿勢および手の移動方向に基づいて３Ｄモデリングデータにおける修正部位と修正内容を特定する。そして、修正部５５は、特定した３Ｄモデリングデータにおける修正部位と修正内容に基づき、３Ｄモデリングデータの修正を行う。
また、修正部５５は、ユーザが手を動かすことにより３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに検出部で検出されているユーザの手の位置と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する。
具体的には、修正部５５は、感覚フィードバック装置１１０から供給される指示に基づき操作が行われたときに３Ｄモデリングデータの生成を指示する操作を受け付ける。そして、修正部５５は、検出部５２で検出されているユーザの手の位置、方向、姿勢および手の移動方向に基づいて３Ｄモデリングデータにおける生成部位と生成内容を特定する。そして、修正部５５は、特定した３Ｄモデリングデータにおける生成部位と生成内容に基づき、３Ｄモデリングデータの生成を行う。
The
In addition, the
Specifically, the
In addition, when the user performs an operation for instructing generation of 3D modeling data by moving the hand, the
Specifically, the
感覚フィードバック制御部５６は、変換部５３により変換された位置、方向および姿勢と、仮想空間内に配置された仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した感覚フィードバック装置１１０の感覚フィードバック機能を制御する。例えば、変換部５３の変換した仮想空間内の位置において、仮想空間内の右手の位置に仮想物体が接触した場合には、感覚フィードバック制御部５６は、ユーザの右手に所定の圧力を加えるように、ユーザの右手側に装着した感覚フィードバック装置１１０を制御する。
The sensation
記憶制御部５７は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶する。
The
［３Ｄモデリングデータ生成処理］
次に、図２の機能的構成を有する画像処理装置１が実行する、３Ｄモデリングデータ生成処理について説明する。
図４および図５は、図２の機能的構成を有する画像処理装置１が実行する３Ｄモデリングデータ生成処理の流れを示すフローチャートである。
ユーザが入力部１７を操作して、３Ｄモデリングデータの生成または修正を指示する操作が行われた場合に、図４の３Ｄモデリングデータ生成処理が開始される。
[3D modeling data generation processing]
Next, 3D modeling data generation processing executed by the
4 and 5 are flowcharts showing a flow of 3D modeling data generation processing executed by the
When the user operates the
ステップＳ１１において、変換部５３は、実空間の座標系と仮想空間の座標系とを対応付けると共に、相互に変換するための座標変換情報を設定する。この場合、変換部５３は、３Ｄモデリングデータで表現される仮想物体の種類に応じて、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して、座標変換情報を設定する。
In step S11, the
ステップＳ１２において、生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢で仮想的に配置する。
In step S12, the
ステップＳ１３において、検出部５２は、身体に装着したＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向を検出する。この場合、検出部５２は、時系列的にリアルタイムに検出したユーザの視線の位置に基づいて視線の変化を検出する。
In step S <b> 13, the
ステップＳ１４において、生成部５１は、仮想空間内に配置された３Ｄモデリングデータの座標を、ステップＳ１１において生成した座標変換情報に基づいて実空間内の座標に変換しながら、ステップＳ１３において検出したユーザの視線の位置と方向に応じた仮想物体の２次元画像のデータを生成する。
In step S14, the
ステップＳ１５において、表示制御部５４は、ステップＳ１４において生成した仮想物体の２次元画像を、背景部分を透過した状態でＨＭＤ端末１００に表示する制御を実行する。
In step S15, the
ステップＳ１６において、検出部５２は、撮像部１６により撮像された感覚フィードバック装置１１０の実空間に対する位置と移動方向とに基づき、実空間に対するユーザの手の位置と方向と姿勢を検出する。この場合、検出部５２は、時系列的に複数検出したユーザの手の位置に基づいて手の移動方向を検出する。
In step S <b> 16, the
ステップＳ１７において、変換部５３は、ステップＳ１６において検出したユーザの手の位置と方向と姿勢が仮想物体に対するものであるか否かを判定する。この処理では、変換部５３は、仮想空間内に配置された３Ｄモデリングデータの座標を、ステップＳ１１において設定した座標変換情報に基づいて実空間内の座標に変換しながら、実空間上のユーザの手が仮想空間上の仮想物体に対するものであるか否かを判定する。検出したユーザの手の位置と方向と姿勢が仮想物体に対するものでない場合、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ２１に進む。ステップＳ２１以降の処理については後述する。これに対し、検出したユーザの手の位置と方向と姿勢が仮想物体に対するものである場合、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。
In step S <b> 17, the
ステップＳ１８において、感覚フィードバック制御部５６は、感覚フィードバック装置１１０に対して操作方向に対応した感覚をフィードバックする。この処理では、感覚フィードバック制御部５６は、ステップＳ１６において検出された、実空間に対するユーザの手の位置と方向と姿勢および、時系列的に複数検出したユーザの手の位置に基づき検出されたユーザの手の移動方向に基づいて、ユーザの操作方向を算出する。そして、感覚フィードバック制御部５６は、算出したユーザの操作方向と対抗する挙動となるよう制御する制御信号を感覚フィードバック装置１１０に送信することで、ユーザの操作方向に対応した感覚を感覚フィードバック装置１１０に対しフィードバックする。
In step S <b> 18, the sensation
ステップＳ１９において、修正部５５は、仮想物体に対する操作位置と操作方向に応じて、３Ｄモデリングデータに対する修正部位および修正内容を特定する。この処理では、修正部５５は、ステップＳ１６において検出された、実空間に対するユーザの手の位置と方向と姿勢および、ユーザの手の移動方向を、ステップＳ１１において設定した座標変換情報により変換し、仮想物体に対する操作位置と操作方向を算出する。そして、修正部５５は、算出した仮想物体に対する操作位置と操作方向に基づいて３Ｄモデリングデータに対する修正部位および修正内容を特定する。
In step S <b> 19, the
ステップＳ２０において、修正部５５は、ステップＳ１９において特定された修正部位を特定された修正内容で３Ｄモデリングデータを修正する。
In step S20, the
ステップＳ２１において、３Ｄモデリングデータの生成または修正を終了する指示を受けたか否かを判定する。３Ｄモデリングデータの生成または修正を終了する指示を受けていない場合には、ステップＳ２１においてＮＯであると判定されて、処理はステップＳ１３に戻る。即ち、３Ｄモデリングデータの生成または修正を終了する指示を受けるまでの間、ステップＳ１３乃至Ｓ２１の処理が繰り返し行われる。これに対し、３Ｄモデリングデータの生成または修正を終了する指示を受けた場合には、ステップＳ２１においてＹＥＳであると判定されて、処理はステップＳ２２の処理に移る。 In step S21, it is determined whether or not an instruction to end generation or correction of 3D modeling data has been received. If an instruction to end the generation or correction of the 3D modeling data has not been received, it is determined as NO in Step S21, and the process returns to Step S13. That is, the processes in steps S13 to S21 are repeated until an instruction to end the generation or correction of the 3D modeling data is received. On the other hand, when an instruction to end the generation or correction of the 3D modeling data is received, it is determined as YES in Step S21, and the process proceeds to Step S22.
ステップＳ２２において、記憶制御部５７は、ステップＳ２０の処理において修正された３Ｄモデリングデータを記憶部１９に記憶する。この処理が終了すると３Ｄモデリングデータ生成処理は終了となる。
In step S <b> 22, the
以上説明したように、本実施形態の画像処理装置１は、生成部５１と、検出部５２と、変換部５３と、表示制御部５４と、修正部５５と、を備える。
生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する。
検出部５２は、実空間に対する所定部位の位置と方向を検出する。
変換部５３は、検出部５２により検出された実空間内の所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の位置と方向に変換する。
表示制御部５４は、変換部５３により変換された位置と方向に対応させて、生成部５１により３Ｄモデリングデータから画像のデータを生成させ、当該画像をＨＭＤ端末１００に表示させる。
修正部５５は、表示制御部５４の制御により画像が表示されている状態で、ユーザによる３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに検出部５２で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う。
これにより、ユーザは、ＨＭＤ端末１００により表示される仮想空間において仮想物体の大きさを擬似的に体感しながら、３Ｄモデリングデータの生成や修正を指示する操作を行うことにより、３Ｄモデリングデータの生成や修正を行うことができる。したがって、仮想空間における仮想物体の性状を任意に修正することができる。
As described above, the
The
The
The
The
The
Thereby, the user generates 3D modeling data by performing an operation to instruct generation and correction of 3D modeling data while simulating the size of the virtual object in the virtual space displayed by the
また、本実施形態の画像処理装置１の表示制御部５４は、修正部５５による３Ｄモデリングデータの生成または修正中において、生成や修正中の３Ｄモデリングデータに基づく２次元画像の生成と表示をリアルタイムに行う。
これにより、３Ｄモデリングデータの生成や修正を指示する操作を行うと、リアルタイムでその生成や修正された２次元画像がＨＭＤ端末１００により表示される。これにより、ユーザは、３Ｄモデリングデータが生成や修正された状態をリアルタイムで認識することができるため、生成内容や修正内容を容易に把握することができる。
Further, the
Thus, when an operation for instructing generation or correction of 3D modeling data is performed, a two-dimensional image generated or corrected in real time is displayed on the
また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの視線または手の位置と方向を検出する。変換部５３は、検出部５２により検出された視線または手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の視線または手の位置と方向に変換する。
これにより、ユーザは、自身の視線や手の位置に対応した位置に基づいて、３Ｄモデリングデータの生成や修正を行うことができる。したがって、仮想空間における仮想物体の生成や性状の修正を容易に行うことができる。
The
Accordingly, the user can generate or correct 3D modeling data based on the position corresponding to the user's line of sight or the position of the hand. Therefore, it is possible to easily generate a virtual object and correct properties in the virtual space.
また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの視線の位置と方向と、ユーザの手の位置と方向を別々に検出する。変換部５３は、検出部５２により検出された実空間におけるユーザの視線の位置と方向およびユーザの手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内のユーザの視線の位置と方向およびユーザの手の位置と方向位置と方向に変換する。表示制御部５４は、変換部５３により変換されたユーザの視線の位置と方向に対応させて、生成部５１により３Ｄモデリングデータから画像のデータを生成させる。修正部５５は、検出部５２で検出され、変換部５３により変換されたユーザの手の位置と方向に基づいて３Ｄモデリングデータの生成または修正を行う部位を特定する。
これにより、ユーザは、自身の視線および手の位置の各々に対応した位置に基づいて、３Ｄモデリングデータの生成や修正を行うことができる。したがって、仮想空間における仮想物体の生成や性状の修正をより正確に行うことができる。
The
As a result, the user can generate or modify 3D modeling data based on positions corresponding to each of his / her line of sight and hand positions. Therefore, generation of virtual objects and correction of properties in the virtual space can be performed more accurately.
また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの手の位置と手の移動方向を検出する。また、修正部５５は、表示制御部５４の制御により３Ｄモデリングデータから生成される２次元画像が表示されている状態で、ユーザが手を動かすことにより３Ｄモデリングデータの修正を指示する操作を行った場合に、その操作が行われたときに検出部５２で検出されているユーザの手の位置と手の移動方向に基づいて３Ｄモデリングデータにおける修正部位と修正内容を特定して３Ｄモデリングデータの修正を行う。
これにより、ユーザが実空間において手を移動して３Ｄモデリングデータの修正を指示する操作を行うと、その手の位置と移動方向に基づいて３Ｄモデリングデータにおける修正部位と修正内容が特定される。そして、この特定された部位に基づいて３Ｄモデリングデータの修正が行われる。これにより、ユーザは、手を用いて３Ｄモデリングデータの修正を容易に行うことができる。
Further, the
Accordingly, when the user moves the hand in the real space and performs an operation for instructing the correction of the 3D modeling data, the correction part and the correction content in the 3D modeling data are specified based on the position and the moving direction of the hand. Then, the 3D modeling data is corrected based on the identified part. Accordingly, the user can easily correct the 3D modeling data using the hand.
また、本実施形態の画像処理装置１の検出部５２は、実空間に対するユーザの手の位置と手の移動方向を検出する。そして、修正部５５は、ユーザが手を動かすことにより３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに検出部５２で検出されているユーザの手の位置と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する。
これにより、ユーザが実空間において手を移動して３Ｄモデリングデータの生成を指示する操作を行うと、その手の位置と移動方向に基づいて新たな３Ｄモデリングデータの生成が行われる。これにより、ユーザは、手を用いて３Ｄモデリングデータの生成を容易に行うことができる。
Further, the
Accordingly, when the user moves the hand in the real space and performs an operation for instructing generation of 3D modeling data, new 3D modeling data is generated based on the position and moving direction of the hand. Thereby, the user can easily generate 3D modeling data by using a hand.
また、本実施形態の画像処理装置１の生成部５１は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢で仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向と姿勢に対応させて、該３Ｄモデリングデータから画像のデータを生成する。
検出部５２は、実空間に対するユーザの視線または手の位置と方向と姿勢を検出する。
変換部５３は、検出部５２により検出された視線または手の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、仮想空間内の視線または手の位置と方向と姿勢に変換する。
修正部５５は、検出部５２で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成または修正を行う部位および生成または修正の内容を特定して３Ｄモデリングデータの生成または修正を行う。
これにより、ユーザが実空間において視線や手を移動して３Ｄモデリングデータの生成や修正を指示する操作を行うと、その視線や手の移動方向に基づいて３Ｄモデリングデータにおける修正内容や生成内容が特定される。そして、この特定された部位に基づいて３Ｄモデリングデータの修正や生成が行われる。これにより、ユーザは、視線や手を用いて３Ｄモデリングデータの修正や生成を容易に行うことができる。
In addition, the
The
The
The
As a result, when the user moves the line of sight or hand in the real space and performs an operation to instruct generation or correction of 3D modeling data, the correction content or generation content in the 3D modeling data is based on the direction of movement of the line of sight or the hand. Identified. Then, the 3D modeling data is corrected or generated based on the identified part. Thus, the user can easily correct or generate the 3D modeling data using the line of sight or the hand.
また、本実施形態の画像処理装置１は、感覚フィードバック制御部５６を更に備える。検出部５２は、ユーザの手に装着した感覚フィードバック装置１１０の実空間に対する位置と移動方向を検出する。変換部５３は、検出部５２により検出される実空間内の位置と方向と姿勢を、仮想空間内の位置と方向と姿勢に変換する。そして、感覚フィードバック制御部５６は、変換部５３により変換された位置、方向および姿勢と、仮想空間内に配置された仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した感覚フィードバック装置１１０の感覚フィードバック機能を制御する。
これにより、ユーザが実空間において手を移動する操作を行うと、実空間内の手の位置と方向と姿勢と、仮想空間内に配置された仮想物体の位置、方向および姿勢との関係に基づいて感覚フィードバック装置１１０が制御される。したがって、ユーザが手を用いて３Ｄモデリングデータの修正や生成を行う指示を行うと、その手の動きに対応した感覚がユーザにフィードバックされるため、ユーザは、仮想空間上の仮想物体の生成や修正を擬似的に体感することができる。
The
Thus, when the user performs an operation of moving the hand in the real space, based on the relationship between the position, the direction, and the posture of the hand in the real space and the position, the direction, and the posture of the virtual object arranged in the virtual space. The
また、本実施形態の画像処理装置１は、撮像部１６を更に備える。検出部５２は、実空間に対する撮像部１６の位置と撮影方向を検出する。そして、表示制御部５４は、撮像部１６によりリアルタイムに撮影されるライブビュー画像をＨＭＤ端末１００に表示した状態で、このライブビュー画像上に、３Ｄモデリングデータから生成される２次元画像を合成して表示する。
これにより、撮像部１６によりリアルタイムに撮影される実空間のライブビュー画像上に、３Ｄモデリングデータから生成される２次元画像が合成して表示される。したがって、ユーザは、あたかも実空間上に仮想物体があるかのように、３Ｄモデリングデータから生成された仮想物体を実空間上に擬似的に配置して表示することができる。
Further, the
Thereby, a two-dimensional image generated from the 3D modeling data is synthesized and displayed on a live view image in real space that is captured in real time by the
また、本実施形態の画像処理装置１の検出部５２は、身体に装着したＨＭＤ端末１００により実空間に対する視線の位置や方向の変化をリアルタイムに検出する。
これにより、ユーザの実空間に対する視線の位置や方向に基づいて３Ｄモデリングデータから２次元画像が生成される。したがって、ユーザは、あたかも自身が仮想空間内で視線を動かしているかのように、仮想物体を認識することができる。
Further, the
Accordingly, a two-dimensional image is generated from the 3D modeling data based on the position and direction of the line of sight with respect to the real space of the user. Therefore, the user can recognize the virtual object as if he / she is moving his / her line of sight in the virtual space.
また、本実施形態の画像処理装置１のＨＭＤ端末１００は、背景を透過可能な表示装置であり、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを同じにする。
これにより、３Ｄモデリングデータから生成される２次元画像がＨＭＤ端末１００を向けた方向を背景画像として、重畳して表示される。したがって、ユーザは、あたかも実空間上に仮想物体があるかのように、３Ｄモデリングデータから生成された仮想物体を実空間上に擬似的に配置して表示することができる。
The
As a result, the two-dimensional image generated from the 3D modeling data is superimposed and displayed with the direction toward the
また、本実施形態の画像処理装置１の３Ｄモデリングデータは、仮想物体の他に、この仮想物体が配置される仮想背景の３Ｄデータを含む。そして、生成部５１は、３Ｄモデリングデータに基づいて仮想物体と仮想背景を含む２次元画像の生成を行う。
これにより、３Ｄデータから生成される仮想背景をバックに仮想物体が配置された２次元画像が表示される。したがって、ユーザは、所望の仮想背景に任意の仮想物体を自由に配置することができる。
In addition to the virtual object, the 3D modeling data of the
Thereby, a two-dimensional image in which a virtual object is arranged with a virtual background generated from 3D data as a background is displayed. Therefore, the user can freely arrange an arbitrary virtual object on a desired virtual background.
また、本実施形態の画像処理装置１の変換部５３は、３Ｄモデリングデータで表現される仮想物体の種類に応じて、仮想空間の座標系と実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して変換する。
これにより、実空間の寸法が仮想空間の寸法よりも大きい場合には、実空間の座標系の座標スケールを縮小することにより、実空間と仮想空間とのスケールを同じように合わせて表示することができる。これに対し、実空間の寸法が仮想空間の寸法よりも小さい場合には、実空間の座標系の座標スケールを拡大することにより、実空間と仮想空間とのスケールを同じように合わせて表示することができる。したがって、実空間のスケールと仮想空間のスケールとが異なる場合であっても、スケール間の相違を気にすることなく、拡大または縮小された画像を認識することができる。
Further, the
As a result, when the real space dimension is larger than the virtual space dimension, the real space and virtual space scales are displayed in the same way by reducing the coordinate scale of the real space coordinate system. Can do. On the other hand, when the size of the real space is smaller than the size of the virtual space, the scale of the real space and the virtual space are displayed in the same manner by enlarging the coordinate scale of the coordinate system of the real space. be able to. Therefore, even when the real space scale and the virtual space scale are different, an enlarged or reduced image can be recognized without worrying about the difference between the scales.
また、本実施形態の画像処理装置１の３Ｄモデリングデータで表現される仮想物体は建物である。
これにより、ユーザは、３Ｄモデリングデータにより表現される建物を視認することができるともに、当該建物の寸法や大きさを自由に生成および修正することができる。
Further, the virtual object represented by the 3D modeling data of the
Thereby, the user can visually recognize the building expressed by the 3D modeling data, and can freely generate and correct the size and size of the building.
また、本実施形態の画像処理装置１の３Ｄモデリングデータで表現される仮想物体は家具であり、仮想背景は建物内である。
これにより、ユーザは、３Ｄモデリングデータにより表現される建物内に配置された家具を視認することができるともに、当該建物内の家具の寸法や大きさを自由に生成および修正することができる。
Further, the virtual object represented by the 3D modeling data of the
Thereby, the user can visually recognize the furniture arranged in the building represented by the 3D modeling data, and can freely generate and correct the size and size of the furniture in the building.
また、本実施形態の画像処理装置１は、記憶制御部５７を更に備える。
記憶制御部５７は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶する。そして、表示制御部５４は、３Ｄモデリングデータから２次元画像を生成する際に、記憶されているタグ情報を関連付けられた位置に合成して表示する。
これにより、ユーザにより所望の位置に付加されたタグ情報を３Ｄモデリングデータから生成される２次元画像に合成して表示することができる。これにより、ユーザが所望する位置の情報を２次元画像に反映することができる。
The
The
Thereby, the tag information added to a desired position by the user can be combined with a two-dimensional image generated from the 3D modeling data and displayed. Thereby, the information on the position desired by the user can be reflected in the two-dimensional image.
また、本実施形態の画像処理装置１の表示制御部５４は、仮想空間内に、仮想空間の座標系と実空間の座標系とを対応付けている座標スケールに対応した寸法目盛りを表示させる。
これにより、ユーザは、実空間のスケールと仮想空間のスケールとが異なる場合であっても、スケール間の相違を認識することができる。
In addition, the
Thus, the user can recognize the difference between the scales even when the scale of the real space and the scale of the virtual space are different.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、生成部５１は、３Ｄモデリングデータから２次元画像の画像データを生成しているがこれに限られるものではなく、例えば、生成部５１は、３Ｄ映像を表示する為の３次元画像の画像データを生成することができる。
In the above-described embodiment, the
また、上述の実施形態では、検出部５２は、身体に装着したＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向を検出しているがこれに限られるものではない。例えば、検出部５２は、撮像部１６により撮像されたＨＭＤ端末１００の位置と方向とに基づいてユーザの視線の位置と方向とを検出することができる。
In the above-described embodiment, the
また、上述の実施形態では、ユーザ２００が、３Ｄモデリングデータの再生を指示すると、記憶部１９に記憶されている３Ｄモデリングデータから生成される２次元画像がＨＭＤ端末１００に表示しているがこれに限られるものではない。例えば、画像処理装置１は、撮像部１６によりリアルタイムに撮影されるライブビュー画像をＨＭＤ端末１００に表示する。そして、画像処理装置１は、このライブビュー画像上に、３Ｄモデリングデータから生成される２次元画像を合成して表示することができる。
In the above-described embodiment, when the
また、上述の実施形態では、検出部５２は、撮像部１６から供給されるユーザの手の位置から位置情報を算出し、算出した位置情報に基づき、実空間に対するユーザの手の位置と方向と姿勢とを検出しているがこれに限られるものではない。例えば、感覚フィードバック装置１１０から供給される加速度センサの値に基づき、実空間に対するユーザの手の位置と方向と姿勢とを検出することができる。
また、上述の実施形態では、検出部５２は、実空間に対するユーザの視線の位置と方向と、ユーザの手の位置と方向のそれぞれを、異なる方法で個別に検出しているが、いずれか一方のみを検出し、この検出結果で他方の検出結果を代替または推定するようにしてもよい。例えば、ＨＭＤ端末１００から供給される各種センサの値に基づき、実空間に対するユーザの視線の位置と方向だけを検出し、ユーザーがキーボード等の操作、あるいは音声により３Ｄモデリングデータの生成や修正を指示する操作を行った場合、そのときに検出されているユーザの視線の位置と方向に基づいて、３Ｄモデリングデータの生成や修正を行う部位を特定するようにしてもよい。
また、上述の実施形態では、検出部５２は、実空間に対するユーザの視線や手の位置と方向と姿勢を検出したが、姿勢については常に水平であると仮定して検出を省略してもよい。
In the above-described embodiment, the
In the above-described embodiment, the
In the above-described embodiment, the
また、上述の実施形態では、本発明が適用される画像処理装置１は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the
For example, the present invention can be applied to general electronic devices having an image processing function. Specifically, for example, the present invention can be applied to a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ブルーレイ（Ｂｌｕ−ｒａｙ）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall apparatus configured by a plurality of devices, a plurality of means, and the like.
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。上記実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although embodiment of this invention was described, this embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. The above-described embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段と、
実空間に対する所定部位の位置と方向を検出する検出手段と、
前記検出手段により検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換手段と、
前記変換手段により変換された位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御手段と、
前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記表示制御手段は、前記修正手段による３Ｄモデリングデータの生成または修正中において、生成や修正中の３Ｄモデリングデータに基づく２次元画像の生成と表示をリアルタイムに行う
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記検出手段は、実空間に対するユーザの視線または手の位置と方向を検出し、
前記変換手段は、前記検出手段により検出された視線または手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の視線または手の位置と方向に変換することを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記検出手段は、実空間に対するユーザの視線の位置と方向と、ユーザの手の位置と方向を別々に検出し、
前記変換手段は、前記検出手段により検出された実空間におけるユーザの視線の位置と方向およびユーザの手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内のユーザの視線の位置と方向およびユーザの手の位置と方向位置と方向に変換し、
前記表示制御手段は、前記変換手段により変換されたユーザの視線の位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、
前記修正手段は、前記検出手段で検出され、前記変換手段により変換されたユーザの手の位置と方向に基づいて３Ｄモデリングデータの生成または修正を行う部位を特定することを特徴とする付記３に記載の画像処理装置。
［付記５］
前記検出手段は、実空間に対するユーザの手の位置と手の移動方向を検出し、
前記修正手段は、前記表示制御手段の制御により前記３Ｄモデリングデータから生成される前記２次元画像が表示されている状態で、ユーザが手を動かすことにより前記３Ｄモデリングデータの修正を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の位置と手の移動方向に基づいて前記３Ｄモデリングデータにおける修正部位と修正内容を特定して前記３Ｄモデリングデータの修正を行う
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記６］
前記検出手段は、実空間に対するユーザの手の位置と手の移動方向を検出し、
前記修正手段は、ユーザが手を動かすことにより前記３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の位置と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記７］
前記生成手段は、３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向と姿勢で仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向と姿勢に対応させて、該３Ｄモデリングデータから画像のデータを生成し、
前記検出手段は、実空間に対するユーザの視線または手の位置と方向と姿勢を検出し、
前記変換手段は、前記検出手段により検出された視線または手の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の視線または手の位置と方向と姿勢に変換し、
前記修正手段は、前記検出手段で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成または修正を行う部位および生成または修正の内容を特定して３Ｄモデリングデータの生成または修正を行うことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記８］
前記画像処理装置は、感覚フィードバック制御手段を更に備え、
前記検出手段は、ユーザの手に装着した感覚フィードバック機能付きの機器の実空間に対する位置と移動方向を検出し、
前記変換手段は、前記検出手段により検出される実空間内の位置と方向と姿勢を、前記仮想空間内の位置と方向と姿勢に変換し、
感覚フィードバック制御手段は、前記変換手段により変換された位置、方向および姿勢と、仮想空間内に配置された前記仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した機器の感覚フィードバック機能を制御する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記９］
前記画像処理装置は、撮像部を更に備え、
前記検出手段は、実空間に対する前記撮像部の位置と撮影方向を検出し、
前記表示制御手段は、前記撮像部によりリアルタイムに撮影されるライブビュー画像を前記表示部に表示した状態で、このライブビュー画像上に、前記３Ｄモデリングデータから生成される２次元画像を合成して表示する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記１０］
前記検出手段は、身体に装着したセンサ付表示装置により実空間に対する視線の位置や方向の変化をリアルタイムに検出する
ことを特徴とする付記１乃至４のいずれかに記載の画像処理装置。
［付記１１］
前記センサ付表示装置は、背景を透過可能な表示装置であり、前記仮想空間の座標系と前記実空間の座標系とを対応付ける際の座標スケールを同じにする
ことを特徴とする付記１０に記載の画像処理装置。
［付記１２］
前記３Ｄモデリングデータは、前記仮想物体の他に、この仮想物体が配置される仮想背景の３Ｄデータを含み、前記生成手段は、前記３Ｄモデリングデータに基づいて前記仮想物体と前記仮想背景を含む２次元画像の生成を行う
ことを特徴とする付記１乃至１１のいずれかに記載の画像処理装置。
［付記１３］
前記変換手段は、前記３Ｄモデリングデータで表現される仮想物体の種類に応じて、前記仮想空間の座標系と前記実空間の座標系とを対応付ける際の座標スケールを拡大または縮小して変換する
ことを特徴とする付記１乃至１２のいずれかに記載の画像処理装置。
［付記１４］
前記３Ｄモデリングデータで表現される仮想物体は建物である
ことを特徴とする付記１乃至１３のいずれかに記載の画像処理装置。
［付記１５］
前記３Ｄモデリングデータで表現される仮想物体は家具であり、仮想背景は建物内である
ことを特徴とする付記１乃至１４のいずれかに記載の画像処理装置。
［付記１６］
前記画像処理装置は、記憶制御手段を更に備え、
前記記憶制御手段は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶し、
前記表示制御手段は、３Ｄモデリングデータから２次元画像を生成する際に、記憶されているタグ情報を関連付けられた位置に合成して表示する
ことを特徴とする付記１乃至１５のいずれかに記載の画像処理装置。
［付記１７］
前記表示制御手段は、仮想空間内に、前記仮想空間の座標系と前記実空間の座標系とを対応付けている座標スケールに対応した寸法目盛りを表示させる
ことを特徴とする付記１乃至１６のいずれかに記載の画像処理装置。
［付記１８］
３Ｄモデリングデータの生成や修正を行う画像処理装置が実行する画像処理方法であって、
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成ステップと、
実空間に対する所定部位の位置と方向を検出する検出ステップと、
前記検出ステップにより検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換ステップと、
前記変換ステップにより変換された位置と方向に対応させて、前記生成ステップにより前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御ステップと、
前記表示制御ステップの制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出ステップで検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正ステップと、
を含むことを特徴とする画像処理方法。
［付記１９］
３Ｄモデリングデータの生成や修正する制御を実行するコンピュータを、
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段、
実空間に対する所定部位の位置と方向を検出する検出手段、
前記検出手段により検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換手段、
前記変換手段により変換された位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御手段、
前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
A virtual object represented by 3D modeling data is virtually arranged in a virtual space at a predetermined position and direction, and is associated with the position and direction of a virtual viewpoint specified in the virtual space. Generating means for generating image data from 3D modeling data;
Detection means for detecting the position and direction of a predetermined part with respect to real space;
The position and direction of the predetermined part in the real space detected by the detecting means are converted into the position and direction in the virtual space based on the correspondence relationship between the coordinate system of the real space and the coordinate system of the virtual space. Conversion means;
Display control means for causing the generation means to generate image data from the 3D modeling data in correspondence with the position and direction converted by the conversion means, and to display the image on a display unit;
When an operation for instructing generation or correction of the 3D modeling data is performed by a user in a state where the image is displayed by the control of the display control unit, the detection unit performs the operation when the operation is performed. Correction means for generating or correcting 3D modeling data by specifying a part for generating or correcting 3D modeling data based on the detected position and direction;
An image processing apparatus comprising:
[Appendix 2]
The
[Appendix 3]
The detection means detects the user's line of sight or the position and direction of the real space,
The converting means determines the position and direction of the line of sight or hand detected by the detecting means based on the correspondence between the coordinate system of the real space and the coordinate system of the virtual space. The image processing apparatus according to
[Appendix 4]
The detection means separately detects the position and direction of the user's line of sight relative to real space and the position and direction of the user's hand,
The converting means determines the position and direction of the user's line of sight in the real space and the position and direction of the user's hand detected by the detecting means based on the correspondence between the coordinate system in the real space and the coordinate system in the virtual space. , The user's line-of-sight position and direction in the virtual space and the user's hand position and direction position and direction,
The display control unit causes the generation unit to generate image data from the 3D modeling data in correspondence with the position and direction of the user's line of sight converted by the conversion unit,
The supplementary means 3 is characterized in that the part for generating or modifying the 3D modeling data is specified based on the position and direction of the user's hand detected by the detection means and converted by the conversion means. The image processing apparatus described.
[Appendix 5]
The detection means detects the position of the user's hand relative to real space and the direction of movement of the hand,
In the state where the two-dimensional image generated from the 3D modeling data is displayed under the control of the display control unit, the correction unit performs an operation of instructing correction of the 3D modeling data by moving a hand of the user. When the operation is performed, the correction part and the correction content in the 3D modeling data are specified based on the position and movement direction of the user's hand detected by the detection means when the operation is performed, and the 3D The image processing apparatus according to any one of
[Appendix 6]
The detection means detects the position of the user's hand relative to real space and the direction of movement of the hand,
When the user performs an operation for instructing generation of the 3D modeling data by moving the hand, the correction unit detects the position of the user's hand detected by the detection unit when the operation is performed. The image processing apparatus according to any one of
[Appendix 7]
The generation unit virtually arranges a virtual object represented by 3D modeling data in a virtual space with a predetermined position, direction, and orientation, and a position and direction of a virtual viewpoint specified in the virtual space. The image data is generated from the 3D modeling data in correspondence with the posture,
The detection means detects the user's line of sight or the position and direction and orientation of the hand with respect to real space,
The conversion means converts the position, direction, and orientation of the line of sight or hand detected by the detection means based on the correspondence between the coordinate system of the real space and the coordinate system of the virtual space. To the position, direction and posture of
The correction means generates or corrects 3D modeling data by specifying a part for generating or correcting 3D modeling data and the content of the generation or correction based on the position, direction, and orientation detected by the detecting means. The image processing apparatus according to any one of
[Appendix 8]
The image processing apparatus further includes sensory feedback control means,
The detecting means detects a position and a moving direction with respect to a real space of a device with a sensory feedback function attached to a user's hand,
The converting means converts the position, direction and orientation in the real space detected by the detecting means into a position, direction and orientation in the virtual space,
The sensory feedback control means is a device attached to the user's hand based on the relationship between the position, direction and orientation converted by the conversion means and the position, direction and orientation of the virtual object arranged in the virtual space. The image processing apparatus according to any one of
[Appendix 9]
The image processing apparatus further includes an imaging unit,
The detection means detects the position and shooting direction of the imaging unit with respect to real space,
The display control unit synthesizes a two-dimensional image generated from the 3D modeling data on the live view image in a state where a live view image captured in real time by the imaging unit is displayed on the display unit. The image processing apparatus according to any one of
[Appendix 10]
The image processing apparatus according to any one of
[Appendix 11]
The display device with a sensor is a display device that can transmit a background, and the coordinate scale when the coordinate system of the virtual space and the coordinate system of the real space are associated with each other is the same. Image processing apparatus.
[Appendix 12]
The 3D modeling data includes, in addition to the virtual object, 3D data of a virtual background on which the virtual object is arranged, and the generation unit includes the virtual object and the virtual background based on the 3D modeling data. The image processing apparatus according to any one of
[Appendix 13]
The converting means converts the coordinate scale when the coordinate system of the virtual space and the coordinate system of the real space are associated with each other according to the type of the virtual object represented by the 3D modeling data. The image processing apparatus according to any one of
[Appendix 14]
The image processing apparatus according to any one of
[Appendix 15]
The image processing apparatus according to any one of
[Appendix 16]
The image processing apparatus further includes storage control means,
The storage control unit can add tag information to a desired position in the virtual space based on a user operation. The tag information added in the virtual space can be added to the inside or outside of the 3D modeling data. Store it in association with the coordinate information,
The said display control means synthesize | combines and displays the tag information memorize | stored in the linked | related position, when producing | generating a two-dimensional image from 3D modeling data. Image processing apparatus.
[Appendix 17]
The display control means displays in the virtual space a dimension scale corresponding to a coordinate scale in which the coordinate system of the virtual space and the coordinate system of the real space are associated with each other. The image processing apparatus according to any one of the above.
[Appendix 18]
An image processing method executed by an image processing apparatus that generates or corrects 3D modeling data,
A virtual object represented by 3D modeling data is virtually arranged in a virtual space at a predetermined position and direction, and is associated with the position and direction of a virtual viewpoint specified in the virtual space. A generation step of generating image data from the 3D modeling data;
A detection step for detecting a position and direction of a predetermined part with respect to the real space;
The position and direction of the predetermined part in the real space detected by the detection step are converted into the position and direction in the virtual space based on the correspondence relationship between the coordinate system of the real space and the coordinate system of the virtual space. A conversion step;
A display control step for generating image data from the 3D modeling data by the generation step and displaying the image on a display unit in correspondence with the position and direction converted by the conversion step;
When an operation for instructing generation or correction of the 3D modeling data is performed by a user while the image is displayed by the control of the display control step, the detection step is performed when the operation is performed. A correction step of generating or correcting 3D modeling data by specifying a part for generating or correcting 3D modeling data based on the detected position and direction;
An image processing method comprising:
[Appendix 19]
A computer that executes control for generating and correcting 3D modeling data,
A virtual object represented by 3D modeling data is virtually arranged in a virtual space at a predetermined position and direction, and is associated with the position and direction of a virtual viewpoint specified in the virtual space. Generating means for generating image data from 3D modeling data;
Detecting means for detecting the position and direction of a predetermined part with respect to real space;
The position and direction of the predetermined part in the real space detected by the detecting means are converted into the position and direction in the virtual space based on the correspondence relationship between the coordinate system of the real space and the coordinate system of the virtual space. Conversion means,
Display control means for causing the generation means to generate image data from the 3D modeling data in correspondence with the position and direction converted by the conversion means, and to display the image on a display unit;
When an operation for instructing generation or correction of the 3D modeling data is performed by a user in a state where the image is displayed by the control of the display control unit, the detection unit performs the operation when the operation is performed. Correction means for generating or correcting 3D modeling data by specifying a part for generating or correcting 3D modeling data based on the detected position and direction;
A program characterized by functioning as
１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、
５１・・・生成部、５２・・・検出部、５３・・・変換部、５４・・・表示制御部、５５・・・修正部、５６・・・感覚フィードバック制御部、５７・・・記憶制御部、１００・・・ＨＭＤ端末、１１０・・・感覚フィードバック装置
DESCRIPTION OF
51 ... generating unit, 52 ... detecting unit, 53 ... converting unit, 54 ... display control unit, 55 ... correcting unit, 56 ... sensory feedback control unit, 57 ... storing Control unit, 100 ... HMD terminal, 110 ... sensory feedback device
Claims (19)
実空間に対する所定部位の位置と方向を検出する検出手段と、
前記検出手段により検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換手段と、
前記変換手段により変換された位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御手段と、
前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段と、
を備えることを特徴とする画像処理装置。 A virtual object represented by 3D modeling data is virtually arranged in a virtual space at a predetermined position and direction, and is associated with the position and direction of a virtual viewpoint specified in the virtual space. Generating means for generating image data from 3D modeling data;
Detection means for detecting the position and direction of a predetermined part with respect to real space;
The position and direction of the predetermined part in the real space detected by the detecting means are converted into the position and direction in the virtual space based on the correspondence relationship between the coordinate system of the real space and the coordinate system of the virtual space. Conversion means;
Display control means for causing the generation means to generate image data from the 3D modeling data in correspondence with the position and direction converted by the conversion means, and to display the image on a display unit;
When an operation for instructing generation or correction of the 3D modeling data is performed by a user in a state where the image is displayed by the control of the display control unit, the detection unit performs the operation when the operation is performed. Correction means for generating or correcting 3D modeling data by specifying a part for generating or correcting 3D modeling data based on the detected position and direction;
An image processing apparatus comprising:
ことを特徴とする請求項１に記載の画像処理装置。 2. The display control unit generates and displays a two-dimensional image based on 3D modeling data being generated or corrected in real time during generation or correction of 3D modeling data by the correcting unit. The image processing apparatus described.
前記変換手段は、前記検出手段により検出された視線または手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の視線または手の位置と方向に変換することを特徴とする請求項１または２に記載の画像処理装置。 The detection means detects the user's line of sight or the position and direction of the real space,
The converting means determines the position and direction of the line of sight or hand detected by the detecting means based on the correspondence between the coordinate system of the real space and the coordinate system of the virtual space. The image processing apparatus according to claim 1, wherein the image processing apparatus is converted into a direction.
前記変換手段は、前記検出手段により検出された実空間におけるユーザの視線の位置と方向およびユーザの手の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内のユーザの視線の位置と方向およびユーザの手の位置と方向位置と方向に変換し、
前記表示制御手段は、前記変換手段により変換されたユーザの視線の位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、
前記修正手段は、前記検出手段で検出され、前記変換手段により変換されたユーザの手の位置と方向に基づいて３Ｄモデリングデータの生成または修正を行う部位を特定することを特徴とする請求項３に記載の画像処理装置。 The detection means separately detects the position and direction of the user's line of sight relative to real space and the position and direction of the user's hand,
The converting means determines the position and direction of the user's line of sight in the real space and the position and direction of the user's hand detected by the detecting means based on the correspondence between the coordinate system in the real space and the coordinate system in the virtual space. , The user's line-of-sight position and direction in the virtual space and the user's hand position and direction position and direction,
The display control unit causes the generation unit to generate image data from the 3D modeling data in correspondence with the position and direction of the user's line of sight converted by the conversion unit,
The said correction means specifies the site | part which produces | generates or corrects 3D modeling data based on the position and direction of a user's hand detected by the said detection means and converted by the said conversion means. An image processing apparatus according to 1.
前記修正手段は、前記表示制御手段の制御により前記３Ｄモデリングデータから生成される前記２次元画像が表示されている状態で、ユーザが手を動かすことにより前記３Ｄモデリングデータの修正を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の位置と手の移動方向に基づいて前記３Ｄモデリングデータにおける修正部位と修正内容を特定して前記３Ｄモデリングデータの修正を行う
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The detection means detects the position of the user's hand relative to real space and the direction of movement of the hand,
In the state where the two-dimensional image generated from the 3D modeling data is displayed under the control of the display control unit, the correction unit performs an operation of instructing correction of the 3D modeling data by moving a hand of the user. When the operation is performed, the correction part and the correction content in the 3D modeling data are specified based on the position and movement direction of the user's hand detected by the detection means when the operation is performed, and the 3D The image processing apparatus according to claim 1, wherein modeling data is corrected.
前記修正手段は、ユーザが手を動かすことにより前記３Ｄモデリングデータの生成を指示する操作を行った場合に、その操作が行われたときに前記検出手段で検出されているユーザの手の位置と手の移動方向に基づいて新たな３Ｄモデリングデータを生成する
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The detection means detects the position of the user's hand relative to real space and the direction of movement of the hand,
When the user performs an operation for instructing generation of the 3D modeling data by moving the hand, the correction unit detects the position of the user's hand detected by the detection unit when the operation is performed. The image processing apparatus according to claim 1, wherein new 3D modeling data is generated based on a moving direction of the hand.
前記検出手段は、実空間に対するユーザの視線または手の位置と方向と姿勢を検出し、
前記変換手段は、前記検出手段により検出された視線または手の位置と方向と姿勢を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の視線または手の位置と方向と姿勢に変換し、
前記修正手段は、前記検出手段で検出されている位置と方向と姿勢に基づいて３Ｄモデリングデータの生成または修正を行う部位および生成または修正の内容を特定して３Ｄモデリングデータの生成または修正を行うことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The generation unit virtually arranges a virtual object represented by 3D modeling data in a virtual space with a predetermined position, direction, and orientation, and a position and direction of a virtual viewpoint specified in the virtual space. The image data is generated from the 3D modeling data in correspondence with the posture,
The detection means detects the user's line of sight or the position and direction and orientation of the hand with respect to real space,
The conversion means converts the position, direction, and orientation of the line of sight or hand detected by the detection means based on the correspondence between the coordinate system of the real space and the coordinate system of the virtual space. To the position, direction and posture of
The correction means generates or corrects 3D modeling data by specifying a part for generating or correcting 3D modeling data and the content of the generation or correction based on the position, direction, and orientation detected by the detection means. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記検出手段は、ユーザの手に装着した感覚フィードバック機能付きの機器の実空間に対する位置と移動方向を検出し、
前記変換手段は、前記検出手段により検出される実空間内の位置と方向と姿勢を、前記仮想空間内の位置と方向と姿勢に変換し、
感覚フィードバック制御手段は、前記変換手段により変換された位置、方向および姿勢と、仮想空間内に配置された前記仮想物体の位置、方向および姿勢との関係に基づいて、ユーザの手に装着した機器の感覚フィードバック機能を制御する
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The image processing apparatus further includes sensory feedback control means,
The detecting means detects a position and a moving direction with respect to a real space of a device with a sensory feedback function attached to a user's hand,
The converting means converts the position, direction and orientation in the real space detected by the detecting means into a position, direction and orientation in the virtual space,
The sensory feedback control means is a device attached to the user's hand based on the relationship between the position, direction and orientation converted by the conversion means and the position, direction and orientation of the virtual object arranged in the virtual space. The image processing apparatus according to claim 1, wherein the sensory feedback function is controlled.
前記検出手段は、実空間に対する前記撮像部の位置と撮影方向を検出し、
前記表示制御手段は、前記撮像部によりリアルタイムに撮影されるライブビュー画像を前記表示部に表示した状態で、このライブビュー画像上に、前記３Ｄモデリングデータから生成される２次元画像を合成して表示する
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 The image processing apparatus further includes an imaging unit,
The detection means detects the position and shooting direction of the imaging unit with respect to real space,
The display control unit synthesizes a two-dimensional image generated from the 3D modeling data on the live view image in a state where a live view image captured in real time by the imaging unit is displayed on the display unit. The image processing apparatus according to claim 1, wherein the image processing apparatus displays the image.
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 5. The image processing apparatus according to claim 1, wherein the detection unit detects a change in the position and direction of the line of sight relative to the real space in real time by a sensor-equipped display device attached to the body.
ことを特徴とする請求項１０に記載の画像処理装置。 The said display apparatus with a sensor is a display apparatus which can permeate | transmit a background, The coordinate scale at the time of matching the coordinate system of the said virtual space, and the coordinate system of the said real space is made the same. The image processing apparatus described.
ことを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。 The 3D modeling data includes, in addition to the virtual object, 3D data of a virtual background on which the virtual object is arranged, and the generation unit includes the virtual object and the virtual background based on the 3D modeling data. The image processing apparatus according to claim 1, wherein a three-dimensional image is generated.
ことを特徴とする請求項１乃至１２のいずれかに記載の画像処理装置。 The converting means converts the coordinate scale when the coordinate system of the virtual space and the coordinate system of the real space are associated with each other according to the type of the virtual object represented by the 3D modeling data. The image processing apparatus according to claim 1, wherein:
ことを特徴とする請求項１乃至１３のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the virtual object represented by the 3D modeling data is a building.
ことを特徴とする請求項１乃至１４のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the virtual object represented by the 3D modeling data is furniture, and the virtual background is in a building.
前記記憶制御手段は、ユーザ操作に基づいて仮想空間内における所望の位置にタグ情報を付加することができ、この仮想空間内に付加されたタグ情報を３Ｄモデリングデータの内外に、３Ｄモデリングデータの座標情報と関連付けて記憶し、
前記表示制御手段は、３Ｄモデリングデータから２次元画像を生成する際に、記憶されているタグ情報を関連付けられた位置に合成して表示する
ことを特徴とする請求項１乃至１５のいずれかに記載の画像処理装置。 The image processing apparatus further includes storage control means,
The storage control unit can add tag information to a desired position in the virtual space based on a user operation. The tag information added in the virtual space can be added to the inside or outside of the 3D modeling data. Store it in association with the coordinate information,
The said display control means synthesize | combines and displays the tag information memorize | stored in the linked | related position, when producing | generating a two-dimensional image from 3D modeling data. The image processing apparatus described.
ことを特徴とする請求項１乃至１６のいずれかに記載の画像処理装置。 The display control means displays in the virtual space a dimension scale corresponding to a coordinate scale in which the coordinate system of the virtual space and the coordinate system of the real space are associated with each other. An image processing apparatus according to any one of the above.
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成ステップと、
実空間に対する所定部位の位置と方向を検出する検出ステップと、
前記検出ステップにより検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換ステップと、
前記変換ステップにより変換された位置と方向に対応させて、前記生成ステップにより前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御ステップと、
前記表示制御ステップの制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出ステップで検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正ステップと、
を含むことを特徴とする画像処理方法。 An image processing method executed by an image processing apparatus that generates or corrects 3D modeling data,
A virtual object represented by 3D modeling data is virtually arranged in a virtual space at a predetermined position and direction, and is associated with the position and direction of a virtual viewpoint specified in the virtual space. A generation step of generating image data from the 3D modeling data;
A detection step for detecting a position and direction of a predetermined part with respect to the real space;
The position and direction of the predetermined part in the real space detected by the detection step are converted into the position and direction in the virtual space based on the correspondence relationship between the coordinate system of the real space and the coordinate system of the virtual space. A conversion step;
A display control step for generating image data from the 3D modeling data by the generation step and displaying the image on a display unit in correspondence with the position and direction converted by the conversion step;
When an operation for instructing generation or correction of the 3D modeling data is performed by a user while the image is displayed by the control of the display control step, the detection step is performed when the operation is performed. A correction step of generating or correcting 3D modeling data by specifying a part for generating or correcting 3D modeling data based on the detected position and direction;
An image processing method comprising:
３Ｄモデリングデータで表現される仮想物体を、仮想空間内に所定の位置と方向とで仮想的に配置し、この仮想空間内で指定される仮想的な視点の位置と方向に対応させて、該３Ｄモデリングデータから画像のデータを生成する生成手段、
実空間に対する所定部位の位置と方向を検出する検出手段、
前記検出手段により検出された実空間内の前記所定部位の位置と方向を、実空間の座標系と仮想空間の座標系との対応関係に基づいて、前記仮想空間内の位置と方向に変換する変換手段、
前記変換手段により変換された位置と方向に対応させて、前記生成手段により前記３Ｄモデリングデータから画像のデータを生成させ、当該画像を表示部に表示させる表示制御手段、
前記表示制御手段の制御により前記画像が表示されている状態で、ユーザによる前記３Ｄモデリングデータの生成や修正を指示する操作が行われた場合に、その操作が行われたときに前記検出手段で検出されている位置と方向に基づいて３Ｄモデリングデータの生成や修正を行う部位を特定して３Ｄモデリングデータの生成または修正を行う修正手段、
として機能させることを特徴とするプログラム。 A computer that executes control for generating and correcting 3D modeling data,
A virtual object represented by 3D modeling data is virtually arranged in a virtual space at a predetermined position and direction, and is associated with the position and direction of a virtual viewpoint specified in the virtual space. Generating means for generating image data from 3D modeling data;
Detecting means for detecting the position and direction of a predetermined part with respect to real space;
The position and direction of the predetermined part in the real space detected by the detecting means are converted into the position and direction in the virtual space based on the correspondence relationship between the coordinate system of the real space and the coordinate system of the virtual space. Conversion means,
Display control means for causing the generation means to generate image data from the 3D modeling data in correspondence with the position and direction converted by the conversion means, and to display the image on a display unit;
When an operation for instructing generation or correction of the 3D modeling data is performed by a user in a state where the image is displayed by the control of the display control unit, the detection unit performs the operation when the operation is performed. Correction means for generating or correcting 3D modeling data by specifying a part for generating or correcting 3D modeling data based on the detected position and direction;
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012262523A JP5857946B2 (en) | 2012-11-30 | 2012-11-30 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012262523A JP5857946B2 (en) | 2012-11-30 | 2012-11-30 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014109802A true JP2014109802A (en) | 2014-06-12 |
| JP5857946B2 JP5857946B2 (en) | 2016-02-10 |
Family
ID=51030427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012262523A Active JP5857946B2 (en) | 2012-11-30 | 2012-11-30 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5857946B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016181780A1 (en) * | 2015-05-08 | 2016-11-17 | 凸版印刷株式会社 | Content provision system, content provision device, and content provision method |
| WO2016190458A1 (en) * | 2015-05-22 | 2016-12-01 | 삼성전자 주식회사 | System and method for displaying virtual image through hmd device |
| KR101740806B1 (en) * | 2015-08-26 | 2017-05-29 | 한양대학교 에리카산학협력단 | Apparatus and method for providing interior design service using virtual reality |
| CN107408003A (en) * | 2015-02-27 | 2017-11-28 | 索尼公司 | Message processing device, information processing method and program |
| JP2018028809A (en) * | 2016-08-18 | 2018-02-22 | 株式会社カプコン | Game program and game system |
| KR20180030979A (en) * | 2018-03-20 | 2018-03-27 | 한국과학기술원 | Personalized furniture design method using head mounted display apparatus and head mounted display apparatus |
| JP2018106392A (en) * | 2016-12-26 | 2018-07-05 | 株式会社コロプラ | Method executed by computer to communicate through virtual space, program for causing computer to execute the method, and computer device |
| KR20190084803A (en) * | 2018-01-09 | 2019-07-17 | 한국과학기술원 | Furniture design apparatus displaying personalized guide information |
| JP2020129356A (en) * | 2019-02-07 | 2020-08-27 | 株式会社メルカリ | Program, information processing method, and information processing terminal |
| JP2020144577A (en) * | 2019-03-06 | 2020-09-10 | 日産自動車株式会社 | Virtual object output device and virtual object output method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102506255B1 (en) * | 2022-02-03 | 2023-03-07 | 주식회사 태화팩 | SYSTEM AND METHOD FOR MANUFACTURING Customer-Customized MACHINE EQUIPMENT BASED ON BIG DATA |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000048226A (en) * | 1999-06-02 | 2000-02-18 | Nec Corp | Information presentation device |
| JP2000353183A (en) * | 1999-06-09 | 2000-12-19 | Agency Of Ind Science & Technol | System for preparing three-dimensional structure |
| JP2004062756A (en) * | 2002-07-31 | 2004-02-26 | Canon Inc | Information-presenting device and information-processing method |
| JP2005107964A (en) * | 2003-09-30 | 2005-04-21 | Canon Inc | Index identification method and device |
| JP2006079174A (en) * | 2004-09-07 | 2006-03-23 | Canon Inc | Virtual reality presentation device and information processing method |
| JP2006085375A (en) * | 2004-09-15 | 2006-03-30 | Canon Inc | Image processing method and image processor |
| JP2009104249A (en) * | 2007-10-19 | 2009-05-14 | Canon Inc | Image processing apparatus, and image processing method |
| US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
| JP2010282497A (en) * | 2009-06-05 | 2010-12-16 | Ricoh Co Ltd | Different-world state reflection device |
-
2012
- 2012-11-30 JP JP2012262523A patent/JP5857946B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000048226A (en) * | 1999-06-02 | 2000-02-18 | Nec Corp | Information presentation device |
| JP2000353183A (en) * | 1999-06-09 | 2000-12-19 | Agency Of Ind Science & Technol | System for preparing three-dimensional structure |
| JP2004062756A (en) * | 2002-07-31 | 2004-02-26 | Canon Inc | Information-presenting device and information-processing method |
| JP2005107964A (en) * | 2003-09-30 | 2005-04-21 | Canon Inc | Index identification method and device |
| JP2006079174A (en) * | 2004-09-07 | 2006-03-23 | Canon Inc | Virtual reality presentation device and information processing method |
| JP2006085375A (en) * | 2004-09-15 | 2006-03-30 | Canon Inc | Image processing method and image processor |
| JP2009104249A (en) * | 2007-10-19 | 2009-05-14 | Canon Inc | Image processing apparatus, and image processing method |
| US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
| JP2010282497A (en) * | 2009-06-05 | 2010-12-16 | Ricoh Co Ltd | Different-world state reflection device |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10672187B2 (en) | 2015-02-27 | 2020-06-02 | Sony Corporation | Information processing apparatus and information processing method for displaying virtual objects in a virtual space corresponding to real objects |
| CN107408003A (en) * | 2015-02-27 | 2017-11-28 | 索尼公司 | Message processing device, information processing method and program |
| JP2016212621A (en) * | 2015-05-08 | 2016-12-15 | 凸版印刷株式会社 | Content provision system, content provision device and content provision method |
| WO2016181780A1 (en) * | 2015-05-08 | 2016-11-17 | 凸版印刷株式会社 | Content provision system, content provision device, and content provision method |
| WO2016190458A1 (en) * | 2015-05-22 | 2016-12-01 | 삼성전자 주식회사 | System and method for displaying virtual image through hmd device |
| US11386600B2 (en) | 2015-05-22 | 2022-07-12 | Samsung Electronics Co., Ltd. | System and method for displaying virtual image through HMD device |
| US10521941B2 (en) | 2015-05-22 | 2019-12-31 | Samsung Electronics Co., Ltd. | System and method for displaying virtual image through HMD device |
| KR101740806B1 (en) * | 2015-08-26 | 2017-05-29 | 한양대학교 에리카산학협력단 | Apparatus and method for providing interior design service using virtual reality |
| JP2018028809A (en) * | 2016-08-18 | 2018-02-22 | 株式会社カプコン | Game program and game system |
| JP2018106392A (en) * | 2016-12-26 | 2018-07-05 | 株式会社コロプラ | Method executed by computer to communicate through virtual space, program for causing computer to execute the method, and computer device |
| KR20190084803A (en) * | 2018-01-09 | 2019-07-17 | 한국과학기술원 | Furniture design apparatus displaying personalized guide information |
| KR102092374B1 (en) * | 2018-01-09 | 2020-03-23 | 한국과학기술원 | Furniture design apparatus displaying personalized guide information |
| KR20180030979A (en) * | 2018-03-20 | 2018-03-27 | 한국과학기술원 | Personalized furniture design method using head mounted display apparatus and head mounted display apparatus |
| JP2020129356A (en) * | 2019-02-07 | 2020-08-27 | 株式会社メルカリ | Program, information processing method, and information processing terminal |
| JP2020144577A (en) * | 2019-03-06 | 2020-09-10 | 日産自動車株式会社 | Virtual object output device and virtual object output method |
| JP7165604B2 (en) | 2019-03-06 | 2022-11-04 | 日産自動車株式会社 | Virtual object output device and virtual object output method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5857946B2 (en) | 2016-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5857946B2 (en) | Image processing apparatus, image processing method, and program | |
| JP7095602B2 (en) | Information processing equipment, information processing method and recording medium | |
| US9858643B2 (en) | Image generating device, image generating method, and program | |
| JP5936155B2 (en) | 3D user interface device and 3D operation method | |
| JP5871345B2 (en) | 3D user interface device and 3D operation method | |
| JP2022000640A (en) | Information processing device, information processing method, and information processing program | |
| JP6344380B2 (en) | Image processing apparatus and method, and program | |
| JP6609383B2 (en) | Digital camera with audio, visual and motion analysis | |
| JP2011090400A (en) | Image display device, method, and program | |
| AU2021290132C1 (en) | Presenting avatars in three-dimensional environments | |
| JP2012058968A (en) | Program, information storage medium and image generation system | |
| CN111373347B (en) | Apparatus, method and computer program for providing virtual reality content | |
| WO2020017261A1 (en) | Information processing device, information processing method, and program | |
| JP2018526716A (en) | Intermediary reality | |
| JP2015011480A (en) | Image generation device, image generation method and program | |
| WO2017122270A1 (en) | Image display device | |
| JP2023065528A (en) | Head-mounted information processing apparatus and head-mounted display system | |
| JP5770018B2 (en) | Display control program, display control apparatus, display control method, and display control system | |
| KR102044003B1 (en) | Electronic apparatus for a video conference and operation method therefor | |
| JP2012191380A (en) | Camera, image conversion apparatus, and image conversion method | |
| JP2019219702A (en) | Method for controlling virtual camera in virtual space | |
| WO2021095537A1 (en) | Information processing device, information processing method, and program | |
| JP5541973B2 (en) | Stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method | |
| WO2008029529A1 (en) | Stereoscoptic video image synthesizing device, shape data generating method and its program | |
| JP2020024497A (en) | Image processing device, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5857946 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |