JP4493082B2 - CG presentation device, program thereof, and CG display system - Google Patents
CG presentation device, program thereof, and CG display system Download PDFInfo
- Publication number
- JP4493082B2 JP4493082B2 JP2004312029A JP2004312029A JP4493082B2 JP 4493082 B2 JP4493082 B2 JP 4493082B2 JP 2004312029 A JP2004312029 A JP 2004312029A JP 2004312029 A JP2004312029 A JP 2004312029A JP 4493082 B2 JP4493082 B2 JP 4493082B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- replica
- image
- measuring
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 21
- 238000013500 data storage Methods 0.000 claims description 14
- 210000003128 head Anatomy 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001936 parietal effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、コンピュータグラフィックス(以下CGと略す)データとして作成された鑑賞対象物の形状を模したレプリカ(模型、人形)の動きに合わせて、前記鑑賞対象物のCG画像を表示装置に提示するCG提示装置及びそのプログラム、並びに、CG表示システムに関する。 The present invention presents a CG image of the appreciation object on a display device in accordance with the movement of a replica (model, doll) imitating the shape of the appreciation object created as computer graphics (hereinafter abbreviated as CG) data. CG presented instrumentation 置及 Bisono program, as well as, on the CG display system.
従来、コンピュータが処理するデジタルイメージ、テキストデータ等の情報を、博物館、図書館等で一般の鑑賞者に視覚化して提示(展示)する場合、鑑賞者は、マウス、キーボード、ジョイスティック、タッチパネル等のコンピュータ用デバイスを操作して、その視覚化された情報を鑑賞する方法が一般的である。 Conventionally, when information such as digital images and text data processed by a computer is visualized and presented (exhibited) to general viewers at museums, libraries, etc., the viewer is a computer such as a mouse, keyboard, joystick, touch panel, etc. A general method is to operate a device for viewing the visualized information.
また、近年では、バーチャルリアリティ技術を利用して、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着することで、コンピュータの中に仮想的な世界を構築し、鑑賞者がその仮想現実の世界で、コンピュータと対話(インタラクション)が可能となる装置(仮想現実システム)によって、視覚化された情報を鑑賞するという方法もある。 In recent years, virtual reality technology has been used to allow viewers to wear sensors, head-mounted displays, etc. to build a virtual world in the computer. There is also a method of appreciating the visualized information by a device (virtual reality system) that can interact with the computer.
しかし、コンピュータ用デバイスを操作して情報を鑑賞するためには、鑑賞者は、そのコンピュータ用デバイスの操作方法を予め知識として知っておく必要がある。また、その操作方法を知らない鑑賞者は、情報を鑑賞することができない。
また、バーチャルリアリティ技術を利用した情報の鑑賞では、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着しなければならず、正しく装着を行うための補助員が必要となったり、眼鏡をかけている鑑賞者の視野が狭くなったり等の問題がある。さらに、鑑賞者にとって、容易に、あるいは、気軽に情報の閲覧をできないという問題がある。
However, in order to view information by operating a computer device, the viewer needs to know in advance how to operate the computer device as knowledge. In addition, a viewer who does not know the operation method cannot appreciate the information.
In addition, when viewing information using virtual reality technology, the viewer must wear a sensor, head-mounted display, etc., and an assistant who needs to wear it properly or wearing glasses There are problems such as narrowing the field of view of the person. Furthermore, there is a problem that information cannot be browsed easily or casually for the viewer.
そこで、最近では、虫眼鏡型のインターフェース機器(バーチャルスコープ)によって、情報(画像)を提示する展示システムが提案されている(例えば、特許文献1、非特許文献1参照)。
このバーチャルスコープによる展示システムは、全体画像を示すパネルに対して、鑑賞者がバーチャルスコープをかざして動かすことで、そのバーチャルスコープの位置に対応する画像を拡大して、表示装置に提示するものである。これによって、鑑賞者の直感的、かつ、容易な操作によって、画像を拡大して提示することができる。
In this virtual scope display system, the viewer moves the virtual scope over the panel that shows the entire image, enlarges the image corresponding to the position of the virtual scope, and presents it on the display device. is there. Thus, the image can be enlarged and presented by an intuitive and easy operation of the viewer.
しかし、従来のバーチャルスコープによる展示システムでは、鑑賞対象となる画像が、二次元情報であることを想定しているため、基本的には、三次元情報の形状となるコンピュータグラフィックスを提示する場合、一方向から見た画像しか扱えないという問題がある。
この問題に対しては、従来のバーチャルスコープによる展示システムにおいて、全体画像を示すパネルを、三次元形状の模型とし、鑑賞者がバーチャルスコープをその模型にかざすことで、三次元情報のコンピュータグラフィックスにおいても、多方向からの画像を拡大して提示することは可能である。
However, in conventional exhibition systems using virtual scopes, it is assumed that the image to be viewed is two-dimensional information, so basically, when computer graphics that represent the shape of three-dimensional information are presented. There is a problem that only images viewed from one direction can be handled.
To solve this problem, in a conventional display system using a virtual scope, the panel showing the entire image is a three-dimensional model, and the viewer holds the virtual scope over the model, so that computer graphics of three-dimensional information is displayed. It is possible to enlarge and present images from multiple directions.
しかし、この場合、模型の裏側(表示装置側の面)を見ようとすると、鑑賞者が模型と表示装置との間に位置することになり、鑑賞者は、バーチャルスコープの操作と表示装置における画像の鑑賞とを相反する視線方向で行わねばならず、操作性が極めて困難であるという問題がある。
また、三次元形状の模型を回転させることで、バーチャルスコープの操作と表示装置における画像の鑑賞とを同一の視線方向で行うことも可能であるが、模型を回転させる動作をジョイスティック等のデバイスによって行うことは非常に困難である。さらに、鑑賞者は、この模型の回転とバーチャルスコープの操作とを合わせて行う必要があるため、表示装置に表示された画像に集中することができないという問題がある。
However, in this case, when looking at the back side of the model (the surface on the display device side), the viewer is positioned between the model and the display device, and the viewer operates the virtual scope and the image on the display device. There is a problem that operability is extremely difficult because viewing must be performed in the direction of the line of sight.
It is also possible to operate the virtual scope and view the image on the display device in the same line of sight by rotating the three-dimensional model, but the operation of rotating the model can be performed by a device such as a joystick. It is very difficult to do. Furthermore, since the viewer needs to perform the rotation of the model and the operation of the virtual scope together, there is a problem that the viewer cannot concentrate on the image displayed on the display device.
本発明は、以上のような課題を解決するためになされたものであり、鑑賞者に対してセンサ等の装着の負担をかけることなく、さらに、バーチャルスコープを用いることなく、三次元情報の形状となるコンピュータグラフィックスに対して、鑑賞者が見たい任意の方向から見た画像を表示装置に提示することが可能なCG提示装置及びそのプログラム、並びに、CG表示システムを提供することを目的とする。 The present invention has been made in order to solve the above-described problems. The shape of the three-dimensional information can be obtained without imposing a burden of wearing a sensor or the like on the viewer, and without using a virtual scope. purpose and made for the computer graphics, viewer any CG presentation instrumentation 置及 Bisono programs can be presented to the display device an image viewed from the desired direction, as well, to provide a CG display system And
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のCG提示装置は、CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するCG提示装置であって、CGデータ記憶手段と、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、CG領域算出手段と、CG画像生成手段とを備える構成とした。 The present invention has been developed to achieve the above-mentioned object. First, the CG presentation device according to claim 1 is a viewer of a replica imitating the shape of an object to be viewed created as CG data. A CG presentation device that changes the position, size, and orientation of the CG of the object to be viewed in association with the position and orientation of the object to be displayed on a display device, and includes CG data storage means and viewer viewpoint position measurement means And a replica position measuring means, a replica attitude measuring means, a CG region calculating means, and a CG image generating means.
かかる構成によれば、CG提示装置は、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。ここで、基準位置とは、三次元空間を特定するための基準となる位置であって、例えば、固定位置に設置されている表示装置の特定の位置を基準位置とする。また、鑑賞者の視点位置を測定するには、例えば、鑑賞者にヘッドマウントディスプレイや、磁気センサ等を備えた眼鏡を装着させることで、視点位置を特定したり、鑑賞者を撮影した複数の画像から、ステレオマッチング法によって視点位置を測定することとしてもよいが、鑑賞者に負担をかけないため、鑑賞者を撮影した画像から視点位置を測定する手法が好ましい。 According to such a configuration, the CG presentation device measures the viewer's viewpoint position with respect to a predetermined reference position by the viewer's viewpoint position measurement unit. Here, the reference position is a position serving as a reference for specifying the three-dimensional space, and for example, a specific position of the display device installed at the fixed position is set as the reference position. In addition, in order to measure the viewer's viewpoint position, for example, the viewer can wear a head-mounted display or a spectacle equipped with a magnetic sensor, etc. Although the viewpoint position may be measured from the image by a stereo matching method, a method of measuring the viewpoint position from an image obtained by photographing the viewer is preferable in order not to burden the viewer.
また、CG提示装置は、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。例えば、レプリカ位置測定手段は、超音波センサによってレプリカの位置を測定してもよいし、レプリカを撮影した複数の画像から、ステレオマッチング法によってレプリカの位置を測定することとしてもよい。 Further, the CG presentation device measures the position of the replica with respect to the reference position by the replica position measuring unit. For example, the replica position measuring unit may measure the position of the replica by an ultrasonic sensor, or may measure the position of the replica by a stereo matching method from a plurality of images obtained by photographing the replica.
さらに、CG提示装置は、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。例えば、レプリカ姿勢測定手段は、ジャイロセンサによってレプリカの向きを測定してもよいし、バーコード等のパターンを複数レプリカに貼付し、そのレプリカを撮影した画像から、パターンを検出することで、レプリカの向きを測定してもよい。
これによって、CG提示装置は、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
Further, the CG presentation device measures the orientation of the replica with respect to the display surface of the display device by the replica attitude measuring means. For example, the replica attitude measuring means may measure the orientation of the replica by a gyro sensor, or affix a pattern such as a barcode on a plurality of replicas and detect the pattern from an image obtained by photographing the replica, thereby replicas May be measured.
As a result, the CG presentation device has a positional relationship between the display device installed at the fixed position, the viewer's viewpoint position, and the replica position in the three-dimensional space based on the reference position. Yes, it is possible to specify which direction the replica is facing in the three-dimensional space.
そこで、CG提示装置は、CG領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置を、表示装置の表示領域の中心を向かせた仮想カメラ位置とし、表示領域を含む当該仮想カメラの撮影画角の四隅と、仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する鑑賞対象物の領域を、CGを生成するための領域(CGの領域)として算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したCGの領域が特定されることになる。
Therefore, the CG presentation device uses the CG region calculation means to direct the viewer's viewpoint position to the center of the display region of the display device based on the position and orientation of the replica and the predetermined size of the replica . For generating a CG as a virtual camera position, a region of an object to be viewed corresponding to a replica region included in a quadrangular pyramid including the four corners of the shooting angle of view of the virtual camera including the display region and the virtual camera position Calculated as a region (CG region) .
Thus, the CG area in which the replica is projected onto the display area of the display device is specified from the viewpoint position of the viewer.
そして、CG提示装置は、CG画像生成手段によって、CG領域算出手段で算出されたCGの領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたCG画像が表示される。
The CG presentation device generates a CG image from the CG data stored in the CG data storage unit based on the CG area calculated by the CG region calculation unit by the CG image generation unit and outputs the CG image to the display device. To do.
As a result, a CG image in accordance with the direction of the replica is displayed on the display device in the line-of-sight direction where the viewer is looking at the replica.
また、請求項2に記載のCG提示装置は、請求項1に記載のCG提示装置において、前記鑑賞者視点位置測定手段が、立ち位置測定手段と、頭頂部検出手段と、顔検出手段と、視点高測定手段とを備える構成とした。 Further, the CG presentation device according to claim 2 is the CG presentation device according to claim 1 , wherein the viewer viewpoint position measurement means includes a standing position measurement means, a parietal detection means, a face detection means, The configuration includes a viewpoint height measuring means.
かかる構成によれば、CG提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第1のカメラによって撮影された、鑑賞者の足下を撮影した足下画像と、予め撮影された足下画像に対応する背景画像との差分をとった差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者の足のみの画像となる。そこで、立ち位置測定手段は、差分画像における鑑賞者の足の所定位置、例えば先端(つま先)を鑑賞者の立ち位置とする。 According to such a configuration, the CG presentation device includes a foot image captured by the first camera fixed at a predetermined position by the standing position measuring unit and a foot image of the viewer's foot captured in advance. A difference image obtained by taking a difference from the background image corresponding to the image is generated. This difference image is an image of only the foot of the viewer that is different from the background image. Therefore, the standing position measuring means sets a predetermined position of the viewer's foot in the difference image, for example, the tip (toe) as the viewer's standing position.
さらに、CG提示装置は、頭頂部検出手段によって、予め定められた位置に固定した第2のカメラによって撮影された、鑑賞者を撮影した鑑賞者画像と、予め撮影された鑑賞者画像に対応する背景画像との差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者のみの画像となる。そこで、頭頂部検出手段は、鑑賞者のみの画像から、鑑賞者の頭頂部を検出する。そして、CG提示装置は、顔検出手段によって、頭頂部から所定の範囲内において、鑑賞者の顔を検出する。このように、顔を検出するための領域を狭める(限定する)ことで、演算速度を早めることができる。そして、CG提示装置は、視点高測定手段によって、顔検出手段で検出された顔の領域における重心位置から、予め定めたオフセット値により鑑賞者の目の位置を補正することで、基準位置に対する鑑賞者の目の高さを測定する。
これによって、CG提示装置は、鑑賞者の目の位置、すなわち視点位置を特定することができる。
Furthermore, the CG presentation device corresponds to the viewer image captured by the viewer and the viewer image captured in advance by the second camera fixed at a predetermined position by the top detection unit. A difference image with the background image is generated. This difference image is an image of only the viewer who is different from the background image. Thus, the head top detection means detects the top of the viewer from the image of the viewer alone. Then, the CG presentation device detects the face of the viewer within a predetermined range from the top of the head by the face detection means. In this way, the calculation speed can be increased by narrowing (limiting) the area for detecting the face. Then, the CG presentation device corrects the position of the viewer's eyes by using a predetermined offset value from the position of the center of gravity in the face area detected by the face detection unit by the viewpoint height measurement unit, thereby viewing the reference position relative to the reference position. Measure the height of the person's eyes.
Thereby, the CG presentation device can specify the position of the viewer's eyes, that is, the viewpoint position.
さらに、請求項3に記載のCG提示装置は、請求項1に記載のCG提示装置において、立ち位置測定手段を備え、前記CG画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することを特徴とする。 Furthermore, the CG presentation device according to claim 3 is the CG presentation device according to claim 1 , further comprising a standing position measurement unit, wherein the CG image generation unit is a viewer of the viewer measured by the standing position measurement unit. A CG image with different display contents is generated based on the standing position.
かかる構成によれば、CG提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第1のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する。これによって、CG提示装置は、鑑賞者が表示装置に対して前後又は左右に移動し、立ち位置を変えた場合であっても、その立ち位置を逐次測定することができる。 According to such a configuration, the CG presentation device is captured in advance by the standing position measurement unit and the foot image captured by the first camera fixed at a predetermined position and the foot of the viewer. The viewer's standing position with respect to the reference position is measured based on a difference image with a background image corresponding to the foot image. Accordingly, the CG presentation device can sequentially measure the standing position even when the viewer moves back and forth or right and left with respect to the display device and changes the standing position.
そして、CG提示装置は、CG画像生成手段によって、立ち位置測定手段で測定された鑑賞者の立ち位置が、予め定めた領域に移動する毎に表示内容の異なるCG画像を生成する。例えば、CG画像生成手段は、鑑賞者の立ち位置によって、同一の鑑賞対象物のCG画像において、色を変えたり、透明度を変えたり、鑑賞対象物に対する照明方向を変えたり等、種々の表示モードの切り替えを行う。 Then, the CG presentation device generates a CG image with different display contents every time the standing position of the viewer measured by the standing position measuring unit moves to a predetermined area by the CG image generating unit. For example, the CG image generation means can change various colors, change the transparency, change the illumination direction for the viewing object, etc. in the CG image of the same viewing object depending on the standing position of the viewer. Switch.
また、請求項4に記載のCG提示装置は、請求項1乃至請求項3のいずれか一項に記載のCG提示装置において、前記CG領域算出手段が、前記鑑賞者視点位置測定手段で測定された視点位置、又は、前記レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向のオフセットを付加して、前記鑑賞対象物の領域を算出することを特徴とする。 The CG presentation device according to claim 4 is the CG presentation device according to any one of claims 1 to 3 , wherein the CG region calculation means is measured by the viewer viewpoint position measurement means. viewpoint position, or the position of the replica that has been measured by the replica location measuring unit, by adding an offset of a predetermined direction, and calculates the realm of the appreciation object.
かかる構成によれば、CG提示装置は、CG領域算出手段において、鑑賞者視点位置測定手段で測定された視点位置、又は、レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向に、予め定めた量(オフセット)を付加して、新たな視点位置又は新たなレプリカの位置とする。このため、CG領域算出手段において算出された鑑賞対象物のCGの領域は、オフセットが付加された方向にずれることになる。これによって、表示されたCG画像は、鑑賞者がレプリカを見ている視線の延長線上よりも、例えば、上方向にずれて表示される。このため、鑑賞者が見るレプリカとCG画像とが完全に重なった状態とはならず、鑑賞者がレプリカを見ている状態であっても、CG画像を視認することができる。 According to such a configuration, the CG presenting device has a CG region calculating means in a predetermined direction at the viewpoint position measured by the viewer viewpoint position measuring means or the replica position measured by the replica position measuring means. A predetermined amount (offset) is added to obtain a new viewpoint position or a new replica position. For this reason, the CG area of the viewing object calculated by the CG area calculating means is shifted in the direction in which the offset is added. As a result, the displayed CG image is displayed so as to be shifted upward, for example, from the extension of the line of sight where the viewer is looking at the replica. For this reason, the replica and the CG image seen by the viewer do not completely overlap each other, and the CG image can be visually recognized even when the viewer is looking at the replica.
なお、このオフセットを付加しない場合であっても、鑑賞者の両眼の視差によって、CG画像を視認することは可能であるが、より鮮明にCG画像を視認するためには、このように、レプリカの位置にオフセットを付加する方が好ましい。 Even if this offset is not added, it is possible to visually recognize the CG image by the parallax of the viewer's eyes, but in order to visually recognize the CG image more clearly, in this way, It is preferable to add an offset to the replica position.
また、請求項5に記載のCG提示プログラムは、CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、鑑賞者視点位置測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、CG領域算出手段、CG画像生成手段、として機能させることを特徴とする。 Further, the CG presentation program according to claim 5 is configured such that the replica of the viewing object created as CG data is linked to the position and orientation of the viewing object in association with the position and orientation of the viewing object, In order to change the size and orientation and present the image on the display device, the computer functions as a viewer viewpoint position measurement unit, a replica position measurement unit, a replica attitude measurement unit, a CG region calculation unit, and a CG image generation unit. It is characterized by.
かかる構成によれば、CG提示プログラムは、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。また、CG提示プログラムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。
さらに、CG提示プログラムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。
これによって、CG提示プログラムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
According to such a configuration, the CG presentation program measures the viewer's viewpoint position with respect to a predetermined reference position by the viewer's viewpoint position measurement unit. Further, the CG presentation program measures the replica position with respect to the reference position by the replica position measuring means.
Further, the CG presentation program measures the orientation of the replica with respect to the display surface of the display device by the replica attitude measuring means.
As a result, the CG presentation program determines the positional relationship between the display device installed at the fixed position, the viewer's viewpoint position, and the replica position in the three-dimensional space based on the reference position. Yes, it is possible to specify which direction the replica is facing in the three-dimensional space.
そこで、CG提示プログラムは、CG領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置を、表示装置の表示領域の中心を向かせた仮想カメラ位置とし、表示領域を含む当該仮想カメラの撮影画角の四隅と、仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する鑑賞対象物の領域を、CGを生成するための領域(CGの領域)として算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したCGの領域が特定されることになる。
Therefore, the CG presentation program uses the CG area calculation means to direct the viewer's viewpoint position to the center of the display area of the display device based on the position and orientation of the replica and the predetermined size of the replica . For generating a CG as a virtual camera position, a region of an object to be viewed corresponding to a replica region included in a quadrangular pyramid including the four corners of the shooting angle of view of the virtual camera including the display region and the virtual camera position Calculated as a region (CG region) .
Thus, the CG area in which the replica is projected onto the display area of the display device is specified from the viewpoint position of the viewer.
そして、CG提示プログラムは、CG画像生成手段によって、CG領域算出手段で算出されたCGの領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたCG画像が表示される。
なお、CG提示プログラムは、コンピュータを、位置測定手段、頭頂部検出手段、顔検出手段、視点高測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、CG領域算出手段、CG画像生成手段、として機能させてもよい(請求項6)。
また、CG提示プログラムは、コンピュータを、鑑賞者視点位置測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、CG領域算出手段、CG画像生成手段、として機能させ、CG画像生成手段が、鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することとしてもよい(請求項7)。
The CG presentation program generates a CG image from the CG data stored in the CG data storage means based on the CG area calculated by the CG area calculation means by the CG image generation means and outputs the CG image to the display device. To do.
As a result, a CG image in accordance with the direction of the replica is displayed on the display device in the line-of-sight direction where the viewer is looking at the replica.
The CG presentation program functions as a position measurement unit, a vertex detection unit, a face detection unit, a viewpoint height measurement unit, a replica position measurement unit, a replica attitude measurement unit, a CG region calculation unit, and a CG image generation unit. (Claim 6).
The CG presentation program causes the computer to function as a viewer viewpoint position measurement unit, a replica position measurement unit, a replica attitude measurement unit, a CG region calculation unit, and a CG image generation unit. CG images with different display contents may be generated based on the standing position.
さらに、請求項8に記載のCG表示システムは、CGデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のCGの位置、大きさ及び向きを変えて、CG画像を表示装置に提示するために、CG提示装置と、前記レプリカと、前記レプリカの周囲に配置された複数の超音波発信器と、前記鑑賞者を撮影するカメラと、前記表示装置とを備える構成とした。 Furthermore, the CG display system according to claim 8 is configured such that the position of the CG of the viewing object is linked to the position and orientation of the replica imitating the shape of the viewing object created as CG data with respect to the viewer. In order to present a CG image on the display device with a different size and orientation , the CG presentation device, the replica, a plurality of ultrasonic transmitters arranged around the replica, and the viewer are photographed. It was set as the structure provided with a camera and the said display apparatus .
このシステムにおいて、レプリカは、超音波受信手段と、ジャイロセンサとを備え、CG提示装置は、CGデータ記憶手段と、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、CG領域算出手段と、CG画像生成手段とを備える構成とした。
かかる構成によれば、CG表示システムは、鑑賞者視点位置測定手段によって、カメラが撮影した鑑賞者の画像から、予め定められた基準位置に対する鑑賞者の視点位置を測定する。
In this system, the replica includes an ultrasonic wave receiving unit and a gyro sensor, and the CG presentation device includes a CG data storage unit, a viewer viewpoint position measuring unit, a replica position measuring unit, a replica attitude measuring unit, A CG area calculating unit and a CG image generating unit are provided.
According to such a configuration, the CG display system measures the viewer's viewpoint position with respect to a predetermined reference position from the viewer's image captured by the camera by the viewer viewpoint position measuring unit.
そして、CG表示システムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。すなわち、レプリカの周囲に配置された複数の超音波発信器が発信する超音波を、レプリカに備え付けられている超音波受信器で受信し、その複数の超音波の位相差を検出することで、レプリカ位置測定手段は、三次元空間におけるレプリカの位置を測定する。 Then, the CG display system measures the position of the replica with respect to the reference position by the replica position measuring unit. That is, by receiving ultrasonic waves transmitted by a plurality of ultrasonic transmitters arranged around the replica with an ultrasonic receiver provided in the replica, and detecting a phase difference between the plurality of ultrasonic waves, The replica position measuring means measures the position of the replica in the three-dimensional space.
さらに、CG表示システムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。すなわち、レプリカ姿勢測定手段は、レプリカに備え付けられているジャイロセンサで検出されたロール、ピッチ、ヨー等の姿勢情報に基づいて、表示装置の表示面に対するレプリカの向きを測定する。
これによって、CG表示システムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
Further, the CG display system measures the orientation of the replica with respect to the display surface of the display device by the replica attitude measuring means. That is, the replica attitude measuring means measures the orientation of the replica with respect to the display surface of the display device based on attitude information such as roll, pitch, yaw detected by the gyro sensor provided in the replica.
As a result, the CG display system has a positional relationship between the display device installed at the fixed position, the viewer's viewpoint position, and the replica position in the three-dimensional space based on the reference position. Yes, it is possible to specify which direction the replica is facing in the three-dimensional space.
そして、CG表示システムは、CG領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置を、表示装置の表示領域の中心を向かせた仮想カメラ位置とし、表示領域を含む当該仮想カメラの撮影画角の四隅と、仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する鑑賞対象物の領域を、CGを生成するための領域として算出する。
そして、CG表示システムは、CG画像生成手段によって、CG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し、表示装置が、そのCG画像を表示する。
Then, the CG display system directs the viewer's viewpoint position to the center of the display area of the display device based on the position and orientation of the replica and the predetermined size of the replica by the CG area calculation means . For generating a CG as a virtual camera position, a region of an object to be viewed corresponding to a replica region included in a quadrangular pyramid including the four corners of the shooting angle of view of the virtual camera including the display region and the virtual camera position Calculate as a region .
Then, CG display system, the CG image generating means, based on the realm calculated in CG area calculating means, from the CG data stored in the CG data storing means, to generate a CG image, the display device, The CG image is displayed.
請求項1、請求項5又は請求項8に記載の発明によれば、鑑賞者に対してセンサ等の装着の負担をかけることなく、レプリカの向きを変えるだけで、そのレプリカと同じ向きの三次元情報のCGを、鑑賞者が見たい任意の方向から見た画像として、表示装置に提示することができる。また、鑑賞者にとっては、レプリカの向きを変えるという簡単な操作で、鑑賞者がそのレプリカを見た形状に相当するCG画像を、表示装置で視認することができるため、直感的な操作でCG画像を動かして鑑賞することができる。
また、本発明によれば、鑑賞者がレプリカを見た視線の延長線上に、CG画像が提示されるため、鑑賞者は自然な目線のままCG画像を鑑賞することができる。
Claim 1, claim 5 or according to the invention described in claim 8, without burdening the mounting of the sensor or the like to the viewer, only by changing a replica of orientation, in the same direction as its replica The CG of the three-dimensional information can be presented on the display device as an image viewed from an arbitrary direction that the viewer wants to see. In addition, for the viewer, the CG image corresponding to the shape of the viewer looking at the replica can be visually recognized on the display device by a simple operation of changing the orientation of the replica. You can view the moving image.
Further, according to the present invention, since the CG image is presented on the extension of the line of sight when the viewer looks at the replica, the viewer can view the CG image with a natural line of sight.
請求項1、請求項5又は請求項8に記載の発明によれば、鑑賞者がレプリカを見た形状に対応するCG画像を表示装置に提示することができる。また、表示装置を見ている視聴者の視線方向が、常に表示領域の中央を向いていることとしているので、鑑賞者の実際の視線方向に関わらず、CG画像の動きを安定した状態で提示することができる。 According to the invention of claim 1, claim 5 or claim 8 , it is possible to present a CG image corresponding to the shape of the viewer looking at the replica on the display device. Also, since the viewing direction of the viewer looking at the display device always faces the center of the display area, the movement of the CG image is presented in a stable state regardless of the viewer's actual viewing direction. can do.
請求項2又は請求項6に記載の発明によれば、鑑賞者の目の位置(視点位置)を測定する際に、カメラで撮影された画像から直接目を検出するのではなく、背景差分法によって、顔を検出するための領域を限定し、その領域内で顔を検出し、目の位置を特定するため、顔を検出するための演算量が少なくなり、高速に鑑賞者の視点位置を測定することができる。 According to the invention of claim 2 or claim 6 , when measuring the position (viewpoint position) of the viewer's eyes, the background subtraction method is used instead of directly detecting the eyes from the image taken by the camera. By limiting the area for detecting the face, detecting the face in that area, and specifying the position of the eyes, the amount of calculation for detecting the face is reduced, and the viewer's viewpoint position can be quickly determined. Can be measured.
請求項3又は請求項7に記載の発明によれば、鑑賞者の立ち位置によって、表示内容の異なるCG画像を生成することができるので、簡単に表示モードの切り替えを行うことができる。また、同一の鑑賞対象物であっても、鑑賞者の立ち位置によって、種々の表示モードでCG画像を提示することができるため、鑑賞者に対して、より多くの情報を提示することができる。 According to the third or seventh aspect of the present invention, since CG images having different display contents can be generated depending on the position of the viewer, the display mode can be easily switched. Further, even for the same viewing object, CG images can be presented in various display modes depending on the position of the viewer, so that more information can be presented to the viewer. .
請求項4に記載の発明によれば、鑑賞者がレプリカを見ている視線の延長線上に対して、ずれた位置にCG画像が提示されるため、鑑賞者が見るレプリカとCG画像との重なりが少なくなるため、CG画像がより見やすくなる。 According to the fourth aspect of the present invention, since the CG image is presented at a position shifted from the extension of the line of sight where the viewer is looking at the replica, the overlap between the replica viewed by the viewer and the CG image is present. Therefore, the CG image becomes easier to see.
以下、本発明の実施の形態について図面を参照して説明する。
[CG表示システムの構成]
まず、図1を参照して、博物館等で用いるCG表示システムの構成について説明する。図1は、本発明に係るCG表示システムの全体構成を示す模式図である。CG表示システム1は、鑑賞者Mが、手に持ったレプリカ20を動かすことで、鑑賞者Mが見たレプリカ20の形状に相当するCG画像を、表示装置30に提示するものである。ここでは、CG表示システム1は、CG提示装置10と、レプリカ20と、表示装置30と、超音波発信器40と、カメラ50とを備えている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Configuration of CG display system]
First, the configuration of a CG display system used in a museum or the like will be described with reference to FIG. FIG. 1 is a schematic diagram showing the overall configuration of a CG display system according to the present invention. The CG display system 1 presents a CG image corresponding to the shape of the
CG提示装置10は、レプリカ20の位置及び向きを測定するとともに、鑑賞者Mの視点位置を測定し、その視点位置から見たレプリカ20の実像に対応する、レプリカ20のCG画像を表示装置30に提示するものである。なお、このCG提示装置10の構成については後で詳細に説明する。
The CG presentation device 10 measures the position and orientation of the
レプリカ20は、CGデータとして作成された鑑賞の対象となる物(鑑賞対象物)の形状を模した模型である。ここでは、レプリカ20は、超音波受信器21と、ジャイロセンサ22とを備えている。
The
超音波受信器21は、複数の超音波発信器40から発信される超音波の周波数の位相差、到達タイミングのずれを検出するものである。この超音波受信器21で検出された周波数の位相差等は、ケーブル(図示せず)等を介してCG提示装置10に送信される。これによって、CG提示装置10では、仮想の三次元空間上におけるレプリカ20の位置を測定することができる。
The ultrasonic receiver 21 detects a phase difference in the frequency of ultrasonic waves transmitted from the plurality of
ジャイロセンサ22は、レプリカ20の向きを検出するものである。このジャイロセンサ22には、例えば、3軸ジャイロセンサを用い、ロール、ピッチ及びヨーの3軸の傾きを検出する。このジャイロセンサ22で検出された向き(例えば、ロール、ピッチ及びヨー)は、ケーブル(図示せず)等を介してCG提示装置10に送信される。これによって、CG提示装置10では、仮想の三次元空間上におけるレプリカ20の姿勢を検出することができる。
The gyro sensor 22 detects the direction of the
表示装置30は、CG画像を表示するための一般的な表示装置であって、例えば、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)等である。 The display device 30 is a general display device for displaying a CG image, and is, for example, a plasma display panel (PDP), a liquid crystal display (LCD), or the like.
超音波発信器40は、超音波を発信するものである。なお、超音波発信器40は、表示装置30の周り、鑑賞者Mの後ろ側、天井を支える柱等、複数の位置に設置され、それぞれが発信する超音波の周波数は異なるものとする。
The
カメラ50は、鑑賞者Mを撮影するものである。このカメラ50で撮影された画像が、鑑賞者Mの位置(視点位置)を測定するために、CG提示装置10に送信される。なお、ここでは、カメラ50を、表示装置30の予め定めた位置である中央上部(カメラ50U)、左側部(カメラ50L)及び右側部(カメラ50R)にそれぞれ設置している。
The
カメラ50U(第1のカメラ)は、鑑賞者Mの立ち位置を測定するための画像を撮影するものである。具体的には、カメラ50Uは、鑑賞者Mの足下を撮影する。これによって、CG提示装置10では、カメラ50Uによって撮影された画像(足下画像)と、予め撮影された背景画像との差分をとることで、鑑賞者Mの立ち位置が、表示装置30からどれだけ離れているか、表示装置30に対して左右どちらにずれているか等を測定することができる。
The camera 50 U (first camera) captures an image for measuring the standing position of the viewer M. Specifically, the
カメラ50L及びカメラ50R(第2のカメラ)は、鑑賞者Mの視点位置の高さを測定するための画像を撮影するものである。具体的には、カメラ50L及びカメラ50Rは、少なくとも鑑賞者Mの顔を含んだ上半身を撮影する。これによって、CG提示装置10では、カメラ50L(又はカメラ50R)で撮影された画像(鑑賞者画像)と、予め撮影された背景画像との差分をとることで、鑑賞者Mの領域を抽出し、その抽出された画像から顔の統計的な特徴量に基づいて、顔を検出し、視点位置(目の位置)の高さを測定する。
The
ここで、視点位置の高さを測定するための画像を撮影するカメラを、カメラ50L及びカメラ50Rの2台としたのは、鑑賞者Mの移動範囲を広くとるためである。例えば、CG提示装置10は、カメラ50Uが撮影した画像によって、鑑賞者Mの立ち位置が、左にずれていると判断した場合は、カメラ50Lが撮影した画像から視点位置の高さを測定し、右にずれていると判断した場合は、カメラ50Rが撮影した画像から視点位置の高さを測定する。なお、鑑賞者Mの移動範囲を広くとる必要がない場合は、視点位置の高さ測定用のカメラを1台とし、例えば、表示装置30の中央下部に設置することとしてもよい。
このように、カメラ50Uで撮影された画像と、カメラ50L又はカメラ50Rで撮影された画像とを用いることで、CG提示装置10は、仮想の三次元空間上における鑑賞者Mの視点位置を測定することができる。
Here, the reason why the two
In this way, by using the image captured by the
[CG提示装置の構成]
次に、図2を参照(適宜図1参照)して、CG提示装置の構成について説明する。図2は、本発明に係るCG提示装置の構成を示すブロック図である。図2に示すように、CG提示装置10は、CGデータ記憶手段11と、制御手段COとしての鑑賞者視点位置測定手段12と、レプリカ位置・姿勢測定手段13と、CG生成手段14とを備えている。
[Configuration of CG presentation device]
Next, the configuration of the CG presentation device will be described with reference to FIG. 2 (refer to FIG. 1 as appropriate). FIG. 2 is a block diagram showing the configuration of the CG presentation device according to the present invention. As shown in FIG. 2, the CG presentation device 10 includes a CG
CGデータ記憶手段11は、予め鑑賞の対象となる鑑賞対象物のCGデータを記憶しておくものであって、ハードディスク等の一般的な記憶装置である。このCGデータ記憶手段11に記憶されるCGデータは、例えば、一般的なボリュームレンダリング法におけるボリュームデータである。このボリュームデータは、鑑賞対象物が存在する三次元空間をボクセル(voxel:volume element)と呼ばれる立方体に分割し、各ボクセルの色情報、透明度、反射率等の情報を三次元配列としたデータである。
The CG
鑑賞者視点位置測定手段12は、仮想の三次元空間における鑑賞者の現在の視点位置を測定するものである。この鑑賞者視点位置測定手段12で測定された視点位置は、CG生成手段14に出力される。なお、鑑賞者視点位置測定手段12は、ここでは、図3に示すような、表示装置30の表示画面の中心から床面に下ろした垂線と床面との交点を原点O(基準位置)とし、この原点Oを通り、表示画面の水平方向に平行なX軸、表示画面の垂直方向に平行なY軸、X軸及びY軸からなるXY平面に直交するZ軸とした仮想の三次元座標空間上における位置を測定するものとする。
ここでは、鑑賞者視点位置測定手段12は、立ち位置測定手段12aと、頭頂部検出手段12bと、顔検出手段12cと、視点高測定手段12dとを備えている。
The viewer viewpoint
Here, the viewer viewpoint
立ち位置測定手段12aは、床面に立っている鑑賞者の立ち位置を検出するものである。ここでは、立ち位置測定手段12aは、カメラ50Uで撮影された画像を入力し、その撮影画像(足下画像)と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者の立ち位置(例えば、つま先)を検出する。
The standing position measuring means 12a detects the standing position of the viewer standing on the floor. Here, standing position measuring means 12a inputs the image captured by the
ここで、図4を参照(適宜図2参照)して、鑑賞者の立ち位置の検出手法について説明する。図4は、鑑賞者の立ち位置を検出する手法を説明するための説明図であって、(a)は背景画像、(b)は足下画像、(c)は差分画像を示している。 Here, with reference to FIG. 4 (refer to FIG. 2 as appropriate), a method for detecting the standing position of the viewer will be described. 4A and 4B are explanatory diagrams for explaining a method of detecting the standing position of the viewer. FIG. 4A shows a background image, FIG. 4B shows a foot image, and FIG. 4C shows a difference image.
まず、立ち位置測定手段12aは、予め図4(a)に示すような背景画像を図示していない記憶手段に記憶しておく。なお、ここでは、背景画像の4点(La,Lb,Lc,Ld)に、予め図3に示したXZ平面における座標を対応付けておく。そして、立ち位置測定手段12aは、図4(a)に示す背景画像と、図4(b)に示すカメラ50Uで撮影された足下画像との差分をとることで、図4(c)に示す差分画像を生成する。この差分画像は、鑑賞者の足のみの画像となる。そこで、立ち位置測定手段12aは、その足もとの先端、あるいは両足の先端の中間位置を、鑑賞者の立ち位置とする。なお、この立ち位置の座標は、背景画像に対応付けられている4点(La,Lb,Lc,Ld)の座標から相対的に算出することができる。これによって、図3に示したXZ平面における鑑賞者の立ち位置のX座標及びZ座標である(Cx,Cz)を求めることができる。
図2に戻って、CG提示装置10の構成の説明を続ける。
First, the standing
Returning to FIG. 2, the description of the configuration of the CG presentation device 10 is continued.
なお、この立ち位置測定手段12aで測定された鑑賞者の立ち位置は、鑑賞者の視点位置を測定するためのみならず、後記するCG画像生成手段14bにおいて、表示すべきCG画像の表示モードを切り替えるための基準としても使用することができる。この表示モードの切り替えについては、CG画像生成手段14bを説明する際に行うこととする。
Note that the viewer's standing position measured by the standing position measuring means 12a is not only for measuring the viewer's viewpoint position, but also for the CG image generating means 14b described later, the display mode of the CG image to be displayed. It can also be used as a reference for switching. The display mode switching is performed when the CG
頭頂部検出手段12bは、カメラ50L又はカメラ50Rで撮影された画像(鑑賞者画像)から、鑑賞者を検出し、その鑑賞者の頭頂部の位置を特定(検出)するものである。なお、ここでは、頭頂部検出手段12bは、立ち位置測定手段12aにおいて測定された鑑賞者の立ち位置が、表示装置30に対して左にずれている場合は、カメラ50Lが撮影した画像から鑑賞者を検出し、表示装置30に対して右にずれている場合は、カメラ50Rが撮影した画像から鑑賞者を検出する。また、鑑賞者の立ち位置が、表示装置30に対して中央に位置する場合(X座標が“0”)は、カメラ50L又はカメラ50Rで撮影された画像のいずれか一方から鑑賞者を検出するものとする。
Parietal detecting means 12b from the
ここで、頭頂部検出手段12bは、カメラ50L又はカメラ50Rで撮影された画像を入力し、その撮影画像(鑑賞者画像)と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者を検出し、その最上位の画素位置を鑑賞者の頭頂部とする。
Here, top
顔検出手段12cは、頭頂部検出手段12bで検出された鑑賞者の頭頂部から予め定めた所定の範囲内において、鑑賞者の顔の領域を検出するものである。ここで、画像から鑑賞者の顔を検出するには、一般的な検出技術を用いることができる。例えば、顔検出手段12cは、顔の特徴量(目、口等の特徴量)を予め学習データとして保持しておき、その特徴量に最も類似する領域を顔と判定する。このように、顔を検出する範囲を小さくしておくと、検出の高速化を図ることができる。
The
視点高測定手段12dは、顔検出手段12cで検出された顔の領域から目を特定し、基準位置に対する鑑賞者の目の高さを測定するものである。ここでは、視点高測定手段12dは、顔検出手段12cで検出された顔の領域の重心位置を算出し、その重心位置から、予め定めたオフセット値により補正を行うことで、その位置を目の位置とする。なお、この目の位置の座標は、予め背景画像と、あるZ座標(図3参照)における高さとを数点(例えば、4点)対応付けておくことで、鑑賞者の目の高さを相対的に算出する。ただし、鑑賞者は、Z方向(カメラの光軸方向)に移動するため、立ち位置測定手段12aで測定された鑑賞者の立ち位置に基づいて、鑑賞者の目の高さを補正する。
The viewpoint height measuring means 12d is for specifying eyes from the face area detected by the
具体的には、背景画像に対応付けたあるZ座標の値(=z1)における目の高さ(=y1)において、立ち位置測定手段12aで測定された鑑賞者の立ち位置のZ座標の値がz2である場合、実際の目の高さy2を、以下の(1)式で算出する。
y2=(z2/z1)y1 …(1)
Specifically, the Z coordinate of the viewer's standing position measured by the standing position measuring means 12a at the eye height (= y 1 ) at a certain Z coordinate value (= z 1 ) associated with the background image. If the value is z 2, the real eye height y 2, it is calculated by the following equation (1).
y 2 = (z 2 / z 1 ) y 1 (1)
このように、鑑賞者視点位置測定手段12は、図3に示した三次元空間(X,Y,Z)において、立ち位置測定手段12aで測定された鑑賞者の立ち位置であるX座標及びZ座標と、視点高測定手段12dで測定された目の高さであるY座標とで特定される位置を鑑賞者の視点位置とする。
As described above, the viewer viewpoint
なお、ここでは、鑑賞者視点位置測定手段12は、カメラ50Uで撮影された画像(足下画像)から鑑賞者の立ち位置を測定し、カメラ50L又はカメラ50Rで撮影された画像(鑑賞者画像)から鑑賞者Mの視点位置の高さを測定することで、鑑賞者の視点位置を測定したが、複数のカメラで鑑賞者を撮影した画像から、ステレオマッチング法によって視点位置を測定することとしてもよい。あるいは、鑑賞者にヘッドマウントディスプレイや、眼鏡に磁気センサ、超音波センサ、ジャイロセンサ等を取りつけて視点位置を測定することとしてもよいが、鑑賞者がセンサ等を装着しなければならないため、本実施の形態の方が好ましいといえる。
Here, the viewer viewpoint position measuring means 12 measures the standing position of the viewer from the image (foot image) taken by the
レプリカ位置・姿勢測定手段13は、仮想的に設定された三次元空間におけるレプリカの位置及び向きを測定するものである。このレプリカ位置・姿勢測定手段13で測定されたレプリカの位置及び向きはCG生成手段14に出力される。なお、レプリカ位置・姿勢測定手段13は、図3に示した、表示装置30を基準とした仮想の三次元空間(X,Y,Z)において、レプリカの位置及び向きを測定するものとする。
ここでは、レプリカ位置・姿勢測定手段13は、レプリカ位置測定手段13aと、レプリカ姿勢測定手段13bとを備えている。
The replica position / orientation measuring means 13 measures the position and orientation of the replica in a virtually set three-dimensional space. The position and orientation of the replica measured by the replica position /
Here, the replica position /
レプリカ位置測定手段13aは、レプリカ20の位置を測定するものである。具体的には、レプリカ位置測定手段13aは、レプリカ20に備え付けられている超音波受信器21から出力される、複数の超音波発信器40から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、図3に示した三次元空間(X,Y,Z)において、レプリカ20の位置(超音波受信器21の位置に相当)を測定する。
The replica position measuring means 13a measures the position of the
レプリカ姿勢測定手段13bは、レプリカ20の向きを測定するものである。具体的には、レプリカ姿勢測定手段13bは、レプリカ20に備え付けられているジャイロセンサ22から出力される、ジャイロセンサ22で検出された姿勢情報(例えば、ロール、ピッチ及びヨー)を、レプリカ20の向きとして測定する。
The replica attitude measuring means 13b measures the orientation of the
なお、ここでは、レプリカ位置測定手段13aは、超音波受信器21によってレプリカ20の位置を測定し、レプリカ姿勢測定手段13bは、ジャイロセンサ22によってレプリカ20の向きを測定したが、レプリカ20にバーコード等のパターンを貼付し、複数のカメラで撮影した画像から、ステレオマッチング法によって、レプリカ20の位置や向きを測定することとしてもよい。
Here, the replica position measuring means 13 a measures the position of the
CG生成手段14は、レプリカ20のCG画像を生成し、表示装置30に提示するものである。ここでは、CG生成手段14は、CG領域算出手段14aと、CG画像生成手段14bとを備えている。
The
CG領域算出手段14aは、鑑賞者視点位置測定手段12で測定された鑑賞者の視点位置と、表示装置30の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ位置・姿勢測定手段13で測定されたレプリカ20の位置及び向き基づいて、表示装置30に提示する鑑賞対象物のCGの領域を算出するものである。このCG領域算出手段14aで算出されたCGの領域は、CG画像生成手段14bに出力される。
The CG area calculating means 14 a is a replica position / posture measuring means 13 in a virtual area of a quadrangular pyramid composed of the viewpoint position of the viewer measured by the viewer viewpoint position measuring means 12 and the four corners of the display area of the display device 30. Based on the position and orientation of the
なお、CG領域算出手段14aは、レプリカ位置・姿勢測定手段13で測定されたレプリカ20の位置に、予め定めた方向のオフセットを付加することとしてもよい。これによって、鑑賞者の視線方向において、レプリカ20と、表示装置30に表示されるCG画像とがずれることになり、鑑賞者にとってCG画像が見やすくなる。
Note that the CG
ここで、図5及び図6を参照(適宜図2参照)して、CG領域算出手段14aが、表示装置30に提示(表示)する鑑賞対象物のCGの領域を算出する手法について説明する。図5は、仮想的に設定された三次元空間において、視点位置とレプリカと表示装置との関係を説明するための説明図である。図6は、視点位置を仮想カメラ位置としたときの、表示領域内に含まれる仮想カメラの撮影画角の四隅と視点位置との関係を説明するための説明図である。
Here, with reference to FIGS. 5 and 6 (refer to FIG. 2 as appropriate), a method in which the CG
図5では、表示装置30の表示領域(表示画面)が、図3で説明した三次元空間に、仮想表示領域Dvとして予め設定されているものとする。ここでは、仮想表示領域Dvの幅を2w、高さを2tとする。そして、仮想表示領域Dvの中心Poの座標がPo=(0,h,0)、仮想表示領域Dvの四隅(各頂点)の座標Pa,Pb,Pc,Pdが、それぞれ、Pa=(−w,h+t,0)、Pb=(−w,h−t,0)、Pc=(w,h−t,0)、Pd=(w,h+t,0)とする。 In FIG. 5, it is assumed that the display area (display screen) of the display device 30 is preset as a virtual display area Dv in the three-dimensional space described with reference to FIG. Here, the width of the virtual display area Dv is 2w and the height is 2t. The coordinates of the center Po of the virtual display area Dv are Po = (0, h, 0), and the coordinates Pa, Pb, Pc, Pd of the four corners (each vertex) of the virtual display area Dv are Pa = (− w , H + t, 0), Pb = (− w, ht, 0), Pc = (w, ht, 0), and Pd = (w, h + t, 0).
また、ここでは、視点位置CがC=(Cx,Cy,Cz)、レプリカ20の位置RがR=(Rx,Ry,Rz)であったとする。
これによって、視点位置Cとレプリカ20と表示装置の仮想表示領域Dvとが、仮想の三次元座標空間において特定される。
Here, it is assumed that the viewpoint position C is C = (Cx, Cy, Cz) and the position R of the
Thereby, the viewpoint position C, the
このとき、CG領域算出手段14aは、図6に示すように、視点位置を仮想カメラ(視点)位置Cとし、表示装置の表示領域である仮想表示領域Dvを含む(内接する)仮想カメラの撮影画角Dcの四隅(Pa´,Pb´,Pc´,Pd´)と、仮想カメラ位置Cとからなる四角錐(C,Pa´,Pb´,Pc´,Pd´)を仮想的に設定する。なお、仮想カメラ位置Cからの視線方向は仮想表示領域Dvの中心Poを常に向いているものとする。
そして、CG領域算出手段14aは、この四角錐(C,Pa´,Pb´,Pc´,Pd´)に含まれる鑑賞対象物のCGの領域を算出する。
これによって、図5に示すように、仮想カメラ映像Iに示すように、レプリカ20に対応するCGの領域を算出されることになる。
At this time, as shown in FIG. 6, the CG
Then, the CG
As a result, as shown in the virtual camera video I, the CG area corresponding to the
なお、図5において、レプリカ20の位置にオフセットを付加する場合、例えば、レプリカ20の位置R=(Rx,Ry,Rz)に対して、R=(Rx,Ry+Offset,Rz)と、Offset分、Y座標を増加させることで、仮想表示領域Dvには、このオフセットに対応して上方向にずれたCGの領域が算出されることになる。なお、このオフセットは、視点位置に対して付加することとしてもよい。
図2に戻って、CG提示装置10の構成の説明を続ける。
In FIG. 5, when adding an offset to the position of the
Returning to FIG. 2, the description of the configuration of the CG presentation device 10 is continued.
CG画像生成手段14bは、CG領域算出手段14aで算出されたCGの領域に基づいて、CGデータ記憶手段11に記憶されているCGデータから、CG画像を生成し表示装置30に出力するものである。
このCG画像生成手段14bは、CG領域算出手段14aで算出されたCGの領域に対応するCGデータをCGデータ記憶手段11から読み出して、例えば、CGデータとして設定されている色情報、透明度、反射率等に基づいてCG画像を生成する。
The CG
The CG image generation means 14b reads CG data corresponding to the CG area calculated by the CG area calculation means 14a from the CG data storage means 11, and, for example, color information, transparency, reflection, set as CG data. A CG image is generated based on the rate or the like.
なお、ここでは、CG画像生成手段14bは、立ち位置測定手段12aで測定された鑑賞者の立ち位置に基づいて、CG画像を表示する方式を切り替えることとする。例えば、CG画像生成手段14bは、表示装置30に対する鑑賞者の左右、前後の立ち位置によって、同一の鑑賞対象物において、その表示方法を切り替える。
Here, it is assumed that the CG
ここで、図7を参照して、CG画像生成手段14bが行う表示モードの切り替えについて説明する。図7は、鑑賞者の立ち位置によって表示モードが切り替わる状態を示した模式図であって、(a)は鑑賞者の立ち位置が表示装置に対して正面中央である場合、(b)は鑑賞者の立ち位置が表示装置に対して中央より左側である場合、(c)は鑑賞者の立ち位置が表示装置に対して中央より右側である場合を示している。
Here, with reference to FIG. 7, the display mode switching performed by the CG
図7(a)に示すように、鑑賞者の立ち位置が表示装置に対して正面中央である場合、CG画像生成手段14bは、レプリカ20(ここでは人形)に対応する「骨」のみの画像をCG画像として生成する。また、図7(b)に示すように、鑑賞者の立ち位置が表示装置に対して中央より左側である場合、CG画像生成手段14bは、レプリカ20に対応する「内蔵」のみの画像をCG画像として生成する。また、図7(c)に示すように、鑑賞者の立ち位置が表示装置に対して中央より右側である場合、CG画像生成手段14bは、レプリカ20に対応する「皮膚」のみの画像をCG画像として生成する。
As shown in FIG. 7A, when the viewer's standing position is the front center with respect to the display device, the CG
なお、ここでは、鑑賞者の立ち位置を3つの領域に区分して、表示モードを切り替える例を示したが、この区分はこれに限定されるものではない。
この図7に示した表示モードの切り替えは、CGデータが、ボリュームレンダリング法におけるボリュームデータである場合、CG画像生成手段14bが、鑑賞者の立ち位置によって、ボクセルの透明度を変化させることで実現することができる。
In this example, the viewer's standing position is divided into three regions and the display mode is switched. However, this division is not limited to this.
The switching of the display mode shown in FIG. 7 is realized by changing the transparency of the voxel by the CG
以上説明したように、CG提示装置10は、鑑賞者が手にしたレプリカ20の位置や向きに合わせて、鑑賞者の視線の先にある表示装置30に、レプリカ20のCG画像を表示することができる。また、鑑賞者の立ち位置によって、表示モードを切り替えることができるため、同一の鑑賞対象物であっても、展示方法を変えることができる。
なお、CG提示装置10は、コンピュータを制御手段COの各手段として機能させるCG提示プログラムによって動作する。
As described above, the CG presentation device 10 displays the CG image of the
The CG presentation device 10 operates according to a CG presentation program that causes a computer to function as each unit of the control unit CO.
以上、本発明に係るCG提示装置10の構成について説明したが、本発明はこれに限定されるものではない。例えば、CG提示装置10の制御手段COである鑑賞者視点位置測定手段12と、レプリカ位置・姿勢測定手段13と、CG生成手段14とを、それぞれ異なるコンピュータによって、機能させることも可能である。このように機能を分散することで、レプリカ20の動きに連動してCG画像を高速に表示することができる。
The configuration of the CG presentation device 10 according to the present invention has been described above, but the present invention is not limited to this. For example, the viewer viewpoint
[CG提示装置の動作]
次に、図8を参照(適宜図2参照)して、CG提示装置の動作について説明する。図8は、本発明に係るCG提示装置の動作を示すフローチャートである。
[Operation of CG presentation device]
Next, the operation of the CG presentation device will be described with reference to FIG. 8 (refer to FIG. 2 as appropriate). FIG. 8 is a flowchart showing the operation of the CG presentation device according to the present invention.
(測定ステップ:鑑賞者視点位置測定ステップ)
まず、CG提示装置10は、鑑賞者視点位置測定手段12の立ち位置測定手段12aによって、立ち位置検出用のカメラ50Uで撮影された画像を入力する(ステップS1)。そして、立ち位置測定手段12aは、ステップS1で撮影された画像から、床面に立っている鑑賞者のつま先を背景差分により検出し、鑑賞者の立ち位置を算出する(ステップS2)。
(Measurement step: Viewer viewpoint position measurement step)
First, the CG presentation device 10 inputs an image photographed by the standing
そして、CG提示装置10は、鑑賞者視点位置測定手段12の頭頂部検出手段12bによって、鑑賞者の立ち位置により、左右のカメラ(50L又は50R)で撮影された画像のいずれか一方を選択し入力する(ステップS3)。さらに、頭頂部検出手段12bによって、その選択されたカメラで撮影された画像と、予め撮影した背景画像との差分をとることで、鑑賞者の頭頂部を検出し、顔検出手段12cによって、その頭頂部を基準として顔を検出する範囲を限定し顔を検出する(ステップS4)。そして、視点高測定手段12dは、顔の領域における重心位置から、予め定めたオフセット値により、目の位置を特定し、目の高さを算出する(ステップS5)。
このように、ステップS2で算出された鑑賞者の立ち位置と、ステップS5で算出された目の高さとによって、仮想の三次元空間における鑑賞者の視点位置が測定される。
The CG presentation device 10 then captures either one of the images photographed by the left and right cameras (50 L or 50 R ) depending on the position of the viewer by the
As described above, the viewer's viewpoint position in the virtual three-dimensional space is measured based on the standing position of the viewer calculated in step S2 and the eye height calculated in step S5.
(測定ステップ:レプリカ位置測定ステップ)
また、CG提示装置10は、レプリカ位置・姿勢測定手段13のレプリカ位置測定手段13aによって、レプリカ20に備え付けられている超音波受信器21から出力される超音波発信器40から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、仮想の三次元空間におけるレプリカ20の位置を測定する(ステップS6)。
(Measurement step: replica position measurement step)
In addition, the CG presentation device 10 uses the ultrasonic wave transmitted from the
(測定ステップ:レプリカ姿勢測定ステップ)
さらに、CG提示装置10は、レプリカ姿勢測定手段13bによって、レプリカ20に備え付けられているジャイロセンサ22から出力される、ジャイロセンサ22で検出された向きを、レプリカ20の向きとして測定する(ステップS7)。
この段階で、鑑賞者の視点位置と、レプリカ20の位置及び向きとが測定されたことになる。
(Measurement step: replica attitude measurement step)
Further, the CG presentation device 10 measures the direction detected by the gyro sensor 22 output from the gyro sensor 22 provided in the
At this stage, the viewer's viewpoint position and the position and orientation of the
(CG領域算出ステップ)
そして、CG提示装置10は、CG生成手段14のCG領域算出手段14aによって、鑑賞者の視点位置と、予め設定された表示装置30の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ20の位置及び向きに基づいて、表示装置30に提示する鑑賞対象物のCGの領域を算出する(ステップS8)。
(CG region calculation step)
Then, the CG presentation device 10 uses the CG
(CG画像生成ステップ)
ここでは、図3に示したXZ平面における、鑑賞者の立ち位置のX軸の値に基づいて、表示するCG画像の表示モードを変えることとする。
そこで、CG提示装置10は、CG画像生成手段14bによって、ステップS2で算出された鑑賞者の立ち位置を判定する(ステップS9)。
そして、鑑賞者の立ち位置のX座標が、予め定めた2つの閾値(x1、x2)の範囲内の場合(x1≦X≦x2)、CG画像生成手段14bは、第1の表示モードとして、例えば、レプリカ20(ここでは人形)に対応する「骨」のみの画像をCG画像として生成する(ステップS10)。
(CG image generation step)
Here, the display mode of the CG image to be displayed is changed based on the X-axis value of the viewer's standing position on the XZ plane shown in FIG.
Therefore, the CG presentation device 10 determines the standing position of the viewer calculated in step S2 by the CG
When the X coordinate of the viewer's standing position is within a range of two predetermined threshold values (x1, x2) (x1 ≦ X ≦ x2), the CG
また、鑑賞者の立ち位置のX座標が、閾値x1より小さい場合(X<x1)、CG画像生成手段14bは、第2の表示モードとして、例えば、レプリカ20に対応する「内蔵」のみの画像をCG画像として生成する(ステップS11)。
さらに、鑑賞者の立ち位置のX座標が、閾値x2より大きい場合(x2<X)、CG画像生成手段14bは、第3の表示モードとして、例えば、レプリカ20に対応する「皮膚」のみの画像をCG画像として生成する(ステップS12)。
Further, when the X coordinate of the viewer's standing position is smaller than the threshold value x1 (X <x1), the CG
Furthermore, when the X coordinate of the viewer's standing position is larger than the threshold value x2 (x2 <X), the CG
そして、CG画像生成手段14bは、ステップS10、S11又はS12で生成されたCG画像を表示装置30に出力し、鑑賞者にCG画像を提示する(ステップS13)。
以上の動作が連続して実行されることで、鑑賞者のレプリカ20の操作に連動して、リアルタイムで、CG画像が提示される。
なお、前記した鑑賞者視点位置測定ステップ(ステップS1〜S5)、レプリカ位置測定ステップ(ステップS6)、及び、レプリカ姿勢測定ステップ(ステップS7)は、必ずしもこの順番で動作させる必要はない。
Then, the CG
By executing the above operations continuously, a CG image is presented in real time in conjunction with the operation of the
Note that the viewer viewpoint position measurement step (steps S1 to S5), the replica position measurement step (step S6), and the replica attitude measurement step (step S7) do not necessarily have to be performed in this order.
以上の動作によって、CG提示装置10は、鑑賞者の視点位置と、レプリカ20の位置及び向きとを測定し、鑑賞者がレプリカ20を見ている視線方向に配置されている表示装置30に、レプリカ20の動きに連動したCG画像を提示することができる。
Through the above operation, the CG presentation device 10 measures the viewer's viewpoint position and the position and orientation of the
[CG提示装置の利用例]
以上の説明においては、本発明に係るCG提示装置が、博物館等で用いるCG表示システムとして利用される形態について説明したが、ここでは、図9を参照(適宜図2参照)して、本発明に係るCG提示装置の他の利用形態について説明する。
図9は、レプリカを、テレビジョン装置を操作するリモコンとした例を示す概念図である。図9では、鑑賞者が、テレビジョン装置Tvを操作するリモコン(レプリカ)20を、テレビジョン装置Tvの前に差し出すことで、テレビジョン装置Tvの画面上にリモコン20のボタンの操作方法、ボタンの機能等を表示する例を示している。
この場合、CG提示装置10は、予め設定されたテレビジョン装置Tvの位置を基準として、鑑賞者の視点位置と、リモコン(レプリカ)20の位置とを測定する。
[Usage example of CG presentation device]
In the above description, the form in which the CG presentation device according to the present invention is used as a CG display system used in a museum or the like has been described. Here, referring to FIG. 9 (refer to FIG. 2 as appropriate), the present invention is described. Another usage pattern of the CG presentation device according to the present invention will be described.
FIG. 9 is a conceptual diagram showing an example in which the replica is a remote controller for operating the television device. In FIG. 9, the viewer pushes the remote control (replica) 20 for operating the television device Tv in front of the television device Tv, so that the operation method and buttons of the buttons of the
In this case, the CG presentation device 10 measures the viewer's viewpoint position and the remote control (replica) 20 position with reference to the preset position of the television device Tv.
そして、CG提示装置10は、視聴しているチャンネルや、操作モード(例えば、ビデオ装置の操作等)によって、テレビジョン装置Tvに提示する画像を変える。すなわち、CG画像生成手段14bにおいて、現在の操作モード等によって、テレビジョン装置Tvに提示する画像を変える。例えば、操作モードが、「ビデオ装置の操作」である場合、テレビジョン装置Tvの画面には、リモコンの各ボタンの機能(「巻き戻し」、「早送り」、「停止」、「取り出し」等)をリモコンの画像とともに表示させる。これによって、リモコンのボタンを最小限に集約することができるとともに、現在動作可能な操作を視覚化できるため、簡単で直感的な操作が可能になる。
The CG presentation device 10 changes the image to be presented to the television device Tv according to the channel being viewed and the operation mode (for example, operation of the video device). That is, in the CG
1 CG表示システム
10 CG提示装置
11 CGデータ記憶手段
12 鑑賞者視点位置測定手段
12a 立ち位置測定手段
12b 頭頂部検出手段
12c 顔検出手段
12d 視点高測定手段
13 レプリカ位置・姿勢測定手段
13a レプリカ位置測定手段
13b レプリカ姿勢測定手段
14 CG生成手段
14a CG領域算出手段
14b CG画像生成手段
20 レプリカ
21 超音波受信器
22 ジャイロセンサ
30 表示装置
40 超音波発信器
50 カメラ
50U カメラ(第1のカメラ)
50L、50R カメラ(第2のカメラ)
DESCRIPTION OF SYMBOLS 1 CG display system 10
50 L , 50 R camera (second camera)
Claims (8)
前記鑑賞対象物のCGデータを記憶するCGデータ記憶手段と、
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段と、
このCG領域算出手段で算出された領域に基づいて、前記CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段と、
を備えていることを特徴とするCG提示装置。 The position, size, and orientation of the CG of the viewing object are changed in association with the position and orientation of the replica of the viewing object created as CG data in relation to the viewer and presented to the display device. A CG presentation device,
CG data storage means for storing CG data of the viewing object;
Viewer viewpoint position measuring means for measuring the viewer's viewpoint position with respect to a predetermined reference position;
Replica position measuring means for measuring the position of the replica with respect to the reference position;
Replica attitude measurement means for measuring the orientation of the replica relative to the display surface of the display device;
Based on the measured position and orientation of the replica and the predetermined size of the replica, the viewer's viewpoint position is set as a virtual camera position facing the center of the display area of the display device, The region of the viewing object corresponding to the replica region included in the quadrangular pyramid including the four corners of the virtual camera including the display region and the virtual camera position is calculated as a region for generating a CG. CG region calculating means for performing
Based on the realm calculated in this CG area calculating means, from the CG data stored in the CG data storing unit, a CG image generating means for generating a CG image is output to the display device,
A CG presentation device comprising:
予め定められた位置に固定した第1のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段と、
予め定められた位置に固定した第2のカメラによって撮影された、前記鑑賞者を撮影した鑑賞者画像と、予め撮影された前記鑑賞者画像に対応する背景画像との差分画像に基づいて、前記鑑賞者の頭頂部を検出する頭頂部検出手段と、
この頭頂部検出手段で検出された頭頂部から所定の範囲内において、前記鑑賞者の顔の領域を検出する顔検出手段と、
この顔検出手段で検出された顔の領域における重心位置から、前記鑑賞者の目の位置を特定し、前記基準位置に対する前記鑑賞者の目の高さを測定する視点高測定手段と、
を備え、
前記立ち位置測定手段で測定された前記鑑賞者の立ち位置と、前記視点高測定手段で測定された前記鑑賞者の目の高さとで特定される位置を、前記鑑賞者の視点位置とすることを特徴とする請求項1に記載のCG提示装置。 The viewer viewpoint position measuring means includes:
Based on a difference image between a foot image taken by the first camera fixed at a predetermined position and taken from the viewer's foot and a background image corresponding to the foot image taken beforehand, Standing position measuring means for measuring the position of the viewer relative to a reference position;
Based on a difference image between a viewer image captured by the viewer and a background image corresponding to the viewer image captured in advance, which is captured by a second camera fixed at a predetermined position. A top detection means for detecting the top of the viewer;
A face detection means for detecting a region of the viewer's face within a predetermined range from the top of the head detected by the top of the head detection means;
Viewpoint height measuring means for identifying the position of the viewer's eyes from the position of the center of gravity in the face area detected by the face detecting means, and measuring the height of the eyes of the viewer with respect to the reference position;
Equipped with a,
The position specified by the viewer's standing position measured by the standing position measuring means and the height of the viewer's eyes measured by the viewpoint height measuring means is set as the viewer's viewpoint position. The CG presentation apparatus according to claim 1 .
前記CG画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することを特徴とする請求項1に記載のCG提示装置。 Based on a difference image between a foot image taken by the first camera fixed at a predetermined position and taken from the viewer's foot and a background image corresponding to the foot image taken beforehand, Comprising standing position measuring means for measuring the position of the viewer with respect to a reference position;
2. The CG presentation apparatus according to claim 1, wherein the CG image generation unit generates CG images having different display contents based on a viewer's standing position measured by the standing position measurement unit.
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段、
このCG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段、
として機能させることを特徴とするCG提示プログラム。 The position, size, and orientation of the CG of the viewing object are changed in association with the position and orientation of the replica of the viewing object created as CG data in relation to the viewer and presented to the display device. For the computer,
Viewer viewpoint position measuring means for measuring the viewer's viewpoint position with respect to a predetermined reference position;
Replica position measuring means for measuring the position of the replica with respect to the reference position;
Replica attitude measuring means for measuring the orientation of the replica with respect to the display surface of the display device;
Based on the measured position and orientation of the replica and the predetermined size of the replica, the viewer's viewpoint position is set as a virtual camera position facing the center of the display area of the display device, The region of the viewing object corresponding to the replica region included in the quadrangular pyramid including the four corners of the virtual camera including the display region and the virtual camera position is calculated as a region for generating a CG. CG region calculation means for
Based on the realm calculated in this CG area calculating means, from the CG data stored in the CG data storing unit, the CG image generation means for generating and outputting the CG image on the display device,
A CG presentation program that functions as a computer program.
予め定められた位置に固定した第1のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段、Based on a difference image between a foot image taken by the first camera fixed at a predetermined position and taken from the viewer's foot and a background image corresponding to the foot image taken beforehand, Standing position measuring means for measuring the position of the viewer relative to a reference position;
予め定められた位置に固定した第2のカメラによって撮影された、前記鑑賞者を撮影した鑑賞者画像と、予め撮影された前記鑑賞者画像に対応する背景画像との差分画像に基づいて、前記鑑賞者の頭頂部を検出する頭頂部検出手段、Based on a difference image between a viewer image captured by the viewer and a background image corresponding to the viewer image captured in advance, which is captured by a second camera fixed at a predetermined position. A top detection means for detecting the top of the viewer,
この頭頂部検出手段で検出された頭頂部から所定の範囲内において、前記鑑賞者の顔の領域を検出する顔検出手段、A face detecting means for detecting a region of the face of the viewer within a predetermined range from the top of the head detected by the top of the head detecting means;
この顔検出手段で検出された顔の領域における重心位置から、前記鑑賞者の目の位置を特定し、前記基準位置に対する前記鑑賞者の目の高さを測定する視点高測定手段、Viewpoint height measuring means for determining the position of the viewer's eyes from the center of gravity position in the face area detected by the face detecting means, and measuring the height of the viewer's eyes with respect to the reference position;
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、Replica position measuring means for measuring the position of the replica with respect to the reference position;
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、Replica attitude measuring means for measuring the orientation of the replica with respect to the display surface of the display device;
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記前記鑑賞者の立ち位置及び目の高さで特定される前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段、Based on the measured position and orientation of the replica and a predetermined size of the replica, the viewer's viewpoint position specified by the viewer's standing position and eye height is displayed. The virtual camera position facing the center of the display area of the apparatus, and corresponding to the replica area included in the quadrangular pyramid composed of the four corners of the shooting angle of view of the virtual camera including the display area and the virtual camera position CG area calculation means for calculating the area of the viewing object as an area for generating CG;
このCG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段、CG image generation means for generating a CG image from the CG data stored in the CG data storage means based on the area calculated by the CG area calculation means, and outputting the CG image to the display device;
として機能させることを特徴とするCG提示プログラム。A CG presentation program that functions as a computer program.
予め定められた基準位置に対する前記鑑賞者の立ち位置及び視点位置を測定する鑑賞者視点位置測定手段、Viewer viewpoint position measuring means for measuring the viewer's standing position and viewpoint position with respect to a predetermined reference position;
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、Replica position measuring means for measuring the position of the replica with respect to the reference position;
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、Replica attitude measuring means for measuring the orientation of the replica with respect to the display surface of the display device;
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段、Based on the measured position and orientation of the replica and the predetermined size of the replica, the viewer's viewpoint position is set as a virtual camera position facing the center of the display area of the display device, The region of the viewing object corresponding to the replica region included in the quadrangular pyramid including the four corners of the virtual camera including the display region and the virtual camera position is calculated as a region for generating a CG. CG region calculation means for
このCG領域算出手段で算出された領域に基づいて、CGデータ記憶手段に記憶されているCGデータから、CG画像を生成し前記表示装置に出力するCG画像生成手段、CG image generation means for generating a CG image from the CG data stored in the CG data storage means based on the area calculated by the CG area calculation means, and outputting the CG image to the display device;
として機能させ、Function as
前記CG画像生成手段が、前記鑑賞者の立ち位置に基づいて、表示内容の異なるCG画像を生成することを特徴とするCG提示プログラム。The CG presentation program, wherein the CG image generation means generates CG images having different display contents based on the standing position of the viewer.
前記レプリカは、
前記超音波発信器から発信される複数の超音波を受信し、その位相差を前記CG提示装置に出力する超音波受信手段と、
当該レプリカの向きを検出し、姿勢情報として前記CG提示装置に出力するジャイロセンサとを備え、
前記CG提示装置は、
前記鑑賞対象物のCGデータを記憶するCGデータ記憶手段と、
前記カメラによって撮影された画像に基づいて、予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記超音波受信器から出力される複数の超音波の位相差に基づいて、前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記ジャイロセンサから出力される姿勢情報に基づいて、前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐に含まれるレプリカの領域に対応する前記鑑賞対象物の領域を、CGを生成するための領域として算出するCG領域算出手段と、
このCG領域算出手段で算出された領域に基づいて、前記CGデータ記憶手段に記憶されているCGデータから、前記CG画像を生成するCG画像生成手段と、
を備えていることを特徴とするCG表示システム。 A display device that displays a CG image by changing the position, size, and orientation of the CG of the viewing object in association with the position and orientation of the replica that simulates the shape of the viewing object created as CG data with respect to the viewer Display system including a CG presentation device, the replica, a plurality of ultrasonic transmitters arranged around the replica, a camera for photographing the viewer, and the display device Because
The replica is
Ultrasonic receiving means for receiving a plurality of ultrasonic waves transmitted from the ultrasonic transmitter and outputting the phase difference to the CG presentation device;
A gyro sensor that detects the direction of the replica and outputs the posture information to the CG presentation device;
The CG presentation device
CG data storage means for storing CG data of the viewing object;
Based on the images taken by the camera, a viewer viewpoint position measuring means for measuring the viewpoint position of the viewer with respect to a predetermined reference position,
Replica position measuring means for measuring the position of the replica with respect to the reference position based on a phase difference of a plurality of ultrasonic waves output from the ultrasonic receiver;
Replica attitude measuring means for measuring the orientation of the replica relative to the display surface of the display device based on attitude information output from the gyro sensor;
Based on the measured position and orientation of the replica and the predetermined size of the replica, the viewer's viewpoint position is set as a virtual camera position facing the center of the display area of the display device, The region of the viewing object corresponding to the replica region included in the quadrangular pyramid including the four corners of the virtual camera including the display region and the virtual camera position is calculated as a region for generating a CG. CG region calculating means for performing
Based on the realm calculated in this CG area calculating means, from the CG data stored in the CG data storing unit, a CG image generating means for generating the CG image,
CG display system characterized in that it comprises a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004312029A JP4493082B2 (en) | 2004-10-27 | 2004-10-27 | CG presentation device, program thereof, and CG display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004312029A JP4493082B2 (en) | 2004-10-27 | 2004-10-27 | CG presentation device, program thereof, and CG display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006127004A JP2006127004A (en) | 2006-05-18 |
JP4493082B2 true JP4493082B2 (en) | 2010-06-30 |
Family
ID=36721729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004312029A Active JP4493082B2 (en) | 2004-10-27 | 2004-10-27 | CG presentation device, program thereof, and CG display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4493082B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009146140A (en) * | 2007-12-13 | 2009-07-02 | Ponos Corp | Three-dimensional image display device |
JP5994098B2 (en) * | 2012-01-19 | 2016-09-21 | 株式会社海洋堂 | Image processing system using i-figures and i-figures |
JP7404139B2 (en) * | 2020-04-07 | 2023-12-25 | シャープ株式会社 | Display control system, display control method, and display control program |
US11650673B2 (en) | 2020-04-07 | 2023-05-16 | Sharp Kabushiki Kaisha | Display control system and display control method for changing a size of an object image in association with a location change of an operation device |
-
2004
- 2004-10-27 JP JP2004312029A patent/JP4493082B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006127004A (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10739936B2 (en) | Zero parallax drawing within a three dimensional display | |
KR101877846B1 (en) | Device, method, and system of providing extended display with head mounted display | |
TWI470534B (en) | Three dimensional user interface effects on a display by using properties of motion | |
JP4533087B2 (en) | Image processing method and image processing apparatus | |
US9354718B2 (en) | Tightly coupled interactive stereo display | |
Beardsley et al. | Interaction using a handheld projector | |
US20160343166A1 (en) | Image-capturing system for combining subject and three-dimensional virtual space in real time | |
US20100259610A1 (en) | Two-Dimensional Display Synced with Real World Object Movement | |
WO2001088679A2 (en) | Browser system and method of using it | |
US9594399B2 (en) | Computer-readable storage medium, display control apparatus, display control method and display control system for controlling displayed virtual objects with symbol images | |
CN104995583A (en) | Direct interaction system for mixed reality environments | |
US20100188587A1 (en) | Projection method | |
US20150138184A1 (en) | Spatially interactive computing device | |
US20170102791A1 (en) | Virtual Plane in a Stylus Based Stereoscopic Display System | |
JP2010072477A (en) | Image display apparatus, image display method, and program | |
US20200329227A1 (en) | Information processing apparatus, information processing method and storage medium | |
TW201336294A (en) | Stereoscopic imaging system and method thereof | |
JP2020004325A (en) | Image processing device, image processing method, and program | |
JP4624587B2 (en) | Image generating apparatus, program, and information storage medium | |
JP4493082B2 (en) | CG presentation device, program thereof, and CG display system | |
Cho et al. | Multi-scale 7DOF view adjustment | |
JP2012105200A (en) | Three-dimensional content display device and three-dimensional content display method | |
RU2695053C1 (en) | Method and device for control of three-dimensional objects in virtual space | |
JP2002300612A (en) | Image generating device, program, and information storage medium | |
KR20210102210A (en) | Mobile platform as a physical interface for interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4493082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |