JP2001016621A - Multi-eye data input device - Google Patents
Multi-eye data input deviceInfo
- Publication number
- JP2001016621A JP2001016621A JP11188339A JP18833999A JP2001016621A JP 2001016621 A JP2001016621 A JP 2001016621A JP 11188339 A JP11188339 A JP 11188339A JP 18833999 A JP18833999 A JP 18833999A JP 2001016621 A JP2001016621 A JP 2001016621A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- color
- image sensor
- input unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、３次元データの取
得のための多眼式データ入力装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multi-view data input device for acquiring three-dimensional data.
【０００２】[0002]
【従来の技術】従来より、多眼式データ入力装置は、パ
ッシブタイプの３次元データ入力装置の１つとして知ら
れている。多眼式データ入力装置は、２次元画像を得る
ための複数の入力部、得られた複数の２次元画像に基づ
いて３次元データを算出する算出部などを有している。2. Description of the Related Art Conventionally, a multi-view data input device is known as one of passive type three-dimensional data input devices. The multi-view data input device includes a plurality of input units for obtaining a two-dimensional image, a calculating unit for calculating three-dimensional data based on the obtained two-dimensional images, and the like.
【０００３】このような装置を用いて３次元データを生
成するには、得られた複数の２次元画像のうち、その１
つを基準画像とする。基準画像における被写体を示す領
域内の全ての座標点について、他の２次元画像において
それらに対応する座標点を求める。これらの対応点は、
２次元画像を構成する画素の濃淡を用い、勾配法又は相
関法などにより求めることができる。対応点に基づい
て、ステレオ視の原理により、３次元空間上での点の位
置を求める。求められた点の位置データの集合が被写体
についての３次元データである。In order to generate three-dimensional data using such an apparatus, one of a plurality of two-dimensional images obtained is used.
One is set as a reference image. With respect to all coordinate points in the region indicating the subject in the reference image, corresponding coordinate points are obtained in another two-dimensional image. These corresponding points are
It can be obtained by a gradient method, a correlation method, or the like, using the shading of the pixels constituting the two-dimensional image. Based on the corresponding point, the position of the point in the three-dimensional space is determined by the principle of stereo vision. A set of position data of the obtained points is three-dimensional data of the subject.
【０００４】従来の装置では、左右の入力部にモノクロ
の２次元画像を取得する撮像素子が用いられている。In a conventional apparatus, an image sensor for obtaining a monochrome two-dimensional image is used in the left and right input units.
【０００５】[0005]
【発明が解決しようとする課題】ところが、モノクロの
撮像素子を用いた場合には、対応点の探索には都合がよ
いが、カラーの画像が得られないので、３次元データを
生成した後において、３次元データに対するカラーマッ
ピングを実現することができない。However, when a monochrome image sensor is used, it is convenient to search for a corresponding point, but a color image cannot be obtained. And color mapping for three-dimensional data cannot be realized.
【０００６】そのため、カラーの２次元画像を撮影可能
なカメラを別途用い、３次元データのための撮影とは別
個に撮影を行う必要があった。そのため、撮影のために
手間が掛かるとともに、３次元データのための撮影とカ
ラーの２次元画像のための撮影との位置関係が一定しな
いため、カラーマッピングを行う際の位置合わせが容易
ではないという問題もあった。For this reason, it is necessary to separately use a camera capable of shooting a color two-dimensional image and perform shooting separately from shooting for three-dimensional data. Therefore, it takes time and effort to shoot, and the positional relationship between shooting for three-dimensional data and shooting for a two-dimensional color image is not constant, so that it is not easy to perform positioning when performing color mapping. There were also problems.
【０００７】本発明は、上述の問題に鑑みてなされたも
ので、３次元データのための２次元画像及びカラーマッ
ピングのための２次元画像を１回の撮影によって同時に
取得することができ、しかも構成の簡単な多眼式データ
入力装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problem, and a two-dimensional image for three-dimensional data and a two-dimensional image for color mapping can be simultaneously obtained by one photographing. It is an object of the present invention to provide a multi-view data input device having a simple configuration.
【０００８】[0008]
【課題を解決するための手段】請求項１の発明に係る装
置は、図１乃至図５に示すように、被写体Ｑの２次元画
像ＱＬ，ＱＲを互いに異なる複数の視点位置から入力す
る複数の画像入力部１２，１３を有してなる多眼式デー
タ入力装置５であって、前記複数の画像入力部１２，１
３のうちの１つの画像入力部１２が、画像品質に関する
仕様が他の画像入力部１３とは異なるように構成されて
いる。According to a first aspect of the present invention, as shown in FIGS. 1 to 5, a plurality of two-dimensional images QL and QR of a subject Q are input from a plurality of different viewpoint positions. A multi-view data input device 5 having image input units 12, 13, wherein the plurality of image input units 12, 1
One of the three image input units 12 is configured such that the specifications regarding image quality are different from those of the other image input units 13.
【０００９】請求項２の発明に係る装置は、図５に示す
ように、前記１つの画像入力部１２には、カラーフィル
タを有してカラーの２次元画像を取得することのできる
単板式の撮像素子１２ｂが設けられ、前記他の画像入力
部１３には、モノクロの２次元画像を取得する撮像素子
１３ｂが設けられ、てなる。As shown in FIG. 5, in the apparatus according to the second aspect of the present invention, the single image input section 12 has a color filter and is a single-plate type capable of acquiring a color two-dimensional image. An image sensor 12b is provided, and the other image input unit 13 is provided with an image sensor 13b for acquiring a monochrome two-dimensional image.
【００１０】請求項３の発明に係る装置では、図８に示
すように、前記１つの画像入力部１２Ｂに設けられた撮
像素子１２Ｂｂは、前記他の画像入力部１３Ｂに設けら
れた撮像素子１３Ｂｂよりも高解像度である。In the apparatus according to the third aspect of the present invention, as shown in FIG. 8, the image pickup device 12Bb provided in the one image input section 12B is replaced with the image pickup element 13Bb provided in the other image input section 13B. Higher resolution.
【００１１】請求項４の発明に係る装置は、図１２に示
すように、前記１つの画像入力部１２Ｃには、カラーフ
ィルタを有してカラーの２次元画像を取得することので
きる多板式の撮像素子１２Ｃｂが設けられ、前記他の画
像入力部１３Ｃには、モノクロの２次元画像を取得する
撮像素子１３Ｃｂが設けられ、てなる。As shown in FIG. 12, in the apparatus according to the fourth aspect of the present invention, the one image input section 12C has a color filter and is capable of acquiring a two-dimensional color image. An image sensor 12Cb is provided, and the other image input unit 13C is provided with an image sensor 13Cb for acquiring a monochrome two-dimensional image.
【００１２】請求項５の発明に係る装置では、前記１つ
の画像入力部１２Ｃに設けられた撮像素子は、前記他の
画像入力部１３Ｃに設けられた撮像素子よりも高解像度
である。In the apparatus according to a fifth aspect of the present invention, the image pickup device provided in the one image input unit 12C has a higher resolution than the image pickup device provided in the other image input unit 13C.
【００１３】請求項６の発明に係る装置は、図１５に示
すように、前記１つの画像入力部１２Ｅには、カラーフ
ィルタを有してカラーの２次元画像を取得することので
きる単板式の撮像素子１２ＥｂＣ、及びモノクロの２次
元画像を取得する撮像素子１２ＥｂＫが設けられ、前記
他の画像入力部１３Ｅには、モノクロの２次元画像を取
得する撮像素子１３Ｅｂが設けられ、てなる。As shown in FIG. 15, in the apparatus according to the sixth aspect of the present invention, the one image input section 12E has a color filter and is a single-plate type capable of acquiring a color two-dimensional image. An image sensor 12EbC and an image sensor 12EbK for acquiring a monochrome two-dimensional image are provided, and the other image input unit 13E is provided with an image sensor 13Eb for acquiring a monochrome two-dimensional image.
【００１４】請求項７の発明に係る装置は、前記１つの
画像入力部１２Ｅに設けられたカラーの撮像素子１２Ｅ
ｂＣは、前記他の画像入力部１３Ｅに設けられた撮像素
子１３Ｅｂよりも高解像度である。According to a seventh aspect of the present invention, there is provided a color image pickup device provided in the one image input section.
bC has a higher resolution than the image sensor 13Eb provided in the other image input unit 13E.
【００１５】請求項８の発明に係る装置は、前記１つの
画像入力部１２には、カラーフィルタを有してカラーの
２次元画像を取得することのできる多板式の撮像素子、
及びモノクロの２次元画像を取得する撮像素子が設けら
れ、前記他の画像入力部１３には、モノクロの２次元画
像を取得する撮像素子が設けられ、てなる。According to an eighth aspect of the present invention, the one image input section 12 has a multi-plate type image pickup device having a color filter and capable of acquiring a two-dimensional color image.
And an image sensor for acquiring a monochrome two-dimensional image is provided, and the other image input unit 13 is provided with an image sensor for acquiring a monochrome two-dimensional image.
【００１６】請求項９の発明に係る装置は、前記１つの
画像入力部１２に設けられたカラーの撮像素子は、前記
他の画像入力部１３に設けられた撮像素子よりも高解像
度である。According to a ninth aspect of the present invention, the color image pickup device provided in the one image input unit has a higher resolution than the image pickup device provided in the other image input unit.
【００１７】請求項１０の発明に係る装置は、前記２次
元画像ＱＬ，ＱＲに基づいて前記被写体Ｑの３次元デー
タを算出する算出部１５１を有してなる。An apparatus according to a tenth aspect of the present invention includes a calculating section 151 for calculating three-dimensional data of the subject Q based on the two-dimensional images QL and QR.
【００１８】[0018]
【発明の実施の形態】〔第１の実施形態〕図１は本発明
の第１の実施形態を示す多眼入力カメラ５の斜視図、図
２は多眼入力カメラ５を含んだ３次元データ生成装置１
の構成の例を示す図、図３は多眼入力カメラ５を用いて
被写体Ｑを撮影する際の様子を概念的に示す図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS [First Embodiment] FIG. 1 is a perspective view of a multi-view input camera 5 showing a first embodiment of the present invention, and FIG. Generator 1
FIG. 3 is a diagram conceptually showing a situation when the subject Q is photographed using the multi-view input camera 5.
【００１９】図１に示すように、多眼入力カメラ５に
は、カメラ本体１１、撮影レンズ１２ａ，１３ａをそれ
ぞれ有する画像入力部１２，１３、テクスチャ投影部１
６、及びシャッター１５５などが設けられている。な
お、図１には示されていないが、多眼入力カメラ５の内
部には処理回路１５が内蔵されている。As shown in FIG. 1, a multi-lens input camera 5 includes a camera body 11, image input units 12 and 13 having photographing lenses 12a and 13a, respectively, and a texture projection unit 1.
6 and a shutter 155 are provided. Although not shown in FIG. 1, a processing circuit 15 is built in the multi-view input camera 5.
【００２０】図２に示すように、３次元データ生成装置
１は、情報処理装置４及び多眼入力カメラ５からなる。
情報処理装置４は、処理装置２１、表示面ＨＧを有した
表示装置２２、キーボード及びマウスを始めとする入力
装置２３などからなる。処理装置２１には、ＣＰＵ、Ｒ
ＡＭ、ＲＯＭ、その他の周辺素子、インタフェース装
置、ハードディスク装置、フロッピィディスク装置、Ｃ
Ｄ−ＲＯＭ装置、モデム、及びその他の機器が内蔵され
ている。このような情報処理装置４として、適当なプロ
グラムをインストールしたパーソナルコンピュータなど
を用いることができる。As shown in FIG. 2, the three-dimensional data generation device 1 includes an information processing device 4 and a multi-view input camera 5.
The information processing device 4 includes a processing device 21, a display device 22 having a display surface HG, an input device 23 including a keyboard and a mouse, and the like. The processing device 21 includes a CPU, an R
AM, ROM, other peripheral devices, interface device, hard disk device, floppy disk device, C
A D-ROM device, a modem, and other devices are built in. As such an information processing device 4, a personal computer on which an appropriate program is installed can be used.
【００２１】多眼入力カメラ５には、図２に示すよう
に、撮影した２次元画像ＱＬ，ＱＲを表示するための、
液晶パネルなどからなる表示装置１２ｃ，１３ｃがそれ
ぞれ設けられている。As shown in FIG. 2, the multi-view input camera 5 displays two-dimensional images QL and QR taken.
Display devices 12c and 13c each including a liquid crystal panel are provided.
【００２２】多眼入力カメラ５と情報処理装置４との間
では、データ転送を行うことができる。また、多眼入力
カメラ５から入力された２次元画像を情報処理装置４に
おいて表示することも可能である。情報処理装置４は、
多眼入力カメラ５から入力された２次元画像に基づい
て、３次元データを生成し、生成した３次元データを表
示面ＨＧに表示することができる。Data can be transferred between the multi-lens input camera 5 and the information processing device 4. Further, a two-dimensional image input from the multi-view input camera 5 can be displayed on the information processing device 4. The information processing device 4
It is possible to generate three-dimensional data based on the two-dimensional image input from the multi-view input camera 5 and display the generated three-dimensional data on the display surface HG.
【００２３】図３に示すように、被写体Ｑは、その背景
ＱＫとともに２つの撮影レンズ１２ａ，１３ａによって
視差を有して取り込まれ、それぞれの表示装置１２ｃ，
１３ｃに、２次元画像ＱＬ，ＱＲとして表示されてい
る。これらの２次元画像ＱＬ，ＱＲに基づいて、３次元
データの生成の前処理として、対応点の探索を行う。つ
まり、２つの２次元画像ＱＬ，ＱＲのうちの１つを基準
画像とし、基準画像における被写体Ｑを示す領域内の全
ての座標点について、他の２次元画像においてそれらに
対応する対応点を求める。対応点に基づいて、ステレオ
視の原理によって３次元データを演算により求める。な
お、本明細書において、対応点を探索すること、又はそ
のための処理を、「対応点探索」ということがある。As shown in FIG. 3, the subject Q is taken in with parallax by the two photographing lenses 12a and 13a together with the background QK, and the respective display devices 12c and
13C, the two-dimensional images QL and QR are displayed. Based on these two-dimensional images QL and QR, corresponding points are searched as pre-processing for generating three-dimensional data. That is, one of the two two-dimensional images QL and QR is used as a reference image, and for all coordinate points in the area indicating the subject Q in the reference image, corresponding points in the other two-dimensional images are obtained. . Based on the corresponding points, three-dimensional data is obtained by calculation based on the principle of stereo vision. In this specification, searching for a corresponding point or a process therefor may be referred to as “corresponding point search”.
【００２４】図４は対応点探索の概念を説明するための
図である。図４において、被写体Ｑの画像は、画像入力
部１２，１３に設けられた撮像素子１２ｂ，１３ｂの撮
像面上に結像している。左方の撮像素子１２ｂに結像す
る２次元画像ＱＬを基準画像とする。なお、撮像素子１
２ｂ，１３ｂで得られる２次元画像ＱＬ，ＱＲは、表示
装置１２ｃ，１３ｃに表示される２次元画像ＱＬ，ＱＲ
と同じである。対応点探索は、次のようにして行われ
る。FIG. 4 is a diagram for explaining the concept of the corresponding point search. In FIG. 4, an image of the subject Q is formed on imaging surfaces of imaging elements 12 b and 13 b provided in the image input units 12 and 13. The two-dimensional image QL formed on the left imaging element 12b is set as a reference image. In addition, the image sensor 1
The two-dimensional images QL, QR obtained by the 2b, 13b are two-dimensional images QL, QR displayed on the display devices 12c, 13c.
Is the same as The corresponding point search is performed as follows.
【００２５】すなわち、対応点探索は、被写体Ｑ上の任
意の点を注視点Ａとした場合に、基準画像を撮像する撮
像素子１２ｂの撮像面上における注視点Ａを示す点Ｌ１
が、他の撮像素子１３ｃの撮像面上において如何なる座
標の点に対応しているかを求める作業である。対応点探
索において、２次元画像ＱＬ，ＱＲの輝度を用い、また
勾配法又は相関法などの従来公知の方法を用いることが
できる。これらの方法を用いることにより、図４におい
ては、撮像素子１２ｂの撮像面上の点Ｌ１は、撮像素子
１３ｃの撮像面上のＲ１に対応していることが分かる。
被写体Ｑ上の全ての点について、このような対応点探索
を行うことにより、全ての点について３次元座標上での
位置が分かり、被写体Ｑの３次元形状を求めることがで
きる。That is, in the corresponding point search, when an arbitrary point on the subject Q is set as the gazing point A, the point L1 indicating the gazing point A on the imaging surface of the imaging device 12b that captures the reference image.
Is the operation of determining what coordinate point corresponds to the point on the imaging surface of the other imaging element 13c. In the corresponding point search, the luminance of the two-dimensional images QL and QR is used, and a conventionally known method such as a gradient method or a correlation method can be used. By using these methods, it can be seen in FIG. 4 that the point L1 on the imaging surface of the imaging device 12b corresponds to R1 on the imaging surface of the imaging device 13c.
By performing such a corresponding point search for all points on the subject Q, the positions of all the points on the three-dimensional coordinates are known, and the three-dimensional shape of the subject Q can be obtained.
【００２６】対応点探索を行いやすい被写体としては、
隣り合う画素同士で輝度差があるものが良い。また、単
色のものよりはテクスチャ（模様柄）のあるものが良
い。テクスチャがない場合には、平らなものよりも湾曲
やエッジの効いているものが良い。但し、湾曲やエッジ
がある場合に、その程度によってはオクルージョン（死
角）が生じるという問題がある。As a subject in which a corresponding point search can be easily performed,
It is preferable that there is a luminance difference between adjacent pixels. Further, those having a texture (pattern) are better than those having a single color. If there is no texture, it is better to have a curved or edged effect than a flat one. However, there is a problem that when there is a curve or an edge, occlusion (blind spot) occurs depending on the degree.
【００２７】つまり、被写体Ｑが奥行き方向に深い場合
には、多眼入力カメラ５の２つの画像入力部１２，１３
の光軸間の距離である基線長、レンズの焦点距離、及び
撮像素子１２ｂ，１３ｂの画素のサイズなどに応じて、
各画像間で見える部分と見えない部分が出てくる可能性
がある。特に、対応点探索に勾配法を用いる場合は、段
差が問題となる。したがって、程度の問題はあるが、表
面に輝度差があり、なだらかな傾斜を示す被写体が対応
点の求めやすい被写体であるということとなる。That is, when the subject Q is deep in the depth direction, the two image input units 12 and 13 of the multi-view input camera 5 are used.
According to the base length, which is the distance between the optical axes, the focal length of the lens, and the size of the pixels of the imaging devices 12b and 13b.
There may be visible and invisible parts between the images. In particular, when the gradient method is used for the corresponding point search, the step becomes a problem. Therefore, although there is a problem of the degree, a subject having a luminance difference on the surface and showing a gentle inclination is a subject whose corresponding point can be easily obtained.
【００２８】さて、３次元データを生成した後におい
て、３次元データに対するカラーマッピングが行われ
る。つまり、３次元データにカラーの２次元画像を貼り
付けてカラー表示を行う。そのために、カラーの２次元
画像を取得することのできる撮像素子が備えられる。After the three-dimensional data is generated, color mapping is performed on the three-dimensional data. That is, a color display is performed by pasting a color two-dimensional image on the three-dimensional data. For this purpose, an image sensor capable of acquiring a color two-dimensional image is provided.
【００２９】図５は多眼入力カメラ５の構成を示すブロ
ック図、図６は撮像素子１２ｂ，１３ｂの画素構成の例
を示す図、図７は単板式カラーＣＣＤの各色の画素を抜
き出して示す図である。FIG. 5 is a block diagram showing the configuration of the multi-view input camera 5, FIG. 6 is a diagram showing an example of the pixel configuration of the image pickup devices 12b and 13b, and FIG. FIG.
【００３０】図５において、多眼入力カメラ５は、上に
も述べたように、画像入力部１２，１３及び処理回路１
５などからなる。画像入力部１２，１３には、撮影レン
ズ１２ａ，１３ａ及び撮像素子１２ｂ，１３ｂが設けら
れる。In FIG. 5, the multi-lens input camera 5 includes the image input units 12 and 13 and the processing circuit 1 as described above.
5 and so on. The image input units 12 and 13 are provided with photographic lenses 12a and 13a and image sensors 12b and 13b.
【００３１】撮像素子１２ｂとして、単板式カラーＣＣ
Ｄが用いられる。撮像素子１２ｂにより得られる２次元
画像は、対応点探索用及びカラーマッピング用の両方に
用いられる。撮像素子１３ｂとして、モノクロＣＣＤが
用いられる。撮像素子１３ｂにより得られる２次元画像
は、対応点探索用としてのみ用いられる。A single-plate color CC is used as the image pickup device 12b.
D is used. The two-dimensional image obtained by the image sensor 12b is used for both corresponding point search and color mapping. A monochrome CCD is used as the imaging element 13b. The two-dimensional image obtained by the image sensor 13b is used only for corresponding point search.
【００３２】処理回路１５は、ＣＰＵ１５１、及びメモ
リ１５２，１５３などからなる。なお、図示は省略した
が、上に述べたシャッター１５５、多眼入力カメラ５の
通常の操作のための種々のボタン、その他の機器も備え
られている。The processing circuit 15 includes a CPU 151, memories 152 and 153, and the like. Although not shown, the above-mentioned shutter 155, various buttons for normal operation of the multi-view input camera 5, and other devices are also provided.
【００３３】撮像素子１２ｂ，１３ｂから出力される画
像データは、メモリ１５２，１５３に一旦格納される。
メモリ１５２，１５３に格納された画像データは、ＣＰ
Ｕ１５１によって読み出され、必要な処理が施される。
ＣＰＵ１５１の処理として、３次元データを生成する処
理を行うことも可能である。また、メモリ１５２，１５
３に格納された画像データ、又はＣＰＵ１５１によって
処理された画像データは、外部に出力することが可能で
ある。Image data output from the image pickup devices 12b and 13b is temporarily stored in the memories 152 and 153.
The image data stored in the memories 152 and 153 is
The data is read out by U151 and required processing is performed.
As a process of the CPU 151, a process of generating three-dimensional data can be performed. Also, the memories 152 and 15
3 or the image data processed by the CPU 151 can be output to the outside.
【００３４】図６（ａ）に示すように、単板式カラーＣ
ＣＤからなる撮像素子１２ｂは、１枚のＣＣＤ面上に、
Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）の各色の
画素が割り当てられている。したがって、全ての画素に
ついてＲ，Ｇ，Ｂの各色の画像データが得られるのでは
なく、１つの画素からは１色のみの画像データが得られ
る。As shown in FIG. 6A, a single-plate type color C
The imaging element 12b composed of a CD is provided on one CCD surface.
Pixels of each color of R (red), G (green), and B (blue) are assigned. Therefore, image data of each color of R, G, B is not obtained for all pixels, but image data of only one color is obtained from one pixel.
【００３５】他方、図６（ｂ）に示すように、モノクロ
ＣＣＤからなる撮像素子１３ｂは、撮像素子１２ｂと解
像度が同じであり、全ての画素から輝度を示す画像デー
タが得られる。On the other hand, as shown in FIG. 6B, the image pickup device 13b composed of a monochrome CCD has the same resolution as the image pickup device 12b, and image data indicating luminance is obtained from all pixels.
【００３６】なお、これまでの記述で理解できるよう
に、本明細書における撮像素子の「画素」は、撮像素子
の１つのセルを指す。また、撮像素子についての「解像
度」は、撮像素子のセルの個数によって決まる値であ
る。As can be understood from the above description, the “pixel” of the image sensor in this specification indicates one cell of the image sensor. The “resolution” of the image sensor is a value determined by the number of cells of the image sensor.
【００３７】図７（ａ）（ｂ）（ｃ）には、撮像素子１
２ｂのＲについての配置がＲ画素面１２ｂＲとして、Ｇ
についての配置がＧ画素面１２ｂＧとして、Ｂについて
の配置がＢ画素面１２ｂＢとして、それぞれ示されてい
る。FIGS. 7A, 7B and 7C show the image pickup device 1.
When the arrangement of R of 2b is R pixel surface 12bR, G
Is shown as a G pixel plane 12bG, and the arrangement about B is shown as a B pixel plane 12bB.
【００３８】これらの図から分かるように、各色につい
て見ると、画像データのない画素がそれぞれ存在する。
したがって、各色について、画像データのない画素につ
いては、補完により作成する必要がある。As can be seen from these figures, looking at each color, there are pixels without image data.
Therefore, for each color, pixels without image data need to be created by complementation.
【００３９】例えば、Ｇ画素面１２ｂＧについて見る
と、Ｇ（０，０）はそのままのデータ値を用いることが
できる。しかし、Ｇ（１，０）は画像データがないの
で、その近傍であるＧ（０，０）、Ｇ（２，０）、及び
Ｇ（１，１）の各画像データを用いて補間する必要があ
る。すなわち、 Ｇ（１，０）＝〔Ｇ（０，０）＋Ｇ（２，０）＋Ｇ
（１，１）〕／３ として求める。また、Ｇ（２，１）については、 Ｇ（２，１）＝〔Ｇ（２，０）＋Ｇ（１，１）＋Ｇ
（１，３）＋Ｇ（２，２）〕／４ として求める。このように、画像データのない画素につ
いては、近傍の画素の画像データを用いて補間によりデ
ータ値を求める。For example, when looking at the G pixel surface 12bG, the data value of G (0,0) can be used as it is. However, since G (1,0) has no image data, it is necessary to interpolate using the image data of G (0,0), G (2,0), and G (1,1) in its vicinity. There is. That is, G (1,0) = [G (0,0) + G (2,0) + G
(1, 1)] / 3. For G (2,1), G (2,1) = [G (2,0) + G (1,1) + G
(1,3) + G (2,2)] / 4. As described above, for a pixel having no image data, a data value is obtained by interpolation using image data of a neighboring pixel.
【００４０】Ｒ画素面１２ｂＲ及びＢ画素面１２ｂＢに
ついても、画像データのない画素については同様の処理
を行ってデータ値を求める。これにより、全ての画素の
ついて、Ｒ，Ｇ，Ｂの各色の画像データが得られる。With respect to the R pixel surface 12bR and the B pixel surface 12bB, the data value is obtained by performing the same processing for the pixels having no image data. Thus, image data of each color of R, G, B is obtained for all the pixels.
【００４１】そして、得られた画像データに基づいて、
各画素の輝度及び色情報が求められる。各画素の輝度を
得るには、同じ画素についての、Ｒ、Ｇ、Ｂの各色のデ
ータ値を所定の割合で加算する。つまり、画素の座標を
ｉ，ｊとすると、その画素の輝度値Ｙi,j は、次の
（１）式、 Ｙi,j ＝Ａ１・Ｒi,j ＋Ｂ１・Ｇi,j ＋Ｃ１・Ｂi,j ……（１） で示される。Ａ１、Ｂ１、Ｃ１はそれぞれ係数であり、
例えば、Ａ１＝０．２９９０、Ｂ１＝０．５８７０、Ｃ
１＝０．１１４０である。Then, based on the obtained image data,
Luminance and color information of each pixel is obtained. In order to obtain the luminance of each pixel, the data values of R, G, and B for the same pixel are added at a predetermined ratio. That is, assuming that the coordinates of a pixel are i, j, the luminance value Yi, j of the pixel is represented by the following equation (1): Yi, j = A1 · Ri, j + B1 · Gi, j + C1 · Bi, j (1) It is shown by. A1, B1, and C1 are coefficients, respectively.
For example, A1 = 0.2990, B1 = 0.5870, C
1 = 0.1140.
【００４２】このようにして撮像素子１２ｂから得られ
た各画素の輝度値と、撮像素子１３ｂから得られた各画
素の輝度値とに基づいて、対応点探索が行われる。カラ
ーマッピング用には、撮像素子１２ｂから得られる画像
データがそのまま用いられる。このように、１つの撮像
素子１２ｂによって、対応点探索のための２次元画像と
カラーマッピングのための２次元画像とが同時に得られ
る。A corresponding point search is performed based on the luminance value of each pixel obtained from the image pickup device 12b and the luminance value of each pixel obtained from the image pickup device 13b. For color mapping, image data obtained from the image sensor 12b is used as it is. In this manner, a single image sensor 12b can simultaneously obtain a two-dimensional image for searching for a corresponding point and a two-dimensional image for color mapping.
【００４３】但し、このような補間による方法では、全
ての画素についての正確な輝度を求めることはできな
い。その結果、モノクロ画像により、対応点探索を行っ
た場合に比べると、本来対応すべき画素との対応がとれ
ないことがあり、精度面で落ちる場合がある。However, with such an interpolation method, accurate luminance cannot be obtained for all pixels. As a result, as compared with a case where a corresponding point search is performed using a monochrome image, there is a case where a correspondence with a pixel which should originally correspond cannot be obtained, and the accuracy may be reduced.
【００４４】しかし、３次元形状を再構成する際のアル
ゴリズムによる最適化処理によって視覚的な補正を行
い、ほぼ正確な３次元形状の形成を実現することが可能
である。However, it is possible to perform a visual correction by an optimization process based on an algorithm for reconstructing a three-dimensional shape, thereby realizing an almost accurate three-dimensional shape.
【００４５】上の実施形態によると、簡単な構成によっ
て３次元データの生成が可能である。対応点探索用とカ
ラーマッピング用の撮像素子を１つの撮像素子１２ｂで
兼ねるので、構成が簡易であるとともに、２次元画像と
３次元データとの対応関係が既知となり、カラーマッピ
ングの際の位置合わせが容易である。また、３次元デー
タの再構成の際に必要な画像入力部１２，１３間の位置
関係を求めるキャリブレーションについても、撮像素子
の個数が少ない分だけその手間を軽減することができ
る。 〔第２の実施形態〕図８は本発明の第２の実施形態によ
る撮像素子１２Ｂｂ，１３Ｂｂの画素構成の例を示す図
である。According to the above embodiment, three-dimensional data can be generated with a simple configuration. Since the image pickup device for searching for the corresponding point and the image pickup device for color mapping are shared by one image pickup device 12b, the configuration is simple, and the correspondence between the two-dimensional image and the three-dimensional data is known, so that the alignment at the time of color mapping is performed. Is easy. Also, in the calibration for obtaining the positional relationship between the image input units 12 and 13 required at the time of reconstructing the three-dimensional data, the trouble can be reduced by the small number of the imaging elements. [Second Embodiment] FIG. 8 is a diagram showing an example of a pixel configuration of image sensors 12Bb and 13Bb according to a second embodiment of the present invention.
【００４６】第２の実施形態において、多眼入力カメラ
５Ｂ及び３次元データ生成装置１の構成は、基本的には
第１の実施形態と同一である。多眼入力カメラ５Ｂの相
違点は次のとおりである。In the second embodiment, the configurations of the multi-view input camera 5B and the three-dimensional data generator 1 are basically the same as those of the first embodiment. The differences of the multi-view input camera 5B are as follows.
【００４７】すなわち、第１の実施形態では、撮像素子
１２ｂ，１３ｂは、一方がカラーＣＣＤであり他方がモ
ノクロＣＣＤであるという違いはあるものの、解像度は
同じである。これに対して、第２の実施形態において
は、カラーＣＣＤである一方の撮像素子１２Ｂｂの解像
度が、モノクロＣＣＤである他方の撮像素子１３Ｂｂの
解像度よりも高い。具体的には、撮像素子１２Ｂｂの解
像度は撮像素子１３Ｂｂの解像度の４倍である。しか
し、他の適当な倍数の解像度のものを用いることが可能
である。That is, in the first embodiment, the image sensors 12b and 13b have the same resolution, although one is a color CCD and the other is a monochrome CCD. In contrast, in the second embodiment, the resolution of one image sensor 12Bb, which is a color CCD, is higher than the resolution of the other image sensor 13Bb, which is a monochrome CCD. Specifically, the resolution of the image sensor 12Bb is four times the resolution of the image sensor 13Bb. However, other suitable multiple resolutions can be used.
【００４８】図８に示すように、モノクロＣＣＤの撮像
素子１３Ｂｂの１つの画素は、カラーＣＣＤの撮像素子
１２Ｂｂの４つの画素に対応する。したがって、カラー
ＣＣＤの４つの画素、つまり、Ｒ，Ｇ，Ｇ，Ｂの各色の
画像データから、補間を行うことなく、モノクロＣＣＤ
の１つの画素の輝度値に対応する輝度値を正確に求める
ことができる。これにより、第１の実施形態の場合と比
較して、対応点探索をより一層正確に行うことができ、
信頼性の高い３次元形状を再構成することができる。As shown in FIG. 8, one pixel of the monochrome CCD image sensor 13Bb corresponds to four pixels of the color CCD image sensor 12Bb. Therefore, a monochrome CCD can be obtained from the four pixels of the color CCD, that is, image data of each of R, G, G, and B without performing interpolation.
The luminance value corresponding to the luminance value of one pixel can be accurately obtained. As a result, the corresponding point search can be performed more accurately than in the case of the first embodiment,
A highly reliable three-dimensional shape can be reconstructed.
【００４９】なお、モノクロＣＣＤの１つの画素の輝度
値に対応するカラーＣＣＤの輝度値を求める方法とし
て、第１の実施形態で示したように、カラーＣＣＤの各
画素毎の輝度値を求め、４つの画素の輝度値を所定の割
合で加算してもよい。この場合でも、補間を行う必要が
ないので、輝度値を正確に求めることができ、対応点探
索をより一層正確に行うことができる。As a method of obtaining the luminance value of the color CCD corresponding to the luminance value of one pixel of the monochrome CCD, as shown in the first embodiment, the luminance value of each pixel of the color CCD is obtained. The luminance values of the four pixels may be added at a predetermined ratio. Even in this case, since it is not necessary to perform interpolation, the luminance value can be accurately obtained, and the corresponding point search can be performed more accurately.
【００５０】ここで、カラーマッピングの方法について
説明する。図９は３次元データ生成装置１によって再構
成された３次元形状ＱＦ１の例を示す図、図１０及び図
１１は３次元形状ＱＦを形成するポリゴンＰＧと各点に
対応するカラーマッピング用の２次元画像（以下、「マ
ッピング画像ＱＭ」ということがある）との関係を示す
図である。なお、図１０はマッピング画像ＱＭ２が低解
像度である場合を、図１１はマッピング画像ＱＭ３が高
解像度である本実施形態の場合を、それぞれ示す。Here, a method of color mapping will be described. FIG. 9 is a diagram showing an example of a three-dimensional shape QF1 reconstructed by the three-dimensional data generation device 1. FIGS. 10 and 11 show a polygon PG forming the three-dimensional shape QF and two color mappings corresponding to each point. FIG. 3 is a diagram illustrating a relationship with a dimensional image (hereinafter, sometimes referred to as a “mapping image QM”). FIG. 10 shows the case where the mapping image QM2 has a low resolution, and FIG. 11 shows the case where the mapping image QM3 has a high resolution.
【００５１】図９において、黒丸で示す各点１，２，３
…は、３次元形状ＱＦ１を構成する点、つまり各点の３
次元データである。いずれか３つの点によって、ポリゴ
ンＰＧがそれぞれ形成される。In FIG. 9, points 1, 2, 3 indicated by black circles
... are the points constituting the three-dimensional shape QF1, that is, the three points of each point
It is dimensional data. Each of the three points forms a polygon PG.
【００５２】さて、３次元形状ＱＦの各点は、撮像素子
１２Ｂｂ，１３Ｂｂに入力される２つの２次元画像の対
応に基づいて求められるが、その際に用いた点の色情報
を用いることにより、３次元形状ＱＦの各ポリゴンＰＧ
に対するカラーマッピングを行うことができる。Each point of the three-dimensional shape QF is obtained based on the correspondence between the two two-dimensional images input to the image pickup devices 12Bb and 13Bb, and is obtained by using the color information of the point used at that time. , Each polygon PG of three-dimensional shape QF
Color mapping can be performed.
【００５３】図１０において、３次元形状ＱＦ２のポリ
ゴンＰＧ２に対するカラーマッピングについて説明す
る。ポリゴンＰＧ２を形成する各点「１」「２」「３」
は、マッピング画像ＱＭ２の画像「４」「５」「６」に
それぞれ対応する。したがって、ポリゴンＰＧ２には、
図に示すようにそれら３つの画像が貼り付けられる。Referring to FIG. 10, color mapping of the three-dimensional shape QF2 to the polygon PG2 will be described. Each point "1""2""3" forming the polygon PG2
Correspond to the images “4”, “5”, and “6” of the mapping image QM2, respectively. Therefore, the polygon PG2 has
The three images are pasted as shown in the figure.
【００５４】図１１において、３次元形状ＱＦ３のポリ
ゴンＰＧ３に対するカラーマッピングについて説明す
る。ポリゴンＰＧ３を形成する各点「１」「２」「３」
は、マッピング画像ＱＭ３の画像「４」「５」「６」に
それぞれ対応する。これらの画像は、それぞれ４つの画
素からなり、したがって画像の解像度が高い。ポリゴン
ＰＧ３には、図に示すようにそれら３つの画像が貼り付
けられるが、各画像の解像度が高いので、ポリゴンＰＧ
３にカラーマッピングされた画像の解像度は、図１０の
場合よりも高くなっていることが分かる。Referring to FIG. 11, color mapping of the three-dimensional shape QF3 to the polygon PG3 will be described. Each point "1""2""3" forming the polygon PG3
Correspond to the images "4", "5", and "6" of the mapping image QM3, respectively. These images are each composed of four pixels and therefore have a high image resolution. The three images are pasted on the polygon PG3 as shown in the figure.
It can be seen that the resolution of the image color-mapped to 3 is higher than in FIG.
【００５５】つまり、本実施形態のように、カラーＣＣ
Ｄの解像度をモノクロＣＣＤの解像度よりも高くするこ
とによって、解像度の高いマッピング画像ＱＭを得るこ
とができ、これによって、３次元形状ＱＦに高解像度の
画像をマッピングすることができる。したがって、カラ
ーマッピングされた３次元形状ＱＦの視覚効果が高い。
例えば、３次元形状ＱＦの精度が悪い場合、又は３次元
形状ＱＦに欠陥がある場合であっても、高解像度のマッ
ピング画像ＱＭによって視覚的には良好なものとするこ
とが可能である。 〔第３の実施形態〕図１２は本発明の第３の実施形態に
よる画像入力部１２Ｃの構成を示す図、図１３は画像入
力部１３Ｃの構成を示す図である。That is, as in the present embodiment, the color CC
By setting the resolution of D higher than the resolution of the monochrome CCD, a high-resolution mapping image QM can be obtained, whereby a high-resolution image can be mapped on the three-dimensional shape QF. Therefore, the visual effect of the color-mapped three-dimensional shape QF is high.
For example, even when the accuracy of the three-dimensional shape QF is poor or when the three-dimensional shape QF has a defect, it is possible to visually improve the high-resolution mapping image QM. [Third Embodiment] FIG. 12 is a diagram showing a configuration of an image input unit 12C according to a third embodiment of the present invention, and FIG. 13 is a diagram showing a configuration of an image input unit 13C.
【００５６】第３の実施形態において、多眼入力カメラ
５Ｃ及び３次元データ生成装置１の構成は、基本的には
第１の実施形態と同一である。多眼入力カメラ５Ｃの相
違点は次のとおりである。In the third embodiment, the configurations of the multi-view input camera 5C and the three-dimensional data generator 1 are basically the same as those of the first embodiment. The differences of the multi-view input camera 5C are as follows.
【００５７】すなわち、第１の実施形態では、撮像素子
１２ｂとして単板式カラーＣＣＤが用いられているが、
第３の実施形態においては、撮像素子１２Ｃｂとして、
図１２に示すような多板式カラーＣＣＤが用いられる。That is, in the first embodiment, a single-chip color CCD is used as the image sensor 12b.
In the third embodiment, as the image sensor 12Cb,
A multi-plate color CCD as shown in FIG. 12 is used.
【００５８】図１２において、画像入力部１２Ｃは、撮
影レンズ１２Ｃａ、プリズム１２１、Ｒ成分を反射する
フィルタ１２２、Ｇ成分のみを反射するフィルタ１２
３、及び、Ｒ，Ｇ，Ｂの各色用の撮像素子１２ＣｂＲ，
１２ＣｂＧ，１２ＣｂＢを備える。In FIG. 12, an image input section 12C includes a photographing lens 12Ca, a prism 121, a filter 122 for reflecting the R component, and a filter 12 for reflecting only the G component.
3, and the image sensor 12CbR for each color of R, G, B,
12CbG and 12CbB are provided.
【００５９】撮影レンズ１２Ｃａを通過してプリズム１
２１に入射した光ＬＬは、まず、フィルタ１２２により
光路が分けられる。光ＬＬのＲ成分は、プリズム１２１
で反射し、撮像素子１２ＣｂＲにより受光される。Ｇ成
分は、フィルタ１２２を透過し且つフィルタ１２３で反
射し、撮像素子１２ＣｂＧにより受光される。Ｂ成分
は、フィルタ１２２及び１２３を透過し、撮像素子１２
ＣｂＢにより受光される。After passing through the photographing lens 12Ca, the prism 1
First, the light path of the light LL incident on 21 is divided by the filter 122. The R component of the light LL is
And is received by the image sensor 12CbR. The G component transmits through the filter 122 and reflects on the filter 123, and is received by the image sensor 12CbG. The B component passes through the filters 122 and 123 and
Light is received by CbB.
【００６０】図１３において、画像入力部１３Ｃは、撮
影レンズ１３Ｃａ、モノクロＣＣＤである撮像素子１３
Ｃｂを備える。なお、画像入力部１３Ｃの構成は、第１
及び第２の実施形態の画像入力部１３、１３Ｂの構成と
同一である。In FIG. 13, an image input unit 13C includes a photographing lens 13Ca and an image pickup device 13 which is a monochrome CCD.
Cb. The configuration of the image input unit 13C is the first
The configuration is the same as that of the image input units 13 and 13B of the second embodiment.
【００６１】各撮像素子１２ＣｂＲ，１２ＣｂＧ，１２
ＣｂＢの解像度と、撮像素子１３Ｃｂの解像度とは同じ
である。つまり、各カラーＣＣＤにおけるＲ，Ｇ，Ｂの
各色成分の１つの画素は、モノクロＣＣＤの１つの画素
と同じ大きさである。Each image sensor 12CbR, 12CbG, 12
The resolution of CbB is the same as the resolution of the image sensor 13Cb. That is, one pixel of each color component of R, G, and B in each color CCD has the same size as one pixel of the monochrome CCD.
【００６２】したがって、画像入力部１２Ｃにおいて、
各画素の輝度は、撮像素子１２ＣｂＲ，１２ＣｂＧ，１
２ＣｂＢの各画素のＲ，Ｇ，Ｂの画像データから上の
（１）式により求めることができる。つまり、補間を行
うことなく、モノクロＣＣＤの１つの画素の輝度値に対
応する輝度値を正確に求めることができる。これによ
り、対応点探索をより一層正確に行うことができ、信頼
性の高い３次元形状を再構成することができる。また、
画像入力部１２Ｃにより得られるマッピング画像ＱＭに
ついても、その色情報が補間によることなく完全な色情
報を求めることができ、視覚的効果が良好である。 〔第４の実施形態〕図１４は本発明の第４の実施形態に
よる撮像素子１２Ｄｂ，１３Ｄｂの画素構成の例を示す
図である。Therefore, in the image input unit 12C,
The brightness of each pixel is represented by the image sensors 12CbR, 12CbG, 1
It can be obtained from the R, G, B image data of each pixel of 2CbB by the above equation (1). That is, the luminance value corresponding to the luminance value of one pixel of the monochrome CCD can be accurately obtained without performing interpolation. As a result, the corresponding point search can be performed more accurately, and a highly reliable three-dimensional shape can be reconstructed. Also,
As for the mapping image QM obtained by the image input unit 12C, complete color information can be obtained without interpolation of the color information, and the visual effect is good. [Fourth Embodiment] FIG. 14 is a diagram showing an example of the pixel configuration of image sensors 12Db and 13Db according to a fourth embodiment of the present invention.
【００６３】第４の実施形態において、多眼入力カメラ
５Ｄ及び３次元データ生成装置１の構成は、基本的には
第１及び第３の実施形態と同一である。多眼入力カメラ
５Ｄの第３の実施形態との相違点は次のとおりである。In the fourth embodiment, the configurations of the multi-view input camera 5D and the three-dimensional data generator 1 are basically the same as those of the first and third embodiments. The differences of the multi-view input camera 5D from the third embodiment are as follows.
【００６４】すなわち、第３の実施形態では、カラーＣ
ＣＤとモノクロＣＣＤとは解像度が同じである。これに
対して、第４の実施形態においては、カラーＣＣＤであ
る撮像素子１２ＤｂＲ，１２ＤｂＧ，１２ＤｂＢの解像
度は、モノクロＣＣＤである撮像素子１３Ｄｂの解像度
よりも高い。That is, in the third embodiment, the color C
The CD and the monochrome CCD have the same resolution. On the other hand, in the fourth embodiment, the resolution of the image sensors 12DbR, 12DbG, and 12DbB, which are color CCDs, is higher than the resolution of the image sensor 13Db, which is a monochrome CCD.
【００６５】図１４に示すように、モノクロＣＣＤであ
る撮像素子１３Ｄｂの１画素が、カラーＣＣＤである撮
像素子１２ＤｂＲ，１２ＤｂＧ，１２ＤｂＢの複数の画
素領域（本実施形態においては４画素の領域）にまたが
っている。したがって、モノクロＣＣＤの１画素に対応
するカラーＣＣＤによる輝度値は、複数個の画素の平均
値などにより正確に求めることができる。As shown in FIG. 14, one pixel of the image sensor 13Db, which is a monochrome CCD, is divided into a plurality of pixel areas (four pixel areas in this embodiment) of the image sensors 12DbR, 12DbG, 12DbB, which are color CCDs. Straddles. Therefore, the luminance value of the color CCD corresponding to one pixel of the monochrome CCD can be accurately obtained from the average value of a plurality of pixels.
【００６６】そして、撮像素子１２ＤｂＲ，１２Ｄｂ
Ｇ，１２ＤｂＢによって、解像度の高いマッピング画像
ＱＭを得ることができ、これによって高解像度の画像を
マッピングすることができる。 〔第５の実施形態〕図１５は本発明の第５の実施形態に
よる多眼入力カメラ５Ｅの構成を示すブロック図であ
る。Then, the image pickup devices 12DbR, 12Db
With G, 12DbB, a high-resolution mapping image QM can be obtained, and thereby a high-resolution image can be mapped. [Fifth Embodiment] FIG. 15 is a block diagram showing a configuration of a multi-view input camera 5E according to a fifth embodiment of the present invention.
【００６７】図１５において、多眼入力カメラ５Ｅは、
画像入力部１２Ｅ，１３Ｅ及び処理回路１５Ｅなどから
なる。画像入力部１２Ｅには、撮影レンズ１２Ｅａ、フ
ィルタ１２５、及び、２つの撮像素子１２ＥｂＣ，１２
ＥｂＫが設けられる。画像入力部１３Ｅには、撮影レン
ズ１３Ｅａ、モノクロＣＣＤである撮像素子１３Ｅｂが
設けられる。画像入力部１３Ｅの構成は、第１乃至第４
の実施形態の画像入力部１３〜１３Ｄの構成と同一であ
る。In FIG. 15, a multi-view input camera 5E is
It comprises image input sections 12E and 13E, a processing circuit 15E and the like. The image input unit 12E includes a photographing lens 12Ea, a filter 125, and two image sensors 12EbC and 12EbC.
EbK is provided. The image input unit 13E is provided with a photographing lens 13Ea and an image sensor 13Eb which is a monochrome CCD. The configuration of the image input unit 13E includes first to fourth
This is the same as the configuration of the image input units 13 to 13D of the embodiment.
【００６８】撮像素子１２ＥｂＣとして、図６（ａ）に
示す撮像素子１２ｂと同じ単板式カラーＣＣＤが用いら
れる。したがって、撮像素子１２ＥｂＣは、モノクロＣ
ＣＤである撮像素子１２ＥｂＫ，１３Ｅｂと解像度が同
じであって、１枚のＣＣＤ面上に、Ｒ，Ｇ，Ｂの各色の
画素が割り当てられており、１つの画素からは１色のみ
の画像データが得られる。撮像素子１２ＥｂＫ，１３Ｅ
ｂとして、図６（ｂ）に示す撮像素子１３ｂと同じモノ
クロＣＣＤが用いられる。As the image sensor 12EbC, the same single-plate color CCD as the image sensor 12b shown in FIG. 6A is used. Therefore, the image sensor 12EbC is a monochrome C
The resolution is the same as that of the imaging devices 12EbK and 13Eb, which are CDs. Pixels of each color of R, G, and B are allocated on one CCD surface, and image data of only one color is obtained from one pixel. Is obtained. Image sensor 12EbK, 13E
As b, the same monochrome CCD as the image sensor 13b shown in FIG. 6B is used.
【００６９】フィルタ１２５は、撮影レンズ１２Ｅａに
入射した光を２つの光路に分け、カラーＣＣＤである撮
像素子１２ＥｂＣ及びモノクロＣＣＤである撮像素子１
２ＥｂＫに導く。撮像素子１２ＥｂＣにより得られる２
次元画像はカラーマッピング用に用いられ、撮像素子１
２ＥｂＫにより得られる２次元画像は対応点探索用とし
て用いられる。また、撮像素子１３Ｅｂにより得られる
２次元画像は対応点探索用として用いられる。The filter 125 divides the light incident on the photographing lens 12Ea into two optical paths, and forms an image sensor 12EbC which is a color CCD and an image sensor 1 which is a monochrome CCD.
Lead to 2EbK. 2 obtained by the imaging device 12EbC
The two-dimensional image is used for color mapping, and the image sensor 1
The two-dimensional image obtained by 2EbK is used for corresponding point search. The two-dimensional image obtained by the image sensor 13Eb is used for searching for a corresponding point.
【００７０】つまり、対応点探索用として、モノクロＣ
ＣＤである撮像素子１２ＥｂＫ，１３Ｅｂが用いられ、
これとは別に、カラーマッピング用として単板式カラー
ＣＣＤである撮像素子１２ＥｂＣが用いられる。That is, the monochrome C
The imaging devices 12EbK and 13Eb which are CDs are used,
Separately, an image sensor 12EbC, which is a single-chip color CCD, is used for color mapping.
【００７１】処理回路１５Ｅには、各撮像素子１２Ｅｂ
Ｃ，１２ＥｂＫ，１３Ｅｂから出力される画像データを
それぞれ格納するためのメモリ１５２Ｃ，１５２Ｋ，１
５３が設けられる。ＣＰＵ１５１は、これらメモリ１５
２Ｃ，１５２Ｋ，１５３に格納された画像データなどを
処理し、対応点探索、３次元形状ＱＦの生成、カラーマ
ッピングなどのための処理を行う。The processing circuit 15E includes each image sensor 12Eb.
C, 12EbK, and memories 152C, 152K, and 1 for storing image data output from 13Eb, respectively.
53 are provided. The CPU 151 controls the memory 15
The image data stored in 2C, 152K, and 153 are processed, and processing for searching for corresponding points, generating a three-dimensional shape QF, and performing color mapping is performed.
【００７２】本実施形態においては、モノクロＣＣＤか
らなって解像度が同じである２つの撮像素子１２Ｅｂ
Ｋ，１３Ｅｂにより得られた２次元画像によって対応点
探索が行われるので、信頼性の高い理想的な対応点探索
が行われ、３次元形状ＱＦを正確に再構成することがで
きる。 〔第６の実施形態〕第６の実施形態において、多眼入力
カメラ５Ｆ及び３次元データ生成装置１の構成は、基本
的には第５の実施形態と同一である。多眼入力カメラ５
Ｆの相違点は次のとおりである。In the present embodiment, two image pickup devices 12Eb which are composed of monochrome CCDs and have the same resolution
Since the corresponding point search is performed using the two-dimensional image obtained by K and 13Eb, a highly reliable ideal corresponding point search is performed, and the three-dimensional shape QF can be accurately reconstructed. [Sixth Embodiment] In the sixth embodiment, the configurations of the multi-view input camera 5F and the three-dimensional data generation device 1 are basically the same as those of the fifth embodiment. Multi-view input camera 5
The differences of F are as follows.
【００７３】すなわち、第５の実施形態では、カラーＣ
ＣＤの解像度とモノクロＣＣＤの解像度とは同じである
が、第６の実施形態においては、カラーＣＣＤの解像度
が、モノクロＣＣＤの解像度よりも高い。具体的には、
例えば、図８に示すカラーＣＣＤである撮像素子１２Ｂ
ｂとモノクロＣＣＤである撮像素子１３Ｂｂとの関係で
ある。That is, in the fifth embodiment, the color C
Although the resolution of the CD is the same as the resolution of the monochrome CCD, in the sixth embodiment, the resolution of the color CCD is higher than the resolution of the monochrome CCD. In particular,
For example, the image sensor 12B which is a color CCD shown in FIG.
b and the image sensor 13Bb which is a monochrome CCD.
【００７４】つまり、第６の実施形態の多眼入力カメラ
５Ｆは、第５の実施形態の多眼入力カメラ５Ｅの特徴と
第２の実施形態の多眼入力カメラ５Ｂの特徴とを組み合
わせたものということができる。That is, the multiview input camera 5F of the sixth embodiment is a combination of the features of the multiview input camera 5E of the fifth embodiment and the features of the multiview input camera 5B of the second embodiment. It can be said.
【００７５】したがって、第６の実施形態によると、解
像度の高いマッピング画像ＱＭを得ることができ、３次
元形状ＱＦに高解像度の画像をマッピングすることがで
きる。したがって、カラーマッピングされた３次元形状
ＱＦの視覚効果が高くなるという効果を奏する。 〔第７の実施形態〕第７の実施形態において、多眼入力
カメラ５Ｇ及び３次元データ生成装置１の構成は、基本
的には第５の実施形態と同一である。多眼入力カメラ５
Ｇの相違点は次のとおりである。Therefore, according to the sixth embodiment, a high-resolution mapping image QM can be obtained, and a high-resolution image can be mapped on the three-dimensional shape QF. Therefore, the visual effect of the color-mapped three-dimensional shape QF is enhanced. [Seventh Embodiment] In the seventh embodiment, the configurations of the multi-view input camera 5G and the three-dimensional data generation device 1 are basically the same as those of the fifth embodiment. Multi-view input camera 5
G is as follows.
【００７６】すなわち、第５の実施形態では、単板式カ
ラーＣＣＤが用いられているが、第６の実施形態におい
ては、図１２に示すような多板式カラーＣＣＤが用いら
れる。That is, in the fifth embodiment, a single-chip color CCD is used, but in the sixth embodiment, a multi-chip color CCD as shown in FIG. 12 is used.
【００７７】つまり、第７の実施形態の多眼入力カメラ
５Ｇは、第５の実施形態の多眼入力カメラ５Ｅの特徴と
第３の実施形態の多眼入力カメラ５Ｃの特徴とを組み合
わせたものということができる。That is, the multiview input camera 5G of the seventh embodiment combines the features of the multiview input camera 5E of the fifth embodiment with the features of the multiview input camera 5C of the third embodiment. It can be said.
【００７８】したがって、第７の実施形態によると、補
間を行うことなく、モノクロＣＣＤの１つの画素の輝度
値に対応する輝度値を正確に求めることができ、これに
よって、対応点探索をより一層正確に行うことができ、
信頼性の高い３次元形状を再構成することができる。 〔第８の実施形態〕第８の実施形態において、多眼入力
カメラ５Ｈ及び３次元データ生成装置１の構成は、基本
的には第７の実施形態と同一である。多眼入力カメラ５
Ｈの相違点は次のとおりである。Therefore, according to the seventh embodiment, the luminance value corresponding to the luminance value of one pixel of the monochrome CCD can be accurately obtained without performing the interpolation, whereby the corresponding point search can be further performed. Can be done exactly,
A highly reliable three-dimensional shape can be reconstructed. [Eighth Embodiment] In the eighth embodiment, the configurations of the multi-view input camera 5H and the three-dimensional data generation device 1 are basically the same as those of the seventh embodiment. Multi-view input camera 5
The differences between H are as follows.
【００７９】すなわち、第７の実施形態では、多板式カ
ラーＣＣＤとモノクロＣＣＤとは解像度が同じである。
これに対して、第８の実施形態においては、多板式カラ
ーＣＣＤの解像度は、モノクロＣＣＤの解像度よりも高
い。That is, in the seventh embodiment, the resolution of the multi-plate type color CCD and that of the monochrome CCD are the same.
On the other hand, in the eighth embodiment, the resolution of the multi-plate color CCD is higher than the resolution of the monochrome CCD.
【００８０】つまり、第８の実施形態の多眼入力カメラ
５Ｈは、第７の実施形態の多眼入力カメラ５Ｇの特徴と
第４の実施形態の多眼入力カメラ５Ｄの特徴とを組み合
わせたものということができる。That is, the multiview input camera 5H of the eighth embodiment combines the features of the multiview input camera 5G of the seventh embodiment with the features of the multiview input camera 5D of the fourth embodiment. It can be said.
【００８１】したがって、第８の実施形態によると、モ
ノクロＣＣＤの１画素に対応する多板式カラーＣＣＤに
よる輝度値は、複数個の画素の平均値などにより正確に
求めることができる。そして、多板式カラーＣＣＤによ
って、解像度の高いマッピング画像ＱＭを得ることがで
き、これによって高解像度の画像をマッピングすること
ができる。Therefore, according to the eighth embodiment, the luminance value of a multi-plate color CCD corresponding to one pixel of a monochrome CCD can be accurately obtained from the average value of a plurality of pixels. Then, a high resolution mapping image QM can be obtained by the multi-plate type color CCD, and thereby a high resolution image can be mapped.
【００８２】上に述べた各実施形態によると、複数の画
像入力部のうち、１つの画像入力部のみについて、画像
品質に関する仕様が他の画像入力部とは異なるように構
成することにより、簡単な構成によって、撮影をワンシ
ョットで行った後、対応点探索とカラーマッピングとの
両方に用いることのできる２次元画像を同時に得ること
ができる。According to each of the above-described embodiments, only one of the plurality of image input units is configured so that the specifications regarding the image quality are different from those of the other image input units. With such a configuration, a two-dimensional image that can be used for both the corresponding point search and the color mapping can be obtained at the same time after one-shot shooting.
【００８３】以上、８つの実施形態について説明した。
それぞれの実施形態による効果について、説明の一部を
省略したが、関連する他の実施形態の効果を考えれば明
らかである。また、これらの実施形態を種々組み合わせ
ることも可能である。The eight embodiments have been described above.
Although a part of the description of the effects of the respective embodiments is omitted, it is apparent from the effects of other related embodiments. Also, various combinations of these embodiments are possible.
【００８４】上に述べた実施形態においては、２次元画
像として静止画を入力した場合について説明したが、２
次元画像として動画を入力する場合にも同様に適用する
ことが可能である。その他、情報処理装置４、多眼入力
カメラ５〜５Ｈ、３次元データ生成装置１の全体又は各
部の構成、形状、材質、処理内容及び順序などは、本発
明の趣旨に沿って適宜変更することができる。In the embodiment described above, a case where a still image is input as a two-dimensional image has been described.
The same applies to the case where a moving image is input as a two-dimensional image. In addition, the configuration, shape, material, processing content, order, and the like of the entire information processing device 4, the multi-view input cameras 5 to 5H, and the three-dimensional data generation device 1 or each unit may be appropriately changed according to the spirit of the present invention. Can be.
【００８５】[0085]
【発明の効果】本発明によると、３次元データのための
２次元画像及びカラーマッピングのための２次元画像を
１回の撮影によって同時に取得することができ、しかも
構成の簡単な多眼式データ入力装置を提供することがで
きる。According to the present invention, a two-dimensional image for three-dimensional data and a two-dimensional image for color mapping can be simultaneously acquired by one photographing, and multi-view data having a simple structure can be obtained. An input device can be provided.
【００８６】請求項２の発明によると、構成が一層簡単
である。請求項３，５，７，９の発明によると、解像度
の高いマッピング画像を得ることができ、カラーマッピ
ングされた３次元形状の視覚効果を高めることが可能で
ある。According to the second aspect of the present invention, the structure is simpler. According to the third, fifth, seventh, and ninth aspects of the present invention, it is possible to obtain a high-resolution mapping image, and to enhance the visual effect of a color-mapped three-dimensional shape.
【００８７】請求項３〜９の発明によると、対応点探索
に必要な輝度値を補間を行うことなく正確に求めること
ができる。請求項５〜９の発明によると、信頼性の高い
理想的な対応点探索が行われ、３次元形状を正確に再構
成することが可能となる。According to the third to ninth aspects of the present invention, it is possible to accurately obtain a luminance value required for a corresponding point search without performing interpolation. According to the fifth to ninth aspects of the present invention, a highly reliable ideal corresponding point search is performed, and a three-dimensional shape can be accurately reconstructed.
【図１】本発明の第１の実施形態を示す多眼入力カメラ
の斜視図である。FIG. 1 is a perspective view of a multi-view input camera according to a first embodiment of the present invention.
【図２】多眼入力カメラを含んだ３次元データ生成装置
の構成の例を示す図である。FIG. 2 is a diagram illustrating an example of a configuration of a three-dimensional data generation device including a multi-view input camera.
【図３】多眼入力カメラを用いて被写体を撮影する際の
様子を概念的に示す図である。FIG. 3 is a diagram conceptually showing a situation when a subject is photographed using a multi-view input camera.
【図４】対応点探索の概念を説明するための図である。FIG. 4 is a diagram for explaining a concept of a corresponding point search.
【図５】多眼入力カメラの構成を示すブロック図であ
る。FIG. 5 is a block diagram illustrating a configuration of a multi-view input camera.
【図６】撮像素子の画素構成の例を示す図である。FIG. 6 is a diagram illustrating an example of a pixel configuration of an image sensor.
【図７】単板式カラーＣＣＤの各色の画素を抜き出して
示す図である。FIG. 7 is a diagram illustrating extracted pixels of each color of a single-plate color CCD.
【図８】本発明の第２の実施形態による撮像素子の画素
構成の例を示す図である。FIG. 8 is a diagram illustrating an example of a pixel configuration of an image sensor according to a second embodiment of the present invention.
【図９】３次元データ生成装置によって再構成された３
次元形状の例を示す図である。FIG. 9 shows 3 reconstructed by the three-dimensional data generating apparatus.
It is a figure showing an example of a three-dimensional shape.
【図１０】ポリゴンと低解像度のマッピング画像との関
係を示す図である。FIG. 10 is a diagram illustrating a relationship between a polygon and a low-resolution mapping image.
【図１１】ポリゴンと高解像度のマッピング画像との関
係を示す図である。FIG. 11 is a diagram illustrating a relationship between a polygon and a high-resolution mapping image.
【図１２】本発明の第３の実施形態による画像入力部の
構成を示す図である。FIG. 12 is a diagram illustrating a configuration of an image input unit according to a third embodiment of the present invention.
【図１３】画像入力部の構成を示す図である。FIG. 13 is a diagram illustrating a configuration of an image input unit.
【図１４】本発明の第４の実施形態による撮像素子の画
素構成の例を示す図である。FIG. 14 is a diagram illustrating an example of a pixel configuration of an image sensor according to a fourth embodiment of the present invention.
【図１５】本発明の第５の実施形態による多眼入力カメ
ラの構成を示すブロック図である。FIG. 15 is a block diagram showing a configuration of a multi-view input camera according to a fifth embodiment of the present invention.
１ ３次元データ生成装置 ５〜５Ｈ 多眼入力カメラ（多眼式データ入力装置） １２ 画像入力部（１つの画像入力部） １３ 画像入力部（他の画像入力部） １２ｂ 撮像素子（単板式の撮像素子） １２Ｂｂ 撮像素子（高解像度の単板式の撮像素子） １２Ｃｂ 撮像素子（多板式の撮像素子） １２Ｄｂ 撮像素子（高解像度の多板式の撮像素子） １２ＥｂＣ 撮像素子（単板式の撮像素子） １２ＥｂＫ 撮像素子（モノクロの２次元画像を取得す
る撮像素子） １３ｂ，１３Ｂｂ，１３Ｃｂ，１３Ｄｂ，１３Ｅｂ，１
３Ｆｂ，１３Ｇｂ，１ ３Ｈｂ 撮像素子（モノクロの２次元画像を取得する撮
像素子） １５１ ＣＰＵ（算出部） Ｑ 被写体 ＱＬ，ＱＲ ２次元画像DESCRIPTION OF SYMBOLS 1 3D data generation apparatus 5-5H Multi-view input camera (multi-view data input apparatus) 12 Image input section (one image input section) 13 Image input section (other image input sections) 12b Image sensor (single board type) 12Bb Image sensor (high-resolution single-chip image sensor) 12Cb Image sensor (multi-chip image sensor) 12Db Image sensor (high-resolution multi-chip image sensor) 12EbC Image sensor (single-chip image sensor) 12EbK Image sensor (image sensor for acquiring monochrome two-dimensional image) 13b, 13Bb, 13Cb, 13Db, 13Eb, 1
3Fb, 13Gb, 13Hb Image sensor (image sensor for acquiring monochrome two-dimensional image) 151 CPU (calculator) Q Subject QL, QR Two-dimensional image
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 9/09 Ｇ０６Ｆ 15/64 ３１０ ５Ｃ０６５ (72)発明者 広瀬 悟 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 2F065 AA04 AA06 BB05 CC16 DD06 FF05 GG10 HH02 JJ03 JJ05 JJ26 LL12 LL21 LL30 QQ24 2F112 AC06 BA05 CA08 CA12 FA03 FA21 2H059 AA08 5B047 AA07 AB02 AB04 BB04 BC01 BC23 5C061 AA20 AA25 AB06 AB08 5C065 AA03 BB48 CC01 CC08 DD02 DD19 EE01 EE05 EE06 GG30──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) // H04N 9/09 G06F 15/64 310 5C065 (72) Inventor Satoru Hirose Azuchi-cho, Chuo-ku, Osaka-shi, Osaka No. 2-313 Osaka International Building Minolta Co., Ltd. F-term (reference) 2F065 AA04 AA06 BB05 CC16 DD06 FF05 GG10 HH02 JJ03 JJ05 JJ26 LL12 LL21 LL30 QQ24 2F112 AC06 BA05 CA08 CA12 FA03 FA21 2H059 AA08 5B0AB AB07A04 BC 5C061 AA20 AA25 AB06 AB08 5C065 AA03 BB48 CC01 CC08 DD02 DD19 EE01 EE05 EE06 GG30
Claims (10)
視点位置から入力する複数の画像入力部を有してなる多
眼式データ入力装置であって、 前記複数の画像入力部のうちの１つの画像入力部が、画
像品質に関する仕様が他の画像入力部とは異なるように
構成されている、ことを特徴とする多眼式データ入力装
置。1. A multi-view data input device comprising a plurality of image input units for inputting a two-dimensional image of a subject from a plurality of different viewpoint positions, wherein one of the plurality of image input units A multi-view data input device, wherein one image input unit is configured so that specifications regarding image quality are different from those of the other image input units.
タを有してカラーの２次元画像を取得することのできる
単板式の撮像素子が設けられ、 前記他の画像入力部には、モノクロの２次元画像を取得
する撮像素子が設けられ、 てなる請求項１記載の多眼式データ入力装置。2. The image input device according to claim 1, wherein the one image input unit is provided with a single-chip image sensor having a color filter and capable of acquiring a color two-dimensional image. The multi-view data input device according to claim 1, further comprising an imaging element configured to acquire the two-dimensional image.
子は、前記他の画像入力部に設けられた撮像素子よりも
高解像度である、 請求項２記載の多眼式データ入力装置。3. The multi-view data input device according to claim 2, wherein an image sensor provided in said one image input unit has a higher resolution than an image sensor provided in said another image input unit.
タを有してカラーの２次元画像を取得することのできる
多板式の撮像素子が設けられ、 前記他の画像入力部には、モノクロの２次元画像を取得
する撮像素子が設けられ、 てなる請求項１記載の多眼式データ入力装置。4. A multi-chip image sensor having a color filter and capable of acquiring a color two-dimensional image is provided in the one image input unit, and the other image input unit is provided with a monochrome image sensor. The multi-view data input device according to claim 1, further comprising an image sensor that acquires the two-dimensional image.
子は、前記他の画像入力部に設けられた撮像素子よりも
高解像度である、 請求項４記載の多眼式データ入力装置。5. The multi-view data input device according to claim 4, wherein an image sensor provided in said one image input unit has a higher resolution than an image sensor provided in said another image input unit.
タを有してカラーの２次元画像を取得することのできる
単板式の撮像素子、及びモノクロの２次元画像を取得す
る撮像素子が設けられ、 前記他の画像入力部には、モノクロの２次元画像を取得
する撮像素子が設けられ、 てなる請求項１記載の多眼式データ入力装置。6. The single image input section is provided with a single-chip image sensor having a color filter and capable of acquiring a color two-dimensional image, and an image sensor for acquiring a monochrome two-dimensional image. The multi-view data input device according to claim 1, wherein the other image input unit is provided with an image sensor for acquiring a monochrome two-dimensional image.
の撮像素子は、前記他の画像入力部に設けられた撮像素
子よりも高解像度である、 請求項６記載の多眼式データ入力装置。7. The multi-view data input according to claim 6, wherein a color image sensor provided in said one image input unit has a higher resolution than an image sensor provided in said another image input unit. apparatus.
タを有してカラーの２次元画像を取得することのできる
多板式の撮像素子、及びモノクロの２次元画像を取得す
る撮像素子が設けられ、 前記他の画像入力部には、モノクロの２次元画像を取得
する撮像素子が設けられ、 てなる請求項１記載の多眼式データ入力装置。8. The one image input section is provided with a multi-plate type image sensor having a color filter and capable of acquiring a color two-dimensional image, and an image sensor for acquiring a monochrome two-dimensional image. The multi-view data input device according to claim 1, wherein the other image input unit is provided with an image sensor for acquiring a monochrome two-dimensional image.
の撮像素子は、前記他の画像入力部に設けられた撮像素
子よりも高解像度である、 請求項８記載の多眼式データ入力装置。9. The multi-view data input according to claim 8, wherein a color image sensor provided in said one image input unit has a higher resolution than an image sensor provided in said another image input unit. apparatus.
３次元データを算出する算出部を有してなる、 請求項１乃至請求項９記載の多眼式データ入力装置。10. The multi-view data input device according to claim 1, further comprising a calculating unit that calculates three-dimensional data of the subject based on the two-dimensional image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18833999A JP4193292B2 (en) | 1999-07-02 | 1999-07-02 | Multi-view data input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18833999A JP4193292B2 (en) | 1999-07-02 | 1999-07-02 | Multi-view data input device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016621A true JP2001016621A (en) | 2001-01-19 |
| JP4193292B2 JP4193292B2 (en) | 2008-12-10 |
Family
ID=16221895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18833999A Expired - Fee Related JP4193292B2 (en) | 1999-07-02 | 1999-07-02 | Multi-view data input device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4193292B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005106505A (en) * | 2003-09-29 | 2005-04-21 | Pentax Corp | Detector and method for detecting corresponding points between images |
| WO2005119175A1 (en) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | Camera module |
| WO2009051064A1 (en) * | 2007-10-15 | 2009-04-23 | Nippon Telegraph And Telephone Corporation | Image generation method, device, its program and program recorded medium |
| JP2012120006A (en) * | 2010-12-02 | 2012-06-21 | Konica Minolta Advanced Layers Inc | Stereo photographing device |
| JP2012244583A (en) * | 2011-05-24 | 2012-12-10 | Canon Inc | Imaging device, image processing method, and program |
| JP2012253706A (en) * | 2011-06-07 | 2012-12-20 | Konica Minolta Holdings Inc | Image processing device, program therefor, image processing system, and image processing method |
| JP2012257282A (en) * | 2012-07-26 | 2012-12-27 | Casio Comput Co Ltd | Three-dimensional image generation method |
| JP2013224922A (en) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | Multi-lens camera apparatus and vehicle including the same |
| JP2013236172A (en) * | 2012-05-07 | 2013-11-21 | Samsung Techwin Co Ltd | Parallax detection device and parallax detection method |
| JP2015022510A (en) * | 2013-07-18 | 2015-02-02 | 凸版印刷株式会社 | Free viewpoint image imaging device and method for the same |
| JP2015210271A (en) * | 2014-04-29 | 2015-11-24 | ▲ゆ▼創科技股▲ふん▼有限公司 | Portable three-dimensional scanner and method of generating three-dimensional scan result corresponding to object |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105282375B (en) * | 2014-07-24 | 2019-12-31 | 钰立微电子股份有限公司 | Attached stereo scanning module |
| TR201904343A2 (en) | 2019-03-22 | 2020-10-21 | Arcelik As | A WASHING MACHINE WITH WINGS |
-
1999
- 1999-07-02 JP JP18833999A patent/JP4193292B2/en not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4540322B2 (en) * | 2003-09-29 | 2010-09-08 | Ｈｏｙａ株式会社 | Inter-image corresponding point detection apparatus and inter-image corresponding point detection method |
| JP2005106505A (en) * | 2003-09-29 | 2005-04-21 | Pentax Corp | Detector and method for detecting corresponding points between images |
| WO2005119175A1 (en) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | Camera module |
| US7385680B2 (en) | 2004-06-03 | 2008-06-10 | Matsushita Electric Industrial Co., Ltd. | Camera module |
| US8346019B2 (en) | 2007-10-15 | 2013-01-01 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| WO2009051064A1 (en) * | 2007-10-15 | 2009-04-23 | Nippon Telegraph And Telephone Corporation | Image generation method, device, its program and program recorded medium |
| JP4578567B2 (en) * | 2007-10-15 | 2010-11-10 | 日本電信電話株式会社 | Image generating method, apparatus, program thereof, and recording medium recording program |
| JPWO2009051064A1 (en) * | 2007-10-15 | 2011-03-03 | 日本電信電話株式会社 | Image generating method, apparatus, program thereof, and recording medium recording program |
| JP2012120006A (en) * | 2010-12-02 | 2012-06-21 | Konica Minolta Advanced Layers Inc | Stereo photographing device |
| US9407903B2 (en) | 2010-12-02 | 2016-08-02 | Konica Minolta Opto, Inc. | Stereoscopic image shooting apparatus |
| JP2012244583A (en) * | 2011-05-24 | 2012-12-10 | Canon Inc | Imaging device, image processing method, and program |
| JP2012253706A (en) * | 2011-06-07 | 2012-12-20 | Konica Minolta Holdings Inc | Image processing device, program therefor, image processing system, and image processing method |
| JP2013224922A (en) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | Multi-lens camera apparatus and vehicle including the same |
| JP2013236172A (en) * | 2012-05-07 | 2013-11-21 | Samsung Techwin Co Ltd | Parallax detection device and parallax detection method |
| JP2012257282A (en) * | 2012-07-26 | 2012-12-27 | Casio Comput Co Ltd | Three-dimensional image generation method |
| JP2015022510A (en) * | 2013-07-18 | 2015-02-02 | 凸版印刷株式会社 | Free viewpoint image imaging device and method for the same |
| JP2015210271A (en) * | 2014-04-29 | 2015-11-24 | ▲ゆ▼創科技股▲ふん▼有限公司 | Portable three-dimensional scanner and method of generating three-dimensional scan result corresponding to object |
| US9955141B2 (en) | 2014-04-29 | 2018-04-24 | Eys3D Microelectronics, Co. | Portable three-dimensional scanner and method of generating a three-dimensional scan result corresponding to an object |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4193292B2 (en) | 2008-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110111262B (en) | Projector projection distortion correction method and device and projector | |
| US9357206B2 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3D display | |
| US8581961B2 (en) | Stereoscopic panoramic video capture system using surface identification and distance registration technique | |
| Bimber et al. | Enabling view-dependent stereoscopic projection in real environments | |
| JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
| US10547822B2 (en) | Image processing apparatus and method to generate high-definition viewpoint interpolation image | |
| US7583307B2 (en) | Autostereoscopic display | |
| US20070159527A1 (en) | Method and apparatus for providing panoramic view with geometric correction | |
| US20100085423A1 (en) | Stereoscopic imaging | |
| US20110158509A1 (en) | Image stitching method and apparatus | |
| CN108307675A (en) | More baseline camera array system architectures of depth enhancing in being applied for VR/AR | |
| KR20170005009A (en) | Generation and use of a 3d radon image | |
| CN109379578A (en) | Omnidirectional three-dimensional video-splicing method, apparatus, equipment and storage medium | |
| WO2004004333A1 (en) | Stereoscopic panoramic video generation system | |
| JP7196421B2 (en) | Information processing device, information processing system, information processing method and program | |
| CN111866523B (en) | Panoramic video synthesis method and device, electronic equipment and computer storage medium | |
| JP2001016621A (en) | Multi-eye data input device | |
| Tehrani et al. | Automated geometric registration for multi-projector displays on arbitrary 3D shapes using uncalibrated devices | |
| CA2540538C (en) | Stereoscopic imaging | |
| JPH1069543A (en) | Method and device for reconstituting curved surface of object | |
| JP2022506104A (en) | Parallax estimation from wide-angle images | |
| JP4554231B2 (en) | Distortion parameter generation method, video generation method, distortion parameter generation apparatus, and video generation apparatus | |
| JPH08242469A (en) | Image pickup camera | |
| JP6367803B2 (en) | Method for the description of object points in object space and combinations for its implementation | |
| JP3614898B2 (en) | PHOTOGRAPHIC APPARATUS, IMAGE PROCESSING APPARATUS, AND STEREOGRAPHIC CREATION METHOD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |