JP2001012916A - Parallax image-inputting device and image pickup device - Google Patents
Parallax image-inputting device and image pickup deviceInfo
- Publication number
- JP2001012916A JP2001012916A JP11186488A JP18648899A JP2001012916A JP 2001012916 A JP2001012916 A JP 2001012916A JP 11186488 A JP11186488 A JP 11186488A JP 18648899 A JP18648899 A JP 18648899A JP 2001012916 A JP2001012916 A JP 2001012916A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- unit
- imaging
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Input (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、複数の視点から見
た画像を取り込む視差画像入力装置及び撮像装置に関す
る。[0001] 1. Field of the Invention [0002] The present invention relates to a parallax image input device and an image pickup device for capturing images viewed from a plurality of viewpoints.
【０００２】[0002]
【従来の技術】従来、被測定物体の３次元形状や奥行き
情報を非接触に測定する方法として、レンズ焦点法、単
眼視、ステレオ法、動画像等の受動的な方法や、光レー
ダ法、アクティブステレオ法、照度差ステレオ法、モア
レ法、干渉法等の能動的な方法が知られている。2. Description of the Related Art Conventionally, non-contact methods for measuring the three-dimensional shape and depth information of an object to be measured include passive methods such as a lens focus method, monocular vision, a stereo method, a moving image, an optical radar method, and the like. Active methods such as an active stereo method, a photometric stereo method, a moiré method, and an interferometry are known.
【０００３】ステレオ法は、三角測量の原理を応用し、
被測定物体を異なる位置（視点）から撮影して得られた
複数の画像から、被測定物体の形状を測定する方法であ
る。このステレオ法では、まず、被測定物体を異なる位
置から撮影して複数の画像を取得する。次いで、１の画
像中の所定の点（領域）に対応する他の画像の点（領
域）を検出する処理、いわゆる対応点決定（マッチン
グ）処理を行う。この対応点決定処理はステレオ法の最
も重要な処理である。この対応点決定処理の方法として
は、画像の相関を用いる方法等が提案されている。これ
らの詳細は、「コンピュータビジョン：技術論評と将来
展望、（株）新技術コミュニケーションズ、１９９８、
ＩＳＢＮ４−９１５８５１−１７−６」の「第８章 ス
テレオ視」に詳しく記載されている。この文献には、対
応点決定処理の方法は、画像の所定の領域を使ってマッ
チングする「area-based matching」と、画像からエッ
ジ等を検出し、当該エッジの形状を使ってマッチングす
る「feature-based matching」とに大別されるといった
内容が記述されている。The stereo method applies the principle of triangulation,
This is a method of measuring the shape of the measured object from a plurality of images obtained by photographing the measured object from different positions (viewpoints). In this stereo method, first, an object to be measured is photographed from different positions to obtain a plurality of images. Next, a process of detecting a point (region) of another image corresponding to a predetermined point (region) in one image, that is, a so-called corresponding point determination (matching) process is performed. This corresponding point determination processing is the most important processing of the stereo method. As a method of the corresponding point determination processing, a method using correlation of images has been proposed. Details of these are described in "Computer Vision: Technical Review and Future Prospects, New Technology Communications Inc., 1998,
ISBN4-915851-17-6 "in" Chapter 8 Stereo Vision ". According to this document, the method of the corresponding point determination processing includes “area-based matching” that matches using a predetermined area of an image, and “feature” that detects an edge or the like from an image and matches using the shape of the edge. -based matching "is described.
【０００４】次いで、複数の視差画像間での対応する点
の位置の差である視差（disparity）量を求め、三角測
量の原理に基づいて、当該視差量を使うことにより所定
の被写体までの距離を算出する。ここで、例えば、複数
の視点の光軸が交差する場合においては、視点間隔、視
点位置から視点の光軸が交差する点（視差光軸交差点）
までの距離、視点位置から被写体までの距離、視差量の
４つの要素は、簡単な関係式で表せる。視点間隔及び視
点位置から視点光軸交差点までの距離は、予め設定する
ことができ、規定の値とすることができる。また、視差
量は視差画像から算出することができる。このため、前
記関係式により視点位置から被写体までの距離を求める
ことができる。[0004] Next, the amount of disparity (disparity), which is the difference between the positions of corresponding points between a plurality of parallax images, is determined, and the distance to a predetermined subject is determined by using the amount of parallax based on the principle of triangulation. Is calculated. Here, for example, when the optical axes of a plurality of viewpoints intersect, a point at which the optical axis of the viewpoint intersects from the viewpoint interval and the viewpoint position (parallax optical axis intersection).
, The distance from the viewpoint to the subject, and the amount of parallax can be expressed by simple relational expressions. The distance between the viewpoint interval and the viewpoint position to the viewpoint optical axis intersection can be set in advance, and can be a prescribed value. Further, the parallax amount can be calculated from the parallax image. For this reason, the distance from the viewpoint position to the subject can be obtained from the relational expression.
【０００５】図１は、上記したステレオ法を実施する従
来例に係る視差画像入力装置の構成を示す図である。視
差画像入力装置１００は、レンズ１０２と、シャッター
部１０４と、ＣＣＤ（charge coupled device）１０６
と、視差画像記憶部１０８と、奥行検出部１１０と、制
御部１１２とを有する。レンズ１０２は外界からの光を
集める。シャッター部１０４は、視点となる開閉自在な
開閉部１０４Ａ、１０４Ｂを有している。シャッター部
１０４の開閉部１０４Ａ又は１０４Ｂは制御部１１２の
制御によりいずれか一方が開くようになっている。ＣＣ
Ｄ１０６は、自己の受光面上に結ばれた複数の視点から
の外界の画像を取り込む。FIG. 1 is a diagram showing a configuration of a parallax image input apparatus according to a conventional example for implementing the above-mentioned stereo method. The parallax image input device 100 includes a lens 102, a shutter unit 104, a CCD (charge coupled device) 106
, A parallax image storage unit 108, a depth detection unit 110, and a control unit 112. The lens 102 collects light from the outside world. The shutter unit 104 has openable and closable opening and closing units 104A and 104B serving as viewpoints. Either the opening / closing unit 104A or 104B of the shutter unit 104 is opened under the control of the control unit 112. CC
D106 captures images of the outside world from a plurality of viewpoints connected on its own light receiving surface.
【０００６】視差画像記憶部１０８はＣＣＤ１０６によ
り取り込まれた画像データを記憶する。奥行検出部１１
０は、視差画像記憶部１０８に記憶された複数の画像同
士の対応点を検出し、当該対応点間の視差量を検出し、
対応点に該当する被写体までの距離を検出する。制御部
１１２は、各部を制御する。例えば、シャッター部１０
４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。[0006] The parallax image storage unit 108 stores image data captured by the CCD 106. Depth detector 11
0 detects a corresponding point between a plurality of images stored in the parallax image storage unit 108, detects a parallax amount between the corresponding points,
The distance to the subject corresponding to the corresponding point is detected. The control unit 112 controls each unit. For example, the shutter unit 10
The opening and closing of the opening and closing units 104A and 104B of the fourth unit are controlled.
【０００７】視差画像入力装置１００において、制御部
１１２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。
これにより、レンズ１０２及び、開いている一方の開閉
部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１
０６に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を
取り込んで、視差画像記憶部１０８に記憶する。次い
で、制御部１１２が他方の開閉部１０４Ａ又は１０４Ｂ
のみを開ける。これにより、レンズ１０２及び、開いて
いる開閉部１０４Ａ又は１０４Ｂを介して、外界の像が
ＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像
を取り込んで、視差画像記憶部１０８に記憶する。次い
で、奥行検出部１１０がこれら視差画像記憶部１０８に
記憶された異なる視点から見た外界の画像に基づいて、
画像同士の対応点を検出し、当該対応点間の視差量を検
出し、当該対応点の被写体までの距離を検出する。In the parallax image input device 100, the control unit 112 opens one of the open / close units 104A or 104B.
As a result, an image of the outside world is transmitted to the CCD 1 through the lens 102 and one of the open / close units 104A or 104B.
06. The CCD 106 captures the image of the combined image and stores it in the parallax image storage unit 108. Next, the control unit 112 controls the other opening / closing unit 104A or 104B.
Only open. As a result, an image of the outside world is formed on the CCD 106 via the lens 102 and the open opening / closing section 104A or 104B. The CCD 106 captures the formed image and stores it in the parallax image storage unit 108. Next, based on the images of the outside world viewed from different viewpoints stored in the parallax image storage unit 108 by the depth detection unit 110,
A corresponding point between the images is detected, a parallax amount between the corresponding points is detected, and a distance of the corresponding point to the subject is detected.
【０００８】[0008]
【発明が解決しようとする課題】ところで、ＣＣＤ１０
６で取り込まれたデジタル画像データの最小単位はＣＣ
Ｄ１０６の画素により定まる。このため、対応点決定処
理により得られる視差量は、一般に１画素を単位とした
整数値（１画素、２画素等）となる。この視差量は、離
散的なサンプリングによって発生する丸め誤差を含んで
いるので、本来の視差量を正確に表していない。このた
め、当該視差量に基づいて算出される被写体までの距離
の値に対して、当該丸め誤差の影響が生じてしまうとい
う問題が生じる。By the way, the CCD 10
The minimum unit of digital image data captured in step 6 is CC
It is determined by the pixel of D106. For this reason, the parallax amount obtained by the corresponding point determination processing is generally an integer value (one pixel, two pixels, etc.) in units of one pixel. Since the parallax amount includes a rounding error generated by discrete sampling, the parallax amount does not accurately represent the original parallax amount. Therefore, there is a problem that the rounding error affects the value of the distance to the subject calculated based on the parallax amount.
【０００９】図２は、視差画像により検出される視差量
及び奥行き位置を説明する図である。図２（Ａ）は、２
つの視点及び各被写体Ａ〜Ｆの奥行き位置を示し、図２
（Ｂ）は、視差量と奥行き位置とを説明する図である。
図２（Ａ）に示すように、視点から遠い順に、被写体
Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが存在し、これらの中の被写体
Ｂが視点の焦点位置（focus）に存在している。FIG. 2 is a diagram for explaining a parallax amount and a depth position detected from a parallax image. FIG.
FIG. 2 shows three viewpoints and depth positions of the subjects A to F.
(B) is a diagram illustrating the parallax amount and the depth position.
As shown in FIG. 2A, subjects A, B, C, D, E, and F exist in the order far from the viewpoint, and the subject B among them exists at the focus position of the viewpoint. .
【００１０】これら被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対
する２つの視点から見た画像に発生する視差量は、実際
には、それぞれ、−０．３pixel、０．０pixel、０．３
pixel、０．７pixel、１．３pixel、１．６pixelであ
る。しかしながら、図２（Ｂ）に示すように、デジタル
画像データを使用した対応点決定処理によると、被写体
Ａ、Ｂ、Ｃについては、視差量０pixelと検出され、被
写体Ｄ、Ｅについては、視差量１pixelと検出され、被
写体Ｆについては、視差量２pixelと検出される。この
ため、被写体Ａ、Ｂ、Ｃまでの距離は、当該視差量０pi
xelに基づいて算出され、実際には異なる位置にある被
写体が、同じ奥行き位置にあると扱われてしまう問題が
生じる。Actually, the parallax amounts generated in the images of the subjects A, B, C, D, E and F from two viewpoints are -0.3 pixel, 0.0 pixel and 0.3 pixel, respectively.
pixel, 0.7 pixel, 1.3 pixel, and 1.6 pixel. However, as shown in FIG. 2B, according to the corresponding point determination processing using the digital image data, the parallax amount is detected as 0 pixels for the subjects A, B, and C, and the parallax amount is detected for the subjects D and E. One pixel is detected, and the parallax amount of the subject F is detected as 2 pixels. For this reason, the distances to the subjects A, B, and C depend on the parallax amount of 0 pi.
There is a problem that a subject that is calculated based on xel and actually located at a different position is treated as being at the same depth position.
【００１１】このような問題を解決するためには、丸め
誤差を無視できる程度にサンプリングを高密度にする必
要があった。しかしながら、高密度なサンプリングを行
うためには、画素が細かい高価な撮像素子や、画像スキ
ャナー等が必要となり、コストが大きくなるという問題
が生じる。また、高密度なサンプリングによって得られ
る画像データの量は膨大になるために、対応点決定処理
等の処理時間の増大し、画像データを記憶するために必
要な記憶容量が増大するという問題がある。そこで本発
明は、上記の課題を解決しつつ、外界の被写体の奥行き
位置の分解能を効果的に向上することのできる視差画像
入力装置及び撮像装置を提供することを目的とする。こ
の目的は特許請求の範囲における独立項に記載の特徴の
組み合わせにより達成される。また従属項は本発明の更
なる有利な具体例を規定する。In order to solve such a problem, it is necessary to increase the sampling density so that the rounding error can be ignored. However, in order to perform high-density sampling, an expensive image sensor having a small pixel, an image scanner, and the like are required, which causes a problem that the cost increases. In addition, since the amount of image data obtained by high-density sampling is enormous, there is a problem that the processing time of the corresponding point determination processing and the like increases, and the storage capacity required for storing the image data increases. . Accordingly, it is an object of the present invention to provide a parallax image input device and an imaging device that can effectively improve the resolution of the depth position of an external subject while solving the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous embodiments of the present invention.
【００１２】[0012]
【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の形態に係る視差画像入力装置は、複
数の視点から見た外界の画像を取得する視差画像入力装
置であって、複数の視点から見た前記外界の画像を結ぶ
視差用結像部と、視差用結像部により結ばれた画像を取
り込む視差用撮像部とを有し、視差用撮像部は、複数の
視点を結ぶ視差方向に対する画素の密度が視差方向と垂
直な方向に対する画素の密度より高い光電変換素子を有
することを特徴とする。光電変換素子の画素は、視差方
向の長さが視差方向と垂直な方向の長さより短くしても
よい。視差用撮像部により取り込まれた画像に基づいて
前記外界における所定の被写体までの距離を示す奥行き
情報を検出する奥行検出部を更に備えるようにしてもよ
い。In order to achieve the above object, a parallax image input apparatus according to a first embodiment of the present invention is a parallax image input apparatus for acquiring images of the outside world viewed from a plurality of viewpoints. A parallax imaging unit that connects the images of the outside world viewed from a plurality of viewpoints, and a parallax imaging unit that captures an image formed by the parallax imaging unit. It is characterized by having a photoelectric conversion element in which the density of pixels in a parallax direction connecting viewpoints is higher than the density of pixels in a direction perpendicular to the parallax direction. The length of the pixel of the photoelectric conversion element in the parallax direction may be shorter than the length in the direction perpendicular to the parallax direction. The image processing apparatus may further include a depth detection unit that detects depth information indicating a distance to a predetermined subject in the outside world based on an image captured by the parallax imaging unit.
【００１３】上記目的を達成するために、本発明の第１
の形態に係る撮像装置は、所望の外界を撮像する撮像装
置であって、外界の画像を結ぶ結像系と、結像系により
結ばれた画像を撮像する撮像部と、結像系により結ばれ
た画像を取得する視差用撮像部とを有し、視差用撮像部
は、複数の視点を結ぶ視差方向に対する画素の密度が視
差方向と垂直な方向に対する画素の密度より高い光電変
換素子を有することを特徴とする。光電変換素子の画素
は、視差方向の長さが視差方向と垂直な方向の長さより
短くしてもよい。結像系は、外界の画像を結ぶ結像部
と、複数の視点から見た外界の画像を結ぶ視差用結像部
とを有し、視差用撮像部は、視差用結像部により結ばれ
た画像を取得するようにしてもよい。In order to achieve the above object, a first aspect of the present invention is provided.
The imaging device according to the embodiment is an imaging device that captures a desired external world, an imaging system that connects an image of the external world, an imaging unit that captures an image formed by the imaging system, and an imaging device that is connected by the imaging system. A parallax image capturing unit that obtains a captured image, the parallax image capturing unit having a photoelectric conversion element in which the density of pixels in a parallax direction connecting a plurality of viewpoints is higher than the density of pixels in a direction perpendicular to the parallax direction. It is characterized by the following. The length of the pixel of the photoelectric conversion element in the parallax direction may be shorter than the length in the direction perpendicular to the parallax direction. The imaging system includes an imaging unit that connects an image of the outside world and a parallax imaging unit that connects the images of the outside world viewed from a plurality of viewpoints.The imaging unit for parallax is connected by the imaging unit for parallax. May be obtained.
【００１４】視差用撮像部により撮像された複数の視点
から見た画像に基づいて、外界の所定の被写体までの距
離に対応する奥行き情報を検出する奥行検出部を更に備
えるようにしてもよい。奥行検出部により検出された奥
行き情報に基づいて、結像系又は撮像部を制御する制御
部を更に備えるようにしてもよい。なお、上記の発明の
概要は、本発明の必要な特徴の全てを列挙したものでは
なく、これらの特徴群のサブコンビネーションもまた発
明となりうる。[0014] The image processing apparatus may further include a depth detecting unit that detects depth information corresponding to a distance to a predetermined subject in the outside world based on images taken from a plurality of viewpoints captured by the parallax imaging unit. A control unit that controls the imaging system or the imaging unit based on the depth information detected by the depth detection unit may be further provided. The above summary of the present invention does not list all of the necessary features of the present invention, and a sub-combination of these features may also be an invention.
【００１５】[0015]
【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
に係る発明を限定するものではなく、また実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。図３は、本発明の第１
の実施形態に係る視差画像入力装置を含む撮像装置１０
の一例としてのデジタルカメラの構成を示す。ここで、
デジタルカメラには、画像を一枚毎に撮像するカメラだ
けでなく、画像を連続して撮像するビデオカメラ等が含
まれる。撮像装置１０は、結像部２４と、撮像部２６
と、記憶部２８と、視差用結像部１４、視差用撮像部１
６、視差画像記憶部１８、奥行検出部２０、及び奥行記
憶部２２を有する視差画像入力装置１２と、駆動部１５
と、制御部３０とを備える。DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described through embodiments of the present invention. However, the following embodiments do not limit the invention according to the claims and are described in the embodiments. Not all combinations of features are essential to the solution of the invention. FIG. 3 shows the first embodiment of the present invention.
Imaging apparatus 10 including a parallax image input apparatus according to the embodiment
1 shows a configuration of a digital camera as one example. here,
Digital cameras include not only cameras that capture images one by one, but also video cameras that capture images continuously. The imaging device 10 includes an imaging unit 24 and an imaging unit 26
, Storage unit 28, parallax imaging unit 14, parallax imaging unit 1
6, a parallax image input device 12 having a parallax image storage unit 18, a depth detection unit 20, and a depth storage unit 22, and a driving unit 15
And a control unit 30.
【００１６】結像部２４は、外界からの光を集めること
により、撮像部２６の受光面上に外界の被写体の画像を
結ぶ。撮像部２６は、例えば、光電変換素子の一例とし
てのＣＣＤ（Charge Coupled Device）であり、受光面
上に結ばれた画像を画像データに変換して取り込む。受
光面上に結ばれた画像を画像データに変換する。記憶部
２８は、撮像部２６によって変換された画像データを記
憶する。視差用結像部１４は、外界の画像を視差用撮像
部１６の受光面上に結ぶ。視差用撮像部１６は、例え
ば、光電変換素子の一例としてのＣＣＤであり、視差用
結像部１４により受光面上に結ばれた画像を画像データ
に変換して取り込む。The image forming section 24 collects light from the outside to form an image of a subject in the outside on the light receiving surface of the image pickup section 26. The imaging unit 26 is, for example, a CCD (Charge Coupled Device) as an example of a photoelectric conversion element, and converts an image formed on a light receiving surface into image data and captures the image data. The image formed on the light receiving surface is converted into image data. The storage unit 28 stores the image data converted by the imaging unit 26. The parallax imaging unit 14 forms an image of the outside world on the light receiving surface of the parallax imaging unit 16. The parallax imaging unit 16 is, for example, a CCD as an example of a photoelectric conversion element, and converts an image formed on the light receiving surface by the parallax imaging unit 14 into image data and captures the image data.
【００１７】図４は、本発明の第１の実施形態に係る視
差用撮像部の受光面の構成を示す図である。ここで、図
４では視差方向にＺ軸を取るものとする。図４に示すよ
うに、視差用撮像部１６の受光面には、複数の画素が視
差方向及び視差方向と垂直な方向に並んでいる。そし
て、各画素は、視差方向についての長さが、視差方向に
垂直な方向の長さに比して短くなっている。このため、
視差方向についての画素密度が視差方向に垂直な方向に
ついての画素密度より高い。また、このため、画像デー
タに変換するために必要とされる各画素の受光面積を維
持しつつ、外界の被写体の画像を視差方向について高分
解能で取り込むことができる。また、本光電変換素子
は、視差方向の分解能が同一である通常の正方形の画素
を有する光電変換素子に比して、画素数を減らすことが
できるので、当該光電変換素子の歩留まりを向上するこ
とができる。FIG. 4 is a diagram showing the configuration of the light receiving surface of the parallax imaging section according to the first embodiment of the present invention. Here, it is assumed that the Z axis is set in the parallax direction in FIG. As illustrated in FIG. 4, a plurality of pixels are arranged in a parallax direction and a direction perpendicular to the parallax direction on the light receiving surface of the parallax imaging unit 16. Each pixel has a shorter length in the parallax direction than a length in a direction perpendicular to the parallax direction. For this reason,
The pixel density in the parallax direction is higher than the pixel density in the direction perpendicular to the parallax direction. Further, for this reason, it is possible to capture an image of an external subject at a high resolution in the parallax direction while maintaining the light receiving area of each pixel required for conversion into image data. In addition, the present photoelectric conversion element can reduce the number of pixels as compared with a photoelectric conversion element having ordinary square pixels having the same resolution in the parallax direction, so that the yield of the photoelectric conversion element can be improved. Can be.
【００１８】図３に戻り、駆動部１５は、視差用結像部
１４及び視差用撮像部１６を移動させる。これにより、
視差用撮像部１６によって複数の視点から見た画像の画
像データを得ることができる。本実施形態では、駆動部
１５は視差用結像部１４の光軸を平行に維持しつつ、当
該光軸に垂直な方向、すなわち、Ｚ軸方向に移動させ
る。Returning to FIG. 3, the drive unit 15 moves the parallax imaging unit 14 and the parallax imaging unit 16. This allows
The image data of the image viewed from a plurality of viewpoints can be obtained by the parallax imaging unit 16. In the present embodiment, the driving unit 15 moves the parallax imaging unit 14 in a direction perpendicular to the optical axis, that is, in the Z-axis direction, while maintaining the optical axis of the parallax imaging unit 14 in parallel.
【００１９】視差画像記憶部１８は、視差用撮像部１６
により変換された画像データを記憶する。奥行検出部２
０は、視差画像記憶部１８に記憶された画像に基づい
て、外界の所定の被写体について対応点決定処理を行う
ことにより視差量を求め、当該視差量に基づいて奥行き
位置（奥行き情報）を検出する。対応点決定処理は、従
来より知られている技術であるので説明を省略する。ま
た、視差量に基づいて奥行き位置を検出する処理は、従
来より知られている三角測量の原理、レンズの性質、幾
何学の法則等に基づいて行うことができるのでここでは
説明を省略する。The parallax image storage unit 18 stores the parallax image pickup unit 16.
Is stored. Depth detector 2
0 calculates the amount of parallax by performing a corresponding point determination process on a predetermined subject in the outside world based on the image stored in the parallax image storage unit 18, and detects a depth position (depth information) based on the amount of parallax. I do. The corresponding point determination processing is a conventionally known technique, and a description thereof will be omitted. Further, the process of detecting the depth position based on the amount of parallax can be performed based on conventionally known principles of triangulation, the properties of lenses, the laws of geometry, and the like, and a description thereof will not be repeated.
【００２０】奥行記憶部２２は、奥行検出部２０により
検出された被写体の奥行き位置を記憶する。制御部３０
は、奥行記憶部２２に記憶されている被写体の奥行き位
置に基づいて、結像部２４のフォーカスや、撮像部２６
による撮像動作等を制御する。ここで、記憶部２８、視
差画像記憶部１８、及び奥行記憶部２２は、それぞれ、
撮像装置１０内に常設されているＲＡＭ（Random Acces
s Memory）、フラッシュメモリであってもよく、また、
撮像装置１０に対して着脱可能な、例えば、フロッピー
（登録商標）ディスク、ＭＤ（Mini Disk）、スマート
メディア（商標）等の記録媒体であってもよい。ここ
で、本実施形態では、特許請求の範囲にいう結像系は、
結像部２４及び視差用結像部１４によって構成される。The depth storage unit 22 stores the depth position of the subject detected by the depth detection unit 20. Control unit 30
The focus of the imaging unit 24 and the imaging unit 26 are determined based on the depth position of the subject stored in the depth storage unit 22.
And the like to control the imaging operation. Here, the storage unit 28, the parallax image storage unit 18, and the depth storage unit 22, respectively,
RAM (Random Acceses) permanently installed in the imaging device 10
s Memory), flash memory,
For example, a recording medium such as a floppy (registered trademark) disk, an MD (Mini Disk), a smart media (trademark), or the like that is detachable from the imaging device 10 may be used. Here, in the present embodiment, the imaging system described in the claims is
The imaging unit 24 includes the imaging unit 24 and the parallax imaging unit 14.
【００２１】次に、撮像装置１０の動作を説明する。視
差用結像部１４が所定の視点位置において外界の画像を
視差用撮像部１６の受光面上に結び、視差用撮像部１６
が受光面上に結ばれた画像を画像データに変換し、視差
画像記憶部１８が視差用撮像部１６により変換された画
像データを記憶する。次いで、駆動部１５が視差用結像
部１４及び視差用撮像部１６を視差用結像部１４の光軸
を平行に維持しつつ移動させる。そして、当該視点位置
において、視差用結像部１４が外界の画像を視差用撮像
部１６の受光面上に結び、視差用撮像部１６が受光面上
に結ばれた画像を画像データに変換し、視差画像記憶部
１８が視差用撮像部１６により変換された画像データを
記憶する。Next, the operation of the imaging device 10 will be described. The parallax imaging unit 14 connects an image of the outside world on a light receiving surface of the parallax imaging unit 16 at a predetermined viewpoint position, and
Converts the image formed on the light receiving surface into image data, and the parallax image storage unit 18 stores the image data converted by the parallax imaging unit 16. Next, the drive unit 15 moves the parallax imaging unit 14 and the parallax imaging unit 16 while maintaining the optical axis of the parallax imaging unit 14 in parallel. Then, at the viewpoint position, the parallax imaging unit 14 connects the image of the outside world on the light receiving surface of the parallax imaging unit 16, and converts the image formed by the parallax imaging unit 16 on the light receiving surface into image data. The parallax image storage unit 18 stores the image data converted by the parallax imaging unit 16.
【００２２】その後、奥行検出部２０が視差画像記憶部
１８に記憶された複数の視点から見た外界の画像に基づ
いて、対応点決定処理により外界の所定の被写体につい
ての視差量を検出し、当該視差量に基づいて当該被写体
についての奥行き位置を検出し、奥行記憶部２２が検出
された当該被写体の奥行き位置を記憶する。次いで、制
御部３０が奥行記憶部２２に記憶されている被写体の奥
行き位置に基づいて、結像部２４及び撮像部２６を制御
する。これにより、結像部２４が外界からの光を集め、
撮像部２６の受光面上に外界の被写体の画像を結ぶ。そ
して、撮像部２６が自己の受光面上に結ばれた画像を画
像データに変換し、記憶部２８が撮像部２６によって変
換された画像データを記憶する。After that, the depth detecting section 20 detects the amount of parallax of a predetermined object in the outside world by corresponding point determination processing based on the images of the outside world viewed from a plurality of viewpoints stored in the parallax image storage section 18, The depth position of the subject is detected based on the parallax amount, and the depth storage unit 22 stores the detected depth position of the subject. Next, the control unit 30 controls the imaging unit 24 and the imaging unit 26 based on the depth position of the subject stored in the depth storage unit 22. Thereby, the imaging unit 24 collects light from the outside world,
An image of a subject in the outside world is formed on the light receiving surface of the imaging unit 26. Then, the imaging unit 26 converts the image formed on its own light receiving surface into image data, and the storage unit 28 stores the image data converted by the imaging unit 26.
【００２３】このように、本実施形態に係る撮像装置に
よると、視差が発生する視差方向について、外界の被写
体を詳細に取り込むことができるので、視差方向に発生
する視差量をより詳細に決定することができる。このた
め、より詳細に被写体の奥行き位置を検出することがで
きる。また、詳細に被写体の奥行き位置を検出できるの
で、当該奥行き位置に基づいた制御によって、例えば、
結像部２４におけるフォーカスの精度を高めることがで
き、取り込む画像の質を向上することができる。As described above, according to the imaging apparatus according to the present embodiment, the external subject can be captured in detail for the parallax direction in which the parallax occurs, so that the amount of parallax generated in the parallax direction is determined in more detail. be able to. Therefore, the depth position of the subject can be detected in more detail. Further, since the depth position of the subject can be detected in detail, for example, by control based on the depth position, for example,
The accuracy of focusing in the imaging unit 24 can be improved, and the quality of an image to be captured can be improved.
【００２４】次に、本発明の第２の実施形態に係る撮像
装置について説明する。図５は、本発明の第２の実施形
態に係る撮像装置の視差画像入力装置の構成を示す図で
ある。第２の実施形態に係る撮像装置は、図３に示す第
１の実施形態に係る撮像装置の視差画像入力装置１２の
構成を異ならせたものである。ここで、図１に示す視差
画像入力装置１２内の構成と同様な機能要素について
は、同一の符号を付し、重複する説明を省略する。Next, an imaging apparatus according to a second embodiment of the present invention will be described. FIG. 5 is a diagram illustrating a configuration of a parallax image input device of an imaging device according to a second embodiment of the present invention. The imaging device according to the second embodiment differs from the imaging device according to the first embodiment shown in FIG. 3 in the configuration of the parallax image input device 12. Here, the same components as those in the configuration of the parallax image input device 12 shown in FIG. 1 are denoted by the same reference numerals, and redundant description will be omitted.
【００２５】視差画像入力装置１２は、視差用結像部１
４と、シャッター部４０と、視差用撮像部１６と、視差
画像記憶部１８と、奥行検出部４４と、奥行記憶部２２
と、視差用制御部４２とを有する。ここで、本実施形態
では、特許請求の範囲にいう結像系は、結像部２４及び
視差用結像部１４によって構成される。シャッター部４
０は、視点となる開閉自在な開閉部４０Ａ、４０Ｂを有
する。シャッター部４０は視差用結像部１４の瞳面、或
いはその近傍に配置されることが好ましい。視差用制御
部４２は、シャッター部４０及び視差用撮像部４２を制
御する。例えば、シャッター部４０の開閉部４０Ａ、４
０Ｂの開閉を制御していずれか一方を開くようにする。The parallax image input device 12 includes a parallax imaging unit 1.
4, a shutter unit 40, a parallax imaging unit 16, a parallax image storage unit 18, a depth detection unit 44, and a depth storage unit 22.
And a parallax control unit 42. Here, in the present embodiment, the imaging system described in the claims includes an imaging unit 24 and a parallax imaging unit 14. Shutter section 4
Reference numeral 0 has openable and closable units 40A and 40B serving as viewpoints. It is preferable that the shutter unit 40 is arranged on the pupil plane of the parallax imaging unit 14 or in the vicinity thereof. The parallax control unit 42 controls the shutter unit 40 and the parallax imaging unit 42. For example, the opening / closing portions 40A, 4
The opening and closing of OB is controlled to open either one.
【００２６】奥行検出部４４は、視差画像記憶部１８に
記憶された画像に基づいて、外界の所定の被写体につい
て対応点決定処理を行うことにより視差量を求め、当該
視差量に基づいて奥行き位置を検出する。対応点決定処
理は、従来より知られている技術であるので説明を省略
する。また、視差量に基づいて奥行き位置を検出する処
理は、従来より知られている三角測量の原理、レンズの
性質、幾何学の法則等に基づいて行うことができるので
ここでは説明を省略する。The depth detecting section 44 obtains a parallax amount by performing a corresponding point determination process on a predetermined subject in the outside world based on the image stored in the parallax image storage section 18, and determines a depth position based on the parallax amount. Is detected. The corresponding point determination processing is a conventionally known technique, and a description thereof will be omitted. Further, the process of detecting the depth position based on the amount of parallax can be performed based on conventionally known principles of triangulation, the properties of lenses, the laws of geometry, and the like, and a description thereof will not be repeated.
【００２７】次に、視差画像入力装置の動作を説明す
る。視差画像入力装置１２において、視差用制御部４２
がシャッター部４０の開閉部４０Ａのみを開放して、視
差用撮像部１６に開閉部４０Ａを介して結ばれた外界の
画像を画像データに変換させ、視差画像記憶部１８に画
像データを格納させる。また、視差用制御部４２がシャ
ッター部４０の開閉部４０Ｂのみを開放して、視差用撮
像部１６に開閉部４０Ｂを介して結ばれた外界の画像を
画像データに変換させ、視差画像記憶部１８に画像デー
タを格納させる。Next, the operation of the parallax image input device will be described. In the parallax image input device 12, the parallax control unit 42
Opens only the opening / closing section 40A of the shutter section 40, causes the parallax imaging section 16 to convert an external image connected via the opening / closing section 40A into image data, and stores the image data in the parallax image storage section 18. . Further, the parallax control unit 42 opens only the opening / closing unit 40B of the shutter unit 40, and causes the parallax imaging unit 16 to convert an external image connected via the opening / closing unit 40B into image data. 18 stores the image data.
【００２８】その後、奥行検出部２０が視差画像記憶部
１８に記憶された複数の視点からの画像に基づいて、対
応点決定処理により外界の所定の被写体についての視差
量を検出し、当該視差量に基づいて当該被写体について
の奥行き位置を検出し、奥行記憶部２２が検出された当
該被写体の奥行き位置を記憶する。Thereafter, based on the images from a plurality of viewpoints stored in the parallax image storage unit 18, the depth detection unit 20 detects the amount of parallax for a predetermined object in the outside world by corresponding point determination processing, and , The depth position of the subject is detected, and the depth storage unit 22 stores the detected depth position of the subject.
【００２９】このように、本実施形態に係る視差画像入
力装置によると、上記した第１の実施形態と同様に、視
差が発生する視差方向について、外界の被写体の長さを
詳細に取り込むことができるので、視差方向に発生する
視差量をより詳細に決定することができる。このため、
より詳細に被写体の奥行き位置を検出することができ
る。また、詳細に被写体の奥行き位置を検出できるの
で、当該奥行き位置に基づいた制御によって、例えば、
結像部２４におけるフォーカスの精度を高めることがで
き、取り込む画像の質を向上することができる。As described above, according to the parallax image input apparatus according to the present embodiment, similarly to the above-described first embodiment, it is possible to capture in detail the length of the external subject in the parallax direction in which the parallax occurs. Therefore, the amount of parallax generated in the parallax direction can be determined in more detail. For this reason,
The depth position of the subject can be detected in more detail. Further, since the depth position of the subject can be detected in detail, for example, by control based on the depth position, for example,
The accuracy of focusing in the imaging unit 24 can be improved, and the quality of an image to be captured can be improved.
【００３０】図６は、本発明の第３の実施形態に係る視
差画像入力装置を含む撮像装置の一例としての銀塩カメ
ラの構成を示す。ここで、図３に示す撮像装置１０と同
一な機能要素には、同一符号を付して重複する説明を省
略する。撮像装置５０は、結像部５２と、絞り部５３
と、シャッター部５４と、フィルム部５６と、制御部５
８と、視差画像入力装置１２とを有する。ここで、本実
施形態では、特許請求の範囲にいう結像系は、結像部５
２及び視差用結像部１４によって構成される。FIG. 6 shows a configuration of a silver halide camera as an example of an imaging device including a parallax image input device according to a third embodiment of the present invention. Here, the same functional elements as those of the imaging device 10 shown in FIG. 3 are denoted by the same reference numerals, and redundant description will be omitted. The imaging device 50 includes an imaging unit 52 and an aperture unit 53
, Shutter unit 54, film unit 56, control unit 5
8 and a parallax image input device 12. Here, in the present embodiment, the imaging system described in the claims corresponds to the imaging unit 5.
2 and the parallax imaging unit 14.
【００３１】結像部５２は、例えば、複数のレンズで構
成され、外界からの光を集めることにより、フィルム部
５６のフィルムの表面に外界の被写体の画像を結ぶ。絞
り部５３は、結像部５２内に入射する光の一部を絞る。
これにより、結像部５２による色収差、球面収差等を除
去する。シャッター部５４は、結像部５２を透過する光
のフィルム部５６側への通過を制御する動作（シャッタ
ー動作）を行う。フィルム部５６は、光化学反応部材の
一例としてのフィルムを設置する。フィルムは、ベース
となる部材に、照射された光に応じて化学変化するフォ
トレジスト（感光剤）が塗布されたものである。制御部
５８は、奥行記憶部２２に記憶された所定の被写体につ
いての奥行き位置に基づいて、結像部５２のフォーカス
位置、絞り部５３の絞り量、シャッター部５４のシャッ
ター動作等の制御を行う。The image forming section 52 is composed of a plurality of lenses, for example, and collects light from the outside to form an image of an object in the outside on the surface of the film of the film section 56. The stop unit 53 stops a part of the light incident on the image forming unit 52.
As a result, chromatic aberration, spherical aberration, and the like due to the imaging unit 52 are removed. The shutter unit 54 performs an operation (shutter operation) of controlling passage of light transmitted through the imaging unit 52 to the film unit 56 side. The film section 56 is provided with a film as an example of a photochemical reaction member. The film is obtained by applying a photoresist (photosensitive agent), which chemically changes in response to the irradiated light, to a base member. The control unit 58 controls the focus position of the imaging unit 52, the stop amount of the stop unit 53, the shutter operation of the shutter unit 54, and the like based on the depth position of the predetermined subject stored in the depth storage unit 22. .
【００３２】次に、撮像装置５０の動作を説明する。本
撮像装置において、視差用結像部１４が所定の視点位置
において外界の画像を視差用撮像部１６の受光面上に結
び、視差用撮像部１６が受光面上に結ばれた画像を画像
データに変換し、視差画像記憶部１８が視差用撮像部１
６により変換された画像データを記憶する。次いで、駆
動部１５が視差用結像部１４及び視差用撮像部１６を視
差用結像部１４の光軸を平行に維持しつつ移動させる。
そして、当該視点位置において、視差用結像部１４が外
界の画像を視差用撮像部１６の受光面上に結び、視差用
撮像部１６が受光面上に結ばれた画像を画像データに変
換し、視差画像記憶部１８が視差用撮像部１６により変
換された画像データを記憶する。Next, the operation of the imaging device 50 will be described. In the present imaging apparatus, the parallax imaging unit 14 connects an image of the outside world on a light receiving surface of the parallax imaging unit 16 at a predetermined viewpoint position, and converts the image formed by the parallax imaging unit 16 on the light receiving surface into image data. And the parallax image storage unit 18 stores the parallax image pickup unit 1
6 is stored. Next, the drive unit 15 moves the parallax imaging unit 14 and the parallax imaging unit 16 while maintaining the optical axis of the parallax imaging unit 14 in parallel.
Then, at the viewpoint position, the parallax imaging unit 14 connects the image of the outside world on the light receiving surface of the parallax imaging unit 16, and converts the image formed by the parallax imaging unit 16 on the light receiving surface into image data. The parallax image storage unit 18 stores the image data converted by the parallax imaging unit 16.
【００３３】次いで、奥行検出部２０が視差画像記憶部
１８に記憶された複数の視点からの画像に基づいて、対
応点決定処理により外界の所定の被写体の視差量を算出
し、当該視差量に基づいて奥行き位置を検出し、奥行記
憶部２２が検出された被写体の奥行き位置を記憶する。
次いで、奥行記憶部２２に記憶されている被写体の奥行
き位置に基づいて制御部５８が、結像部５２のフォーカ
ス、絞り部５３の絞り量を変更する。更に、制御部５８
が被写体の奥行き位置に基づいてシャッタ動作のスピー
ドを決定し、当該スピードに従ってシャッター部５４に
シャッター動作を行わせる。これにより、結像部５２及
び絞り部５３がフィルム部５６に設置されたフィルムの
表面上に外界の被写体の画像を結ぶ。この結果、結ばれ
た画像に応じてフィルム部５６のフィルムのフォトレジ
ストが感光する。Next, based on the images from a plurality of viewpoints stored in the parallax image storage unit 18, the depth detecting unit 20 calculates the amount of parallax of a predetermined subject in the outside world by corresponding point determination processing. The depth position is detected based on the detected depth position, and the depth storage unit 22 stores the detected depth position of the subject.
Next, the control unit 58 changes the focus of the imaging unit 52 and the stop amount of the stop unit 53 based on the depth position of the subject stored in the depth storage unit 22. Further, the control unit 58
Determines the speed of the shutter operation based on the depth position of the subject, and causes the shutter unit 54 to perform the shutter operation according to the speed. As a result, the imaging unit 52 and the aperture unit 53 form an image of an external subject on the surface of the film provided on the film unit 56. As a result, the photoresist of the film in the film portion 56 is exposed according to the formed image.
【００３４】このように、本実施形態に係る撮像装置で
は、第１の実施形態と同様な視差画像入力装置を有して
いるので、視差が発生する視差方向について、外界の被
写体の長さを詳細に取り込むことができるので、視差方
向に発生する視差量をより詳細に決定することができ
る。このため、より詳細に被写体の奥行き位置を検出す
ることができる。また、詳細に被写体の奥行き位置を検
出できるので、当該奥行き位置に基づいた制御によっ
て、例えば、結像部５２におけるフォーカスの精度を高
めることができ、取り込む画像の質を向上することがで
きる。As described above, the imaging apparatus according to the present embodiment has the same parallax image input device as that of the first embodiment, so that the length of the external object in the parallax direction in which parallax occurs is determined. Since the parallax can be captured in detail, the amount of parallax generated in the parallax direction can be determined in more detail. Therefore, the depth position of the subject can be detected in more detail. In addition, since the depth position of the subject can be detected in detail, control based on the depth position can improve, for example, the accuracy of focus in the imaging unit 52 and improve the quality of the captured image.
【００３５】本発明は上記に限定されるものではなく、
種々の変形が可能である。例えば、上記の第１の実施形
態及び第２の実施形態では、一組の視差用結像部１４及
び視差用撮像部１６を移動させることにより、複数の視
点からの画像を取り込むようにしていたが、本発明はこ
れに限られず、複数の視点位置に視差用結像部１４及び
視差用撮像部１６の組を備え、これらによって複数の視
点からの画像を取り込むようにしてもよい。The present invention is not limited to the above,
Various modifications are possible. For example, in the first embodiment and the second embodiment, images from a plurality of viewpoints are captured by moving a set of the parallax imaging unit 14 and the parallax imaging unit 16. However, the present invention is not limited to this, and a set of the parallax imaging unit 14 and the parallax imaging unit 16 may be provided at a plurality of viewpoint positions, and these may capture images from a plurality of viewpoints.
【００３６】また、上記実施形態では、結像系は別構成
の視差用結像部１４及び結像部２４、又は、視差用結像
部１４及び結像部５２を備えていたが、本発明はこれに
限られず、結像系が単一のレンズ系のみを有していても
よい。この場合、単一のレンズ系によって視差用結像部
１４及び結像部２４、又は、視差用結像部１４及び結像
部５２を構成してもよく、プリズム等の光分岐手段によ
って外界の画像を視差用撮像部１６及び撮像部２６に結
ばせるようにしてもよい。また、視差用結像部１４及び
結像部２４、又は、視差用結像部１４及び結像部５２の
一部を共通の構成にしてもよい。In the above embodiment, the imaging system includes the parallax imaging unit 14 and the imaging unit 24 or the parallax imaging unit 14 and the imaging unit 52 having different configurations. Is not limited to this, and the imaging system may have only a single lens system. In this case, the parallax image forming unit 14 and the image forming unit 24 or the parallax image forming unit 14 and the image forming unit 52 may be configured by a single lens system. The image may be connected to the parallax imaging unit 16 and the imaging unit 26. Further, a part of the parallax imaging unit 14 and the imaging unit 24 or a part of the parallax imaging unit 14 and the imaging unit 52 may be configured to have a common configuration.
【００３７】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。Although the present invention has been described with reference to the embodiment, the technical scope of the present invention is not limited to the scope described in the above embodiment. It is apparent to those skilled in the art that various changes or improvements can be added to the above embodiment. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.
【００３８】[0038]
【発明の効果】上記説明から明らかなように、本発明に
よれば、外界における奥行き位置の分解能を向上する視
差画像を容易に取り込むことができる。As is apparent from the above description, according to the present invention, it is possible to easily capture a parallax image that improves the resolution of the depth position in the outside world.
【図１】 従来例に係る視差画像入力装置の構成を示す
図である。FIG. 1 is a diagram illustrating a configuration of a parallax image input device according to a conventional example.
【図２】 視差画像により検出される視差量を説明する
図である。FIG. 2 is a diagram illustrating a parallax amount detected from a parallax image.
【図３】 本発明の第１の実施形態に係る視差画像入力
装置を含む撮像装置の構成を示す図である。FIG. 3 is a diagram illustrating a configuration of an imaging device including the parallax image input device according to the first embodiment of the present invention.
【図４】 本発明の第１の実施形態に係る視差用撮像部
の構成を示す図である。FIG. 4 is a diagram illustrating a configuration of a parallax imaging unit according to the first embodiment of the present invention.
【図５】 本発明の第２の実施形態に係る視差画像入力
装置の構成を示す図である。FIG. 5 is a diagram illustrating a configuration of a parallax image input device according to a second embodiment of the present invention.
【図６】 本発明の第３の実施形態に係る撮像装置の構
成を示す図である。FIG. 6 is a diagram illustrating a configuration of an imaging device according to a third embodiment of the present invention.
１０ ５０ 撮像装置 １２ 視
差画像入力装置 １４ 視差用結像部 １５ 駆
動部 １６ 視差用撮像部 １８ 視
差画像記憶部 ２０ 奥行検出部 ２２ 奥
行記憶部 ２４ ５２ 結像部 ２６ 結
像部 ２８ 記憶部 ３０ 制
御部 ４０ シャッター部 ４２ 視
差用制御部 ４４ 奥行検出部 ５３ 絞
り ５４ シャッター部 ５６ フ
イルム部10 50 imaging device 12 parallax image input device 14 parallax imaging unit 15 driving unit 16 parallax imaging unit 18 parallax image storage unit 20 depth detection unit 22 depth storage unit 24 52 imaging unit 26 imaging unit 28 storage unit 30 control Section 40 Shutter section 42 Parallax control section 44 Depth detection section 53 Aperture 54 Shutter section 56 Film section
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 13/02 13/02 Ｇ０６Ｆ 15/64 ３２０Ｃ Ｆターム(参考） 2F065 AA02 AA22 AA45 DD03 FF05 FF09 JJ03 JJ16 JJ26 LL30 QQ24 2F112 AC06 BA06 CA08 DA15 DA28 DA32 FA03 FA07 FA21 FA35 FA45 5B047 AA07 AB04 BB04 BC05 BC06 CB05 CB22 5C022 AA01 AA13 AC42 AC51 AC52 AC54 AC69 5C061 AA29 AB03 AB06 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/225 H04N 13/02 13/02 G06F 15/64 320C F-term (Reference) 2F065 AA02 AA22 AA45 DD03 FF05 FF09 JJ03 JJ16 JJ26 LL30 QQ24 2F112 AC06 BA06 CA08 DA15 DA28 DA32 FA03 FA07 FA21 FA35 FA45 5B047 AA07 AB04 BB04 BC05 BC06 CB05 CB22 5C022 AA01 AA13 AC42 AC51 AC52 AC54 AC69 5C061 AA29 AB03 AB06
Claims (8)
る視差画像入力装置であって、 前記複数の視点から見た前記外界の画像を結ぶ視差用結
像部と、 前記視差用結像部により結ばれた前記画像を取り込む視
差用撮像部とを有し、 前記視差用撮像部は、 前記複数の視点を結ぶ視差方向に対する前記画素の密度
が視差方向と垂直な方向に対する前記画素の密度より高
い光電変換素子を有することを特徴とする視差画像入力
装置。1. A parallax image input device for acquiring an image of the outside world viewed from a plurality of viewpoints, comprising: a parallax imaging unit connecting the images of the outside world viewed from the plurality of viewpoints; A parallax imaging unit that captures the image connected by the unit, wherein the density of the pixels in a parallax direction connecting the plurality of viewpoints is a density of the pixels in a direction perpendicular to the parallax direction. A parallax image input device having a higher photoelectric conversion element.
長さが視差方向と垂直な方向の長さより短いことを特徴
とする請求項１に記載の視差画像入力装置。2. The parallax image input device according to claim 1, wherein a length of the pixel of the photoelectric conversion element in a parallax direction is shorter than a length in a direction perpendicular to the parallax direction.
記画像に基づいて前記外界における所定の被写体までの
距離を示す奥行き情報を検出する奥行検出部を更に備え
ることを特徴とする請求項１又は２に記載の視差画像入
力装置。3. The image processing apparatus according to claim 1, further comprising a depth detection unit configured to detect depth information indicating a distance to a predetermined subject in the outside world based on the image captured by the parallax imaging unit. 3. The parallax image input device according to 2.
て、 前記外界の画像を結ぶ結像系と、 前記結像系により結ばれた前記画像を撮像する撮像部
と、 前記結像系により結ばれた前記画像を取得する視差用撮
像部とを有し、 前記視差用撮像部は、 前記複数の視点を結ぶ視差方向に対する画素の密度が視
差方向と垂直な方向に対する画素の密度より高い光電変
換素子を有することを特徴とする撮像装置。4. An imaging apparatus for capturing an image of a desired external world, comprising: an imaging system configured to connect the external world image; an imaging unit configured to capture the image formed by the imaging system; A parallax imaging unit for acquiring the connected image, wherein the parallax imaging unit has a photoelectric conversion unit in which the density of pixels in a parallax direction connecting the plurality of viewpoints is higher than the density of pixels in a direction perpendicular to the parallax direction. An imaging device comprising a conversion element.
長さが視差方向と垂直な方向の長さより短いことを特徴
とする請求項４に記載の撮像装置。5. The imaging device according to claim 4, wherein a length of the pixel of the photoelectric conversion element in a parallax direction is shorter than a length in a direction perpendicular to the parallax direction.
とを有し、 前記視差用撮像部は、 前記視差用結像部により結ばれた前記画像を取得するこ
とを特徴とする請求項４又は５に記載の撮像装置。6. The imaging system, comprising: an imaging unit that connects the external world image; and a parallax imaging unit that connects the external world image viewed from a plurality of viewpoints. The imaging apparatus according to claim 4, wherein the image formed by the parallax imaging unit is acquired.
の視点から見た前記画像に基づいて、前記外界の所定の
被写体までの距離に対応する奥行き情報を検出する奥行
検出部を更に備えることを特徴とする請求項４乃至６の
いずれかに記載の撮像装置。7. A depth detecting unit for detecting depth information corresponding to a distance to a predetermined subject in the outside world based on the images viewed from a plurality of viewpoints captured by the parallax imaging unit. The imaging device according to claim 4, wherein:
情報に基づいて、前記結像系又は前記撮像部を制御する
制御部を更に備えたことを特徴とする請求項７に記載の
撮像装置。8. The imaging apparatus according to claim 7, further comprising a control unit that controls the imaging system or the imaging unit based on the depth information detected by the depth detection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11186488A JP2001012916A (en) | 1999-06-30 | 1999-06-30 | Parallax image-inputting device and image pickup device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11186488A JP2001012916A (en) | 1999-06-30 | 1999-06-30 | Parallax image-inputting device and image pickup device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001012916A true JP2001012916A (en) | 2001-01-19 |
Family
ID=16189375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11186488A Pending JP2001012916A (en) | 1999-06-30 | 1999-06-30 | Parallax image-inputting device and image pickup device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001012916A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5469258B2 (en) * | 2011-02-09 | 2014-04-16 | 富士フイルム株式会社 | Imaging apparatus and imaging method |
| US8885026B2 (en) | 2011-03-31 | 2014-11-11 | Fujifilm Corporation | Imaging device and imaging method |
| US9648305B2 (en) | 2011-03-31 | 2017-05-09 | Fujifilm Corporation | Stereoscopic imaging apparatus and stereoscopic imaging method |
-
1999
- 1999-06-30 JP JP11186488A patent/JP2001012916A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5469258B2 (en) * | 2011-02-09 | 2014-04-16 | 富士フイルム株式会社 | Imaging apparatus and imaging method |
| JPWO2012108099A1 (en) * | 2011-02-09 | 2014-07-03 | 富士フイルム株式会社 | Imaging apparatus and imaging method |
| US8823778B2 (en) | 2011-02-09 | 2014-09-02 | Fujifilm Corporation | Imaging device and imaging method |
| US8885026B2 (en) | 2011-03-31 | 2014-11-11 | Fujifilm Corporation | Imaging device and imaging method |
| US9648305B2 (en) | 2011-03-31 | 2017-05-09 | Fujifilm Corporation | Stereoscopic imaging apparatus and stereoscopic imaging method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107087107B (en) | Image processing apparatus and method based on dual camera | |
| EP1956831B1 (en) | Focus adjusting device, image pickup apparatus, and focus adjustment method | |
| US7945938B2 (en) | Network camera system and control method therefore | |
| CN100502471C (en) | Image processing device, image processing method and imaging device | |
| WO2020259474A1 (en) | Focus tracking method and apparatus, terminal device, and computer-readable storage medium | |
| US10937142B2 (en) | Arrangement for generating head related transfer function filters | |
| CN101621626B (en) | Image pickup apparatus and auto-focus detection method | |
| JP2008191683A (en) | Imaging apparatus and imaging method | |
| CN107079087A (en) | Camera device and object recognition methods | |
| JP2007074143A (en) | Imaging device and imaging system | |
| JP2003502925A (en) | How to shoot 3D scenes with one portable camera | |
| WO2020207172A1 (en) | Method and system for optical monitoring of unmanned aerial vehicles based on three-dimensional light field technology | |
| WO2020124517A1 (en) | Photographing equipment control method, photographing equipment control device and photographing equipment | |
| JPH10142490A (en) | Environment recognition device and camera | |
| JP5857712B2 (en) | Stereo image generation apparatus, stereo image generation method, and computer program for stereo image generation | |
| JP2001177752A (en) | Image pickup method and device to generate combined output image having image components photographed by different focal distances | |
| JP4354096B2 (en) | Imaging device | |
| JP4871691B2 (en) | Imaging apparatus and control method thereof | |
| JP2001012915A (en) | Parallax image-inputting device and image pickup device | |
| JP3998863B2 (en) | Depth detection device and imaging device | |
| WO2023185375A1 (en) | Depth map generation system and method, and autonomous mobile device | |
| JP2001012916A (en) | Parallax image-inputting device and image pickup device | |
| JP2001012944A (en) | Parallax image input apparatus and image pickup apparatus | |
| CN101625506B (en) | Face automatic focusing method of digital image acquirement device | |
| JPH10320558A (en) | Calibration method, corresponding point search method and device therefor, focus distance detection method and device therefor, three-dimensional position information detection method and device therefor, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060530 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060920 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070112 |