JP2011197278A - Stereoscopic imaging apparatus - Google Patents
Stereoscopic imaging apparatus Download PDFInfo
- Publication number
- JP2011197278A JP2011197278A JP2010062873A JP2010062873A JP2011197278A JP 2011197278 A JP2011197278 A JP 2011197278A JP 2010062873 A JP2010062873 A JP 2010062873A JP 2010062873 A JP2010062873 A JP 2010062873A JP 2011197278 A JP2011197278 A JP 2011197278A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- program diagram
- priority program
- parallax priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 79
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 230000035945 sensitivity Effects 0.000 claims description 21
- 238000005375 photometry Methods 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 34
- 239000004973 liquid crystal related substance Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Exposure Control For Cameras (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は立体撮像装置に係り、特に撮影光学系の左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する技術に関する。 The present invention relates to a stereoscopic imaging apparatus, and more particularly to a technique for acquiring a left viewpoint image and a right viewpoint image by forming subject images that have passed through different regions in the left-right direction of an imaging optical system on imaging elements, respectively.
従来、この種の立体撮像装置として、図9に示す光学系を有するものが知られている(特許文献1)。 Conventionally, what has the optical system shown in FIG. 9 is known as this kind of three-dimensional imaging device (patent document 1).
この光学系は、メインレンズ1及びリレーレンズ2の左右方向の異なる領域を通過した被写体像をミラー4により瞳分割し、それぞれ結像レンズ5、6を介して撮像素子7、8に結像させるようにしている。
In this optical system, a subject image that has passed through different regions in the left-right direction of the main lens 1 and the relay lens 2 is divided into pupils by a
図10(A)〜(C)は、それぞれ前ピン、合焦(ベストフォーカス)、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図10では、フォーカスによる分離の違いを比較するために、図9に示したミラー4を省略している。
FIGS. 10A to 10C are diagrams illustrating separation states of images formed on the image sensor due to differences in the front pin, in-focus (best focus), and rear pin, respectively. In FIG. 10, the
図10(B)に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する(一致する)が、図10(A)及び(C)に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する(分離する)。 As shown in FIG. 10 (B), the focused image of the pupil-divided images is formed (matched) at the same position on the image sensor, but FIGS. 10 (A) and 10 (C). As shown in FIG. 5, the images to be the front pin and the rear pin are formed (separated) at different positions on the image sensor.
従って、左右方向に瞳分割された被写体像を撮像素子7、8を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像(3D画像)を取得することができる。
Therefore, by acquiring the subject image that is pupil-divided in the left-right direction via the
また、特許文献2には、上記と同様に左右方向に瞳分割された被写体像に対応する左視点画像及び右視点画像を取得し、撮影画面のほぼ全エリアについて焦点検出(デフォーカス量の検出)を行うことができる撮像装置が記載されており、特に段落[0047]には、絞りのF値を変えることで立体感の調節を行うことができる記載がある。 Also, in Patent Document 2, a left viewpoint image and a right viewpoint image corresponding to a subject image divided in the left-right direction are acquired in the same manner as described above, and focus detection (defocus amount detection) is performed for almost all areas of the shooting screen. In particular, paragraph [0047] describes that the stereoscopic effect can be adjusted by changing the F value of the aperture.
また、特許文献3には、撮影モードに応じてプログラム線図を選択する記載がある(段落[0043]〜[0044])。
この種の立体撮像装置により撮影される左視点画像と右視点画像は、絞りのF値に応じて視差(分離幅)が異なるため、被写体の明るさの影響を受け、ユーザが希望する視差で撮影を行うことができないという問題がある。 Since the parallax (separation width) differs between the left viewpoint image and the right viewpoint image captured by this type of stereoscopic imaging device depending on the F value of the diaphragm, the parallax desired by the user is affected by the brightness of the subject. There is a problem that photography cannot be performed.
また、特許文献3に記載の撮像装置は、そもそも立体撮像装置ではなく、また、特許文献3には、撮影モードに応じてプログラム線図を選択する理由やプログラム線図の特徴に関する記載はない。
In addition, the imaging apparatus described in
本発明はこのような事情に鑑みてなされたもので、被写体の明るさにかかわらず、左右視点画像の視差がユーザの希望する視差になるように撮影することができる立体撮像装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and provides a stereoscopic imaging apparatus capable of photographing so that the parallax of the left and right viewpoint images becomes the parallax desired by the user regardless of the brightness of the subject. With the goal.
前記目的を達成するために請求項1に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第1、第2の領域を通過した被写体像をそれぞれ光電変換して第1の画像及び第2の画像を出力する撮像素子と、前記撮像素子に入射する光束を制限する絞りと、前記撮像素子から出力される第1の画像と第2の画像との視差量を変化させることが可能な複数の視差優先用のプログラム線図を記憶する記憶手段と、被写体の明るさを測光する測光手段と、前記第1の画像と第2の画像との視差の強度を指示又は設定する情報に基づいて前記複数の視差優先用のプログラム線図から対応する視差優先用のプログラム線図を選択するプログラム線図選択手段と、前記プログラム線図選択手段により選択された視差優先用のプログラム線図と前記測光手段により測光された被写体の明るさに基づいて前記絞りのF値を含む撮影条件を決定する撮影条件決定手段と、前記決定された撮影条件に基づいて露出制御を行う露出制御手段と、を備えたことを特徴としている。 In order to achieve the above object, a stereoscopic imaging apparatus according to claim 1 includes a single photographing optical system and subject images that have passed through first and second regions having different predetermined directions of the photographing optical system. An image sensor that is divided into pupils to form images, and that respectively photoelectrically converts subject images that have passed through the first and second regions to output a first image and a second image, and A diaphragm for limiting parallax incident on the image sensor, and a plurality of parallax priority program diagrams capable of changing the parallax amount between the first image and the second image output from the image sensor. A plurality of parallax priority program lines based on information for indicating or setting the parallax intensity between the first image and the second image; Program line for parallax priority corresponding to the figure A program diagram selection means for selecting the image, a program diagram for parallax priority selected by the program diagram selection means, and an F value of the aperture based on the brightness of the subject measured by the photometry means An imaging condition determining unit that determines a condition and an exposure control unit that performs exposure control based on the determined imaging condition are provided.
請求項1に係る発明によれば、上記構成の立体撮像装置により取得される第1、第2の画像の視差の強度が指示又は設定されると、その視差の強度に対応する視差優先用のプログラム線図が選択される。この選択された視差優先用のプログラム線図によれば、前記指示又は設定された視差の強度に対応する絞りのF値が優先的に決定されるため、被写体の明るさにかかわらず、前記指示又は設定された視差の強度をもった第1、第2の画像を撮影することができる。 According to the first aspect of the present invention, when the parallax intensity of the first and second images acquired by the stereoscopic imaging apparatus having the above configuration is instructed or set, the parallax priority-use corresponding to the parallax intensity is provided. A program diagram is selected. According to the selected parallax priority program diagram, the F value of the aperture corresponding to the instruction or the set parallax intensity is preferentially determined, so that the instruction does not depend on the brightness of the subject. Alternatively, the first and second images having the set parallax intensity can be taken.
請求項2に示すように請求項1に記載の立体撮像装置において、前記撮像素子から出力される第1の画像と第2の画像の視差の強度をユーザの入力により指示する指示手段を備え、前記プログラム線図選択手段は、前記指示手段により指示された視差の強度の情報に基づいて前記複数の視差優先用のプログラム線図から前記指示された視差の強度に対応する視差優先用のプログラム線図を選択することを特徴としている。これにより、ユーザが指示した視差の強度に対応する絞りのF値が優先的に決定されるため、被写体の明るさにかかわらず、ユーザが希望する視差の強度をもった第1、第2の画像を撮影することができる。 As shown in claim 2, in the stereoscopic imaging device according to claim 1, comprising: an instruction unit that instructs the parallax intensity between the first image and the second image output from the imaging element by a user input; The program diagram selection unit is configured to select a parallax priority program line corresponding to the instructed parallax intensity from the plurality of parallax priority program diagrams based on the parallax intensity information instructed by the instruction unit. It is characterized by selecting a figure. As a result, the F value of the aperture corresponding to the parallax intensity instructed by the user is preferentially determined, so that the first and second parallax intensity desired by the user can be obtained regardless of the brightness of the subject. Images can be taken.
請求項3に示すように請求項2に記載の立体撮像装置によれば、前記プログラム線図選択手段は、前記指示手段により指示された視差が大きい程、前記複数の視差優先用のプログラム線図からF値の小さい視差優先用のプログラム線図を選択し、前記指示手段により指示された視差が小さい程、前記複数の視差優先用のプログラム線図からF値の大きい視差優先用のプログラム線図を選択することを特徴としている。 According to the stereoscopic imaging apparatus according to claim 2, the program diagram selection unit, as the parallax instructed by the instruction unit, increases, the plurality of program diagrams for parallax priority. A parallax priority program diagram having a small F value is selected, and the parallax priority program diagram having a large F value is selected from the plurality of parallax priority program diagrams as the parallax instructed by the instruction unit is smaller. It is characterized by selecting.
請求項4に示すように請求項1に記載の立体撮像装置において、前記プログラム線図選択手段は、複数の撮影モードから選択された撮影モードに基づいて前記複数の視差優先用のプログラム線図から該撮影モードに対して設定された視差優先用のプログラム線図を選択することを特徴としている。これにより、例えば、マクロモード、人物モード、風景モード等の複数の撮影モードから適宜の撮影モードが選択されると、その選択された撮影モードに適した視差の強度をもった第1、第2の画像を撮影することができる。 According to a fourth aspect of the present invention, in the stereoscopic imaging apparatus according to the first aspect, the program diagram selection unit is configured to select from the plurality of parallax priority program diagrams based on a photographing mode selected from a plurality of photographing modes. A parallax priority program diagram set for the photographing mode is selected. Thus, for example, when an appropriate shooting mode is selected from a plurality of shooting modes such as a macro mode, a portrait mode, and a landscape mode, the first and second parallax intensities suitable for the selected shooting mode are selected. Images can be taken.
請求項5に示すように請求項1から4のいずれかに記載の立体撮像装置において、前記複数の視差優先用のプログラム線図のF値は、それぞれ一定であることを特徴としている。これにより、被写体の明るさにかかわらず、F値を一定(即ち、視差を一定)にすることができる。 According to a fifth aspect of the present invention, in the stereoscopic imaging device according to any one of the first to fourth aspects, the F values of the plurality of parallax priority program diagrams are respectively constant. Thereby, the F value can be made constant (that is, the parallax is made constant) regardless of the brightness of the subject.
請求項6に示すように請求項1から5のいずれかに記載の立体撮像装置において、前記撮像素子における露光時間を制御するシャッタを備え、前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じてシャッタ速度を変更させるシャッタ速度情報を含み、前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記シャッタのシャッタ速度を変化させることを特徴としている。これにより、絞り優先にし、被写体の明るさに対してはシャッタ速度で対応するようにしている。 6. The stereoscopic imaging device according to claim 1, further comprising a shutter that controls an exposure time in the imaging device, wherein the parallax priority program diagram is obtained by the photometry unit. Shutter speed information for changing the shutter speed according to the brightness of the photometric subject, and the exposure control means makes the aperture constant based on the selected parallax priority program diagram, and It is characterized by changing the shutter speed of the shutter. Accordingly, the aperture is prioritized, and the brightness of the subject is dealt with by the shutter speed.
請求項7に示すように請求項1から6のいずれかに記載の立体撮像装置において、前記撮像素子から出力される第1の画像及び第2の画像に対するゲインを調整する感度調整手段を備え、前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じて撮影感度を変更させる感度情報を含み、前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記感度調整手段を可変にすることを特徴としている。
As shown in
前記視差優先用のプログラム線図は、前記指示又は設定された視差の強度に対応する絞りのF値を優先的に決定するため、被写体の明るさが暗い場合でもF値の大きなもの(暗いもの)に決定する場合がある。この場合、シャッタ速度を遅くすることで、適正露出にすることもできるが、シャッタ速度が遅くなりすぎると、手ブレの問題が発生する。そこで、このような場合には、手ブレが発生するようなシャッタ速度に制限し、その分の露出量の不足は、感度を上げることで対応できるようにする。 Since the parallax priority program diagram preferentially determines the F value of the diaphragm corresponding to the instruction or the set parallax intensity, even when the subject is dark, the program diagram having a large F value (dark one) ) May be determined. In this case, a proper exposure can be obtained by slowing down the shutter speed. However, if the shutter speed is too slow, a problem of camera shake occurs. Therefore, in such a case, the shutter speed is limited so that camera shake occurs, so that the shortage of exposure can be dealt with by increasing the sensitivity.
請求項8に示すように請求項1から7のいずれかに記載の立体撮像装置において、前記単一の撮影光学系はズームレンズであり、前記記憶手段は、前記ズームレンズのズーム倍率に応じた視差優先用のプログラム線図を有し、前記プログラム線図選択手段は、前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に基づいて前記複数の視差優先用のプログラム線図から前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に対応する視差優先用のプログラム線図を選択することを特徴としている。前記ズームレンズのズーム倍率に応じて絞りの使用可能なF値に制限があるため、前記ズームレンズのズーム倍率も視差優先用のプログラム線図を選択するためのパラメータの1つにしている。 The stereoscopic imaging device according to any one of claims 1 to 7, wherein the single photographing optical system is a zoom lens, and the storage unit corresponds to a zoom magnification of the zoom lens. A program diagram for parallax priority, wherein the program diagram selection unit is configured to select the parallax priority based on information indicating or setting the parallax intensity and a zoom magnification of the zoom lens from the plurality of parallax priority program diagrams. A program diagram for parallax priority corresponding to information indicating or setting the parallax intensity and a zoom magnification of the zoom lens is selected. Since there is a limit to the F value that can be used for the diaphragm according to the zoom magnification of the zoom lens, the zoom magnification of the zoom lens is also one of the parameters for selecting a program diagram for parallax priority.
請求項9に示すように請求項8に記載の立体撮像装置において、前記プログラム線図選択手段は、前記ズームレンズのズーム倍率が大きい場合には、大きいF値を有する視差優先用のプログラム線図を選択し、前記ズームレンズのズーム倍率が小さい場合には、小さいF値を有する視差優先用のプログラム線図を選択することを特徴としている。
9. The stereoscopic imaging apparatus according to
即ち、ズームレンズのズーム倍率が大きくなると、前記第1の画像と第2の画像の視差が大きくなるため、F値の大きい視差優先プログラム線図を選択し、逆にズーム倍率が小さくなると、第1の画像と第2の画像の視差が小さくなるため、F値の小さい視差優先プログラム線図を選択し、これによりズーム倍率によらず、前記指示又は設定された視差強度をもつ第1の画像及び第2の画像を取得できるようにしている。 That is, when the zoom magnification of the zoom lens is increased, the parallax between the first image and the second image is increased. Therefore, when the parallax priority program diagram having a large F value is selected and the zoom magnification is decreased, Since the parallax between the first image and the second image becomes small, a parallax priority program diagram having a small F value is selected, and thereby the first image having the designated or set parallax intensity regardless of the zoom magnification. The second image can be acquired.
請求項10に示すように請求項1から9のいずれかに記載の立体撮像装置において、被写体の明るさに応じて絞りのF値とシャッタのシャッタ速度とをそれぞれ決定するための他のプログラム線図を記憶する記憶手段と、前記視差優先用のプログラム線図にしたがって撮影条件を決定させる視差優先撮影モードを選択するモード選択手段と、を備え、前記プログラム線図選択手段は、前記モード選択手段により視差優先撮影モードが選択されると、前記他のプログラム線図に代えて前記視差優先用のプログラム線図を選択することを特徴としている。 According to a tenth aspect of the present invention, in the stereoscopic imaging device according to any one of the first to ninth aspects, the other program lines for respectively determining the F value of the aperture and the shutter speed of the shutter according to the brightness of the subject. Storage means for storing a figure, and mode selection means for selecting a parallax priority shooting mode for determining shooting conditions according to the parallax priority program diagram, wherein the program diagram selection unit is the mode selection unit. When the parallax priority shooting mode is selected, the parallax priority program diagram is selected instead of the other program diagram.
前記記憶手段には、絞り優先プログラム線図、シャッタ速度優先プログラム線図、あるいは被写体の明るさに応じて絞りとシャッタ速度を交互に又は同時に変化させる他のプログラム線図等が記憶され、前記視差優先撮影モードが選択されていない場合には、上記他のプログラム線図が選択される。尚、前記記憶手段は、前記視差優先用のプログラム線図を記憶する記憶手段と同一のものでもよいし、別のものでもよい。 The storage means stores an aperture priority program diagram, a shutter speed priority program diagram, or another program diagram that changes the aperture and shutter speed alternately or simultaneously according to the brightness of the subject, and the like. When the priority shooting mode is not selected, the other program diagram is selected. The storage means may be the same as or different from the storage means for storing the parallax priority program diagram.
そして、視差優先撮影モードが選択されると、前記撮影条件決定手段は、絞り優先プログラム線図等の他のプログラム線図の代わりに前記視差優先用のプログラム線図を選択するようにしている。 When the parallax priority shooting mode is selected, the shooting condition determination unit selects the program diagram for parallax priority instead of another program diagram such as an aperture priority program diagram.
請求項11に示すように請求項2又は3に記載の立体撮像装置において、前記指示手段により指示された視差の強度の情報を表示する表示手段を備えたことを特徴としている。これにより、ユーザは、現在どのような視差の強度が指定されているかを認識することができる。
As shown in
請求項12に示すように請求項1から11のいずれかに記載の立体撮像装置において、前記撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第1群の画素及び第2群の画素であって、前記撮影光学系の第1の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第1群の画素と、前記撮影光学系の第2の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第2群の画素とを有し、前記第1群の画素及び第2群の画素から前記第1の画像及び第2の画像の読み出しが可能な撮像素子であることを特徴としている。 The stereoscopic imaging device according to any one of claims 1 to 11, wherein the imaging element is for photoelectric conversion arranged in a matrix on substantially the entire exposure area of the imaging element. A first group of pixels and a second group of pixels, the first group of pixels having a light beam receiving direction limited so as to receive only a subject image that has passed through the first region of the photographing optical system; A second group of pixels that are limited in the light receiving direction of the light beam so as to receive only the subject image that has passed through the second region of the photographing optical system, and the first group of pixels and the second group The image pickup device is capable of reading the first image and the second image from the pixels.
これにより、複数の撮像素子を使用する立体撮像装置に比べて装置の小型化を図ることができる。 Thereby, the apparatus can be reduced in size as compared with a stereoscopic imaging apparatus using a plurality of imaging elements.
本発明によれば、単一の撮影光学系を有する立体撮像装置において、複数の視差優先用のプログラム線図から予め指示又は設定された視差の強度に対応する視差優先用のプログラム線図を選択して絞りのF値を含む撮影条件を決定するようにしたため、被写体の明るさにかかわらず、前記示又は設定された視差の強度をもった左右視点画像を撮影することができる。 According to the present invention, in a stereoscopic imaging apparatus having a single photographing optical system, a parallax priority program diagram corresponding to a predetermined parallax intensity is selected from a plurality of parallax priority program diagrams. Thus, since the photographing condition including the F value of the diaphragm is determined, the left and right viewpoint images having the parallax intensity shown or set can be photographed regardless of the brightness of the subject.
以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。 Hereinafter, embodiments of a stereoscopic imaging device according to the present invention will be described with reference to the accompanying drawings.
[立体撮像装置の全体構成]
図1は本発明に係る立体撮像装置10の実施の形態を示すブロック図である。
[Overall configuration of stereoscopic imaging apparatus]
FIG. 1 is a block diagram showing an embodiment of a
この立体撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
The
立体撮像装置10には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて立体撮像装置10の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、立体表示用の液晶モニタ30の表示制御などを行う。
The
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、2D撮影モード、3D撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。 The shutter button is an operation button for inputting an instruction to start shooting, and includes a two-stage stroke type switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed. The mode dial is a selection means for selecting a 2D shooting mode, a 3D shooting mode, an auto shooting mode, a manual shooting mode, a scene position such as a person, a landscape, a night view, a macro mode, a moving image mode, and a parallax priority shooting mode according to the present invention. is there.
再生ボタンは、撮影記録した立体視画像(3D画像)、平面画像(2D画像)の静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。
The playback button is a button for switching to a playback mode in which a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been recorded is displayed on the
撮影モード時において、被写体を示す画像光は、撮影光学系(ズームレンズ)12、絞り14を介して位相差イメージセンサである固体撮像素子(以下、「位相差CCD」という)16の受光面に結像される。撮影光学系12は、CPU40によって制御されるレンズ駆動部36によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り14は、例えば、5枚の絞り羽根からなり、CPU40によって制御される絞り駆動部34によって駆動され、例えば、絞り値F1.4〜F11まで1AV刻みで6段階に絞り制御される。
In the shooting mode, image light indicating a subject is incident on a light receiving surface of a solid-state imaging device (hereinafter referred to as “phase difference CCD”) 16 that is a phase difference image sensor via a photographing optical system (zoom lens) 12 and a
また、CPU40は、絞り駆動部34を介して絞り14を制御するとともに、CCD制御部32を介して位相差CCD16での電荷蓄積時間(シャッタ速度)や、位相差CCD16からの画像信号の読み出し制御等を行う。
The
<位相差CCDの構成例>
図2は位相差CCD16の構成例を示す図である。
<Configuration example of phase difference CCD>
FIG. 2 is a diagram illustrating a configuration example of the
位相差CCD16は、それぞれマトリクス状に配列された奇数ラインの画素(主画素)と、偶数ラインの画素(副画素)とを有しており、これらの主、副画素にてそれぞれ光電変換された2面分の画像信号は、独立して読み出すことができるようになっている。
The
図2に示すように位相差CCD16の奇数ライン(1、3、5、…)には、R(赤)、G(緑)、B(青)のカラーフィルタを備えた画素のうち、GRGR…の画素配列のラインと、BGBG…の画素配列のラインとが交互に設けられ、一方、偶数ライン(2、4、6、…)の画素は、奇数ラインと同様に、GRGR…の画素配列のラインと、BGBG…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が2分の1ピッチだけライン方向にずれて配置されている。
As shown in FIG. 2, among the pixels provided with R (red), G (green), and B (blue) color filters on the odd lines (1, 3, 5,...) Of the
図3は撮影光学系12、絞り14、及び位相差CCD16の主、副画素の1画素ずつを示した図であり、図4は図3の要部拡大図である。
FIG. 3 is a diagram showing one of the main and sub-pixels of the photographing
図4(A)に示すように通常のCCDの画素(フォトダイオードPD)には、射出瞳を通過する光束が、マイクロレンズLを介して制限を受けずに入射する。 As shown in FIG. 4A, a light beam passing through the exit pupil is incident on a normal CCD pixel (photodiode PD) through the microlens L without being restricted.
これに対し、位相差CCD16の主画素及び副画素には遮光部材16Aが形成され、この遮光部材16Aにより主画素、副画素(フォトダイオードPD)の受光面の右半分、又は左半分が遮光されている。即ち、遮光部材16Aが瞳分割部材としての機能を有している。
On the other hand, a
尚、上記構成の位相CCD16は、主画素と副画素とでは、遮光部材16Aより光束が制限されている領域(右半分、左半分)が異なるように構成されているが、これに限らず、遮光部材16Aを設けずに、マイクロレンズLとフォトダイオードPDとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードPDに入射する光束が制限されるものでもよいし、また、2つの画素(主画素と副画素)に対して1つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
The
図1に戻って、位相差CCD16に蓄積された信号電荷は、CCD制御部32から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差CCD16から読み出された電圧信号は、アナログ信号処理部18に加えられ、ここで各画素ごとのR、G、B信号がサンプリングホールドされ、CPU40から指定されたゲイン(ISO感度に相当)で増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。
Returning to FIG. 1, the signal charge accumulated in the
デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、YC処理、シャープネス補正等の所定の信号処理を行う。
The digital
尚、図1において、46は、撮影画角内の人物の顔を検出し、その顔を含むエリアをAFエリア、AEエリアとして設定するための公知の顔検出回路である(例えば、特開平9−101579号公報)。また、47は、カメラ制御プログラム、位相差CCD16の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、及び絞り優先プログラム線図、シャッタ速度優先プログラム線図、あるいは被写体の明るさに応じて絞りとシャッタ速度を交互に又は同時に変化させるプログラム線図(通常のプログラム線図)の他に、本発明に係る複数の視差優先用のプログラム線図等が記憶されているROM(EEPROM)である。尚、視差優先用のプログラム線図(以下、「視差優先プログラム線図」という)の詳細については後述する。
In FIG. 1,
ここで、図2(B)及び(C)に示すように、位相差CCD16の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。
Here, as shown in FIGS. 2B and 2C, the main image data read from the odd-numbered line main pixels of the
デジタル信号処理部24で処理された左視点画像データ及び右視点画像データ(3D画像データ)は、VRAM50に入力する。VRAM50には、それぞれが1コマ分の3D画像を表す3D画像データを記憶するA領域とB領域とが含まれている。VRAM50において1コマ分の3D画像を表す3D画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、3D画像データが書き換えられている方の領域以外の領域から、書き込まれている3D画像データが読み出される。VRAM50から読み出された3D画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ30に出力され、これにより3Dの被写体像が液晶モニタ30の表示画面上に表示される。
The left viewpoint image data and right viewpoint image data (3D image data) processed by the digital
この液晶モニタ30は、立体視画像(左視点画像及び右視点画像)をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。 The liquid crystal monitor 30 is a stereoscopic display unit that can display stereoscopic images (left viewpoint image and right viewpoint image) as directional images having predetermined directivities by a parallax barrier, but is not limited thereto, and is not limited thereto. The left viewpoint image and the right viewpoint image may be viewed separately by using a lens, or by wearing dedicated glasses such as polarized glasses or liquid crystal shutter glasses.
また、操作部38のシャッタボタンの第1段階の押下(半押し)があると、位相差CCD16は、AF動作及びAE動作を開始させ、レンズ駆動部36を介して撮影光学系12内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。
Further, when the shutter button of the
AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影EV値)を算出し、この撮影EV値に基づいて絞り14の絞り値及び位相差CCD16の電子シャッタ(シャッタ速度)を所定のプログラム線図にしたがって決定する。
The
ここで、プログラム線図とは、被写体の明るさに対応して、絞りの絞り値とシャッタ速度の組み合わせ、又はこれらと撮影感度(ISO感度)の組み合わせからなる撮影(露出)条件が設計されたものであり、プログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。 Here, in the program diagram, shooting (exposure) conditions that are a combination of aperture value and shutter speed, or a combination of these and shooting sensitivity (ISO sensitivity) are designed according to the brightness of the subject. Therefore, by shooting under the shooting conditions determined according to the program diagram, an image with appropriate brightness can be taken regardless of the brightness of the subject.
CPU40は、上記プログラム線図にしたがって決定した絞り値に基づいて絞り駆動部34を介して絞り14を制御するとともに、決定したシャッタ速度に基づいてCCD制御部32を介して位相差CCD16での電荷蓄積時間を制御する。
The
AF処理部42は、コントラストAF処理又は位相AF処理を行う部分である。コントラストAF処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるように撮影光学系12内のフォーカスレンズを制御することによりAF制御が行われる。また、位相差AF処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が0になるように撮影光学系12内のフォーカスレンズを制御することによりAF制御が行われる。
The
AE動作及びAF動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、その押下に応答してA/D変換器20から出力される主画素及び副画素に対応する左視点画像(主画像)及び右視点画像(副画像)の2枚分の画像データが画像入力コントローラ22からメモリ(SDRAM) 48に入力し、一時的に記憶される。
When the AE operation and the AF operation are completed and the shutter button is pressed in the second stage (full press), the left corresponding to the main pixel and the sub-pixel output from the A /
メモリ48に一時的に記憶された2枚分の画像データは、デジタル信号処理部24により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶される。続いて、2枚分のYCデータは、それぞれ圧縮伸長処理部26に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ48に記憶される。
The two pieces of image data temporarily stored in the
メモリ48に記憶された2枚分のYCデータ(圧縮データ)から、マルチピクチャファイル(MPファイル:複数の画像が連結された形式のファイル)が生成され、そのMPファイルは、メディア・コントローラ52により読み出され、メモリカード54に記録される。
A multi-picture file (MP file: a file in a format in which a plurality of images are connected) is generated from two pieces of YC data (compressed data) stored in the
次に、本発明の実施の形態の立体撮像装置10の作用について説明する。
Next, the operation of the
図5(A)及び(B)はそれぞれ絞りのF値により主画像と副画像の視差が変動する様子を示すイメージ図であり、図5(A)はF値が大きい(暗い)場合に関して示しており、図5(B)はF値が小さい(明るい)場合に関して示している。 FIGS. 5A and 5B are image diagrams showing how the parallax between the main image and the sub-image varies depending on the F value of the aperture, and FIG. 5A shows the case where the F value is large (dark). FIG. 5B shows a case where the F value is small (bright).
図5(A)及び(B)において、ピントを合わせた位置(ピント位置)の主要被写体(この例では人物)の主画像と副画像の視差(位相差)はいずれも0であるが、その背景の視差は、F値が暗い程、小さく(図5(A))、F値が明るい程、大きくなる(図5(B))。 5A and 5B, the parallax (phase difference) between the main image and the sub-image of the main subject (a person in this example) at the focused position (focus position) is 0. The background parallax decreases as the F value becomes darker (FIG. 5A), and increases as the F value becomes brighter (FIG. 5B).
そこで、本発明では、ユーザから希望の視差が指示されると、その指示に対応する視差優先プログラム線図が選択され、この視差優先プログラム線図にしたがって絞り14のF値(即ち、主画像と副画像の視差量)が制御される。これにより、被写体の明るさ(撮影EV値)にかかわらずユーザ希望の視差を有する主画像、副画像の撮影を可能にしている。 Therefore, in the present invention, when a desired parallax is instructed by the user, a parallax priority program diagram corresponding to the instruction is selected, and the F value of the diaphragm 14 (that is, the main image and The parallax amount of the sub-image) is controlled. Thereby, it is possible to shoot a main image and a sub image having a parallax desired by the user regardless of the brightness of the subject (shooting EV value).
図6は本発明の実施の形態の立体撮像装置10の撮影動作を示すフローチャートである。
FIG. 6 is a flowchart showing the photographing operation of the
操作部38のモードダイヤルにより本発明に係る視差優先撮影モードが選択されると、以下に示す視差優先撮影モードによる撮影が可能になる。
When the parallax priority shooting mode according to the present invention is selected by the mode dial of the
視差優先撮影モードは、通常のプログラム線図の代わりに視差優先プログラム線図を使用して撮影条件を決定し、その決定された撮影条件で露出を制御する撮影モードであり、この視差優先撮影モードでは、事前にユーザが希望する主画像と副画像の視差の強度を操作部38を使用して入力する。この実施形態では、視差の強度として、弱、標準、強の3つのうちのいずれか1つを指示できるようになっている。
The parallax priority shooting mode is a shooting mode in which a shooting condition is determined using a parallax priority program diagram instead of a normal program diagram, and exposure is controlled based on the determined shooting condition. Then, the parallax intensity of the main image and the sub image desired by the user is input in advance using the
図6において、視差優先撮影モードによる撮影が開始されると、CPU40は、シャッタボタンが半押し(S1がON)されたか否かを判別する(ステップS10)。シャッタボタンが半押しされると(「YESの場合」)、ステップS12に遷移する。
In FIG. 6, when shooting in the parallax priority shooting mode is started, the
ステップS12では、CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影EV値)を算出し、また、AF処理部42によりコントラストAF処理又は位相AF処理を行わせ、撮影光学系12のフォーカスレンズを移動させてAFエリアにピントを合わせる処理を行う。尚、ステップS12でのAE処理では、撮影EV値を算出するが、絞り14のF値、シャッタ速度、撮影感度(ISO感度)の決定は行わない。
In step S12, the
続いて、CPU40は、ユーザにより事前に指示された視差の強度情報を取得する(ステップS14)。尚、ユーザによる視差強度の指示がない場合には、標準の指示又は前回の指示を使用する。
Subsequently, the
CPU40は、予めROM47に記憶されている複数の視差優先プログラム線図のうちからステップS14で取得した視差の強度情報に対応する視差優先プログラム線図を選択する(ステップS16)。
The
<視差優先プログラム線図>
図7は本発明に係る複数の視差優先プログラム線図の一例を示す図である。図7において、A,B,Cは、それぞれ視差弱、視差標準、視差強に対応する視差優先プログラム線図を示している。
<Parallax priority program diagram>
FIG. 7 is a diagram showing an example of a plurality of parallax priority program diagrams according to the present invention. In FIG. 7, A, B, and C show parallax priority program diagrams corresponding to weak parallax, parallax standard, and parallax high, respectively.
視差優先プログラム線図Aは、F値が5.6(AV=5)の一定の値をとり、撮影EV値が11から16までは撮影EV値に応じてシャッタ速度のみを1/60秒(TV=6)から1/2000(TV=11)まで変化させるように設計されている。また、撮影EV値が11よりも小さくなると(暗くなると)、F値=5.6、シャッタ速度=1/60秒で固定した状態で、撮影EV値が1EV小さくなる毎にISO感度を100から200,400,800,1600,3200になるように設計されている。 The parallax priority program diagram A takes a constant value of F value 5.6 (AV = 5), and when the shooting EV value is from 11 to 16, only the shutter speed is 1/60 seconds (TV = 6) to 1/2000 (TV = 11). When the photographing EV value is smaller than 11 (when dark), the ISO sensitivity is increased from 100 to 200,400,800, every time the photographing EV value is reduced by 1 EV with the F value = 5.6 and the shutter speed = 1/60 seconds. It is designed to be 1600,3200.
尚、シャッタ速度が1/60秒よりも遅くなる場合には、シャッタ速度を1/60秒に固定して感度を上げるようにした理由は、撮影時に手ブレの影響を受けないようにするためである。手ブレ限界のシャッタ速度は、一般に焦点距離(35mmフィルム換算値)に依存し、1/焦点距離[秒]が規定され、例えば、焦点距離が35mmフィルム換算で60mmの場合、1/60秒が手ブレ限界シャッタ速度となる。また、手ブレ補正機能付きの立体撮像装置にした場合には、その手ブレ限界シャッタ速度は更に遅くすることができる。 If the shutter speed is slower than 1/60 seconds, the reason for increasing the sensitivity by fixing the shutter speed to 1/60 seconds is to avoid the effects of camera shake during shooting. It is. The shutter speed at the camera shake limit generally depends on the focal length (35 mm film equivalent) and is defined as 1 / focal length [seconds]. For example, when the focal length is 60 mm in terms of 35 mm film, 1/60 sec. Camera shake limit shutter speed. In the case of a stereoscopic imaging device with a camera shake correction function, the camera shake limit shutter speed can be further reduced.
同様に、視差優先プログラム線図Bは、F値が2.8(AV=3)の一定の値をとり、撮影EV値が9よりも小さくなると、感度を徐々に上げるように設計されており、また、視差優先プログラム線図Cは、F値が1.4(AV=1)の一定の値をとり、撮影EV値が7よりも小さくなると、感度を徐々に上げるように設計されている。 Similarly, the parallax priority program diagram B is designed so that the F value takes a constant value of 2.8 (AV = 3) and the sensitivity is gradually increased when the photographing EV value is smaller than 9. The parallax priority program diagram C is designed to have a constant F value of 1.4 (AV = 1) and to gradually increase the sensitivity when the photographing EV value is smaller than 7.
尚、視差優先プログラム線図A、B又はCは、F値を固定しているため、それぞれ撮影EV値が16,14又は12よりも大きくなると(シャッタ速度が最大値になると)、露出オーバになり撮影できなくなるが、NDフィルタを自動挿入して光量を減光できる構成を立体撮像装置10に追加すれば、撮影EV値が16、14又は12よりも大きくなっても撮影可能である。
Since the parallax priority program diagram A, B or C has a fixed F value, if the shooting EV value is larger than 16, 14 or 12, respectively (when the shutter speed reaches the maximum value), it will be overexposed. However, if a configuration capable of automatically inserting an ND filter to reduce the amount of light is added to the three-
図6に戻って、CPU40は、図7に示したようにユーザにより指示された視差の強度情報に応じて、視差優先プログラム線図A〜Cから対応する視差優先プログラム線図を選択すると(ステップS16)、その選択した視差優先プログラム線図とステップS12で取得した撮影EV値に基づいて絞り14のF値、シャッタ(電子シャッタ)のシャッタ速度、及びアナログ信号処理部18又はデジタル信号処理部24のゲイン・コントロール処理部のゲイン量(感度)の決定を行う。
Returning to FIG. 6, the
その後、CPU40は、シャッタボタンが全押し(S2がON)されたか否かを判別し(ステップS20)、全押しされていない場合(「NOの場合」)には、ステップS22に遷移し、ここで再度、シャッタボタンが半押し(S1がON)されているか否かを判別する。
Thereafter, the
一方、シャッタボタンが全押し(S2がON)されると、ステップS18で決定したF値、シャッタ速度、及び感度にしたがって本撮影(本露光)を行う(ステップS24)。この本撮影時に位相差CCD16から読み出された主画像及び副画像は、それぞれデジタル信号処理部24により画像処理される(ステップS26)。その後、主画像及び副画像の2枚の画像は、それぞれ圧縮伸長処理部26に圧縮処理されたのちMPファイルに格納され、メモリカード54に記録される(ステップS28)。
On the other hand, when the shutter button is fully pressed (S2 is ON), the main photographing (main exposure) is performed according to the F value, shutter speed, and sensitivity determined in step S18 (step S24). The main image and the sub image read from the
上記のようにユーザから希望の視差が指示されると、その指示に対応する視差優先プログラム線図が選択され、この視差優先プログラム線図にしたがって撮影条件が決定され、ユーザ希望の視差が得られるように絞りのF値を固定するようにしたため、所望の視差を有する主画像、副画像の撮影を行うことができる。 When the desired parallax is instructed from the user as described above, the parallax priority program diagram corresponding to the instruction is selected, and the shooting conditions are determined according to the parallax priority program diagram, and the user-desired parallax is obtained. Since the F value of the diaphragm is fixed as described above, it is possible to take a main image and a sub image having a desired parallax.
<変形例1>
図8(A)及び(B)に示すようにユーザにより指定された視差の強度を立体撮像装置10の背面の液晶モニタ30に表示させる。これにより、ユーザは、現在どのような視差強度が指定されているかを把握することができる。
<Modification 1>
As shown in FIGS. 8A and 8B, the parallax intensity designated by the user is displayed on the liquid crystal monitor 30 on the back of the
また、ユーザにより指定された視差の強度に応じて視差優先プログラム線図(絞りのF値)が選択されるため、シャッタボタンを半押しする前にF値も決定することができ、このF値も同時に表示するようにしてもよい。 In addition, since the parallax priority program diagram (aperture F value) is selected according to the parallax intensity designated by the user, the F value can also be determined before half-pressing the shutter button. May be displayed simultaneously.
更に、シャッタボタンを半押しする前に3Dのライブビュー画像を液晶モニタ30に表示させ、このライブビュー画像を見ながら構図を決定することができるが、このライブビュー画像(動画)を撮影する際の絞り14のF値は、上記決定されたF値とすることが好ましい。これによれば、ライブビュー画像から本撮影時の静止画の視差の強度を把握することができる。
Further, a 3D live view image can be displayed on the liquid crystal monitor 30 before the shutter button is half-pressed, and the composition can be determined while viewing the live view image. When shooting this live view image (moving image), The F value of the
<変形例2>
図1に示した撮影光学系12はズームレンズであるため、高級なズームレンズを除いて、通常ズーム位置(ワイド端、テレ端)により絞り14の使用可能なF値に制限がある。例えば、ズームレンズの種類にもよるが、ワイド端の場合には、最も明るいF値としてF1.4を使用できても、テレ端の場合には、最も明るい絞り値としてF2.8やF4.0に制限される。
<Modification 2>
Since the photographing
そこで、視差優先プログラム線図がワイド端に対応するものとすると、テレ端に対応する視差優先プログラム線図、又は各ズーム段毎に対応する視差優先プログラム線図を用意し、撮影時のズームレンズのズーム位置(ズーム倍率)とユーザ指定の視差の強度に基づいて対応する視差優先プログラム線図を選択するようにする。即ち、ズームレンズのズーム倍率に応じて主画像と副画像の視差が変化するため、ズーム倍率が大きい場合には、F値の大きい視差優先プログラム線図を選択し、ズーム倍率が小さくなると、F値の小さい視差優先プログラム線図を選択し、これによりズーム倍率によらず、ユーザ指定の視差強度にすることができる視差優先プログラム線図を選択するようにしている。 Therefore, if the parallax priority program diagram corresponds to the wide end, a parallax priority program diagram corresponding to the tele end or a parallax priority program diagram corresponding to each zoom stage is prepared, and the zoom lens at the time of shooting is prepared. The corresponding parallax priority program diagram is selected based on the zoom position (zoom magnification) and the parallax intensity specified by the user. That is, since the parallax between the main image and the sub-image changes according to the zoom magnification of the zoom lens, when the zoom magnification is large, a parallax priority program diagram having a large F value is selected, and when the zoom magnification is small, F A parallax priority program diagram having a small value is selected, and thereby a parallax priority program diagram that can achieve a user-specified parallax intensity is selected regardless of the zoom magnification.
例えば、図7に示したF1.4、F2.8、F5.6のF値一定の3つの視差優先プログラム線図がワイド端に対応するものとした場合、テレ端の視差優先プログラム線図としては、F2.8、F5.6、F11のF値一定の3つの視差優先プログラム線図とすることができる。 For example, if the three parallax priority program diagrams with constant F values of F1.4, F2.8, and F5.6 shown in FIG. 7 correspond to the wide end, the parallax priority program diagram at the tele end Can be three parallax priority program diagrams with constant F values of F2.8, F5.6, and F11.
尚、立体撮像装置10では、撮影光学系12のズーム倍率が高くなると、主画像と副画像の視差が大きくなるため、最も明るいF値がF2.8の場合であっても視差の強度は、ワイド端で使用されるF1.4と同様の視差(視差強)になる。
In the
<変形例3>
上記の実施形態では、視差優先撮影モードが設定されると、ユーザが希望する主画像と副画像の視差の強度を操作部38を介して指示できるようにしたが、これに限らず、現在の撮影モードに応じて視差の強度を自動的に設定できるようにしてもよい。
<
In the above embodiment, when the parallax priority shooting mode is set, the parallax intensity of the main image and the sub image desired by the user can be instructed via the
例えば、視差優先撮影モード時に更に手動設定又は自動設定が選択できるようにし、自動設定時が選択されている場合には、現在の撮影モード(モードダイヤルにより選択された人物、風景、夜景等のシーンポジション毎の撮影モード、マクロモード、又は本撮影前の画像の解析により得られるシーンなど)に応じて、主画像と副画像の視差の強度をその撮影モードに対応する視差の強度に自動的に設定する。 For example, the manual setting or the automatic setting can be further selected in the parallax priority shooting mode, and when the automatic setting is selected, the current shooting mode (a scene such as a person selected by the mode dial, a landscape, a night scene, etc.) is selected. The parallax intensity of the main image and the sub-image is automatically set to the parallax intensity corresponding to the shooting mode according to the shooting mode, macro mode, or scene obtained by analyzing the image before the main shooting). Set.
具体的には、撮影モードが人物モード又は風景モードの場合には、視差の強度を強く設定する撮影モードと判定し、絞りのF値の小さい視差優先プログラム線図を選択し、一方、マクロモードの場合には、視差の強度を弱く設定する撮影モードと判定し、絞りのF値の大きな視差優先プログラム線図を選択し、それ以外の撮影モードの場合には、視差の強度が標準の視線優先プログラム線図を選択する。 Specifically, when the shooting mode is the portrait mode or the landscape mode, it is determined as a shooting mode in which the parallax intensity is set to be high, and a parallax priority program diagram with a small aperture F value is selected. In this case, it is determined that the shooting mode is set so that the parallax intensity is set low, and a parallax priority program diagram having a large F-number is selected. In other shooting modes, the parallax intensity is a standard line of sight. Select the priority program diagram.
即ち、撮影モードが人物モードの場合は、視差の強度を強めにすることで人物の立体感を強調し、風景モードの場合、被写体距離が遠方にあることが多いため、視差の強度を強めにして立体感を出すようにしている。また、マクロモードによるマクロ撮影の場合、被写体距離が近いため、視差が大きくなりがちな被写体が多くなるため、視差の強度を弱めにするようにしている。 In other words, when the shooting mode is the person mode, the stereoscopic effect of the person is emphasized by increasing the intensity of the parallax, and in the landscape mode, the subject distance is often far away, so the intensity of the parallax is increased. To give a three-dimensional effect. In the case of macro shooting in the macro mode, since the subject distance is short and the number of subjects that tend to have large parallax increases, the parallax intensity is weakened.
尚、撮影モードの種類及びその撮影モードにより設定される視差の強度は、上記の例に限定されない。 Note that the type of shooting mode and the intensity of parallax set according to the shooting mode are not limited to the above example.
[その他]
この実施の形態の立体撮像装置10は、1つの位相差CCD16を使用しているため、図9に示す2つの撮像素子7、8を使用するものに比べて、装置の小型化を図ることができるが、本発明は、1つの撮像素子を使用するものに限らず、図9に示した従来の光学系及び撮像素子を有するものにも適用できる。
[Others]
Since the
また、撮像素子は、この実施の形態のCCDセンサに限らず、CMOSセンサ等の撮像素子でもよい。 The image sensor is not limited to the CCD sensor of this embodiment, and may be an image sensor such as a CMOS sensor.
また、図7に示した視差優先プログラム線図は一例であり、本発明はこの視差優先プログラム線図に限定されず、また、視差優先プログラム線図の数や視差の強度の液晶モニタへの表示方法も本実施形態には限定されず、種々の形態が考えられる。 Further, the parallax priority program diagram shown in FIG. 7 is an example, and the present invention is not limited to this parallax priority program diagram, and the number of parallax priority program diagrams and the display of the parallax priority program diagram on the liquid crystal monitor The method is not limited to this embodiment, and various forms are conceivable.
更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Furthermore, it goes without saying that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
10…立体撮像装置、12…撮影光学系、14…絞り、16…撮像素子(位相差CCD)、30…液晶モニタ、32…CCD制御部、34…絞り駆動部、36…レンズ駆動部、38…操作部、40…中央処理装置(CPU)、42…AF処理部、44…AE検出部、46…顔検出回路、47…ROM
DESCRIPTION OF
Claims (12)
前記撮影光学系の予め定められた方向の異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第1、第2の領域を通過した被写体像をそれぞれ光電変換して第1の画像及び第2の画像を出力する撮像素子と、
前記撮像素子に入射する光束を制限する絞りと、
前記撮像素子から出力される第1の画像と第2の画像との視差量を変化させることが可能な複数の視差優先用のプログラム線図を記憶する記憶手段と、
被写体の明るさを測光する測光手段と、
前記第1の画像と第2の画像との視差の強度を指示又は設定する情報に基づいて前記複数の視差優先用のプログラム線図から対応する視差優先用のプログラム線図を選択するプログラム線図選択手段と、
前記プログラム線図選択手段により選択された視差優先用のプログラム線図と前記測光手段により測光された被写体の明るさに基づいて前記絞りのF値を含む撮影条件を決定する撮影条件決定手段と、
前記決定された撮影条件に基づいて露出制御を行う露出制御手段と、
を備えたことを特徴とする立体撮像装置。 A single photographic optical system,
An imaging device for imaging a subject image that has passed through first and second regions having different predetermined directions of the photographing optical system and divided into pupils, and passes through the first and second regions. An image sensor that photoelectrically converts each of the subject images and outputs a first image and a second image;
A diaphragm for limiting a light beam incident on the image sensor;
Storage means for storing a plurality of parallax priority program diagrams capable of changing a parallax amount between the first image and the second image output from the imaging device;
A metering means for metering the brightness of the subject;
A program diagram for selecting a corresponding parallax priority program diagram from the plurality of parallax priority program diagrams based on information indicating or setting parallax intensity between the first image and the second image A selection means;
Shooting condition determining means for determining shooting conditions including the F value of the aperture based on the program diagram for parallax priority selected by the program diagram selecting means and the brightness of the subject measured by the photometry means;
Exposure control means for performing exposure control based on the determined photographing condition;
A stereoscopic imaging apparatus comprising:
前記プログラム線図選択手段は、前記指示手段により指示された視差の強度の情報に基づいて前記複数の視差優先用のプログラム線図から前記指示された視差の強度に対応する視差優先用のプログラム線図を選択することを特徴とする請求項1に記載の立体撮像装置。 Instructing means for instructing the intensity of parallax between the first image and the second image output from the image sensor by a user input,
The program diagram selection unit is configured to select a parallax priority program line corresponding to the instructed parallax intensity from the plurality of parallax priority program diagrams based on the parallax intensity information instructed by the instruction unit. The stereoscopic imaging apparatus according to claim 1, wherein a figure is selected.
前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じてシャッタ速度を変更させるシャッタ速度情報を含み、
前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記シャッタのシャッタ速度を変化させることを特徴とする請求項1から5のいずれかに記載の立体撮像装置。 A shutter for controlling an exposure time in the image sensor;
The parallax priority program diagram includes shutter speed information for changing the shutter speed according to the brightness of the subject measured by the photometry means,
6. The exposure control unit according to claim 1, wherein the exposure control unit makes the aperture constant and changes a shutter speed of the shutter based on the selected parallax priority program diagram. The three-dimensional imaging device described.
前記視差優先用のプログラム線図は、前記測光手段により測光された被写体の明るさに応じて撮影感度を変更させる感度情報を含み、
前記露出制御手段は、前記選択された視差優先用のプログラム線図に基づいて前記絞りを一定にするとともに、前記感度調整手段を可変にすることを特徴とする請求項1から6のいずれかに記載の立体撮像装置。 A sensitivity adjusting means for adjusting a gain for the first image and the second image output from the image sensor;
The parallax priority program diagram includes sensitivity information for changing the photographing sensitivity according to the brightness of the subject measured by the photometry means,
7. The exposure control unit according to claim 1, wherein the aperture control is made constant and the sensitivity adjustment unit is made variable based on the selected parallax priority program diagram. The three-dimensional imaging device described.
前記記憶手段は、前記ズームレンズのズーム倍率に応じた視差優先用のプログラム線図を有し、
前記プログラム線図選択手段は、前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に基づいて前記複数の視差優先用のプログラム線図から前記視差の強度を指示又は設定する情報及び前記ズームレンズのズーム倍率に対応する視差優先用のプログラム線図を選択することを特徴とする請求項1から7のいずれかに記載の立体撮像装置。 The single imaging optical system is a zoom lens;
The storage means has a program diagram for parallax priority according to the zoom magnification of the zoom lens,
The program diagram selection means is configured to instruct or set the parallax intensity from the plurality of parallax priority program diagrams based on the information indicating or setting the parallax intensity and the zoom magnification of the zoom lens, and The stereoscopic imaging apparatus according to claim 1, wherein a parallax priority program diagram corresponding to a zoom magnification of the zoom lens is selected.
前記視差優先用のプログラム線図にしたがって撮影条件を決定させる視差優先撮影モードを選択するモード選択手段と、を備え、
前記プログラム線図選択手段は、前記モード選択手段により視差優先撮影モードが選択されると、前記他のプログラム線図に代えて前記視差優先用のプログラム線図を選択することを特徴とする請求項1から9のいずれかに記載の立体撮像装置。 Storage means for storing other program diagrams for respectively determining the F value of the aperture and the shutter speed of the shutter according to the brightness of the subject;
Mode selection means for selecting a parallax priority shooting mode for determining shooting conditions in accordance with the parallax priority program diagram;
The program diagram selection unit, when the parallax priority shooting mode is selected by the mode selection unit, selects the program diagram for parallax priority instead of the other program diagram. The stereoscopic imaging device according to any one of 1 to 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010062873A JP5457240B2 (en) | 2010-03-18 | 2010-03-18 | Stereo imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010062873A JP5457240B2 (en) | 2010-03-18 | 2010-03-18 | Stereo imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011197278A true JP2011197278A (en) | 2011-10-06 |
JP5457240B2 JP5457240B2 (en) | 2014-04-02 |
Family
ID=44875599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010062873A Active JP5457240B2 (en) | 2010-03-18 | 2010-03-18 | Stereo imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5457240B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013038950A1 (en) * | 2011-09-13 | 2013-03-21 | 富士フイルム株式会社 | 3d imaging device |
JP2014036347A (en) * | 2012-08-09 | 2014-02-24 | Canon Inc | Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, program, and storage medium |
EP2866430A1 (en) | 2013-10-23 | 2015-04-29 | Canon Kabushiki Kaisha | Imaging apparatus and its control method and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0815616A (en) * | 1994-06-30 | 1996-01-19 | Olympus Optical Co Ltd | Stereoscopic endoscope image pickup device |
JP2009168995A (en) * | 2008-01-15 | 2009-07-30 | Nikon Corp | Range-finding device and imaging apparatus |
-
2010
- 2010-03-18 JP JP2010062873A patent/JP5457240B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0815616A (en) * | 1994-06-30 | 1996-01-19 | Olympus Optical Co Ltd | Stereoscopic endoscope image pickup device |
JP2009168995A (en) * | 2008-01-15 | 2009-07-30 | Nikon Corp | Range-finding device and imaging apparatus |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013038950A1 (en) * | 2011-09-13 | 2013-03-21 | 富士フイルム株式会社 | 3d imaging device |
JP5667304B2 (en) * | 2011-09-13 | 2015-02-12 | 富士フイルム株式会社 | Stereo imaging device |
EP2757415A4 (en) * | 2011-09-13 | 2015-08-12 | Fujifilm Corp | 3d imaging device |
JP2014036347A (en) * | 2012-08-09 | 2014-02-24 | Canon Inc | Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, program, and storage medium |
EP2866430A1 (en) | 2013-10-23 | 2015-04-29 | Canon Kabushiki Kaisha | Imaging apparatus and its control method and program |
US9554054B2 (en) | 2013-10-23 | 2017-01-24 | Canon Kabushiki Kaisha | Imaging apparatus and its control method and program |
Also Published As
Publication number | Publication date |
---|---|
JP5457240B2 (en) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421829B2 (en) | Imaging device | |
JP5368350B2 (en) | Stereo imaging device | |
JP5595499B2 (en) | Monocular stereoscopic imaging device | |
JP4528235B2 (en) | Digital camera | |
JP5502205B2 (en) | Stereo imaging device and stereo imaging method | |
WO2011118089A1 (en) | 3d imaging device | |
US8823778B2 (en) | Imaging device and imaging method | |
JP5871989B2 (en) | Imaging apparatus, imaging method, and program | |
US9124875B2 (en) | Stereoscopic imaging apparatus | |
US20140192167A1 (en) | Stereoscopic imaging device | |
US8902294B2 (en) | Image capturing device and image capturing method | |
JP2007235640A (en) | Photographing device and method | |
US9106900B2 (en) | Stereoscopic imaging device and stereoscopic imaging method | |
JP5457240B2 (en) | Stereo imaging device | |
JP2010204385A (en) | Stereoscopic imaging apparatus and method | |
JP2012124650A (en) | Imaging apparatus, and imaging method | |
JP2014063190A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5457240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |