JP2007104586A - Non-interlocking automatic system processing device for compound eye photographing device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a non-interlocking automatic system processing device for a compound eye photographing device that detects a plurality of specified objects in an arbitrary area in a photographic image plane, and adjusts focuses and exposure respectively for the plurality of detected objects; with respect to the compound eye photographing device picking up the same subject by a plurality of photography optical system, and then generating a plurality of image data representing respective subject images formed by a plurality of solid-state imaging elements. <P>SOLUTION: Based upon the plurality of image data representing the respective subject images formed by the plurality of solid-state imaging elements respectively; specified objects are detected in mutually different arbitrary areas by the plurality of photography optical system in the plurality of images represented by the plurality of image data, and image data are generated on which at least one of focus adjusting operation and exposure adjusting operation is reflected as performed by the plurality of photography optical systems, and in which specified objects in the arbitrary areas detected by the plurality of photography optical systems are noticed. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、複数の固体撮像素子と、これらの複数の固体撮像素子それぞれに被写体像を結像する複数の撮影光学系とを備え、これらの複数の撮影光学系で同一の被写体を捉えて複数の固体撮像素子それぞれに結像した各被写体像それぞれを表す複数の画像データを生成する複眼式撮影装置に関する。   The present invention includes a plurality of solid-state imaging devices and a plurality of photographing optical systems that form subject images on each of the plurality of solid-state imaging devices, and the plurality of photographing optical systems capture the same subject. The present invention relates to a compound-eye imaging device that generates a plurality of image data representing each subject image formed on each solid-state imaging device.

従来より、撮影装置の中には、一般にＡＦロックおよびＡＥロックと呼ばれる機能が搭載された撮影装置がある。このような撮影装置では、シャッタレリーズボタンが半押し操作されることによって所望の被写体までの距離が測定されるとともに、その被写体の輝度が測定される。その後、シャッタレリーズボタンが半押しされた状態を保って構図を決定した上でシャッタレリーズボタンを全押し操作することによって、焦点および露光の双方が適正に調整された撮影画像を得ることができる。従って、このような撮影装置によれば、撮影者自身が焦点や露光を手動で調整する必要がないため、初心者でも容易に鮮明な撮影画像を得ることができる。   2. Description of the Related Art Conventionally, some photographing apparatuses are equipped with functions generally called AF lock and AE lock. In such a photographing apparatus, the distance to a desired subject is measured and the luminance of the subject is measured by pressing the shutter release button halfway. Thereafter, the composition is determined while the shutter release button is half-pressed, and then the shutter release button is fully pressed to obtain a captured image in which both the focus and the exposure are appropriately adjusted. Therefore, according to such a photographing apparatus, it is not necessary for the photographer himself to manually adjust the focus and exposure, so that even a beginner can easily obtain a clear photographed image.

また、撮影装置の中には、撮影画面内の人物の顔を検出し、検出された顔に対する焦点を調整する、いわゆる顔認識ＡＦ機能が搭載された撮影装置がある（例えば、非特許文献１参照）。この撮影装置は、撮影画面内において人物が移動したり、撮影者が構図を変えた場合など、人物撮影時において被写体の位置や距離が変化しても顔認識ＡＦ機能が動作し続けるものである。従って、このような撮影装置によれば、人物が撮影画面内の中央部分に位置しない構図であっても、ＡＦロック機能が搭載された撮影装置におけるフォーカスロック操作を行うことなく、人物の顔に焦点が適正に自動調整された撮影画像を得ることができる。   In addition, among imaging devices, there is an imaging device equipped with a so-called face recognition AF function that detects the face of a person in a shooting screen and adjusts the focus on the detected face (for example, Non-Patent Document 1). reference). In this photographing apparatus, the face recognition AF function continues to operate even if the position or distance of the subject changes during photographing of a person, such as when a person moves in the photographing screen or the photographer changes the composition. . Therefore, according to such a photographing apparatus, even if the composition is such that the person is not positioned at the center portion in the photographing screen, the focus of the photographing apparatus equipped with the AF lock function can be reduced without performing the focus lock operation. A photographed image whose focus is automatically adjusted appropriately can be obtained.

また、撮影装置の中には、複数の固体撮像素子それぞれに被写体像を結像する複数の撮影光学系を備えた複眼式撮影装置もある。このような複眼式撮影装置として、例えば、複数の撮影光学系で同一の被写体を左右の視線に対応する相互に異なる方向から捉える立体撮影モードや、２つの撮影光学系で相互に隣接する被写体を捉えるパノラマ撮影モードが搭載された複眼式撮影装置が知られている。また、複眼式撮影装置において、複数の撮影光学系それぞれが露光量を制御する手段を有し、これら複数の撮影光学系により得られた複数の撮影画像、もしくは、複数の撮影画像を分割した画像に基づいて各撮影光学系それぞれに適した露光量を決定する複眼式撮影装置が提案されている（例えば、特許文献１参照）。
“生体認証技術を用いた、世界初の「顔認識ＡＦ」機能をコンパクトデジタルカメラに搭載”、［ｏｎｌｉｎｅ］、平成１７年２月１６日、株式会社ニコン、［平成１７年９月１６日検索］、インターネット＜ＵＲＬ：http://www.nikon.co.jp/main/jpn/whatsnew/2005/facepriority_05.htm＞ 特開平７−１１０５０５号公報 Among imaging devices, there is also a compound eye type imaging device that includes a plurality of imaging optical systems that form subject images on a plurality of solid-state imaging devices. As such a compound eye type photographing apparatus, for example, a stereoscopic photographing mode in which the same subject is captured by a plurality of photographing optical systems from different directions corresponding to the left and right lines of sight, and subjects adjacent to each other by two photographing optical systems are used. There is known a compound eye type photographing apparatus equipped with a panoramic photographing mode for capturing. Further, in the compound eye type photographing apparatus, each of the plurality of photographing optical systems has means for controlling the exposure amount, and a plurality of photographed images obtained by the plurality of photographing optical systems or images obtained by dividing the plurality of photographed images. Based on the above, there has been proposed a compound eye photographing apparatus that determines an appropriate exposure amount for each photographing optical system (see, for example, Patent Document 1).
"The world's first" face recognition AF "function using biometric authentication technology is installed in a compact digital camera", [online], February 16, 2005, Nikon Corporation, [searched September 16, 2005] ] Internet <URL: http://www.nikon.co.jp/main/jpn/whatsnew/2005/facepriority_05.htm> JP-A-7-110505

上述した特許文献１に提案された技術によれば、複眼式撮影装置において、複数の撮影光学系それぞれに対して適正な露光制御を行うことができる。ところが、複眼式撮影装置にあっては、例えば非特許文献１に提案された顔認識ＡＦのような、撮影画面内の任意のエリアの特定な対象を検出し、検出された対象の焦点や露光を調整する技術が搭載されるまでには至っていない。また、非特許文献１に提案された技術は、撮影画面内に複数の人物がいる場合には、最も手前の人物の顔に焦点を調整するものである。そのため、撮影画面内の複数の人物それぞれまでの距離が異なる場合には、焦点調整された最も手前の人物を除く人物に対する焦点が外れることとなり、その距離の大きさによっては、焦点が外れた人物において大きなピンぼけが発生してしまう。   According to the technique proposed in Patent Document 1 described above, appropriate exposure control can be performed for each of a plurality of photographing optical systems in a compound eye photographing apparatus. However, in the compound-eye imaging device, for example, a specific target in an arbitrary area in the imaging screen, such as face recognition AF proposed in Non-Patent Document 1, is detected, and the focus and exposure of the detected target are detected. It has not yet reached the point where technology for adjusting In addition, the technique proposed in Non-Patent Document 1 adjusts the focus on the face of the foremost person when there are a plurality of persons in the shooting screen. Therefore, if the distance to each of the multiple persons on the shooting screen is different, the focus of the person other than the foremost person whose focus has been adjusted will be out of focus, and depending on the distance, the person who is out of focus In this case, large defocusing occurs.

本発明は、上記事情に鑑み、複数の固体撮像素子それぞれに被写体像を結像する複数の撮影光学系を備えた複眼式撮影装置において、撮影画面内の任意のエリアの特定な複数の対象を検出し、検出された複数の対象それぞれの焦点や露光を調整する複眼式撮影装置の非連動オート系処理装置を提供することを目的とするものである。   In view of the above circumstances, the present invention provides a compound eye imaging apparatus including a plurality of imaging optical systems that form subject images on a plurality of solid-state imaging devices, and a plurality of specific objects in an arbitrary area within an imaging screen. An object of the present invention is to provide a non-interlocking automatic processing apparatus for a compound eye photographing apparatus that detects and adjusts the focus and exposure of each of a plurality of detected objects.

上記目的を達成する本発明の複眼式撮影装置の非連動オート系処理装置は、
複数の固体撮像素子と、これらの複数の固体撮像素子それぞれに被写体像を結像する複数の撮影光学系とを備え、これらの複数の撮影光学系で同一の被写体を捉えて複数の固体撮像素子それぞれに結像した各被写体像それぞれを表す複数の画像データを生成する複眼式撮影装置の非連動オート系処理装置において、
上記複数の固体撮像素子それぞれに結像した各被写体像それぞれを表す複数の画像データを取得する画像データ取得部と、
上記画像データ取得部により取得された複数の画像データそれぞれに基づいて、これらの複数の画像データそれぞれにより表される複数の画像中の、上記複数の撮影光学系毎に互いに異なる任意のエリアの特定な対象を検出する対象検出部と、
前記対象検出部により上記複数の撮影光学系毎にそれぞれ検出された各任意のエリアの特定な対象に着目した焦点調整動作および露光調整動作のうちの少なくとも１つの動作を実行する動作実行部と、
上記動作実行部により実行された上記複数の撮影光学系それぞれについての焦点調整動作および露光調整動作のうちの少なくとも１つの動作を反映させた画像データを生成する画像データ生成部とを備えたことを特徴とする。 A non-interlocking automatic processing apparatus for a compound eye photographing apparatus according to the present invention that achieves the above-described object,
A plurality of solid-state imaging devices, and a plurality of imaging optical systems that form subject images on each of the plurality of solid-state imaging devices, and a plurality of solid-state imaging devices that capture the same subject with the plurality of imaging optical systems In a non-interlocking automatic processing device of a compound eye photographing device that generates a plurality of image data representing each subject image formed on each,
An image data acquisition unit that acquires a plurality of image data representing each subject image formed on each of the plurality of solid-state imaging elements;
Based on each of the plurality of image data acquired by the image data acquisition unit, identification of arbitrary areas different from each other for each of the plurality of imaging optical systems in the plurality of images represented by each of the plurality of image data A target detection unit for detecting a target,
An operation execution unit that executes at least one of a focus adjustment operation and an exposure adjustment operation focusing on a specific target in each arbitrary area detected for each of the plurality of imaging optical systems by the target detection unit;
An image data generation unit that generates image data reflecting at least one of a focus adjustment operation and an exposure adjustment operation for each of the plurality of imaging optical systems executed by the operation execution unit. Features.

本発明の複眼式撮影装置の非連動オート系処理装置は、上記複数の固体撮像素子それぞれに結像した各被写体像それぞれを表す複数の画像データそれぞれに基づいて、これらの複数の画像データそれぞれにより表される複数の画像中の、上記複数の撮影光学系毎に互いに異なる任意のエリアの特定な対象を検出し、複数の撮影光学系それぞれについて実行された、複数の撮影光学系毎にそれぞれ検出された各任意のエリアの特定な対象に着目した焦点調整動作および露光調整動作のうちの少なくとも１つの動作を反映させた画像データを生成するものである。従って、本発明の複眼式撮影装置の非連動オート系処理装置によれば、撮影画面内に複数の対象が存在する場合において、これら複数の対象を互いに異なる対象として検出して、複数の撮影光学系毎にそれぞれ検出された各任意のエリアの特定な対象に着目した焦点調整動作や露光調整動作が、複数の撮影光学系それぞれについて実行されることにより、画像データ毎に異なる対象に焦点調整や露光調整された複数の画像データが得られる。   The non-interlocking automatic processing apparatus of the compound eye type photographing apparatus of the present invention is based on each of a plurality of image data representing each subject image formed on each of the plurality of solid-state image sensors, and each of the plurality of image data. A specific target in an arbitrary area different from each other for each of the plurality of imaging optical systems is detected in each of the plurality of represented images, and is detected for each of the plurality of imaging optical systems executed for each of the plurality of imaging optical systems. The image data reflecting at least one of the focus adjustment operation and the exposure adjustment operation focusing on a specific target in each arbitrary area is generated. Therefore, according to the non-interlocking automatic processing apparatus of the compound-eye imaging device of the present invention, when there are a plurality of targets in the shooting screen, the plurality of targets are detected as different targets, and a plurality of shooting opticals are detected. A focus adjustment operation and an exposure adjustment operation focusing on a specific target in each arbitrary area detected for each system are executed for each of a plurality of imaging optical systems, so that a focus adjustment can be performed on a different target for each image data. A plurality of image data adjusted for exposure is obtained.

ここで、上記本発明の複眼式撮影装置の非連動オート系処理装置は、上記動作実行部が、上記画像中の人物の検出動作を実行するものであることが好ましい。   Here, in the non-interlocking automatic processing device of the compound-eye imaging device of the present invention, it is preferable that the operation execution unit execute an operation of detecting a person in the image.

また、上記本発明の複眼式撮影装置の非連動オート系処理装置は、上記動作実行部が、上記画像中の顔の検出動作を実行するものであることも好ましい形態である。   In the non-interlocking automatic processing apparatus of the compound-eye imaging apparatus of the present invention, it is also preferable that the operation execution unit execute a face detection operation in the image.

このように、対象検出部が画像中の人物や顔を検出することによって、撮影画面内に複数の人物が存在する場合において、画像データ毎に異なる人物に焦点調整や露光調整された複数の画像データが得られる。   In this way, when the target detection unit detects a person or face in the image, and there are a plurality of persons in the shooting screen, a plurality of images that are adjusted in focus or exposure adjusted to different persons for each image data. Data is obtained.

本発明によれば、複数の固体撮像素子それぞれに被写体像を結像する複数の撮影光学系を備えた複眼式撮影装置において、撮影画面内の任意のエリアの特定な複数の対象を検出し、検出された複数の対象それぞれの焦点や露光を調整する複眼式撮影装置の非連動オート系処理装置が提供される。   According to the present invention, in a compound-eye imaging device including a plurality of imaging optical systems that form subject images on each of a plurality of solid-state imaging elements, a plurality of specific objects in an arbitrary area in an imaging screen are detected, There is provided a non-interlocking automatic processing apparatus for a compound eye photographing apparatus that adjusts the focus and exposure of each of a plurality of detected objects.

以下、図面を参照して本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明の複眼式撮影装置の非連動オート系処理装置の一実施形態が適用された第１実施形態の２眼式デジタルカメラ１０を前面から見た外観斜視図である。   FIG. 1 is an external perspective view of a twin-lens digital camera 10 according to a first embodiment to which an embodiment of a non-interlocking automatic processing apparatus of a compound eye photographing apparatus of the present invention is applied, as viewed from the front.

図１に示す２眼式デジタルカメラ１０は、２つの固体撮像素子（ここでは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤとする）それぞれに被写体像を結像する２つの撮影光学系を備え、これらの２つの撮影光学系で同一の被写体を捉えて２つのＣＣＤそれぞれに結像した各被写体像それぞれを表す２つの画像データを生成する撮影装置である。   A twin-lens digital camera 10 shown in FIG. 1 includes two imaging optical systems that form subject images on two solid-state imaging devices (here, charge coupled devices (CCDs)). This is a photographing apparatus that captures the same subject with an optical system and generates two image data representing each subject image formed on each of two CCDs.

図１に示すように、この２眼式デジタルカメラ１０の前面の中央部には、外観上、被写体に焦点を合わせる複数のフォーカスレンズなどで構成される撮影光学系がそれぞれに内蔵された２つの撮影レンズ１１，１２が備えられている。また、この２眼式デジタルカメラ１０の内部の、２つの撮影レンズ１１，１２それぞれの背面にはＣＣＤ１１３，１２３（図２参照）が配備されている。２つの撮影レンズ１１，１２のうちの一方の撮影レンズ１１を経由してきた被写体光は、この一方の撮影レンズ１１の背面に配備されたＣＣＤ１１３（図２参照）に入射されてアナログ信号である被写体信号に変換され、一方の撮影レンズ１１に対する他方の撮影レンズ１２を経由してきた被写体光は、この他方の撮影レンズ１２の背面に配備されたＣＣＤ１２３（図２参照）に入射されてアナログ信号である被写体信号に変換される。また、この２眼式デジタルカメラ１０の前面の上部には、シャッタレリーズボタン１４への押下操作に同期して発光する閃光発光部１３が備えられている。また、この２眼式デジタルカメラ１０はセルフタイマ撮影機能を有しており、この２眼式デジタルカメラ１０の前面の中央上部には、セルフタイマ撮影機能を用いた撮影時に点滅するＬＥＤ発光部１４が備えられている。   As shown in FIG. 1, in the center of the front surface of the two-lens digital camera 10, two photographic optical systems each including a plurality of focus lenses that focus on the subject are incorporated. Photographing lenses 11 and 12 are provided. In addition, CCDs 113 and 123 (see FIG. 2) are provided on the back surfaces of the two photographing lenses 11 and 12 inside the two-lens digital camera 10, respectively. The subject light that has passed through one of the two photographing lenses 11 and 12 is incident on a CCD 113 (see FIG. 2) disposed on the back of the one photographing lens 11 and is an analog signal subject. The subject light that has been converted into a signal and has passed through the other photographing lens 12 with respect to one photographing lens 11 is incident on a CCD 123 (see FIG. 2) disposed on the back surface of the other photographing lens 12 and is an analog signal. It is converted into a subject signal. In addition, a flash light emitting unit 13 that emits light in synchronization with an operation of pressing the shutter release button 14 is provided on the upper part of the front surface of the two-lens digital camera 10. The twin-lens digital camera 10 has a self-timer photographing function, and an LED light-emitting unit 14 that blinks when photographing using the self-timer photographing function is provided at the upper center of the front surface of the twin-lens digital camera 10. Is provided.

また、この２眼式デジタルカメラ１０の上面には、シャッタレリーズボタン１５が備えられている。このシャッタレリーズボタン１５は、半押しおよび全押しの２段階で構成されている。この２眼式デジタルカメラ１０は、静止画を撮影する際に選択する静止画撮影モードと、動画を撮影する際に選択する動画撮影モードと、記録メディアに保存された撮影画像を再生する際に選択する再生モードとを有しており、静止画撮影モードあるいは動画撮影モードを選択すると、顔認識機能による画像中の顔の検出、ＡＦ機能による焦点調整、およびＡＥ機能による露光調整が連続的に行われる。   A shutter release button 15 is provided on the upper surface of the two-lens digital camera 10. The shutter release button 15 is composed of two stages of half-press and full-press. This twin-lens digital camera 10 is used for reproducing a still image shooting mode selected when shooting a still image, a moving image shooting mode selected when shooting a movie, and a shot image stored in a recording medium. When a still image shooting mode or a moving image shooting mode is selected, detection of a face in the image by the face recognition function, focus adjustment by the AF function, and exposure adjustment by the AE function are continuously performed. Done.

詳細な説明は後述するが、静止画撮影モードが選択された後にシャッタレリーズボタン１５を半押しすると、顔認識機能により検出された顔までの距離およびその顔の輝度を半押しされた時点の位置に固定するＡＦロックおよびＡＥロックが設定される。その後、シャッタレリーズボタン１５が半押しされた状態を保って構図を決定した上でシャッタレリーズボタン１５を全押しすると、シャッタが切られて被写体の静止画撮影が行われ、焦点および露光の双方が適正に調整された撮影画像が得られる。   As will be described in detail later, when the shutter release button 15 is pressed halfway after the still image shooting mode is selected, the distance to the face detected by the face recognition function and the position when the brightness of the face is pressed halfway. AF lock and AE lock to be fixed to are set. After that, when the shutter release button 15 is half-pressed and the composition is determined and the shutter release button 15 is fully pressed, the shutter is released and a still image of the subject is photographed. A properly adjusted photographed image can be obtained.

また、静止画撮影モードが選択された後にシャッタレリーズボタン１５を全押しすると、顔認識機能による画像中の顔の検出、ＡＦ機能による焦点調整、およびＡＥ機能による露光調整が連続的に行われるとともに、顔認識機能により検出された顔までの距離およびその顔の輝度に基づいた動画撮影が行われる。   Further, when the shutter release button 15 is fully pressed after the still image shooting mode is selected, the face detection in the image by the face recognition function, the focus adjustment by the AF function, and the exposure adjustment by the AE function are continuously performed. Then, moving image shooting based on the distance to the face detected by the face recognition function and the brightness of the face is performed.

図２は、図１に示す２眼式デジタルカメラ１０の機能を示すブロック図である。   FIG. 2 is a block diagram showing functions of the twin-lens digital camera 10 shown in FIG.

図２に示すように、２眼式デジタルカメラ１０の内部には、大きく分けて、２つの撮影レンズ１１，１２（図１参照）のうちの一方の撮影レンズ１１（図１参照）側に内蔵された第１撮影部１１０と、その一方の撮影レンズ１１（図１参照）に対する他方の撮影レンズ１２（図１参照）側に内蔵された第２撮影部１２０と、第１撮影部１１０および第２撮影部１２０から送られる信号を処理する信号処理部１３０とが設けられている。   As shown in FIG. 2, the two-lens digital camera 10 is roughly divided into one of the two photographic lenses 11 and 12 (see FIG. 1) and is incorporated in the photographic lens 11 (see FIG. 1) side. The first photographing unit 110, the second photographing unit 120 built in the other photographing lens 12 (see FIG. 1) with respect to the one photographing lens 11 (see FIG. 1), the first photographing unit 110 and the first photographing unit 110. 2 is provided with a signal processing unit 130 for processing a signal sent from the photographing unit 120.

第１撮影部１１０には、フォーカスレンズ１１１、ＩＲフィルタ（赤外線カットフィルタ）１１２、ＣＣＤ１１３、カメラＣＰＵ１１４、ＴＧ（タイミングジェネレータ）１１５、メカＣＰＵ１１６、ＣＤＳ（相関二重サンプリング）回路１１７、ＡＧＣ（オートゲインコントロール）回路１１８、Ａ／Ｄ（アナログ／デジタル）コンバータ１１９が具備されている。   The first photographing unit 110 includes a focus lens 111, an IR filter (infrared cut filter) 112, a CCD 113, a camera CPU 114, a TG (timing generator) 115, a mechanical CPU 116, a CDS (correlated double sampling) circuit 117, an AGC (auto gain). A control) circuit 118 and an A / D (analog / digital) converter 119 are provided.

また、この第１撮影部１１０と同様に、第２撮影部１２０にも、フォーカスレンズ１２１、ＩＲフィルタ１２２、ＣＣＤ１２３、カメラＣＰＵ１２４、ＴＧ１２５、メカＣＰＵ１２６、ＣＤＳ回路１２７、ＡＧＣ回路１２８、Ａ／Ｄコンバータ１２９が具備されている。   Similarly to the first photographing unit 110, the second photographing unit 120 includes a focus lens 121, an IR filter 122, a CCD 123, a camera CPU 124, a TG 125, a mechanical CPU 126, a CDS circuit 127, an AGC circuit 128, and an A / D converter. 129 is provided.

また、信号処理部１３０には、不揮発性メモリ１３１、ＲＡＭ１３２、第１バッファメモリ１３３ａ、第２バッファメモリ１３３ｂ、ＡＦ演算部１３４、ＡＥ演算部１３５、特定被写体検出部１３６、画像メモリ１３７、画像信号処理部１３８、ＤＳＰ１３９、圧縮伸長部１４０、表示メモリ１４１、表示制御部１４２、Ｄ／Ａコンバータ１４３、操作Ｉ／Ｆ１４４、電源制御部１４５、記録メディアＩ／Ｆ１４６、通信制御部１４７、動静止画記録制御プログラムＲＯＭ１４９が具備されており、これらの各種要素はバス１４８を介して相互に接続されている。   The signal processing unit 130 includes a non-volatile memory 131, a RAM 132, a first buffer memory 133a, a second buffer memory 133b, an AF calculation unit 134, an AE calculation unit 135, a specific subject detection unit 136, an image memory 137, an image signal, Processing unit 138, DSP 139, compression / decompression unit 140, display memory 141, display control unit 142, D / A converter 143, operation I / F 144, power supply control unit 145, recording media I / F 146, communication control unit 147, moving image A recording control program ROM 149 is provided, and these various elements are connected to each other via a bus 148.

さらに、この２眼式デジタルカメラ１０には、第１撮影部１１０、第２撮影部１２０、および信号処理部１３０のほかに、スルー画像や撮影画像などを表示させるための画像表示部１５０、図１に示すシャッタレリーズボタン１５や図示しない電源ボタンや各種設定を行う各種設定ボタンをまとめて表示した操作部１６０、２眼式デジタルカメラ１０に電力を供給するバッテリ１７０、撮影画像を表す画像データを記録しておく記録メディア１８０も設けられている。２眼式デジタルカメラ１０には、これらの他に、シャッタなどが備えられているが本発明の主題とは無関係であるので図示を省略する。   In addition to the first photographing unit 110, the second photographing unit 120, and the signal processing unit 130, the two-lens digital camera 10 includes an image display unit 150 for displaying a through image, a photographed image, and the like. 1, a shutter release button 15 shown in FIG. 1, a power button (not shown), and various setting buttons for performing various settings are collectively displayed. A battery 170 that supplies power to the two-lens digital camera 10 and image data representing a captured image are displayed. A recording medium 180 for recording is also provided. In addition to these, the twin-lens digital camera 10 is provided with a shutter or the like, but is not shown because it is not related to the subject of the present invention.

２眼式デジタルカメラ１０にバッテリ１７０を装填し、図示しない電源ボタンを操作して電源スイッチが入れられると電源がオンされ、２眼式デジタルカメラ１０が駆動される。   When the battery 170 is loaded in the two-lens digital camera 10 and a power switch (not shown) is operated to turn on the power switch, the power is turned on and the two-lens digital camera 10 is driven.

まず第１撮影部１１０の構成を、図２を参照して説明する。   First, the configuration of the first imaging unit 110 will be described with reference to FIG.

２眼式デジタルカメラ１０では、図２の左方から被写体光が入射し、第１撮影部１１０のフォーカスレンズ１１１を経て、被写体光の赤外線をカットするＩＲフィルタ１１２を通過した後、被写体光に基づく被写体像をＣＣＤ１１３に結像し、アナログ信号である被写体信号として読み取る。ＣＣＤ１１３に被写体信号を出力させるにあたっては、カメラＣＰＵ１１４からの、所定時間ごと、あるいは図１に示すシャッタレリーズボタン１５が押下されたときに、ＣＣＤ１１３に被写体信号を出力させる指示に従った指示信号が、ＴＧ１１５を介してＣＣＤ１１３に与えられることによって行われる。尚、本来、撮影光学系には複数のレンズが配備され、それら複数のレンズのうち少なくとも１つのレンズが焦点の調節に大きく関与し、各レンズの相対位置が焦点距離に関与するが、この図２では、それらの複数のレンズのうち、焦点の調節に係わるレンズをフォーカスレンズ１１１として模式的に示している。   In the twin-lens digital camera 10, subject light enters from the left side of FIG. 2, passes through the focus lens 111 of the first photographing unit 110, passes through an IR filter 112 that cuts infrared light of the subject light, and then enters the subject light. A subject image based on the image is formed on the CCD 113 and is read as a subject signal which is an analog signal. When outputting the subject signal to the CCD 113, an instruction signal from the camera CPU 114 in accordance with an instruction to output the subject signal to the CCD 113 every predetermined time or when the shutter release button 15 shown in FIG. This is performed by being provided to the CCD 113 via the TG 115. Originally, a plurality of lenses are provided in the photographing optical system, and at least one of the plurality of lenses is largely involved in the focus adjustment, and the relative position of each lens is involved in the focal length. In FIG. 2, a lens related to focus adjustment among the plurality of lenses is schematically shown as a focus lens 111.

この２眼式デジタルカメラ１０が駆動されると、メカＣＰＵ１１６からの、フォーカスレンズ１１１を所定の駆動範囲内で移動させる指示や合焦位置に向かわせるための合焦位置の指示に従った指示信号によって、フォーカスレンズ１１３が移動し、撮影画角のうちの顔認識機能により検出された顔に焦点を合わせるＡＦ機能による焦点調整が連続的に行われる。また、詳細な説明は後述するが、撮影画角のうちの顔認識機能により検出された顔に対する露光調整を行うＡＥ機能による露光調整も連続的に行われる。   When the two-lens digital camera 10 is driven, an instruction signal from the mechanical CPU 116 in accordance with an instruction to move the focus lens 111 within a predetermined driving range or an in-focus position instruction to move to the in-focus position. As a result, the focus lens 113 is moved, and focus adjustment by the AF function for focusing on the face detected by the face recognition function in the shooting angle of view is continuously performed. Although detailed description will be given later, exposure adjustment by the AE function for performing exposure adjustment on the face detected by the face recognition function in the shooting angle of view is also continuously performed.

ＣＣＤ１１３に結像して読み取られた被写体信号はＣＤＳ回路１１７に読み出され、このＣＤＳ回路１１７で増幅率を調整してその調整された増幅率で被写体信号を増幅する。ＣＤＳ回路１１７で増幅率が調整された被写体信号はＡＧＣ回路１１８に読み出され、このＡＧＣ回路１１８でゲインを制御することによって被写体信号レベルの強弱を自動補正する。ＡＧＣ回路１１８で被写体信号レベルの強弱が自動補正された被写体信号は、Ａ／Ｄコンバータ１１９に読み出され、このＡ／Ｄコンバータ１１９でアナログ信号がデジタル信号に変換され信号処理部１３０へと出力される。   The subject signal imaged and read by the CCD 113 is read by the CDS circuit 117. The CDS circuit 117 adjusts the amplification factor and amplifies the subject signal with the adjusted amplification factor. The subject signal whose amplification factor has been adjusted by the CDS circuit 117 is read to the AGC circuit 118, and the AGC circuit 118 controls the gain to automatically correct the strength of the subject signal level. The subject signal whose subject signal level is automatically corrected by the AGC circuit 118 is read by the A / D converter 119, and the analog signal is converted into a digital signal by the A / D converter 119 and output to the signal processing unit 130. Is done.

第２撮影部１２０の構成は、上述した第１撮影部１１０と同様の構成であるため、第２撮影部１２０の構成の説明は省略する。   Since the configuration of the second imaging unit 120 is the same as that of the first imaging unit 110 described above, description of the configuration of the second imaging unit 120 is omitted.

次に、信号処理部１３０の構成を、図２を参照して説明する。   Next, the configuration of the signal processing unit 130 will be described with reference to FIG.

不揮発性メモリ１３１には、２眼式デジタルカメラ１０を動作させる各種プログラムなどが保存されている。   The non-volatile memory 131 stores various programs for operating the twin-lens digital camera 10.

ＲＡＭ１３２には、例えば、ユーザによって、各モードそれぞれについて設定された項目情報などが書き込まれて保存される。   In the RAM 132, for example, item information set for each mode by the user is written and stored.

２眼式デジタルカメラ１０は、静止画撮影モードあるいは動画撮影モードが選択された際、顔認識機能による画像中の顔の検出、ＡＦ機能による焦点調整、およびＡＥ機能による露光調整を連続的に行うために、静止画撮影や動画撮影の前にも被写体信号を生成する。尚、静止画撮影や動画撮影の前に生成される被写体信号は、本撮影時に生成される被写体信号よりも低解像度の一時的なデータである。   When the still image shooting mode or the moving image shooting mode is selected, the twin-lens digital camera 10 continuously performs face detection in the image by the face recognition function, focus adjustment by the AF function, and exposure adjustment by the AE function. Therefore, a subject signal is also generated before still image shooting or moving image shooting. Note that the subject signal generated before still image shooting or moving image shooting is temporary data having a lower resolution than the subject signal generated at the time of actual shooting.

第１撮影部１１０のフォーカスレンズ１１１などを経てＡ／Ｄコンバータ１１９でデジタル信号に変換された、静止画撮影や動画撮影の前に生成される低解像度の被写体信号や静止画撮影や動画撮影時に生成される被写体信号は、信号処理部１３０の第１バッファメモリ１３３ａに一旦蓄えられる。この第１バッファメモリ１３３ａは、本発明にいう画像データ取得部の一例に相当する。第１バッファメモリ１３３ａに一旦蓄えられた被写体信号は、画像中の顔の検出機能を実現するための演算を行う特定被写体検出部１３６に読み出され、この特定被写体検出部１３６で、その被写体信号のＲＧＢ信号から画像中の顔を検出する。この特定被写体検出部１３６は、本発明にいう対象検出部の一例に相当する。   At the time of low-resolution subject signal, still image shooting, or moving image shooting, which is converted to a digital signal by the A / D converter 119 via the focus lens 111 of the first shooting unit 110, etc., and generated before still image shooting or moving image shooting The generated subject signal is temporarily stored in the first buffer memory 133a of the signal processing unit 130. The first buffer memory 133a corresponds to an example of the image data acquisition unit referred to in the present invention. The subject signal once stored in the first buffer memory 133a is read out to the specific subject detection unit 136 that performs a calculation for realizing the function of detecting a face in the image. The specific subject detection unit 136 uses the subject signal. A face in the image is detected from the RGB signals. The specific subject detection unit 136 corresponds to an example of the target detection unit according to the present invention.

また、その被写体信号は、ＡＦ機能を実現するための演算を行うＡＦ演算部１３４に読み出され、このＡＦ演算部１３４で、その被写体信号のＲＧＢ信号から被写体のコントラストを検出して被写体までの距離を測定し、検出結果に基づいて、フォーカスレンズ１１１，１２１によって焦点調整を行う。尚、ＡＦ演算部１３４は、特定被写体検出部１３６により顔が検出された場合にはその顔に対する焦点調整を行う。   The subject signal is read by an AF calculation unit 134 that performs calculation for realizing the AF function. The AF calculation unit 134 detects the contrast of the subject from the RGB signal of the subject signal, and outputs the subject signal. The distance is measured, and focus adjustment is performed by the focus lenses 111 and 121 based on the detection result. In addition, when the face is detected by the specific subject detection unit 136, the AF calculation unit 134 performs focus adjustment on the face.

さらに、その被写体信号は、ＡＥ機能を実現するための演算を行うＡＥ演算部１３５にも読み出され、このＡＥ演算部１３５で、その被写体信号のＲＧＢ信号から輝度信号を抽出して被写体の輝度を検出し、検出結果に基づいて、ＣＣＤ１１３，１２３に与えられる被写体光の光量が適切になるように露光調整を行う。尚、ＡＥ演算部１３５は、特定被写体検出部１３６により顔が検出された場合にはその顔に対する露光調整を行う。   Further, the subject signal is also read out by the AE calculation unit 135 that performs a calculation for realizing the AE function, and the AE calculation unit 135 extracts a luminance signal from the RGB signal of the subject signal to obtain the luminance of the subject. Based on the detection result, exposure adjustment is performed so that the amount of subject light given to the CCDs 113 and 123 is appropriate. Note that the AE calculation unit 135 performs exposure adjustment on the face when the specific subject detection unit 136 detects the face.

このＡＦ演算部１３４とＡＥ演算部１３５との組み合わせは、本発明にいう動作実行部の一例に相当する。   The combination of the AF calculation unit 134 and the AE calculation unit 135 corresponds to an example of the operation execution unit according to the present invention.

また、第２撮影部１２０のフォーカスレンズ１２１などを経てＡ／Ｄコンバータ１２９でデジタル信号に変換された、静止画撮影や動画撮影の前に生成される低解像度の被写体信号や静止画撮影や動画撮影に生成される被写体信号は、信号処理部１３０の第２バッファメモリ１３３ｂに一旦蓄えられる。この第２バッファメモリ１３３ｂも、上述した第１バッファメモリ１３３ａと同様に、本発明にいう画像データ取得部の一例に相当する。第２バッファメモリ１３３ｂに一旦蓄えられた被写体信号は、画像中の顔の検出機能を実現するための演算を行う特定被写体検出部１３６に読み出され、この特定被写体検出部１３６で、その被写体信号のＲＧＢ信号から画像中の顔を検出する。尚、画像中に顔が複数存在する場合には、第１撮影部１１０で生成されて第１バッファメモリ１３３ａに一旦蓄えられた被写体信号に基づいて特定被写体検出部１３６で実行された顔の検出とは異なる顔を検出する。この特定被写体検出部１３６は、本発明にいう対象検出部の一例に相当する。   In addition, the low-resolution subject signal, the still image shooting, and the moving image that are converted to the digital signal by the A / D converter 129 through the focus lens 121 and the like of the second shooting unit 120 are generated before the still image shooting and the moving image shooting. The subject signal generated for shooting is temporarily stored in the second buffer memory 133b of the signal processing unit 130. The second buffer memory 133b corresponds to an example of the image data acquisition unit referred to in the present invention, like the first buffer memory 133a described above. The subject signal once stored in the second buffer memory 133b is read out to the specific subject detection unit 136 that performs a calculation for realizing the function of detecting a face in the image, and the specific subject detection unit 136 uses the subject signal. A face in the image is detected from the RGB signals. When there are a plurality of faces in the image, the face detection performed by the specific subject detection unit 136 based on the subject signal generated by the first photographing unit 110 and temporarily stored in the first buffer memory 133a. Detect a different face. The specific subject detection unit 136 corresponds to an example of the target detection unit according to the present invention.

また、その被写体信号は、ＡＦ機能を実現するための演算を行うＡＦ演算部１３４に読み出され、このＡＦ演算部１３４で、その被写体信号のＲＧＢ信号から被写体のコントラストを検出して被写体までの距離を測定し、検出結果に基づいて、フォーカスレンズ１１１，１２１によって焦点調整を行う。尚、ＡＦ演算部１３４は、特定被写体検出部１３６により顔が検出された場合にはその顔に対する焦点調整を行う。   The subject signal is read by an AF calculation unit 134 that performs calculation for realizing the AF function. The AF calculation unit 134 detects the contrast of the subject from the RGB signal of the subject signal, and outputs the subject signal. The distance is measured, and focus adjustment is performed by the focus lenses 111 and 121 based on the detection result. In addition, when the face is detected by the specific subject detection unit 136, the AF calculation unit 134 performs focus adjustment on the face.

さらに、その被写体信号は、ＡＥ機能を実現するための演算を行うＡＥ演算部１３５にも読み出され、このＡＥ演算部１３５で、その被写体信号のＲＧＢ信号から輝度信号を抽出して被写体の輝度を検出し、検出結果に基づいて、ＣＣＤ１１３，１２３に与えられる被写体光の光量が適切になるように露光調整を行う。尚、ＡＥ演算部１３５は、特定被写体検出部１３６により顔が検出された場合にはその顔に対する露光調整を行う。   Further, the subject signal is also read out by the AE calculation unit 135 that performs a calculation for realizing the AE function, and the AE calculation unit 135 extracts a luminance signal from the RGB signal of the subject signal to obtain the luminance of the subject. Based on the detection result, exposure adjustment is performed so that the amount of subject light given to the CCDs 113 and 123 is appropriate. Note that the AE calculation unit 135 performs exposure adjustment on the face when the specific subject detection unit 136 detects the face.

このＡＦ演算部１３４とＡＥ演算部１３５との組み合わせは、本発明にいう動作実行部の一例に相当する。   The combination of the AF calculation unit 134 and the AE calculation unit 135 corresponds to an example of the operation execution unit according to the present invention.

動静止画記録制御プログラムＲＯＭ１４９には、第１撮影部１１０で生成されて第１バッファメモリ１３３ａに一旦蓄えられた被写体信号に基づいて、特定被写体検出部１３６で実行された顔の検出、ＡＦ演算部１３４で実行された焦点調整、およびＡＥ演算部１３５で実行された露光調整のそれぞれの結果を、その第１バッファメモリ１３３ａに一旦蓄えられた被写体信号に反映させて、焦点および露光の双方が適正に調整された撮影画像を表す画像データを生成するとともに、第２撮影部１２０で生成されて第２バッファメモリ１３３ｂに一旦蓄えられた被写体信号に基づいて、特定被写体検出部１３６で実行された顔の検出、ＡＦ演算部１３４で実行された焦点調整、およびＡＥ演算部１３５で実行された露光調整のそれぞれの結果を、その第２バッファメモリ１３３ｂに一旦蓄えられた被写体信号に反映させて、焦点および露光の双方が適正に調整された撮影画像を表す画像データを生成するプログラムが保存されている。このプログラムに従って、各撮像部に対応する撮影画像を表す画像データを複数生成する。この動静止画記録制御プログラムＲＯＭ１４９は、本発明にいう画像データ生成部の一例に相当する。   The moving image recording control program ROM 149 stores the face detection and AF calculation performed by the specific subject detection unit 136 based on the subject signal generated by the first photographing unit 110 and temporarily stored in the first buffer memory 133a. The results of the focus adjustment executed by the unit 134 and the exposure adjustment executed by the AE calculation unit 135 are reflected in the subject signal once stored in the first buffer memory 133a, so that both the focus and exposure are Image data representing a properly adjusted captured image is generated, and the specific subject detection unit 136 executes the image data based on the subject signal generated by the second imaging unit 120 and temporarily stored in the second buffer memory 133b. The results of the face detection, the focus adjustment executed by the AF calculation unit 134, and the exposure adjustment executed by the AE calculation unit 135 are obtained. Part and second reflecting once stored is subject signal to the buffer memory 133b, program for generating image data representing the captured image is both focused and exposure are properly adjusted are stored. In accordance with this program, a plurality of image data representing photographed images corresponding to the respective imaging units are generated. The moving image recording control program ROM 149 corresponds to an example of the image data generation unit referred to in the present invention.

従って、撮影画面内に複数の顔が存在する場合において、これら複数の顔を互いに異なる顔として検出して、２つの撮影部１１０，１２０毎にそれぞれ検出された顔それぞれに着目した焦点調整動作や露光調整動作が、２つの撮影部１１０，１２０それぞれについて実行されることにより、画像データ毎に異なる顔に焦点調整や露光調整された複数の画像データが得られる。   Therefore, when there are a plurality of faces in the shooting screen, the plurality of faces are detected as different faces, and a focus adjustment operation focusing on the faces detected by the two shooting units 110 and 120, respectively. By performing the exposure adjustment operation for each of the two photographing units 110 and 120, a plurality of image data in which focus adjustment and exposure adjustment are performed on different faces for each image data is obtained.

また、特定被写体検出部１３６が画像中の顔を検出することによって、撮影画面内に複数の人物が存在する場合において、画像データ毎に異なる人物の顔に焦点調整や露光調整された複数の画像データが得られる。   In addition, when the specific subject detection unit 136 detects a face in the image, when there are a plurality of persons in the shooting screen, a plurality of images that are focus-adjusted and exposure-adjusted on the faces of different persons for each image data. Data is obtained.

尚、ここでは、特定被写体検出部１３６が画像中の顔を検出する例を挙げたが、本発明にいう対象検出部は、これに限られるものではなく、例えば、画像中の人物など、画像中の任意のエリアの特定な対象を検出するものであってもよい。   Here, an example has been given in which the specific subject detection unit 136 detects a face in the image, but the target detection unit referred to in the present invention is not limited to this, and for example, a person in the image or the like A specific target in an arbitrary area may be detected.

画像信号処理部１３８は、静止画撮影や動画撮影時に生成されて画像メモリ１３７に書き込まれた被写体信号を画像メモリ１３７から読み出して、その被写体信号に対してＲＧＢレベルの調節やガンマ調整などを施す。   The image signal processing unit 138 reads from the image memory 137 a subject signal generated during still image shooting or moving image shooting and written in the image memory 137, and performs RGB level adjustment or gamma adjustment on the subject signal. .

ＤＳＰ１３９は、静止画撮影や動画撮影時に生成されて画像メモリ１３７に書き込まれた被写体信号を画像メモリ１３７から読み出して、その被写体信号に対して輪郭強調などを施す。   The DSP 139 reads out a subject signal generated at the time of still image shooting or moving image shooting and written in the image memory 137 from the image memory 137, and performs edge enhancement on the subject signal.

圧縮伸長部１４０は、静止画撮影や動画撮影時に生成されて画像メモリ１３７に書き込まれた被写体信号を画像メモリ１３７から読み出して、その被写体信号に対してＪＰＥＧ圧縮に代表される圧縮処理や伸長処理を施す。   The compression / decompression unit 140 reads from the image memory 137 a subject signal generated during still image shooting or moving image shooting and written in the image memory 137, and performs compression processing or decompression processing represented by JPEG compression on the subject signal. Apply.

表示制御部１４２およびＤ／Ａコンバータ１４３は、画像信号処理部１３８、ＤＳＰ１３９、および圧縮伸長部１４０によって画像処理が施されて表示メモリ１４１に書き込まれた被写体信号を、画像表示部１５０で表示できるデータの形式に変換する。変換された後の被写体信号は、画像表示部１５０に送られ、被写体信号を表す撮影画像が画像表示部１５０に表示される。   The display control unit 142 and the D / A converter 143 can display, on the image display unit 150, the subject signal that has been subjected to image processing by the image signal processing unit 138, the DSP 139, and the compression / decompression unit 140 and written to the display memory 141. Convert to data format. The converted subject signal is sent to the image display unit 150, and a captured image representing the subject signal is displayed on the image display unit 150.

操作Ｉ／Ｆ１４４は、操作部１６０による設定情報の授受を行うものである。   The operation I / F 144 is used to exchange setting information by the operation unit 160.

電源制御部１４５は、２眼式デジタルカメラ１０に装填されたバッテリ１７０の電池残量の画像表示部１５０への表示を制御する。   The power control unit 145 controls the display of the remaining battery level of the battery 170 loaded in the twin-lens digital camera 10 on the image display unit 150.

記録メディアＩ／Ｆ１４６は、記録メディア１８０への被写体信号の記録や読み出しのための情報や信号の授受を行うものである。   The recording medium I / F 146 exchanges information and signals for recording and reading out subject signals to and from the recording medium 180.

通信制御部１４７は、信号処理部１３０内の各種要素間の通信を制御する。   The communication control unit 147 controls communication between various elements in the signal processing unit 130.

２眼式デジタルカメラ１０は、基本的には以上のように構成されている。   The twin-lens digital camera 10 is basically configured as described above.

ここで、２眼式デジタルカメラ１０における、本発明の一実施形態としての特徴は、撮影画面内に複数の顔が存在する場合において、これら複数の顔を互いに異なる顔として検出して、２つの撮影部１１０，１２０毎にそれぞれ検出された顔それぞれに着目した焦点調整動作や露光調整動作を実行する動作にあり、以下、この動作について詳述する。   Here, the feature of the twin-lens digital camera 10 as an embodiment of the present invention is that when there are a plurality of faces in the shooting screen, the plurality of faces are detected as different faces, and two faces are detected. The focus adjustment operation and the exposure adjustment operation paying attention to each of the faces detected for each of the photographing units 110 and 120 are performed, and this operation will be described in detail below.

図３は、第１実施形態の２眼式デジタルカメラ１０の起動処理が開始されてから静止画撮影が終了するまでの間における動作の流れを説明するフローチャートである。   FIG. 3 is a flowchart for explaining an operation flow from the start of the activation process of the twin-lens digital camera 10 of the first embodiment to the end of still image shooting.

図３に示すフローチャートで説明する動作は、図示しない電源ボタン操作されることによって開始される。   The operation described in the flowchart shown in FIG. 3 is started by operating a power button (not shown).

まず、図示しない電源ボタンが操作されたことを受けて電源スイッチが入れられると電源がオンされ、２眼式デジタルカメラ１０が駆動される（ステップＳ１０１）。   First, when a power switch (not shown) is operated and the power switch is turned on, the power is turned on and the two-lens digital camera 10 is driven (step S101).

ステップＳ１０１で２眼式デジタルカメラ１０が駆動されると、動作指示待ちのスタンバイ状態に移行し（ステップＳ１０２）、静止画を撮影する際に選択する静止画撮影モードを選択すると（ステップＳ１０３：Ｙｅｓ）、静止画撮影が可能な撮影準備状態に移行し、顔認識機能による画像中の顔の検出、ＡＦ機能による焦点調整、およびＡＥ機能による露光調整が連続的に行われる（ステップＳ１０４）。   When the twin-lens digital camera 10 is driven in step S101, the process shifts to a standby state waiting for an operation instruction (step S102), and a still image shooting mode to be selected when shooting a still image is selected (step S103: Yes). ), A transition is made to a shooting preparation state in which still image shooting is possible, and face detection in the image by the face recognition function, focus adjustment by the AF function, and exposure adjustment by the AE function are continuously performed (step S104).

また、ステップＳ１０２でスタンバイ状態に移行した後、動画を撮影する際に選択する動画撮影モードを選択すると（ステップＳ１０３：Ｎｏ）動画撮影モードに移行し（ステップＳ１０５）、記録メディアに保存された撮影画像を再生する際に選択する再生モードを選択すると（ステップＳ１０３：Ｎｏ）、再生モードに移行する（ステップＳ１０５）。   Further, after the transition to the standby state in step S102, when the moving image shooting mode to be selected when shooting a moving image is selected (step S103: No), the moving image shooting mode is entered (step S105), and the shooting stored in the recording medium is performed. When the reproduction mode to be selected when reproducing the image is selected (step S103: No), the mode is changed to the reproduction mode (step S105).

ステップＳ１０４で撮影準備状態に移行した後、シャッタレリーズボタン１５が半押しされるまでは（ステップＳ１０６：Ｎｏ）、ステップＳ１０３〜ステップＳ１０５の動作が可能である。   After the transition to the shooting preparation state in step S104, the operations in steps S103 to S105 are possible until the shutter release button 15 is half-pressed (No in step S106).

ステップＳ１０４で撮影準備状態に移行した後、シャッタレリーズボタン１５が半押しされると（ステップＳ１０６：Ｙｅｓ）、第１撮影部１１０で生成されて第１バッファメモリ１３３ａに一旦蓄えられた被写体信号に基づいて、特定被写体検出部１３６で実行される第１の人物の顔の検出、ＡＦ演算部１３４で実行される焦点調整、およびＡＥ演算部１３５で実行される露光調整のそれぞれの動作が実行される（ステップＳ１０７）。また、ステップＳ１０７の動作と平行して、第２撮影部１２０で生成されて第２バッファメモリ１３３ｂに一旦蓄えられた被写体信号に基づいて、特定被写体検出部１３６で実行された第２の人物の顔の検出、ＡＦ演算部１３４で実行された焦点調整、およびＡＥ演算部１３５で実行された露光調整のそれぞれの動作が実行される（ステップＳ１０８）。   When the shutter release button 15 is half-pressed after shifting to the shooting preparation state in step S104 (step S106: Yes), the subject signal generated by the first shooting unit 110 and temporarily stored in the first buffer memory 133a is displayed. Based on this, the first person face detection executed by the specific subject detection unit 136, the focus adjustment executed by the AF calculation unit 134, and the exposure adjustment executed by the AE calculation unit 135 are executed. (Step S107). In parallel with the operation in step S107, the second person executed by the specific subject detection unit 136 based on the subject signal generated by the second photographing unit 120 and temporarily stored in the second buffer memory 133b. The operations of face detection, focus adjustment executed by the AF calculation unit 134, and exposure adjustment executed by the AE calculation unit 135 are executed (step S108).

ステップＳ１０７の動作によって、第１バッファメモリ１３３ａに一旦蓄えられた被写体信号の、特定被写体検出部１３６により検出された第１の人物の顔に着目したＡＦ／ＡＥ最適化が終了し（ステップＳ１０９：Ｙｅｓ）、ステップＳ１０８の動作によって、第２バッファメモリ１３３ｂに一旦蓄えられた被写体信号の、特定被写体検出部１３６により検出された第２の人物の顔に着目したＡＦ／ＡＥ最適化が終了して（ステップＳ１１０：Ｙｅｓ）、双方の最適化が終了すると（ステップＳ１１１：Ｙｅｓ）、ＡＦ演算部１３４およびＡＥ演算部１３５の各々の動作の演算結果に基づいて、第１撮影部１１０のフォーカスレンズ１１１および第２撮影部１２０のフォーカスレンズ１２１それぞれの位置をその半押しされた時点の位置に固定するＡＦロックが設定されるとともに、被写体の輝度をその半押しされた時点の位置に固定するＡＥロックが設定される。尚、ＡＦ演算部１３４の動作によるＡＦ最適化、およびＡＥ演算部１３５の動作によるＡＦ最適化のいずれか一方の最適化、あるいは双方の最適化が正確に実行されなかった場合には（ステップＳ１０９：Ｎｏ、ステップＳ１１０：Ｎｏ、ステップＳ１１１：Ｎｏ）、ステップＳ１０７やステップＳ１０８の動作が再度実行される。   With the operation in step S107, AF / AE optimization focusing on the face of the first person detected by the specific subject detection unit 136 in the subject signal once stored in the first buffer memory 133a is completed (step S109: Yes) With the operation in step S108, AF / AE optimization focusing on the face of the second person detected by the specific subject detection unit 136 of the subject signal once stored in the second buffer memory 133b is completed. (Step S110: Yes) When the optimization of both is completed (Step S111: Yes), the focus lens 111 of the first photographing unit 110 is based on the calculation results of the operations of the AF calculation unit 134 and the AE calculation unit 135. And the position of each of the focus lenses 121 of the second photographing unit 120 to the position when half-pressed. With constant for AF lock is set, AE lock to fix the luminance of the object to the position of the half-press time points are set. If either one of the AF optimization by the operation of the AF calculation unit 134 and the AF optimization by the operation of the AE calculation unit 135 or both optimizations are not accurately executed (step S109). : No, Step S110: No, Step S111: No), the operations of Step S107 and Step S108 are executed again.

ステップＳ１１１で双方の最適化が終了した後、シャッタレリーズボタン１５が半押しされた状態を保って構図を決定した上でシャッタレリーズボタン１５が全押しされると（ステップＳ１１２：Ｙｅｓ）、シャッタが切られて露光開始されることにより被写体の静止画撮影が行われる（ステップＳ１１３）。   After both optimizations are completed in step S111, the composition is determined while the shutter release button 15 is half-pressed, and when the shutter release button 15 is fully pressed (step S112: Yes), the shutter is released. When the image is cut and the exposure is started, a still image of the subject is shot (step S113).

静止画撮影が行われるにあたっては、動静止画記録制御プログラムＲＯＭ１４９に保存されたプログラムに従って、ステップＳ１０９：Ｙｅｓの結果を、第１バッファメモリ１３３ａに一旦蓄えられた被写体信号に反映させて、焦点および露光の双方が第１の人物の顔に着目して適正に調整された撮影画像を表す画像データが生成されるとともに、ステップＳ１１０：Ｙｅｓの結果を、その第２バッファメモリ１３３ｂに一旦蓄えられた被写体信号に反映させて、焦点および露光の双方が第２の人物の顔に着目して適正に調整された撮影画像を表す画像データが生成される。   When still image shooting is performed, the result of step S109: Yes is reflected in the subject signal once stored in the first buffer memory 133a according to the program stored in the moving and still image recording control program ROM 149, and the focus and Image data representing a photographed image in which both exposures are appropriately adjusted by focusing on the face of the first person is generated, and the result of step S110: Yes is temporarily stored in the second buffer memory 133b. Reflected in the subject signal, image data representing a captured image in which both the focus and the exposure are appropriately adjusted by paying attention to the face of the second person is generated.

生成された各被写体信号は、画像メモリ１３７や画像信号処理部１３８やＤＳＰ１３９や圧縮伸長部１４０や記録メディアＩ／Ｆ１４６などを経て記録メディア１８０に記録され（ステップＳ１１４）、本撮影が終了する（ステップＳ１１５）。   The generated subject signals are recorded on the recording medium 180 via the image memory 137, the image signal processing unit 138, the DSP 139, the compression / decompression unit 140, the recording medium I / F 146, and the like (step S114), and the actual photographing is completed (step S114). Step S115).

また、ステップＳ１１１で双方の最適化が終了した後、シャッタレリーズボタン１５が全押しされることなく（ステップＳ１１２：Ｎｏ）半押しが解除されると（ステップＳ１１６：Ｙｅｓ）、静止画撮影が可能な撮影準備状態（ステップＳ１０４）に移行してＡＦ機能による焦点調整およびＡＥ機能による露光調整が連続的に行われ、再度、上述したステップＳ１０６〜ステップＳ１１２の動作が可能となる。   In addition, after the optimization of both is completed in step S111, the shutter release button 15 is not fully pressed (step S112: No), and the half-press is released (step S116: Yes), still image shooting is possible. Then, the process shifts to a proper photographing preparation state (step S104), and the focus adjustment by the AF function and the exposure adjustment by the AE function are continuously performed, and the operations of the above-described steps S106 to S112 can be performed again.

以上で、本発明の第１実施形態の説明を終了する。   Above, description of 1st Embodiment of this invention is complete | finished.

次に、本発明の第２実施形態および第３実施形態について説明する。   Next, a second embodiment and a third embodiment of the present invention will be described.

尚、以下説明する第２実施形態および第３実施形態では、上述した第１実施形態との相違点に注目し、同じ要素については同じ符号を付して説明を省略する。   In the second and third embodiments described below, attention is paid to differences from the first embodiment described above, and the same components are denoted by the same reference numerals and description thereof is omitted.

図４は、本発明の複眼式撮影装置の非連動オート系処理装置の一実施形態が適用された第２実施形態の３眼式デジタルカメラ２０を前面から見た外観斜視図であり、図５は、本発明の複眼式撮影装置の非連動オート系処理装置の一実施形態が適用された第３実施形態の４眼式デジタルカメラ３０を前面から見た外観斜視図である。   4 is an external perspective view of a trinocular digital camera 20 according to a second embodiment to which an embodiment of a non-interlocking automatic processing apparatus of a compound eye photographing apparatus of the present invention is applied, as viewed from the front. These are the external appearance perspective views which looked at the 4 eye type digital camera 30 of 3rd Embodiment to which one Embodiment of the non-interlocking automatic processing apparatus of the compound eye type imaging device of this invention was applied from the front.

図４に示す３眼式デジタルカメラ２０は、３つのＣＣＤそれぞれに被写体像を結像する３つの撮影光学系を備え、これらの３つの撮影光学系で同一の被写体を捉えて３つのＣＣＤそれぞれに結像した各被写体像を画像データに生成する撮影装置である。図４に示すように、この３眼式デジタルカメラ２０の前面の中央部には、外観上、被写体に焦点を合わせる複数のフォーカスレンズなどで構成される撮影光学系がそれぞれに内蔵された３つの撮影レンズ２１，２２，２３が備えられている。この３眼式デジタルカメラ２０は、本発明の複眼式撮影装置の非連動オート系処理装置の一例に相当する。   The trinocular digital camera 20 shown in FIG. 4 includes three photographing optical systems that form subject images on the three CCDs. The three photographing optical systems capture the same subject and each of the three CCDs captures the same subject. This is a photographing device that generates each image of a subject image as image data. As shown in FIG. 4, in the central portion of the front surface of the three-lens digital camera 20, there are three photographic optical systems each including a plurality of focus lenses that focus on the subject. Photography lenses 21, 22, and 23 are provided. The three-lens digital camera 20 corresponds to an example of a non-interlocking automatic processing apparatus of the compound eye photographing apparatus of the present invention.

図５に示す４眼式デジタルカメラ３０は、４つのＣＣＤそれぞれに被写体像を結像する４つの撮影光学系を備え、これらの４つの撮影光学系で同一の被写体を捉えて４つのＣＣＤそれぞれに結像した各被写体像を画像データに生成する撮影装置である。図５に示すように、この４眼式デジタルカメラ３０の前面の中央部には、外観上、被写体に焦点を合わせる複数のフォーカスレンズなどで構成される撮影光学系がそれぞれに内蔵された４つの撮影レンズ３１，３２，３３，３４が備えられている。この４眼式デジタルカメラ３０は、本発明の複眼式撮影装置の非連動オート系処理装置の一例に相当する。   The four-lens digital camera 30 shown in FIG. 5 includes four photographing optical systems that form subject images on the four CCDs. The four photographing optical systems capture the same subject and each of the four CCDs. This is a photographing device that generates each image of a subject image as image data. As shown in FIG. 5, in the central portion of the front surface of the four-lens digital camera 30, there are four photographic optical systems each including a plurality of focus lenses that are focused on the subject. Photographing lenses 31, 32, 33, and 34 are provided. The four-lens digital camera 30 corresponds to an example of a non-interlocking automatic processing apparatus of the compound-eye imaging apparatus of the present invention.

尚、上述した第１実施形態では、２つのＣＣＤそれぞれに被写体像を結像する２つの撮影光学系を備えた２眼式デジタルカメラに本発明を適用した例で説明したが、本発明は、これに限られるものではなく、例えば、第２実施形態で示した３眼式デジタルカメラや第３実施形態で示した４眼式デジタルカメラなど、複数の固体撮像素子それぞれに被写体像を結像する複数の撮影光学系を備えた複眼式撮影装置の非連動オート系処理装置であればよい。   In the first embodiment described above, an example in which the present invention is applied to a twin-lens digital camera provided with two photographing optical systems that form subject images on two CCDs has been described. For example, the subject image is formed on each of a plurality of solid-state imaging devices such as the three-lens digital camera shown in the second embodiment and the four-lens digital camera shown in the third embodiment. Any non-interlocking automatic processing apparatus of a compound eye type photographing apparatus provided with a plurality of photographing optical systems may be used.

本発明の複眼式撮影装置の非連動オート系処理装置の一実施形態が適用された第１実施形態の２眼式デジタルカメラを前面から見た外観斜視図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an external perspective view of a twin-lens digital camera according to a first embodiment to which an embodiment of a non-interlocking automatic processing apparatus of a compound eye photographing apparatus of the present invention is applied, as viewed from the front. 図１に示す２眼式デジタルカメラの機能を示すブロック図である。It is a block diagram which shows the function of the twin-lens type digital camera shown in FIG. 第１実施形態の２眼式デジタルカメラの起動処理が開始されてから静止画撮影が終了するまでの間における動作の流れを説明するフローチャートである。It is a flowchart explaining the flow of operation | movement after the starting process of the twin-lens digital camera of 1st Embodiment is started until a still image photography is complete | finished. 本発明の複眼式撮影装置の非連動オート系処理装置の一実施形態が適用された第２実施形態の３眼式デジタルカメラを前面から見た外観斜視図である。It is the external appearance perspective view which looked at the trinocular digital camera of 2nd Embodiment to which one Embodiment of the non-interlocking auto type | system | group processing apparatus of the compound eye type imaging device of this invention was applied from the front. 本発明の複眼式撮影装置の非連動オート系処理装置の一実施形態が適用された第３実施形態の４眼式デジタルカメラを前面から見た外観斜視図である。It is the external appearance perspective view which looked at the 4 eye type digital camera of a 3rd embodiment to which one embodiment of the non-interlocking automatic processing device of the compound eye type photographing device of the present invention was applied from the front.

符号の説明Explanation of symbols

１０ ２眼式デジタルカメラ
１１，１２，２１，２２，２３，３１，３２，３３，３４ 撮影レンズ
１３ 閃光発光部
１４ ＬＥＤ発光部
１５ シャッタレリーズボタン
１１０ 第１撮影部
１１１，１２１ フォーカスレンズ
１１２，１２２ ＩＲフィルタ
１１３，１２３ ＣＣＤ
１１４，１２４ カメラＣＰＵ
１１５，１２５ ＴＧ
１１６，１２６ メカＣＰＵ
１１７，１２７ ＣＤＳ回路
１１８，１２８ ＡＧＣ回路
１１９，１２９ Ａ／Ｄコンバータ
１２０ 第２撮影部
１３０ 信号処理部
１３１ 不揮発性メモリ
１３２ ＲＡＭ
１３３ａ 第１バッファメモリ
１３３ｂ 第２バッファメモリ
１３４ ＡＦ演算部
１３５ ＡＥ演算部
１３６ 特定被写体検出部
１３７ 画像メモリ
１３８ 画像信号処理部
１３９ ＤＳＰ
１４０ 圧縮伸長部
１４１ 表示メモリ
１４２ 表示制御部
１４３ Ｄ／Ａコンバータ
１４４ 操作Ｉ／Ｆ
１４５ 電源制御部
１４６ 記録メディアＩ／Ｆ
１４７ 通信制御部
１４８ バス
１５０ 画像表示部
１６０ 操作部
１７０ バッテリ
１８０ 記録メディア
１４９ 動静止画記録制御プログラムＲＯＭ
２０ ３眼式デジタルカメラ
３０ ４眼式デジタルカメラ DESCRIPTION OF SYMBOLS 10 Twin-lens type digital camera 11, 12, 21, 22, 23, 31, 32, 33, 34 Shooting lens 13 Flash light emission part 14 LED light emission part 15 Shutter release button 110 1st imaging part 111,121 Focus lens 112,122 IR filter 113, 123 CCD
114,124 Camera CPU
115,125 TG
116,126 Mechanical CPU
117, 127 CDS circuit 118, 128 AGC circuit 119, 129 A / D converter 120 Second imaging unit 130 Signal processing unit 131 Non-volatile memory 132 RAM
133a First buffer memory 133b Second buffer memory 134 AF calculation unit 135 AE calculation unit 136 Specific subject detection unit 137 Image memory 138 Image signal processing unit 139 DSP
140 Compression / Expansion Unit 141 Display Memory 142 Display Control Unit 143 D / A Converter 144 Operation I / F
145 Power control unit 146 Recording media I / F
147 Communication control unit 148 Bus 150 Image display unit 160 Operation unit 170 Battery 180 Recording medium 149 Dynamic still image recording control program ROM
20 3-eye digital camera 30 4-eye digital camera

Claims (3)

複数の固体撮像素子と、該複数の固体撮像素子それぞれに被写体像を結像する複数の撮影光学系とを備え、該複数の撮影光学系で同一の被写体を捉えて該複数の固体撮像素子それぞれに結像した各被写体像それぞれを表す複数の画像データを生成する複眼式撮影装置の非連動オート系処理装置において、
前記複数の固体撮像素子それぞれに結像した各被写体像それぞれを表す複数の画像データを取得する画像データ取得部と、
前記画像データ取得部により取得された複数の画像データそれぞれに基づいて、該複数の画像データそれぞれにより表される複数の画像中の、前記複数の撮影光学系毎に互いに異なる任意のエリアの特定な対象を検出する対象検出部と、
前記対象検出部により前記複数の撮影光学系毎にそれぞれ検出された各任意のエリアの特定な対象に着目した焦点調整動作および露光調整動作のうちの少なくとも１つの動作を実行する動作実行部と、
前記動作実行部により実行された前記複数の撮影光学系それぞれについての焦点調整動作および露光調整動作のうちの少なくとも１つの動作を反映させた画像データを生成する画像データ生成部とを備えたことを特徴とする複眼式撮影装置の非連動オート系処理装置。 A plurality of solid-state imaging devices, and a plurality of imaging optical systems that form subject images on the plurality of solid-state imaging devices, respectively. In a non-interlocking auto system processing device of a compound eye photographing device that generates a plurality of image data representing each subject image formed on
An image data acquisition unit for acquiring a plurality of image data representing each subject image formed on each of the plurality of solid-state image sensors;
Based on each of the plurality of image data acquired by the image data acquisition unit, specific areas of different areas for each of the plurality of imaging optical systems in the plurality of images represented by the plurality of image data are specified. An object detection unit for detecting an object;
An operation execution unit that executes at least one of a focus adjustment operation and an exposure adjustment operation focusing on a specific target in each arbitrary area detected for each of the plurality of imaging optical systems by the target detection unit;
An image data generation unit that generates image data reflecting at least one of a focus adjustment operation and an exposure adjustment operation for each of the plurality of imaging optical systems executed by the operation execution unit. Non-interlocking automatic processing device for a compound eye type photographing device. 前記動作実行部が、前記画像中の人物の検出動作を実行するものであることを特徴とする請求項１記載の複眼式撮影装置の非連動オート系処理装置。   The non-interlocking automatic processing apparatus for a compound eye photographing apparatus according to claim 1, wherein the operation execution unit executes an operation of detecting a person in the image. 前記動作実行部が、前記画像中の顔の検出動作を実行するものであることを特徴とする請求項１記載の複眼式撮影装置の非連動オート系処理装置。   The non-interlocking automatic processing apparatus for a compound eye photographing apparatus according to claim 1, wherein the operation executing unit executes an operation of detecting a face in the image.

Images