JP6479149B2

JP6479149B2 - IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGE PROCESSING DEVICE

Info

Publication number: JP6479149B2
Application number: JP2017234102A
Authority: JP
Inventors: 武範小布施
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-12-06
Filing date: 2017-12-06
Publication date: 2019-03-06
Anticipated expiration: 2033-12-25
Also published as: JP2018082441A

Description

本発明は、撮像装置、撮像装置の制御方法、および画像処理装置に関する。 The present invention relates to an imaging apparatus , a method for controlling the imaging apparatus, and an image processing apparatus .

コンピュテーショナルフォトグラフィ（Computational Photography）という技術を搭載した撮像装置が研究されている。コンピュテーショナルフォトグラフィは、単なる画像の輝度や色のデータのほかに、従来の撮像装置では記録されなかった新たな情報を撮像素子で取り込み、画像データとともに記録し、記録した情報を用いて画像処理ＬＳＩで様々な処理を行うという技術である。例えば、撮像装置は、被写体からの光の入射角度や、奥行きの情報などの光線情報（ライトフィールド）を記録する。これらの従来の撮像装置では記録できなかった情報を用いて、フォーカス、アイリスによる被写界深度、焦点距離などを、後の画像処理で正確に再現させることができる。記録したライトフィールドを用いて、実際に撮影した画像について、後から合焦位置（フォーカス位置）を変更できるカメラが提案されている。 An imaging apparatus equipped with a technique called Computational Photography has been studied. In addition to image brightness and color data, computational photography captures new information that has not been recorded by conventional imaging devices with an image sensor, records it with image data, and uses the recorded information to create an image. This is a technique of performing various processes with a processing LSI. For example, the imaging apparatus records light information (light field) such as information on the incident angle of light from the subject and depth. By using information that could not be recorded by these conventional imaging devices, focus, depth of field by iris, focal length, and the like can be accurately reproduced by subsequent image processing. There has been proposed a camera that can change the in-focus position (focus position) of an actually captured image later using a recorded light field.

ライトフィールドの取得方法の代表的なものとして、多視点で画像を取得する方法について説明する。例えば、１台の撮像装置で焦点距離を変えて複数の画像を取得し、取得した複数の画像を１枚の画像としてデータを残すことで、その画像の焦点距離を後から画像処理で自由に編集することができる。また、カメラを水平もしくは垂直に移動させ、画像を複数枚取得することで、その画像の視差から被写体の距離情報を取得することもできる。これらの方法は、単一の撮像装置（撮像素子）を用いる。特許文献１は、複数のカメラからライトフィールドを取得して処理するシステムを開示している。 As a typical light field acquisition method, a method for acquiring images from multiple viewpoints will be described. For example, a plurality of images can be acquired by changing the focal length with a single imaging device, and the acquired plurality of images can be left as a single image so that the focal length of the image can be freely changed later by image processing. Can be edited. Further, by moving the camera horizontally or vertically and acquiring a plurality of images, it is also possible to acquire subject distance information from the parallax of the images. These methods use a single imaging device (imaging device). Patent Document 1 discloses a system that acquires and processes light fields from a plurality of cameras.

特開２００８−２５７６８６号公報JP 2008-257686A

複数のカメラを設けてライトフィールドを取得するシステムでは、消費電力が大きくなり、装置も大型化してしまう。したがって、焦点距離が異なる複数のレンズを通じた入射光を撮像素子で光電変換して出力される画像信号から、ライトフィールドすなわち入射光の方向の情報を得る撮像装置が考えられる。 In a system in which a plurality of cameras are provided to acquire a light field, power consumption increases and the apparatus also increases in size. Therefore, an imaging device that obtains information on the light field, that is, the direction of incident light, from an image signal that is output by photoelectrically converting incident light through a plurality of lenses having different focal lengths with an imaging device is conceivable.

一方、画像の取得後に撮像装置のユーザがズーム位置、フォーカス位置、被写界深度を編集することができる撮像装置では、ユーザの撮影意図に合った画像を出力することが重要である。しかし、ユーザが、特定の人物を主被写体として追いたい場合に、画像の取得後にユーザがズーム位置、フォーカス位置、被写界深度を編集することができる撮像装置では、どのような画像を出力すればユーザが意図した画像になるのかを決定することが困難である。 On the other hand, in an imaging apparatus in which the user of the imaging apparatus can edit the zoom position, the focus position, and the depth of field after acquiring the image, it is important to output an image that matches the user's shooting intention. However, when the user wants to follow a specific person as the main subject, what kind of image is output by the imaging apparatus that allows the user to edit the zoom position, focus position, and depth of field after the image is acquired. For example, it is difficult to determine whether the image is intended by the user.

本発明は、ひとつの撮像装置内に、焦点距離の異なる撮像素子を持った撮像装置において、所定の被写体検出モードにより、順に撮像装置で検出に用いる撮像素子を変え、焦点距離を変えながらライトフィールドを取得し、画像処理を行うことで、使用者へどこにピント位置が合っているかがわかりやすい映像を提供することを目的とする。 According to the present invention, in an imaging apparatus having imaging elements with different focal lengths in one imaging apparatus, the imaging device used for detection in the imaging apparatus is sequentially changed according to a predetermined subject detection mode, and the light field is changed while changing the focal length. It is an object of the present invention to provide a user with an easy-to-understand image indicating where the focus is in focus by performing image processing.

本発明の一実施形態の撮像装置は、焦点距離が異なる複数のレンズを通じた入射光を、それぞれ光電変換する複数の撮像部と、前記複数の撮像部のうち少なくとも１つの撮像部から取得された画像信号から被写体を検出する検出処理を実行する検出手段と、前記検出手段によって検出された被写体に合焦する画像を出力する出力手段と、を有し、前記検出手段は、第１の焦点距離に対応する画像信号に基づいて被写体が検出された場合には、前記第１の焦点距離よりも焦点距離が短い第２の焦点距離に対応する画像信号からの被写体の検出処理は行わずに、検出処理を終了する。
Imaging device according to an embodiment of the present invention, the incident light is the focal length through different lenses, acquired a plurality of image pickup unit for photoelectrically converting each of the at least one imaging unit of said plurality of image pickup unit a detection means performs the detection process of detecting an object from an image signal, and output means for outputting an image to focus on the detected object by said detecting means, wherein the detecting means comprises a first focal length When the subject is detected based on the image signal corresponding to, the subject detection process from the image signal corresponding to the second focal length shorter than the first focal length is not performed. The detection process ends.

本発明の撮像装置によれば、ひとつの撮像装置内に、焦点距離の異なる撮像素子を持った撮像装置において、所定の被写体検出モードにより、順に撮像装置で検出に用いる撮像素子を変え、焦点距離を変えながらライトフィールドを取得し、画像処理を行うことで、使用者へどこにピント位置が合っているかがわかりやすい映像を提供することができる。 According to the imaging apparatus of the present invention, in an imaging apparatus having imaging elements with different focal lengths in one imaging apparatus, the imaging elements used for detection in the imaging apparatus are sequentially changed according to a predetermined subject detection mode, and the focal length is changed. By acquiring the light field while changing the image and performing image processing, it is possible to provide the user with an easy-to-understand video indicating where the focus is in focus.

本実施形態の撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device of this embodiment. 撮像装置に設けられたレンズおよび撮像素子を説明する図である。It is a figure explaining the lens and imaging device which were provided in the imaging device. 実施例１の撮像装置の動作処理を説明するフローチャートである。3 is a flowchart for explaining an operation process of the imaging apparatus according to the first embodiment. 実施例２の撮像装置の動作処理を説明するフローチャートである。6 is a flowchart illustrating an operation process of the imaging apparatus according to the second embodiment.

（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、デジタルビデオカメラである。もちろん、本発明の適用範囲は、デジタルビデオカメラに限定されない。本発明は、デジタルスチルカメラ、デジタル一眼レフカメラ等にも適用可能である。 Example 1
FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus according to the present embodiment.
The imaging apparatus shown in FIG. 1 is a digital video camera. Of course, the application range of the present invention is not limited to a digital video camera. The present invention is also applicable to a digital still camera, a digital single-lens reflex camera, and the like.

本実施形態の撮像装置は、撮像光学系１０１、撮像素子１０２、画像処理ＬＳＩ１０３、信号記録部１０４、ライトフィールド画像処理部１０５、フォーカス制御部１０６、撮像素子制御部１０７、システム制御部１０８、表示部１０９を備える。 The imaging apparatus according to this embodiment includes an imaging optical system 101, an imaging element 102, an image processing LSI 103, a signal recording unit 104, a light field image processing unit 105, a focus control unit 106, an imaging element control unit 107, a system control unit 108, a display. Part 109 is provided.

システム制御部１０８は、撮像素子全体を制御する。撮像光学系１０１は、被写体光を取り込み、少なくともフォーカス位置などを変えられる機構を持つ。撮像素子１０２は、取り込んだ光をアナログの電気信号（画像信号）に光電変換して出力する。 The system control unit 108 controls the entire image sensor. The imaging optical system 101 has a mechanism for capturing subject light and changing at least the focus position. The image sensor 102 photoelectrically converts the captured light into an analog electrical signal (image signal) and outputs the analog electrical signal.

撮像素子１０２から出力される画像信号に基づいて任意のライトフィールドを取得できるようにするために、撮像装置は、複数の撮像素子１０２を備えており、それぞれの撮像素子は、面上にレンズ（この例ではマイクロレンズ）を備える。すなわち、撮像光学系１０１と撮像素子１０２の構造によって、撮像素子１０２が出力する信号からライトフィールド（入射光の方向に関する情報）を得ることができる。なお、他の形態として、撮像素子が１つの撮像素子を備え、この撮像素子が有する複数の撮像部のそれぞれにマイクロレンズが設けられていてもよい。 In order to be able to acquire an arbitrary light field based on an image signal output from the image sensor 102, the image pickup apparatus includes a plurality of image sensors 102, and each image sensor has a lens ( In this example, a microlens) is provided. That is, the light field (information regarding the direction of incident light) can be obtained from the signal output from the image sensor 102 by the structure of the image pickup optical system 101 and the image sensor 102. As another form, the imaging device may include one imaging device, and a microlens may be provided in each of a plurality of imaging units included in the imaging device.

画像処理ＬＳＩ１０３は、撮像素子１０２から出力された画像信号（映像信号）をデジタル信号へ変換し、デジタル化した映像信号にデジタルゲイン、ガンマ、ニーなどの画像処理を行なう。また、画像処理ＬＳＩ１０３は、撮像素子１０２から出力された黒レベルを測定して、映像信号をクランプする。 The image processing LSI 103 converts the image signal (video signal) output from the image sensor 102 into a digital signal, and performs image processing such as digital gain, gamma, and knee on the digitized video signal. The image processing LSI 103 measures the black level output from the image sensor 102 and clamps the video signal.

信号記録部１０４は、画像処理ＬＳＩによってデジタル処理された映像信号を記録する。画像処理ＬＳＩ１０５は、撮像素子１０２から出力された映像信号から得られるライトフィールド情報を用いて、映像信号に対して任意の画像処理を実行する。フォーカス制御部１０６は、撮像光学系１０１が有するフォーカスレンズを駆動して、ピント位置を変化させる焦点調節処理を実行する。 The signal recording unit 104 records a video signal digitally processed by the image processing LSI. The image processing LSI 105 executes arbitrary image processing on the video signal using light field information obtained from the video signal output from the image sensor 102. The focus control unit 106 drives a focus lens included in the imaging optical system 101 to execute a focus adjustment process for changing the focus position.

撮像素子制御部１０７は、撮像素子１０２の制御を実行する。表示部１０９は、画像処理ＬＳＩ１０３から出力される信号、またはライトフィールド画像処理部１０５から出力される信号を画像として表示する。図１に示す処理部のそれぞれは、分割されたＬＳＩとは限らない。撮像装置が、複数の処理部を一つにまとめたＬＳＩを備えるようにしてもよい。 The image sensor control unit 107 executes control of the image sensor 102. The display unit 109 displays a signal output from the image processing LSI 103 or a signal output from the light field image processing unit 105 as an image. Each of the processing units illustrated in FIG. 1 is not necessarily a divided LSI. The imaging apparatus may include an LSI that integrates a plurality of processing units into one.

以下に、各処理部の詳細を説明する。
撮像光学系１０１は、被写体からの光を撮像素子１０２に渡す。この例では、撮像光学系１０１は、フォーカスレンズを備える。撮像装置の形態に応じて、撮像光学系１０１が、入射光を制御するアイリス部、焦点距離を変えるズームレンズ部などを備えていてもよい。 Details of each processing unit will be described below.
The imaging optical system 101 passes light from the subject to the imaging element 102. In this example, the imaging optical system 101 includes a focus lens. Depending on the form of the imaging device, the imaging optical system 101 may include an iris unit that controls incident light, a zoom lens unit that changes the focal length, and the like.

撮像素子１０２は、撮像光学系から入射光を受け、入射光を電気信号へ変換し、出力する。撮像素子１０２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。 The imaging element 102 receives incident light from the imaging optical system, converts the incident light into an electrical signal, and outputs the electrical signal. The imaging element 102 is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.

撮像素子１０２から出力される映像信号には、アナログの映像信号で直接出力されるものと、撮像素子１０２の内部でＡ／Ｄ変換処理を行い、ＬＶＤＳ等のデジタルデータで出力されるものとがある。ＬＶＤＳは、ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌｉｎｇの略称である。 Video signals output from the image sensor 102 include those that are directly output as analog video signals and those that are A / D-converted inside the image sensor 102 and output as digital data such as LVDS. is there. LVDS is an abbreviation for Low Voltage Differential Signaling.

画像処理ＬＳＩ１０３は、撮像素子１０２から出力されたアナログ電気信号をデジタル信号へ変換するアナログフロントエンド部と、デジタル化した映像信号に各処理を行う処理部とを有する。撮像素子１０２の内部でＡＤ変換処理を行なう場合は、アナログフロントエンド部は省略される。 The image processing LSI 103 includes an analog front end unit that converts an analog electrical signal output from the image sensor 102 into a digital signal, and a processing unit that performs each process on the digitized video signal. When AD conversion processing is performed inside the image sensor 102, the analog front end unit is omitted.

画像処理ＬＳＩ１０３は、例えば、撮像素子１０２がＣＭＯＳイメージセンサの場合は、ＣＭＯＳイメージセンサ特有の固定パターンノイズの除去や、黒レベルクランプ処理などを行なう。また、画像処理ＬＳＩ１０３は、撮像装置の代表的な画像処理機能である画素加算機能、ノイズリダクション、ガンマ補正、ニー、デジタルゲイン、キズ補正などの各種画像処理を行なう。画像処理ＬＳＩ１０３は、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も有する。 For example, when the image sensor 102 is a CMOS image sensor, the image processing LSI 103 performs removal of fixed pattern noise unique to the CMOS image sensor, black level clamp processing, and the like. The image processing LSI 103 performs various image processing such as a pixel addition function, noise reduction, gamma correction, knee, digital gain, and flaw correction, which are typical image processing functions of the imaging apparatus. The image processing LSI 103 also has a storage circuit that stores setting values necessary for each correction and image processing.

信号記録部１０４は、画像処理ＬＳＩ１０３が出力する、各画像処理が反映された映像信号と、ライトフィールド情報とを、任意の記録手段へ記録する。記録手段は、例えば、ＨＤＤ（ハードディスクドライブ）、ＳＤメモリーカード、コンパクトフラッシュ（登録商標）等である。 The signal recording unit 104 records the video signal output from the image processing LSI 103 and reflecting each image processing, and the light field information in an arbitrary recording unit. The recording means is, for example, an HDD (hard disk drive), an SD memory card, a compact flash (registered trademark), or the like.

ライトフィールド画像処理部１０５は、撮像素子が出力する信号に基づいて得られるライトフィールドに基づいて、撮像光学系のピント位置、ズーム位置、被写界深度調整など任意の画像処理を行う。なお、ライトフィールドを取得する処理部は、画像処理ＬＳＩ１０３、ライトフィールド画像処理部１０５のいずれであってもよい。 The light field image processing unit 105 performs arbitrary image processing such as focus position, zoom position, and depth of field adjustment of the imaging optical system based on a light field obtained based on a signal output from the image sensor. The processing unit that acquires the light field may be either the image processing LSI 103 or the light field image processing unit 105.

フォーカス制御部１０６は、撮像光学系１０１が備えるフォーカスレンズを駆動制御する。なお、撮像装置が、フォーカス制御部１０６を備えない構成をとることもできる。撮像素子制御部１０７は、撮像素子１０１の制御を行う。具体的には、撮像素子制御部１０７は、画像処理ＬＳＩによる画像処理結果に基づいて、システム制御部を介して、露光処理等の方法を決定し、撮像素子の制御を行う。 The focus control unit 106 drives and controls a focus lens included in the imaging optical system 101. Note that the imaging apparatus may be configured not to include the focus control unit 106. The image sensor control unit 107 controls the image sensor 101. Specifically, the image sensor control unit 107 determines a method such as an exposure process via the system control unit based on the image processing result by the image processing LSI, and controls the image sensor.

システム制御部１０８は、画像処理ＬＳＩ１０３から受けた露出情報に基づいて、撮像装置を目標とする露出にするための制御を決定し、フォーカス制御部１０６および撮像素子制御部１０７に指示する。 Based on the exposure information received from the image processing LSI 103, the system control unit 108 determines control for setting the image capturing apparatus to a target exposure, and instructs the focus control unit 106 and the image sensor control unit 107.

表示部１０９は、映像（画像）を表示する。これにより、撮像装置が現在どのような映像を記録しているかがユーザに示される。表示部１０９は、例えば、外部のモニターや、撮像装置に付属する液晶モニターやビューファインダー等である。 The display unit 109 displays a video (image). This indicates to the user what kind of video the imaging apparatus is currently recording. The display unit 109 is, for example, an external monitor, a liquid crystal monitor attached to the imaging device, a viewfinder, or the like.

図２は、本実施形態の撮像装置に設けられたレンズおよび撮像素子を説明する図である。
図２（Ａ）に示すように、撮像装置の正面には、焦点距離の異なる複数のレンズ（マイクロレンズ）及び撮像素子（センサ）が、４×４のマトリックス状に配置されている。図１（Ｂ）は、各々のレンズの焦点距離を示す。１番のレンズは、焦点距離Ａのレンズ、２番のレンズは、焦点距離Ｂのレンズ、３番のレンズは、焦点距離Ｃのレンズ、４番のレンズは、焦点距離Ｄのレンズである。 FIG. 2 is a diagram illustrating a lens and an imaging element provided in the imaging apparatus of the present embodiment.
As shown in FIG. 2A, a plurality of lenses (microlenses) and imaging elements (sensors) having different focal lengths are arranged in a 4 × 4 matrix on the front surface of the imaging apparatus. FIG. 1B shows the focal length of each lens. The first lens is a lens with a focal length A, the second lens is a lens with a focal length B, the third lens is a lens with a focal length C, and the fourth lens is a lens with a focal length D.

焦点距離Ａのレンズが、最も焦点距離が短い。すなわち、焦点距離Ａのレンズが最もＷｉｄｅ側のレンズである。焦点距離Ｂのレンズ、焦点距離Ｃのレンズ、焦点距離Ｄのレンズに進むにつれて焦点距離が長くなる。焦点距離Ｄのレンズが、最も焦点距離が長い。すなわち、焦点距離Ｄのレンズが最もＴｅｌｅ側のレンズである。 The lens with the focal length A has the shortest focal length. That is, the lens with the focal length A is the lens on the widest side. The focal length increases as the lens moves to the focal length B lens, the focal length C lens, and the focal length D lens. The lens with the focal length D has the longest focal length. That is, the lens with the focal length D is the lens on the most Tele side.

撮像装置は、焦点距離を変えた撮像素子を用意して、複数の画角の画像を記録することで、ライトフィールド画像処理部１０５で焦点距離を任意に変えることができる。また、撮像装置は、同じ焦点距離の撮像素子を複数別位置に配置することで、光の視差情報を使用して、被写体の距離情報を得ることができる。撮像装置は、被写体の距離情報を利用して、ピント位置を合わせたり、画像処理で背景のぼかし具合を計算し、画像の被写界深度を制御することができる。 The imaging apparatus can change the focal length arbitrarily by the light field image processing unit 105 by preparing an imaging device with a changed focal length and recording images with a plurality of angles of view. In addition, the imaging apparatus can obtain the distance information of the subject by using the parallax information of the light by arranging the imaging elements having the same focal length at different positions. The imaging apparatus can control the depth of field of the image by using the distance information of the subject to adjust the focus position or to calculate the background blur by image processing.

図３は、実施例１の撮像装置の動作処理を説明するフローチャートである。
まず、システム制御部１０８が、撮像装置の動作モードが、顔検出優先モードであるかを判断する（ステップＳ１）。顔検出優先モードは、撮像素子１０２が出力する映像から被写体として顔を検出する顔検出処理を実行する動作モードである。ユーザは、撮像装置が備える所定の操作部（不図示）を操作して、動作モードを顔検出優先モードに設定することができる。顔検出処理を実行するのは、ユーザがどのような被写体を撮影する（したい）かを判断し、優先的にフォーカスを合わせたり、露出を合わせる等の処理を行うためである。なお、検出対象は顔に限定されない。撮像装置は、人体、ペット等の物を被写体として検出するようにしてもよい。 FIG. 3 is a flowchart illustrating an operation process of the imaging apparatus according to the first embodiment.
First, the system control unit 108 determines whether the operation mode of the imaging device is the face detection priority mode (step S1). The face detection priority mode is an operation mode for executing face detection processing for detecting a face as a subject from an image output from the image sensor 102. The user can set the operation mode to the face detection priority mode by operating a predetermined operation unit (not shown) included in the imaging apparatus. The reason for executing the face detection process is to determine what kind of subject the user wants to capture (want) and to perform processing such as preferential focusing and exposure adjustment. The detection target is not limited to the face. The imaging device may detect an object such as a human body or a pet as a subject.

撮像装置の動作モードが、顔検出優先モードでない場合は、処理がステップＳ５に進む。そして、システム制御部１０８が、撮像素子１０２が出力する映像信号に係る任意の映像を表示部１０９へ出力する。 If the operation mode of the imaging apparatus is not the face detection priority mode, the process proceeds to step S5. Then, the system control unit 108 outputs an arbitrary video related to the video signal output from the image sensor 102 to the display unit 109.

撮像装置の動作モードが、顔検出優先モードである場合は、処理がステップＳ２に進む。そして、システム制御部１０８が、複数のレンズおよび撮像素子１０２のうち、最も焦点距離の長いレンズおよび撮像素子を通じて得られた映像信号を解析して、この映像信号に係る映像を対象に、顔検出処理を実行する（ステップＳ２）。 If the operation mode of the imaging apparatus is the face detection priority mode, the process proceeds to step S2. Then, the system control unit 108 analyzes the video signal obtained through the lens and the image sensor having the longest focal length among the plurality of lenses and the image sensor 102, and performs face detection for the video related to the video signal. Processing is executed (step S2).

次に、システム制御部１０８が、顔が検出されたかを判断する（ステップＳ３）。顔が検出された場合は、処理がステップＳ４に進む。システム制御部１０８が、撮像素子１０２が出力する映像信号から得られるライトフィールドを用いて、検出された顔に合焦位置があった映像を生成する（ステップＳ４）。そして、システム制御部１０８が、生成した映像を表示部１０９に出力する。 Next, the system control unit 108 determines whether a face has been detected (step S3). If a face is detected, the process proceeds to step S4. The system control unit 108 uses the light field obtained from the video signal output from the image sensor 102 to generate a video in which the detected face is in focus (step S4). Then, the system control unit 108 outputs the generated video to the display unit 109.

顔が検出されない場合は、処理がステップＳ６に進む。システム制御部１０８が、現在処理対象となっている映像に対応する撮像素子が、最も焦点距離が短いレンズに対応する撮像素子（最広角センサ）であるかを判断する（ステップＳ６）。現在処理対象となっている映像に対応する撮像素子が、最広角センサである場合は、処理がステップＳ５に進む。そして、システム制御部１０８が、撮像素子１０２が出力する映像信号に係る任意の映像を表示部１０９へ出力する。 If no face is detected, the process proceeds to step S6. The system control unit 108 determines whether the image sensor corresponding to the image currently being processed is the image sensor (the widest angle sensor) corresponding to the lens with the shortest focal length (step S6). If the image sensor corresponding to the image currently being processed is the widest angle sensor, the process proceeds to step S5. Then, the system control unit 108 outputs an arbitrary video related to the video signal output from the image sensor 102 to the display unit 109.

現在処理対象となっている映像に対応する撮像素子が、最広角センサでない場合は、処理がステップＳ７に進む。そして、次に焦点距離の短いレンズに対応する撮像素子に対応する映像を顔検出処理の対象とし（ステップＳ７）、処理がステップＳ２に進む。
If the image sensor corresponding to the image currently being processed is not the widest angle sensor, the process proceeds to step S7. Then, the image corresponding to the image sensor corresponding to the lens with the next shortest focal length is set as the target of face detection processing (step S7), and the processing proceeds to step S2.

実施例１の撮像装置は、撮像素子１０２が出力する画像信号に基づく、レンズに対応する画像からの被写体の検出処理を、レンズの焦点距離毎に順次実行する。具体的には、撮像装置は、焦点距離が長いレンズに対応する撮像素子の映像から焦点距離が短い撮像素子の映像に順次シフトして顔を解析していき、顔を検出した場合に、検出された顔にフォーカスが合った映像をライトフィールドを用いて生成して表示する。したがって、ユーザは、中央にある顔にフォーカスのあった映像を確認することができ、撮影をしやすくなる。なお、検出する被写体によっては、焦点距離の短いレンズに対応する映像から順に顔の検出処理の対象とするようにしてもよい。 The imaging apparatus according to the first exemplary embodiment sequentially performs a process for detecting a subject from an image corresponding to a lens based on an image signal output from the imaging element 102 for each focal length of the lens. Specifically, the imaging device analyzes the face by sequentially shifting from the image of the image sensor corresponding to the lens with a long focal length to the image of the image sensor with a short focal length, and detects when the face is detected. An image focused on the face is generated and displayed using a light field. Therefore, the user can confirm an image in which the face in the center is focused, and shooting is easy. Note that, depending on the subject to be detected, the face detection process may be sequentially performed from the image corresponding to the lens having a short focal length.

（実施例２）
図４は、実施例２の撮像装置の動作処理を説明するフローチャートである。
まず、システム制御部１０８が、撮像装置の動作モードが、顔検出優先モードであるかを判断する（ステップＳ１１）。撮像装置の動作モードが、顔検出優先モードである場合は、処理がステップＳ１２に進む。そして、システム制御部１０８が、複数のレンズおよび撮像素子のうち、最も焦点距離の長いレンズおよび撮像素子を通じて得られた映像信号を解析の対象とする（ステップＳ１２）。 (Example 2)
FIG. 4 is a flowchart illustrating an operation process of the imaging apparatus according to the second embodiment.
First, the system control unit 108 determines whether the operation mode of the imaging device is the face detection priority mode (step S11). If the operation mode of the imaging apparatus is the face detection priority mode, the process proceeds to step S12. Then, the system control unit 108 sets a video signal obtained through the lens and the image sensor having the longest focal length among the plurality of lenses and the image sensor as an analysis target (step S12).

ステップＳ１３、Ｓ１４、Ｓ１７、Ｓ１８は、それぞれ、図３のステップＳ２、Ｓ３、Ｓ６、Ｓ７と同様である。なお、ステップＳ１７の判断処理で、現在処理対象となっている映像に対応する撮像素子が、最広角センサでない場合は、処理がステップＳ１９に進む。 Steps S13, S14, S17, and S18 are the same as steps S2, S3, S6, and S7 in FIG. 3, respectively. If it is determined in step S17 that the image sensor corresponding to the image currently being processed is not the widest-angle sensor, the process proceeds to step S19.

ステップＳ１４の判断処理で、顔が検出された場合は、処理がステップＳ１５に進む。そして、システム制御部１０８が、検出された顔に合焦位置が合うようにフォーカス制御部１０６を制御する（ステップＳ１５）。そして、システム制御部１０８が、上記ステップＳ１５で顔に合焦位置が合った映像を表示部１０９に出力する（ステップＳ１６）。 If a face is detected in the determination process of step S14, the process proceeds to step S15. Then, the system control unit 108 controls the focus control unit 106 so that the detected face is in focus (step S15). Then, the system control unit 108 outputs to the display unit 109 an image in which the in-focus position is matched with the face in step S15 (step S16).

ステップＳ１１の判断処理で、撮像装置の動作モードが、顔検出優先モードでない場合は、処理がステップＳ１９に進む。そして、システム制御部１０８が、最広角センサが出力する映像信号に係る映像に含まれる被写体に合焦位置が合うようにする制御量を算出する（ステップＳ１９）。これは、最広角センサからの映像が最も被写体の情報量が多いからである。続いて、システム制御部１０８が、ステップＳ１９で算出された制御量を用いて、フォーカス制御部１０６を制御して、被写体に合焦位置を移動させる（ステップＳ２０）。そして、システム制御部１０８が、被写体に合焦点位置が合った映像を表示部１０９に出力する（ステップＳ２１）。 If it is determined in step S11 that the operation mode of the imaging apparatus is not the face detection priority mode, the process proceeds to step S19. Then, the system control unit 108 calculates a control amount for adjusting the in-focus position to the subject included in the video related to the video signal output from the widest angle sensor (step S19). This is because the video from the widest angle sensor has the largest amount of information on the subject. Subsequently, the system control unit 108 controls the focus control unit 106 using the control amount calculated in step S19 to move the focus position on the subject (step S20). Then, the system control unit 108 outputs an image with the in-focus position on the subject to the display unit 109 (step S21).

実施例２の撮像装置は、顔の検出処理を望遠側のレンズに対応する映像から広角側のレンズに対応する映像に順次切り替え、検出された顔にフォーカスが合った映像をフォーカスレンズの駆動により取得して表示部へ出力する。したがって、ユーザは、中央にある顔にフォーカスが合った映像を確認することができ、撮影をしやすくなる。 The imaging apparatus according to the second embodiment sequentially switches the face detection process from the image corresponding to the telephoto lens to the image corresponding to the wide-angle lens, and the image in focus on the detected face is driven by the focus lens. Acquire and output to the display unit. Therefore, the user can confirm an image in which the face in the center is in focus, and shooting is easier.

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 (Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.

１０１撮像光学系
１０２撮像素子
１０３画像処理ＬＳＩ
１０６フォーカス制御部
１０７撮像素子制御部
１０８システム制御部
１０９表示部 101 imaging optical system 102 imaging element 103 image processing LSI
106 Focus control unit 107 Image sensor control unit 108 System control unit 109 Display unit

Claims

焦点距離が異なる複数のレンズを通じた入射光を、それぞれ光電変換する複数の撮像部と、
前記複数の撮像部のうち少なくとも１つの撮像部から取得された画像信号から被写体を検出する検出処理を実行する検出手段と、
前記検出手段によって検出された被写体に合焦する画像を出力する出力手段と、を有し、
前記検出手段は、第１の焦点距離に対応する画像信号に基づいて被写体が検出された場合には、前記第１の焦点距離よりも焦点距離が短い第２の焦点距離に対応する画像信号からの被写体の検出処理は行わずに、検出処理を終了することを特徴とする撮像装置。 The incident light which the focal length through different lenses, and a plurality of the imaging unit for photoelectrically converting each
Detecting means for executing detection processing for detecting a subject from an image signal acquired from at least one of the plurality of imaging units;
Has an output means for outputting an image to focus on the detected object by said detecting means,
When the subject is detected based on the image signal corresponding to the first focal length, the detection means uses the image signal corresponding to the second focal length that is shorter than the first focal length. The imaging apparatus is characterized in that the detection process is terminated without performing the subject detection process .

前記検出手段は、被写体を検出するまで、対応するレンズの焦点距離毎に順次、前記検出処理を実行することを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the detection unit sequentially executes the detection process for each focal length of a corresponding lens until an object is detected .

前記検出手段は、複数の前記画像信号のうち、前記焦点距離が最も長いレンズを通じた入射光に対応する画像信号から順に前記検出処理の対象とすることを特徴とする請求項１または２に記載の撮像装置。 3. The detection unit according to claim 1, wherein among the plurality of image signals, the detection unit sequentially performs the detection processing from an image signal corresponding to incident light through a lens having the longest focal length. Imaging device.

前記検出手段は、複数の前記画像信号のうち、前記焦点距離が最も短いレンズを通じた入射光に対応する画像信号から順に前記検出処理の対象とすることを特徴とする請求項１または２に記載の撮像装置。 3. The detection unit according to claim 1, wherein among the plurality of image signals, the detection unit sequentially performs the detection processing from an image signal corresponding to incident light through a lens having the shortest focal length. Imaging device.

前記検出手段は、前記検出処理の対象となる画像信号から被写体が検出できない場合に、当該画像信号が対応するレンズの焦点距離の次に焦点距離が短いレンズに対応する画像信号を前記被写体の検出処理の対象とすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 If the subject cannot be detected from the image signal to be detected, the detection means detects the image signal corresponding to the lens having the shortest focal length next to the focal length of the lens corresponding to the image signal. The imaging apparatus according to claim 1, wherein the imaging apparatus is a processing target.

前記検出手段によって画像から被写体が検出された場合に、前記撮像部が出力する画像信号に基づいて得られる前記入射光の方向に関する情報に基づいて、前記検出された被写体に合焦位置が合った画像を生成する生成手段を備え、
前記出力手段は、前記生成手段により生成された画像を出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 When the object is detected from the image by the detection means, the in-focus position is in alignment with the detected object based on the information on the direction of the incident light obtained based on the image signal output from the imaging unit. Comprising generating means for generating an image;
The imaging apparatus according to claim 1, wherein the output unit outputs an image generated by the generation unit.

フォーカスレンズを駆動制御して焦点調節処理を行う制御手段を備え、
前記制御手段は、前記検出手段によって画像から被写体が検出された場合に、前記検出された被写体に合焦位置が合うように前記焦点調節処理を行い、
前記出力手段は、前記焦点調節処理によって前記被写体に合焦位置が合った画像を出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 A control means for performing focus adjustment processing by driving and controlling the focus lens;
The control means performs the focus adjustment process so that the in-focus position is aligned with the detected subject when the subject is detected from the image by the detection means,
The imaging apparatus according to claim 1, wherein the output unit outputs an image in which an in-focus position is aligned with the subject by the focus adjustment process.

隣り合う前記複数の撮像部は、焦点距離が異なることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the plurality of adjacent imaging units have different focal lengths.

前記複数の撮像部は、水平あるいは垂直に配列されていることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the plurality of imaging units are arranged horizontally or vertically.

前記複数の撮像部は、前記撮像装置の正面において、焦点距離が相対的に短いレンズの右側には焦点距離が相対的に長いレンズが設けられるように配列されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。 The plurality of imaging units are arranged so that a lens having a relatively long focal length is provided on the right side of a lens having a relatively short focal length in front of the imaging device. The imaging device according to any one of 1 to 9.

前記複数の撮像部は、前記撮像装置の正面において、焦点距離が相対的に短いレンズの下側には焦点距離が相対的に長いレンズが設けられるように配列されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。 The plurality of imaging units are arranged so that a lens having a relatively long focal length is provided below a lens having a relatively short focal length in front of the imaging device. Item 10. The imaging device according to any one of Items 1 to 9.

焦点距離が異なる複数のレンズを通じた入射光を、それぞれ光電変換する複数の撮像部を備える撮像装置の制御方法であって、
前記複数の撮像部のうち少なくとも１つの撮像部から取得された画像信号から被写体を検出する検出処理を実行する検出工程と、
前記検出工程で検出された被写体に合焦する画像を出力する出力工程と、
を有し、
前記検出工程では、第１の焦点距離に対応する画像信号に基づいて被写体が検出された場合には、前記第１の焦点距離よりも焦点距離が短い第２の焦点距離に対応する画像信号からの被写体の検出処理は行わずに、検出処理を終了することを特徴とする撮像装置の制御方法。 The incident light which the focal length through a plurality of different lenses, each method of controlling an imaging apparatus including a plurality of imaging units for photoelectrically converting,
A detection step of executing a detection process of detecting a subject from an image signal acquired from at least one of the plurality of imaging units;
An output step of outputting an image focused on the subject detected in the detection step ;
Have
In the detection step, when a subject is detected based on an image signal corresponding to the first focal length, an image signal corresponding to a second focal length that is shorter than the first focal length is used. A method for controlling an imaging apparatus, wherein the detection process is terminated without performing the subject detection process .

焦点距離が異なる複数のレンズを通じた入射光を、それぞれ光電変換する複数の撮像部のうち少なくとも１つの撮像部から取得された画像信号から被写体を検出する検出処理を実行する検出手段と、
前記検出手段によって検出された被写体に合焦する画像を出力する出力手段と、を有し、
前記検出手段は、第１の焦点距離に対応する画像信号に基づいて被写体が検出された場合には、前記第１の焦点距離よりも焦点距離が短い第２の焦点距離に対応する画像信号からの被写体の検出処理は行わずに、検出処理を終了することを特徴とする画像処理装置。
The incident light which the focal length through different lenses, the detection means performs the detection process of detecting an object from an image signal obtained from at least one imaging unit of the plurality of the imaging unit for photoelectrically converting each
Has an output means for outputting an image to focus on the detected object by said detecting means,
When the subject is detected based on the image signal corresponding to the first focal length, the detection means uses the image signal corresponding to the second focal length that is shorter than the first focal length. The image processing apparatus is characterized in that the detection process is terminated without performing the subject detection process .