JP2011254340A

JP2011254340A - Imaging apparatus

Info

Publication number: JP2011254340A
Application number: JP2010127407A
Authority: JP
Inventors: Hirotomo Sai; 寛知齋; Shinichiro Hirooka; 慎一郎廣岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-06-03
Filing date: 2010-06-03
Publication date: 2011-12-15

Abstract

PROBLEM TO BE SOLVED: To improve visibility of a subject by using function for widening dynamic range and subject detection by image recognition.SOLUTION: An imaging apparatus comprises; camera signal processing means for synthesizing a plurality of imaging videos which are different in exposure sensitivity; and subject recognition means for detecting subject information by performing image processing for the video signal generated by synthesizing means. Subject recognition means detects subject information from a video signal generated by the image synthesizing means and controls control in light exposure means based on gamma characteristic for the video signal in the camera signal processing means and subject information in which ratio is detected upon synthesizing the image.

Description

本発明は、ダイナミックレンジの大きいシーンの撮影を可能とするワイドダイナミックレンジ機能を備える撮像装置に関する。 The present invention relates to an imaging apparatus having a wide dynamic range function that enables shooting of a scene with a large dynamic range.

本技術分野の背景技術として、例えば、特開２００７−２８８８７５号公報（特許文献１）がある。該公報には、「高輝度被写体用撮像と低輝度被写体用撮像とで最適なＡＥ（自動露光制御）を行う」ことを目的とし、解決手段として、「高輝度被写体用撮像と低輝度被写体用撮像の２回の撮像を行い、２つの映像を合成して出力する。そして、ＤＳＰ６の露光処理部６Ｂには、長時間露光時と短時間露光時とで信号経路を切り換えるスイッチ７Ｃと、長時間露光時の信号処理を行う長時間露光信号処理部７Ａと、短時間露光時の信号処理を行う短時間露光信号処理部７Ｂと、各露光処理部７Ａ、７Ｂの信号を合成する合成部（ＭＩＸ）７Ｄが設けられている。そして、各露光信号処理部７Ａ、７Ｂにそれぞれ設けられたＯＰＤ（光学検波回路）１８Ａ、１８Ｂにより、長時間露光時と短時間露光時で、それぞれ独立して輝度分布を求め、最適な露光量制御を行う」という技術が開示されている。 As background art in this technical field, for example, there is JP 2007-288875 A (Patent Document 1). This publication aims to “perform optimal AE (automatic exposure control) for high-brightness subject imaging and low-brightness subject imaging”. As a solution, “high-brightness subject imaging and low-brightness subject use” Two images are picked up, two images are combined and output, and an exposure processing unit 6B of the DSP 6 includes a switch 7C for switching a signal path between long exposure and short exposure, and a long switch A long exposure signal processing unit 7A that performs signal processing during time exposure, a short exposure signal processing unit 7B that performs signal processing during short exposure, and a combining unit that combines the signals of the exposure processing units 7A and 7B ( MIX) 7D, and OPD (optical detection circuits) 18A and 18B provided in the exposure signal processing units 7A and 7B, respectively, for long time exposure and short time exposure, respectively. Find the brightness distribution and Technique is disclosed of performing "the Do exposure control.

特開２００７−２８８８７５号公報JP 2007-288875 A

デジタルビデオカメラやスチルカメラで撮影を行う際に、対象となるシーン内の明暗差が非常に大きいと、シーンの一部でセンサの受光量が十分でなく黒潰れが起きたり、センサの受光量が飽和して白飛びする場合がある。これを解決する手段の一つとして、露光条件を切り替えて、低照度にある被写体を対象とした高感度の撮像画像と、高照度にある被写体を対象とした低感度の撮像画像をそれぞれ撮像し、特定の比率で合成することでダイナミックレンジの広い画像を生成するといった手法が挙げられる。例えば、上記特許文献１では、高感度撮像のための露光制御と、低感度撮像のための露光制御を、それぞれの撮像信号から光学検波回路が取得した輝度分布情報を基に行うことで、適切なワイドダイナミックレンジ撮影を実現している。 When taking a picture with a digital video camera or still camera, if the light / dark difference in the target scene is very large, the amount of light received by the sensor may not be sufficient in some parts of the scene, resulting in black crushing or the amount of light received by the sensor. May be saturated and whiteout. One way to solve this is to switch the exposure conditions to capture a high-sensitivity captured image for a subject with low illumination and a low-sensitivity captured image for a subject with high illumination. And a method of generating an image with a wide dynamic range by combining at a specific ratio. For example, in the above-mentioned Patent Document 1, exposure control for high-sensitivity imaging and exposure control for low-sensitivity imaging are performed appropriately based on luminance distribution information acquired by the optical detection circuit from each imaging signal. Realizes wide dynamic range shooting.

しかし、上記特許文献１に記載された方法では、被写体が何であるかが考慮されていない。そのため、例えば監視用途においては撮像画像に映っている人物の顔や服装に重点的に注目したい場合があるが、顔や服装が背景よりも輝度分布が小さいと、背景に必要以上に階調が割かれ、顔や服装に十分な階調が確保できずディテールが失われる恐れがある。 However, the method described in Patent Document 1 does not consider what the subject is. For this reason, for example, in surveillance applications, there is a case where it is desired to focus attention on the face and clothes of a person appearing in the captured image, but if the brightness distribution of the face or clothes is smaller than the background, the background has more gradation than necessary. However, there is a risk that detail may be lost because sufficient gradation cannot be secured for the face and clothes.

そこで、本発明では、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、輝度分布情報に加え、人物の顔のような特定の被写体を検出し、その検出結果も利用して露光制御を行うことで、ユーザが注目したい被写体の階調を優先して拡大する。さらに、低照度部分および高照度部分における被写体の検出結果を統合し、各画像に対する信号処理や合成時の合成比率を制御する。これにより、ダイナミックレンジの拡大を実現すると共に、ユーザが注目したい被写体の視認性を向上することを目的とする。 Therefore, in the present invention, in the wide dynamic range function realized by combining a plurality of captured images having different sensitivities, a specific subject such as a human face is detected in addition to the luminance distribution information, and the detection result is also used. By performing the exposure control, the gradation of the subject that the user wants to focus on is enlarged with priority. Further, the detection results of the subject in the low illuminance part and the high illuminance part are integrated, and the signal processing for each image and the composition ratio at the time of composition are controlled. Accordingly, an object of the present invention is to increase the dynamic range and improve the visibility of a subject that the user wants to pay attention to.

上記目的は一例として、特許請求の範囲に記載の発明により達成される。 The above object is achieved by the invention described in the claims as an example.

本発明によれば、デジタルビデオカメラやスチルカメラにおいて、ダイナミックレンジの拡大を実現すると共に、PCなどの外部接続機器による精度のよい被写体認識処理により、ユーザが注目したい被写体の視認性を向上することが可能となる。 According to the present invention, in a digital video camera or a still camera, it is possible to increase the dynamic range and improve the visibility of a subject that a user wants to pay attention to through accurate subject recognition processing by an externally connected device such as a PC. Is possible.

本発明の第1実施例に係る撮像装置を示す第一の模式図である。1 is a first schematic diagram illustrating an imaging apparatus according to a first embodiment of the present invention. 本発明の第1実施例に係る露光制御の一例を示す図である。FIG. 6 is a diagram showing an example of exposure control according to the first embodiment of the present invention. 本発明の第１実施例に係るガンマ特性制御の一例を示す図である。It is a figure which shows an example of the gamma characteristic control which concerns on 1st Example of this invention. 本発明の第1実施例に係る映像合成制御の一例を示す図である。FIG. 6 is a diagram showing an example of video composition control according to the first embodiment of the present invention. 本発明の第１実施例に係るワイドダイナミックレンジ処理の効果の一例を示す図である。It is a figure which shows an example of the effect of the wide dynamic range process which concerns on 1st Example of this invention. 本発明の第２実施例に係る撮像装置を示す模式図である。It is a schematic diagram which shows the imaging device which concerns on 2nd Example of this invention. 本発明の第２実施例に係る被写体選択方法の一例を示す図である。It is a figure which shows an example of the to-be-photographed object selection method based on 2nd Example of this invention. 本発明の第３実施例に係る撮像装置を示す模式図である。It is a schematic diagram which shows the imaging device which concerns on 3rd Example of this invention. 本発明の第３実施例に係る被写体認識結果の合成映像への付加制御の一例を示す図である。It is a figure which shows an example of addition control to the synthetic | combination image | video of the to-be-recognized result based on 3rd Example of this invention.

以下、図面を用いて本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明の第1実施例に係る撮像装置を示す第一の模式図である。図1において０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５は被写体認識部、０１０６は制御部である。 FIG. 1 is a first schematic diagram showing an imaging apparatus according to the first embodiment of the present invention. In FIG. 1, 0101 is an imaging unit, 0102 is an exposure control unit, 0103 is a camera signal processing unit, 0104 is a video composition unit, 0105 is a subject recognition unit, and 0106 is a control unit.

図１に示した撮像装置において、撮像部０１０１はズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、CCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等から構成され、撮像素子に受講した光学像を光電変換し、信号として出力する。露光制御部０１０２は、撮像部０１０１の出力した信号から輝度分布の情報を取得し、制御部０１０６に出力する。制御部０１０６は、その輝度分布の情報や、後述の被写体認識部０１０５の出力した被写体情報を基に目標露光量を決定して、その目標露光量に実際の露光量が近づくように、露光制御部０１０２のアイリスの絞りやシャッタタイミングやAGCのゲイン量を制御する。このとき、所定の時間ごとに目標露光量を切り替えることで、所定の時間ごとに異なる感度での撮像が可能である。そこで、例えば、ある露光期間ではシャッタを通常より早いタイミングで切り、次の露光期間ではシャッタを通常より遅いタイミングで切る、といったような露光制御を交互に行えば、低照度にある被写体像を優先的に撮像可能な高感度撮像と、高照度にある被写体像を優先的に撮像可能な低感度撮像を交互に行うことが実現できる。説明を容易にするために、ここでは感度の異なる複数の撮像を行うと言った場合に、このように低照度にある被写体を対象とした高感度撮像と、高照度にある被写体を対象とした低感度撮像を交互に行うことを指すものとする。ただし、これはあくまで一例であり、必ずしも通常より早いシャッタタイミングと通常より遅いシャッタタイミングの組合せでなくても良く、また3つ以上の異なる感度で露光制御を露光期間ごとに切り替えて行う制御ももちろん可能である。また、露光制御の変更を撮像期間毎に交互に行うのでなく、特定のタイミングにおいてのみ異なる露光制御を行っても良い。カメラ信号処理部０１０３は、撮像部０１０１の出力した信号に対し、輝度信号と色信号への分離処理や、明るさ補正処理や、ガンマ処理や色差変換処理やホワイトバランス補正処理やデジタルズームなどの種々のデジタル信号処理を行い、映像信号を生成して、合成処理部０１０４に映像信号を出力する。制御部０１０６は、予め設定してEEPROMなどに格納しておいた値もしくは、露光制御部０１０２から得られる映像の輝度分布などの各種の情報や、後述の被写体認識部０１０５の出力する被写体情報を基に、カメラ信号処理部０１０３の例えば明るさ補正量やガンマ特性などを制御する。また、感度の異なる複数の露光映像に対して、それぞれことなる係数を用いることで、各露光映像に対し適切な信号処理を行うことも可能である。映像合成部０１０４は、カメラ信号処理部０１０３の出力する映像信号について、異なる露光期間の映像信号を制御部０１０６で決定される比率で合成して、合成映像として、不図示の映像表示部や記録部や動画圧縮部やPCなどに出力する。これを実現するには、一例として、ある露光期間の映像信号をSDRAMなどのメモリに蓄積しておき、別の露光期間の映像信号と、メモリより読み出した先の露光期間の映像信号を重み付けした上で加算すれば良い。この加算処理を繰り返すことにより、任意の数の感度が異なる映像信号を合成することが可能であり、低照度にある被写体から高照度にある被写体まで映像上で階調が潰れずに撮像することを可能としたワイドダイナミックレンジ機能が実現できる。このとき、映像信号の合成比率は、映像信号の感度の差や、各映像信号における被写体の輝度分布の情報や、後述の被写体認識部０１０５の出力する被写体情報などを基に決定すれば良い。また、合成処理を行わず、映像信号をそのまま出力してもよい。被写体認識部０１０５は、映像合成部０１０４の出力する映像に対して画像認識を行い、特定の被写体を検出して、被写体の個数や、各々の被写体の映像中の位置や、輝度分布の情報や、色情報や、被写体の信頼度などを被写体情報として制御部０１０６に出力する。被写体としては、例えば顔や人物や動体など、既知の手法を用いて画像認識で検出できるものであれば良い。この被写体情報を用いて、制御部０１０６は、露光制御部０１０２を介して撮像部０１０１の目標露光量を、カメラ信号処理部０１０３のガンマ特性などを、映像合成部０１０４の映像の合成比率を、それぞれ制御して変更することが可能であり、これにより特定の被写体に最適化したワイドダイナミックレンジ映像の生成が実現できる。上述の例では、感度の異なる複数の撮像に対し、それぞれカメラ信号処理を行ってから合成処理を行っているが、この順番を逆にし、合成処理を行った後でガンマ制御などのカメラ信号処理を行う形態をとっても良い。なお、制御部０１０６で行なわれる処理は、通常はカメラ内のマイコンやカメラ信号処理DSPや専用のLSIなどによって行われる。被写体認識部０１０５の被写体認識処理は、カメラにつながるレコーダやPCなどの外部接続機器で高度な処理を行なってもよい。 In the image pickup apparatus shown in FIG. 1, the image pickup unit 0101 includes a lens group including a zoom lens and a focus lens, an iris, a shutter, an image pickup element such as a CCD or a CMOS, a CDS, an AGC, an AD converter, and the like. The optical image taken by the image sensor is photoelectrically converted and output as a signal. The exposure control unit 0102 acquires luminance distribution information from the signal output from the imaging unit 0101 and outputs the information to the control unit 0106. The control unit 0106 determines the target exposure amount based on the luminance distribution information and subject information output from the subject recognition unit 0105 described later, and performs exposure control so that the actual exposure amount approaches the target exposure amount. The iris diaphragm, shutter timing, and AGC gain amount of the unit 0102 are controlled. At this time, by switching the target exposure amount every predetermined time, it is possible to perform imaging with different sensitivities every predetermined time. Therefore, for example, if exposure control is alternately performed such that the shutter is turned off at an earlier timing than usual in a certain exposure period and the shutter is turned off at a timing later than usual in the next exposure period, the subject image with low illuminance is given priority. Thus, it is possible to alternately perform high-sensitivity imaging capable of capturing images and low-sensitivity imaging capable of preferentially capturing subject images with high illuminance. For ease of explanation, when we say that multiple images with different sensitivities are used here, high sensitivity imaging for subjects with low illuminance and subjects with high illuminance are targeted. It shall mean that low sensitivity imaging is performed alternately. However, this is merely an example, and it is not always necessary to combine a shutter timing that is earlier than usual and a shutter timing that is slower than usual, and of course, control that switches exposure control for each exposure period with three or more different sensitivities. Is possible. Further, different exposure control may be performed only at a specific timing, instead of alternately changing the exposure control every imaging period. The camera signal processing unit 0103 performs various processes such as a separation process into a luminance signal and a color signal, a brightness correction process, a gamma process, a color difference conversion process, a white balance correction process, and a digital zoom with respect to the signal output from the imaging unit 0101. The digital signal processing is performed to generate a video signal, and the video signal is output to the synthesis processing unit 0104. The control unit 0106 stores a variety of information such as values set in advance and stored in an EEPROM or the like, a luminance distribution of a video obtained from the exposure control unit 0102, and subject information output by a subject recognition unit 0105 described later. Based on this, for example, the brightness correction amount and gamma characteristic of the camera signal processing unit 0103 are controlled. Further, by using different coefficients for a plurality of exposure images having different sensitivities, it is possible to perform appropriate signal processing for each exposure image. The video synthesizing unit 0104 synthesizes video signals output from the camera signal processing unit 0103 at different ratios determined by the control unit 0106, and produces a synthesized video as a video display unit (not shown) or recording. Output to video, video compression and PC. To achieve this, as an example, the video signal of a certain exposure period is stored in a memory such as SDRAM, and the video signal of another exposure period and the video signal of the previous exposure period read from the memory are weighted. Add above. By repeating this addition process, it is possible to synthesize video signals with an arbitrary number of different sensitivities, and capture images from low-illuminance subjects to high-illuminance subjects without losing gradation on the image. Can realize a wide dynamic range function. At this time, the synthesis ratio of the video signals may be determined based on the difference in the sensitivity of the video signals, information on the luminance distribution of the subjects in each video signal, subject information output from the subject recognition unit 0105 described later, and the like. Further, the video signal may be output as it is without performing the synthesis process. The subject recognition unit 0105 performs image recognition on the video output from the video synthesis unit 0104, detects a specific subject, and determines the number of subjects, the position of each subject in the video, luminance distribution information, The color information and the reliability of the subject are output to the control unit 0106 as subject information. Any object can be used as long as it can be detected by image recognition using a known method such as a face, a person, or a moving object. Using this subject information, the control unit 0106, via the exposure control unit 0102, sets the target exposure amount of the imaging unit 0101, the gamma characteristics of the camera signal processing unit 0103, and the video composition ratio of the video composition unit 0104. Each of these can be controlled and changed, thereby realizing generation of a wide dynamic range video optimized for a specific subject. In the above example, the camera signal processing is performed for each of a plurality of images with different sensitivities, and then the synthesis processing is performed. However, this order is reversed, and after the synthesis processing is performed, camera signal processing such as gamma control is performed. It is also possible to take the form of The processing performed by the control unit 0106 is normally performed by a microcomputer in the camera, a camera signal processing DSP, a dedicated LSI, or the like. The subject recognition processing of the subject recognition unit 0105 may be performed by advanced processing using an externally connected device such as a recorder or a PC connected to the camera.

図２は、本発明の第一実施例に係る露光制御の一例を示す図である。図2で示す露光制御は制御部０１０６により露光制御部０１０２を介して実行される。図２において、横軸はセンサに入射した受光量、縦軸はセンサの出力する信号レベルであり、０２０１は高感度露光を行った場合の出力信号特性、０２０２は低感度露光を行った場合の出力信号特性である。この例において、撮影シーン中の低照度の領域と高照度の領域にそれぞれ人物がいるものとする。被写体認識部０１０５は、低照度と高照度の映像を合成した画像から注目する被写体として人物の顔を検出し、顔領域の輝度分布を求める。そして、制御部０１０６は制御部露光制御部０１０２を介して、高感度露光用の露光制御においては低照度領域にいる人物の顔領域の輝度分布をもとに、顔領域の露光量が適正露光範囲に近づくようにし、低感度露光向けの露光制御においては高照度領域にいる人物の顔領域の輝度分布をもとに、顔領域の露光量が適正露光範囲に近づくようにする。この処理を毎露光期間ごとに繰り返すことで、最終的に高感度露光と低感度露光をそれぞれ適正な露光範囲の近辺に収束させることが可能である。低照度領域と高照度領域の一方ないし双方で複数の顔が検出可能な場合は、複数の顔の輝度の重心をもとめ、その重心の露光量が適正露光範囲に近づくようにすれば良い。このとき、輝度の重心を求める際に、検出した顔の映像上の位置情報も同時に取得して、映像の中心付近の顔の重みを大きくし、周辺の顔の重みを小さくして、映像の中心付近に写っている被写体の露光を優先的に適正露光に合わせるようにしても良い。これにより、低照度にいる人物の顔と高照度にいる人物の顔の双方の露光を適正に制御し、その視認性を向上したワイドダイナミックレンジ機能を実現することができる。なお、撮影シーン中の明暗の差が非常に大きい場合は、低照度ないし高照度のいずれかにいる人物の顔が映像上で潰れてしまい、画像認識では上手く検出できない可能性がある。そこで、初期処理として、まずはシーン全体の輝度分布を取得し、その情報を基に、映像中で黒潰れがなくなるように高感度露光を、白飛びがなくなるように低感度露光をそれぞれ制御し、その後、被写体認識を行うようにしても良い。また、撮影シーン中の低照度の領域および高照度の領域の一方ないし、双方に人物がいない場合には、同様にシーン全体の輝度分布の情報を利用して露光制御を行えば良い。また、顔領域の輝度分布のみで露光制御量を決定した場合、顔領域以外が黒潰れしたり白飛びしたりする可能性がある。
そのため、顔領域の輝度分布を基に決定した露光制御量と、シーン全体の輝度分布の情報を利用して決定した露光制御量とを重み付けしながら組み合わせて、全体の露光制御量を決定し、黒潰れや白飛びが起きないようにしても良い。 FIG. 2 is a diagram showing an example of exposure control according to the first embodiment of the present invention. The exposure control shown in FIG. 2 is executed by the control unit 0106 via the exposure control unit 0102. In FIG. 2, the horizontal axis represents the amount of received light incident on the sensor, the vertical axis represents the signal level output by the sensor, 0201 represents the output signal characteristics when high-sensitivity exposure is performed, and 0202 represents the case when low-sensitivity exposure is performed. It is an output signal characteristic. In this example, it is assumed that there are persons in a low illuminance area and a high illuminance area in the shooting scene. A subject recognition unit 0105 detects a human face as a subject of interest from an image obtained by combining low and high illuminance images, and obtains a luminance distribution of the face region. Then, the control unit 0106, via the control unit exposure control unit 0102, sets the exposure amount of the face area to an appropriate exposure based on the luminance distribution of the face area of the person in the low illuminance area in the exposure control for high sensitivity exposure. In the exposure control for low-sensitivity exposure, the exposure amount of the face area approaches the appropriate exposure range based on the luminance distribution of the face area of the person in the high illuminance area. By repeating this process every exposure period, it is possible to finally converge the high-sensitivity exposure and the low-sensitivity exposure to the vicinity of the appropriate exposure range. When a plurality of faces can be detected in one or both of the low illuminance area and the high illuminance area, the centroids of the luminances of the plurality of faces may be obtained so that the exposure amount of the centroids approaches the appropriate exposure range. At this time, when obtaining the center of gravity of the luminance, the position information on the detected face image is also acquired at the same time, the face weight near the center of the image is increased, the weight of the surrounding face is decreased, and the image The exposure of the subject in the vicinity of the center may be preferentially adjusted to the appropriate exposure. Thereby, it is possible to appropriately control the exposure of both the face of a person with low illuminance and the face of a person with high illuminance, and to realize a wide dynamic range function with improved visibility. If the difference between light and dark in the photographic scene is very large, the face of a person with low or high illuminance may be crushed on the video, and may not be detected well by image recognition. Therefore, as an initial process, first, the luminance distribution of the entire scene is acquired, and based on that information, the high-sensitivity exposure is controlled so as to eliminate black crushing in the video, and the low-sensitivity exposure is controlled so that no whiteout occurs. Thereafter, subject recognition may be performed. If there is no person in one or both of the low-illuminance area and the high-illuminance area in the shooting scene, exposure control may be performed similarly using information on the luminance distribution of the entire scene. Further, when the exposure control amount is determined based only on the luminance distribution of the face area, there is a possibility that the area other than the face area may be blacked out or white out.
Therefore, the exposure control amount determined based on the luminance distribution of the face area and the exposure control amount determined using the information on the luminance distribution of the entire scene are weighted and combined to determine the overall exposure control amount, It is possible to prevent black crushing and whiteout from occurring.

図３は、本発明の第一実施例に係るガンマ特性制御の一例を示す図である。図３で示すガンマ特性制御は制御部０１０６によりカメラ信号処理部０１０３で実行される。図３において、横軸はセンサの出力する信号レベルであり、縦軸は輝度補正を行った後の映像信号レベルであり、０３０１は高感度露光を行った場合の映像信号特性である。この例において、撮影シーン中の低照度の領域に2人の人物がいるものとする。このとき、ガンマ特性制御は通常のガンマカーブを想定したガンマ処理をセンサ出力信号に対し行うのではなく、図３のように人物の顔が映像信号において広い階調を持てるように、非線形の信号の特性変換処理を行う。これにより、映像上の人物の顔の階調を強調することで、その視認性を向上したワイドダイナミックレンジを実現することができる。なお、ここでは高感度露光におけるガンマ特性制御を示したが、低感度露光においても同様の処理を行っても良い。 FIG. 3 is a diagram illustrating an example of gamma characteristic control according to the first embodiment of the present invention. The gamma characteristic control shown in FIG. 3 is executed by the camera signal processing unit 0103 by the control unit 0106. In FIG. 3, the horizontal axis represents the signal level output from the sensor, the vertical axis represents the video signal level after luminance correction, and 0301 represents the video signal characteristic when high-sensitivity exposure is performed. In this example, it is assumed that there are two persons in a low illuminance area in the shooting scene. At this time, the gamma characteristic control does not perform gamma processing assuming a normal gamma curve on the sensor output signal, but a nonlinear signal so that a human face can have a wide gradation in the video signal as shown in FIG. The characteristic conversion process is performed. Thereby, it is possible to realize a wide dynamic range with improved visibility by emphasizing the gradation of the face of the person on the video. Although the gamma characteristic control in the high sensitivity exposure is shown here, the same processing may be performed in the low sensitivity exposure.

図４は、本発明の第一実施例に係る映像合成制御の一例を示す図である。図４で示す映像合成制御は制御部０１０６により映像合成部０１０４で実行される。図４において、（ａ）は撮影シーン中の低照度の領域と高照度の領域の双方に人物がいる場合の合成制御の例、（ｂ）は撮影シーン中の高照度の領域のみに人物がいる場合の合成制御の例である。映像合成部０１０４は、高感度露光で得た映像信号と、低感度露光で得た映像信号を所定の比率で合成し、出力する。このとき、映像合成制御は、被写体検出部０１０５より撮影シーン中の低照度の領域と高照度の領域で検出した顔の個数を取得し、その個数に応じて合成時の比率を制御する。合成時の比率は、顔の個数のみから決定しても良いし、その他の情報、例えば高感度露光において適正に露光されている被写体と低感度露光において適正に露光されている被写体との面積比などの情報とを重み付けして組み合わせた上で決定しても良い。例えば、高感度映像と低感度映像の双方に顔が映っている場合には、図４（ａ）のように適正に露光されている被写体の面積比から合成比率を決定し、一方の映像のみにしか顔が映っていない場合には、図４（ｂ）のようにその映像の合成時の加算比率をそれより大きめに取るようにする。これにより、人物の顔が存在する映像のみを強調し、その視認性を向上したワイドダイナミックレンジを実現することができる。このとき、検出した顔の信頼度などの情報からさらに重み付けを行い、加算比率を変えても良い。また、各映像における顔の有無だけでなく、検出した顔の個数の比率をもとに比率を変える、すなわち、低照度の領域に顔が１つあり、高照度の領域に顔が2つある場合には、低感度画像の加算比率を大きくする、といったようにしても良い。 FIG. 4 is a diagram illustrating an example of video composition control according to the first embodiment of the present invention. The video composition control shown in FIG. 4 is executed by the control unit 0106 in the video composition unit 0104. In FIG. 4, (a) is an example of composition control in the case where a person is present in both a low illuminance area and a high illuminance area in the shooting scene, and (b) is a person in only the high illuminance area in the shooting scene. It is an example of composition control in the case of being. The video synthesizing unit 0104 synthesizes the video signal obtained by the high-sensitivity exposure and the video signal obtained by the low-sensitivity exposure at a predetermined ratio and outputs it. At this time, in the image composition control, the number of faces detected in the low illumination area and the high illumination area in the shooting scene is acquired from the subject detection unit 0105, and the ratio at the time of composition is controlled according to the number. The ratio at the time of composition may be determined only from the number of faces, or other information, for example, the area ratio between a subject that is properly exposed in high-sensitivity exposure and a subject that is properly exposed in low-sensitivity exposure It may be determined after weighting and combining information such as. For example, when a face appears in both high-sensitivity video and low-sensitivity video, the composition ratio is determined from the area ratio of the subject that is properly exposed as shown in FIG. If only a face is shown, the addition ratio at the time of synthesizing the video is set larger than that as shown in FIG. As a result, it is possible to realize a wide dynamic range in which only a video in which a person's face is present is emphasized and visibility thereof is improved. At this time, the addition ratio may be changed by further weighting from information such as the reliability of the detected face. In addition, the ratio is changed based on the ratio of the number of detected faces as well as the presence or absence of faces in each image, that is, one face is in the low illumination area and two faces are in the high illumination area. In this case, the addition ratio of the low sensitivity image may be increased.

以上の図２から図4で示した各制御の例では、被写体認識部０１０５が検出する被写体として人物の顔を用いて説明を行ったが、検出する被写体としては、人物の全身像や動体、車両など、画像認識で検出が可能な被写体なら何でも同様の制御を行うことが可能であり、検出する被写体はアプリケーションのターゲットに合わせて決定すれば良い。また、複数の被写体を同時に認識するようにしても構わない。 In the example of each control shown in FIGS. 2 to 4 described above, the human face is used as the subject to be detected by the subject recognition unit 0105. However, as the subject to be detected, the whole body image, moving object, The same control can be performed on any object that can be detected by image recognition, such as a vehicle, and the object to be detected may be determined according to the target of the application. A plurality of subjects may be recognized simultaneously.

また、図２から図４で示した各制御において、異なる被写体認識結果を用いても良い。例えば、制御部０１０６は、露光制御部０１０２を介して露光制御を行う際に、動体を注目被写体として検出し、歩いている人物が適正な露光になるように制御を行い、一方で、カメラ信号処理部０１０３において、人物の顔の認識結果を用いて、歩いている人の顔と静止している人の顔の双方の階調が確保できるようにガンマ特性制御を行っても良い。 Further, different subject recognition results may be used in each control shown in FIGS. For example, when performing exposure control via the exposure control unit 0102, the control unit 0106 detects a moving object as a subject of interest and performs control so that a person walking is at an appropriate exposure. In the processing unit 0103, gamma characteristic control may be performed using the recognition result of the person's face so that the gradations of both the face of the walking person and the face of the stationary person can be ensured.

図５は、本発明の第一実施例に係るワイドダイナミックレンジ処理の効果の一例を示す図である。図5において、（ａ）は撮影シーン中の低照度領域に露光を合わせたときの映像、（ｂ）は撮影シーン中の高照度領域に露光を合わせたときの映像、（ｃ）は映像（ａ）と映像（ｂ）を既存のワイドダイナミックレンジ処理にて所定の比率で加算した合成映像、（ｄ）は図２から図４で示した各制御を行い、顔の階調を確保した合成映像である。図５（ｃ）に示すように、既存のワイドダイナミックレンジ機能を用いることで黒潰れや白飛びのない映像を生成することができるが、顔の輝度分布を考慮していないため顔の視認性はよくない。一方で図５（ｄ）では、顔の輝度分布を考慮し、顔の階調を優先して確保するため、白飛びしがちな明るいところの映像を残しつつ、顔の視認性を向上することができている。 FIG. 5 is a diagram showing an example of the effect of the wide dynamic range processing according to the first embodiment of the present invention. In FIG. 5, (a) is an image when the exposure is adjusted to the low illumination area in the shooting scene, (b) is an image when the exposure is adjusted to the high illumination area in the shooting scene, and (c) is an image ( A composite image in which a) and video (b) are added at a predetermined ratio by the existing wide dynamic range processing, and (d) is a composite in which each control shown in FIGS. It is a picture. As shown in FIG. 5C, an image having no blackout or overexposure can be generated by using the existing wide dynamic range function. However, since the luminance distribution of the face is not considered, the visibility of the face is not considered. Is not good. On the other hand, in FIG. 5D, in consideration of the luminance distribution of the face, priority is given to ensuring the gradation of the face, so that the visibility of the face is improved while leaving a bright image that tends to skip white. Is done.

かように本実施例によれば、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、ユーザの注目したい特定の被写体を精度よく認識し、認識した被写体の階調を優先的に確保することで、視認性を向上することが可能となる。 As described above, according to the present embodiment, the wide dynamic range function realized by combining a plurality of captured images having different sensitivities expands the dynamic range, and even when shooting a scene where the difference in contrast is intense, Visibility can be improved by recognizing a specific subject desired by the user with high accuracy and preferentially securing the gradation of the recognized subject.

図６は本発明の第２実施例に係る撮像装置を示す模式図である。図６において０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５は被写体認識部、０１０６は制御部、０６０６は被写体選択部である。 FIG. 6 is a schematic diagram showing an image pickup apparatus according to the second embodiment of the present invention. In FIG. 6, reference numeral 0101 denotes an imaging unit, 0102 denotes an exposure control unit, 0103 denotes a camera signal processing unit, 0104 denotes a video composition unit, 0105 denotes a subject recognition unit, 0106 denotes a control unit, and 0606 denotes a subject selection unit.

図６に示した撮像装置において、撮像部０１０１、露光制御部０１０２、カメラ信号処理部０１０３、映像合成部０１０４、被写体認識部０１０５、制御部０１０６は実施例１と同様の作用を行う。被写体選択部０６０６は、ジョグダイヤルやカーソルキーやタッチパネルなどのユーザ入力装置を備え、ユーザが被写体認識部０１０５で認識する注目被写体の種類を決定する。 In the imaging apparatus shown in FIG. 6, the imaging unit 0101, the exposure control unit 0102, the camera signal processing unit 0103, the video composition unit 0104, the subject recognition unit 0105, and the control unit 0106 perform the same operations as in the first embodiment. The subject selection unit 0606 includes a user input device such as a jog dial, a cursor key, or a touch panel, and determines the type of the subject of interest that the user recognizes with the subject recognition unit 0105.

図７に本発明の第２実施例に係る被写体選択方法の一例を示す図である。図７において、（ａ）は被写体として顔を選んだ場合の撮影画像、（ｂ）は被写体選択部０６０６により検出する被写体をユーザが選択するためのメニューをＬＣＤ上などに開いている画面、（ｃ）は被写体として全身像を選んだ場合の撮影画像である。図７（ａ）および（ｃ）において、点線で示した枠は被写体の検出結果を便宜的に表示したものである。 FIG. 7 is a diagram illustrating an example of a subject selection method according to the second embodiment of the present invention. 7, (a) is a photographed image when a face is selected as the subject, (b) is a screen in which a menu for allowing the user to select a subject to be detected by the subject selection unit 0606 is opened on the LCD, etc. c) is a photographed image when a whole-body image is selected as the subject. In FIGS. 7A and 7C, a frame indicated by a dotted line displays the detection result of the subject for convenience.

かように本実施例によれば、ユーザは被写体選択部０６０６を用いて簡単に被写体認識部０１０５で認識する注目被写体を変更することができる。そのため、あるときは、室内を撮影するため人物の顔の視認性を向上し、また別のあるときでは、屋外の道路を撮影するため自動車の視認性を向上するといったような、ユーザの見たい被写体に対応したワイドダイナミックレンジの切り替えを容易に実現することができる。 Thus, according to this embodiment, the user can easily change the subject of interest recognized by the subject recognition unit 0105 using the subject selection unit 0606. Therefore, in some cases, the user wants to see the room, for example, to improve the visibility of the person's face, and in other cases, to improve the visibility of the car to photograph the outdoor road. The wide dynamic range corresponding to the subject can be easily switched.

図８は本発明の第３実施例に係る撮像装置を示す模式図である。図８において０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５は被写体認識部、０１０６は制御部、０8０７は被写体情報付加選択部である。 FIG. 8 is a schematic view showing an image pickup apparatus according to the third embodiment of the present invention. In FIG. 8, 0101 is an imaging unit, 0102 is an exposure control unit, 0103 is a camera signal processing unit, 0104 is a video composition unit, 0105 is a subject recognition unit, 0106 is a control unit, and 0807 is a subject information addition selection unit.

図８に示した撮像装置において、撮像部０１０１、露光制御部０１０２、カメラ信号処理部０１０３、映像合成部０１０４、被写体認識部０１０５、制御部０１０６は実施例１と同様の作用を行う。被写体情報付加選択部０８０７は、ジョグダイヤルやカーソルキーやタッチパネルなどのユーザ入力装置を備え、ユーザが映像合成部０１０４で生成した合成映像に被写体認識結果の情報を付加するかどうかを決定する。ユーザが被写体認識結果の情報付加を選択した場合は、制御部０１０６は映像合成部０１０４を介して生成した合成映像に、被写体認識結果の情報として、検出した被写体の位置や個数や信頼度などを、絵または文字として合成付加する。 In the imaging apparatus shown in FIG. 8, the imaging unit 0101, the exposure control unit 0102, the camera signal processing unit 0103, the video composition unit 0104, the subject recognition unit 0105, and the control unit 0106 perform the same operations as in the first embodiment. The subject information addition selection unit 0807 includes a user input device such as a jog dial, a cursor key, or a touch panel, and determines whether to add subject recognition result information to the composite video generated by the video synthesis unit 0104. When the user selects to add subject recognition result information, the control unit 0106 adds the detected subject position, number, reliability, and the like as subject recognition result information to the synthesized video generated via the video synthesis unit 0104. Add as a picture or text.

図９は本発明の第３実施例に係る被写体認識結果の合成映像への付加制御の一例を示す図である。図９において、（ａ）は被写体情報付加なしの場合の出力映像、（ｂ）は被写体情報付加ありの場合の出力映像である。ここでは、注目被写体として被写体認識部０１０５が人物の顔を検出した場合に、検出した顔の位置を四角の点線で、検出したときの信頼度を文字でそれぞれ表示した例を示している。 FIG. 9 is a diagram showing an example of control for adding the subject recognition result to the composite video according to the third embodiment of the present invention. In FIG. 9, (a) is an output video when subject information is not added, and (b) is an output video when subject information is added. In this example, when the subject recognition unit 0105 detects a person's face as the subject of interest, the position of the detected face is indicated by a dotted dotted line, and the reliability when detected is indicated by characters.

かように本実施例によれば、ワイドダイナミックレンジ機能により生成した合成映像に、被写体認識結果の情報を付加することで、ユーザがどのていど被写体認識が行えているかを確認することができ、操作時の参考や、機能が上手く働いていないときのメーカへのフィードバック情報として用いることができる。 As described above, according to the present embodiment, by adding the information of the subject recognition result to the composite video generated by the wide dynamic range function, it is possible to check how much the user can recognize the subject, It can be used as a reference during operation or as feedback information to the manufacturer when the function is not working properly.

以上、図面を用いて本発明の好適な実施例を説明した。本発明によれば、デジタルビデオカメラやスチルカメラにおいて、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、ユーザの注目したい特定の被写体の階調を優先して拡大することで、視認性を向上することが可能となる。 The preferred embodiments of the present invention have been described above with reference to the drawings. According to the present invention, in a digital video camera or a still camera, the dynamic range is expanded to suppress the occurrence of black crushing or whiteout even when shooting a scene where the difference between light and dark is severe, and the gradation of a specific subject that the user wants to pay attention to Visibility can be improved by enlarging with priority.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. In addition, a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。 Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

本発明は民生や監視や車載や業務用のデジタルビデオカメラおよびスチルカメラに利用可能である。 The present invention is applicable to digital video cameras and still cameras for consumer use, surveillance, in-vehicle use, and business use.

０１０１撮像部
０１０２露光制御部
０１０３カメラ信号処理部
０１０４映像合成部
０１０５被写体認識部
０１０６制御部
０２０１高感度露光を行った場合の出力信号特性
０２０２低感度露光を行った場合の出力信号特性
０３０１高感度露光を行った場合の映像信号特性
０６０６被写体選択部
０８０７被写体情報付加選択部 0101 Imaging unit 0102 Exposure control unit 0103 Camera signal processing unit 0104 Video composition unit 0105 Subject recognition unit 0106 Control unit 0201 Output signal characteristic 0202 when high-sensitivity exposure is performed Output signal characteristic 0301 when low-sensitivity exposure is performed Video signal characteristics 0606 when exposure is performed Subject selection unit 0807 Subject information addition selection unit

Claims

撮像手段と、
該撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、
該撮像手段の出力する信号をカメラ信号処理して映像信号を生成するカメラ信号処理手段と、
該カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、
該露光制御手段、該カメラ信号処理手段および該映像合成手段を制御する制御手段と、
該カメラ信号処理手段の生成した映像信号を画像処理し被写体情報を検出する被写体認識手段と、
を備え、
該被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出し、該制御手段が該被写体情報を露光制御に用いること、
を特徴とする撮像装置。 Imaging means;
Exposure control means for controlling the exposure of the imaging means to realize a plurality of imaging with different sensitivities to the same subject;
Camera signal processing means for generating a video signal by processing a signal output from the image pickup means;
Video synthesizing means for synthesizing and outputting a plurality of video signals having different sensitivities generated by the camera signal processing means;
Control means for controlling the exposure control means, the camera signal processing means and the video composition means;
Subject recognition means for subjecting the video signal generated by the camera signal processing means to image processing to detect subject information;
With
The subject recognition means detects subject information for the video signal generated by the video composition means, and the control means uses the subject information for exposure control;
An imaging apparatus characterized by the above.

請求項１に記載の撮像装置において、
前記被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出し、前記制御手段が該被写体情報を基に該カメラ信号処理手段を制御して映像信号に対するガンマ特性を変えること、
を特徴とする撮像装置。 The imaging device according to claim 1,
The subject recognition means detects subject information for the video signal generated by the video synthesis means, and the control means controls the camera signal processing means based on the subject information to change the gamma characteristic for the video signal;
An imaging apparatus characterized by the above.

請求項１または２いずれか一項に記載の撮像装置において、
前記被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出し、前記制御手段が該被写体情報を基に該映像合成手段を制御して該感度の異なる複数の映像信号を合成する際の比率を変えること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
The subject recognition means detects subject information for the video signal generated by the video composition means, and the control means controls the video composition means based on the subject information to synthesize a plurality of video signals having different sensitivities. Changing the ratio
An imaging apparatus characterized by the above.

請求項１または３いずれか一項に記載の撮像装置において、
前記被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出する際に複数の種類の被写体を検出し、前記制御手段が該被写体情報を基に、該露光制御手段を制御して露光制御量を、前記カメラ信号処理手段を制御して映像信号に対するガンマ特性を、前記映像合成手段を制御して該感度の異なる複数の映像信号を合成する際の比率を、それぞれ変える場合に、それぞれ異なる被写体の認識結果を用いること、
を特徴とする撮像装置。 In the imaging device according to any one of claims 1 and 3,
The subject recognition unit detects a plurality of types of subjects when detecting subject information for the video signal generated by the video synthesis unit, and the control unit controls the exposure control unit based on the subject information. When changing the exposure control amount, the gamma characteristic for the video signal by controlling the camera signal processing means, and the ratio when synthesizing the plurality of video signals having different sensitivities by controlling the video synthesis means, Using recognition results for different subjects,
An imaging apparatus characterized by the above.

請求項１または４いずれか一項に記載の撮像装置において、さらに、
前記被写体認識手段が検出する被写体の種類をユーザが選択するための被写体選択手段を備えること、
を特徴とする撮像装置。 The imaging apparatus according to claim 1, further comprising:
Subject selection means for the user to select the type of subject detected by the subject recognition means;
An imaging apparatus characterized by the above.

請求項１または５いずれか一項に記載の撮像装置において、
前記映像合成手段が生成した合成映像に前記被写体認識手段の検出した前記被写体情報を付加して出力すること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 5,
Adding the subject information detected by the subject recognition means to the synthesized video generated by the video synthesis means,
An imaging apparatus characterized by the above.

請求項６に記載の撮像装置において、さらに、
前記映像合成手段が生成した合成映像に対する前記被写体情報の付加の有無をユーザが選択するための被写体情報付加選択手段を備えること、
を特徴とする撮像装置。 The imaging apparatus according to claim 6, further comprising:
Subject information addition selection means for the user to select whether or not to add the subject information to the synthesized video generated by the video synthesis means;
An imaging apparatus characterized by the above.