JP2011254340A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2011254340A JP2011254340A JP2010127407A JP2010127407A JP2011254340A JP 2011254340 A JP2011254340 A JP 2011254340A JP 2010127407 A JP2010127407 A JP 2010127407A JP 2010127407 A JP2010127407 A JP 2010127407A JP 2011254340 A JP2011254340 A JP 2011254340A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- video
- exposure
- subject information
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、ダイナミックレンジの大きいシーンの撮影を可能とするワイドダイナミックレンジ機能を備える撮像装置に関する。 The present invention relates to an imaging apparatus having a wide dynamic range function that enables shooting of a scene with a large dynamic range.
本技術分野の背景技術として、例えば、特開2007−288875号公報(特許文献1)がある。該公報には、「高輝度被写体用撮像と低輝度被写体用撮像とで最適なAE(自動露光制御)を行う」ことを目的とし、解決手段として、「高輝度被写体用撮像と低輝度被写体用撮像の2回の撮像を行い、2つの映像を合成して出力する。そして、DSP6の露光処理部6Bには、長時間露光時と短時間露光時とで信号経路を切り換えるスイッチ7Cと、長時間露光時の信号処理を行う長時間露光信号処理部7Aと、短時間露光時の信号処理を行う短時間露光信号処理部7Bと、各露光処理部7A、7Bの信号を合成する合成部(MIX)7Dが設けられている。そして、各露光信号処理部7A、7Bにそれぞれ設けられたOPD(光学検波回路)18A、18Bにより、長時間露光時と短時間露光時で、それぞれ独立して輝度分布を求め、最適な露光量制御を行う」という技術が開示されている。 As background art in this technical field, for example, there is JP 2007-288875 A (Patent Document 1). This publication aims to “perform optimal AE (automatic exposure control) for high-brightness subject imaging and low-brightness subject imaging”. As a solution, “high-brightness subject imaging and low-brightness subject use” Two images are picked up, two images are combined and output, and an exposure processing unit 6B of the DSP 6 includes a switch 7C for switching a signal path between long exposure and short exposure, and a long switch A long exposure signal processing unit 7A that performs signal processing during time exposure, a short exposure signal processing unit 7B that performs signal processing during short exposure, and a combining unit that combines the signals of the exposure processing units 7A and 7B ( MIX) 7D, and OPD (optical detection circuits) 18A and 18B provided in the exposure signal processing units 7A and 7B, respectively, for long time exposure and short time exposure, respectively. Find the brightness distribution and Technique is disclosed of performing "the Do exposure control.
デジタルビデオカメラやスチルカメラで撮影を行う際に、対象となるシーン内の明暗差が非常に大きいと、シーンの一部でセンサの受光量が十分でなく黒潰れが起きたり、センサの受光量が飽和して白飛びする場合がある。これを解決する手段の一つとして、露光条件を切り替えて、低照度にある被写体を対象とした高感度の撮像画像と、高照度にある被写体を対象とした低感度の撮像画像をそれぞれ撮像し、特定の比率で合成することでダイナミックレンジの広い画像を生成するといった手法が挙げられる。例えば、上記特許文献1では、高感度撮像のための露光制御と、低感度撮像のための露光制御を、それぞれの撮像信号から光学検波回路が取得した輝度分布情報を基に行うことで、適切なワイドダイナミックレンジ撮影を実現している。 When taking a picture with a digital video camera or still camera, if the light / dark difference in the target scene is very large, the amount of light received by the sensor may not be sufficient in some parts of the scene, resulting in black crushing or the amount of light received by the sensor. May be saturated and whiteout. One way to solve this is to switch the exposure conditions to capture a high-sensitivity captured image for a subject with low illumination and a low-sensitivity captured image for a subject with high illumination. And a method of generating an image with a wide dynamic range by combining at a specific ratio. For example, in the above-mentioned Patent Document 1, exposure control for high-sensitivity imaging and exposure control for low-sensitivity imaging are performed appropriately based on luminance distribution information acquired by the optical detection circuit from each imaging signal. Realizes wide dynamic range shooting.
しかし、上記特許文献1に記載された方法では、被写体が何であるかが考慮されていない。そのため、例えば監視用途においては撮像画像に映っている人物の顔や服装に重点的に注目したい場合があるが、顔や服装が背景よりも輝度分布が小さいと、背景に必要以上に階調が割かれ、顔や服装に十分な階調が確保できずディテールが失われる恐れがある。 However, the method described in Patent Document 1 does not consider what the subject is. For this reason, for example, in surveillance applications, there is a case where it is desired to focus attention on the face and clothes of a person appearing in the captured image, but if the brightness distribution of the face or clothes is smaller than the background, the background has more gradation than necessary. However, there is a risk that detail may be lost because sufficient gradation cannot be secured for the face and clothes.
そこで、本発明では、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、輝度分布情報に加え、人物の顔のような特定の被写体を検出し、その検出結果も利用して露光制御を行うことで、ユーザが注目したい被写体の階調を優先して拡大する。さらに、低照度部分および高照度部分における被写体の検出結果を統合し、各画像に対する信号処理や合成時の合成比率を制御する。これにより、ダイナミックレンジの拡大を実現すると共に、ユーザが注目したい被写体の視認性を向上することを目的とする。 Therefore, in the present invention, in the wide dynamic range function realized by combining a plurality of captured images having different sensitivities, a specific subject such as a human face is detected in addition to the luminance distribution information, and the detection result is also used. By performing the exposure control, the gradation of the subject that the user wants to focus on is enlarged with priority. Further, the detection results of the subject in the low illuminance part and the high illuminance part are integrated, and the signal processing for each image and the composition ratio at the time of composition are controlled. Accordingly, an object of the present invention is to increase the dynamic range and improve the visibility of a subject that the user wants to pay attention to.
上記目的は一例として、特許請求の範囲に記載の発明により達成される。 The above object is achieved by the invention described in the claims as an example.
本発明によれば、デジタルビデオカメラやスチルカメラにおいて、ダイナミックレンジの拡大を実現すると共に、PCなどの外部接続機器による精度のよい被写体認識処理により、ユーザが注目したい被写体の視認性を向上することが可能となる。 According to the present invention, in a digital video camera or a still camera, it is possible to increase the dynamic range and improve the visibility of a subject that a user wants to pay attention to through accurate subject recognition processing by an externally connected device such as a PC. Is possible.
以下、図面を用いて本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の第1実施例に係る撮像装置を示す第一の模式図である。図1において0101は撮像部、0102は露光制御部、0103はカメラ信号処理部、0104は映像合成部、0105は被写体認識部、0106は制御部である。 FIG. 1 is a first schematic diagram showing an imaging apparatus according to the first embodiment of the present invention. In FIG. 1, 0101 is an imaging unit, 0102 is an exposure control unit, 0103 is a camera signal processing unit, 0104 is a video composition unit, 0105 is a subject recognition unit, and 0106 is a control unit.
図1に示した撮像装置において、撮像部0101はズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、CCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等から構成され、撮像素子に受講した光学像を光電変換し、信号として出力する。露光制御部0102は、撮像部0101の出力した信号から輝度分布の情報を取得し、制御部0106に出力する。制御部0106は、その輝度分布の情報や、後述の被写体認識部0105の出力した被写体情報を基に目標露光量を決定して、その目標露光量に実際の露光量が近づくように、露光制御部0102のアイリスの絞りやシャッタタイミングやAGCのゲイン量を制御する。このとき、所定の時間ごとに目標露光量を切り替えることで、所定の時間ごとに異なる感度での撮像が可能である。そこで、例えば、ある露光期間ではシャッタを通常より早いタイミングで切り、次の露光期間ではシャッタを通常より遅いタイミングで切る、といったような露光制御を交互に行えば、低照度にある被写体像を優先的に撮像可能な高感度撮像と、高照度にある被写体像を優先的に撮像可能な低感度撮像を交互に行うことが実現できる。説明を容易にするために、ここでは感度の異なる複数の撮像を行うと言った場合に、このように低照度にある被写体を対象とした高感度撮像と、高照度にある被写体を対象とした低感度撮像を交互に行うことを指すものとする。ただし、これはあくまで一例であり、必ずしも通常より早いシャッタタイミングと通常より遅いシャッタタイミングの組合せでなくても良く、また3つ以上の異なる感度で露光制御を露光期間ごとに切り替えて行う制御ももちろん可能である。また、露光制御の変更を撮像期間毎に交互に行うのでなく、特定のタイミングにおいてのみ異なる露光制御を行っても良い。カメラ信号処理部0103は、撮像部0101の出力した信号に対し、輝度信号と色信号への分離処理や、明るさ補正処理や、ガンマ処理や色差変換処理やホワイトバランス補正処理やデジタルズームなどの種々のデジタル信号処理を行い、映像信号を生成して、合成処理部0104に映像信号を出力する。制御部0106は、予め設定してEEPROMなどに格納しておいた値もしくは、露光制御部0102から得られる映像の輝度分布などの各種の情報や、後述の被写体認識部0105の出力する被写体情報を基に、カメラ信号処理部0103の例えば明るさ補正量やガンマ特性などを制御する。また、感度の異なる複数の露光映像に対して、それぞれことなる係数を用いることで、各露光映像に対し適切な信号処理を行うことも可能である。映像合成部0104は、カメラ信号処理部0103の出力する映像信号について、異なる露光期間の映像信号を制御部0106で決定される比率で合成して、合成映像として、不図示の映像表示部や記録部や動画圧縮部やPCなどに出力する。これを実現するには、一例として、ある露光期間の映像信号をSDRAMなどのメモリに蓄積しておき、別の露光期間の映像信号と、メモリより読み出した先の露光期間の映像信号を重み付けした上で加算すれば良い。この加算処理を繰り返すことにより、任意の数の感度が異なる映像信号を合成することが可能であり、低照度にある被写体から高照度にある被写体まで映像上で階調が潰れずに撮像することを可能としたワイドダイナミックレンジ機能が実現できる。このとき、映像信号の合成比率は、映像信号の感度の差や、各映像信号における被写体の輝度分布の情報や、後述の被写体認識部0105の出力する被写体情報などを基に決定すれば良い。また、合成処理を行わず、映像信号をそのまま出力してもよい。被写体認識部0105は、映像合成部0104の出力する映像に対して画像認識を行い、特定の被写体を検出して、被写体の個数や、各々の被写体の映像中の位置や、輝度分布の情報や、色情報や、被写体の信頼度などを被写体情報として制御部0106に出力する。被写体としては、例えば顔や人物や動体など、既知の手法を用いて画像認識で検出できるものであれば良い。この被写体情報を用いて、制御部0106は、露光制御部0102を介して撮像部0101の目標露光量を、カメラ信号処理部0103のガンマ特性などを、映像合成部0104の映像の合成比率を、それぞれ制御して変更することが可能であり、これにより特定の被写体に最適化したワイドダイナミックレンジ映像の生成が実現できる。上述の例では、感度の異なる複数の撮像に対し、それぞれカメラ信号処理を行ってから合成処理を行っているが、この順番を逆にし、合成処理を行った後でガンマ制御などのカメラ信号処理を行う形態をとっても良い。なお、制御部0106で行なわれる処理は、通常はカメラ内のマイコンやカメラ信号処理DSPや専用のLSIなどによって行われる。被写体認識部0105の被写体認識処理は、カメラにつながるレコーダやPCなどの外部接続機器で高度な処理を行なってもよい。
In the image pickup apparatus shown in FIG. 1, the
図2は、本発明の第一実施例に係る露光制御の一例を示す図である。図2で示す露光制御は制御部0106により露光制御部0102を介して実行される。図2において、横軸はセンサに入射した受光量、縦軸はセンサの出力する信号レベルであり、0201は高感度露光を行った場合の出力信号特性、0202は低感度露光を行った場合の出力信号特性である。この例において、撮影シーン中の低照度の領域と高照度の領域にそれぞれ人物がいるものとする。被写体認識部0105は、低照度と高照度の映像を合成した画像から注目する被写体として人物の顔を検出し、顔領域の輝度分布を求める。そして、制御部0106は制御部露光制御部0102を介して、高感度露光用の露光制御においては低照度領域にいる人物の顔領域の輝度分布をもとに、顔領域の露光量が適正露光範囲に近づくようにし、低感度露光向けの露光制御においては高照度領域にいる人物の顔領域の輝度分布をもとに、顔領域の露光量が適正露光範囲に近づくようにする。この処理を毎露光期間ごとに繰り返すことで、最終的に高感度露光と低感度露光をそれぞれ適正な露光範囲の近辺に収束させることが可能である。低照度領域と高照度領域の一方ないし双方で複数の顔が検出可能な場合は、複数の顔の輝度の重心をもとめ、その重心の露光量が適正露光範囲に近づくようにすれば良い。このとき、輝度の重心を求める際に、検出した顔の映像上の位置情報も同時に取得して、映像の中心付近の顔の重みを大きくし、周辺の顔の重みを小さくして、映像の中心付近に写っている被写体の露光を優先的に適正露光に合わせるようにしても良い。これにより、低照度にいる人物の顔と高照度にいる人物の顔の双方の露光を適正に制御し、その視認性を向上したワイドダイナミックレンジ機能を実現することができる。なお、撮影シーン中の明暗の差が非常に大きい場合は、低照度ないし高照度のいずれかにいる人物の顔が映像上で潰れてしまい、画像認識では上手く検出できない可能性がある。そこで、初期処理として、まずはシーン全体の輝度分布を取得し、その情報を基に、映像中で黒潰れがなくなるように高感度露光を、白飛びがなくなるように低感度露光をそれぞれ制御し、その後、被写体認識を行うようにしても良い。また、撮影シーン中の低照度の領域および高照度の領域の一方ないし、双方に人物がいない場合には、同様にシーン全体の輝度分布の情報を利用して露光制御を行えば良い。また、顔領域の輝度分布のみで露光制御量を決定した場合、顔領域以外が黒潰れしたり白飛びしたりする可能性がある。
そのため、顔領域の輝度分布を基に決定した露光制御量と、シーン全体の輝度分布の情報を利用して決定した露光制御量とを重み付けしながら組み合わせて、全体の露光制御量を決定し、黒潰れや白飛びが起きないようにしても良い。
FIG. 2 is a diagram showing an example of exposure control according to the first embodiment of the present invention. The exposure control shown in FIG. 2 is executed by the
Therefore, the exposure control amount determined based on the luminance distribution of the face area and the exposure control amount determined using the information on the luminance distribution of the entire scene are weighted and combined to determine the overall exposure control amount, It is possible to prevent black crushing and whiteout from occurring.
図3は、本発明の第一実施例に係るガンマ特性制御の一例を示す図である。図3で示すガンマ特性制御は制御部0106によりカメラ信号処理部0103で実行される。図3において、横軸はセンサの出力する信号レベルであり、縦軸は輝度補正を行った後の映像信号レベルであり、0301は高感度露光を行った場合の映像信号特性である。この例において、撮影シーン中の低照度の領域に2人の人物がいるものとする。このとき、ガンマ特性制御は通常のガンマカーブを想定したガンマ処理をセンサ出力信号に対し行うのではなく、図3のように人物の顔が映像信号において広い階調を持てるように、非線形の信号の特性変換処理を行う。これにより、映像上の人物の顔の階調を強調することで、その視認性を向上したワイドダイナミックレンジを実現することができる。なお、ここでは高感度露光におけるガンマ特性制御を示したが、低感度露光においても同様の処理を行っても良い。
FIG. 3 is a diagram illustrating an example of gamma characteristic control according to the first embodiment of the present invention. The gamma characteristic control shown in FIG. 3 is executed by the camera
図4は、本発明の第一実施例に係る映像合成制御の一例を示す図である。図4で示す映像合成制御は制御部0106により映像合成部0104で実行される。図4において、(a)は撮影シーン中の低照度の領域と高照度の領域の双方に人物がいる場合の合成制御の例、(b)は撮影シーン中の高照度の領域のみに人物がいる場合の合成制御の例である。映像合成部0104は、高感度露光で得た映像信号と、低感度露光で得た映像信号を所定の比率で合成し、出力する。このとき、映像合成制御は、被写体検出部0105より撮影シーン中の低照度の領域と高照度の領域で検出した顔の個数を取得し、その個数に応じて合成時の比率を制御する。合成時の比率は、顔の個数のみから決定しても良いし、その他の情報、例えば高感度露光において適正に露光されている被写体と低感度露光において適正に露光されている被写体との面積比などの情報とを重み付けして組み合わせた上で決定しても良い。例えば、高感度映像と低感度映像の双方に顔が映っている場合には、図4(a)のように適正に露光されている被写体の面積比から合成比率を決定し、一方の映像のみにしか顔が映っていない場合には、図4(b)のようにその映像の合成時の加算比率をそれより大きめに取るようにする。これにより、人物の顔が存在する映像のみを強調し、その視認性を向上したワイドダイナミックレンジを実現することができる。このとき、検出した顔の信頼度などの情報からさらに重み付けを行い、加算比率を変えても良い。また、各映像における顔の有無だけでなく、検出した顔の個数の比率をもとに比率を変える、すなわち、低照度の領域に顔が1つあり、高照度の領域に顔が2つある場合には、低感度画像の加算比率を大きくする、といったようにしても良い。
FIG. 4 is a diagram illustrating an example of video composition control according to the first embodiment of the present invention. The video composition control shown in FIG. 4 is executed by the
以上の図2から図4で示した各制御の例では、被写体認識部0105が検出する被写体として人物の顔を用いて説明を行ったが、検出する被写体としては、人物の全身像や動体、車両など、画像認識で検出が可能な被写体なら何でも同様の制御を行うことが可能であり、検出する被写体はアプリケーションのターゲットに合わせて決定すれば良い。また、複数の被写体を同時に認識するようにしても構わない。
In the example of each control shown in FIGS. 2 to 4 described above, the human face is used as the subject to be detected by the
また、図2から図4で示した各制御において、異なる被写体認識結果を用いても良い。例えば、制御部0106は、露光制御部0102を介して露光制御を行う際に、動体を注目被写体として検出し、歩いている人物が適正な露光になるように制御を行い、一方で、カメラ信号処理部0103において、人物の顔の認識結果を用いて、歩いている人の顔と静止している人の顔の双方の階調が確保できるようにガンマ特性制御を行っても良い。
Further, different subject recognition results may be used in each control shown in FIGS. For example, when performing exposure control via the
図5は、本発明の第一実施例に係るワイドダイナミックレンジ処理の効果の一例を示す図である。図5において、(a)は撮影シーン中の低照度領域に露光を合わせたときの映像、(b)は撮影シーン中の高照度領域に露光を合わせたときの映像、(c)は映像(a)と映像(b)を既存のワイドダイナミックレンジ処理にて所定の比率で加算した合成映像、(d)は図2から図4で示した各制御を行い、顔の階調を確保した合成映像である。図5(c)に示すように、既存のワイドダイナミックレンジ機能を用いることで黒潰れや白飛びのない映像を生成することができるが、顔の輝度分布を考慮していないため顔の視認性はよくない。一方で図5(d)では、顔の輝度分布を考慮し、顔の階調を優先して確保するため、白飛びしがちな明るいところの映像を残しつつ、顔の視認性を向上することができている。 FIG. 5 is a diagram showing an example of the effect of the wide dynamic range processing according to the first embodiment of the present invention. In FIG. 5, (a) is an image when the exposure is adjusted to the low illumination area in the shooting scene, (b) is an image when the exposure is adjusted to the high illumination area in the shooting scene, and (c) is an image ( A composite image in which a) and video (b) are added at a predetermined ratio by the existing wide dynamic range processing, and (d) is a composite in which each control shown in FIGS. It is a picture. As shown in FIG. 5C, an image having no blackout or overexposure can be generated by using the existing wide dynamic range function. However, since the luminance distribution of the face is not considered, the visibility of the face is not considered. Is not good. On the other hand, in FIG. 5D, in consideration of the luminance distribution of the face, priority is given to ensuring the gradation of the face, so that the visibility of the face is improved while leaving a bright image that tends to skip white. Is done.
かように本実施例によれば、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、ユーザの注目したい特定の被写体を精度よく認識し、認識した被写体の階調を優先的に確保することで、視認性を向上することが可能となる。 As described above, according to the present embodiment, the wide dynamic range function realized by combining a plurality of captured images having different sensitivities expands the dynamic range, and even when shooting a scene where the difference in contrast is intense, Visibility can be improved by recognizing a specific subject desired by the user with high accuracy and preferentially securing the gradation of the recognized subject.
図6は本発明の第2実施例に係る撮像装置を示す模式図である。図6において0101は撮像部、0102は露光制御部、0103はカメラ信号処理部、0104は映像合成部、0105は被写体認識部、0106は制御部、0606は被写体選択部である。
FIG. 6 is a schematic diagram showing an image pickup apparatus according to the second embodiment of the present invention. In FIG. 6,
図6に示した撮像装置において、撮像部0101、露光制御部0102、カメラ信号処理部0103、映像合成部0104、被写体認識部0105、制御部0106は実施例1と同様の作用を行う。被写体選択部0606は、ジョグダイヤルやカーソルキーやタッチパネルなどのユーザ入力装置を備え、ユーザが被写体認識部0105で認識する注目被写体の種類を決定する。
In the imaging apparatus shown in FIG. 6, the
図7に本発明の第2実施例に係る被写体選択方法の一例を示す図である。図7において、(a)は被写体として顔を選んだ場合の撮影画像、(b)は被写体選択部0606により検出する被写体をユーザが選択するためのメニューをLCD上などに開いている画面、(c)は被写体として全身像を選んだ場合の撮影画像である。図7(a)および(c)において、点線で示した枠は被写体の検出結果を便宜的に表示したものである。
FIG. 7 is a diagram illustrating an example of a subject selection method according to the second embodiment of the present invention. 7, (a) is a photographed image when a face is selected as the subject, (b) is a screen in which a menu for allowing the user to select a subject to be detected by the
かように本実施例によれば、ユーザは被写体選択部0606を用いて簡単に被写体認識部0105で認識する注目被写体を変更することができる。そのため、あるときは、室内を撮影するため人物の顔の視認性を向上し、また別のあるときでは、屋外の道路を撮影するため自動車の視認性を向上するといったような、ユーザの見たい被写体に対応したワイドダイナミックレンジの切り替えを容易に実現することができる。
Thus, according to this embodiment, the user can easily change the subject of interest recognized by the
図8は本発明の第3実施例に係る撮像装置を示す模式図である。図8において0101は撮像部、0102は露光制御部、0103はカメラ信号処理部、0104は映像合成部、0105は被写体認識部、0106は制御部、0807は被写体情報付加選択部である。 FIG. 8 is a schematic view showing an image pickup apparatus according to the third embodiment of the present invention. In FIG. 8, 0101 is an imaging unit, 0102 is an exposure control unit, 0103 is a camera signal processing unit, 0104 is a video composition unit, 0105 is a subject recognition unit, 0106 is a control unit, and 0807 is a subject information addition selection unit.
図8に示した撮像装置において、撮像部0101、露光制御部0102、カメラ信号処理部0103、映像合成部0104、被写体認識部0105、制御部0106は実施例1と同様の作用を行う。被写体情報付加選択部0807は、ジョグダイヤルやカーソルキーやタッチパネルなどのユーザ入力装置を備え、ユーザが映像合成部0104で生成した合成映像に被写体認識結果の情報を付加するかどうかを決定する。ユーザが被写体認識結果の情報付加を選択した場合は、制御部0106は映像合成部0104を介して生成した合成映像に、被写体認識結果の情報として、検出した被写体の位置や個数や信頼度などを、絵または文字として合成付加する。
In the imaging apparatus shown in FIG. 8, the
図9は本発明の第3実施例に係る被写体認識結果の合成映像への付加制御の一例を示す図である。図9において、(a)は被写体情報付加なしの場合の出力映像、(b)は被写体情報付加ありの場合の出力映像である。ここでは、注目被写体として被写体認識部0105が人物の顔を検出した場合に、検出した顔の位置を四角の点線で、検出したときの信頼度を文字でそれぞれ表示した例を示している。
FIG. 9 is a diagram showing an example of control for adding the subject recognition result to the composite video according to the third embodiment of the present invention. In FIG. 9, (a) is an output video when subject information is not added, and (b) is an output video when subject information is added. In this example, when the
かように本実施例によれば、ワイドダイナミックレンジ機能により生成した合成映像に、被写体認識結果の情報を付加することで、ユーザがどのていど被写体認識が行えているかを確認することができ、操作時の参考や、機能が上手く働いていないときのメーカへのフィードバック情報として用いることができる。 As described above, according to the present embodiment, by adding the information of the subject recognition result to the composite video generated by the wide dynamic range function, it is possible to check how much the user can recognize the subject, It can be used as a reference during operation or as feedback information to the manufacturer when the function is not working properly.
以上、図面を用いて本発明の好適な実施例を説明した。本発明によれば、デジタルビデオカメラやスチルカメラにおいて、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、ユーザの注目したい特定の被写体の階調を優先して拡大することで、視認性を向上することが可能となる。 The preferred embodiments of the present invention have been described above with reference to the drawings. According to the present invention, in a digital video camera or a still camera, the dynamic range is expanded to suppress the occurrence of black crushing or whiteout even when shooting a scene where the difference between light and dark is severe, and the gradation of a specific subject that the user wants to pay attention to Visibility can be improved by enlarging with priority.
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. In addition, a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。 Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
本発明は民生や監視や車載や業務用のデジタルビデオカメラおよびスチルカメラに利用可能である。 The present invention is applicable to digital video cameras and still cameras for consumer use, surveillance, in-vehicle use, and business use.
0101 撮像部
0102 露光制御部
0103 カメラ信号処理部
0104 映像合成部
0105 被写体認識部
0106 制御部
0201 高感度露光を行った場合の出力信号特性
0202 低感度露光を行った場合の出力信号特性
0301 高感度露光を行った場合の映像信号特性
0606 被写体選択部
0807 被写体情報付加選択部
0101
Claims (7)
該撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、
該撮像手段の出力する信号をカメラ信号処理して映像信号を生成するカメラ信号処理手段と、
該カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、
該露光制御手段、該カメラ信号処理手段および該映像合成手段を制御する制御手段と、
該カメラ信号処理手段の生成した映像信号を画像処理し被写体情報を検出する被写体認識手段と、
を備え、
該被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出し、該制御手段が該被写体情報を露光制御に用いること、
を特徴とする撮像装置。 Imaging means;
Exposure control means for controlling the exposure of the imaging means to realize a plurality of imaging with different sensitivities to the same subject;
Camera signal processing means for generating a video signal by processing a signal output from the image pickup means;
Video synthesizing means for synthesizing and outputting a plurality of video signals having different sensitivities generated by the camera signal processing means;
Control means for controlling the exposure control means, the camera signal processing means and the video composition means;
Subject recognition means for subjecting the video signal generated by the camera signal processing means to image processing to detect subject information;
With
The subject recognition means detects subject information for the video signal generated by the video composition means, and the control means uses the subject information for exposure control;
An imaging apparatus characterized by the above.
前記被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出し、前記制御手段が該被写体情報を基に該カメラ信号処理手段を制御して映像信号に対するガンマ特性を変えること、
を特徴とする撮像装置。 The imaging device according to claim 1,
The subject recognition means detects subject information for the video signal generated by the video synthesis means, and the control means controls the camera signal processing means based on the subject information to change the gamma characteristic for the video signal;
An imaging apparatus characterized by the above.
前記被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出し、前記制御手段が該被写体情報を基に該映像合成手段を制御して該感度の異なる複数の映像信号を合成する際の比率を変えること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
The subject recognition means detects subject information for the video signal generated by the video composition means, and the control means controls the video composition means based on the subject information to synthesize a plurality of video signals having different sensitivities. Changing the ratio
An imaging apparatus characterized by the above.
前記被写体認識手段が該映像合成手段の生成した映像信号ついて被写体情報を検出する際に複数の種類の被写体を検出し、前記制御手段が該被写体情報を基に、該露光制御手段を制御して露光制御量を、前記カメラ信号処理手段を制御して映像信号に対するガンマ特性を、前記映像合成手段を制御して該感度の異なる複数の映像信号を合成する際の比率を、それぞれ変える場合に、それぞれ異なる被写体の認識結果を用いること、
を特徴とする撮像装置。 In the imaging device according to any one of claims 1 and 3,
The subject recognition unit detects a plurality of types of subjects when detecting subject information for the video signal generated by the video synthesis unit, and the control unit controls the exposure control unit based on the subject information. When changing the exposure control amount, the gamma characteristic for the video signal by controlling the camera signal processing means, and the ratio when synthesizing the plurality of video signals having different sensitivities by controlling the video synthesis means, Using recognition results for different subjects,
An imaging apparatus characterized by the above.
前記被写体認識手段が検出する被写体の種類をユーザが選択するための被写体選択手段を備えること、
を特徴とする撮像装置。 The imaging apparatus according to claim 1, further comprising:
Subject selection means for the user to select the type of subject detected by the subject recognition means;
An imaging apparatus characterized by the above.
前記映像合成手段が生成した合成映像に前記被写体認識手段の検出した前記被写体情報を付加して出力すること、
を特徴とする撮像装置。 In the imaging device according to claim 1 or 5,
Adding the subject information detected by the subject recognition means to the synthesized video generated by the video synthesis means,
An imaging apparatus characterized by the above.
前記映像合成手段が生成した合成映像に対する前記被写体情報の付加の有無をユーザが選択するための被写体情報付加選択手段を備えること、
を特徴とする撮像装置。 The imaging apparatus according to claim 6, further comprising:
Subject information addition selection means for the user to select whether or not to add the subject information to the synthesized video generated by the video synthesis means;
An imaging apparatus characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010127407A JP2011254340A (en) | 2010-06-03 | 2010-06-03 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010127407A JP2011254340A (en) | 2010-06-03 | 2010-06-03 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011254340A true JP2011254340A (en) | 2011-12-15 |
Family
ID=45417893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010127407A Pending JP2011254340A (en) | 2010-06-03 | 2010-06-03 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011254340A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013197753A (en) * | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | Imaging apparatus and program |
JP2020170921A (en) * | 2019-04-02 | 2020-10-15 | 株式会社デンソーテン | Image processing system and image processing method |
CN112703724A (en) * | 2018-09-13 | 2021-04-23 | 索尼半导体解决方案公司 | Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program |
WO2022038981A1 (en) * | 2020-08-19 | 2022-02-24 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device and information processing method, image pickup device, mobile device, and computer program |
US11928797B2 (en) | 2018-10-24 | 2024-03-12 | Samsung Electronics Co., Ltd. | Electronic device and method for acquiring a synthesized image |
US11933599B2 (en) | 2018-11-08 | 2024-03-19 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling same |
-
2010
- 2010-06-03 JP JP2010127407A patent/JP2011254340A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013197753A (en) * | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | Imaging apparatus and program |
CN112703724A (en) * | 2018-09-13 | 2021-04-23 | 索尼半导体解决方案公司 | Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program |
US11815799B2 (en) | 2018-09-13 | 2023-11-14 | Sony Semiconductor Solutions Corporation | Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program |
US11928797B2 (en) | 2018-10-24 | 2024-03-12 | Samsung Electronics Co., Ltd. | Electronic device and method for acquiring a synthesized image |
US11933599B2 (en) | 2018-11-08 | 2024-03-19 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling same |
JP2020170921A (en) * | 2019-04-02 | 2020-10-15 | 株式会社デンソーテン | Image processing system and image processing method |
JP7343997B2 (en) | 2019-04-02 | 2023-09-13 | 株式会社デンソーテン | Image processing device and image processing method |
WO2022038981A1 (en) * | 2020-08-19 | 2022-02-24 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device and information processing method, image pickup device, mobile device, and computer program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010028596A (en) | Image sensing device | |
KR101361331B1 (en) | Image sensor having hdr capture capability | |
JP5624809B2 (en) | Image signal processing device | |
JP5802520B2 (en) | Imaging device | |
US11490024B2 (en) | Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium | |
TW201212644A (en) | Image processing apparatus, image taking apparatus, image processing method and image processing program | |
JP2014175734A (en) | Imaging apparatus and control method thereof | |
US9131172B2 (en) | Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image | |
US11178371B2 (en) | Image processing apparatus, imaging system, recording medium, and control method | |
JP2011254340A (en) | Imaging apparatus | |
CN110012227B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
KR20160063794A (en) | Image photographing apparatus and control methods thereof | |
JP2020202489A (en) | Image processing device, image processing method, and program | |
KR20230175155A (en) | Image processing apparatus and method thereof | |
CN110278375B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
JP6776776B2 (en) | Imaging equipment, display equipment, electronic devices, imaging methods, programs, imaging systems, display systems and image processing equipment | |
WO2016117137A1 (en) | Image-capturing device, image-capturing method, and image display device | |
CN110266965B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
KR20160030350A (en) | Apparatus for processing image and method for processing image | |
JP2016173777A (en) | Image processing apparatus | |
US20230196529A1 (en) | Image processing apparatus for capturing invisible light image, image processing method, and image capture apparatus | |
JP2010028180A (en) | Video camera | |
JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP7224826B2 (en) | Imaging control device, imaging control method, and program | |
JPWO2016181626A1 (en) | Imaging device |