JP2004297701A

JP2004297701A - Video processing apparatus and image pickup system

Info

Publication number: JP2004297701A
Application number: JP2003090633A
Authority: JP
Inventors: Koichi Hoshino; 功一星野; Toshiyuki Sano; 俊幸佐野
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2004-10-21
Anticipated expiration: 2023-03-28
Also published as: JP4119290B2

Abstract

<P>PROBLEM TO BE SOLVED: To realize effective dynamic magnification regardless of how a high-luminance part and a low-luminance part of an object are distributed when an image of the object with a luminance range larger than the dynamic range of an imaging device is picked up. <P>SOLUTION: A LONG proper exposure detecting part 36 and a SHORT proper exposure detecting part 37 respectively detect proper exposure areas of a LONG signal and a SHORT signal, and a level composing part 35 composes levels of the SHORT signal and the LONG signal. A LONG area gradation correcting part 42 and a SHORT area gradation correcting part 43 respectively correct a gradation of a level-composed video signal by using gradation correction data based on the LONG proper exposure area and the SHORT proper exposure area. An area composing part 45 area-composes the gradation-corrected and level-composed video signals on the basis of the LONG proper exposure area and the SHORT proper exposure area. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号を処理する技術に関し、特に、異なる露光時間での撮像により得られた複数の映像信号を用いて、被写体の輝度分布を再現する映像信号を生成する映像処理装置に関する。
【０００２】
【従来の技術】
従来より、階調補正装置を備えた撮像システムが知られている。この階調補正装置は、被写体の輝度分布範囲が撮像素子のダイナミックレンジよりも広い場合に、そのような被写体を撮像することにより得られた映像信号を用いて、被写体の輝度分布に対応する輝度分布をもつ映像信号を生成する（以下、この処理をダイナミックレンジ拡大処理という）。撮像システムがこのような階調補正装置を備えることによって、ダイナミックレンジの狭い撮像素子を活用して輝度分布範囲の広い被写体を適切に表す画像を生成できる。
【０００３】
従来のダイナミックレンジ拡大処理では、互いに異なる露光時間での撮像により得られた２つの映像信号を用いて、被写体の輝度分布に対応する輝度分布をもつ映像信号が生成される。具体的には、撮像システムは、まず、同一の被写体を長い露光時間および短い露光時間で連続して撮像することにより、２つの映像信号を生成する。以下、長い露光時間での撮影により得られた映像信号をＬＯＮＧ信号といい、短い露光時間での撮像により得られた映像信号をＳＨＯＲＴ信号という。
【０００４】
撮像システムに備えられた階調補正装置は、ＬＯＮＧ信号に対しては高輝度成分を圧縮して、ＳＨＯＲＴ信号に対してはオフセット成分を追加した後に、両信号を所定の合成レベル（合成点）でレベル合成してレベル合成映像信号を生成する。そして、階調補正装置は、レベル合成映像信号により表される画像をそのレベル合成映像信号の輝度分布に応じて縦方向および横方向に複数の領域に分割して、分割された領域ごとの複数の階調補正データを算出する。さらに、階調補正装置は、これらの複数の階調補正データの各々を用いてレベル合成映像信号を階調補正することにより、各階調補正データにて階調補正された複数のレベル合成映像信号を生成する。そして、階調補正装置は、階調補正データを求めた際の分割領域に対応する領域ごとにこれらの複数のレベル合成映像信号を領域合成する。このようなダイナミック拡大処理によって、被写体の輝度分布が撮像システムのダイナミックレンジ内に納められた映像信号が生成される。
【０００５】
上記のようなダイナミック拡大処理を実行する撮像システムは、例えば特許文献１に記載されている。また、特許文献２には、本発明に関連する技術が記載されている。
【０００６】
【特許文献１】
特開平１０−２６１００７号公報（第３−５頁、第１図）
【特許文献２】
特開２０００−２２８７４７号公報（第４−９頁、第２図）
【０００７】
【発明が解決しようとする課題】
上記の従来の階調補正装置では、レベル合成画像の輝度レベルに応じて縦方向および横方向に領域を分割するので、例えば、被写体の高輝度部分と低輝度部分が縦横の領域分割によって分けられない場合や被写体の高輝度部分と低輝度部分のパターン数が領域分割数よりも多い場合などには、分割された一領域内に被写体の高輝度部分と低輝度部分が混在することがある。このような場合には、従来の階調補正装置では効果的なダイナミック拡大処理ができず、メリハリのない画像が生成されてしまうという問題がある。
【０００８】
本発明は、このような問題を解決するためになされたもので、被写体の高輝度部分および低輝度部分がどのように分布しているかにかかわらず、効果的なダイナミック拡大処理を実現するための技術を提供するものである。
【０００９】
【課題を解決するための手段】
本発明の映像処理装置は、互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、前記第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、前記第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、前記第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段とを備える。
【００１０】
この構成により、第１および第２の映像信号の適正露光領域を表す第１および第２の適正露光信号の各々に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成映像信号を上記の第１および第２の適正露光信号に基づいて領域合成する。これにより、分割された一領域内に被写体の高輝度部分と低輝度部分が混在することを回避できるので、被写体の高輝度部分および低輝度部分に対して適切な階調補正を施して、被写体の輝度分布を適当なレンジ内の輝度分布で表現する適切な映像信号が得られる。
【００１１】
また、本発明の映像処理装置は、さらに、前記第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成手段のレベル合成の基準となる合成レベルを変更する合成レベル変更手段を備える。
【００１２】
この構成により、適正露光領域に基づいてレベル合成処理の合成レベルを変更するので、適切なレベル合成信号が得られ、階調補正および領域合成の結果も良好に得られる。
【００１３】
本発明の他の態様の映像処理装置は、互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、前記適正露光検出手段により得られた第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、前記適正露光検出手段により得られた第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、前記第１および第２の適正露光信号の一方の適正露光領域の中に所定の閾値以下の面積の小適正露光領域が存在する場合、前記小適正露光領域が他方の適正露光信号の適正露光領域となるように前記第１および第２の適正露光信号を変更する適正露光信号変更手段と、前記適正露光信号変更手段により変更された第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段とを備える。
【００１４】
この構成により、上記と同様に、被写体の輝度分布を適当なレンジ内で表現する適切な映像信号が得られる。さらに、一方の適正露光信号の適正露光領域の中に所定の閾値以下の面積の小適正露光領域があるときに、その小適正露光領域が他方の適正露光信号の適正露光領域として扱われる。これにより、上記の小適正露光領域に階調補正と領域合成を施すことによる上記小適正露光領域のぼけを防止できる。
【００１５】
なお、本発明の範囲内で、もちろん、第１の適正露光信号の適正露光領域のうちの小適正露光領域に対して本発明が適用されてもよく、第２の適正露光信号の適正露光領域のうちの小適正露光領域に対して本発明が適用されてもよく、両者に本発明が適用されてもよい。
【００１６】
また、本発明の映像処理装置は、さらに、前記適正露光信号変更手段により変更された第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して前記レベル合成の基準となる合成レベルを変更する合成レベル変更手段を備える。
【００１７】
この構成により、適正露光領域に基づいてレベル合成処理の合成レベルを変更するので、適切なレベル合成映像信号が得られ、階調補正および領域合成の結果も良好に得られる。
【００１８】
また、本発明の映像処理装置では、前記合成レベル変更手段は、前記第１および第２の映像信号のうちの短い露光時間での撮像により得られた方の映像信号の低輝度部分に相当する被写体部分が、前記第１および第２の映像信号のうちの長い露光時間での撮像により得られた方の映像信号を用いてレベル合成されるように、前記合成レベルを変更する。
【００１９】
この構成により、短い露光時間での撮像により得られた映像信号の低輝度部分の信号に起因するレベル合成映像信号の画質劣化を防ぐとともに、その映像信号のうちのダイナミックレンジの拡大に貢献する部分の信号を有効に用いて、被写体の輝度分布を表現する適切な映像信号を生成できる。
【００２０】
また、本発明の撮像システムは、上記のいずれかに記載の映像処理装置と、前記第１および第２の映像信号を生成する撮像手段とを備える。
【００２１】
この構成により、撮像手段のダイナミックレンジを越える輝度分布範囲をもつ被写体を撮像して、その被写体の輝度分布に対応した輝度分布をもつ映像信号を生成できる。
【００２２】
なお、上記の本発明の映像処理装置は、２つの映像信号のみを処理する構成に限定されないことは勿論である。すなわち、例えば、第１および第２のいずれの映像信号とも露光時間が異なる第３、第４、・・・の映像信号を第１および第２の映像信号と同様に扱って、被写体の輝度分布に対応した輝度分布をもつ映像信号を生成する装置も本発明に含まれる。
【００２３】
本発明は、上述したような装置の態様に限定されない。本発明の別の態様は、映像処理方法、映像処理方法をコンピュータに実行させるプログラム、およびそのプログラムを格納した記録媒体である。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２５】
（第１の実施の形態）
図１は、第１の実施の形態の映像処理装置を備えた撮像システム１０の構成を示すブロック図である。撮像システム１０は、撮像部３１、前処理部３２、Ａ／Ｄ変換部３３、時間軸変換部３４およびレベル合成部３５を備えている。
【００２６】
撮像部３１は、平面状に配置された複数の画素からなるＣＣＤを含んでいる。撮像部３１は、図示しない制御部からの指示に従って、露光時間が長時間の映像信号（ＬＯＮＧ信号）と露光時間が短時間の映像信号（ＳＨＯＲＴ信号）とを生成する。このとき、撮像部３１は、ＣＣＤの水平転送速度を通常の２倍の速度にして水平ラインごとにＬＯＮＧ信号およびＳＨＯＲＴ信号を交互に出力することにより、通常の撮像にて１フィールド分の映像信号を出力する期間内に、ＬＯＮＧ信号およびＳＨＯＲＴ信号をそれぞれ１フィールド分出力する。
【００２７】
前処理部３２は、ノイズ除去処理を行なうＣＤＳ回路とゲイン制御処理を行なうＡＧＣ回路を含み、撮像部３１から出力された信号に対してノイズ除去およびゲイン制御などの前処理を施す。Ａ／Ｄ変換部３３は、前処理部３２にて前処理された映像信号をアナログ信号からデジタル信号に変換する。
【００２８】
時間軸変換部３４は、撮像部３１にて連続的に生成されたＬＯＮＧ信号とＳＨＯＲＴ信号の時間軸を変換することにより、両信号をそれぞれ標準の速度でかつ同一のタイミングにする。この時間軸変換部３４によって撮像部３１にて生成された映像信号は、ＬＯＮＧ信号とＳＨＯＲＴ信号とに分離され、それぞれ独立して取り扱うことができる。ＬＯＮＧ信号およびＳＨＯＲＴ信号は、それぞれレベル合成部３５に入力される。レベル合成部３５は、ＬＯＮＧ信号とＳＨＯＲＴ信号とをレベル合成する。
【００２９】
図２は、レベル合成部３５のレベル合成処理を説明する図である。図２（ａ）〜（ｅ）はいずれも、横軸が被写体の明るさであり、縦軸が画像の輝度レベルである座標を示している。ＬＯＮＧ信号は、図２（ａ）に示すように、被写体の明るさが増すに連れて画像の輝度レベルも増すが、露光時間を長く取っているために、被写体の明るさが所定のレベル以上になると、画像の輝度レベルが飽和して、被写体の明るさに係わらず画像の輝度レベルは一定となる。レベル合成部３５は、図２（ｃ）に示すように、画像の輝度レベルが飽和点に達しているＬＯＮＧ信号を圧縮する。
【００３０】
一方、ＳＨＯＲＴ信号は、図２（ｂ）に示すように、被写体の明るさに対する画像の輝度レベルの増加率がＬＯＮＧ信号よりも緩やかである。レベル合成部３５は、このようなＳＨＯＲＴ信号に対して、図２（ｄ）に示すように、オフセット成分を足し込む。このとき、ＳＨＯＲＴ信号は、ＬＯＮＧ信号の輝度レベルが飽和点に達するときの被写体の明るさでＳＨＯＲＴ信号もその飽和点の輝度レベルになるように、オフセットされる。
【００３１】
レベル合成部３５は、さらに、ＬＯＮＧ信号の飽和点を合成点（本発明の合成レベル）として、図２（ｅ）に示すように、圧縮されたＬＯＮＧ信号とオフセットされたＳＨＯＲＴ信号を合成する。このとき、レベル合成部３５は、合成点以下の輝度レベルではＬＯＮＧ信号を用いて、合成点以上の輝度レベルではＳＨＯＲＴ信号を用いて、両信号を合成し、レベル合成映像信号を生成する。なお、このレベル合成部３５が、本発明のレベル合成手段を構成する。
【００３２】
撮像システム１０は、さらに、ＬＯＮＧ適正露光検出部３６、ＳＨＯＲＴ適正露光検出部３７、ＬＯＮＧヒストグラムデータ検波部３８、ＳＨＯＲＴヒストグラム検波部３９、ＬＯＮＧ階調補正データ算出部４０、ＳＨＯＲＴ階調補正データ算出部４１、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３を備えている。以下、順に各部を説明していく。
【００３３】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７は、それぞれ時間軸変換部３４にて分離されて出力されたＬＯＮＧ信号およびＳＨＯＲＴ信号を取り込んで、それぞれの信号中の適正露光部分を検出する。
【００３４】
図３は、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７の適正露光検出処理を説明する図である。ここでは、撮像部３１にて図３（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に比較的大きな楕円状の明るい領域ＬＡを有するものである。この被写体を長時間露光および短時間露光でそれぞれ撮像すると、時間軸変換部３４では、この被写体を示すＬＯＮＧ信号およびＳＨＯＲＴ信号が得られる。図３（ｂ）および図３（ｃ）は、図３（ａ）に示される被写体のＡＢ線上の映像に対応するＬＯＮＧ信号およびＳＨＯＲＴ信号の輝度レベルを示す図である。
【００３５】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７には、それぞれ所定の輝度レベル閾値が記憶されている。ＬＯＮＧ適正露光検出部３６は、ＬＯＮＧ信号を取り込むと、そのＬＯＮＧ信号中で輝度レベルが閾値以下である領域をＬＯＮＧ信号の適正露光領域（以下、ＬＯＮＧ適正露光領域という）として検出し、その領域を示すＬＯＮＧ適正露光信号を生成する。本例では、被写体中の暗い領域ＤＡがＬＯＮＧ適正露光領域として検出される。したがって、ＬＯＮＧ適正露光信号のＡＢ線上に対応する部分は、図３（ｄ）に示すように、閾値以下の輝度レベルを有する暗い領域が１であり、閾値以上の輝度レベルを有する明るい領域が０である。
【００３６】
ＳＨＯＲＴ適正露光検出部３７は、図３（ａ）に示させる被写体のＳＨＯＲＴ信号を取り込むと、そのＳＨＯＲＴ信号中で輝度レベルが閾値以上である領域をＳＨＯＲＴ信号の適正露光領域（以下、ＳＨＯＲＴ適正露光領域）として検出し、その領域を示すＳＨＯＲＴ適正露光信号を生成する。本例では、被写体中の明るい領域ＬＡがＳＨＯＲＴ適正露光領域として検出される。したがって、ＳＨＯＲＴ適正露光信号のＡＢ線上に対応する部分は、図３（ｅ）に示すように、閾値以上の輝度レベルを有する明るい領域が１であり、閾値以下の輝度レベルを有する暗い領域が０である。
【００３７】
ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７は、それぞれ上述のようにして生成したＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を出力する。なお、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７が、本発明の適正露光検出手段を構成する。
【００３８】
ＬＯＮＧヒストグラムデータ検波部３８は、まず、時間軸変換部３４より出力されたＬＯＮＧ信号とＬＯＮＧ適正露光検出部３６より出力されたＬＯＮＧ適正露光信号を取り込み、それらの信号を用いて適正露光領域のＬＯＮＧ信号のヒストグラムを生成する。
【００３９】
図４は、ＬＯＮＧヒストグラムデータ検波部３８にてＬＯＮＧ適正信号のヒストグラムを生成する処理を説明する図である。図４（ａ）は、ＬＯＮＧ信号のＡＢ線上の輝度レベルを示す図である。このＬＯＮＧ信号が時間軸変換部３４からＬＯＮＧヒストグラムデータ検波部３８に入力される。図４（ｂ）は、ＬＯＮＧ適正露光信号のＡＢ線上に対応する部分を示す図である。このＬＯＮＧ適正露光信号がＬＯＮＧ適正露光検出部３６からＬＯＮＧヒストグラム検波部３８に入力される。ＬＯＮＧヒストグラムデータ検波部３８は、ＬＯＮＧ信号とＬＯＮＧ適正露光信号とを掛け合わせることにより、ＬＯＮＧ適正露光領域のＬＯＮＧ信号を示すＬＯＮＧ適正信号を生成する。本例では、被写体のＡＢ線上では、図４（ａ）に示されるＬＯＮＧ信号と図４（ｂ）に示されるＬＯＮＧ適正露光信号とが掛け合わされることにより、図４（ｃ）に示されるＬＯＮＧ適正信号が生成される。
【００４０】
ＬＯＮＧヒストグラムデータ検波部３８は、こうして得られたＬＯＮＧ適正信号の輝度ヒストグラムを示すＬＯＮＧヒストグラムデータを生成する。図４（ｄ）は、ＬＯＮＧ適正信号の輝度分布を示すヒストグラムデータである。ＬＯＮＧ適正信号は、ＬＯＮＧ信号の適正露光領域を表す信号、すなわち被写体中の暗い領域の映像を表す信号なので、図４（ｄ）に示すようにその輝度分布は低輝度側に偏っている。
【００４１】
図５は、ＳＨＯＲＴヒストグラムデータ検波部３９にてＳＨＯＲＴ適正信号のヒストグラムを生成する処理を説明する図である。ＳＨＯＲＴヒストグラムデータ検波部３９も、ＬＯＮＧヒストグラムデータ検波部３８と同様にして、まず、ＳＨＯＲＴ信号とＳＨＯＲＴ適正露光信号とを掛け合わせることにより、ＳＨＯＲＴ適正信号を生成する。図５に示すように、ＡＢ線上では、図５（ａ）に示されるＳＨＯＲＴ信号と図５（ｂ）に示されるＳＨＯＲＴ適正露光信号とが掛け合わされて、図５（ｃ）に示されるＳＨＯＲＴ適正信号が生成される。
【００４２】
ＳＨＯＲＴヒストグラムデータ検波部３９は、こうして得られたＳＨＯＲＴ適正信号の輝度ヒストグラムを示すＳＨＯＲＴヒストグラムデータを生成する。図５（ｄ）は、ＳＨＯＲＴ適正信号の輝度分布を示すヒストグラムデータである。ＳＨＯＲＴ適正信号は、ＳＨＯＲＴ信号の適正露光領域を表す信号、すなわち被写体中の明るい領域の映像を表す信号なので、図５（ｄ）に示すようにその輝度分布は高輝度側に偏っている。
【００４３】
ＬＯＮＧ階調補正データ算出部４０およびＳＨＯＲＴ階調補正データ算出部４１は、それぞれＬＯＮＧヒストグラムデータ検波部３８およびＳＨＯＲＴヒストグラムデータ検波部３９で生成されたヒストグラムデータを取り込んで、このヒストグラムデータに基づいて、それぞれＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを算出する。
【００４４】
図６は、ＬＯＮＧ階調補正データ算出部４０における処理を説明する図である。ＬＯＮＧ階調補正データは、ＬＯＮＧヒストグラムデータ検波部３８にて生成された図６（ａ）に示されるＬＯＮＧヒストグラムデータを取得して、図６（ｂ）に示されるＬＯＮＧ階調補正データを算出する。上述のように、ＬＯＮＧ適正信号のヒストグラムは低輝度側に偏っているので、ＬＯＮＧ階調補正データ算出部４０は、図６（ｂ）に示すように、ＬＯＮＧ適正信号の低輝度部分を持ち上げる補正データを算出する。
【００４５】
図７は、ＳＨＯＲＴ階調補正データ算出部４１の処理を説明する図である。ＳＨＯＲＴ階調補正データ算出部４１は、ＬＯＮＧ階調補正データ算出部４０と同様に、図７（ａ）に示されるＳＨＯＲＴヒストグラムデータに基づいて、図７（ｂ）に示されるＳＨＯＲＴ階調補正データを算出する。ここで、ＳＨＯＲＴ適正信号のヒストグラムは、ＬＯＮＧ適正信号のヒストグラムとは逆に、高輝度側に偏っているので、ＳＨＯＲＴ階調補正データ算出部４１は、図７（ｂ）に示すように、ＳＨＯＲＴ適正信号の高輝度部分を持ち上げる補正データを算出する。
【００４６】
図１に戻って、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３は、それぞれＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを用いてレベル合成部３５で生成されたレベル合成映像信号を階調補正する。ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３が、本発明の第１および第２の階調補正手段を構成する。
【００４７】
図８は、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３の処理を説明する図である。レベル合成映像信号に対してＬＯＮＧ階調補正データを適用することによりレベル合成映像信号中の低輝度部分が強調される。また、レベル信号に対してＳＨＯＲＴ階調補正データを適用することによりレベル合成映像信号中の高輝度部分が強調される。図８は、ＬＯＮＧ階調補正データおよびＳＨＯＲＴ階調補正データを用いてレベル合成映像信号を階調補正した場合のレベル合成映像信号中のＡＢ線上の部分の変化を示している。
【００４８】
図８（ａ）に示すレベル合成映像信号のＡＢ線上の部分は、図８（ｂ）に示すＬＯＮＧ階調補正データを用いて階調補正されることにより、図８（ｃ）に示す信号となる。この階調補正によって、レベル合成映像信号は、低輝度部分すなわち信号レベルの低い部分のレベルが持ち上げられ、高輝度部分すなわち信号レベルの高い部分のレベルは抑えられる。また、図８（ｄ）に示すＳＨＯＲＴ階調補正データを用いて図８（ａ）のレベル合成映像信号を階調補正すると、図８（ｅ）に示すように、レベル合成映像信号の低輝度部分のレベルは抑えられ、高輝度部分のレベルが持ち上げられる。以下、ＬＯＮＧ領域階調補正部４２およびＳＨＯＲＴ領域階調補正部４３にて階調補正されたレベル合成映像信号をそれぞれＬＯＮＧ階調補正信号およびＳＨＯＲＴ階調補正信号という。
【００４９】
撮像システム１０は、さらに、合成波形生成部４４、領域合成部４５およびメイン信号処理部４６を備えている。
【００５０】
ＬＯＮＧ適正露光検出部３６から得られたＬＯＮＧ適正露光信号は、上述のように、ＬＯＮＧヒストグラムデータ検波部３８にてＬＯＮＧ適正露光領域のヒストグラムを作成するために用いられるほか、合成波形生成部４４での処理にも用いられる。ＳＨＯＲＴ適正露光信号もＬＯＮＧ適正露光信号と同様に、合成波形生成部４４での処理に用いられる。合成波形生成部４４は、ＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を取得して、ＬＯＮＧ信号およびＳＨＯＲＴ信号の適正露光領域の境界を検出する。
【００５１】
そして、合成波形生成部４４は、ＬＯＮＧ階調補正信号に対しては、ＬＯＮＧ適正露光信号が示す適正露光領域において１でありその他の領域において０であるＬＯＮＧ重み付け処理関数を生成する。また、合成波形生成部４４は、ＳＨＯＲＴ階調補正信号に対して、ＳＨＯＲＴ適正露光信号が示す適正露光領域にて１でありその他の領域にて０であるＳＨＯＲＴ重み付け処理関数を生成する。
【００５２】
ここで、後述する領域合成の際にＬＯＮＧ適正領域とＳＨＯＲＴ適正領域とを滑らかにつなぐために、ＬＯＮＧ重み付け処理関数およびＳＨＯＲＴ重み付け処理関数は、０から１または１から０へなだらかに変化する関数とされる。また、本実施の形態では、ＬＯＮＧ重み付け関数とＳＨＯＲＴ重み付け関数は、両者の和が常に１になる相補関係にある。
【００５３】
図９および図１０は、合成波形生成部４４の処理を説明する図である。図９は、ＡＢ線上のＬＯＮＧ階調補正信号とＬＯＮＧ重み付け処理関数（１−Ｋ）を示している。また、図１０は、ＡＢ線上のＳＨＯＲＴ階調補正信号とＳＨＯＲＴ重み付け処理関数（Ｋ）を示している。上述のように、ＬＯＮＧ重み付け処理関数およびＳＨＯＲＴ重み付け処理関数は、１と０との境界周辺で重み付け係数が徐々に増加または減少して０から１または１から０に変化する関数である。なお、図９および図１０では、ＡＢ線上すなわち水平方向の重み付け関数の変化を示しているが、垂直方向にも０から１または１から０の境界では重み付け係数が徐々に増加または減少する。以上のようにして生成されたＬＯＮＧ重み付け関数およびＳＨＯＲＴ重み付け関数は、領域合成部４５に出力される。
【００５４】
領域合成部４５は、ＬＯＮＧ重み付け処理関数を用いてＬＯＮＧ階調補正信号の適正露光部分を抽出し、ＳＨＯＲＴ重み付け処理関数を用いてＳＨＯＲＴ階調補正信号の適正露光部分を抽出し、両者を合成して領域合成信号を生成する。
【００５５】
図１１は、領域合成部４５の構成を示すブロック図である。領域合成部４５は、ＬＯＮＧ乗算器４５１、ＳＨＯＲＴ乗算器４５２および加算器４５３を備えている。ＬＯＮＧ乗算器４５１は、ＬＯＮＧ階調補正信号とＬＯＮＧ重み付け処理関数を乗算する。これによってＬＯＮＧ適正露光領域のみが有効な値を持つ映像信号が生成される。また、ＳＨＯＲＴ乗算器４５２は、ＳＨＯＲＴ階調補正信号とＳＨＯＲＴ重み付け処理関数を乗算する。これによって、ＳＨＯＲＴ適正露光領域のみが有効な値を持つ映像信号が生成される。加算器４５３は、ＬＯＮＧ乗算器４５１の出力とＳＨＯＲＴ乗算器４５２の出力とを加算する。これによって、ＬＯＮＧ適正露光領域ではＬＯＮＧ階調補正信号が採用され、ＳＨＯＲＴ適正露光領域ではＳＨＯＲＴ階調補正信号が採用された領域合成信号が生成される。なお、この領域合成部４５が、本発明の領域合成手段を構成する。
【００５６】
図１２は、領域合成部４５にて生成された領域合成信号によって表される画像を示す図である。上記で説明した階調補正処理により、被写体の明るい領域から暗い領域までのコントラストが撮像システム１０のダイナミックレンジの範囲内で表現されており、白くとんだ部分や黒くつぶれた部分を生じることなく被写体輝度分布が適切に表現されている。
【００５７】
なお、図９および図１０を用いて説明したように、ＬＯＮＧ重み付け処理関数とＳＨＯＲＴ重み付け処理関数を滑らかに変化するように設定したので、明るい領域と周囲の暗い領域の境界部ＭＡでは、ＬＯＮＧ階調補正信号とＳＨＯＲＴ階調補正信号が自然に合成されている。
【００５８】
図１に戻って、メイン信号処理部４６は、領域合成信号に対して、圧縮符号化処理を含むメイン部分の信号処理を行ない、外部の装置に信号を出力する。
【００５９】
以上説明したように、本実施の形態の撮像システム１０は、露光時間が互いに異なるＬＯＮＧ信号およびＳＨＯＲＴ信号から各々の適正露光領域を表すＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域を検出する。そして、そのようにして検出されたＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成信号をＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に基づいて領域合成する。これにより、被写体の高輝度部分および低輝度部分に対して適切な階調補正を施して、被写体の輝度分布を撮像システム１０のダイナミックレンジ内の輝度分布で表現する適切な映像信号が得られる。
【００６０】
また、本実施の形態の撮像システム１０は、撮像部３１から１フィールド期間内に交互に出力された２つの映像信号を時間軸変換部３４にて時間軸を揃えて出力するので、露光時間の異なる２つの信号を一時的に記憶するためのフィールドメモリが不要となる。これによって、撮像システム１０の回路規模を縮小できる。
【００６１】
（第２の実施の形態）
図１３は、第２の実施の形態の映像処理装置を備えた撮像システム２０の構成を示すブロック図である。撮像システム２０の構成は、適正露光領域変換部４７を備えていることを除いて、第１の実施の形態の撮像システム１０の構成と同様である。図１３および以下の説明では、撮像システム２０の構成要素のうち撮像システム１０と同じ構成要素については撮像システム１０と同一の符号を付して、その説明を省略する。
【００６２】
既に本発明の第１の実施の形態として説明した通り、図１に示す撮像システム１０によって、被写体の輝度分布を撮像システム１０のダイナミックレンジ内の輝度分布で表現する適切な映像信号が得られる。そして、明るい領域と周囲の暗い領域の境界部ＭＡでは、ＬＯＮＧ階調補正信号とＳＨＯＲＴ階調補正信号が自然に合成されて、領域合成による違和感がない画像が得られる。ただし、ＬＯＮＧ適正露光領域またはＳＨＯＲＴ適正露光領域の面積が極端に小さいときには、境界部分で画像がぼけてしまい、領域合成によってその小さな適正露光領域に相当する部分がしみのように表れることがある。
【００６３】
そこで、領域合成画像に上記のようなしみ状の部分が表れることを防止するために、本実施の形態の撮像システム２０では、図１３に示すように、合成波形生成部４４の前に適正露光領域変換部４７を設ける。
【００６４】
図１４は、適正露光信号変換部４７の構成を示すブロック図である。適正露光信号変換部４７は、ＳＨＯＲＴ適正露光信号を取得して数ライン分一時記憶する画像データバッファ４７１を備えている。画像データバッファ４７１は数ラインごとにＳＨＯＲＴ適正露光信号を出力する。ＳＨＯＲＴ領域変換部４７２は、所定の画素数の閾値を記憶している。ＳＨＯＲＴ領域変換部４７２は、数ライン分のＳＨＯＲＴ適正信号を取得して、そのＳＨＯＲＴ適正露光信号中に面積が上記の閾値に満たないＳＨＯＲＴ適正露光領域（以下、小適正露光領域という）をキャンセルするフィルタ処理を行なう。すなわち、ＳＨＯＲＴ領域変換部４７２は、ＳＨＯＲＴ適正露光領域中の小適正露光領域がＳＨＯＲＴ適正露光領域ではなくなるように、ＳＨＯＲＴ適正露光信号を変換する。上記の閾値は、好ましくは、極端に面積の小さいＳＨＯＲＴ適正露光領域をキャンセルできるように設定される。
【００６５】
ＬＯＮＧ領域変換部４７３は、上記のように変換されたＳＨＯＲＴ適正露光信号を用いて、ＬＯＮＧ適正露光信号がそのＳＨＯＲＴ適正露光信号と相補的な関係になるように、ＬＯＮＧ適正露光信号を変換する。このようにして、適正露光信号変換部４７では、ＳＨＯＲＴ適正露光信号およびＬＯＮＧ適正露光信号のいずれもが変換され、出力される。
【００６６】
図１５は、適正露光信号変換部４７の処理を説明する図である。ここでは、撮像部３１にて図１５（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に比較的面積の大きな明るい領域Ｌ１と面積の小さな明るい領域Ｌ２およびＬ３を有する。この被写体のＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号は、例えばＡＢ線上では、それぞれ図１５（ｂ）および図１５（ｃ）に示す信号となる。
【００６７】
図１５（ｂ）に示すように、ＳＨＯＲＴ適正露光検出部３７の処理では、被写体中の明るい領域Ｌ１〜Ｌ３の３つの領域がＳＨＯＲＴ適正露光領域となる。しかし、明るい領域Ｌ２および明るい領域Ｌ３は、閾値よりも面積の小さい領域であるので、ＳＨＯＲＴ領域変換部４７２によって、図１５（ｄ）に示すように、明るい領域Ｌ２および明るい領域Ｌ３は０に変換される。また、ＬＯＮＧ適正露光信号も、図１５（ｄ）のＳＨＯＲＴ適正露光信号と相補的な関係になるように、ＬＯＮＧ領域変換部４７３にて図１５（ｅ）に示すように変換される。なお、この適正露光信号変換部４７が、本発明の適正露光信号変更手段に相当する。
【００６８】
図１３に戻って、本実施の形態の撮像システム２０では、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７にてそれぞれ生成されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号が、上記のように適正露光信号変換部４７にて変換された上で合成波形生成部４６に入力される。
【００６９】
なお、上記の例では、ＳＨＯＲＴ適正露光領域中の小適正露光領域を検出してその領域をキャンセルする処理を行なったが、ＬＯＮＧ適正露光領域中の小適正露光領域を検出してその領域をキャンセルする処理を行なってもよいし、ＳＨＯＲＴ適正露光領域およびＬＯＮＧ適正露光領域の両方からそれぞれ小さい領域を検出してもよい。さらに、上記の例では、ＳＨＯＲＴ適正露光信号から小適正露光領域を検出したが、小適正露光領域を検出するために、ＬＯＮＧ適正露光信号を調べてもよい。
【００７０】
以上説明したように、第２の実施の形態の撮像システム２０は、ＳＨＯＲＴ適正露光領域またはＬＯＮＧ適正露光領域に小適正露光領域が存在する場合に、それらの領域が他方の適正露光領域になるようにＳＨＯＲＴ適正露光信号またはＬＯＮＧ適正露光信号を変換する。これによって、第１の実施の形態の撮像システム１０の効果に加えて、小適正露光領域に相当する部分が領域合成処理によってぼけて違和感のある画像が生成されるという不都合を解消できる。
【００７１】
（第３の実施の形態）
図１６は、第３の実施の形態の映像処理装置を備えた撮像システム３０の構成を示すブロック図である。撮像システム３０の構成は、第２の実施の形態の撮像システム２０の構成に、さらに合成レベル信号生成部４８を追加したものである。図１６および以下の説明では、撮像システム３０の構成要素のうち撮像システム２０と同じ構成要素については撮像システム２０と同一の符号を付して、その説明を省略する。
【００７２】
図１７は、合成レベル信号生成部４８の処理を説明する図である。ここでは、撮像部３１にて図１７（ａ）に示される被写体を撮像した場合について説明する。この被写体は、暗い領域ＤＡの中に領域Ｘと明るい領域ＬＡを有する。領域Ｘは、明るい領域Ｌ１よりは輝度が低く、暗い領域ＤＡよりは輝度が高い領域である。
【００７３】
ここで、明るい領域ＬＡは、ＬＯＮＧ信号では白く飛んでしまっている領域であるので、レベル合成部３５でのレベル合成処理ではＳＨＯＲＴ信号を採用するべき領域である。また、暗い領域ＤＡは、ＳＨＯＲＴ信号では黒くつぶれている領域であるので、レベル合成処理ではＬＯＮＧ信号を用いるべき領域である。これに対して、領域Ｘは、ＳＨＯＲＴ信号では低輝度の領域となり、ＬＯＮＧ信号では高輝度の領域となる。
【００７４】
この領域Ｘについては、レベル合成処理にて、輝度の低いＳＨＯＲＴ信号を用いるよりも、輝度の高いＬＯＮＧ信号を用いる方がダイナミックレンジ拡大処理の効果がより顕著になる。また、この領域ＸでＳＨＯＲＴ信号を用いてレベル合成映像信号を生成すると、その領域に対応する部分でノイズが発生して画質劣化の要因となる。したがって、図１７に明るい領域ＬＡのようにダイナミックレンジ拡大処理による効果が顕著な領域のＳＨＯＲＴ信号のみをレベル合成に使用して、領域ＸのようなＳＨＯＲＴ信号中の輝度レベルの低い領域はレベル合成に使用しないようにすれば、ダイナミックレンジ拡大処理による効果が大きく、かつノイズによる画質劣化の少ないレベル合成映像信号が得られる。
【００７５】
ここで、上述したように、領域Ｘは、ＳＨＯＲＴ信号では低輝度の領域であり、ＬＯＮＧ信号では高輝度の領域である。したがって、領域Ｘは、ＳＨＯＲＴ信号中では適正露光領域とはならず、ＬＯＮＧ信号中の適正露光領域として検出される。そこで、合成レベル信号生成部４８は、ＳＨＯＲＴ適正信号またはＬＯＮＧ適正信号を用いることにより、ＬＯＮＧ適正露光領域およびＳＨＯＲＴ適正露光領域に応じて、合成レベルを領域ごとに可変にする。
【００７６】
具体的には、合成レベル信号生成部４８は、ＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号に従って、ＬＯＮＧ適正露光領域では、レベル合成にてＳＨＯＲＴ信号の低輝度部分が使用されるように高い合成レベル（合成レベル２）を示し、ＳＨＯＲＴ適正露光領域では、レベル合成にてＳＨＯＲＴ信号の高輝度部分が使用されるように低い合成レベル（合成レベル１）を示す合成レベル信号を生成する。図１７（ｄ）は、このようにして生成された合成レベル信号である。図１７（ｄ）において、縦方向は合成レベルの値を示している。ただし、図１７（ｄ）では、合成レベルの高低を逆に示している。
【００７７】
図１６に戻って、合成レベル信号生成部４８は、合成レベル信号をレベル合成部３５に出力し、レベル合成部３５は、レベル合成信号に従って、少なくとも一部の領域の合成レベルを可変に設定する。
【００７８】
図１８は、合成レベル１および合成レベル２のそれぞれの合成レベルでのレベル合成波形を示す図である。図１８（ａ）は、ＳＨＯＲＴ適正露光領域に適用されるレベル合成波形であり合成レベル１を合成点とするものである。図１８（ｂ）は、ＬＯＮＧ適正露光領域に適用されるレベル合成波形であり、合成レベル２を合成点とするものである。図１８（ａ）に示されるように、被写体中の領域Ｘは、仮に合成レベル１でレベル合成を行なったとすると、ＳＨＯＲＴ信号が採用されることになる。しかし、本実施の形態では、領域Ｘでは、図１８（ｂ）に示されるレベル合成波形でレベル合成されるので、同図に示されるように、ＬＯＮＧ信号が採用される。本実施の形態において、合成レベル信号を生成する合成レベル信号生成部４８および合成レベル信号に基づいて合成レベルを可変に設定するレベル合成部３５によって、本発明の合成レベル変更手段が実現される。
【００７９】
なお、図１６の例では、合成レベル信号生成部４８は、適正露光領域変換部４７にて変換されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を用いて合成レベル信号を生成したが、ＬＯＮＧ適正露光検出部３６およびＳＨＯＲＴ適正露光検出部３７から出力されたＬＯＮＧ適正露光信号およびＳＨＯＲＴ適正露光信号を用いて合成レベル信号が生成されてもよい。
【００８０】
以上説明したように、本実施の形態の撮像システム３０によれば、ＳＨＯＲＴ信号中の高輝度領域およびＬＯＮＧ信号中の低輝度領域を用いてレベル合成映像信号を生成するので、第１および第２の実施の形態の撮像システムと同様の処理の効果が得られる。撮像システム３０では、さらに、ＳＨＯＲＴ信号の低輝度領域に相当する部分についてはＬＯＮＧ信号を用いてレベル合成されるように、合成レベルが領域に応じて変更される。これによって、ダイナミックレンジ拡大処理の効果が顕著な領域のＳＨＯＲＴ信号のみがレベル合成に使用されるので、ダイナミックレンジ拡大処理による効果が大きく、かつノイズによる画質劣化の少ないレベル合成映像信号が得られる。
【００８１】
なお、上記の第１ないし第３の実施の形態では、撮像部３１が２種類の異なる露光時間にて被写体を撮像することにより、露光時間の異なる２つの映像信号を生成し、それらを用いて階調補正された映像信号を生成したが、３種類以上の映像信号を生成して、上記と同様にして階調補正された映像信号を生成してもよい。
【００８２】
上記第１ないし第３の実施の形態の撮像システムでは、ＬＯＮＧ階調補正データ算出部４０およびＳＨＯＲＴ階調補正データ算出部４１はソフトウェアによって構成されるが、他の部分についても可能な部分はソフトウェアによって構成されてよい。これらの場合には、各部分の機能は所定のプログラムに従ってコンピュータがデータを処理することにより実現される。
【００８３】
【発明の効果】
以上説明したように、本発明は、互いに露光時間の異なる２つの映像信号の各々の適正露光領域に基づいてレベル合成映像信号に階調補正を施し、こうして階調補正された２つのレベル合成映像信号を上記の適正露光領域に基づいて領域合成するので、効果的なダイナミック拡大処理を実行できるというすぐれた効果を有する映像信号処理装置を提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態の撮像システムの構成を示すブロック図
【図２】第１の実施の形態のレベル合成部のレベル合成処理を説明する図
【図３】第１の実施の形態の適正露光検出処理を説明する図
【図４】第１の実施の形態のＬＯＮＧ適正信号のヒストグラムを生成する処理を説明する図
【図５】第１の実施の形態のＳＨＯＲＴ適正信号のヒストグラムを生成する処理を説明する図
【図６】第１の実施の形態のＬＯＮＧ階調補正データ算出部における処理を説明する図
【図７】第１の実施の形態のＳＨＯＲＴ階調補正データ算出部における処理を説明する図
【図８】第１の実施の形態のＬＯＮＧ領域階調補正部およびＳＨＯＲＴ領域階調補正部の処理を説明する図
【図９】第１の実施の形態の合成波形生成部の処理を説明する図
【図１０】第１の実施の形態の合成波形生成部の処理を説明する図
【図１１】第１の実施の形態の領域合成部の構成を示すブロック図
【図１２】第１の実施の形態の領域合成部にて生成された領域合成信号によって表される画像を示す図
【図１３】第２の実施の形態の撮像システムの構成を示すブロック図
【図１４】第２の実施の形態の適正露光信号変換部の構成を示すブロック図
【図１５】第２の実施の形態の適正露光信号変換部の処理を説明する図
【図１６】第３の実施の形態の撮像システムの構成を示すブロック図
【図１７】第３の実施の形態の合成レベル信号生成部の処理を説明する図
【図１８】第３の実施の形態のそれぞれの合成レベルでのレベル合成波形を示す図
【符号の説明】
１０、２０、３０撮像システム
３４時間軸変換部
３５レベル合成部
３６ＬＯＮＧ適正露光検出部
３７ＳＨＯＲＴ適正露光検出部
４０ＬＯＮＧ階調補正データ算出部
４１ＳＨＯＲＴ階調補正データ算出部
４２ＬＯＮＧ領域階調補正部
４３ＳＨＯＲＴ領域階調補正部
４４合成波形生成部
４５領域合成部
４７適正露光領域変換部
４８合成レベル信号生成部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for processing a video signal, and more particularly, to a video processing apparatus that generates a video signal that reproduces a luminance distribution of a subject by using a plurality of video signals obtained by imaging at different exposure times.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an imaging system including a tone correction device has been known. This gradation correction device uses a video signal obtained by imaging such a subject when the brightness distribution range of the subject is wider than the dynamic range of the image sensor, and uses the video signal corresponding to the brightness distribution of the subject. A video signal having a distribution is generated (hereinafter, this process is referred to as a dynamic range expansion process). When the imaging system includes such a gradation correction device, an image that appropriately represents a subject having a wide luminance distribution range can be generated by utilizing an imaging device with a narrow dynamic range.
[0003]
In the conventional dynamic range expansion processing, a video signal having a luminance distribution corresponding to the luminance distribution of a subject is generated using two video signals obtained by imaging at mutually different exposure times. Specifically, the imaging system first generates two video signals by continuously imaging the same subject with a long exposure time and a short exposure time. Hereinafter, a video signal obtained by imaging with a long exposure time is called a LONG signal, and a video signal obtained by imaging with a short exposure time is called a SHORT signal.
[0004]
The gradation correction device provided in the imaging system compresses the high luminance component for the LONG signal and adds the offset component to the SHORT signal, and then combines the two signals at a predetermined combination level (composition point). To generate a level composite video signal. Then, the gradation correction device divides the image represented by the level composite video signal into a plurality of regions in the vertical direction and the horizontal direction according to the luminance distribution of the level composite video signal, and Is calculated. Further, the tone correction device performs tone correction on the level composite video signal using each of the plurality of tone correction data, so that a plurality of level-combined video signals Generate Then, the tone correction device area-synthesizes the plurality of level-synthesized video signals for each area corresponding to the divided area when the tone correction data is obtained. By such a dynamic enlargement process, a video signal in which the luminance distribution of the subject falls within the dynamic range of the imaging system is generated.
[0005]
An imaging system that performs the above-described dynamic enlargement processing is described in, for example, Patent Document 1. Patent Literature 2 describes a technique related to the present invention.
[0006]
[Patent Document 1]
JP-A-10-261007 (pages 3-5, FIG. 1)
[Patent Document 2]
JP-A-2000-228747 (page 4-9, FIG. 2)
[0007]
[Problems to be solved by the invention]
In the above-described conventional tone correction device, the region is divided in the vertical direction and the horizontal direction according to the luminance level of the level composite image. For example, the high luminance portion and the low luminance portion of the subject are divided by vertical and horizontal region division. When there is no pattern, or when the number of patterns of the high luminance part and the low luminance part of the subject is larger than the number of divided areas, the high luminance part and the low luminance part of the subject may be mixed in one divided area. In such a case, there is a problem that an effective dynamic enlargement process cannot be performed by the conventional tone correction device, and an image without sharpness is generated.
[0008]
The present invention has been made to solve such a problem, and is intended to realize an effective dynamic enlargement process regardless of how the high-luminance portion and the low-luminance portion of the subject are distributed. Offering technology.
[0009]
[Means for Solving the Problems]
The video processing apparatus according to the present invention includes a level synthesizing unit that generates a level synthesized video signal by level synthesizing the first and second video signals obtained by capturing images at different exposure times; A first and a second proper exposure signal representing a proper exposure area of each of the two video signals; and a first gradation correction data based on the first proper exposure signal. A first gradation correcting unit for correcting a gradation of the level composite video signal, and a second gradation correcting unit for performing a gradation correction of the level composite video signal using second gradation correction data based on the second proper exposure signal. Tone correcting means, and area synthesizing means for area synthesizing level-combined video signals, each of which has been tone-corrected by the first and second tone correcting means, based on the first and second proper exposure signals. Is provided.
[0010]
With this configuration, tone correction is performed on the level composite video signal based on each of the first and second proper exposure signals representing the proper exposure area of the first and second video signals, and thus the tone corrected 2 The two level synthesized video signals are area-synthesized based on the first and second proper exposure signals. As a result, it is possible to prevent the high-luminance portion and the low-luminance portion of the subject from being mixed in one of the divided areas. An appropriate video signal is obtained which represents the luminance distribution of the above as a luminance distribution within an appropriate range.
[0011]
Further, the image processing apparatus of the present invention further includes a level synthesizing unit configured to perform level synthesizing by the level synthesizing unit on at least a part of the region based on at least one of the first and second appropriate exposure signals. The image processing apparatus further includes a synthesis level changing unit that changes a reference synthesis level.
[0012]
According to this configuration, since the synthesis level of the level synthesis processing is changed based on the appropriate exposure area, an appropriate level synthesis signal is obtained, and the results of gradation correction and area synthesis are also satisfactorily obtained.
[0013]
A video processing apparatus according to another aspect of the present invention includes: a level synthesizing unit configured to generate a level composite video signal by performing level composition of first and second video signals obtained by capturing images at different exposure times; A proper exposure detecting means for generating first and second proper exposure signals representing respective proper exposure regions of the first and second video signals; and a first proper exposure signal obtained by the proper exposure detecting means. First gradation correction means for performing gradation correction of the level composite video signal using first gradation correction data based on the first gradation correction data, and a second gradation correction means based on a second proper exposure signal obtained by the proper exposure detection means. A second tone correction means for tone-correcting the level-combined video signal using tone correction data; and one of the first and second proper exposure signals in a proper exposure region having a predetermined threshold or less. Small area exposure A proper exposure signal changing means for changing the first and second proper exposure signals so that the small proper exposure region becomes a proper exposure region of the other proper exposure signal, Area synthesizing means for area-synthesizing the level-combined video signals, each of which has been gradation-corrected by the first and second gradation correction means, based on the first and second proper exposure signals changed by the means. .
[0014]
With this configuration, an appropriate video signal that expresses the luminance distribution of the subject within an appropriate range can be obtained as described above. Further, when there is a small proper exposure region having an area equal to or smaller than a predetermined threshold value in the proper exposure region of one proper exposure signal, the small proper exposure region is treated as a proper exposure region of the other proper exposure signal. Thereby, blurring of the small appropriate exposure area due to performing tone correction and area synthesis on the small appropriate exposure area can be prevented.
[0015]
Note that, within the scope of the present invention, the present invention may, of course, be applied to a small proper exposure area of the proper exposure area of the first proper exposure signal. The present invention may be applied to the small appropriate exposure area of the above, or the present invention may be applied to both.
[0016]
Further, the image processing apparatus according to the present invention further includes a method for at least a part of the region based on at least one of the first and second proper exposure signals changed by the proper exposure signal changing unit. The image processing apparatus further includes a synthesis level changing unit that changes a synthesis level serving as a reference of the level synthesis.
[0017]
With this configuration, since the synthesis level of the level synthesis processing is changed based on the appropriate exposure area, an appropriate level synthesized video signal can be obtained, and the results of gradation correction and area synthesis can be obtained well.
[0018]
Further, in the video processing device according to the present invention, the synthesis level changing unit corresponds to a low-luminance portion of a video signal obtained by imaging with a shorter exposure time among the first and second video signals. The synthesis level is changed so that the subject portion is level-combined using the video signal of the first and second video signals obtained by imaging with a longer exposure time.
[0019]
With this configuration, it is possible to prevent the image quality of the level composite video signal from deteriorating due to the low-luminance portion signal of the video signal obtained by imaging with a short exposure time and to contribute to the expansion of the dynamic range of the video signal. By effectively using the above signal, an appropriate video signal expressing the luminance distribution of the subject can be generated.
[0020]
Further, an imaging system according to the present invention includes the video processing device according to any one of the above, and imaging means for generating the first and second video signals.
[0021]
With this configuration, a subject having a luminance distribution range exceeding the dynamic range of the imaging unit can be imaged, and a video signal having a luminance distribution corresponding to the luminance distribution of the subject can be generated.
[0022]
It is needless to say that the video processing apparatus of the present invention is not limited to the configuration that processes only two video signals. That is, for example, the third, fourth,... Video signals having different exposure times from the first and second video signals are treated in the same manner as the first and second video signals, and the luminance distribution of the object is obtained. The present invention also includes an apparatus for generating a video signal having a luminance distribution corresponding to the above.
[0023]
The invention is not limited to the device embodiments as described above. Another embodiment of the present invention is a video processing method, a program for causing a computer to execute the video processing method, and a recording medium storing the program.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0025]
(First Embodiment)
FIG. 1 is a block diagram illustrating a configuration of an imaging system 10 including the video processing device according to the first embodiment. The imaging system 10 includes an imaging unit 31, a preprocessing unit 32, an A / D conversion unit 33, a time axis conversion unit 34, and a level synthesis unit 35.
[0026]
The imaging unit 31 includes a CCD composed of a plurality of pixels arranged in a plane. The imaging unit 31 generates a video signal (LONG signal) having a long exposure time and a video signal (SHORT signal) having a short exposure time in accordance with an instruction from a control unit (not shown). At this time, the imaging unit 31 sets the horizontal transfer speed of the CCD to twice the normal speed, alternately outputs the LONG signal and the SHORT signal for each horizontal line, and thereby outputs the video signal for one field in the normal imaging. Are output for one field, respectively, during the period during which is output.
[0027]
The preprocessing unit 32 includes a CDS circuit that performs a noise removal process and an AGC circuit that performs a gain control process, and performs preprocessing such as noise removal and gain control on a signal output from the imaging unit 31. The A / D converter 33 converts the video signal preprocessed by the preprocessor 32 from an analog signal to a digital signal.
[0028]
The time axis conversion unit 34 converts the time axes of the LONG signal and the SHORT signal continuously generated by the imaging unit 31 so that both signals have a standard speed and the same timing. The video signal generated by the imaging unit 31 by the time axis conversion unit 34 is separated into a LONG signal and a SHORT signal, and can be handled independently. The LONG signal and the SHORT signal are input to the level synthesizing unit 35, respectively. The level synthesizing unit 35 performs level synthesizing of the LONG signal and the SHORT signal.
[0029]
FIG. 2 is a diagram illustrating the level combining process of the level combining unit 35. 2A to 2E, the horizontal axis indicates the brightness of the subject, and the vertical axis indicates the coordinates of the brightness level of the image. As shown in FIG. 2A, the LONG signal increases the brightness level of the image as the brightness of the subject increases, but the brightness of the subject is higher than a predetermined level because the exposure time is long. Then, the brightness level of the image is saturated, and the brightness level of the image becomes constant regardless of the brightness of the subject. The level synthesizing unit 35 compresses the LONG signal whose luminance level of the image has reached the saturation point, as shown in FIG.
[0030]
On the other hand, as shown in FIG. 2B, the increase rate of the brightness level of the image with respect to the brightness of the subject is slower in the SHORT signal than in the LONG signal. The level synthesizing unit 35 adds an offset component to such a short signal as shown in FIG. At this time, the SHORT signal is offset so that the SHORT signal has the brightness level of the saturation point at the brightness of the subject when the brightness level of the LONG signal reaches the saturation point.
[0031]
The level synthesizing unit 35 further synthesizes the compressed LONG signal and the offset SHORT signal as shown in FIG. 2 (e), using the saturation point of the LONG signal as the synthesis point (the synthesis level of the present invention). At this time, the level synthesizing unit 35 synthesizes the two signals using the LONG signal at the luminance level below the synthesis point and uses the SHORT signal at the luminance level above the synthesis point to generate a level composite video signal. Note that the level synthesizing unit 35 constitutes a level synthesizing unit of the present invention.
[0032]
The imaging system 10 further includes a LONG proper exposure detection unit 36, a SHORT proper exposure detection unit 37, a LONG histogram data detection unit 38, a SHORT histogram detection unit 39, a LONG gradation correction data calculation unit 40, and a SHORT gradation correction data calculation unit. 41, a LONG area tone correction section 42 and a SHORT area tone correction section 43. Hereinafter, each part will be described in order.
[0033]
The LONG proper exposure detection unit 36 and the SHORT proper exposure detection unit 37 take in the LONG signal and the SHORT signal separated and output by the time axis conversion unit 34, respectively, and detect a proper exposure portion in each signal.
[0034]
FIG. 3 is a diagram for explaining a proper exposure detection process of the LONG proper exposure detection unit 36 and the SHORT proper exposure detection unit 37. Here, a case will be described in which the imaging unit 31 images the subject shown in FIG. This subject has a relatively large elliptical bright area LA in a dark area DA. When the subject is imaged by long-time exposure and short-time exposure, respectively, the time axis conversion unit 34 obtains a LONG signal and a SHORT signal indicating the subject. FIGS. 3B and 3C are diagrams showing the luminance levels of the LONG signal and the SHORT signal corresponding to the image on the AB line of the subject shown in FIG. 3A.
[0035]
The LONG proper exposure detection unit 36 and the SHORT proper exposure detection unit 37 store a predetermined luminance level threshold value, respectively. Upon receiving the LONG signal, the LONG proper exposure detection unit 36 detects an area in the LONG signal whose luminance level is equal to or less than a threshold value as a proper exposure area of the LONG signal (hereinafter, referred to as a LONG proper exposure area), and determines that area. The LONG proper exposure signal shown is generated. In this example, the dark area DA in the subject is detected as the LONG proper exposure area. Therefore, as shown in FIG. 3D, in the portion corresponding to the LONG proper exposure signal on the AB line, a dark area having a luminance level equal to or lower than the threshold is 1 and a bright area having a luminance level equal to or higher than the threshold is 0. It is.
[0036]
Upon receiving the SHORT signal of the subject shown in FIG. 3A, the SHORT proper exposure detection unit 37 determines an area of the SHORT signal whose luminance level is equal to or greater than a threshold value in a SHORT signal proper exposure area (hereinafter, SHORT proper exposure). Area) and generates a short proper exposure signal indicating the area. In this example, a bright area LA in the subject is detected as a short proper exposure area. Therefore, as shown in FIG. 3 (e), in a portion corresponding to the short proper exposure signal on the AB line, a bright region having a luminance level equal to or higher than the threshold is 1 and a dark region having a luminance level equal to or lower than the threshold is 0. It is.
[0037]
The LONG proper exposure detection unit 36 and the SHORT proper exposure detection unit 37 output the LONG proper exposure signal and the SHORT proper exposure signal respectively generated as described above. Note that the LONG proper exposure detecting section 36 and the SHORT proper exposure detecting section 37 constitute a proper exposure detecting means of the present invention.
[0038]
The LONG histogram data detection unit 38 first takes in the LONG signal output from the time axis conversion unit 34 and the LONG proper exposure signal output from the LONG proper exposure detection unit 36, and uses these signals to LONG the proper exposure area. Generate a histogram of the signal.
[0039]
FIG. 4 is a diagram illustrating a process of generating a histogram of a LONG proper signal in the LONG histogram data detector 38. FIG. 4A is a diagram showing a luminance level on the AB line of the LONG signal. This LONG signal is input from the time axis conversion unit 34 to the LONG histogram data detection unit 38. FIG. 4B is a diagram showing a portion of the LONG proper exposure signal corresponding to the AB line. This LONG proper exposure signal is input from the LONG proper exposure detection unit 36 to the LONG histogram detection unit 38. The LONG histogram data detector 38 generates a LONG proper signal indicating the LONG signal of the LONG proper exposure area by multiplying the LONG signal by the LONG proper exposure signal. In this example, on the AB line of the subject, the LONG signal shown in FIG. 4A and the LONG proper exposure signal shown in FIG. 4B are multiplied to obtain the LONG signal shown in FIG. An appropriate signal is generated.
[0040]
The LONG histogram data detector 38 generates LONG histogram data indicating a luminance histogram of the LONG proper signal thus obtained. FIG. 4D is histogram data showing the luminance distribution of the LONG proper signal. Since the LONG proper signal is a signal representing a proper exposure area of the LONG signal, that is, a signal representing an image of a dark area in the subject, its luminance distribution is biased toward the low luminance side as shown in FIG.
[0041]
FIG. 5 is a diagram illustrating a process of generating a histogram of a short proper signal in the short histogram data detection unit 39. Similarly to the LONG histogram data detection unit 38, the SHORT histogram data detection unit 39 first generates a SHORT proper signal by multiplying the SHORT signal by the SHORT proper exposure signal. As shown in FIG. 5, on the AB line, the SHORT signal shown in FIG. 5A is multiplied by the SHORT proper exposure signal shown in FIG. 5B, and the SHORT proper signal shown in FIG. A signal is generated.
[0042]
The short histogram data detection unit 39 generates short histogram data indicating the luminance histogram of the short proper signal thus obtained. FIG. 5D is histogram data showing the luminance distribution of the short proper signal. Since the SHORT proper signal is a signal representing a proper exposure area of the SHORT signal, that is, a signal representing a video of a bright area in the subject, the luminance distribution is biased toward the high luminance side as shown in FIG.
[0043]
The LONG gradation correction data calculation unit 40 and the SHORT gradation correction data calculation unit 41 take in the histogram data generated by the LONG histogram data detection unit 38 and the SHORT histogram data detection unit 39, respectively, and based on the histogram data, LONG gradation correction data and SHORT gradation correction data are calculated respectively.
[0044]
FIG. 6 is a diagram for explaining the processing in the LONG gradation correction data calculation unit 40. As the LONG gradation correction data, the LONG histogram data shown in FIG. 6A generated by the LONG histogram data detector 38 is obtained, and the LONG gradation correction data shown in FIG. 6B is calculated. . As described above, since the histogram of the LONG proper signal is biased toward the low luminance side, the LONG gradation correction data calculating unit 40 corrects the low luminance part of the LONG proper signal by raising the low luminance part as shown in FIG. Calculate the data.
[0045]
FIG. 7 is a diagram illustrating the processing of the short gradation correction data calculation unit 41. The SHORT gradation correction data calculation unit 41, like the LONG gradation correction data calculation unit 40, based on the SHORT histogram data shown in FIG. Is calculated. Here, the histogram of the short proper signal is biased toward the high luminance side, contrary to the histogram of the long proper signal, so that the short gradation correction data calculation unit 41 performs the short correction as shown in FIG. The correction data for raising the high luminance portion of the appropriate signal is calculated.
[0046]
Returning to FIG. 1, the LONG region gradation correction unit 42 and the SHORT region gradation correction unit 43 use the LONG gradation correction data and the SHORT gradation correction data to generate the level composite video signal generated by the level synthesizing unit 35. Is corrected. The LONG area tone correction section 42 and the SHORT area tone correction section 43 constitute first and second tone correction means of the present invention.
[0047]
FIG. 8 is a diagram for explaining the processing of the LONG region gradation correction unit 42 and the SHORT region gradation correction unit 43. By applying the LONG gradation correction data to the level composite video signal, a low luminance portion in the level composite video signal is emphasized. In addition, by applying SHORT gradation correction data to the level signal, a high luminance portion in the level composite video signal is emphasized. FIG. 8 shows a change in a portion on the AB line in the level composite video signal when the level composite video signal is subjected to the gradation correction using the LONG gradation correction data and the SHORT gradation correction data.
[0048]
The portion on the AB line of the level composite video signal shown in FIG. 8A is subjected to gradation correction using the LONG gradation correction data shown in FIG. 8B, so that the signal shown in FIG. Become. By this gradation correction, the level of the low-luminance portion, that is, the low signal level portion, of the level composite video signal is raised, and the level of the high-luminance portion, that is, the high signal level portion is suppressed. Further, when the level composite video signal of FIG. 8A is subjected to gradation correction using the SHORT gradation correction data shown in FIG. 8D, as shown in FIG. 8E, the low luminance of the level composite video signal is obtained. The level of the part is suppressed, and the level of the high brightness part is raised. Hereinafter, the level composite video signals subjected to the gradation correction by the LONG region gradation correction unit 42 and the SHORT region gradation correction unit 43 are referred to as a LONG gradation correction signal and a SHORT gradation correction signal, respectively.
[0049]
The imaging system 10 further includes a synthesized waveform generation unit 44, a region synthesis unit 45, and a main signal processing unit 46.
[0050]
As described above, the LONG proper exposure signal obtained from the LONG proper exposure detecting unit 36 is used for creating a histogram of the LONG proper exposure area in the LONG histogram data detecting unit 38, and the combined waveform generating unit 44 It is also used for processing. The short proper exposure signal is also used for processing in the composite waveform generation unit 44, similarly to the long proper exposure signal. The synthesized waveform generation unit 44 acquires the LONG proper exposure signal and the SHORT proper exposure signal, and detects the boundary of the proper exposure area between the LONG signal and the SHORT signal.
[0051]
Then, the synthetic waveform generation unit 44 generates a LONG weighting processing function for the LONG tone correction signal, which is 1 in a proper exposure area indicated by the LONG proper exposure signal and 0 in other areas. In addition, the combined waveform generation unit 44 generates a short weighting processing function for the short gradation correction signal, which is 1 in a proper exposure region indicated by the short proper exposure signal and 0 in other regions.
[0052]
Here, in order to smoothly connect the LONG proper area and the SHORT proper area at the time of area synthesis described later, the LONG weighting processing function and the SHORT weighting processing function are functions that gradually change from 0 to 1 or 1 to 0. Is done. Further, in the present embodiment, the LONG weighting function and the SHORT weighting function have a complementary relationship in which the sum of the two always becomes 1.
[0053]
FIG. 9 and FIG. 10 are diagrams illustrating the processing of the composite waveform generation unit 44. FIG. 9 shows the LONG gradation correction signal on the AB line and the LONG weighting processing function (1-K). FIG. 10 shows the SHORT gradation correction signal on the AB line and the SHORT weighting function (K). As described above, the LONG weighting processing function and the SHORT weighting processing function are functions in which the weighting coefficient gradually increases or decreases around the boundary between 1 and 0 and changes from 0 to 1 or from 1 to 0. 9 and 10 show the change of the weighting function on the AB line, that is, in the horizontal direction. However, the weighting coefficient gradually increases or decreases at the boundary of 0 to 1 or 1 to 0 also in the vertical direction. The LONG weight function and the SHORT weight function generated as described above are output to the area combining unit 45.
[0054]
The area combining unit 45 extracts a proper exposure portion of the LONG tone correction signal using the LONG weighting processing function, extracts a proper exposure portion of the SHORT tone correction signal using the SHORT weighting function, and combines the two. To generate an area composite signal.
[0055]
FIG. 11 is a block diagram illustrating a configuration of the area combining unit 45. The area combining unit 45 includes a LONG multiplier 451, a SHORT multiplier 452, and an adder 453. The LONG multiplier 451 multiplies the LONG tone correction signal by a LONG weight processing function. As a result, a video signal having a valid value only in the LONG proper exposure area is generated. The short multiplier 452 multiplies the short gradation correction signal by the short weighting function. As a result, a video signal having a valid value only in the short proper exposure area is generated. The adder 453 adds the output of the LONG multiplier 451 and the output of the SHORT multiplier 452. As a result, in the LONG proper exposure area, a LONG gradation correction signal is adopted, and in the SHORT proper exposure area, an area composite signal adopting the SHORT gradation correction signal is generated. The area synthesizing unit 45 constitutes an area synthesizing unit of the present invention.
[0056]
FIG. 12 is a diagram illustrating an image represented by the area synthesis signal generated by the area synthesis unit 45. By the above-described gradation correction process, the contrast from the bright region to the dark region of the subject is expressed within the dynamic range of the imaging system 10, and the brightness of the subject can be reduced without producing a white portion or a black portion. The distribution is properly represented.
[0057]
As described with reference to FIGS. 9 and 10, since the LONG weighting processing function and the SHORT weighting processing function are set to change smoothly, the LONG floor is set at the boundary MA between the bright area and the surrounding dark area. The tone correction signal and the SHORT gradation correction signal are naturally combined.
[0058]
Returning to FIG. 1, the main signal processing unit 46 performs signal processing of a main part including a compression encoding process on the area combined signal, and outputs a signal to an external device.
[0059]
As described above, the imaging system 10 of the present embodiment detects the LONG proper exposure area and the SHORT proper exposure area representing each proper exposure area from the LONG signal and the SHORT signal having different exposure times. Then, tone correction is performed on the level composite video signal based on the LONG proper exposure area and the SHORT proper exposure area detected in this manner, and the two level composite signals thus corrected in tone are combined with the LONG proper exposure area and the SHORT. Area synthesis is performed based on the appropriate exposure area. As a result, appropriate gradation correction is performed on the high luminance portion and the low luminance portion of the subject, and an appropriate video signal that expresses the luminance distribution of the subject with the luminance distribution within the dynamic range of the imaging system 10 is obtained.
[0060]
In addition, the imaging system 10 of the present embodiment outputs two video signals alternately output from the imaging unit 31 within one field period with the time axis converted by the time axis conversion unit 34. A field memory for temporarily storing two different signals is not required. Thereby, the circuit scale of the imaging system 10 can be reduced.
[0061]
(Second embodiment)
FIG. 13 is a block diagram illustrating a configuration of an imaging system 20 including the video processing device according to the second embodiment. The configuration of the imaging system 20 is the same as the configuration of the imaging system 10 of the first embodiment, except that the imaging system 20 includes the appropriate exposure area conversion unit 47. In FIG. 13 and the following description, the same components as those of the imaging system 10 among the components of the imaging system 20 are denoted by the same reference numerals as those of the imaging system 10, and the description thereof will be omitted.
[0062]
As already described as the first embodiment of the present invention, the imaging system 10 shown in FIG. 1 can obtain an appropriate video signal that expresses the luminance distribution of a subject by the luminance distribution within the dynamic range of the imaging system 10. Then, at the boundary MA between the bright region and the surrounding dark region, the LONG gradation correction signal and the SHORT gradation correction signal are naturally synthesized, and an image free from discomfort due to the region synthesis is obtained. However, when the area of the LONG proper exposure area or the SHORT proper exposure area is extremely small, an image may be blurred at the boundary portion, and a portion corresponding to the small proper exposure area may appear as a spot due to area synthesis.
[0063]
Therefore, in order to prevent the above-described spot-like portion from appearing in the area composite image, the imaging system 20 according to the present embodiment employs an appropriate exposure before the composite waveform generation section 44 as shown in FIG. An area conversion unit 47 is provided.
[0064]
FIG. 14 is a block diagram showing the configuration of the proper exposure signal conversion unit 47. The proper exposure signal conversion unit 47 includes an image data buffer 471 that acquires a short proper exposure signal and temporarily stores several lines. The image data buffer 471 outputs a short proper exposure signal every several lines. The short area conversion unit 472 stores a threshold value of a predetermined number of pixels. The short area conversion unit 472 acquires a short appropriate signal for several lines, and cancels a short appropriate exposure area (hereinafter, referred to as a small appropriate exposure area) whose area is less than the threshold value in the short appropriate exposure signal. Perform filter processing. That is, the short area conversion unit 472 converts the short appropriate exposure signal so that the small appropriate exposure area in the short appropriate exposure area is not the short appropriate exposure area. The above threshold value is preferably set so that a short appropriate exposure area having an extremely small area can be canceled.
[0065]
The LONG region exposure unit 473 converts the LONG proper exposure signal using the SHORT proper exposure signal converted as described above such that the LONG proper exposure signal is complementary to the SHORT proper exposure signal. In this manner, the proper exposure signal conversion section 47 converts and outputs both the short proper exposure signal and the long proper exposure signal.
[0066]
FIG. 15 is a diagram for explaining the processing of the proper exposure signal conversion unit 47. Here, a case where the imaging unit 31 images the subject shown in FIG. This subject has a bright area L1 having a relatively large area and bright areas L2 and L3 having a small area in a dark area DA. The LONG proper exposure signal and the SHORT proper exposure signal of the subject are, for example, signals shown in FIGS. 15B and 15C, respectively, on the AB line.
[0067]
As shown in FIG. 15B, in the processing of the short proper exposure detection unit 37, three bright areas L1 to L3 in the subject are short proper exposure areas. However, since the bright region L2 and the bright region L3 are smaller in area than the threshold, the bright region L2 and the bright region L3 are converted to 0 by the short region conversion unit 472 as shown in FIG. Is done. The LONG proper exposure signal is also converted by the LONG area conversion unit 473 as shown in FIG. 15E so as to have a complementary relationship with the SHORT proper exposure signal in FIG. Note that this proper exposure signal conversion unit 47 corresponds to a proper exposure signal changing unit of the present invention.
[0068]
Returning to FIG. 13, in the imaging system 20 of the present embodiment, the LONG proper exposure signal and the SHORT proper exposure signal generated by the LONG proper exposure detection unit 36 and the SHORT proper exposure detection unit 37 are as described above. After being converted by the appropriate exposure signal converter 47, it is input to the composite waveform generator 46.
[0069]
In the above example, the processing for detecting the small proper exposure area in the short proper exposure area and canceling the area is performed. However, the processing for detecting the small proper exposure area in the long proper exposure area and canceling the area is performed. May be performed, or a small area may be detected from both the SHORT proper exposure area and the LONG proper exposure area. Further, in the above example, the small proper exposure area is detected from the short proper exposure signal. However, the LONG proper exposure signal may be checked to detect the small proper exposure area.
[0070]
As described above, when the small proper exposure area exists in the SHORT proper exposure area or the LONG proper exposure area, the imaging system 20 according to the second embodiment makes the other proper exposure area. To the short proper exposure signal or the long proper exposure signal. Thus, in addition to the effect of the imaging system 10 of the first embodiment, the inconvenience that a portion corresponding to the small appropriate exposure area is blurred by the area combination processing and an unnatural image is generated can be solved.
[0071]
(Third embodiment)
FIG. 16 is a block diagram illustrating a configuration of an imaging system 30 including the video processing device according to the third embodiment. The configuration of the imaging system 30 is obtained by adding a combined level signal generation unit 48 to the configuration of the imaging system 20 of the second embodiment. In FIG. 16 and the following description, the same components as those of the imaging system 20 among the components of the imaging system 30 are denoted by the same reference numerals as those of the imaging system 20, and the description thereof will be omitted.
[0072]
FIG. 17 is a diagram illustrating the process of the synthesis level signal generation unit 48. Here, a case will be described in which the imaging unit 31 images the subject illustrated in FIG. This subject has an area X and a bright area LA in a dark area DA. The region X is a region having a lower luminance than the bright region L1 and a higher luminance than the dark region DA.
[0073]
Here, since the bright area LA is an area that has been skipped white in the LONG signal, it is an area in which the SHORT signal should be adopted in the level synthesis processing in the level synthesis unit 35. Further, the dark area DA is an area that is darkened in the SHORT signal, and is an area where the LONG signal should be used in the level synthesis processing. On the other hand, the area X is a low-luminance area for the SHORT signal and a high-luminance area for the LONG signal.
[0074]
In the area X, the effect of the dynamic range expansion processing is more remarkable when using the LONG signal having high luminance than using the SHORT signal having low luminance in the level synthesis processing. Further, when a level composite video signal is generated using the SHORT signal in this region X, noise is generated in a portion corresponding to that region, which causes image quality deterioration. Therefore, only the SHORT signal in a region where the effect of the dynamic range expansion processing is remarkable, such as a bright region LA in FIG. If it is not used, a level composite video signal is obtained in which the effect of the dynamic range expansion processing is great and the image quality is less deteriorated due to noise.
[0075]
Here, as described above, the area X is a low-luminance area for the SHORT signal and a high-luminance area for the LONG signal. Therefore, the region X is not a proper exposure region in the SHORT signal, but is detected as a proper exposure region in the LONG signal. Therefore, the combined level signal generation unit 48 varies the combined level for each area according to the LONG proper exposure area and the SHORT proper exposure area by using the SHORT proper signal or the LONG proper signal.
[0076]
Specifically, the combined level signal generation unit 48, in accordance with the LONG proper exposure signal and the SHORT proper exposure signal, in the LONG proper exposure area, uses a high combined level (such as a low luminance portion of the SHORT signal in level combining). In the short appropriate exposure area, a composite level signal indicating a low composite level (composite level 1) is generated such that a high luminance portion of the short signal is used in the level composite. FIG. 17D shows the composite level signal generated in this manner. In FIG. 17D, the vertical direction indicates the value of the synthesis level. However, in FIG. 17D, the level of the synthesis level is shown in reverse.
[0077]
Returning to FIG. 16, the combined level signal generating section 48 outputs the combined level signal to the level combining section 35, and the level combining section 35 variably sets the combined level of at least a part of the area according to the level combined signal. .
[0078]
FIG. 18 is a diagram showing level composite waveforms at the respective composite levels of the composite level 1 and the composite level 2. FIG. 18A shows a level composite waveform applied to the SHORT proper exposure area, with the composite level 1 being the composite point. FIG. 18B is a level composite waveform applied to the LONG proper exposure area, with the composite level 2 being the composite point. As shown in FIG. 18A, if the area X in the subject is subjected to level synthesis at the synthesis level 1, the SHORT signal will be adopted. However, in the present embodiment, in the area X, since the level is synthesized by the level synthesized waveform shown in FIG. 18B, the LONG signal is adopted as shown in FIG. In the present embodiment, the combined level changing unit of the present invention is realized by the combined level signal generating unit 48 that generates the combined level signal and the level combining unit 35 that variably sets the combined level based on the combined level signal.
[0079]
In the example of FIG. 16, the combined level signal generation unit 48 generates the combined level signal using the LONG proper exposure signal and the SHORT proper exposure signal converted by the proper exposure area converting unit 47. A composite level signal may be generated using the LONG proper exposure signal and the SHORT proper exposure signal output from the detecting unit 36 and the SHORT proper exposure detecting unit 37.
[0080]
As described above, according to the imaging system 30 of the present embodiment, since the level composite video signal is generated using the high luminance area in the SHORT signal and the low luminance area in the LONG signal, the first and second video signals are generated. The same processing effect as in the imaging system according to the embodiment can be obtained. In the imaging system 30, the synthesis level is changed according to the area so that the level corresponding to the low luminance area of the SHORT signal is synthesized using the LONG signal. As a result, only the SHORT signal in the region where the effect of the dynamic range expansion processing is remarkable is used for level synthesis, so that a level synthesized video signal with a large effect of the dynamic range expansion processing and little image quality deterioration due to noise can be obtained.
[0081]
In the first to third embodiments, the imaging unit 31 captures an image of a subject at two different exposure times to generate two video signals having different exposure times, and use these signals. Although the gradation-corrected video signal is generated, three or more types of video signals may be generated to generate the gradation-corrected video signal in the same manner as described above.
[0082]
In the imaging systems according to the first to third embodiments, the LONG tone correction data calculation unit 40 and the SHORT tone correction data calculation unit 41 are configured by software. May be configured. In these cases, the function of each part is realized by a computer processing data according to a predetermined program.
[0083]
【The invention's effect】
As described above, according to the present invention, the level composite video signal is subjected to gradation correction based on the appropriate exposure area of each of the two video signals having different exposure times, and thus the two level-combined video signals thus gradation-corrected are provided. Since the signals are area-synthesized based on the appropriate exposure area, it is possible to provide a video signal processing apparatus having an excellent effect that an effective dynamic enlargement process can be executed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging system according to a first embodiment.
FIG. 2 is a diagram illustrating a level synthesis process of a level synthesis unit according to the first embodiment.
FIG. 3 is a diagram illustrating an appropriate exposure detection process according to the first embodiment.
FIG. 4 is a view for explaining processing for generating a histogram of a LONG proper signal according to the first embodiment;
FIG. 5 is a view for explaining a process of generating a histogram of a proper SHORT signal according to the first embodiment;
FIG. 6 is a view for explaining processing in a LONG gradation correction data calculation unit according to the first embodiment;
FIG. 7 is a view for explaining processing in a SHORT gradation correction data calculation unit according to the first embodiment;
FIG. 8 is a view for explaining processing of a LONG region gradation correction unit and a SHORT region gradation correction unit according to the first embodiment;
FIG. 9 is a view for explaining processing of a synthetic waveform generation unit according to the first embodiment;
FIG. 10 is a view for explaining processing of a synthesized waveform generation unit according to the first embodiment;
FIG. 11 is a block diagram illustrating a configuration of an area combining unit according to the first embodiment.
FIG. 12 is a diagram illustrating an image represented by an area synthesis signal generated by the area synthesis unit according to the first embodiment;
FIG. 13 is a block diagram illustrating a configuration of an imaging system according to a second embodiment.
FIG. 14 is a block diagram illustrating a configuration of a proper exposure signal conversion unit according to the second embodiment;
FIG. 15 is a view for explaining processing of an appropriate exposure signal conversion unit according to the second embodiment;
FIG. 16 is a block diagram illustrating a configuration of an imaging system according to a third embodiment.
FIG. 17 is a view for explaining processing of a composite level signal generation unit according to the third embodiment;
FIG. 18 is a diagram showing level composite waveforms at respective composite levels according to the third embodiment.
[Explanation of symbols]
10, 20, 30 imaging system
34 Time axis converter
35 level synthesis unit
36 LONG proper exposure detector
37 SHORT proper exposure detector
40 LONG gradation correction data calculation unit
41 SHORT gradation correction data calculation unit
42 LONG area gradation correction unit
43 SHORT area gradation correction unit
44 Synthetic waveform generator
45 area synthesis unit
47 Appropriate exposure area conversion unit
48 Composite Level Signal Generation Unit

Claims

互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、
前記第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、
前記第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、
前記第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段と、
を備えることを特徴とする映像処理装置。Level synthesizing means for level-synthesizing the first and second video signals obtained by imaging at mutually different exposure times to generate a level synthesized video signal;
Proper exposure detecting means for generating first and second proper exposure signals representing respective proper exposure areas of the first and second video signals;
First tone correction means for tone-correcting the level composite video signal using first tone correction data based on the first proper exposure signal;
Second tone correction means for tone-correcting the level composite video signal using second tone correction data based on the second proper exposure signal;
Area synthesizing means for area synthesizing level synthesized video signals, each of which has been gradation-corrected by the first and second gradation correction means, based on the first and second proper exposure signals;
A video processing device comprising:

前記第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成手段のレベル合成の基準となる合成レベルを変更する合成レベル変更手段を備えたことを特徴とする請求項１に記載の映像処理装置。Combination level changing means for changing a combination level serving as a reference for level combination of the level combination means for at least a part of the region based on at least one of the first and second proper exposure signals. The video processing device according to claim 1, further comprising:

互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成手段と、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出手段と、
前記適正露光検出手段により得られた第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正手段と、
前記適正露光検出手段により得られた第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正手段と、
前記第１および第２の適正露光信号の一方の適正露光領域の中に所定の閾値以下の面積の小適正露光領域が存在する場合、前記小適正露光領域が他方の適正露光信号の適正露光領域となるように前記第１および第２の適正露光信号を変更する適正露光信号変更手段と、
前記適正露光信号変更手段により変更された第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正手段によりそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成手段と、
を備えることを特徴とする映像処理装置。Level synthesizing means for level-synthesizing the first and second video signals obtained by imaging at mutually different exposure times to generate a level synthesized video signal;
Proper exposure detecting means for generating first and second proper exposure signals representing respective proper exposure areas of the first and second video signals;
First gradation correction means for performing gradation correction on the level composite video signal using first gradation correction data based on a first proper exposure signal obtained by the proper exposure detection means;
Second tone correction means for tone-correcting the level composite video signal using second tone correction data based on a second proper exposure signal obtained by the proper exposure detection means;
When a small proper exposure area having an area equal to or less than a predetermined threshold value exists in one of the first and second proper exposure signals, the small proper exposure area becomes a proper exposure area of the other proper exposure signal. Proper exposure signal changing means for changing the first and second proper exposure signals so that
An area for area-synthesizing a level-combined video signal whose tone has been corrected by the first and second tone correction means based on the first and second proper exposure signals changed by the appropriate exposure signal change means; Combining means;
A video processing device comprising:

前記適正露光信号変更手段により変更された第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して前記レベル合成の基準となる合成レベルを変更する合成レベル変更手段を備えることを特徴とする請求項３に記載の映像処理装置。A synthesis level serving as a reference of the level synthesis is changed for at least a part of the region based on at least one of the first and second proper exposure signals changed by the proper exposure signal changing unit. The video processing apparatus according to claim 3, further comprising a synthesis level changing unit.

前記合成レベル変更手段は、前記第１および第２の映像信号のうちの短い露光時間での撮像により得られた方の映像信号の低輝度部分に相当する被写体部分が、前記第１および第２の映像信号のうちの長い露光時間での撮像により得られた方の映像信号を用いてレベル合成されるように、前記合成レベルを変更することを特徴とする請求項２または４に記載の映像処理装置。The combining level changing unit may be configured to determine that a subject portion corresponding to a low-brightness portion of the first and second video signals obtained by imaging with a shorter exposure time is the first and second video signals. 5. The video according to claim 2, wherein the composite level is changed so that a level is composited using a video signal obtained by imaging with a longer exposure time out of the video signals of (b). Processing equipment.

請求項１〜５のいずれかに記載の映像処理装置と、
前記第１および第２の映像信号を生成する撮像手段とを備えたことを特徴とする撮像システム。An image processing device according to any one of claims 1 to 5,
An imaging system comprising: an imaging unit configured to generate the first and second video signals.

互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成ステップと、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出ステップと、
前記第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正ステップと、
前記第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正ステップと、
前記第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正ステップにてそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成ステップと、
を有することを特徴とする映像処理方法。A level synthesizing step of level-synthesizing the first and second video signals obtained by imaging at mutually different exposure times to generate a level synthesized video signal;
A proper exposure detecting step of generating first and second proper exposure signals representing respective proper exposure regions of the first and second video signals;
A first gradation correction step of performing gradation correction on the level composite video signal using first gradation correction data based on the first proper exposure signal;
A second gradation correction step of performing gradation correction on the level composite video signal using second gradation correction data based on the second appropriate exposure signal;
An area synthesizing step of area synthesizing level-combined video signals, each of which has undergone tone correction in the first and second tone correction steps, based on the first and second proper exposure signals;
A video processing method comprising:

前記第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成ステップにおけるレベル合成の基準となる合成レベルを変更する合成レベル変更ステップをさらに有することを特徴とする請求項７に記載の映像処理方法。A synthesizing level changing step of changing a synthesizing level serving as a reference for level synthesizing in the level synthesizing step for at least a part of the region based on at least one of the first and second proper exposure signals; The video processing method according to claim 7, further comprising:

互いに異なる露光時間で撮像することにより得られた第１および第２の映像信号をレベル合成してレベル合成映像信号を生成するレベル合成ステップと、
前記第１および第２の映像信号のそれぞれの適正露光領域を表す第１および第２の適正露光信号を生成する適正露光検出ステップと、
前記適正露光検出ステップにて生成された第１の適正露光信号に基づく第１の階調補正データを用いて前記レベル合成映像信号を階調補正する第１の階調補正ステップと、
前記適正露光検出ステップにて生成された第２の適正露光信号に基づく第２の階調補正データを用いて前記レベル合成映像信号を階調補正する第２の階調補正ステップと、
前記第１および第２の適正露光信号の少なくとも一方の適正露光領域の中に所定の閾値以下の面積の小適正露光領域が存在する場合、前記小適正露光領域が他方の適正露光信号の適正露光領域となるように前記第１および第２の適正露光信号を変更する適正露光信号変更ステップと、
前記適正露光信号変更ステップにて変更された第１および第２の適正露光信号に基づいて、前記第１および第２の階調補正ステップにてそれぞれ階調補正されたレベル合成映像信号を領域合成する領域合成ステップと、
を有することを特徴とする映像処理方法。A level synthesizing step of level-synthesizing the first and second video signals obtained by imaging at mutually different exposure times to generate a level synthesized video signal;
A proper exposure detecting step of generating first and second proper exposure signals representing respective proper exposure regions of the first and second video signals;
A first gradation correction step of performing gradation correction on the level composite video signal using first gradation correction data based on a first proper exposure signal generated in the proper exposure detection step;
A second gradation correction step of performing gradation correction on the level composite video signal using second gradation correction data based on a second proper exposure signal generated in the proper exposure detection step;
When a small proper exposure area having an area equal to or smaller than a predetermined threshold value exists in at least one proper exposure area of the first and second proper exposure signals, the small proper exposure area is appropriately exposed to the other proper exposure signal. A proper exposure signal changing step of changing the first and second proper exposure signals so as to form an area;
On the basis of the first and second proper exposure signals changed in the proper exposure signal changing step, the level-combined video signals, each of which has been gradation-corrected in the first and second gradation correction steps, are region-combined. Region synthesis step to be performed,
A video processing method comprising:

前記適正露光信号変更ステップにて変更された第１および第２の適正露光信号の少なくとも一方の適正露光信号に基づいて、少なくとも一部の領域に対して、前記レベル合成ステップにおけるレベル合成の基準となる合成レベルを変更する合成レベル変更ステップをさらに有することを特徴とする請求項９に記載の映像処理方法。Based on at least one proper exposure signal of the first and second proper exposure signals changed in the proper exposure signal changing step, a level synthesis reference in the level synthesizing step for at least a part of the area. The video processing method according to claim 9, further comprising a synthesis level changing step of changing the synthesis level.

請求項７〜１０のいずれかに記載の映像処理方法をコンピュータに実行させるプログラム。A program for causing a computer to execute the video processing method according to claim 7.