JP2007180811A - 映像信号処理方法および映像信号処理装置 - Google Patents
映像信号処理方法および映像信号処理装置 Download PDFInfo
- Publication number
- JP2007180811A JP2007180811A JP2005375972A JP2005375972A JP2007180811A JP 2007180811 A JP2007180811 A JP 2007180811A JP 2005375972 A JP2005375972 A JP 2005375972A JP 2005375972 A JP2005375972 A JP 2005375972A JP 2007180811 A JP2007180811 A JP 2007180811A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- value
- distribution
- signal processing
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
【解決手段】本映像信号処理方法は、1画面の映像信号を構成する画素信号レベルの分布から分布パラメータを抽出する第1ステップ(ST2)と、撮像手段の画素に入射する光の積算光量変化に対する映像信号レベル変化の傾きが変化する折れ点について、その目標値(BP1,BP2等)を、抽出した分布パラメータに基づいて決定する第2ステップ(ST4,ST5)と、目標値が得られるように撮像手段を制御し、映像信号の出力飽和特性を変化させる第3ステップ(ST6,ST7)と、を含む。
【選択図】図7
Description
この方法には、画素フィルタ等の種類に応じて画素を高感度と低感度に分けて予め形成し、画像の輝度に応じてどちらの画素からの信号を主体として用いるかを信号処理によって決定し、一つの画像を合成する方法が知られている。また、1画面(1フレームまたは1フィールド)に対する撮像は1回であるが、その出力時の信号電荷のリセットレベルを制御し、画面の明るさ(具体的には各画素からの信号電荷量)に応じてオーバフロー量が異なるようにして、撮像信号のダイナミックレンジを拡大する方法が知られている(例えば、特許文献1参照)。さらに、1画面に対し撮像時間が異なる撮像を複数回行い、これらの画像を合成してダイナミックレンジの広い画像を信号処理によって生成する方法が知られている(例えば、特許文献2参照)。
一方、上記特許文献1に記載されている方法は、例えばCMOSセンサの場合、その画素(ピクセル)内に設けられている転送トランジスタのオン時間(蓄積時間制御)と、リセットトランジスタのゲート電圧レベル(リセットレベル)とを適切に変化させるものである。これにより暗い画像ではリセットレベルに達するまでの時間(撮像時間)を長くできるし、明るい画像では、その明るさに応じて段階的にリセットレベルが機能し、適切なレベルで飽和を発生させる。この方法は、1画面に対する撮像回数が1回であり画像合成も不要なので、その点で好ましい。
この用途では、トンネル内の極めて暗い撮影状態から、トンネル外部の明るい撮影状態に遷移すると、画面全体の輝度分布が大きく変化し、しかもその変化が極めて短時間で行われる。そのような用途のカメラ装置では、上記多重露光の各撮像時間、ならびに、上記蓄積時間およびリセットレベルなどの制御パラメータを一律に固定すると、トンネル内外の一方または双方で白線がノイズレベルに埋もれてしまい正しい検出ができない場合がある。
そこで、上記制御パラメータについて、ある固定のデフォルト値から制御目標を所定量上げ下げして適正な制御目標を求める制御が一般的に行われる。なお、このような制御、または、これに代わる制御は上記特許文献1および2に記載されていない。
図13(A)においては、制御回数0の出力S0は比較的出力レベルが低い、例えばトンネル内の明るさを示している。この状態から、ある比較的明るい撮影状態、例えばトンネル外に状況が変化した場合に、その状況における制御目標範囲を図13(A)において点線により示す。この制御目標範囲は、その範囲がパラメータとして与えられているのではなく、例えば白線を確実に検出可能なレベルとする。したがって、変化後の状況ごとに制御目標範囲も異なり、全体の明るさに応じて適応的に変化する。
この場合、制御回数0の出力S0も、トンネル内の照明等によって様々であるため、最初の制御ではデフォルトの制御量でダイナミックレンジ拡大制御が実行される。その結果得られた制御回数1の出力S1が制御目標範囲を超えたとする。この超えたか否かは画面全体の明るさ情報、例えば輝度の積分値等により検出される。
次の2回目の制御では、白とびを若干防止するような制御量に変更され、再びダイナミックレンジ拡大制御が実行される。その結果得られた制御回数2の出力S2は、僅かに制御目標範囲を下回ったとする。
そして、次の3回目の制御では黒つぶれを若干防止するような制御量に変更され、再びダイナミックレンジ拡大制御が実行される。本例では、その結果得られた制御回数3の出力S3で初めて制御目標範囲内に入り、これにより適正な露出制御が終了する。
本発明が解決しようとする課題は、ダイナミックレンジ拡大処理の応答性を改善するために適した制御目標を定める手法を含む映像信号処理方法と、そのための装置を提供することである。
本発明では好適に、前記分布パラメータは、前記1画面内の画素信号レベルの最小値を含み、前記目標値は、前記分布上で前記最小値を起点とした第1領域の最大レベルを示す第1目標値を含み、前記第1ステップでは前記分布の画素信号レベルの平均値を抽出し、前記2ステップでは、前記平均値を中心とした所定範囲に前記第1目標値を設定する。
本発明では好適に、前記分布パラメータは、前記1画面内の画素信号レベルの最小値を含み、前記目標値は、前記分布上で前記最小値を起点とした第1領域の最大レベルを示す第1目標値を含み、前記パラメータ抽出手段は、前記分布の画素信号レベルの平均値を抽出し、前記目標設定手段は、前記平均値を中心とした所定範囲に前記第1目標値を設定する。
図解したカメラ装置は、撮像素子10と光学部1Aとを備える撮像部1、撮像素子10からの信号をデジタル信号に変換するA/D変換部2、A/D変換後のデジタル信号に各種処理を施す映像信号処理部3、映像信号処理のために例えば1フレームまたは1フィールドの単位で映像信号を記憶する画像メモリ5、映像信号処理に必要な各種パラメータを保持するレジスタ6、および、タイミング制御を含む制御によって他の各部を制御する制御部4を有する。
映像信号処理部3は各種処理として、たとえばホワイトバランス調整、補間処理、γ処理などの一般的な処理のほかに、撮影像のダイナミックレンジを拡大する処理を実行する。映像信号処理部3は、処理後の画像を、たとえばRGBまたはYUVの画像信号として出力する。
上記各部のうち、撮像部1、A/D変換部2、画像メモリ5およびレジスタ6がハードウエアのみから実現可能な部分であり、映像信号処理部3および制御部4は、一部または全部をソフトウエアの機能として実現可能な部分である。このうち制御部4のタイミング制御のためのクロックまたはパルスの生成機能は、通常ハードウエアにより実現する。また、映像信号処理部3においても、リアルタイム処理性が要求される機能は通常ハードウエアにより実現することが望ましい。映像信号処理部3をDSP(Digital Signal Processor)を含むASIC(特定用途向け集積回路)により構成すると、いわゆるマイクロコンピュータのCPUよりも高速で処理が実行でき、望ましい。
本実施形態におけるダイナミックレンジ拡大処理は撮像後の信号処理に特徴があり、撮像素子構造や撮像方法は基本的に任意である。ただし、当該信号処理に適した出力を撮像素子から得る必要がある。以下、当該信号処理に適した出力(撮像信号)を得るための素子構造の一例と、撮像方法の例を述べる。
本例の撮像素子10は、いわゆるCMOSセンサからなる撮像部と、その周辺回路とを備える。図2に図解した部分は、撮像部を構成する1画素(ピクセル)21の回路構成と、画素21の読み出しタイミングを制御する垂直駆動回路20との接続関係を示す。
各画素21は、3つのトランジスタ(ここではNMOS)11,12,13とフォトダイオードPDとを有する。
上記3つのトランジスタは、記憶ノードSNをフローティング状態から電源線17への接続状態に切り替え、記憶ノードSNに電源電圧VAAを充電して、その蓄積電荷量をリセットするリセットトランジスタ11と、リセット後に再びフローティング状態となった記憶ノードSNにフォトダイオードPDで発生した電荷(通常、電子)を転送する転送トランジスタ12と、ドレインが電源線17に接続され、記憶ノードSNに転送した蓄積電荷に応じた画素信号を増幅して、垂直信号線14に出力するアンプトランジスタ13とからなる。
リセットトランジスタ11は、そのドレインが電源線17に接続され、ソースが記憶ノードSNに接続され、ゲートが飽和制御電圧VSCとリセット電圧VRTとの印加を制御する第1制御線15に接続されている。このうち転送トランジスタ12は、そのドレインが記憶ノードSNに接続され、ソースがフォトダイオードPDのカソードとなる半導体不純物領域(不図示)に接続され、ゲートが転送電圧VTの印加時間(撮像時間)を制御する第2制御線16に接続されている。アンプトランジスタ13は、そのドレインが電源線17に接続され、ソースが垂直信号線14に接続され、ゲートが記憶ノードSNに接続されている。
このような画素21が水平および垂直方向にそれぞれ数百〜数千配置され撮像部が構成されている。
なお、画素21の構成は図1に限定されない。アンプトランジスタ13と直列にセレクトトランジスタを備える4トランジスタ型画素でもよい。また、アンプトランジスタ13の電源供給と、リセットトランジスタ11の電源供給を別々の配線から行ってもよい。さらに、それらの電源供給を垂直駆動回路20によってオン、オフしてもよい。要するに画素21は、少なくとも、3つのトランジスタ11〜13及びフォトダイオードPDが図示のように接続され、これにより記憶ノードSN、垂直信号線14への画素信号の排出制御がなされる構成であればよい。
撮像素子10から出力された撮像信号は、図1のA/D変換部2に送られデジタル信号に変換された後、映像信号処理部3によって所定の信号処理が施される。
多重露光では、その撮像の時間と、飽和レベルを撮像ごとに個別に設定する。この撮像時間と飽和レベルの設定の詳細は後述するが、一般に、撮像時間を短くすると強い光(画像の明部)でもセンサ出力が飽和しないことから、いわゆる“白とび”を防止または抑制できる。一方、撮像時間を長くすると、弱い光(画像の暗部)でもセンサ出力の感度を相対的に大きくできることから、いわゆる“黒つぶれ”を防止または抑制できる。また、飽和レベルを小さくするとセンサ出力が飽和しやすいが、信号レベルの飽和レベルに対する相対的な大きさを拡大できる。逆に、飽和レベルを大きくすると、センサ出力が飽和しにくくなるが、信号レベルの飽和レベルに対する相対的な大きさが小さくなる。
従って、複数の撮像において現在撮像している被写体の輝度レベル分布に応じて撮像の時間と飽和レベルを撮像ごとに最適化し、得られた複数の撮像信号から1画面を生成(合成)すると、高輝度部分(明部)が飽和せずに諧調表現を豊かにし、かつ、低輝度部分(暗部)の諧調表現を豊かにした高ダイナミックレンジの画像を得ることが可能となる。
本例の車載用カメラ装置は、とくにダイナミックレンジ拡大処理の方法に特徴がある。以下、ダイナミックレンジ拡大処理のための構成と動作について説明する。ここでは、上記2つの方法のうち、後者のリセットレベルを段階的に制御する場合で説明する。
図3において、(A)に1フレーム期間を、同図(B)に出力データの概略的な波形を示す。また、同図(C)に、画素(ピクセル)の記憶ノードSNにフォトダイオードPDから電荷を排出する蓄積制御(Storage Control)、(D)に蓄積制御時のリセットレベル(飽和レベル)を用いた飽和制御(Saturation Control)を、それぞれ電圧のレベルと印加タイミングにより示す。また、同図(E)に電荷が記憶ノードSNに蓄積されていく際の飽和レベルの時間推移を模式的なグラフで示す。このグラフの横軸は時間t、縦軸は蓄積電荷量Aeを示す。
この図示例では、図3(A)および図3(B)に示すように、垂直(V)ブランキング期間30の間の、映像信号規格では1画面の走査期間に相当する期間31を全て用いて出力データを撮像部1外に排出する。このため、図3(C)〜図3(E)に示すように、主にVブランキング期間30を利用して蓄積電荷の記憶ノードSNの排出と、そこでの飽和レベル制御を実行する。
図3の期間31が開始される時間T0においては、転送電圧VTがハイレベルからローレベルに遷移し、図2の転送トランジスタ12がオフする。このとき図2の垂直信号線14に排出されている前回の映像信号Vpix.が図2の水平駆動回路22で確定され、時系列な信号に変換されて、図3(B)に示すように、撮像素子10外部への排出が開始される。
入射光が強い場合の電荷蓄積線32は、フォトダイオードPDが持つ第1飽和レベルL1まではほぼ線形に電子の蓄積量が増加するが、その時点以後は第1飽和レベルL1に蓄積電荷量がクリップされる。一方、入射光が弱い場合の電荷蓄積線33は、ほぼ線形な増加を続ける。
フォトダイオードPDの飽和レベルは、OFD(オーバフロードレイン)がある場合は、その電位障壁高さによって(電気的に)制御可能である。なお、本例では説明の都合上、フォトダイオードPDの飽和レベルが、後述する電圧V1による飽和レベルL1と同等と仮定する。
このとき図4に示すように、上記電圧制御によって電位障壁12Aを下げ、蓄積された電子をフォトダイオードPDから記憶ノードSNに転送する。記憶ノードSNに転送された電子は、その電荷量が第1飽和電圧V1により規定される電位障壁11Aの高さまでは記憶ノードSNに蓄積可能であるが、それを越えた量の電子は図2の電源電圧VAAの供給線に排出される。
このとき図4の電位障壁11Aの高さが第2飽和電圧V2のレベルまで下がることから、記憶ノードSNに蓄積可能な電荷量が飽和電圧の上昇幅(V1−V2)に相当する分増える。したがって、図3(E)に示すように、入射光が強い場合の電荷蓄積線32は蓄積電荷量Aeが時間T4からほぼ線形に増え始め、その後、第2飽和電圧V2により規定される第2飽和レベルL2に達し、そのレベルでクリップされる。
一方、入射光が弱い場合は、電荷量のクリップ(飽和)は生じず、以前として同じ割合で電荷蓄積が進む。
このとき図4の電位障壁11Aの高さが第3飽和電圧V3のレベルまで下がることから、記憶ノードSNに蓄積可能な電荷量が飽和電圧の上昇幅(V2−V3)に相当する分、さらに増える。したがって、図3(E)に示すように、入射光が強い場合の電荷蓄積線32は、蓄積電荷量Aeが時間T5から再度、ほぼ線形に増え始め、その後、第3飽和電圧V3により規定される第3飽和レベルL3に達し、そのレベルでクリップされる。
一方、入射光が弱い場合の電荷蓄積線33は、電荷量のクリップ(飽和)は生じず、以前として同じ割合で電荷蓄積が進む。
図3(C)に示すように、Vブランキング期間30の終了時点(時間T6)にて、転送電圧VTをハイレベルからローレベルに遷移させ、これによって転送トランジスタ12をオフさせる。
その後、図2の垂直信号線14から撮像信号が不図示の水平駆動回路22で、行ごとにレジスタ等に取り込まれ、そこでシリアル−パラレル変換されて時系列な映像信号Vpix.として撮像素子10の外部に出力される。
図5(A)においては入射光が強い場合の電荷蓄積線32と、入射光が弱い場合の電荷蓄積線33とを破線により示している。また、第1飽和電圧V1の印加時間(以下、V1印加時間という)を符合“t1”、第2飽和電圧V2の印加時間(以下、V2印加時間という)を符合“t2”、第3飽和電圧V3の印加時間(以下、V3印加時間という)を符号“t3”により示している。さらに、印加時間t1終了時における電荷蓄積線32の変化点を符号“P1”、印加時間t2の終了時における電荷蓄積線32の変化点を符号“P2”により示している。
さらに入射光量を上げていくと、印加時間t1内において第1飽和電圧V1により出力が抑えられる時間が徐々に長くなることから、その分、蓄積時間終了時の電荷蓄積量が増加する速度が低下する。その結果、図5(B)に示すように、光強度に対する映像信号Vpix.レベルの傾きが折れ点(ブレークポイント)BP1を境に小さくなる。ブレークポイントBP1は、印加時間t1とパラメータ(以下、感度係数という)dV1とにより決まる。感度係数dV1は、第1飽和電圧V1とリセット電圧VRTとの電圧差(VRT−V1)、ならびに、画素の電荷蓄積容量(能力)等で決まるパラメータであり、これが大きいと急速な電荷蓄積が可能であり、逆に小さいと電荷が溜まりにくい。
その後同様にしてブレークポイントBP3に達し、以後、出力(映像信号Vpix.のレベル)は一定となる。なお、ブレークポイントBP3は最大光強度に近く、この点を最大輝度とみなしてもよい。以下、ブレークポイントBP3は考慮しないとする。
なお、このダイナミックレンジ拡大処理を実行するか否かは、図1のカメラ装置においてユーザ設定が可能であり、不図示の操作部、あるいは、遠隔操作によりハイダイナミックレンジモードのオンとオフが設定できる。
映像信号処理部3は、DSPを動かすプログラムの機能として実現可能な4つの手段を含む。具体的に、映像信号処理部3は、ヒストグラム発生手段34、パラメータ抽出手段35、目標設定手段36、信号処理手段37を含む。なお、本実施形態で行っているリセットレベルを用いる方法では、この信号処理手段37でダイナミックレンジ拡大のための処理は実行されず、この手段は前述した他の処理を行うために設けられている。したがって、信号処理手段37は必須の構成ではない。一方、後述する多重露光の場合は、この信号処理手段37で画像合成によるダイナミックレンジ拡大のための処理が実行される。
上記4つの手段の一部機能を、ASIC内の論理回路等によるハードウエアで実行可能である。上記各手段が実行する処理内容は、つぎの処理手順の説明で明らかにする。
映像信号Vpix.が映像信号処理部3内に入力されると、最初に、ヒストグラム発生手段34の制御によって、1フィールド画面または1フレーム画面の映像信号Vpix.を図1の画像メモリ5に保存する(ステップST1)。
このときヒストグラム発生手段34は、画素単位のデータを、画素信号レベル(諧調レベルまたは輝度レベル)と、その個数(画素数)との関係を示すヒストグラムとして、図1の画像メモリ5上に展開する。具体的なヒストグラム展開の方法として、例えば、ヒストグラム発生手段34は、ヒストグラム展開前の映像信号Vpix.を一旦、画像メモリ5に格納し、読み出してヒストグラム計算を行った後に、得られたヒストグラムデータを画像メモリ5の別領域に保存する。このヒストグラム計算では、1画面分の画素データが0〜255の輝度レベルごとに何個あるかをカウントし、そのカウント値と輝度レベル値との対応関係を示すヒストグラムデータを生成する。
図8における符号40を付した一点破線のカーブは、ヒストグラムデータの分布例を示している。このように、1画面内のヒストグラムデータ40は、図1の映像信号処理部3の処理ビット幅およびA/D変換部2のダイナミックレンジにより規定される輝度レベル値0〜255の全てを含むとは限らず、ヒストグラムデータ40の最小値Dminが輝度レベル値0より大きく、最大値Dmaxが輝度レベル値255より小さい場合が多い。もちろん、ヒストグラムデータ40の最小値Dminと一致する場合、逆に、ヒストグラムデータ40の最大値Dmaxが輝度レベル値255と一致する場合もあり、分布の形状や輝度レベル値0〜255内の位置は撮影する画像によって様々である。
また、図8における符号41を付した実線のカーブは、グラフの縦軸を度数(画素数)の積算値とした場合を示す。
ここで、画素数の積算値を表すカーブ41の最大値Fmaxの丁度半分の中央点(Mean Point)に対応する輝度レベル値は1画面内の輝度の代表値を示すものであり、以下、中央値(mean value)Dmea.と定義する。また、ヒストグラムデータ40の輝度の平均値は、1画面内の輝度の重心を表すものであり、以下、平均値Dave.と定義する。
ステップST2では、図6のパラメータ抽出手段35が画像メモリ5内を探索して、上記図8の輝度パラメータ、即ちヒストグラムデータの最小値Dmin、最大値Dmaxを抽出する。また、後述する最初の制御目標を決める輝度パラメータとして、中央値Dmea.または平均値Dave.を、パラメータ抽出手段35が画像メモリ5内を探索して抽出する。以下、平均値Dave.を用いる場合を例とする。
パラメータ抽出手段35は、抽出した最小値Dmin、最大値Dmaxおよび平均値Dave.の各パラメータを図6のレジスタ6に識別可能に格納する。
なお、ヒストグラムストレッチを行う場合、最小値Dmin、最大値Dmaxおよび平均値Dave.等の各パラメータをレジスタ6に格納する作業は、ステップST2では行わずに、ヒストグラムストレッチ後に行う必要がある。
なお、平均値Dave.がブレークポイントBP1と完全に一致する必要は必ずしもなく、ある許容範囲に入れば一致したとみなして制御を終了するとよい。
また、画面の明るさ制御を行うと1画面分制御が遅れるが、それを回避したい場合は、最小値Dminと最大値Dmaxにより規定される範囲内の平均値Dave.の位置と、ブレークポイントBP1を規定する印加時間t1および感度パラメータ等とを用いる計算により、明るさの制御の向きと量を予め予測しておいてフィードフォワード制御を行うとよい。
より詳細には、最大値Dmaxから最小値Dminを引いた値に対する、第1目標値(≒BP1)から最小値Dminを引いた値の比率を求める。そして、この比率が小さい場合は、画面内に暗い箇所が相対的に多いと判断し、第2目標値(=BP2)を、第1目標値から光る強度で比較的離れていない位置に設定する。逆に、上記比率が大きい場合は、画面内に明るい箇所が相対的に多いと判断し、第2目標値(=BP2)を第1目標値から光強度で、より離れた位置に設定する。
このとき、第2目標値(=BP2)の第1目標値からの出力差(図5(B)の縦軸の距離)についても、上記比率に応じた設定を行うとよい。つまり、上記比率が小さい場合は出力差を大きくし、上記比率が大きい場合は出力差を小さくすることが望ましい。
図9(A)の明るい箇所が少ない場合には、図9(B)に示す折れ線制御では、ブレークポイントBP1から光強度で、比較的近い位置にブレークポイントBP2が設定される。一方、図10(A)の明るい箇所が多い場合には、図10(B)に示す折れ線制御では、ブレークポイントBP1から光強度で、比較的遠い位置にブレークポイントBP2が設定される。
ブレークポイントの出力差(映像信号Vpix.のレベル差)は、図9(B)の場合に比べて図10(B)の場合で小さい。
このように各画素の飽和特性(折れ線制御特性)を画面の明るさ箇所の大きさに応じて制御すると、ダイナミックレンジ拡大に有意な信号が得られる。
ここでテーブルに保存するデータを作成する際には、道路の白線が画面の明るさに応じて検出可能かどうかを、例えばエッジ検出法により調べるとよい。
図11(C)に示すような道路(被写体)を撮影したときに、その白線のエッジの検出信号St波形を図11(A)に示す。この検出信号Stは、図12(A)に示すノイズレベル、図12(B)に示す飽和レベルの影響を受ける。とくに被写体が暗いときはノイズレベルが大きく、被写体が明るいときは飽和によってエッジがぼける。
このため、図11(A)に示す検出信号Stを微分処理してエッジ強調した信号に対し、ハイレベルのエッジ閾値VHと、ローレベルのエッジ閾値VLとによって白線のエッジ位置を確定しようとしたときに、図12(B)のように、検出信号Stが飽和レベルを超えるとエッジがぼけてエッジ強調信号のハイレベルの検出精度が低下する。また、図12(A)のように検出信号Stに重畳されているノイズレベルが大きいと、エッジがノイズに埋もれてエッジ強調信号のローレベルの検出精度が低下する。
このように画面が明るい場合、暗い場合のいずれでも白線を検出しにくくなる。
そのため、前述したブレークポイントBP2の設定に用いる前記比率および第2目標値の設定パラメータを、全映像信号Vpix.の積分値、或いは、ヒストグラムの明るい領域(または暗い領域)の画面に占める割合等、画面の明るさを表すデータとの関係において、白線のエッジが検出可能か否かを調べる。そして、撮影環境が想定される最も明るい状態から最も暗い状態に変化した場合、その逆の場合で、白線のエッジが検出可能であることを条件として、上記比率や第2目標値の設定パラメータと、画面の明るさを表すデータとの関係をテーブルに保存しておくる。
以上より、このテーブルを参照することによって、適切な第2目標値を設定することが可能である。
ステップST6では、例えば図6の目標設定手段36が、必要ならブレークポイントBP3も求めた上で、第1および第2目標値(並びに第3目標値)に応じて、図3に示す撮像素子の第1〜第3飽和電圧V1,V2,V3、印加時間t1,t2,t3等を決定する。
以後、次の画面が、この条件の下で撮影される(ステップST7)。これにより得られた映像信号Vpix.は、映像信号の出力飽和特性が前回の撮像時から変化したものとなり、これによりダイナミックレンジが拡大されている。
映像信号Vpix.は、ヒストグラム発生手段34及び/又は画像メモリ5に入力され、つぎの撮像時の条件を求めるためにステップST1〜ST7までの上記処理が実行される。
一方、ステップST8では、信号処理手段37が、入力した映像信号Vpix.に対して所定の処理を実行して出力する。
上述したように本映像信号処理方法では、得られた映像信号Vpix.から次の撮像条件を1回で確定し、その条件で次の撮像を行う。このため図13(A)のようなフィードバック制御ではなく、1回の制御で制御目標範囲に入る。なお、パラメータを微調整して、より確実に制御目標範囲に入れることを本発明で排除しているものではない。
とくに本実施形態では第1目標値(ブレークポイントBP1)を平均値Dave.(または中央値Dmea.)に制御することから、図14(A)のように夜間の暗い画像で白線のエッジがノイズレベルに埋もれることや、図14(C)のように昼間の明るい画像で白線のエッジが飽和レベルに達することが有効に防止され、例えば図14(B)のように適正レベルでエッジ検出が可能な画像が得られる。
多重露光が図3のタイミングチャートと異なる点は、期間31に撮像(露光)を複数回繰り返すことであり、このとき撮像ごとに蓄積電荷量にリセットがかかる。撮像ごとに撮像時間が異なると、飽和が起きないように撮像時間を短くした映像信号と、信号レベルが低い場合を考慮して撮像時間を長くした映像信号を少なくとも含む、同じ被写体に対する複数の映像信号が撮像素子10から順次出力される。
本方法では、図5(B)のブレークポイントBP1を頂点とした領域R1、ブレークポイントBP2を頂点とした領域R2、ブレークポイントBP3を頂点とした領域R3の画像を、多重露光の各映像信号Vpix.から抽出し画像合成を行うことで1枚の画面を得る。このためには、前述した方法と同様、最小値Dmin、最大値Dmax、平均値Dave.(または中央値Dmea.)等のパラメータ抽出、目標値設定が必要であり、それらの処理に本発明を適用すると、より応答性がよい処理が実行可能である。
なお、画像合成では、例えば画素データ補完や間引きによって画像を拡張または圧縮する処理が必要であり、そのため画像メモリ5を利用する。
以上のように、多重露光を用いる方法においても、目標値(ブレークポイント)を設定するための本発明の手法が適用可能である。
とくに第1目標値を分布の平均値または中央値を用いることから、撮影環境が異なっても撮像ノイズレベルに埋もれることなく、かつ、飽和して被写体のエッジがぼけることなく適正レベルの被写体を写した撮影画像を得ることができる。
Claims (9)
- 撮像手段から得られる映像信号のダイナミックレンジを拡大する映像信号処理方法であって、
1画面の前記映像信号を構成する画素信号レベルの分布から分布パラメータを抽出する第1ステップと、
前記撮像手段の画素に入射する光の積算光量変化に対する映像信号レベル変化の傾きが変化する折れ点について、その目標値を、前記抽出した分布パラメータに基づいて決定する第2ステップと、
前記目標値が得られるように前記撮像手段を制御し、前記映像信号の出力飽和特性を変化させる第3ステップと、
を含むことを特徴とする映像信号処理方法。 - 前記分布パラメータは、前記1画面内の画素信号レベルの最小値を含み、
前記目標値は、前記分布上で前記最小値を起点とした第1領域の最大レベルを示す第1目標値を含み、
前記第1ステップでは前記分布の画素信号レベルの平均値を抽出し、
前記2ステップでは、前記平均値を中心とした所定範囲に前記第1目標値を設定する
ことを特徴とする請求項1に記載の映像信号処理方法。 - 前記分布パラメータは、前記1画面内の画素信号レベルの最大値を含み、
前記第2ステップでは、前記最大値から前記最小値を引いた値に対する、前記第1目標値から前記最小値を引いた値の比率を求め、当該比率を用いて第2目標値を決定する
ことを特徴とする請求項2に記載の映像信号処理方法。 - 処理を実行するために予め決められているビット幅の最小ビットに前記最小値を一致させ、最大ビットに前記最大値を一致させるように、前記分布の全体を伸張するヒストグラムストレッチのステップを、
更に有することを特徴とする請求項1〜3の何れかに記載の映像信号処理方法。 - 前記分布パラメータに基づいて、前記第2ステップ以降を行うかどうかを決めるステップを、
更に有することを特徴とする請求項1〜4の何れかに記載の映像信号処理方法。 - 撮像手段から得られる映像信号のダイナミックレンジを拡大する映像信号処理装置であって、
1画面の前記映像信号を構成する画素信号レベルの分布から分布パラメータを抽出するパラメータ抽出手段と、
前記撮像手段の画素に入射する光の積算光量変化に対する映像信号レベル変化の傾きが変化する折れ点について、その目標値を、前記抽出した分布パラメータに基づいて決定する目標設定手段と、
前記目標値が得られるように前記撮像手段を制御し、前記映像信号の出力飽和特性を変化させる制御手段と、
を有することを特徴とする映像信号処理装置。 - 前記分布パラメータは、前記1画面内の画素信号レベルの最小値を含み、
前記目標値は、前記分布上で前記最小値を起点とした第1領域の最大レベルを示す第1目標値を含み、
前記パラメータ抽出手段は、前記分布の画素信号レベルの平均値を抽出し、
前記目標設定手段は、前記平均値を中心とした所定範囲に前記第1目標値を設定する
ことを特徴とする請求項6に記載の映像信号処理装置。 - 前記分布パラメータは、前記1画面内の画素信号レベルの最大値を含み、
前記目標設定手段は、前記最大値から前記最小値を引いた値に対する、前記第1目標値から前記最小値を引いた値の比率を求め、当該比率を用いて第2目標値を決定する
ことを特徴とする請求項7に記載の映像信号処理装置。 - 前記分布を表すヒストグラムを発生させ、処理を実行するために予め決められているビット幅の最小ビットに前記最小値を一致させ、最大ビットに前記最大値を一致させるように、前記分布の全体を伸張するヒストグラムストレッチを行うヒストグラム発生手段を、
更に有することを特徴とする請求項6〜8の何れかに記載の映像信号処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005375972A JP4607006B2 (ja) | 2005-12-27 | 2005-12-27 | 映像信号処理方法および映像信号処理装置 |
DE112006003593T DE112006003593B4 (de) | 2005-12-27 | 2006-12-15 | Bildsignalverarbeitungsverfahren und Bildsignalverarbeitungsvorrichtung |
PCT/JP2006/325029 WO2007074659A1 (ja) | 2005-12-27 | 2006-12-15 | 映像信号処理方法および映像信号処理装置 |
CN200680053276XA CN101385333B (zh) | 2005-12-27 | 2006-12-15 | 图像信号处理方法以及图像信号处理设备 |
US12/158,958 US8009224B2 (en) | 2005-12-27 | 2006-12-15 | Image signal processing method and image signal processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005375972A JP4607006B2 (ja) | 2005-12-27 | 2005-12-27 | 映像信号処理方法および映像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007180811A true JP2007180811A (ja) | 2007-07-12 |
JP4607006B2 JP4607006B2 (ja) | 2011-01-05 |
Family
ID=38217880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005375972A Expired - Fee Related JP4607006B2 (ja) | 2005-12-27 | 2005-12-27 | 映像信号処理方法および映像信号処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8009224B2 (ja) |
JP (1) | JP4607006B2 (ja) |
CN (1) | CN101385333B (ja) |
DE (1) | DE112006003593B4 (ja) |
WO (1) | WO2007074659A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010140466A1 (ja) * | 2009-06-04 | 2010-12-09 | シャープ株式会社 | 光検出装置および表示装置 |
US8085316B2 (en) | 2008-08-07 | 2011-12-27 | Hoya Corporation | Image-processing unit, imaging apparatus, and computer program product |
JP2013515418A (ja) * | 2009-12-23 | 2013-05-02 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Hdrカメラを用いた相対運動の決定方法 |
WO2013108493A1 (ja) * | 2012-01-17 | 2013-07-25 | 本田技研工業株式会社 | 画像処理装置 |
JP2013150115A (ja) * | 2012-01-18 | 2013-08-01 | Canon Inc | 揚像装置及びその駆動方法 |
JP2019522442A (ja) * | 2016-07-28 | 2019-08-08 | インテヴァック インコーポレイテッド | リセット及び平均信号値による適応的xdr |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6486915B2 (en) * | 1999-04-20 | 2002-11-26 | Intel Corporation | Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit |
JP2011124800A (ja) * | 2009-12-10 | 2011-06-23 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
FR2954034B1 (fr) * | 2009-12-16 | 2012-07-20 | St Microelectronics Grenoble 2 | Commande d'un capteur dynamique d'image |
JP2011166522A (ja) * | 2010-02-10 | 2011-08-25 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
KR20130019639A (ko) * | 2011-08-17 | 2013-02-27 | 엘지이노텍 주식회사 | 차량용 카메라 장치 |
JP5935284B2 (ja) | 2011-10-18 | 2016-06-15 | ソニー株式会社 | 撮像装置および撮像表示システム |
JP5935285B2 (ja) * | 2011-10-19 | 2016-06-15 | ソニー株式会社 | 撮像装置および撮像表示システム |
KR101422921B1 (ko) * | 2012-09-25 | 2014-07-23 | 삼성전기주식회사 | 히스토그램 스트레칭 장치 및 방법 |
US8958658B1 (en) * | 2013-09-10 | 2015-02-17 | Apple Inc. | Image tone adjustment using local tone curve computation |
JP2017162391A (ja) | 2016-03-11 | 2017-09-14 | 東芝メモリ株式会社 | 画像処理方法及び画像処理プログラム |
JP6706792B2 (ja) * | 2016-03-31 | 2020-06-10 | パナソニックIpマネジメント株式会社 | 車載用表示装置 |
US10616511B2 (en) * | 2017-06-08 | 2020-04-07 | Intel Corporation | Method and system of camera control and image processing with a multi-frame-based window for image data statistics |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08214211A (ja) * | 1995-02-03 | 1996-08-20 | Canon Inc | 画像合成装置 |
JPH11238129A (ja) * | 1998-02-20 | 1999-08-31 | Canon Inc | 眼科用画像処理装置 |
JP2002502577A (ja) * | 1997-06-02 | 2002-01-22 | サーノフ コーポレイション | 拡張ダイナミックレンジイメージングシステム及びその方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3074967B2 (ja) | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
US5929908A (en) * | 1995-02-03 | 1999-07-27 | Canon Kabushiki Kaisha | Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion |
JP3915161B2 (ja) | 1997-03-04 | 2007-05-16 | ソニー株式会社 | ブルーミング防止構造を備えた固体撮像素子のダイナミックレンジ拡大方法とその固体撮像素子 |
US6414710B1 (en) * | 1998-06-22 | 2002-07-02 | Asahi Kogaku Kogyo Kabushiki Kaisha | Electronic endoscope |
JP4292679B2 (ja) * | 1999-05-10 | 2009-07-08 | コニカミノルタホールディングス株式会社 | 固体撮像装置 |
US20040125993A1 (en) * | 2002-12-30 | 2004-07-01 | Yilin Zhao | Fingerprint security systems in handheld electronic devices and methods therefor |
-
2005
- 2005-12-27 JP JP2005375972A patent/JP4607006B2/ja not_active Expired - Fee Related
-
2006
- 2006-12-15 WO PCT/JP2006/325029 patent/WO2007074659A1/ja active Application Filing
- 2006-12-15 DE DE112006003593T patent/DE112006003593B4/de not_active Expired - Fee Related
- 2006-12-15 CN CN200680053276XA patent/CN101385333B/zh not_active Expired - Fee Related
- 2006-12-15 US US12/158,958 patent/US8009224B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08214211A (ja) * | 1995-02-03 | 1996-08-20 | Canon Inc | 画像合成装置 |
JP2002502577A (ja) * | 1997-06-02 | 2002-01-22 | サーノフ コーポレイション | 拡張ダイナミックレンジイメージングシステム及びその方法 |
JPH11238129A (ja) * | 1998-02-20 | 1999-08-31 | Canon Inc | 眼科用画像処理装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8085316B2 (en) | 2008-08-07 | 2011-12-27 | Hoya Corporation | Image-processing unit, imaging apparatus, and computer program product |
WO2010140466A1 (ja) * | 2009-06-04 | 2010-12-09 | シャープ株式会社 | 光検出装置および表示装置 |
US8698066B2 (en) | 2009-06-04 | 2014-04-15 | Sharp Kabushiki Kaisha | Photodetecting device and display apparatus |
JP2013515418A (ja) * | 2009-12-23 | 2013-05-02 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Hdrカメラを用いた相対運動の決定方法 |
KR101753928B1 (ko) | 2009-12-23 | 2017-07-04 | 로베르트 보쉬 게엠베하 | Hdr 카메라를 이용한 상대 운동 측정 방법 |
WO2013108493A1 (ja) * | 2012-01-17 | 2013-07-25 | 本田技研工業株式会社 | 画像処理装置 |
US9171215B2 (en) | 2012-01-17 | 2015-10-27 | Honda Motor Co., Ltd. | Image processing device |
JP2013150115A (ja) * | 2012-01-18 | 2013-08-01 | Canon Inc | 揚像装置及びその駆動方法 |
JP2019522442A (ja) * | 2016-07-28 | 2019-08-08 | インテヴァック インコーポレイテッド | リセット及び平均信号値による適応的xdr |
Also Published As
Publication number | Publication date |
---|---|
CN101385333B (zh) | 2011-07-20 |
CN101385333A (zh) | 2009-03-11 |
US8009224B2 (en) | 2011-08-30 |
WO2007074659A1 (ja) | 2007-07-05 |
US20090316018A1 (en) | 2009-12-24 |
DE112006003593T5 (de) | 2008-11-06 |
DE112006003593B4 (de) | 2012-06-14 |
JP4607006B2 (ja) | 2011-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4607006B2 (ja) | 映像信号処理方法および映像信号処理装置 | |
US10771718B2 (en) | Imaging device and imaging system | |
JP3976754B2 (ja) | 選択読取りによる広ダイナミックレンジ撮像デバイス | |
JP4154157B2 (ja) | 撮像装置 | |
JP4649313B2 (ja) | 固体撮像装置 | |
WO2017169216A1 (ja) | 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器 | |
US9571742B2 (en) | Image capture apparatus and control method thereof | |
US6101294A (en) | Extended dynamic imaging system and method | |
JP4571179B2 (ja) | 撮像装置 | |
US20010055428A1 (en) | Image signal processor with adaptive noise reduction and an image signal processing method therefor | |
TWI428010B (zh) | 圖像信號處理裝置及圖像信號處理方法 | |
KR101939402B1 (ko) | 고체 촬상 소자 및 구동 방법, 및 전자 기기 | |
JP2003319250A (ja) | 撮像装置および撮像方法 | |
JP5569298B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5051994B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP5037078B2 (ja) | 固体撮像素子およびその駆動方法 | |
JP7204480B2 (ja) | 撮像装置、撮像システム、移動体及び撮像装置の制御方法 | |
JP4847281B2 (ja) | 撮像装置及びその制御方法並びに撮像システム | |
JP2010119035A (ja) | 撮像装置 | |
JP4814749B2 (ja) | 固体撮像装置 | |
JP2006237789A (ja) | 撮像装置 | |
JP2007251904A (ja) | 撮像装置 | |
JP2007251905A (ja) | 撮像装置 | |
JP5485680B2 (ja) | 撮像装置および撮像方法 | |
JP2011135171A (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100907 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101006 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |