JP2003209850A - 撮像装置用信号処理回路およびその信号処理方法 - Google Patents

Abstract

(57)【要約】 【課題】輝度飽和を起こしているエリアの着色を軽減す
ることが出来る撮像装置用信号処理回路およびその信号
処理方法を提供する。 【解決手段】撮像装置用信号処理回路２０は、飽和部着
色補正回路２３で輝度飽和部（カラーバランスが崩れて
いるエリア）を検出し、適正なカラーバランスを保つよ
うに映像信号を補正することで、輝度飽和部の着色現象
による違和感を軽減出来る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョンカメ
ラ等のダイナミックレンジ拡大に係り、特に広範囲な輝
度を持つ被写体撮像を可能にするよう図った撮像装置用
信号処理回路およびその信号処理方法に関する。

【０００２】

【従来の技術】従来ＣＣＤ等の撮像素子を用いたカメラ
では、電荷の蓄積容量の限界と、その特性の関係からカ
メラの入射光量をある範囲内に抑えるようにして撮影し
ていた。従って、屋外等での撮影時には被写体の輝度範
囲を撮像可能とするダイナミックレンジが得られず、撮
像画像に問題があった。このため、撮像素子などの電子
シャッタ機能を用いて、高速シャッタと低速シャッタの
ように異なったシャッタ時間、すなわち２つの異なる露
光時間で撮像し、この映像信号を信号処理することで、
広ダイナミックレンジ拡大幅を図る等していた。

【０００３】従来の広ダイナミックレンジカメラの動作
原理を図８を用いて説明する。図８は、従来の広ダイナ
ミックレンジカメラにおける映像信号処理の説明図であ
り、図８（Ａ）は、ＣＣＤ（撮像素子）の信号出力、図
８（Ｂ）は、高ダイナミックレンジカメラ映像の信号出
力である。

【０００４】図８において、Ａフィールドを低速シャッ
タ画像、Ｂフィールドを高速シャッタ画像とする。ここ
で、低速シャッタ画像とは、例えばシャッタ速度が１／
６０秒で撮像した画像、高速シャッタ画像とは、例えば
シャッタ速度が１／２０００秒で撮像した画像である。
これらの画像信号は、例えば、ＣＣＤ等の撮像素子にシ
ャッタパルスを直接与える電子シャッタを制御し、シャ
ッタ速度、すなわち、露光時間を制御した映像信号のこ
とである。

【０００５】広ダイナミックレンジカメラは、低速シャ
ッタで被写体の輝度の低い部分（輝度の高い部分は飽和
してしまう）を撮像し、高速シャッタで被写体の輝度の
高い部分（輝度の低い部分は撮像不可能）を撮像する。
そして、両方の画像を合成することによって、１画面で
被写体の輝度の低い部分から輝度の高い部分の撮像を可
能にするものである。

【０００６】例えば、Ａ１フィールド画像（低速シャッ
タ画像）とＢ０フィールド画像（高速シャッタ画像）を
合成し、次に、Ａ１フィールド画像（低速シャッタ画
像）とＢ１フィールド画像（高速シャッタ画像）を合成
する。以降、同じ動作を繰り返し行う。この場合、低速
シャッタと高速シャッタの速度と合成比率は固定であ
る。また、このシャッタ速度の比はダイナミックレンジ
の拡大比である。ここでは、低速シャッタ速度１／６０
秒、高速シャッタ速度１／２０００秒で固定されている
ので、この広ダイナミックレンジカメラは、約３２倍の
拡大率を持っているということになる。尚、広ダイナミ
ックレンジカメラに入射光量を自動調節するオートアイ
リスレンズ等を搭載してもダイナミックレンジは拡大し
ない。

【０００７】図９に従来の広ダイナミックレンジカメラ
のブロック図を示す。このダイナミックレンジカメラ１
は、被写体像から固体撮像素子２で映像信号を得る。得
られた映像信号はＡ／Ｄ変換回路３で、アナログ信号か
らデジタル信号に変換（以下、Ａ／Ｄ変換とする）さ
れ、デジタル信号処理部４に送られる。

【０００８】デジタル信号処理部４は、フレームメモリ
６，７と、合成処理回路８と、プロセス回路９とを備え
る。デジタル信号処理部４に送られた映像信号はまず、
フレームメモリ６，７に入力され、書き込まれる。この
フレームメモリ６，７から読み出された映像信号は、合
成処理回路８に送られ、プロセス回路９で処理された
後、映像信号出力端子１０から出力される。

【０００９】一方、広ダイナミックレンジカメラ１は広
ダイナミックレンジカメラ１に具備される制御部１１で
デジタル信号処理部４と固体撮像素子２の制御を行って
いる。この制御部１１は、ＣＰＵ（中央演算処理装置）
１３と露光制御部１４とを備え、ＣＰＵ１３でデジタル
信号処理部４からの測光データの演算処理を行う。演算
処理された結果は、ＣＰＵ１３からデジタル信号処理部
４と露光制御部１４へ送られ、それぞれ制御信号が生成
され、デジタル信号処理部４と固体撮像素子２の制御が
なされる。

【００１０】このような広ダイナミックレンジカメラ１
は、特開２０００−３２３０３号公報で提案されてい
る。

【００１１】

【発明が解決しようとする課題】しかしながら、従来の
広ダイナミックレンジカメラ１では、低速シャッタで撮
像した低速シャッタ画像の高輝度部分が輝度飽和状態に
なる。これがカラーカメラの場合、撮像素子の各色フィ
ルタ毎の映像信号レベルが異なるために映像信号が飽和
に達する光の入力レベルが異なる。従って、どれか１種
類の色フィルタの映像信号が飽和すると、カラーバラン
スが崩れてしまう。このため、輝度飽和しているエリア
では、カラーバランスが崩れ、着色してしまう問題を有
していた。

【００１２】本発明は、上述した事情を考慮してなされ
たもので、輝度飽和を起こしているエリアを検出して、
カラーバランスが崩れないように映像信号を補正するこ
とによって、輝度飽和を起こしているエリアの着色を軽
減する撮像装置用回路およびその信号処理方法を提供す
ることを目的とする。

【００１３】

【課題を解決するための手段】本発明に係る撮像用信号
処理装置回路は、上述した課題を解決するため、請求項
１に記載したように、第１の露光時間で撮像した１画面
分の第１の映像信号と、前記第１の露光時間とは異なる
露光時間で撮像した１画面分の第２の映像信号とを得
て、信号処理を行う撮像装置用信号処理回路において、
前記第１の映像信号および第２の映像信号の輝度飽和部
分を検出する輝度飽和部分検出手段と、前記第１の映像
信号および第２の映像信号の輝度飽和部分の着色現象を
補正、緩和する着色補正手段と、前記第１の映像信号お
よび第２の映像信号の加算によって合成画像信号を構築
する映像信号合成手段と、前記第１の映像信号および第
２の映像信号を複数のエリアに分割し、分割したエリア
の各々に対して輝度平均値を算出する輝度平均値算出手
段と、前記第１の画像信号の分割された輝度平均値を輝
度レベルの低い順にｎ個の低輝度エリアを抽出し、この
低輝度エリアの輝度平均値を算出する低輝度平均値算出
手段と、前記第２の画像信号の分割された輝度平均値を
輝度レベルの高い順にｍ個の高輝度エリアを抽出し、こ
の高輝度エリアの輝度平均値を算出する高輝度平均値算
出手段と、前記低輝度平均値算出手段および高輝度平均
値算出手段で算出された輝度平均値に基づき、前記第１
の露光時間および第２の露光時間を個別に制御する露光
時間制御信号を生成する露光時間制御信号生成手段と、
前記映像信号合成手段に供給される前の前記第１の映像
信号および第２の映像信号の増幅度を個別に制御する利
得制御手段とを具備したことを特徴とする。

【００１４】本発明に係る撮像用信号処理方法装置回路
の信号処理方法は、上述した課題を解決するため、請求
項２に記載したように、第１の露光時間で撮像した１画
面分の第１の映像信号と、前記第１の露光時間とは異な
る露光時間で撮像した１画面分の第２の映像信号とを得
て、映像信号の処理を行う撮像装置用信号処理回路の信
号処理方法において、前記第１の映像信号および第２の
映像信号の輝度飽和部分を検出する輝度飽和部分検出工
程と、前記第１の映像信号および第２の映像信号の輝度
飽和部分の着色現象を補正、緩和する着色補正工程と、
前記第１の映像信号および第２の映像信号の加算によっ
て合成画像信号を構築する映像信号合成工程と、適切な
映像信号を得る上記撮像装置用信号処理回路の制御工程
とを経て、映像信号の処理を実行することを特徴とす
る。

【００１５】また、本発明に係る撮像用信号処理方法装
置回路の信号処理方法は、上述した課題を解決するた
め、請求項３に記載したように、前記制御工程は、前記
第１の映像信号および第２の映像信号を複数のエリアに
分割し、分割したエリアの各々に対して輝度平均値を算
出する輝度平均値算出工程と、前記第１の画像信号の分
割された輝度平均値を輝度レベルの低い順にｎ個の低輝
度エリアを抽出し、この低輝度エリアの輝度平均値を算
出する低輝度平均値算出工程と、前記第２の画像信号の
分割された輝度平均値を輝度レベルの高い順にｍ個の高
輝度エリアを抽出し、この高輝度エリアの輝度平均値を
算出する高輝度平均値算出工程と、前記低輝度平均値算
出手段および高輝度平均値算出手段で算出された輝度平
均値に基づき、前記第１の露光時間および第２の露光時
間を個別に制御する露光時間制御信号を生成する露光時
間制御信号生成工程と、前記映像信号合成手段に供給さ
れる前の前記第１の映像信号および第２の映像信号の増
幅度を個別に制御する利得制御工程と、前記第１の映像
信号および第２の映像信号の加算比率を制御する加算比
率制御工程とを実行することを特徴とを特徴とする。

【００１６】このように構成された撮像用信号処理装置
回路およびその信号処理方法では、輝度飽和を起こして
いるエリアを検出し、カラーバランスが崩れないように
補正することが出来る。すなわち、カラーバランスの整
った映像信号に補正し、着色による違和感を軽減出来
る。

【００１７】

【発明の実施の形態】以下、本発明に係る撮像装置用信
号処理回路およびその信号処理方法の実施形態を添付図
面を参照して説明する。

【００１８】図１に本発明に係る撮像装置用信号処理回
路２０の一実施形態を示すブロック図を示す。図１によ
れば、この撮像装置用信号処理回路２０は撮像部２１
と、アナログ信号処理部２２と、飽和部着色補正回路２
３と、デジタル信号処理部２４と、制御部２５とを具備
する。

【００１９】撮像装置用信号処理回路２０は被写体像を
撮像部２１で撮像し、映像信号（アナログ信号）を生成
する。生成されたアナログ映像信号はアナログ信号処理
部２２でアナログ信号からデジタル信号に変換（以下、
Ａ／Ｄ変換とする）後、デジタル映像信号として出力さ
れる。このデジタル映像信号は、飽和部着色補正回路２
３でカラーバランスが崩れているエリアを検出し、適正
なカラーバランスを保つように補正が加えられる。補正
されたデジタル映像信号は、デジタル信号処理部２４に
入力され、信号処理される。信号処理後のデジタル映像
信号はデジタル信号からアナログ信号に変換（以下、Ｄ
／Ａ変換とする）後、撮像装置用信号処理回路２０の映
像信号出力端子２６から出力される。また、制御部２５
は制御信号を生成し、撮像部２１およびアナログ信号処
理部２２の制御を行う。このようにして、出力されるア
ナログ映像信号はカラーバランスの整った映像信号とな
る。

【００２０】撮像装置用信号処理回路２０の各部につい
て説明する。

【００２１】撮像部２１は被写体像を示す画像光を撮像
する撮像レンズ２８と、例えば、ＣＣＤカメラ等の撮像
素子２９とを備える。撮像部２１は被写体像を示す画像
光を撮像レンズ２８で撮像し、撮像素子２９の受光面に
結像する。結像された画像光は、撮像素子２９の露光時
間、つまり電子シャッタ速度を調節することで、撮像素
子２９に露光される光量の調節がなされる。また、撮像
素子２９の上には３原色（Ｒ：赤，Ｇ：緑，Ｂ：青）の
色フィルタ３０が貼り付けられている。この色フィルタ
３０によって、Ｒの画素は赤色（以下、Ｒとする）の光
のみ、Ｇの画素は緑色（以下、Ｇとする）の光のみ、Ｂ
の画素は青色（以下、Ｂとする）の光のみが通過する。
撮像素子２９は光電変換を行い、画像光量に応じた量の
電荷を撮像素子２９に蓄積する。この蓄積された電荷量
に応じた映像信号が撮像素子２９から得られ、各画素単
位に出力される。

【００２２】また、撮像部２１は２つの露光時間で撮像
を行う。露光時間は撮像素子２９としてのＣＣＤカメラ
の電子シャッタ速度を制御部２５からの制御信号で制御
することにより行われる。この制御信号により、撮像部
２１は２つの露光時間、つまりシャッタ速度を例えば低
速シャッタ速度１／６０秒、高速シャッタ速度１／２０
００秒で交互に撮像を行う。従って、撮像素子２９は低
速シャッタ映像信号と高速シャッタ映像信号との２つの
映像信号が交互に生成される。生成された２つの映像信
号は撮像部２１から交互に出力され、アナログ信号処理
部２２に入力される。

【００２３】アナログ信号処理部２２は利得調整を行う
自動利得制御回路（以下、ＡＧＣ回路）３２と、Ａ／Ｄ
変換を行うＡ／Ｄ変換回路３３とを備える。アナログ信
号処理部２２に入力された映像信号（アナログ信号）
は、ＡＧＣ回路３２で利得調整が行われる。この利得調
整は制御部２５からの制御信号により、映像信号毎に利
得を可変させて調整することが出来る。利得調整された
映像信号（アナログ信号）は、Ａ／Ｄ変換回路３３でデ
ジタル信号に変換される。ここで、アナログ映像信号の
出力レベルは階調、例えば、１０ビット、すなわち、２
^１０＝１０２４段階（０〜１０２３）で表現される。階
調を持ったデジタル映像信号は、アナログ信号処理部２
２から出力される。

【００２４】また、アナログ信号処理部２２には低速シ
ャッタ映像信号および高速シャッタ映像信号が交互に入
力される。このため、アナログ信号処理部２２における
信号処理、すなわち、ＡＧＣ回路３２での利得調整およ
びＡ／Ｄ変換回路３３でのＡ／Ｄ変換も交互に処理され
る。デジタル信号に変換された低速シャッタ映像信号お
よび高速シャッタ映像信号はアナログ信号処理部２２か
ら交互に出力され、飽和部着色補正回路２３に入力され
る。

【００２５】飽和部着色補正回路２３の回路構成を図２
に示す。図２によれば、飽和部着色補正回路２３は、輝
度飽和部分検出手段としての輝度飽和検出部３５と、着
色補正手段としての着色補正部３６とを備える。飽和部
着色補正回路２３に入力された映像信号は、輝度飽和検
出部３５に入力され、映像信号の輝度飽和部分を検出す
る。着色補正部３６では、輝度飽和を検出した映像信号
に補正を加え、カラーバランスの整った映像信号を出力
する。

【００２６】飽和部着色補正回路２３における輝度飽和
検出部３５および着色補正部３６について説明する。

【００２７】輝度飽和検出部３５は、まず、入力された
映像信号を３原色（Ｒ，Ｇ，Ｂ）から色分離を行う。具
体的には、Ｒ，Ｇ，Ｂの映像信号のうち、色フィルタ３
０の出力が最も早く飽和するＧの映像信号を抜き出す。
輝度飽和判定にＧの映像信号を用いるのは、Ｇの色フィ
ルタ３０の出力が飽和を起こしても、Ｒ，Ｂの色フィル
タ３０の出力はまだ飽和に至っていないために、上昇を
続け、Ｒ，Ｇ，Ｂのカラーバランスが崩れるからであ
る。つまり、Ｇの色フィルタ３０の出力が飽和を起こし
ているエリアは、Ｒ，Ｇ，Ｂのカラーバランスが崩れ、
着色現象が生じていると判定する。

【００２８】輝度飽和部分を検出する際、輝度飽和検出
部３５はＧの映像信号の階調が基準レベル、より上か下
かで輝度飽和部分を検出する。例えば、基準レベルが１
０１０の時は、Ｇの映像信号の階調が０〜１０１０は輝
度飽和していない、１０１１〜１０２３なら輝度飽和し
ていると判定する。尚、輝度飽和を判定する基準レベル
は０〜１０２３、すなわち階調の範囲内で任意に設定す
ることが出来る。

【００２９】輝度飽和検出部３５は抜き出したＧの映像
信号が輝度飽和しているか否かを判定する輝度飽和判定
信号を生成する。Ｇの映像信号が輝度飽和している場合
には１を、輝度飽和していない場合は０を出力する。こ
の輝度飽和判定信号は着色補正部３６に入力される。

【００３０】着色補正部３６は、画素クロック（以下、
ＰＣＫとする）３８と、画素識別回路３９と、着色補正
実行セレクター（以下、セレクターとする）４０とを備
える。着色補正部３６は、入力された映像信号（Ｇ画素
から出力された映像信号）に対して、Ｒ画素およびＢ画
素から出力された映像信号に補正を加える必要がある。
着色補正部３６は、ＰＣＫ３８で補正を加える映像信号
が呼び出され、画素識別回路３９で補正を加える映像信
号がＲ，Ｂのどちらの画素から出力されたものかを識別
し、セレクター４０で適切なカラーバランスとなるよう
にＲ，Ｂ画素から出力された映像信号を選択し、出力す
る。

【００３１】着色補正部３６の着色補正動作をより具体
的に説明する。

【００３２】ＰＣＫ３８は入力された映像信号、すなわ
ち、輝度飽和判定に使用されたＧの映像信号を、例え
ば、１つ手前の画素等、幾つか手前の画素から得られた
映像信号を呼び出して、補正対象候補の映像信号を出力
する。撮像素子２９としてのＣＣＤカメラで撮像された
画像光が映像信号として処理される順番は決まっている
ため、ＣＣＤカメラ上に貼ってある原色の色フィルタ３
０の配列で１つ手前の画素が何色の画素かを知ることが
出来る。

【００３３】図３に撮像装置用信号処理回路２０に備え
られる色フィルタ３０およびこの画素配列を示す。本実
施形態では色フィルタ３０に原色フィルタで最も多く使
用されるベイヤー配列の色フィルタ３０を使用する。
尚、図中の１マスは色フィルタ３０の１画素に対応す
る。

【００３４】映像信号の処理順番は図３に示される右側
から左側へ画素単位に順次処理される。図３によれば、
Ｇ画素の１つ右は、Ｒ画素またはＢ画素のどちらか一方
である。従って、ＰＣＫ３８に入力されるＧの映像信号
に対して、ＰＣＫ３８が出力するのはＲ，Ｂのどちらか
の画素から出力された映像信号である。出力された映像
信号は図２に示される画素識別回路３９に入力される。

【００３５】画素識別回路３９は、輝度飽和検出部３５
の輝度飽和判定信号（０または１）と、入力された映像
信号が何色の画素から出力された映像信号かを識別（以
下、画素識別とする）する画素識別信号とを出力する。

【００３６】図４は、画素識別信号と画素識別について
説明した説明図である。図４によれば、色フィルタ３０
の画素配列から抜き出した４画素のうち、右上および左
下にＧが２画素、右下にＲが１画素、左上にＢが１画素
ある。この４画素のうち、どの画素から出力された映像
信号かを識別出来るようにＣｏｌａｒ Ｓｅｐａｒａｔ
ｏｒ（以下、ＣＳとする）およびＬｉｎｅ Ｉｎｄｅｘ
（以下、ＬＩとする）の画素識別パルス（０または１）
を各画素からの映像信号に画素識別信号として持たせ
る。

【００３７】画素識別は、ＣＳの画素識別信号パルスで
左または右を、ＬＩの画素識別信号パルスで上または下
を識別することで行う。図４に示されるようにＣＳの画
素識別パルスの０を右、１を左、また、ＬＩの画素識別
パルスの０を下、１を上とすれば、ＣＳ＝０，ＬＩ＝０
の画素識別信号を持つ映像信号は、Ｒ画素から出力され
た映像信号となる。

【００３８】図２に示される画素識別回路３９は、ＡＮ
Ｄ回路４２と、ＥＸＮＯＲ回路４３およびＮＯＲ回路４
４とを備える。ＡＮＤ回路４２の入力側は一方がＰＣＫ
３８を介して輝度飽和検出部３５と接続される。また、
ＡＮＤ回路４２の入力側の他方は、ＥＸＮＯＲ回路４３
の出力側と接続される。一方、ＥＸＮＯＲ回路４３およ
びＮＯＲ回路４４の入力側は、ＣＳおよびＬＩの２つの
画素識別パルスが画素識別信号として入力される。そし
て、ＡＮＤ回路４２およびＮＯＲ回路４４の出力側は、
セレクター４０の入力端子に接続される。

【００３９】ＡＮＤ回路４２は、輝度飽和判定および画
素識別の結果から補正の必要性を判断する。また、ＥＸ
ＮＯＲ回路４３およびＮＯＲ回路４４は、画素識別信号
に基づき、補正する画素識別を行う。従って、ＡＮＤ回
路４２は映像信号補正が必要か否かを示す信号を出力、
ＮＯＲ回路４４は補正する画素の色が何色かを示す信号
を出力する。画素識別回路３９からの出力はセレクター
４０に入力される。

【００４０】セレクター４０は、複数の入力端子および
出力端子、例えば、２個の入力端子Ｓ０，Ｓ１および４
個の出力端子０〜３を有する。このセレクター４０の入
力端子Ｓ０はＮＯＲ回路４４の出力側と接続され、セレ
クター４０の入力端子Ｓ１はＡＮＤ回路４２の出力側と
接続される。

【００４１】セレクター４０は０〜３の出力端子のいず
れかを入力端子Ｓ０およびＳ１に入力される信号、すな
わち、輝度飽和の有無および画素識別の結果に応じて選
択することで、常に適正なカラーバランスを保つように
出力を選択する。

【００４２】セレクター４０の出力端子選択動作表を図
５に示す。図５を引用し、セレクター４０の選択動作を
入力端子Ｓ０およびＳ１に入力される信号で場合分けし
て説明する。

【００４３】図５によれば、セレクター４０の入力端子
Ｓ１に０が入力される場合、セレクター４０の出力端子
０または１の一方が選択される。この時、ＡＮＤ回路４
２の出力は０であり、輝度飽和判定信号およびＥＸＮＯ
Ｒ回路４３の出力の少なくともどちらか一方が０、すな
わち輝度飽和していないと判定されている、および画素
識別した画素の色がＧ、の少なくてもどちらか一方を満
足している。この場合には、入力された映像信号に補正
を加える必要がないので、飽和部着色補正回路２３に入
力された映像信号は補正が加えられずにそのまま出力さ
れる。

【００４４】セレクター４０の入力端子Ｓ１に１が入力
される場合、セレクター４０は２または３を選択する。
この場合、ＡＮＤ回路４２の出力が１となるため、輝度
飽和していると判定され、かつ、画素識別した画素の色
がＲまたはＢである。従って、セレクター４０は、Ｒま
たはＢの映像信号に補正を加えるため、カラーバランス
を適正にするＲ画素用データまたはＢ画素用データとの
置換を実施する。

【００４５】信号補正を加えるＲ，Ｂの画素識別は、Ｎ
ＯＲ回路４４で行われる。図４によれば、画素識別した
画素の色がＢの場合、ＣＳ＝１，ＬＩ＝１なので、ＮＯ
Ｒ回路４４の出力が０となり、Ｓ１＝０となる。従っ
て、セレクター４０は飽和していると判定されたＧ画素
の１つ前の画素がＢ画素の場合は２が選択される。一
方、画素識別した画素の色がＲの場合、ＣＳ＝０，ＬＩ
＝０なので、ＮＯＲ回路４４の出力が１となり、Ｓ１＝
１となる。従って、セレクター４０は飽和していると判
定されたＧ画素の１つ前の画素がＲ画素の場合は３が選
択される。

【００４６】セレクター４０から出力される映像信号
は、図１に示される飽和部着色補正回路２３から出力さ
れ、デジタル信号処理部２４へ入力される。

【００４７】デジタル信号処理部２４は、撮像された信
号を処理するメモリ回路４６と、切換回路４７と、２つ
の映像信号を合成する映像信号合成手段としての加算回
路４８と、デジタル信号をアナログ信号に変換（以下、
Ｄ／Ａ変換とする）するＤ／Ａ変換回路４９とを備え
る。

【００４８】デジタル信号処理部２４には、２つのシャ
ッタ速度で撮像された映像信号である低速シャッタ映像
信号および高速シャッタ映像信号が入力される。従っ
て、デジタル信号処理部２４は２つのシャッタ速度で撮
像された映像信号を処理する必要がある。そこで、メモ
リ回路４６および切換回路４７は、それぞれ低速シャッ
タ用および高速シャッタ用の回路を備える。すなわち、
メモリ回路４６は、低速シャッタ用メモリ回路５１およ
び高速シャッタ用メモリ回路５２を備え、切換回路４７
は、低速シャッタ用切換回路５３および高速シャッタ用
切換回路５４を備える。

【００４９】デジタル信号処理部２４に入力された映像
信号は、メモリ回路４６で記憶され、切換回路４７でメ
モリ回路４６のメモリ５５に記憶された映像信号と、入
力された映像信号とを合成することで間欠信号であった
映像信号は連続信号となる。連続信号となった映像信号
は、加算回路４８で低速シャッタ用切換回路５３から出
力された低速シャッタ映像信号と、高速シャッタ用切換
回路５４から出力された高速シャッタ映像信号とを加算
して、ダイナミックレンジを拡大した映像信号を得る。
加算回路４８から出力された映像信号は、Ｄ／Ａ変換回
路４９でアナログ映像信号に変換されて、撮像装置用信
号処理回路２０の映像信号出力端子２６から出力され
る。

【００５０】制御部２５は、輝度積算手段としての積算
値回路５７と、マイコン回路５８と、電子シャッタ回路
５９とを備える。図１によれば、飽和部着色補正回路２
３から出力された低速シャッタ映像信号および高速シャ
ッタ映像信号が交互に制御部２５に入力される。制御部
２５に入力された映像信号は、積算値回路５７で、この
映像信号の輝度を積算した輝度積算値が算出される。算
出された輝度積算値に基づき、マイコン回路５８は電子
シャッタ回路５９と、アナログ信号処理部２２が備える
ＡＧＣ回路３２と、デジタル信号処理部２４の加算回路
４８とに制御信号を出力し、これらを制御する。

【００５１】図６は、輝度積算値算出における画面分割
を示す説明図である。図６によれば、積算値回路５７に
入力された１画面分の映像信号は、例えば、縦５分割×
横５分割＝２５分割等の何画面かの映像信号に分割され
る。つまり、全体画面６１を２５個の分割画面６２に分
割し、個々の分割画面６２を形成する１画面分の映像信
号に対して、映像信号の輝度を積算する。分割画面６２
毎に積算された輝度積算値は、積算値回路５７から出力
され、図１に示されるマイコン回路５８へ入力される。

【００５２】マイコン回路５８のブロック図を図７に示
す。図７によれば、マイコン回路５８は、低輝度平均値
算出手段６４と、高輝度平均値算出手段６５と、計算処
理部６６と、制御信号生成部６７とを備える。

【００５３】マイコン回路５８に入力された分割画面毎
の輝度積算値は、輝度を積算した映像信号が低速シャッ
タ映像信号の場合、低輝度平均値算出手段６４に入力さ
れる。入力された輝度積算値から低速シャッタ映像信号
の低輝度エリアの輝度平均値（以下、低輝度平均値とす
る）が算出される。低輝度平均値の算出は分割画面個々
に積算した輝度積算値を低い順にｎ個の低輝度エリアを
抽出し、低輝度平均値の算出を行う。算出された低輝度
平均値は低輝度平均値算出手段６４から出力され、計算
処理部６６へ入力される。

【００５４】一方、輝度を積算した映像信号が高速シャ
ッタ映像信号の場合、高輝度平均値算出手段６５に入力
される。入力された輝度積算値から高速シャッタ映像信
号の高輝度エリアの輝度平均値（以下、高輝度平均値と
する）が算出される。高輝度平均値の算出は低輝度平均
値の算出と同様にして行われる。すなわち、分割画面個
々に積算した輝度積算値を高い順にｍ個の高輝度エリア
を抽出し、高輝度平均値の算出を行う。算出された高輝
度平均値は高輝度平均値算出手段６５から出力され、計
算処理部６６へ入力される。

【００５５】尚、抽出される低輝度エリアの個数ｎおよ
び高輝度エリアの個数ｍは、画面分割数を超えない範囲
内で任意に設定出来る。本実施形態の例で言えば、１〜
２５個以下の任意の数で設定が可能とする。

【００５６】計算処理部６６は、入力された低輝度平均
値および高輝度平均値から低速シャッタ速度および高速
シャッタ速度と、ＡＧＣ値と、低速シャッタ映像信号お
よび高速シャッタ映像信号との加算比率を計算する。こ
れらの計算結果は、計算処理部６６から出力され、制御
信号生成部６７へ入力される。

【００５７】制御信号生成部６７は、露光時間（シャッ
タ速度）を制御する露光時間制御信号生成手段６９と、
低速シャッタ映像信号および高速シャッタ映像信号の増
幅度を個別に制御する利得制御手段７０と、低速シャッ
タ映像信号および高速シャッタ映像信号の加算比率を制
御する加算比率制御手段７１とを有する。

【００５８】露光時間制御信号生成手段６９で生成され
た露光時間制御信号は、電子シャッタ回路５９に入力さ
れる。電子シャッタ回路５９は、入力された露光時間制
御信号に基づき、低速シャッタ制御パルスおよび高速シ
ャッタ制御パルスを生成する。生成されたシャッタ制御
パルスは、撮像部２１が備える撮像素子２９の電子シャ
ッタに送られ、シャッタ速度、すなわち露光時間を制御
する。

【００５９】また、利得制御手段７０で生成された利得
制御信号はＡＧＣ回路３２に入力され、低速シャッタ映
像信号および高速シャッタ映像信号の利得を制御する。
さらに、加算比率制御手段７１で生成された加算比率制
御信号は、適切な画像を得られる比率で、低速シャッタ
映像信号および高速シャッタ映像信号を加算するように
映像信号合成手段としての加算回路４８を制御する。

【００６０】以上述べたように、本実施形態によれば、
輝度飽和を起こし、カラーバランスが崩れたエリアを検
出して、カラーバランスが崩れないように映像信号を補
正することで、輝度飽和を起こしているエリアの着色を
軽減することが出来る。

【００６１】尚、本実施形態において、図１に示される
ＣＣＤカメラ（撮像素子）２９はＣＣＤカメラに限定さ
れない。例えば、ＣＭＯＳセンサ等の撮像素子を用いて
も良い。一方、撮像素子２９の上に貼り付けられる色フ
ィルタ３０もベイヤー配列に限定されない。他の色フィ
ルタを適用しても良い。また、図４に示されるＬＩおよ
びＣＳの画素識別パルスは、０，１が逆でも、画素識別
を行う上では差し支えない。さらに、画素識別回路３９
は、ＡＮＤ回路４２と、ＥＸＮＯＲ回路４３およびＮＯ
Ｒ回路４４とを備えた例を示したが、他の論理回路を用
いて画素識別を行っても良い。

【００６２】

【発明の効果】本発明に係る撮像装置用信号処理回路お
よびその信号処理方法では、暗部に露出を調整して撮像
した画像の信号飽和部分を検出して、カラーバランスの
整った信号に補正することで飽和部分の着色現象による
違和感を軽減出来る。従って、本発明を適用した撮像装
置では広ダイナミックレンジに加え、カラーバランスの
整った良好な画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明に係る撮像装置用信号処理回路の一実施
形態を示すブロック図。

【図２】本発明に係る撮像装置用信号処理回路が備える
飽和部着色補正回路のブロック図。

【図３】色フィルタ（ベイヤー配列）の画素配列の説明
図。

【図４】色フィルタ（ベイヤー配列）の画素識別の説明
図。

【図５】セレクターが出力端子を選択する出力端子選択
動作の説明図。

【図６】積算回路で行われる画面分割の説明図。

【図７】本発明に係る撮像装置用信号処理回路が備える
マイコン回路のブロック図。

【図８】従来の撮像装置用信号処理回路が信号処理する
映像信号の説明図。

【図９】従来の撮像装置用信号処理回路のブロック図。

【符号の説明】

２０ 撮像装置用信号処理回路 ２１ 撮像部 ２２ アナログ信号処理部 ２３ 飽和部着色補正回路 ２４ デジタル信号処理部 ２５ 制御部 ２６ 映像信号出力端子 ２８ 撮像レンズ ２９ ＣＣＤカメラ（撮像素子） ３０ 色フィルタ（原色フィルタ） ３２ ＡＧＣ回路 ３３ Ａ／Ｄ変換回路 ３５ 輝度飽和検出部（輝度飽和部分検出手段） ３６ 着色補正部（着色補正手段） ３８ ＰＣＫ（画素クロック） ３９ 画素識別回路 ４０ セレクター（着色補正実行セレクター） ４２ ＡＮＤ回路 ４３ ＥＸＮＯＲ回路 ４４ ＮＯＲ回路 ４６ メモリ回路 ４７ シャッタ切換回路 ４８ 加算回路（映像信号合成手段） ４９ Ｄ／Ａ変換回路 ５１ 低速シャッタ用メモリ回路 ５２ 高速シャッタ用メモリ回路 ５３ 低速シャッタ用切換回路 ５４ 高速シャッタ用切換回路 ５５ メモリ ５７ 積算値回路（輝度積算手段） ５８ マイコン回路 ５９ 電子シャッタ回路 ６１ 全体画面 ６２ 分割画面 ６４ 低輝度平均値算出手段 ６５ 高輝度平均値算出手段 ６６ 計算処理部 ６７ 制御信号生成部 ６９ 露光時間制御信号生成手段 ７０ 利得制御手段 ７１ 加算比率制御手段

フロントページの続き Ｆターム(参考） 5C022 AB04 AB17 AB18 AB20 AC42 AC69 5C024 CX47 CX54 GY01 HX23 HX28 HX31 HX50 5C065 BB01 CC01 DD01 GG15 GG17 GG18 GG21 GG24 GG27

Claims (3)

【特許請求の範囲】
1. 【請求項１】 第１の露光時間で撮像した１画面分の第
   １の映像信号と、前記第１の露光時間とは異なる露光時
   間で撮像した１画面分の第２の映像信号とを得て、映像
   信号の処理を行う撮像装置用信号処理回路において、 前記第１の映像信号および第２の映像信号の輝度飽和部
   分を検出する輝度飽和部分検出手段と、 前記第１の映像信号および第２の映像信号の輝度飽和部
   分の着色現象を補正、緩和する着色補正手段と、 前記第１の映像信号および第２の映像信号の加算によっ
   て合成画像信号を構築する映像信号合成手段と、 前記第１の映像信号および第２の映像信号を複数のエリ
   アに分割し、分割したエリアの各々に対して輝度を積算
   する輝度積算手段と、 前記第１の画像信号の分割された輝度平均値を輝度レベ
   ルの低い順にｎ個の低輝度エリアを抽出し、この低輝度
   エリアの輝度平均値を算出する低輝度平均値算出手段
   と、 前記第２の画像信号の分割された輝度平均値を輝度レベ
   ルの高い順にｍ個の高輝度エリアを抽出し、この高輝度
   エリアの輝度平均値を算出する高輝度平均値算出手段
   と、 前記低輝度平均値算出手段および高輝度平均値算出手段
   で算出された輝度平均値に基づき、前記第１の露光時間
   および第２の露光時間を個別に制御する露光時間制御信
   号を生成する露光時間制御信号生成手段と、 前記映像信号合成手段に供給される前の前記第１の映像
   信号および第２の映像信号の増幅度を個別に制御する利
   得制御手段と、 前記第１の映像信号および第２の映像信号の加算比率を
   制御する加算比率制御手段とを具備したことを特徴とす
   る撮像装置用信号処理回路。
2. 【請求項２】 第１の露光時間で撮像した１画面分の第
   １の映像信号と、前記第１の露光時間とは異なる露光時
   間で撮像した１画面分の第２の映像信号とを得て、映像
   信号の処理を行う撮像装置用信号処理回路の信号処理方
   法において、 前記第１の映像信号および第２の映像信号の輝度飽和部
   分を検出する輝度飽和部分検出工程と、 前記第１の映像信号および第２の映像信号の輝度飽和部
   分の着色現象を補正、緩和する着色補正工程と、 前記第１の映像信号および第２の映像信号の加算によっ
   て合成画像信号を構築する映像信号合成工程と、 適切な映像信号を得る上記撮像装置用信号処理回路の制
   御工程とを経て、映像信号の処理を実行することを特徴
   とする信号処理方法。
3. 【請求項３】 前記制御工程は、 前記第１の映像信号および第２の映像信号を複数のエリ
   アに分割し、分割したエリアの各々に対して輝度平均値
   を算出する輝度平均値算出工程と、 前記第１の画像信号の分割された輝度平均値を輝度レベ
   ルの低い順にｎ個の低輝度エリアを抽出し、この低輝度
   エリアの輝度平均値を算出する低輝度平均値算出工程
   と、 前記第２の画像信号の分割された輝度平均値を輝度レベ
   ルの高い順にｍ個の高輝度エリアを抽出し、この高輝度
   エリアの輝度平均値を算出する高輝度平均値算出工程
   と、 前記低輝度平均値算出手段および高輝度平均値算出手段
   で算出された輝度平均値に基づき、前記第１の露光時間
   および第２の露光時間を個別に制御する露光時間制御信
   号を生成する露光時間制御信号生成工程と、 前記映像信号合成手段に供給される前の前記第１の映像
   信号および第２の映像信号の増幅度を個別に制御する利
   得制御工程と、 前記第１の映像信号および第２の映像信号の加算比率を
   制御する加算比率制御工程とを実行することを特徴とす
   る請求項２記載の信号処理方法。