JP4399693B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4399693B2 JP4399693B2 JP2000287321A JP2000287321A JP4399693B2 JP 4399693 B2 JP4399693 B2 JP 4399693B2 JP 2000287321 A JP2000287321 A JP 2000287321A JP 2000287321 A JP2000287321 A JP 2000287321A JP 4399693 B2 JP4399693 B2 JP 4399693B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- exposure
- exposure image
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、複数の画像データーを合成して広ダイナミックレンジの画像を得ることができるようにされた撮像装置において、特に、移動する被写体を撮影した場合の各種不具合を補正するための技術に関する。
【０００２】
【従来の技術】
従来、ビデオカメラやスチルビデオカメラ等の撮像装置において、広ダイナミックレンジの画像を得るために、時分割で露光時間の異なる画像を得て、これらの画像を合成するようにされているものがある。
【０００３】
上記異なる画像を合成するとは、例えば、部分的に輝度差の大きい被写体を撮影する際には、輝度の大きい部分と小さい部分とに露出を合わせた画像をそれぞれ撮像して、これらに基づいて広ダイナミックレンジの合成画像を作成することである。
【０００４】
上記合成画像の作成方法は、輝度の大きい部分に露出を合わせた短時間露光画像と、輝度の小さい部分に露出を合わせた長時間露光画像との露光時間の比を算出し、その比を短時間露光画像に乗算した後、撮像素子の各画素における長時間露光画像のレベルに応じて、これら２つの画像の画素データーを部分的に切り替えるものであった。
【０００５】
しかしながら、上記２種類の画像の被写体にズレがあった場合、例えば、撮像素子の或る画素における長時間露光画像のレベルが、長時間露光画像の画素データーから短時間露光画像の画素データーに切り替える必要がある時に、被写体のズレにより、切り替える先の短時間露光画像の画素データーが十分なレベルでない場合には、画像の連続性が乱れて画像に不具合が生じてしまうという問題があった。また、逆に、或る画素における長時間露光画像のレベルが切り替えるべきレベルではないのに、切り替える先の短時間露光画像の画素データーが既に十分なレベルにある場合には、被写体に残像が生じてしまうという問題があった。
【０００６】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑み、時分割で露光時間の異なる画像を得て、これらを合成することにより広ダイナミックレンジ画像を得る画像合成方法において、移動する被写体を撮像した場合に、合成する画像のズレによって発生する合成画像の不具合を補正することを課題とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、撮像素子と、信号処理回路と、差分の極性に応じて短時間露光画像と長時間露光画像との対応するデーターを適宜切り替える画像切り替え手段と、短時間露光画像と長時間露光画像との露光比を短時間露光画像に乗算する乗算手段と、該乗算手段によって露光比が乗算された短時間露光画像と長時間露光画像とのデータの差分を算出する減算手段と、切り替えレベル以上の長時間露光画像データーの検出を行う第１の比較手段、減算器からのデーターから予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する第２の比較手段、減算器からのデーターから減算結果が正のデーターの検出を行う第３の比較手段、上記第１の比較手段及び第２の比較手段の出力データーの論理和を出力する第１の論理回路及び該第１の論理回路と第３の比較器との出力データーの論理積を出力する第２の論理回路とを有し、上記第２の論理回路の出力を画像切り替え手段の制御信号として使用して、短時間露光画像と長時間露光画像のデーターを画素毎に選択的に使用して合成画像を作成するようにしたものである。
【０００８】
従って、移動する被写体を撮像した場合に生じる残像及び不連続点の発生を解消することが可能になる。
【０００９】
【発明の実施の形態】
以下に、本発明撮像装置の詳細について、添付図面を参照して説明する。
【００１０】
最初に、本発明との比較のため、従来の撮像装置の一例の構成及び問題点について説明する。
【００１１】
従来の撮像装置１は、図８のブロック図に示すように、撮像素子２、信号処理回路３、乗算器４、比較器５及び画像切り替えスイッチ６等を有し、撮像素子２の出力は、図示しないタイミング発生器によって図２(B)の読み出しパルスを印加されて、１フィールド期間内に２回読み出されるようになっている。
【００１２】
上記図２(B)の読み出しパルスの間隔は、１フィールド期間内を、長時間露光期間及び短時間露光期間との２つの異なる長さの領域に分けている。これら２つの異なる長さの領域のうち、長時間露光期間の蓄積電圧出力を長時間露光画像に、短時間露光期間の蓄積電圧出力を短時間露光画像にそれぞれ対応させる。
【００１３】
従って、撮像素子２からの出力は、図２(D)に示すように、１水平期間内に露光時間の異なる２種類の画像が時系列で出力される。この時系列の出力は、信号処理回路３によって、図２(E)の長時間露光画像出力と図２(F)の短時間露光画像出力のように同時化されて出力される。尚、撮像素子２の構成によっては、最初から同時化された図２(E)の長時間露光画像出力と図２(F)の短時間露光画像出力とを得ることも可能である。
【００１４】
上記２種類の画像は、そのままではレベルが異なるために、最初に乗算器４で、短時間露光画像を、長時間露光時間と短時間露光時間との比（露光比）倍する。そして、長時間露光画像中の飽和している画素部分を短時間露光画像の対応部分に置き換えるために、飽和している画素を比較器５を用いて検出し、予め決めておいた切り替えレベルより大きな画素部分は、短時間露光画像を整数倍した画素に、画像切り替えスイッチ６によって置き換えられる。上記入出力の関係は、図９に示すようになる。尚、上記撮像装置１における画像の合成方法は、短時間露光画像側にオフセットを加えて長時間露光画像と加算する方法によっても可能である。
【００１５】
上記撮像装置１における画像合成方法においては、図２(E)の長時間露光画像と図２(F)の短時間露光画像とは撮像素子２の同じ画素の出力であるが、露光時刻が図２(B)の読み出しパルスの印加によって制御されて異なっているため、図４に示すように静止している被写体を撮像して場合には問題はないが、移動している被写体を撮像した場合には、図５に示すように長時間露光画像と短時間露光画像の出力との間にズレが生じてしまう。尚、図５の場合、被写体は、右から左へと移動しているものである。
【００１６】
図５の１-１′の位置における水平１周期分の画像出力を見ると、図３(A)及び図３(B)の出力波形のようになる。また、長時間露光画像が所定の切り替えレベル以上のであるときの画像の比較出力は、図３(F)に示す出力波形のようになる。
【００１７】
上記長時間露光画像及び短時間露光画像の比較出力によって、画像切り替えスイッチ６による長時間露光画像と短時間露光画像との切り替えを行うと、図３(D)に示す画像出力が得られる。この図３（D)の画像出力においては、露光時刻の差によって移動している被写体に生じた画像のズレが、図７の合成画像に示すように、被写体の左側では不連続点として、右側では残像として現れるようになる。
【００１８】
従って、従来の撮像装置１による合成画像においては、被写体の左側に不連続点による白いエッジが発生し、右側の残像によって被写体の大きさも本来の大きさよりも大きくなってしまう。尚、被写体の明るさと移動する方向によってそれぞれの不具合が何処に発生するかは異なる。
【００１９】
次に、上記撮像装置１における不具合を解消するために為された画像合成方法について説明する。
【００２２】
また、撮像装置１０は、図１に示すように、撮像素子１１と、撮像素子１１に読み出しパルスを印加するタイミング発生器１２と、信号処理回路１３と、差分の極性に応じて短時間露光画像と長時間露光画像との対応するデーターを適宜切り替える画像切り替えスイッチ（画像切り替え手段）１４と、短時間露光画像と長時間露光画像との露光比を短時間露光画像に乗算する乗算器（乗算手段）１５と、乗算器１５によって露光比が乗算された短時間露光画像と長時間露光画像とのデータの差分を算出する減算器（減算手段）１６と、切り替えレベル以上の長時間露光画像データーの検出を行う第１の比較器（第１の比較手段）１７、減算器からのデーターから予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する第２の比較器（第２の比較手段）１８、減算器からのデーターから減算結果が正のデーターの検出を行う第３の比較器（第３の比較手段）１９、第１の比較器１７及び第２の比較器１８の出力データーの論理和を出力する第１の論理回路（ＯＲ回路）２０及び第１の論理回路２０と第３の比較器１９との出力データーの論理積を出力する第２の論理回路（ＡＮＤ回路）２１とを有するものであり、上記第２の論理回路２１の出力を画像切り替えスイッチ１４の制御信号２２として使用して、短時間露光画像と長時間露光画像のデーターを画素毎に選択的に使用して合成画像を作成するものである。
【００２３】
前記撮像装置１の場合と同様に、撮像素子１１の出力は、上記タイミング発生器１２から、図２(B)に示すような読み出しパルス２３を印加されることによって、１フィールド期間内に２回読み出されるようになっている。
【００２４】
また、同様に、読み出しパルス２３の間隔は、１フィールド期間内を、長時間露光期間及び短時間露光期間との２つの異なる長さの領域に分けるようになっている。これら２つの異なる長さの領域のうち、長時間露光期間の蓄積電圧出力を長時間露光画像データー２４に、短時間露光期間の蓄積電圧出力を短時間露光画像データー２５にそれぞれ対応させる。
【００２５】
従って、撮像素子１１からの出力は、図２(D)に示すように、１水平期間内に露光時間の異なる２種類の画像のデータが時系列で出力される。この時系列の出力は、信号処理回路１３によって、図２(E)の長時間露光画像データー２４と図２(F)の短時間露光画像データー２５のように同時化されて出力される。尚、撮像素子１１の構成によっては、最初から同時化された長時間露光画像データー２４と短時間露光画像出力データー２５とを得ることも可能である。
【００２６】
次に、予め、図示しない適宜な手段によって長時間露光画像と短時間露光画像の各データーの露光比を算出しておき、乗算器１５によって短時間露光画像のデーター２５を露光比倍し、この露光比倍された乗算器１５からの出力データー２６から長時間露光画像データー２４を減算器１６によって減算する。この減算器１５からの出力データー２７は、図３(C)に示す減算結果のデーターとなる。
【００２７】
また、第１の比較器１７によって、長時間露光画像データー２４のうち、予め設定されている切り替えレベル以上もののみを検出する。この検出データーが、図１及び図３(F)に示す第１の比較器１７からの出力データー２８である。尚、上記切り替えレベルとは、長時間露光画像と短時間露光画像とのデーターを切り替えるポイントとなる特定の長時間露光画像の出力レベルである。
【００２８】
そして、第２の比較器１８によって予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する。該リファレンスレベルは、例えば、第１の比較器１６で使用される切り替えレベルに、前記露光比を乗算したものが用いられる。この結果が、図１に示す第２の比較器の１８からの出力データー２９、即ち、図３(G)に示す露光比倍した短時間露光画像と長時間露光画像との差分がリファレンスレベル以上である画素の出力を示す波形である。
【００２９】
ところで、上記第２の比較器１８の出力データ２９、即ち、比較出力２９が１である画素は、短時間露光画像に十分な出力レベルがあることになる。この出力データー２９と、第１の比較器１６によって求められた図３(F)の長時間露光画像の切り替えレベル以上の画素の出力データー２８との論理和を、図１に示すＯＲ回路２０によって算出する。このＯＲ回路２０の出力データー３０は、図３(H)に示す論理和出力を示す波形となる。この論理和出力データー３０を使用することによって、長時間露光画像データー２４が前記切り替えレベル以下であっても、短時間露光画像データー２５に十分な出力がある場合には短時間露光画像データー２５が使用されることになって、残像現象が補正されることになる。
【００３０】
第３の比較器１９によって、減算器１６での減算結果が正である画素が検出される。この第３の比較器１９の出力データー３１が、図３(I)に示す波形のようになる。比較出力３１が０である画素は、長時間露光画像データー２４が切り替えレベル以上であっても、短時間露光画像データー２５が十分なレベルにない画素である。
【００３１】
そして、上記第３の比較器１９の出力データー３１と、上記図３(H)に示すＯＲ回路２０の出力データー３０の論理積を図１に示すＡＮＤ回路２１によって算出する。このＡＮＤ回路２１の論理積出力データーは、図３(J)に示す波形のデーター、即ち、前記本発明における画像切り替えスイッチ１４の切り替え動作を制御するための制御信号２２の出力波形となる。
【００３２】
上記制御信号２２を使用することにより、長時間露光画像データー２４が切り替えレベル以上であっても短時間露光画像データー２５が十分なレベルにない画素は、長時間露光画像が使用されることになり、画像の不連続点が補正されることになる。
【００３３】
以上の方法で求めた制御信号２２を、図１に示す画像切り替えスイッチ１４の入力として使用して、合成した画像出力は、図３(E)に示すようになる。この図３(E)に示す合成画像は、図３(D)に示す従来技術における合成画像の出力波形と比較すると、不連続点及び残像成分が除去（補正）された波形となっているのが分かる。従って、本発明における合成画像は、図６に示すようになって、被写体の左側の不連続点であるエッジや右側の残像が無くなった画像となる。
【００３４】
また、上記した画像の切り替えを画像切り替えスイッチ１９等を用いて特定のレベルで切り替えるようにする方法の代わりに、画像レベルに応じて徐々に長時間露光画像と短時間露光画像との合成比を変えていき方法も考えられる。この方法においても、上記方法と同じ手法が適用することができる。
【００３５】
更に、本発明は、上記のような移動している被写体に対して以外にも、フレア等の工学的な原因で生じた長時間露光画像と短時間露光画像とのズレに対しても有効である。
【００３６】
以上に記載したように、本発明は、同じ位置の画素の露光比を乗算した短時間露光画像と長時間露光画像とのデーターの差分を取り、その差分が予め設定されたリファレンスレベルを超えた場合には、画像にズレがあると判断し、上記差分の極性に応じて、短時間露光画像の代わりに長時間露光画像を、又は、その逆に長時間露光画像の代わりに短時間露光画像を使用することによって、２つの画像の被写体のズレによって生じる画像の不連続性や被写体の残像を補正し、画像の不具合の発生を抑えるようにしたものであるので、従来の画像合成方法に比べて、不連続点や残像が無くなって、合成画像の出力品質を向上させることが可能である。
【００３７】
従って、本発明の撮像装置を、例えば、監視カメラに適用した場合においては、従来の画像合成を行う撮像装置を監視カメラに用いた場合に発生していた、不連続点での画像の判別の困難さ及び残像部分での画像の欠落という問題点が発生し難くなって、監視制度を向上させることが可能になる。
【００３８】
また、画像に連続性が生まれるため、後に画像処理回路を用いてデーター処理を行う場合に、不連続点が画像検出等で誤った出力を発生させたり、残像によって正しい被写体の大きさが得られなくなるといった不具合を解消させることが可能になる。
【００３９】
更に、２種類の画像を動きの検出等を用いて補正する方法に比べて、フィールドメモリーが不要となる等、不要な回路の増加を抑制することができ、格段に小さな回路で顕著な効果を得ることが可能となる。
【００４０】
更にまた、露光時刻の近い２つの画像の補正を行うことができるので、本発明画像合成方法を多段的に適用することによって、１フィールド内に複数の露光時間が異なる画像出力が得られるようにしたシステムにおいても、容易に不連続点や残像等の不具合の補正された合成画像を得るようにすることが可能になる。
【００４１】
尚、前記実施の形態において示した各部の具体的な形状及び構造は、何れも本発明を実施するに当たっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されることがあってはならないものである。
【００４３】
本発明撮像装置は、撮像素子と、信号処理回路と、差分の極性に応じて短時間露光画像と長時間露光画像との対応するデーターを適宜切り替える画像切り替え手段と、短時間露光画像と長時間露光画像との露光比を短時間露光画像に乗算する乗算手段と、該乗算手段によって露光比が乗算された短時間露光画像と長時間露光画像とのデータの差分を算出する減算手段と、切り替えレベル以上の長時間露光画像データーの検出を行う第１の比較手段、減算器からのデーターから予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する第２の比較手段、減算器からのデーターから減算結果が正のデーターの検出を行う第３の比較手段、上記第１の比較手段及び第２の比較手段の出力データーの論理和を出力する第１の論理回路及び該第１の論理回路と第３の比較器との出力データーの論理積を出力する第２の論理回路とを有し、第２の論理回路の出力を画像切り替え手段の制御信号として使用して、短時間露光画像と長時間露光画像のデーターを画素毎に選択的に使用して合成画像を作成するようにしたので、合成画像のズレによる不具合の解消、特に、移動する被写体を撮像した場合に生じる残像及び不連続点の発生を解消することが可能となって、合成画像の出力品質を向上させることができる。
【図面の簡単な説明】
【図１】図２乃至図６と共に本発明の実施の形態を示すものであり、本図は撮像装置の要部の構成を概略的に示すブロック図である。
【図２】撮像素子からの各種出力、撮像素子からの画像の出力を制御する読み出しパルス、長時間露光画像データー及び短時間画像データー等の波形を示す図である。
【図３】長時間露光画像データー及び短時間露光画像データーを基に、各種処理を施したデーターの波形を示す図である。
【図４】静止した状態の被写体を撮影した画像を示す図である。
【図５】右から左へと移動している被写体を時分割で露光時間を異ならせて撮像した長時間露光画像及び短時間露光画像を重ねて示す図である。
【図６】本発明における合成画像を示す図である。
【図７】図８及び図９と共に、本発明との比較のために示す従来の画像合成方法及び撮像装置を示すものであり、本図は、合成画像を示す図である。
【図８】撮像装置の一例の構成を概略的に示す図である。
【図９】画像合成時における長時間露光画像及び短時間露光画像の入出力の関係を示す図である。
【符号の説明】
１０…撮像装置、１１…撮像素子、１３…信号処理回路、１４…画像切り替え手段、１５…乗算手段、１６…減算手段、１７…第１の比較手段、１８…第２の比較手段、１９…第３の比較手段、２０…第１の論理回路、２１…第２の論理回路、２２…制御信号、２４…長時間露光画像データー、２５…短時間露光画像データー
【発明が属する技術分野】
本発明は、複数の画像データーを合成して広ダイナミックレンジの画像を得ることができるようにされた撮像装置において、特に、移動する被写体を撮影した場合の各種不具合を補正するための技術に関する。
【０００２】
【従来の技術】
従来、ビデオカメラやスチルビデオカメラ等の撮像装置において、広ダイナミックレンジの画像を得るために、時分割で露光時間の異なる画像を得て、これらの画像を合成するようにされているものがある。
【０００３】
上記異なる画像を合成するとは、例えば、部分的に輝度差の大きい被写体を撮影する際には、輝度の大きい部分と小さい部分とに露出を合わせた画像をそれぞれ撮像して、これらに基づいて広ダイナミックレンジの合成画像を作成することである。
【０００４】
上記合成画像の作成方法は、輝度の大きい部分に露出を合わせた短時間露光画像と、輝度の小さい部分に露出を合わせた長時間露光画像との露光時間の比を算出し、その比を短時間露光画像に乗算した後、撮像素子の各画素における長時間露光画像のレベルに応じて、これら２つの画像の画素データーを部分的に切り替えるものであった。
【０００５】
しかしながら、上記２種類の画像の被写体にズレがあった場合、例えば、撮像素子の或る画素における長時間露光画像のレベルが、長時間露光画像の画素データーから短時間露光画像の画素データーに切り替える必要がある時に、被写体のズレにより、切り替える先の短時間露光画像の画素データーが十分なレベルでない場合には、画像の連続性が乱れて画像に不具合が生じてしまうという問題があった。また、逆に、或る画素における長時間露光画像のレベルが切り替えるべきレベルではないのに、切り替える先の短時間露光画像の画素データーが既に十分なレベルにある場合には、被写体に残像が生じてしまうという問題があった。
【０００６】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑み、時分割で露光時間の異なる画像を得て、これらを合成することにより広ダイナミックレンジ画像を得る画像合成方法において、移動する被写体を撮像した場合に、合成する画像のズレによって発生する合成画像の不具合を補正することを課題とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、撮像素子と、信号処理回路と、差分の極性に応じて短時間露光画像と長時間露光画像との対応するデーターを適宜切り替える画像切り替え手段と、短時間露光画像と長時間露光画像との露光比を短時間露光画像に乗算する乗算手段と、該乗算手段によって露光比が乗算された短時間露光画像と長時間露光画像とのデータの差分を算出する減算手段と、切り替えレベル以上の長時間露光画像データーの検出を行う第１の比較手段、減算器からのデーターから予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する第２の比較手段、減算器からのデーターから減算結果が正のデーターの検出を行う第３の比較手段、上記第１の比較手段及び第２の比較手段の出力データーの論理和を出力する第１の論理回路及び該第１の論理回路と第３の比較器との出力データーの論理積を出力する第２の論理回路とを有し、上記第２の論理回路の出力を画像切り替え手段の制御信号として使用して、短時間露光画像と長時間露光画像のデーターを画素毎に選択的に使用して合成画像を作成するようにしたものである。
【０００８】
従って、移動する被写体を撮像した場合に生じる残像及び不連続点の発生を解消することが可能になる。
【０００９】
【発明の実施の形態】
以下に、本発明撮像装置の詳細について、添付図面を参照して説明する。
【００１０】
最初に、本発明との比較のため、従来の撮像装置の一例の構成及び問題点について説明する。
【００１１】
従来の撮像装置１は、図８のブロック図に示すように、撮像素子２、信号処理回路３、乗算器４、比較器５及び画像切り替えスイッチ６等を有し、撮像素子２の出力は、図示しないタイミング発生器によって図２(B)の読み出しパルスを印加されて、１フィールド期間内に２回読み出されるようになっている。
【００１２】
上記図２(B)の読み出しパルスの間隔は、１フィールド期間内を、長時間露光期間及び短時間露光期間との２つの異なる長さの領域に分けている。これら２つの異なる長さの領域のうち、長時間露光期間の蓄積電圧出力を長時間露光画像に、短時間露光期間の蓄積電圧出力を短時間露光画像にそれぞれ対応させる。
【００１３】
従って、撮像素子２からの出力は、図２(D)に示すように、１水平期間内に露光時間の異なる２種類の画像が時系列で出力される。この時系列の出力は、信号処理回路３によって、図２(E)の長時間露光画像出力と図２(F)の短時間露光画像出力のように同時化されて出力される。尚、撮像素子２の構成によっては、最初から同時化された図２(E)の長時間露光画像出力と図２(F)の短時間露光画像出力とを得ることも可能である。
【００１４】
上記２種類の画像は、そのままではレベルが異なるために、最初に乗算器４で、短時間露光画像を、長時間露光時間と短時間露光時間との比（露光比）倍する。そして、長時間露光画像中の飽和している画素部分を短時間露光画像の対応部分に置き換えるために、飽和している画素を比較器５を用いて検出し、予め決めておいた切り替えレベルより大きな画素部分は、短時間露光画像を整数倍した画素に、画像切り替えスイッチ６によって置き換えられる。上記入出力の関係は、図９に示すようになる。尚、上記撮像装置１における画像の合成方法は、短時間露光画像側にオフセットを加えて長時間露光画像と加算する方法によっても可能である。
【００１５】
上記撮像装置１における画像合成方法においては、図２(E)の長時間露光画像と図２(F)の短時間露光画像とは撮像素子２の同じ画素の出力であるが、露光時刻が図２(B)の読み出しパルスの印加によって制御されて異なっているため、図４に示すように静止している被写体を撮像して場合には問題はないが、移動している被写体を撮像した場合には、図５に示すように長時間露光画像と短時間露光画像の出力との間にズレが生じてしまう。尚、図５の場合、被写体は、右から左へと移動しているものである。
【００１６】
図５の１-１′の位置における水平１周期分の画像出力を見ると、図３(A)及び図３(B)の出力波形のようになる。また、長時間露光画像が所定の切り替えレベル以上のであるときの画像の比較出力は、図３(F)に示す出力波形のようになる。
【００１７】
上記長時間露光画像及び短時間露光画像の比較出力によって、画像切り替えスイッチ６による長時間露光画像と短時間露光画像との切り替えを行うと、図３(D)に示す画像出力が得られる。この図３（D)の画像出力においては、露光時刻の差によって移動している被写体に生じた画像のズレが、図７の合成画像に示すように、被写体の左側では不連続点として、右側では残像として現れるようになる。
【００１８】
従って、従来の撮像装置１による合成画像においては、被写体の左側に不連続点による白いエッジが発生し、右側の残像によって被写体の大きさも本来の大きさよりも大きくなってしまう。尚、被写体の明るさと移動する方向によってそれぞれの不具合が何処に発生するかは異なる。
【００１９】
次に、上記撮像装置１における不具合を解消するために為された画像合成方法について説明する。
【００２２】
また、撮像装置１０は、図１に示すように、撮像素子１１と、撮像素子１１に読み出しパルスを印加するタイミング発生器１２と、信号処理回路１３と、差分の極性に応じて短時間露光画像と長時間露光画像との対応するデーターを適宜切り替える画像切り替えスイッチ（画像切り替え手段）１４と、短時間露光画像と長時間露光画像との露光比を短時間露光画像に乗算する乗算器（乗算手段）１５と、乗算器１５によって露光比が乗算された短時間露光画像と長時間露光画像とのデータの差分を算出する減算器（減算手段）１６と、切り替えレベル以上の長時間露光画像データーの検出を行う第１の比較器（第１の比較手段）１７、減算器からのデーターから予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する第２の比較器（第２の比較手段）１８、減算器からのデーターから減算結果が正のデーターの検出を行う第３の比較器（第３の比較手段）１９、第１の比較器１７及び第２の比較器１８の出力データーの論理和を出力する第１の論理回路（ＯＲ回路）２０及び第１の論理回路２０と第３の比較器１９との出力データーの論理積を出力する第２の論理回路（ＡＮＤ回路）２１とを有するものであり、上記第２の論理回路２１の出力を画像切り替えスイッチ１４の制御信号２２として使用して、短時間露光画像と長時間露光画像のデーターを画素毎に選択的に使用して合成画像を作成するものである。
【００２３】
前記撮像装置１の場合と同様に、撮像素子１１の出力は、上記タイミング発生器１２から、図２(B)に示すような読み出しパルス２３を印加されることによって、１フィールド期間内に２回読み出されるようになっている。
【００２４】
また、同様に、読み出しパルス２３の間隔は、１フィールド期間内を、長時間露光期間及び短時間露光期間との２つの異なる長さの領域に分けるようになっている。これら２つの異なる長さの領域のうち、長時間露光期間の蓄積電圧出力を長時間露光画像データー２４に、短時間露光期間の蓄積電圧出力を短時間露光画像データー２５にそれぞれ対応させる。
【００２５】
従って、撮像素子１１からの出力は、図２(D)に示すように、１水平期間内に露光時間の異なる２種類の画像のデータが時系列で出力される。この時系列の出力は、信号処理回路１３によって、図２(E)の長時間露光画像データー２４と図２(F)の短時間露光画像データー２５のように同時化されて出力される。尚、撮像素子１１の構成によっては、最初から同時化された長時間露光画像データー２４と短時間露光画像出力データー２５とを得ることも可能である。
【００２６】
次に、予め、図示しない適宜な手段によって長時間露光画像と短時間露光画像の各データーの露光比を算出しておき、乗算器１５によって短時間露光画像のデーター２５を露光比倍し、この露光比倍された乗算器１５からの出力データー２６から長時間露光画像データー２４を減算器１６によって減算する。この減算器１５からの出力データー２７は、図３(C)に示す減算結果のデーターとなる。
【００２７】
また、第１の比較器１７によって、長時間露光画像データー２４のうち、予め設定されている切り替えレベル以上もののみを検出する。この検出データーが、図１及び図３(F)に示す第１の比較器１７からの出力データー２８である。尚、上記切り替えレベルとは、長時間露光画像と短時間露光画像とのデーターを切り替えるポイントとなる特定の長時間露光画像の出力レベルである。
【００２８】
そして、第２の比較器１８によって予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する。該リファレンスレベルは、例えば、第１の比較器１６で使用される切り替えレベルに、前記露光比を乗算したものが用いられる。この結果が、図１に示す第２の比較器の１８からの出力データー２９、即ち、図３(G)に示す露光比倍した短時間露光画像と長時間露光画像との差分がリファレンスレベル以上である画素の出力を示す波形である。
【００２９】
ところで、上記第２の比較器１８の出力データ２９、即ち、比較出力２９が１である画素は、短時間露光画像に十分な出力レベルがあることになる。この出力データー２９と、第１の比較器１６によって求められた図３(F)の長時間露光画像の切り替えレベル以上の画素の出力データー２８との論理和を、図１に示すＯＲ回路２０によって算出する。このＯＲ回路２０の出力データー３０は、図３(H)に示す論理和出力を示す波形となる。この論理和出力データー３０を使用することによって、長時間露光画像データー２４が前記切り替えレベル以下であっても、短時間露光画像データー２５に十分な出力がある場合には短時間露光画像データー２５が使用されることになって、残像現象が補正されることになる。
【００３０】
第３の比較器１９によって、減算器１６での減算結果が正である画素が検出される。この第３の比較器１９の出力データー３１が、図３(I)に示す波形のようになる。比較出力３１が０である画素は、長時間露光画像データー２４が切り替えレベル以上であっても、短時間露光画像データー２５が十分なレベルにない画素である。
【００３１】
そして、上記第３の比較器１９の出力データー３１と、上記図３(H)に示すＯＲ回路２０の出力データー３０の論理積を図１に示すＡＮＤ回路２１によって算出する。このＡＮＤ回路２１の論理積出力データーは、図３(J)に示す波形のデーター、即ち、前記本発明における画像切り替えスイッチ１４の切り替え動作を制御するための制御信号２２の出力波形となる。
【００３２】
上記制御信号２２を使用することにより、長時間露光画像データー２４が切り替えレベル以上であっても短時間露光画像データー２５が十分なレベルにない画素は、長時間露光画像が使用されることになり、画像の不連続点が補正されることになる。
【００３３】
以上の方法で求めた制御信号２２を、図１に示す画像切り替えスイッチ１４の入力として使用して、合成した画像出力は、図３(E)に示すようになる。この図３(E)に示す合成画像は、図３(D)に示す従来技術における合成画像の出力波形と比較すると、不連続点及び残像成分が除去（補正）された波形となっているのが分かる。従って、本発明における合成画像は、図６に示すようになって、被写体の左側の不連続点であるエッジや右側の残像が無くなった画像となる。
【００３４】
また、上記した画像の切り替えを画像切り替えスイッチ１９等を用いて特定のレベルで切り替えるようにする方法の代わりに、画像レベルに応じて徐々に長時間露光画像と短時間露光画像との合成比を変えていき方法も考えられる。この方法においても、上記方法と同じ手法が適用することができる。
【００３５】
更に、本発明は、上記のような移動している被写体に対して以外にも、フレア等の工学的な原因で生じた長時間露光画像と短時間露光画像とのズレに対しても有効である。
【００３６】
以上に記載したように、本発明は、同じ位置の画素の露光比を乗算した短時間露光画像と長時間露光画像とのデーターの差分を取り、その差分が予め設定されたリファレンスレベルを超えた場合には、画像にズレがあると判断し、上記差分の極性に応じて、短時間露光画像の代わりに長時間露光画像を、又は、その逆に長時間露光画像の代わりに短時間露光画像を使用することによって、２つの画像の被写体のズレによって生じる画像の不連続性や被写体の残像を補正し、画像の不具合の発生を抑えるようにしたものであるので、従来の画像合成方法に比べて、不連続点や残像が無くなって、合成画像の出力品質を向上させることが可能である。
【００３７】
従って、本発明の撮像装置を、例えば、監視カメラに適用した場合においては、従来の画像合成を行う撮像装置を監視カメラに用いた場合に発生していた、不連続点での画像の判別の困難さ及び残像部分での画像の欠落という問題点が発生し難くなって、監視制度を向上させることが可能になる。
【００３８】
また、画像に連続性が生まれるため、後に画像処理回路を用いてデーター処理を行う場合に、不連続点が画像検出等で誤った出力を発生させたり、残像によって正しい被写体の大きさが得られなくなるといった不具合を解消させることが可能になる。
【００３９】
更に、２種類の画像を動きの検出等を用いて補正する方法に比べて、フィールドメモリーが不要となる等、不要な回路の増加を抑制することができ、格段に小さな回路で顕著な効果を得ることが可能となる。
【００４０】
更にまた、露光時刻の近い２つの画像の補正を行うことができるので、本発明画像合成方法を多段的に適用することによって、１フィールド内に複数の露光時間が異なる画像出力が得られるようにしたシステムにおいても、容易に不連続点や残像等の不具合の補正された合成画像を得るようにすることが可能になる。
【００４１】
尚、前記実施の形態において示した各部の具体的な形状及び構造は、何れも本発明を実施するに当たっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されることがあってはならないものである。
【００４３】
本発明撮像装置は、撮像素子と、信号処理回路と、差分の極性に応じて短時間露光画像と長時間露光画像との対応するデーターを適宜切り替える画像切り替え手段と、短時間露光画像と長時間露光画像との露光比を短時間露光画像に乗算する乗算手段と、該乗算手段によって露光比が乗算された短時間露光画像と長時間露光画像とのデータの差分を算出する減算手段と、切り替えレベル以上の長時間露光画像データーの検出を行う第１の比較手段、減算器からのデーターから予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する第２の比較手段、減算器からのデーターから減算結果が正のデーターの検出を行う第３の比較手段、上記第１の比較手段及び第２の比較手段の出力データーの論理和を出力する第１の論理回路及び該第１の論理回路と第３の比較器との出力データーの論理積を出力する第２の論理回路とを有し、第２の論理回路の出力を画像切り替え手段の制御信号として使用して、短時間露光画像と長時間露光画像のデーターを画素毎に選択的に使用して合成画像を作成するようにしたので、合成画像のズレによる不具合の解消、特に、移動する被写体を撮像した場合に生じる残像及び不連続点の発生を解消することが可能となって、合成画像の出力品質を向上させることができる。
【図面の簡単な説明】
【図１】図２乃至図６と共に本発明の実施の形態を示すものであり、本図は撮像装置の要部の構成を概略的に示すブロック図である。
【図２】撮像素子からの各種出力、撮像素子からの画像の出力を制御する読み出しパルス、長時間露光画像データー及び短時間画像データー等の波形を示す図である。
【図３】長時間露光画像データー及び短時間露光画像データーを基に、各種処理を施したデーターの波形を示す図である。
【図４】静止した状態の被写体を撮影した画像を示す図である。
【図５】右から左へと移動している被写体を時分割で露光時間を異ならせて撮像した長時間露光画像及び短時間露光画像を重ねて示す図である。
【図６】本発明における合成画像を示す図である。
【図７】図８及び図９と共に、本発明との比較のために示す従来の画像合成方法及び撮像装置を示すものであり、本図は、合成画像を示す図である。
【図８】撮像装置の一例の構成を概略的に示す図である。
【図９】画像合成時における長時間露光画像及び短時間露光画像の入出力の関係を示す図である。
【符号の説明】
１０…撮像装置、１１…撮像素子、１３…信号処理回路、１４…画像切り替え手段、１５…乗算手段、１６…減算手段、１７…第１の比較手段、１８…第２の比較手段、１９…第３の比較手段、２０…第１の論理回路、２１…第２の論理回路、２２…制御信号、２４…長時間露光画像データー、２５…短時間露光画像データー
Claims (1)
- 撮像素子と、信号処理回路と、差分の極性に応じて短時間露光画像と長時間露光画像との対応するデーターを適宜切り替える画像切り替え手段と、短時間露光画像と長時間露光画像との露光比を短時間露光画像に乗算する乗算手段と、該乗算手段によって露光比が乗算された短時間露光画像と長時間露光画像とのデータの差分を算出する減算手段と、切り替えレベル以上の長時間露光画像データーの検出を行う第１の比較手段、減算器からのデーターから予め設定されていたリファレンスレベルよりも大きいレベルを有する画素を検出する第２の比較手段、減算器からのデーターから減算結果が正のデーターの検出を行う第３の比較手段、上記第１の比較手段及び第２の比較手段の出力データーの論理和を出力する第１の論理回路及び該第１の論理回路と第３の比較器との出力データーの論理積を出力する第２の論理回路とを有し、
上記第２の論理回路の出力を画像切り替え手段の制御信号として使用して、短時間露光画像と長時間露光画像のデーターを画素毎に選択的に使用して合成画像を作成するようにした
ことを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000287321A JP4399693B2 (ja) | 2000-09-21 | 2000-09-21 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000287321A JP4399693B2 (ja) | 2000-09-21 | 2000-09-21 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002101347A JP2002101347A (ja) | 2002-04-05 |
| JP4399693B2 true JP4399693B2 (ja) | 2010-01-20 |
Family
ID=18771088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000287321A Expired - Fee Related JP4399693B2 (ja) | 2000-09-21 | 2000-09-21 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4399693B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100672856B1 (ko) | 2005-04-14 | 2007-01-22 | 한국과학기술연구원 | 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치 |
| JP4622711B2 (ja) * | 2005-07-11 | 2011-02-02 | カシオ計算機株式会社 | 画像合成装置、画像合成方法、及び、プログラム |
| JP4649313B2 (ja) * | 2005-10-28 | 2011-03-09 | 株式会社東芝 | 固体撮像装置 |
| JP4888081B2 (ja) * | 2006-01-23 | 2012-02-29 | セイコーエプソン株式会社 | 撮像装置、撮像方法、撮像システム及び画像処理装置 |
| JP4905187B2 (ja) * | 2007-03-09 | 2012-03-28 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP4905229B2 (ja) * | 2007-04-11 | 2012-03-28 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理用プログラム |
| KR100892972B1 (ko) | 2007-05-29 | 2009-04-10 | 한국과학기술연구원 | 영상센서의 물리적 특성을 이용한 넓은 생동폭을 갖는 영상신호 처리 방법 |
| JP4872830B2 (ja) * | 2007-06-28 | 2012-02-08 | セイコーエプソン株式会社 | 撮像装置、撮像方法、画像処理装置、画像処理プログラム及び画像処理方法 |
| JP4438847B2 (ja) | 2007-09-28 | 2010-03-24 | ソニー株式会社 | 撮像装置、撮像制御方法及び撮像制御プログラム |
| US8390698B2 (en) | 2009-04-08 | 2013-03-05 | Panasonic Corporation | Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method |
| JP5445235B2 (ja) * | 2010-03-09 | 2014-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5490309B2 (ja) | 2011-03-07 | 2014-05-14 | パナソニック株式会社 | 撮像装置および測距装置 |
| FR2973160B1 (fr) * | 2011-03-23 | 2013-03-29 | E2V Semiconductors | Capteur d'image a multiplication d'electrons |
| JP5791336B2 (ja) * | 2011-04-01 | 2015-10-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JPWO2013051186A1 (ja) | 2011-10-03 | 2015-03-30 | パナソニックＩｐマネジメント株式会社 | 撮像装置、撮像装置を用いたシステム及び測距装置 |
| JP5898466B2 (ja) * | 2011-11-11 | 2016-04-06 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
| JP5896788B2 (ja) * | 2012-03-07 | 2016-03-30 | キヤノン株式会社 | 画像合成装置及び画像合成方法 |
| JP6045355B2 (ja) * | 2013-01-11 | 2016-12-14 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、及び画像処理プログラム |
| WO2017183114A1 (ja) * | 2016-04-19 | 2017-10-26 | 株式会社日立エルジーデータストレージ | 距離画像生成装置および距離画像生成方法 |
| US9883119B1 (en) * | 2016-09-22 | 2018-01-30 | Qualcomm Incorporated | Method and system for hardware-based motion sensitive HDR image processing |
| JP7260990B2 (ja) | 2018-10-26 | 2023-04-19 | キヤノン株式会社 | 撮像装置及び撮像システム |
-
2000
- 2000-09-21 JP JP2000287321A patent/JP4399693B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002101347A (ja) | 2002-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4399693B2 (ja) | 撮像装置 | |
| JP3103894B2 (ja) | ビデオデータの手振れ補正装置およびその方法 | |
| JP2861249B2 (ja) | 画像変化検出方法および画像変化検出装置 | |
| JP4646655B2 (ja) | 固体撮像装置及びその駆動方法並びに撮像システム | |
| JP4831760B2 (ja) | ３次元情報検出方法及びその装置 | |
| JP2000050173A (ja) | 撮像装置および撮像プログラムを記録した記録媒体 | |
| JP2012234393A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2005287049A (ja) | ベクトルに基づく、画像境界における動き補償方法およびその装置 | |
| JP2010258933A (ja) | 画像変形装置およびその動作制御方法 | |
| JP2018207413A (ja) | 撮像装置 | |
| JP4328115B2 (ja) | 固体撮像装置 | |
| JP2006325274A (ja) | 撮像装置 | |
| JP4378599B2 (ja) | 撮像装置及びその制御方法 | |
| JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JPH01215185A (ja) | 輪郭補償回路 | |
| JP2008160547A (ja) | 動き検出装置及び方法並びに撮像装置 | |
| JP3833076B2 (ja) | 映像信号処理装置、映像信号の処理方法及び映像信号の処理方法のプログラム | |
| JP5341536B2 (ja) | 撮像装置 | |
| JP2011259390A (ja) | フリッカ検出装置 | |
| JP3395186B2 (ja) | ビデオカメラおよびビデオカメラの画像の振動表示方法 | |
| JP2014165621A (ja) | 監視装置及び監視装置の制御方法 | |
| JP2810814B2 (ja) | 動きベクトル検出装置及びカメラ一体型手振れ補正装置 | |
| JP2715464B2 (ja) | 撮像装置 | |
| JP2516580B2 (ja) | 画像動き検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070314 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091001 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091014 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |