JP2014023035A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】フラッシュの発光によって画像の明るさが不連続となった部分を補正し、フラッシュが発光している状態の画像を意図的に保つことができる画像処理装置を提供する。
【解決手段】フラッシュ検出部２は、画面内にフラッシュの発光によって高輝度となっているラインが含まれるか否かを検出する。記録再生部１１は、画像データをフラッシュ検出部２が検出した検出結果の情報とともに記録し再生する。記記録再生部１１によって画像データを再生する際に、補正処理部８２は、検出結果に基づいて高輝度となっているラインを含む画面であることが検出された場合に、少なくとも高輝度となっているラインの部分を、フラッシュの発光による影響を受けていない過去または未来の画面のラインに置換することによって画面を補正する。効果処理部８３は、補正処理部８２によって補正した画面の画像データに輝度信号を加算して擬似的なフラッシュ発光の効果を付加する。
【選択図】図１

Description

本発明は、動画像の撮影時に撮影者以外の他者のフラッシュ等によって、画像の明るさが不連続となった画面を補正するとともに、擬似的にフラッシュ発光の効果を付加することができる画像処理装置及び方法に関する。

近年、ビデオカメラ等の撮像装置においては、CMOS（Complementary Metal Oxide Semiconductor）センサが数多く採用されている。CMOSセンサにおける撮像信号の読み出しは、全画素で同一タイミングでなく、ライン単位で順次、リセット、露光、読み出しを行うことにより、読み出しタイミングがライン方向に順次ずれていくローリングシャッタ方式にて行われる。

このため、例えば結婚式等において多数のビデオカメラやスチルカメラが、同一の被写体を同時に撮影する場合において、他者のフラッシュによる発光期間が短く強い光が一部のラインのみの露光期間中にCMOSセンサに入射することがある。この場合、撮像する画面の一部で露光量が異なり、画面内に白帯状の明るい領域が発生して不連続な画像となってしまう。この問題点はフラッシュに限らず、フラッシュと同様の発光期間が短く強い光がCMOSセンサに入射した場合も同様に発生する。

この問題点の解決策が例えば特許文献１〜３に記載されているように種々提案されている。

特開２０１０−２１３２２０号公報 特開２０１１−１５２２２号公報 特開２０１１−１０１２０８号公報

フラッシュの発光によって画像の明るさが不連続となった部分を補正すると、画像は実質的にフラッシュが発光しなかった状態となる。ところが、フラッシュが発光している状況で撮影したという臨場感を損ねないように、フラッシュが発光している状態の画像を意図的に保ちたいという要望がある。

この際、フラッシュ等の発光期間が短く強い光がCMOSセンサに入射して画面内で画像の明るさが不連続となったことを、極力、誤検出少なく検出して補正することが求められる。また、画面内で画像の明るさが不連続となったことを検出するためにメモリリソースが増大することは好ましくない。メモリリソースが増大せず、画像の明るさが不連続となったことを検出することが求められる。

本発明はこのような要望に対応するため、フラッシュの発光によって画像の明るさが不連続となった部分を補正することができ、フラッシュが発光している状態の画像を意図的に保つことができる画像処理装置及び方法を提供することを目的とする。また、併せて、画面内で画像の明るさが不連続となったことを精度よく検出することができる画像処理装置及び方法、メモリリソースを増大させることなく、画面内で画像の明るさが不連続となったことを検出することができる画像処理装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、画像データで構成される画面内にフラッシュの発光によって高輝度となっているラインが含まれるか否かを検出するフラッシュ検出部（２，２０）と、前記画像データを前記フラッシュ検出部が検出した検出結果の情報とともに記録し再生する記録再生部（１１）と、前記記録再生部によって前記画像データを再生する際に、再生された前記検出結果の情報に基づいて、再生された前記画像データで構成される画面が高輝度となっているラインを含む画面であることが検出された場合に、前記画面における少なくとも高輝度となっているラインの部分を、フラッシュの発光による影響を受けていない過去または未来の画面のラインに置換することによって画面を補正する補正処理部（８２）と、前記補正処理部によって補正した画面のうち少なくとも１つの画面を構成する画像データに対して擬似的なフラッシュ発光の効果を付加する効果処理部（８３）とを備えることを特徴とする画像処理装置を提供する。

上記の画像処理装置において、前記効果処理部は、効果付加対象画面を構成する画像データに対して輝度信号の固定値を加算することによって擬似的なフラッシュ発光の効果を付加することが好ましい。

上記の画像処理装置において、前記効果処理部は、効果付加対象画面を構成する画像データの輝度信号と色差信号に対して個別に設定したゲインを乗算することによって擬似的なフラッシュ発光の効果を付加することが好ましい。

上記の画像処理装置において、前記フラッシュ検出部は、検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部（２１）と、前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記検出対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出する全画面平均輝度算出部（２３）と、前記検出対象画面におけるそれぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記検出対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを判定するフラッシュ判定部（２６）とを有することが好ましい。

上記の画像処理装置において、前記フラッシュ検出部は、検出対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出するブロック平均輝度算出部（２０１）と、前記ブロック平均輝度算出部で算出された１ラインにおけるブロック平均輝度に基づいて、前記検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部（２０３）と、前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出する全画面平均輝度算出部（２０５）と、前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出する差分算出部（２０７）と、前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定するフラッシュ判定部（２０８）とを有することが好ましい。

上記の画像処理装置において、前記フラッシュ検出部は、フラッシュの発光によって高輝度となっている最初のラインであるフラッシュ開始ラインと最後のラインであるフラッシュ終了ラインとを検出し、前記補正処理部は、前記フラッシュ開始ラインよりも上方に位置し、前記フラッシュ開始ラインに隣接する第１の隣接領域と、前記フラッシュ終了ラインよりも下方に位置し、前記フラッシュ終了ラインに隣接する第２の隣接領域とをそれぞれ設定し、前記第１の隣接領域では、前記第１の隣接領域の最初のラインから最後のラインに進行するに従って前記検出対象画面の画像データを順次減少させ、前記過去の画面の画像データを順次増加させるように両者の画像データを混合し、前記第２の隣接領域では、前記第２の隣接領域の最初のラインから最後のラインに進行するに従って前記過去の画面の画像データを順次減少させ、前記検出対象画面の画像データを順次増加させるように両者の画像データを混合することが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、画像データで構成される画面内にフラッシュの発光によって高輝度となっているラインが含まれるか否かを検出し、前記画像データを高輝度となっているラインが含まれるか否かを示す検出結果の情報とともに記録再生部に記録し、前記記録再生部に記録された前記画像データを前記検出結果の情報とともに再生し、再生された前記検出結果の情報に基づいて、再生された前記画像データで構成される画面が高輝度となっているラインを含む画面であることが検出された場合に、前記画面における少なくとも高輝度となっているラインの部分を、フラッシュの発光による影響を受けていない過去または未来の画面のラインに置換するよう補正し、補正した画面のうち少なくとも１つの画面を構成する画像データに対して擬似的なフラッシュ発光の効果を付加することを特徴とする画像処理方法を提供する。

本発明の画像処理装置及び方法によれば、フラッシュの発光によって画像の明るさが不連続となった部分を補正することができ、フラッシュが発光している状態の画像を意図的に保つことができる。また、本発明の画像処理装置及び方法によれば、併せて、画面内で画像の明るさが不連続となったことを精度よく検出することができ、メモリリソースを増大させることなく、画面内で画像の明るさが不連続となったことを検出することができる。

本発明の画像処理装置の第１実施形態を示すブロック図である。 CMOSセンサを用いた動画像の撮影時にフラッシュの発光によって発生する画像の明るさが不連続となる現象を説明するための図である。 第１実施形態の画像処理装置における撮影及び記録処理の全体的な流れを示すフローチャートである。 第１実施形態におけるフラッシュ検出処理の詳細を示すフローチャートである。 第１実施形態によるフラッシュ補正処理の詳細を示すフローチャートである。 第１実施形態における画面単位切換モードの場合の画像データの補正を説明するための図である。 第１実施形態による動作を説明するための隣接領域を示す図である。 第１実施形態による動作を説明するための混合特性を示す図である。 第１実施形態における領域補正モードの場合の画像データの補正を説明するための図である。 本発明の画像処理装置の第２実施形態を示すブロック図である。 第２実施形態におけるフラッシュ検出処理の詳細を示すフローチャートである。 第２実施形態による効果を説明するための図である。

以下、本発明の画像処理装置及び方法の各実施形態について、添付図面を参照して説明する。各実施形態においては、画像処理装置をビデオカメラに適用し、ビデオカメラで行われる画像処理方法を例として説明する。

＜第１実施形態＞
図１を用いて、第１実施形態の画像処理装置であるビデオカメラ１０１の全体構成について説明する。ビデオカメラ１０１は、撮像部１，フラッシュ検出部２，画像信号処理部３，バッファメモリ４，圧縮伸張処理部５，出力信号処理部６，表示部７，フラッシュ補正部８０，制御部９，メモリ１０，記録再生部１１，操作スイッチ１２を備える。記録再生部１１は、半導体メモリ，ハードディスク・ドライブ等の任意の記録媒体を有する。記録媒体はビデオカメラ１０１に対して着脱自在であってもよい。

撮像部１は、レンズや絞り等の光学系（図示せず）、CMOSセンサ１ｓ、露出やピントの制御機構（図示せず）等を有する。一例として、撮像部１は３つのCMOSセンサ１ｓを有し、３つのCMOSセンサ１ｓから赤，緑，青それぞれの色信号であるＲ，Ｇ，Ｂ信号を示す電気信号を出力する。勿論、CMOSセンサ１ｓは１つであってもよい。撮像部１は、レンズを介してCMOSセンサ１ｓに入力された光情報を所定のタイミングで電気信号として取り出し、電気信号をフラッシュ検出部２及び画像信号処理部３に供給する。

フラッシュ検出部２は、ライン平均輝度算出部２１，ライン平均輝度保持部２２，全画面平均輝度算出部２３，全画面平均輝度保持部２４，差分算出部２５，フラッシュ判定部２６を有する。フラッシュ検出部２は、制御部９による制御に従って以下のようにフラッシュの発光を検出する。

ライン平均輝度算出部２１は、撮像部１から供給された電気信号におけるラインごとの明るさの平均を算出する。第１実施形態においては、Ｒ，Ｇ，Ｂ信号の内、Ｇ信号に基づいてラインごとの明るさの平均を算出する。具体的には、ライン平均輝度算出部２１は、Ｇ信号の値を１ラインの有効画素分に渡って加算し、有効画素数で除算することによって１ラインの明るさの平均（ライン平均輝度）を算出する。ライン平均輝度を算出する基にする信号はＧ信号に限定されるものではない。

ライン平均輝度算出部２１によって算出されたライン平均輝度は、ライン平均輝度保持部２２及び全画面平均輝度算出部２３に入力される。ライン平均輝度保持部２２は、ライン平均輝度算出部２１によって算出されたライン平均輝度を一時的に保持する。全画面平均輝度算出部２３は、１画面（１フレーム）全体の明るさの平均を算出する。具体的には、全画面平均輝度算出部２３は、順次入力されるライン平均輝度を１画面の有効ラインに渡って加算し、有効ライン数で除算することによって１画面全体の明るさの平均（全画面平均輝度）を算出する。全画面平均輝度保持部２４は、全画面平均輝度を一時的に保持する。

差分算出部２５には、ライン平均輝度保持部２２で保持されたライン平均輝度と、全画面平均輝度保持部２４で保持された全画面平均輝度とが入力される。なお、全画面平均輝度を算出した画面とライン平均輝度を算出した画面とは１画面ずれており、全画面平均輝度を算出した画面は、ライン平均輝度を算出した画面の１画面前の画面である。１画面前の画面の全画面平均輝度を１画面の期間保持しておき、２画面前の画面の全画面平均輝度として用いてもよい。また、１画面前の画面の全画面平均輝度と２画面前の画面の全画面平均輝度との双方を保持し、１画面前の画面がフラッシュの発光の影響を受けている場合に、２画面前の画面の全画面平均輝度を用いるようにしてもよい。

第１実施形態では、ライン平均輝度を算出している画面を現在の画面、全画面平均輝度を算出した画面を１画面前の画面とする。即ち、現在の画面が、フラッシュの発光によって高輝度となっているラインを含むか否かの検出対象となっている対象画面である。差分算出部２５は、現在の画面におけるそれぞれのライン平均輝度と１画面前の画面における全画面平均輝度との差分を順次算出する。差分算出部２５は差分の絶対値をとり、差分値として出力する。

差分算出部２５によって算出された差分値は、フラッシュ判定部２６に入力される。フラッシュ判定部２６は、ラインごとの差分値が設定された閾値以上であるか否かを判定するとともに、差分値が閾値以上である状態が予め設定したライン数以上継続するか否かを判定する。フラッシュ判定部２６は、差分値が閾値以上である状態が予め設定したライン数以上継続したと判定した場合に、フラッシュの発光によって画像の明るさが不連続となったと検出する。

フラッシュ判定部２６は、フラッシュが発光したことを示す検出信号と併せて、フラッシュの発光の開始時点である差分値が閾値以上となった最初のライン番号を示すデータと、差分値が閾値未満となった最初のライン番号を示すデータとを出力する。差分値が閾値未満となった最初のラインの１ライン前のラインがフラッシュの発光の最終ラインである。

なお、フラッシュ判定部２６は、例えば、フラッシュが発光したと判定した場合にはフラッシュが発光したことを示す検出信号として“１”を、フラッシュが発光しなかったと判定した場合にはフラッシュが発光しなかったことを示す検出信号として“０”を生成すればよい。

以上の説明より分かるように、フラッシュ検出部２は、ライン平均輝度、全画面平均輝度、差分値を算出し、差分値を判定してフラッシュの発光を検出するだけであるので、フレームメモリのような大容量のメモリリソースを備える必要はない。なお、ここではフラッシュの発光を検出としたが、上記のように、フラッシュと同様の発光期間が短く強い光がCMOSセンサ１ｓに入射した場合にもフラッシュ検出部２は画像の明るさが不連続となったことを検出する。このような場合も含めてフラッシュの発光の検出とする。

フラッシュ検出部２は、現在の画面におけるそれぞれのラインのライン平均輝度と、例えば１画面前の画面である過去の画面の全画面平均輝度とを比較するので、画面の一部のラインがフラッシュの発光によって高輝度となっている場合には、高輝度となっている全てのラインで差分値が閾値以上となる。仮に現在の画面内で隣接するラインのライン平均輝度を比較した場合には、正常なラインと高輝度となったラインの境界のみしか差分値が閾値以上とならない。従って、本実施形態においては、画面内で画像の明るさが不連続となったことを誤検出少なく検出することが可能である。

画像信号処理部３は、撮像部１から供給された電気信号を所定の信号方式に変換する。上記のように第１実施形態におていは、電気信号はＲ，Ｇ，Ｂ信号であるため、ホワイトバランスやゲインを調整し、ガンマ処理等を行った後に、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに変換する。フラッシュ検出部２は、輝度信号Ｙに基づいてライン平均輝度及び全画面平均輝度を算出してもよい。バッファメモリ（保持部）４は、画像信号処理部３より出力された輝度信号Ｙと色差信号Ｃｂ，Ｃｒの画像データを一時的に保持する。色差信号Ｃｂ，Ｃｒを帯域制限して輝度信号Ｙと時間軸多重すれば、画像処理に必要なメモリや演算リソースを少なくすることができる。

フラッシュの発光が検出された場合には、画像信号処理部３からバッファメモリ４へと入力されて保持された画像データが後述するフラッシュ補正部８０による画像データの補正処理の際に用いられる。

圧縮伸張処理部５は、バッファメモリ４より読み出した画像データをMPEG-2，MPEG-4 AVC/H.264，JPEG等の圧縮方式によって圧縮処理して符号化データを生成するとともに、記録再生部１１に記録された符号化データを再生して読み出した場合に符号化データを伸張処理する。

出力信号処理部６は、バッファメモリ４より読み出した画像データを外部機器（図示せず）に出力するとともに、後段の表示部７の入力フォーマットに合わせて例えばＮＴＳＣ信号方式に変換し、表示部７の表示画面の大きさに合わせて画像データのサイズを変更する。これによって、画像データは表示部７に表示可能なデータとなり、表示部７に供給されて表示される。出力信号処理部６には制御部９から出力されたオンスクリーン信号も入力され、出力信号処理部６はオンスクリーン信号を画像データに重畳する。

フラッシュ補正部８０には、フラッシュ判定部２６より出力された検出信号が入力される。フラッシュ補正部８０は、補正制御部８１と補正処理部８２と効果処理部８３とを有する。

フラッシュ補正部８０は、制御部９による制御に従って、フラッシュの発光によって明るさが不連続となった画像データを補正する。フラッシュ補正部８０は、フラッシュの発光によって部分的に高輝度となっている画像データが記録再生部１１に記録されている場合に、画像データの再生時に画像データを補正する。領域補正モードに設定されている場合と画面単位切換モードに設定されている場合の補正処理部８２の動作については後述する。

効果処理部８３は、補正処理部８２によって補正された画像データに対して擬似的なフラッシュ効果を付加して、バッファメモリ４へと供給する。

制御部９には、後述する領域補正モードと画面単位切換モードとのいずれかが設定されている。フラッシュ検出部２及びフラッシュ補正部８０は、制御部９に設定されているモードの情報を参照する。補正制御部８１は、補正処理部８２が制御部９に設定されているモードに応じた補正処理動作を実行するよう補正処理部８２を制御する。なお、画面単位切換モードは必須ではなく、必要に応じて領域補正モードと画面単位切換モードとを選択するようにすればよい。

制御部９は、ＣＰＵを有するマイクロコンピュータによって構成することができる。制御部９はビデオカメラ１０１の全体を制御する制御プログラムを記憶した記憶部を有し、制御プログラムに基づいてビデオカメラ１０１の全体を制御する。第１実施形態による画像処理を画像処理プログラムによって実現する場合には、制御プログラムの一部として第１実施形態の画像処理を実行させる画像処理プログラムを含むようにすればよい。この場合、制御部９は画像処理プログラムを実行させてフラッシュの発光を検出し、フラッシュが発光した場合に画像データを補正する。

制御部９には、制御部９の作業用メモリとしてのメモリ１０が接続されている。また、制御部９には、記録再生部１１と操作スイッチ１２とが接続されている。制御部９は操作スイッチ１２によって撮像した動画像を記録する指示がなされたら、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録するよう制御する。

また、制御部９は操作スイッチ１２によって撮像した動画像を記録する指示がなされたら、記録再生部１１に符号化データを再生させて読み出し、圧縮伸張処理部５へと供給するよう制御する。制御部９は、操作スイッチ１２による操作に従ってオンスクリーン信号を発生して、出力信号処理部６へと供給する。

図１では、フラッシュ検出部２をハードウェアにて構成した例を示しているが、ソフトウェアによって構成してもよい。即ち、第１実施形態の画像処理プログラムの一部であるフラッシュ検出プログラムを実行させることによって、フラッシュ検出部２と同等の構成を実現してもよい。また、フラッシュ補正部８０もソフトウェアによって構成してもよい。即ち、第１実施形態の画像処理プログラムの一部であるフラッシュ補正プログラムを実行させることによって、フラッシュ補正部８０と同等の構成を実現してもよい。

ここで、図２を用いて、動画像の撮影時に撮影者以外の他者のフラッシュが発光した場合に発生する画像の明るさが不連続となる現象について説明する。ローリングシャッタ方式を採用するCMOSセンサ１ｓはラインＬｎ単位で撮像した画素データを読み出していくので、撮像部１による被写体の撮像ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４…は、図２（ｂ）に示すように、画面の最初のラインＬｎから最後のラインＬｎまでタイミングが時間方向に順次ずれていく。１つのラインＬｎの撮像は、図２の（ａ）に示すように、露光時間と画素データの読み出し時間とを含む。

撮像部１による撮像ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４…によって、撮像部１からは図２の（ｃ）に示すように、有効データＤ１，Ｄ２，Ｄ３，Ｄ４…が出力される。時刻ｔ１にて他者のフラッシュによる発光ＦＬがあり、CMOSセンサ１ｓに入射したとする。この場合、撮像ＳＴ２の一点鎖線で示す位置から最後のラインＬｎまでの各ラインＬｎと、撮像ＳＴ３の最初のラインＬｎから一点鎖線で示す位置までの各ラインＬｎは発光ＦＬによる影響を受けることになる。

第１実施形態による画像データの補正を行わないとすると、記録再生部１１に記録されて再生され、表示部７に表示される画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…は図２の（ｄ）に示すようになる。画像Ｉｍ１，Ｉｍ４は発光ＦＬによる影響を受けておらず、画面の明るさが連続して正常な画像である。画像Ｉｍ２は、一点鎖線以降の下端部で白帯状に明るくなっており、画像の明るさが不連続となった正常でない画像である。ハッチングを付した部分が高輝度の部分を示す。画像Ｉｍ３は、上端から一点鎖線までの上端部で同様に白帯状に明るくなっており、画像の明るさが不連続となった正常でない画像である。

なお、撮影者が所有するビデオカメラ１０１のフラッシュを発光させる場合には、フラッシュの発光のタイミングを図２の（ｂ）に示す撮像のタイミングと合わせるので、図２の（ｄ）に示すような画像の明るさが不連続となる現象は発生しない。

図３〜図５を用いて、第１実施形態によるビデオカメラ１０１の動作についてさらに詳細に説明する。図３は、ビデオカメラ１０１による撮影及び記録処理の全体的な流れを示している。図３において、制御部９は、ステップＳ１にて、操作スイッチ１２による撮影開始の指示があったか否かを判定する。撮影開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ２にて、絞り及びシャッタースピード等の条件に合わせて撮像部１を制御して撮影を開始させる。なお、操作スイッチ１２によるビデオカメラ１０１の電源投入の指示を撮影開始の指示としてもよい。撮影開始の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ１に戻してステップＳ１を繰り返す。

制御部９は、ステップＳ３０にて、フラッシュ検出部２によるフラッシュ検出処理を実行させる。また、制御部９は、ステップＳ３０と並行して、ステップＳ４にて、画像信号処理部３による画像信号処理を実行させる。ステップＳ３０のフラッシュ検出処理の詳細については後述する。制御部９は、ステップＳ５にて、出力信号処理部６を制御して表示部７に撮影した画像を表示させる。

制御部９は、ステップＳ６にて、操作スイッチ１２による記録開始の指示があったか否かを判定する。記録開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる。記録開始の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ１１に移行させる。

制御部９は、ステップＳ８にて、記録終了の指示があったか否かを判定する。記録終了の指示があったと判定されれば（YES）、制御部９は、ステップＳ９にて、記録再生部１１への記録を停止させる。記録終了の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ７に戻してステップＳ７を繰り返す。

制御部９は、ステップＳ９に続き、ステップＳ１１にて、操作スイッチ１２によって、記録再生部１１に記録された所定の画像データの再生を開始する指示があったか否かを判定する。再生開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ１２にて、記録再生部１１に記録された画像データ（符号化データ）を再生させる。記録再生部１１から読み出された符号化データは、圧縮伸張処理部５によって伸張処理され、バッファメモリ４に入力されて保持される。再生開始の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ１０に移行させる。

制御部９は、ステップＳ１３にて、フラッシュ検出領域があるか否かを判定する。フラッシュ検出領域とは、再生する画像データ内でフラッシュの発光によって高輝度となっていることが検出された領域である。画像データにおけるどの部分がフラッシュ検出領域であるかは、後述するように、符号化データに付加したメタデータ（付加情報）を参照することによって判別することができる。

フラッシュ検出領域があると判定されれば（YES）、制御部９は、ステップＳ１４０にて、フラッシュ補正部８０によるフラッシュ補正処理を実行させる。ステップＳ１４０におけるフラッシュ補正処理は、フラッシュの発光によって画像の明るさが不連続となった部分を補正するとともに、擬似的にフラッシュ発光の効果を付加する補正処理である。

制御部９は、ステップＳ１５にて、ステップＳ１４０にて補正された画像データを表示部７に表示させる。

この場合、バッファメモリ４に保持された伸張処理後の画像データがフラッシュ補正部８０へと入力され、ステップＳ１４０によるフラッシュ補正処理が実行される。補正された画像データはバッファメモリ４に入力されて保持され、出力処理部６を介して表示部７へと供給される。

ステップＳ１３にてフラッシュ検出領域があると判定されなければ（NO）、制御部９は、処理をステップＳ１５に移行させる。制御部９は、ステップＳ１５にて、ステップＳ１２にて再生された画像データをそのまま表示部７に表示させる。この場合、バッファメモリ４に保持された伸張処理後の画像データは、バッファメモリ４から出力処理部６へとそのまま出力され、表示部７へと供給される。

制御部９は、ステップＳ１６にて、再生停止の指示があったか否かを判定する。再生停止の指示があったと判定されれば（YES）、制御部９は、ステップＳ１７にて、画像データの再生を停止させて、処理をステップＳ１０に移行させる。再生停止の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ１２に戻してステップＳ１２以降を繰り返す。

制御部９は、ステップＳ１０にて、操作スイッチ１２による撮影終了の指示があったか否かを判定する。撮影終了の指示があったと判定されれば（YES）、制御部９は処理を終了させる。撮影終了の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ２に戻してステップＳ２以降を繰り返す。操作スイッチ１２によるビデオカメラ１０１の電源切断の指示を撮影終了の指示としてもよい。

図４を用いて、図３に示すステップＳ３０のフラッシュ検出処理の詳細について説明する。第１実施形態におけるステップＳ３０をステップＳ３０_１とする。以下の各ステップは、制御部９による制御に基づいてフラッシュ検出部２によって実行される。

図４において、フラッシュ検出部２は、ステップＳ3101にて、有効ラインにおける有効画素の画素値を加算する処理を有効ラインごとに順次実行する。フラッシュ検出部２は、ステップＳ3102にて、ステップＳ3101にて得た画素値の加算値を有効画素数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。

フラッシュ検出部２は、ステップＳ3103にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２は、ステップＳ3104にて、ステップＳ3102で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算処理を実行する。ステップＳ3104における差分演算処理は、ステップＳ3102でライン平均輝度を算出するたびに実行される。

フラッシュ検出部２は、ステップＳ3105にて、フラッシュの発光を検出していない通常状態であるか否かを判定する。通常状態であると判定されれば（YES）、フラッシュ検出部２は、ステップＳ3106にて、差分値が閾値以上のラインを検出したか否かを判定する。差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3107に移行させる。この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

一方、差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ3111に移行させる。

フラッシュ検出部２は、ステップＳ3107にて、差分値が閾値以上である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3108に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3111に移行させる。

ステップＳ3105にて通常状態であると判定され、ステップＳ3106にて差分値が閾値以上のラインが検出され、ステップＳ3107にて差分値が閾値以上である状態が所定ライン数以上継続したと判定された場合は、フラッシュの発光の影響を受けていない状態からフラッシュの発光の影響を受けて高輝度の状態へと変化したことを検出したということである。

そこで、フラッシュ検出部２は、ステップＳ3108にて、フラッシュの発光を検出していない状態からフラッシュの発光を検出した状態へとフラッシュ検出状態を変更する。第１実施形態においては、フラッシュ検出部２は、フラッシュ発光の開始ラインを示す検出ライン情報を制御部９に供給し、記憶した検出ライン情報を消去する。

一方、ステップＳ3105にて通常状態であると判定されなければ（NO）、フラッシュ検出部２は、ステップＳ3109にて、差分値が閾値未満のラインを検出したか否かを判定する。差分値が閾値未満のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3110に移行させる。この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

フラッシュ検出部２は、ステップＳ3110にて、差分値が閾値未満である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3108に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3111に移行させる。

ステップＳ3105にて通常状態ではないと判定され、ステップＳ3109にて差分値が閾値未満のラインが検出され、ステップＳ3110にて差分値が閾値未満である状態が所定ライン数以上継続したと判定された場合は、フラッシュの発光の影響を受けて高輝度の状態からフラッシュの発光の影響を受けていない状態へと変化したことを検出したということである。

そこで、フラッシュ検出部２は、ステップＳ3108にて、フラッシュの発光を検出している状態からフラッシュの発光を検出していない状態へとフラッシュ検出状態を変更する。第１実施形態においては、フラッシュ検出部２は、フラッシュ発光の終了ラインを示す検出ライン情報を制御部９に供給し、記憶した検出ライン情報を消去する。

フラッシュ検出部２は、ステップＳ3111にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3101に戻し、ステップＳ3101以降の処理を繰り返す。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２は、ステップＳ3112にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持する。

制御部９は、図３のステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる際に、フラッシュ検出部２で検出したフラッシュ発光の開始ライン及び終了ラインを示す検出ライン情報を符号化データに付加するメタデータとして記録させる。

図５を用いて、図３に示すステップＳ１４０のフラッシュ補正処理の詳細について説明する。以下の各ステップは、制御部９による制御に基づいてフラッシュ補正部８０によって実行される。制御部９は、符号化データに付加されているメタデータに基づいてフラッシュ補正部８０によるフラッシュ補正処理を実行させる。

図５において、フラッシュ補正部８０は、ステップＳ1401にて、画面単位切換モードであるか否かを判定する。画面単位切換モードであると判定されれば（YES）、フラッシュ補正部８０は、ステップＳ1402にて、２画面にわたるフラッシュであるか否かを判定する。

２画面にわたるフラッシュであると判定されれば（YES）、フラッシュ補正部８０は、ステップＳ1403にて、２画面目であるか否かを判定する。２画面目であると判定されれば（YES）、フラッシュ補正部８０は、ステップＳ1404にて、１画面後の画面に置換する。ステップＳ1402にて２画面にわたるフラッシュであると判定されなければ（NO）、また、ステップＳ1403にて２画面目であると判定されなければ（NO）、フラッシュ補正部８０は、ステップＳ1405にて、１画面前の画面に置換する。

図６において、（ａ）は補正前の画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…を示している。図６において、ハッチングを付した部分がフラッシュの発光によって高輝度となっている部分である。図６の（ｂ）に示すように、高輝度の部分を有する１画面目の画像Ｉｍ２は、ステップＳ1405にて、１画面前の画像Ｉｍ１に置換され、高輝度の部分を有する２画面目の画像Ｉｍ３は、ステップＳ1404にて、１画面後の画像Ｉｍ４に置換される。

次に、フラッシュ補正部８０（効果処理部８３）は、ステップＳ1410にて、補正した画面の全体に所定値以上の輝度信号を加算することによって擬似的なフラッシュ発光の効果を付加する。輝度信号は固定値でよい。

画像データに輝度信号の固定値を加算する代わりに、輝度信号に対し、または、輝度信号及び色差信号の双方に対し、所定のゲインを乗算することによって、擬似的なフラッシュ発光の効果を付加してもよい。輝度信号及び色差信号の双方に対しゲインを乗算する場合には、輝度信号に乗算するゲインと色差信号に乗算するゲインとを個別で設定することが好ましい。

図６の（ｃ）は、画像Ｉｍ２を１画面前の画像Ｉｍ１に置換した画面の全体と、画像Ｉｍ３を１画面後の画像Ｉｍ４に置換した画面の全体に、擬似的なフラッシュ発光の効果を付加した状態を示している。画像Ｉｍ１，Ｉｍ４はそれぞれ、画面の全体にハッチングを付して示すように、画面の全体でフラッシュが発光している状態と等価な画像Ｉｍ１”，Ｉｍ４”とされている。

なお、上記説明ではフラッシュ発光によって高輝度の部分を有すると判定された２つの画像（Ｉｍ２，Ｉｍ３）に対して、それぞれＩｍ１，Ｉｍ４に置換後に擬似的なフラッシュ発光の効果を付加したが、画像Ｉｍ２，Ｉｍ３のうちいずれか１つの画像のみに擬似的なフラッシュ発光の効果を付加し、残りの画像は置換のみ行なうようにしてもよい。

一方、ステップＳ1401にて画面単位切換モードであると判定されなければ（NO）、フラッシュ補正部８０は、ステップＳ1406〜Ｓ1408の領域補正モードに設定されている場合の処理を実行する。フラッシュ補正部８０は、ステップＳ1406にて、１画面を複数の領域に分割する。

具体的には、フラッシュ補正部８０は、図７の（ａ）に示すように、ステップＳ３０のフラッシュ検出処理において検出した検出ライン情報が示すフラッシュ開始ラインＬｎfsよりも上方に位置し、フラッシュ開始ラインＬｎfsに隣接する複数ラインの隣接領域Ａadjsと、図７の（ｂ）に示すように、検出ライン情報が示すフラッシュ終了ラインＬｎfeよりも下方に位置し、フラッシュ終了ラインＬｎfeに隣接する隣接領域Ａadjeを設定する。隣接領域Ａadjs，Ａadjeは例えば５〜１０ライン程度でよい。

このように、フラッシュ補正部８０は、フラッシュの影響を受けていない正常な部分と、フラッシュの発光によって高輝度となっている部分と、高輝度となっている部分の上方側または下方側に隣接する隣接領域とに領域に分割する。

フラッシュ補正部８０は、ステップＳ1407にて、合成比率を生成する。具体的には、図７の（ａ）において、隣接領域Ａadjsの最初のラインをＬＳ、隣接領域Ａadjsの最後のラインをＬＥとし、隣接領域Ａadjsの画素位置をＬｆ（ｉ，ｊ）とすると、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）と、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）は式（１）となる。

式（１）では、画素位置Ｌｆ（ｉ，ｊ）としているが、１画面前の画面の画像データと現在の画面の画像データとはライン単位で混合するので、画像の水平方向の位置を示すｉの情報はなくてもよい。

図７の（ｂ）において、隣接領域Ａadjeの最初のラインをＬＳ、隣接領域Ａadjeの最後のラインをＬＥとし、隣接領域Ａadjeの画素位置をＬｆ（ｉ，ｊ）とすると、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）と、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）は式（２）となる。

同様に、式（２）では、画素位置Ｌｆ（ｉ，ｊ）としているが、１画面前の画面の画像データと現在の画面の画像データとはライン単位で混合するので、画像の水平方向の位置を示すｉの情報はなくてもよい。

式（１）による現在の画面のラインと１画面前の画面のラインとを混合特性は図８の（ａ）となる。図８の（ａ）において、実線は現在の画面のラインの混合率を示し、破線は１画面前の画面のラインの混合率を示している。図８の（ａ）に示すように、図７の（ａ）に示す画像Ｉｍ２の場合には、画面の上端側から隣接領域Ａadjsの手前までは現在の画面のラインのみである。

隣接領域Ａadjsにおいては、式（１）に基づいて、現在の画面のラインと１画面前の画面のラインとを混合して新たなラインを生成する。隣接領域Ａadjsの最初のラインＬＳから最後のラインＬＥまで現在の画面のラインの混合率が順次減少していく一方、１画面前の画面のラインの混合率が順次増加していく。最後のラインＬＥ以降、１画面前の画面のラインのみとなる。なお、フラッシュ開始ラインＬｎfsと最後のラインＬＥとを同一のラインとしてもよい。

式（２）による現在の画面のラインと１画面前の画面のラインとを混合特性は図８の（ｂ）となる。図８の（ｂ）において、実線は現在の画面のラインの混合率を示し、破線は１画面前の画面のラインの混合率を示している。図８の（ｂ）に示すように、図７の（ｂ）に示す画像Ｉｍ３の場合には、画面の上端側から隣接領域Ａadjeの手前までは１画面前の画面のラインのみである。

隣接領域Ａadjeにおいては、式（２）に基づいて、１画面前の画面のラインと現在の画面のラインとを混合して新たなラインを生成する。隣接領域Ａadjeの最初のラインＬＳから最後のラインＬＥまで１画面前の画面のラインの混合率が順次減少していく一方、現在の画面のラインの混合率が順次増加していく。最後のラインＬＥ以降、現在の画面のラインのみとなる。なお、フラッシュ終了ラインＬｎfeと最初のラインＬＳとを同一のラインとしてもよい。

第１実施形態によれば、図２に示す画像Ｉｍ２のように画面の途中から高輝度となっている場合には、フラッシュ開始ラインＬｎfsに対して上方に位置するフラッシュの影響を受けていない隣接領域Ａadjsにおいて、最初のラインＬＳから最後のラインＬＥに進行するに従って１画面前の画面のラインに徐々に切り替わっていく。従って、現在の画面の画像データと１画面前の画面の画像データとを混合する不自然さが低減される。

また、第１実施形態によれば、図２に示す画像Ｉｍ３のように画面の途中まで高輝度で途中から正常な画像となっている場合には、フラッシュ終了ラインＬｎfeに対して下方に位置するフラッシュの影響を受けていない隣接領域Ａadjeにおいて、最初のラインＬＳから最後のラインＬＥに進行するに従って現在の画面のラインに徐々に切り替わっていく。従って、現在の画面の画像データと１画面前の画面の画像データとを混合する不自然さが低減される。

上述した式（１），（２）の代わりに、式（３）を用いて画素単位で現在の画面の画像データと１画面前の画面の画像データとを混合してもよい。式（３）において、Ｍｆ（ｉ，ｊ）は画素の明るさであり、ＴｈH，ＴｈLはＴｈH＞ＴｈLを満たす明るさの閾値である。この場合には、フラッシュ検出部２で検出したそれぞれの有効画素の明るさをフラッシュ補正部８０に入力すればよい。

式（３）によれば、隣接領域Ａadjs，Ａadjeにおいて、それぞれの画素の明るさＭｆ（ｉ，ｊ）が小さい方の値の閾値ＴｈLよりも小さければ、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）が１となり、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）が０となる。即ち、画素の明るさＭｆ（ｉ，ｊ）が閾値ＴｈLよりも小さいということはフラッシュの発光による影響を受けていない可能性が高く、現在の画面の画素データのみとする。

また、それぞれの画素の明るさＭｆ（ｉ，ｊ）が大きい方の閾値ＴｈHよりも大きければ、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）が０となり、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）が１となる。即ち、画素の明るさＭｆ（ｉ，ｊ）が閾値ＴｈHよりも大きいということはフラッシュの発光による影響を受けている可能性が高く、１画面前の画面の画素データのみとする。

それぞれの画素の明るさＭｆ（ｉ，ｊ）が閾値ＴｈL以上閾値ＴｈH以下であれば、式（３）の特性で現在の画面の画素データと１画面前の画面の画素データとが適応的に混合されることになる。

このように、ステップＳ1407では、式（１），（２）を用いて現在の画面のラインと１画面前の画面のラインとの合成比率（混合率）を生成するか、式（３）を用いて画素単位で現在の画面の画像データと１画面前の画面の画像データとの合成比率（混合率）を生成する。

フラッシュ補正部８０は、ステップＳ1408にて、ステップＳ1407で生成した合成比率によって現在の画面のライン（画素）と１画面前の画面のライン（画素）とを合成して領域置換処理を実行する。

制御部９に領域補正モードが設定されている場合には、図９の（ａ）に示すように、画像Ｉｍ２におけるハッチングを付した部分の高輝度となっている複数のラインが、画像Ｉｍ１における対応する複数のラインに置換される。また、画像Ｉｍ３におけるハッチングを付した部分の高輝度となっている複数のラインが、画像Ｉｍ２における対応する複数のラインに置換される。図９の（ａ）では、隣接領域Ａadjs，Ａadjeを省略している。

結果として、フラッシュ補正部８０は、図９の（ｂ）に示すように、画像Ｉｍ２を画像Ｉｍ２’へと補正し、画像Ｉｍ３を画像Ｉｍ３’へと補正する。

領域補正モードに設定されている場合も画面単位切換モードに設定されている場合と同様に、フラッシュ補正部８０（効果処理部８３）は、ステップＳ1410にて、補正した画面の全体に所定値以上の輝度信号を加算することによって擬似的なフラッシュ発光の効果を付加する。

図９の（ｃ）は、画像Ｉｍ２’の画面の全体と、画像Ｉｍ３’の画面の全体に、擬似的なフラッシュ発光の効果を付加した状態を示している。画像Ｉｍ２’，Ｉｍ３’それぞれ、画面の全体にハッチングを付して示すように、画面の全体でフラッシュが発光している状態と等価な画像Ｉｍ２”，Ｉｍ３”とされている。

なお、上記説明ではフラッシュ発光によって高輝度の部分を有すると判定され、判定領域が補正された２つの画像（Ｉｍ２’，Ｉｍ３’）に対して、擬似的なフラッシュ発光の効果を付加したが、画像Ｉｍ２’，Ｉｍ３’のうちいずれか１つの画像のみに擬似的なフラッシュ発光の効果を付加し、残りの画像は補正のみ行なうようにしてもよい。

図９では、画像Ｉｍ３を、画像Ｉｍ２を用いて補正して画像Ｉｍ３’としたが、画像Ｉｍ１を用いて補正してもよい。この場合には、バッファメモリ４は２画面前の画像データを保持しておくことが必要になる。

図５に示すステップＳ１４０においては、ステップＳ1401を画面単位切換モードであるか否かの判定としているが、領域補正モードであるか否かの判定としてもよい。

以上のようにして、第１実施形態においては、記録再生部１１に記録された画像データの再生時に、フラッシュの発光によって高輝度となった部分が補正され、擬似的なフラッシュ発光の効果が付加されて、表示部７やビデオカメラに接続された外部機器としての表示装置に表示される。

第１実施形態によれば、フラッシュの発光によって画像の明るさが不連続となった部分が補正された上で、画面の全体に擬似的なフラッシュ発光の効果が付加されるので、明るさが不連続となっていることによる不自然さが解消され、フラッシュが発光している状況で撮影した臨場感を保つことができる。

第１実施形態によれば、画面単位切換モードにおいて同一の画像データ（画面）が連続することによる動きの不自然さを低減させることができる。また、第１実施形態によれば、領域補正モードにおいて画像データを部分的に補正したことによる不自然さを低減させることができる。

なお、第１実施形態によれば、画像データは補正されていない状態で記録再生部１１に記録されており、画像データの再生時にフラッシュの発光を誤検出したとしても、記録されている画像データには影響を与えない。

＜第２実施形態＞
図１０に示す第２実施形態において、図１と同一部分には同一符号を付し、その説明を適宜省略することとする。第２実施形態の画像処理装置であるビデオカメラ１０２は、フラッシュ検出部２の代わりにフラッシュ検出部２０を備える。フラッシュ検出部２０は、ブロック平均輝度算出部２０１，ブロック平均輝度保持部２０２，ライン平均輝度算出部２０３，ライン平均輝度保持部２０４，全画面平均輝度算出部２０５，全画面平均輝度保持部２０６，差分算出部２０７，フラッシュ判定部２０８を有する。

フラッシュ検出部２０は、制御部９による制御に従って以下のようにフラッシュの発光を検出する。ブロック平均輝度算出部２０１は、撮像部１から供給された電気信号における１ラインの有効画素を複数のブロックに分割しブロックごとの明るさの平均を算出する。ブロックの数は２のべき乗であることが好ましい。具体的には、ブロック平均輝度算出部２０１は、Ｇ信号の値を各ブロックの有効画素分に渡って加算し、有効画素数で除算することによって１ブロックの明るさの平均（ブロック平均輝度）を算出する。

ブロック平均輝度算出部２０１によって算出されたブロック平均輝度は、ブロック平均輝度保持部２０２及びライン平均輝度算出部２０３に入力される。ライン平均輝度算出部２０３は、１ラインにおけるブロック平均輝度を加算し、１ラインのブロック数で除算することによって１ラインの明るさの平均（ライン平均輝度）を算出する。ライン平均輝度算出部２０３によって算出されたライン平均輝度は、ライン平均輝度保持部２０４及び全画面平均輝度算出部２０５に入力される。ライン平均輝度保持部２０４は、ライン平均輝度算出部２０３によって算出されたライン平均輝度を一時的に保持する。

全画面平均輝度算出部２０５は、順次入力されるライン平均輝度を１画面の有効ラインに渡って加算し、有効ライン数で除算することによって１画面全体の明るさの平均（全画面平均輝度）を算出する。全画面平均輝度保持部２０６は、全画面平均輝度を一時的に保持する。

差分算出部２０７には、ブロック平均輝度保持部２０２で保持されたブロック平均輝度と、ライン平均輝度保持部２０４で保持されたライン平均輝度と、全画面平均輝度保持部２０６で保持された全画面平均輝度とが入力される。差分算出部２０７は、ブロック平均輝度と全画面平均輝度との差分と、ライン平均輝度と全画面平均輝度との差分とをそれぞれ順次算出する。差分算出部２０７は差分の絶対値をとり、差分値として出力する。

差分算出部２０７によって算出されたそれぞれの差分値は、フラッシュ判定部２０８に入力される。フラッシュ判定部２０８は、ライン平均輝度と全画面平均輝度との差分値が設定された閾値（閾値１）以上であるか否かを判定する。フラッシュ判定部２０８は、ライン平均輝度と全画面平均輝度との差分値が閾値以上の場合には、それぞれのブロック平均輝度と全画面平均輝度との差分値が設定された閾値（閾値２）以上であるか否かを判定する。閾値１と閾値２とは異なる値であってよい。閾値１と閾値２とは異なる値とする場合には、閾値１よりも閾値２の値を大きくすることが好ましい。

フラッシュ判定部２０８は、ラインごとの差分値が閾値１以上であり、ブロックごとの差分値が閾値２以上である状態が予め設定したライン数以上継続するか否かを判定する。フラッシュ判定部２０８は、それぞれの差分値が閾値１，２以上である状態が予め設定したライン数以上継続したと判定した場合に、フラッシュの発光によって画像の明るさが不連続となったと検出する。

フラッシュ判定部２０８は、フラッシュが発光したと判定した場合には、フラッシュの発光の開始時点である、ライン平均輝度と全画面平均輝度との差分値が閾値１以上であり、かつそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値２以上となった最初のライン番号を示すデータと、ライン平均輝度と全画面平均輝度との差分値が閾値１以上と、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値２以上との少なくとも一方の条件を満たさなくなった最初のライン番号を示すデータとを出力する。フラッシュ判定部２０８は、フラッシュが発光したことを示す検出信号も出力する。

第２実施形態においては、図３に示すステップＳ３０のフラッシュ検出処理を図１１に示すステップＳ３０_２とする。図１１を用いて、ステップＳ３０_２のフラッシュ検出処理の詳細について説明する。以下の各ステップは、制御部９による制御に基づいてフラッシュ検出部２０によって実行される。

図１１において、フラッシュ検出部２０は、ステップＳ3201にて、有効ラインにおける各ブロックの有効画素の画素値を加算する処理を有効ラインごとに順次実行する。フラッシュ検出部２０は、ステップＳ3202にて、ステップＳ3201にて得た各ブロックの画素値の加算値をブロック内の有効画素数で除算してブロック平均輝度を算出し、ブロック平均輝度を保持する。

フラッシュ検出部２０は、ステップＳ3203にて、ステップＳ3202で算出したブロック平均輝度と１画面前の全画面平均輝度との差分演算の処理を実行する。ステップＳ3203における差分演算処理は、ステップＳ3202でブロック平均輝度を算出するたびに実行される。フラッシュ検出部２０は、ステップＳ3204にて、１ライン内のブロック平均輝度を加算し、ステップＳ3205にて、ブロック平均輝度の加算値をブロック数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。

フラッシュ検出部２０は、ステップＳ3206にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２０は、ステップＳ3207にて、ステップＳ3205で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算の処理を実行する。ステップＳ3207における差分演算処理は、ステップＳ3205でライン平均輝度を算出するたびに実行される。

フラッシュ検出部２０は、ステップＳ3208にて、フラッシュの発光を検出していない通常状態であるか否かを判定する。通常状態であると判定されれば（YES）、フラッシュ検出部２０は、ステップＳ3209にて、ライン平均輝度と全画面平均輝度との差分値が閾値（閾値１）以上のラインを検出したか否かを判定する。

ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3210に移行させ、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3215に移行させる。ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出しなければ、フラッシュは発光していないということである。

フラッシュ検出部２０は、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出した場合、さらに、ステップＳ3210にて、そのライン内のそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値（閾値２）以上であるか否かを判定する。フラッシュ検出部２０は、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3211に移行させる。なお、この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

一方、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されなければ（NO）、フラッシュ検出部２０は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ3215に移行させる。

フラッシュ検出部２０は、ステップＳ3211にて、ライン平均輝度と全画面平均輝度との差分値が閾値以上であり、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であるという２つの条件を満たすラインが所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3214に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ3215に移行させる。

フラッシュ検出部２０は、ステップＳ3214にて、フラッシュの発光を検出していない状態からフラッシュの発光を検出した状態へとフラッシュ検出状態を変更する。また、フラッシュ検出部２０は、記憶している検出ライン情報をフラッシュ補正部８０に供給し、検出ライン情報を消去する。

一方、ステップＳ3208にて通常状態であると判定されなければ（NO）、フラッシュ検出部２０は、ステップＳ3212にて、ライン平均輝度と全画面平均輝度との差分値が閾値未満であるか、または、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値未満であるラインを検出したか否かを判定する。少なくとも一方を満たさないラインが現れたと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3213に移行させる。この際、フラッシュ検出部２０は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。

少なくとも一方を満たさないラインが現れたと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3215に移行させる。

フラッシュ検出部２０は、ステップＳ3213にて、上記の２つの条件の少なくとも一方を満たさない状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3214に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ3215に移行させる。

フラッシュ検出部２０は、ステップＳ3214にて、フラッシュの発光を検出した状態からフラッシュの発光を検出していない状態へとフラッシュ検出状態を変更する。また、フラッシュ検出部２０は、記憶している検出ライン情報をフラッシュ補正部８０に供給し、検出ライン情報を消去する。

フラッシュ検出部２０は、ステップＳ3215にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3216に移行させ、全有効ラインが終了したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3201に戻してステップＳ3201以降を繰り返す。フラッシュ検出部２０は、ステップＳ3216にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持する。

第２実施形態によれば、第１実施形態よりもフラッシュが発光したか否かの検出精度を向上させることができる。図１２を用いて、検出精度を向上させることができる理由について説明する。

図１２は、画面内に部分的に矩形状の高輝度領域Ａｒｈが含まれる画像Ｉｍｉの例を示している。ハッチングを付した高輝度領域Ａｒｈは例えば白レベルであるとする。高輝度領域Ａｒｈは矩形状でなくてもよい。有効ラインＬｎｅにおいては、ライン平均輝度は比較的高い値となる。有効ラインＬｎｅ以外のラインでも高輝度領域Ａｒｈが存在している垂直方向の範囲では同様である。従って、第１実施形態においては、高輝度領域Ａｒｈが存在している垂直方向の範囲でフラッシュが発光したと誤判定する可能性がある。

図１２では、１ラインを４つのブロックＢ１〜Ｂ４に分割した例を示している。ブロック平均値算出部２０１で算出されるブロック平均輝度は、ブロックＢ１ではさほど高い値とはならない。ブロック平均輝度はブロックＢ２，Ｂ３では高い値となり、ブロックＢ４ではブロックＢ２，Ｂ３よりも小さな値となる。有効ラインＬｎｅにおいて、図１１のステップＳ3209にて、ライン平均輝度と全画面平均輝度との差分値が閾値以上であると判定されたとしても、ステップＳ3210にて、少なくともブロックＢ１で、ブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されない。

従って、第２実施形態によれば、図１２の例のように部分的な高輝度領域Ａｒｈを含む画像Ｉｍｉであっても、フラッシュが発光したと誤判定する可能性を大幅に低減させることができる。

第２実施形態によれば、フラッシュ補正部８０を有することによる第１実施形態と同じ効果を奏するとともに、フラッシュ検出部２の代わりにフラッシュ検出部２０を設けたことによるフラッシュが発光したか否かの検出精度を向上させることができるという効果を奏する。

本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。各実施形態ではビデオカメラを例としたが、画像データを扱う任意の電子機器において本発明の画像処理装置及び方法を用いることができる。例えば、画像表示装置やコンピュータ等の情報処理装置において各実施形態の画像処理装置を搭載し、画面の一部が高輝度となっている画像データを画像表示装置や情報処理装置の内部で補正するようにしてもよい。

また、各実施形態においては、画像信号処理部３での処理を終了した映像データを補正する構成を示したが、画像信号処理部３で処理する前の映像データを補正してもよい。各実施形態においては、画像信号処理部３や圧縮伸張処理部５とは独立して設けたバッファメモリ４を用いる構成を示したが、画像信号処理部３や圧縮伸張処理部５で使用するバッファメモリを用いてもよく、回路（ブロック）構成は適宜に変更が可能である。

各実施形態では、擬似的なフラッシュ発光の効果を画像データの再生時に付加しているが、画像データの記録時に擬似的なフラッシュ発光の効果を付加してもよい。この場合には、画面内の高輝度となっているラインを画像データの記録前に補正して、補正した画像データに擬似的なフラッシュ発光の効果を付加すればよい。

本発明の画像処理装置及び方法と同等の構成をコンピュータプログラム（画像処理プログラム）によって実現することも可能である。

画像処理プログラムを記録媒体に記録して提供してもよく、インターネット等の通信回線にて画像処理プログラムを配信してもよい。記録媒体に記録された画像処理プログラムや通信回線にて配信された画像処理プログラムを画像処理装置に記憶させて、上述した画像処理方法を実行させるようにしてもよい。

１ 撮像部
１ｓ CMOSセンサ
２，２０ フラッシュ検出部
３ 画像信号処理部
４ バッファメモリ
５ 圧縮伸張処理部
６ 出力信号処理部
７ 表示部
９ 制御部
１０ メモリ
１１ 記録再生部
１２ 操作スイッチ
２１，２０３ ライン平均輝度算出部
２３，２０５ 全画面平均輝度算出部
２５，２０７ 差分算出部
２６，２０８ フラッシュ判定部
８０ フラッシュ補正部
８１ 補正制御部
８２ 補正処理部
８３ 効果処理部
１０１，１０２ ビデオカメラ
２０１ ブロック平均輝度算出部

Claims (7)

1. 画像データで構成される画面内にフラッシュの発光によって高輝度となっているラインが含まれるか否かを検出するフラッシュ検出部と、
   前記画像データを前記フラッシュ検出部が検出した検出結果の情報とともに記録し再生する記録再生部と、
   前記記録再生部によって前記画像データを再生する際に、再生された前記検出結果の情報に基づいて、再生された前記画像データで構成される画面が高輝度となっているラインを含む画面であることが検出された場合に、前記画面における少なくとも高輝度となっているラインの部分を、フラッシュの発光による影響を受けていない過去または未来の画面のラインに置換することによって画面を補正する補正処理部と、
   前記補正処理部によって補正した画面のうち少なくとも１つの画面を構成する画像データに対して擬似的なフラッシュ発光の効果を付加する効果処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記効果処理部は、効果付加対象画面を構成する画像データに対して輝度信号の固定値を加算することによって擬似的なフラッシュ発光の効果を付加することを特徴とする請求項１記載の画像処理装置。
3. 前記効果処理部は、効果付加対象画面を構成する画像データの輝度信号と色差信号に対して個別に設定したゲインを乗算することによって擬似的なフラッシュ発光の効果を付加することを特徴とする請求項１記載の画像処理装置。
4. 前記フラッシュ検出部は、
   検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部と、
   前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記検出対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出する全画面平均輝度算出部と、
   前記検出対象画面におけるそれぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記検出対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを判定するフラッシュ判定部と、
   を有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記フラッシュ検出部は、
   検出対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出するブロック平均輝度算出部と、
   前記ブロック平均輝度算出部で算出された１ラインにおけるブロック平均輝度に基づいて、前記検出対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部と、
   前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出する全画面平均輝度算出部と、
   前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出する差分算出部と、
   前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定するフラッシュ判定部と、
   を有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記フラッシュ検出部は、フラッシュの発光によって高輝度となっている最初のラインであるフラッシュ開始ラインと最後のラインであるフラッシュ終了ラインとを検出し、
   前記補正処理部は、前記フラッシュ開始ラインよりも上方に位置し、前記フラッシュ開始ラインに隣接する第１の隣接領域と、前記フラッシュ終了ラインよりも下方に位置し、前記フラッシュ終了ラインに隣接する第２の隣接領域とをそれぞれ設定し、前記第１の隣接領域では、前記第１の隣接領域の最初のラインから最後のラインに進行するに従って前記検出対象画面の画像データを順次減少させ、前記過去の画面の画像データを順次増加させるように両者の画像データを混合し、前記第２の隣接領域では、前記第２の隣接領域の最初のラインから最後のラインに進行するに従って前記過去の画面の画像データを順次減少させ、前記検出対象画面の画像データを順次増加させるように両者の画像データを混合する
   ことを特徴とする請求項４または５に記載の画像処理装置。
7. 画像データで構成される画面内にフラッシュの発光によって高輝度となっているラインが含まれるか否かを検出し、
   前記画像データを高輝度となっているラインが含まれるか否かを示す検出結果の情報とともに記録再生部に記録し、
   前記記録再生部に記録された前記画像データを前記検出結果の情報とともに再生し、
   再生された前記検出結果の情報に基づいて、再生された前記画像データで構成される画面が高輝度となっているラインを含む画面であることが検出された場合に、前記画面における少なくとも高輝度となっているラインの部分を、フラッシュの発光による影響を受けていない過去または未来の画面のラインに置換するよう補正し、
   補正した画面のうち少なくとも１つの画面を構成する画像データに対して擬似的なフラッシュ発光の効果を付加する
   ことを特徴とする画像処理方法。

Images