JP5757472B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5757472B2 JP5757472B2 JP2012090107A JP2012090107A JP5757472B2 JP 5757472 B2 JP5757472 B2 JP 5757472B2 JP 2012090107 A JP2012090107 A JP 2012090107A JP 2012090107 A JP2012090107 A JP 2012090107A JP 5757472 B2 JP5757472 B2 JP 5757472B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- flash
- screen
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、動画像の撮影時に撮影者以外の他者のフラッシュ等によって、画像の明るさが不連続となった画面を補正することができる画像処理装置、画像処理方法、画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program capable of correcting a screen in which the brightness of an image is discontinuous by a flash of a third party other than a photographer when shooting a moving image.
近年、ビデオカメラ等の撮像装置においては、CMOS（Complementary Metal Oxide Semiconductor）センサが数多く採用されている。CMOSセンサにおける撮像信号の読み出しは、全画素で同一タイミングでなく、ライン単位で順次、リセット、露光、読み出しを行うことにより、読み出しタイミングがライン方向に順次ずれていくローリングシャッタ方式にて行われる。 2. Description of the Related Art In recent years, many complementary metal oxide semiconductor (CMOS) sensors have been employed in imaging devices such as video cameras. Reading of the imaging signal in the CMOS sensor is performed by a rolling shutter system in which the readout timing is sequentially shifted in the line direction by sequentially performing reset, exposure, and readout in units of lines, not at the same timing in all pixels.
このため、例えば結婚式等において多数のビデオカメラやスチルカメラが、同一の被写体を同時に撮影する場合において、他者のフラッシュによる発光期間が短く強い光が一部のラインのみの露光期間中にCMOSセンサに入射することがある。この場合、撮像する画面の一部で露光量が異なり、画面内に白帯状の明るい領域が発生して不連続な画像となってしまう。この問題点はフラッシュに限らず、フラッシュと同様の発光期間が短く強い光がCMOSセンサに入射した場合も同様に発生する。 For this reason, for example, when a large number of video cameras or still cameras photograph the same subject at the same time, such as at a wedding ceremony, CMOS is emitted during the exposure period of only a part of the lines, where the flashing period of the other person's flash is short and intense light is emitted. May enter the sensor. In this case, the exposure amount differs in a part of the screen to be imaged, and a white band-like bright area is generated in the screen, resulting in a discontinuous image. This problem is not limited to the flash, but also occurs when strong light having a short light emission period similar to the flash is incident on the CMOS sensor.
この問題点の解決策が例えば特許文献１〜３に記載されているように種々提案されている。
Various solutions to this problem have been proposed as described in
フラッシュ等の発光期間が短く強い光がCMOSセンサに入射して画面内で画像の明るさが不連続となったことを、極力、誤検出少なく検出して補正することが求められる。また、画面内で画像の明るさが不連続となったことを検出するためにメモリリソースが増大することは好ましくない。メモリリソースが増大せず、画像の明るさが不連続となったことを検出することが求められる。さらに、画像の明るさが不連続となったことを検出して補正した場合に補正処理による遅延を極力少なくすることが求められる。 It is required to detect and correct as little as possible misdetection that the brightness of the image is discontinuous in the screen due to the light having a short light emission period such as a flash entering the CMOS sensor. Further, it is not preferable that the memory resources increase in order to detect that the brightness of the image is discontinuous in the screen. It is required to detect that the brightness of an image becomes discontinuous without increasing memory resources. Furthermore, it is required to minimize the delay caused by the correction process when it is detected and corrected that the brightness of the image is discontinuous.
本発明はこのような要望に対応するため、画面内で画像の明るさが不連続となったことを精度よく検出することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。また、メモリリソースを増大させることなく、画面内で画像の明るさが不連続となったことを検出することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。さらに、画像の明るさの不連続を補正した場合に補正処理による遅延を少なくすることができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。 In order to meet such a demand, the present invention provides an image processing apparatus, an image processing method, and an image processing program capable of accurately detecting that the brightness of an image is discontinuous on the screen. Objective. It is another object of the present invention to provide an image processing apparatus, an image processing method, and an image processing program that can detect that the brightness of an image is discontinuous in a screen without increasing memory resources. It is another object of the present invention to provide an image processing apparatus, an image processing method, and an image processing program that can reduce delay due to correction processing when discontinuity in image brightness is corrected.
本発明は、上述した従来の技術の課題を解決するため、フラッシュの発光によって高輝度となっているラインを含むか否かの検出対象となっている画像データ内の対象画面におけるそれぞれのラインのライン平均輝度と、前記対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度とを算出し、それぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを検出するフラッシュ検出部（２，２０）と、前記画像データの前記過去の画面を保持する保持部（４）と、前記フラッシュ検出部によって前記対象画面内のラインがフラッシュの発光によって高輝度となっていることが検出された場合には、前記対象画面における高輝度となっているラインを前記保持部に保持された前記過去の画面のラインに置換することにより画像データを補正するフラッシュ補正部（８）と、前記フラッシュ補正部によって補正された前記画像データを記録する記録部（１１）と、前記フラッシュ補正部によって補正されていない状態の前記画像データを表示部に表示させるよう前記表示部に出力する出力信号処理部（６）とを備えることを特徴とする画像処理装置を提供する。 In order to solve the above-described problems of the related art, the present invention solves the problem of each line on the target screen in the image data that is the target of detection of whether or not it includes a line that is bright due to flash emission. By calculating a line average luminance and a total screen average luminance of a past screen that is at least one screen before the target screen, and comparing the line average luminance and the full screen average luminance of each line A flash detection unit (2, 20) for detecting whether or not a line in the target screen has high brightness due to flash emission, and a holding unit (4) for holding the past screen of the image data When the flash detection unit detects that the line in the target screen has high brightness due to flash emission, A flash correction unit (8) for correcting image data by replacing a line having high brightness with the line of the past screen held in the holding unit, and the image corrected by the flash correction unit A recording unit (11) for recording data, and an output signal processing unit (6) for outputting the image data in a state not corrected by the flash correction unit to the display unit so that the image data is displayed on the display unit. An image processing apparatus is provided.
上記の画像処理装置において、前記フラッシュ補正部は、前記対象画面の全体を、フラッシュの発光による影響を受けていない前記過去の画面に置換してもよい。 In the image processing apparatus, the flash correction unit may replace the entire target screen with the past screen that is not affected by the flash emission.
上記の画像処理装置において、前記フラッシュ検出部は、フラッシュの発光によって高輝度となっている最初のラインであるフラッシュ開始ラインと最後のラインであるフラッシュ終了ラインとを検出し、前記フラッシュ補正部は、前記フラッシュ開始ラインよりも上方に位置し、前記フラッシュ開始ラインに隣接する第１の隣接領域と、前記フラッシュ終了ラインよりも下方に位置し、前記フラッシュ終了ラインに隣接する第２の隣接領域とをそれぞれ設定し、前記第１の隣接領域では、前記第１の隣接領域の最初のラインから最後のラインに進行するに従って前記対象画面の画像データを順次減少させ、前記過去の画面の画像データを順次増加させるように両者の画像データを混合し、前記第２の隣接領域では、前記第２の隣接領域の最初のラインから最後のラインに進行するに従って前記過去の画面の画像データを順次減少させ、前記対象画面の画像データを順次増加させるように両者の画像データを混合することが好ましい。 In the image processing apparatus, the flash detection unit detects a flash start line and a flash end line that are the first lines that are bright due to flash emission, and the flash correction unit A first adjacent region located above the flash start line and adjacent to the flash start line; and a second adjacent region located below the flash end line and adjacent to the flash end line; In the first adjacent area, the image data of the target screen is sequentially decreased as the first line of the first adjacent area progresses from the first line to the last line, and the image data of the past screen is The image data of both are mixed so as to increase sequentially, and in the second adjacent area, the maximum of the second adjacent area. The image data is sequentially reduced from the line of the previous screen in accordance with progress in the last line, it is preferable to mix both image data so as to sequentially increase the image data of the target screen.
上記の画像処理装置において、前記フラッシュ検出部は、フラッシュの発光によって高輝度となっている最初のラインであるフラッシュ開始ラインと最後のラインであるフラッシュ終了ラインとを検出し、前記フラッシュ補正部は、前記フラッシュ開始ラインよりも上方に位置し、前記フラッシュ開始ラインに隣接する第１の隣接領域と、前記フラッシュ終了ラインよりも下方に位置し、前記フラッシュ終了ラインに隣接する第２の隣接領域とをそれぞれ設定し、前記第１及び第２の隣接領域では、前記第１及び第２の隣接領域内のそれぞれの画素の明るさが第１の閾値より小さければ前記対象画面の画素データのみとし、前記第１の閾値より大きい値である第２の閾値より大きければ前記過去の画面の画素データのみとし、前記第１の閾値以上前記第２の閾値以下であれば前記対象画面の画素データと前記過去の画面の画素データとを混合することが好ましい。 In the image processing apparatus, the flash detection unit detects a flash start line and a flash end line that are the first lines that are bright due to flash emission, and the flash correction unit A first adjacent region located above the flash start line and adjacent to the flash start line; and a second adjacent region located below the flash end line and adjacent to the flash end line; In the first and second adjacent areas, if the brightness of each pixel in the first and second adjacent areas is smaller than the first threshold, only the pixel data of the target screen is set. If it is larger than the second threshold value which is larger than the first threshold value, only the past screen pixel data is set, and the first threshold value is set. It is preferred to mix the pixel data of the target screen pixel data and the past screen if less above the second threshold.
上記の画像処理装置において、前記フラッシュ検出部は、前記対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出するブロック平均輝度算出部（２０１）と、前記ブロック平均輝度算出部で算出された１ラインにおけるブロック平均輝度に基づいて、前記対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部（２０３）と、前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出する全画面平均輝度算出部（２０５）と、前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出する差分算出部（２０７）と、前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定するフラッシュ判定部（２０８）とを有することが好ましい。 In the image processing apparatus, the flash detection unit includes a block average luminance calculation unit (201) that calculates a block average luminance of each block obtained by dividing a line on the target screen into a plurality of blocks, and the block average luminance calculation. The line average luminance calculation unit (203) that calculates the line average luminance of each line on the target screen based on the block average luminance in one line calculated by the unit, and 1 calculated by the line average luminance calculation unit Based on the line average brightness of each line on the screen, a full screen average brightness calculation unit (205) that calculates the total screen average brightness of the past screen, and the difference between the block average brightness and the total screen average brightness , A difference calculation unit (20 for calculating the difference between the line average luminance and the whole screen average luminance, respectively) ), And the difference between the line average luminance and the whole screen average luminance is a first threshold or more, and the condition that the difference between the block average luminance and the whole screen average luminance is a second threshold or more is a predetermined line. It is preferable to have a flash determination unit (208) that determines that the luminance is high due to flash emission when the above is continued.
また、本発明は、上述した従来の技術の課題を解決するため、フラッシュの発光によって高輝度となっているラインを含むか否かの検出対象となっている画像データ内の対象画面におけるそれぞれのラインのライン平均輝度を算出し、前記対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出し、それぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを検出し、前記画像データの前記過去の画面を保持部に保持し、前記対象画面内のラインがフラッシュの発光によって高輝度となっていることが検出された場合には、前記対象画面における高輝度となっているラインを前記保持部に保持された前記過去の画面のラインに置換することにより前記画像データを補正し、補正された前記画像データを記録部に記録し、補正されていない状態の前記画像データを表示部に表示させることを特徴とする画像処理方法を提供する。 In addition, in order to solve the above-described problems of the related art, the present invention provides each of the target screens in the image data in the image data to be detected as to whether or not it includes a line that is bright due to flash emission. Calculate the line average luminance of the line, calculate the total screen average luminance of the past screen that is at least one screen before the target screen, and compare the line average luminance of the respective lines with the total screen average luminance By detecting whether or not the line in the target screen has high brightness due to flash emission, the past screen of the image data is held in a holding unit, and the line in the target screen is flashed. When it is detected that the luminance is high due to light emission, the line having high luminance in the target screen is held in the holding unit. The image data is corrected by replacing with a line on the previous screen, the corrected image data is recorded in a recording unit, and the uncorrected image data is displayed on a display unit. An image processing method is provided.
さらに、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、フラッシュの発光によって高輝度となっているラインを含むか否かの検出対象となっている画像データ内の対象画面におけるそれぞれのラインのライン平均輝度を算出する機能と、前記対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出する機能と、それぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを検出する機能と、前記画像データの前記過去の画面を保持部に保持させる機能と、前記対象画面内のラインがフラッシュの発光によって高輝度となっていることが検出された場合には、前記対象画面における高輝度となっているラインを前記保持部に保持された前記過去の画面のラインに置換することにより前記画像データを補正する機能と、補正された前記画像データを記録部に記録させる機能と、補正されていない状態の前記画像データを表示部に表示させる機能とを実現させることを特徴とする画像処理プログラムを提供する。 Furthermore, in order to solve the above-described problems of the conventional technology, the present invention provides a target screen in image data that is a target of detection as to whether or not the computer includes a line having high brightness due to flash emission. A function for calculating the line average luminance of each line in the above, a function for calculating the whole screen average luminance of a past screen that is at least one screen before the target screen, the line average luminance of each line and the above A function for detecting whether or not a line in the target screen has high luminance due to flash emission by comparing with the average luminance of the entire screen, and holding the past screen of the image data in a holding unit If the function and a line in the target screen are detected to have high brightness due to flash emission, A function of correcting the image data by replacing a line having luminance with the line of the past screen held in the holding unit, a function of recording the corrected image data in the recording unit, and a correction An image processing program is provided that realizes a function of displaying the image data in a state of not being displayed on a display unit.
本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、画面内で画像の明るさが不連続となったことを精度よく検出することができる。また、本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、メモリリソースを増大させることなく、画面内で画像の明るさが不連続となったことを検出することができる。さらに、本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、画像の明るさの不連続を補正した場合に補正処理による遅延を少なくすることができる。 According to the image processing apparatus, the image processing method, and the image processing program of the present invention, it is possible to accurately detect that the brightness of the image is discontinuous in the screen. Further, according to the image processing apparatus, the image processing method, and the image processing program of the present invention, it is possible to detect that the brightness of the image is discontinuous on the screen without increasing the memory resources. Furthermore, according to the image processing apparatus, the image processing method, and the image processing program of the present invention, it is possible to reduce the delay due to the correction process when the brightness discontinuity of the image is corrected.
以下、本発明の画像処理装置、画像処理方法、画像処理プログラムの各実施形態について、添付図面を参照して説明する。各実施形態においては、画像処理装置をビデオカメラに適用し、ビデオカメラで行われる画像処理方法、ビデオカメラに搭載されているコンピュータに画像処理を実行させる画像処理プログラムを例として説明する。 Hereinafter, embodiments of an image processing apparatus, an image processing method, and an image processing program of the present invention will be described with reference to the accompanying drawings. In each embodiment, an image processing apparatus applied to a video camera, an image processing method performed by the video camera, and an image processing program that causes a computer mounted on the video camera to execute image processing will be described as examples.
＜第１実施形態＞
図１を用いて、第１実施形態の画像処理装置であるビデオカメラ１０１の全体構成について説明する。ビデオカメラ１０１は、撮像部１，フラッシュ検出部２，画像信号処理部３，バッファメモリ４，圧縮伸張処理部５，出力信号処理部６，表示部７，フラッシュ補正部８，制御部９，メモリ１０，記録再生部１１，操作スイッチ１２を備える。記録再生部１１は、半導体メモリ，ハードディスク・ドライブ等の任意の記録媒体を有する。記録媒体はビデオカメラ１０１に対して着脱自在であってもよい。
<First Embodiment>
The overall configuration of a
撮像部１は、レンズや絞り等の光学系（図示せず）、CMOSセンサ１ｓ、露出やピントの制御機構（図示せず）等を有する。一例として、撮像部１は３つのCMOSセンサ１ｓを有し、３つのCMOSセンサ１ｓから赤，緑，青それぞれの色信号であるＲ，Ｇ，Ｂ信号を示す電気信号を出力する。勿論、CMOSセンサ１ｓは１つであってもよい。撮像部１は、レンズを介してCMOSセンサ１ｓに入力された光情報を所定のタイミングで電気信号として取り出し、電気信号をフラッシュ検出部２及び画像信号処理部３に供給する。
The
フラッシュ検出部２は、ライン平均輝度算出部２１，ライン平均輝度保持部２２，全画面平均輝度算出部２３，全画面平均輝度保持部２４，差分算出部２５，フラッシュ判定部２６を有する。フラッシュ検出部２は、制御部９による制御に従って以下のようにフラッシュの発光を検出する。
The
ライン平均輝度算出部２１は、撮像部１から供給された電気信号におけるラインごとの明るさの平均を算出する。第１実施形態においては、Ｒ，Ｇ，Ｂ信号の内、Ｇ信号に基づいてラインごとの明るさの平均を算出する。具体的には、ライン平均輝度算出部２１は、Ｇ信号の値を１ラインの有効画素分に渡って加算し、有効画素数で除算することによって１ラインの明るさの平均（ライン平均輝度）を算出する。ライン平均輝度を算出する基にする信号はＧ信号に限定されるものではない。
The line average
ライン平均輝度算出部２１によって算出されたライン平均輝度は、ライン平均輝度保持部２２及び全画面平均輝度算出部２３に入力される。ライン平均輝度保持部２２は、ライン平均輝度算出部２１によって算出されたライン平均輝度を一時的に保持する。全画面平均輝度算出部２３は、１画面（１フレーム）全体の明るさの平均を算出する。具体的には、全画面平均輝度算出部２３は、順次入力されるライン平均輝度を１画面の有効ラインに渡って加算し、有効ライン数で除算することによって１画面全体の明るさの平均（全画面平均輝度）を算出する。全画面平均輝度保持部２４は、全画面平均輝度を一時的に保持する。
The line average luminance calculated by the line average
差分算出部２５には、ライン平均輝度保持部２２で保持されたライン平均輝度と、全画面平均輝度保持部２４で保持された全画面平均輝度とが入力される。なお、全画面平均輝度を算出した画面とライン平均輝度を算出した画面とは１画面ずれており、全画面平均輝度を算出した画面は、ライン平均輝度を算出した画面の１画面前の画面である。１画面前の画面の全画面平均輝度を１画面の期間保持しておき、２画面前の画面の全画面平均輝度として用いてもよい。また、１画面前の画面の全画面平均輝度と２画面前の画面の全画面平均輝度との双方を保持し、１画面前の画面がフラッシュの発光の影響を受けている場合に、２画面前の画面の全画面平均輝度を用いるようにしてもよい。
The
第１実施形態では、ライン平均輝度を算出している画面を現在の画面、全画面平均輝度を算出した画面を１画面前の画面とする。即ち、現在の画面が、フラッシュの発光によって高輝度となっているラインを含むか否かの検出対象となっている対象画面である。差分算出部２５は、現在の画面におけるそれぞれのライン平均輝度と１画面前の画面における全画面平均輝度との差分を順次算出する。差分算出部２５は差分の絶対値をとり、差分値として出力する。
In the first embodiment, the screen on which the line average brightness is calculated is the current screen, and the screen on which the total screen average brightness is calculated is the previous screen. That is, the current screen is a target screen that is a target for detection as to whether or not it includes a line that is bright due to flash emission. The
差分算出部２５によって算出された差分値は、フラッシュ判定部２６に入力される。フラッシュ判定部２６は、ラインごとの差分値が設定された閾値以上であるか否かを判定するとともに、差分値が閾値以上である状態が予め設定したライン数以上継続するか否かを判定する。フラッシュ判定部２６は、差分値が閾値以上である状態が予め設定したライン数以上継続したと判定した場合に、フラッシュの発光によって画像の明るさが不連続となったと検出する。フラッシュ判定部２６は、フラッシュが発光したことを示す検出信号と併せて、フラッシュの発光の開始時点である差分値が閾値以上となった最初のライン番号を示すデータと、差分値が閾値未満となった最初のライン番号を示すデータとを出力する。差分値が閾値未満となった最初のラインの１ライン前のラインがフラッシュの発光の最終ラインである。
The difference value calculated by the
なお、フラッシュ判定部２６は、例えば、フラッシュが発光したと判定した場合にはフラッシュが発光したことを示す検出信号として“１”を、フラッシュが発光しなかったと判定した場合にはフラッシュが発光しなかったことを示す検出信号として“０”を生成すればよい。 For example, the flash determination unit 26 sets “1” as a detection signal indicating that the flash is emitted when it is determined that the flash is emitted, and the flash is emitted when it is determined that the flash is not emitted. What is necessary is just to produce | generate "0" as a detection signal which shows not having existed.
以上の説明より分かるように、フラッシュ検出部２は、ライン平均輝度、全画面平均輝度、差分値を算出し、差分値を判定してフラッシュの発光を検出するだけであるので、フレームメモリのような大容量のメモリリソースを備える必要はない。なお、ここではフラッシュの発光を検出としたが、上記のように、フラッシュと同様の発光期間が短く強い光がCMOSセンサ１ｓに入射した場合にもフラッシュ検出部２は画像の明るさが不連続となったことを検出する。このような場合も含めてフラッシュの発光の検出とする。
As can be seen from the above description, the
フラッシュ検出部２は、現在の画面におけるそれぞれのラインのライン平均輝度と、例えば１画面前の画面である過去の画面の全画面平均輝度とを比較するので、画面の一部のラインがフラッシュの発光によって高輝度となっている場合には、高輝度となっている全てのラインで差分値が閾値以上となる。仮に現在の画面内で隣接するラインのライン平均輝度を比較した場合には、正常なラインと高輝度となったラインの境界のみしか差分値が閾値以上とならない。従って、本実施形態においては、画面内で画像の明るさが不連続となったことを誤検出少なく検出することが可能である。
The
画像信号処理部３は、撮像部１から供給された電気信号を所定の信号方式に変換する。上記のように第１実施形態におていは、電気信号はＲ，Ｇ，Ｂ信号であるため、ホワイトバランスやゲインを調整し、ガンマ処理等を行った後に、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに変換する。フラッシュ検出部２は、輝度信号Ｙに基づいてライン平均輝度及び全画面平均輝度を算出してもよい。バッファメモリ（保持部）４は、画像信号処理部３より出力された輝度信号Ｙと色差信号Ｃｂ，Ｃｒの画像データを一時的に保持する。色差信号Ｃｂ，Ｃｒを帯域制限して輝度信号Ｙと時間軸多重すれば、画像処理に必要なメモリや演算リソースを少なくすることができる。
The image
フラッシュの発光が検出された場合には、画像信号処理部３からバッファメモリ４へと入力されて保持された画像データが後述するフラッシュ補正部８による画像データの補正処理の際に用いられる。
When the flash emission is detected, the image data input from the image
圧縮伸張処理部５は、バッファメモリ４より読み出した画像データをMPEG-2，MPEG-4 AVC/H.264，JPEG等の圧縮方式によって圧縮処理して符号化データを生成するとともに、記録再生部１１に記録された符号化データを再生して読み出した場合に符号化データを伸張処理する。
The compression /
出力信号処理部６は、バッファメモリ４より読み出した画像データを外部機器（図示せず）に出力するとともに、後段の表示部７の入力フォーマットに合わせて例えばＮＴＳＣ信号方式に変換し、表示部７の表示画面の大きさに合わせて画像データのサイズを変更する。これによって、画像データは表示部７に表示可能なデータとなり、表示部７に供給されて表示される。出力信号処理部６には制御部９から出力されたオンスクリーン信号も入力され、出力信号処理部６はオンスクリーン信号を画像データに重畳する。
The output signal processing unit 6 outputs the image data read from the
フラッシュ補正部８には、フラッシュ判定部２６より出力された検出信号が入力される。フラッシュ補正部８は、補正制御部８１と補正処理部８２とを有する。フラッシュ補正部８は、制御部９による制御に従って、フラッシュの発光によって明るさが不連続となった画像データを補正する。フラッシュ検出部２がフラッシュの発光を検出した場合には、補正制御部８１にはフラッシュが発光したことを示す検出信号（“１”）と、フラッシュ発光の最初のライン番号及びフラッシュ発光終了後の最初のライン番号を示すデータとが入力される。フラッシュ発光終了後の最初のライン番号を示すデータの代わりに、フラッシュ発光の最終のライン番号を示すデータを入力してもよい。フラッシュ検出部２がフラッシュの発光を検出しなかった場合には、補正制御部８１にはフラッシュが発光しなかったことを示す検出信号（“０”）が入力される。
The detection signal output from the flash determination unit 26 is input to the
制御部９には、後述する低遅延モードと画面単位切換モードとのいずれかが設定されている。フラッシュ検出部２及びフラッシュ補正部８は、制御部９に設定されているモードの情報を参照する。補正制御部８１は、補正処理部８２が制御部９に設定されているモードに応じた補正処理動作を実行するよう補正処理部８２を制御する。なお、画面単位切換モードは必須ではなく、必要に応じて低遅延モードと画面単位切換モードとを選択するようにすればよい。
The
まず、フラッシュ検出部２がフラッシュの発光を検出しなかった場合の補正処理部８２の動作について説明する。低遅延モードに設定されている場合、補正処理部８２は、画像信号処理部３より出力されて補正処理部８２へと入力された画像データをそのままバッファメモリ４へと供給する。バッファメモリ４から読み出された画像データは、圧縮伸張処理部５及び出力信号処理部６へと供給されて、上述した圧縮伸張処理部５と出力信号処理部６とにおけるそれぞれの処理が行われる。
First, the operation of the
画面単位切換モードに設定されている場合、補正処理部８２には、画像信号処理部３からバッファメモリ４へと入力されて読み出された１画面遅延の画像データが入力され、補正処理部８２は、入力された１画面遅延の画像データをそのままバッファメモリ４へと供給する。同様に、バッファメモリ４から読み出された画像データは、圧縮伸張処理部５及び出力信号処理部６へと供給されて、上述した圧縮伸張処理部５と出力信号処理部６とにおけるそれぞれの処理が行われる。
When the screen unit switching mode is set, the
次に、フラッシュ検出部２がフラッシュの発光を検出した場合の補正処理部８２の動作について説明する。低遅延モードに設定されている場合、補正処理部８２は、画像信号処理部３からバッファメモリ４へと入力された１画面遅延の画像データを読み出す。補正処理部８２は、画像信号処理部３より出力されて補正処理部８２へと入力された画像データにおけるフラッシュの発光によって明るさが不連続となった複数のラインを、バッファメモリ４から読み出した１画面遅延の画像データにおける対応する複数のラインに置換することによって画像データを補正する。補正処理部８２によって補正された画像データは、同様に、バッファメモリ４を介して圧縮伸張処理部５及び出力信号処理部６へと供給される。
Next, the operation of the
バッファメモリ４によって画像信号処理部３より出力された画像データを２画面分遅延させて、補正処理部８２へと入力された画像データにおけるフラッシュの発光によって明るさが不連続となった複数のラインを、２画面遅延の画像データにおける対応する複数のラインに置換してもよい。
A plurality of lines in which the image data output from the image
画面単位切換モードに設定されている場合、補正処理部８２は、入力された１画面遅延の画像データにおけるフラッシュの発光によって明るさが不連続となった複数のラインを含む画面を過去の画面に置換することによって画像データを補正する。補正処理部８２によって補正された画像データは、同様に、バッファメモリ４を介して圧縮伸張処理部５及び出力信号処理部６へと供給される。
When the screen unit switching mode is set, the
画面単位切換モードを設ける場合には、バッファメモリ４は、画像信号処理部３より出力された画像データを少なくとも２画面分、保持する必要がある。フラッシュの発光のタイミングによっては、３画面の期間分過去の画面が必要となる。なお、第１実施形態では、バッファメモリ４は画像データを３画面分、保持することとする。低遅延モードのみとする場合には、バッファメモリ４は画像データを少なくとも１画面分、保持すればよい。
When the screen unit switching mode is provided, the
制御部９は、ＣＰＵを有するマイクロコンピュータによって構成することができる。制御部９はビデオカメラ１０１の全体を制御する制御プログラムを記憶した記憶部を有し、制御プログラムに基づいてビデオカメラ１０１の全体を制御する。第１実施形態による画像処理を画像処理プログラムによって実現する場合には、制御プログラムの一部として第１実施形態の画像処理を実行させる画像処理プログラムを含むようにすればよい。この場合、制御部９は画像処理プログラムを実行させてフラッシュの発光を検出し、フラッシュが発光した場合に画像データを補正する。
The
制御部９には、制御部９の作業用メモリとしてのメモリ１０が接続されている。また、制御部９には、記録再生部１１と操作スイッチ１２とが接続されている。制御部９は操作スイッチ１２によって撮像した動画像を記録する指示がなされたら、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録するよう制御する。また、制御部９は操作スイッチ１２によって撮像した動画像を記録する指示がなされたら、記録再生部１１に符号化データを再生させて読み出し、圧縮伸張処理部５へと供給するよう制御する。制御部９は、操作スイッチ１２による操作に従ってオンスクリーン信号を発生して、出力信号処理部６へと供給する。
A
図１では、フラッシュ検出部２をハードウェアにて構成した例を示しているが、ソフトウェアによって構成してもよい。即ち、第１実施形態の画像処理プログラムの一部であるフラッシュ検出プログラムを実行させることによって、フラッシュ検出部２と同等の構成を実現してもよい。また、フラッシュ補正部８もソフトウェアによって構成してもよい。即ち、第１実施形態の画像処理プログラムの一部であるフラッシュ補正プログラムを実行させることによって、フラッシュ補正部８と同等の構成を実現してもよい。
Although FIG. 1 shows an example in which the
ここで、図２を用いて、動画像の撮影時に撮影者以外の他者のフラッシュが発光した場合に発生する画像の明るさが不連続となる現象について説明する。ローリングシャッタ方式を採用するCMOSセンサ１ｓはラインＬｎ単位で撮像した画素データを読み出していくので、撮像部１による被写体の撮像ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４…は、図２（ｂ）に示すように、画面の最初のラインＬｎから最後のラインＬｎまでタイミングが時間方向に順次ずれていく。１つのラインＬｎの撮像は、図２の（ａ）に示すように、露光時間と画素データの読み出し時間とを含む。
Here, with reference to FIG. 2, a phenomenon in which the brightness of the image that occurs when the flash of another person other than the photographer emits light when shooting a moving image is discontinuous will be described. Since the
撮像部１による撮像ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４…によって、撮像部１からは図２の（ｃ）に示すように、有効データＤ１，Ｄ２，Ｄ３，Ｄ４…が出力される。時刻ｔ１にて他者のフラッシュによる発光ＦＬがあり、CMOSセンサ１ｓに入射したとする。この場合、撮像ＳＴ２の一点鎖線で示す位置から最後のラインＬｎまでの各ラインＬｎと、撮像ＳＴ３の最初のラインＬｎから一点鎖線で示す位置までの各ラインＬｎは発光ＦＬによる影響を受けることになる。
As shown in (c) of FIG. 2, the effective data D1, D2, D3, D4... Are output from the
第１実施形態による画像データの補正を行わないとすると、表示部７に表示される画像（記録再生部１１に記録される画像）Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…は図２の（ｄ）に示すようになる。画像Ｉｍ１，Ｉｍ４は発光ＦＬによる影響を受けておらず、画面の明るさが連続して正常な画像である。画像Ｉｍ２は、一点鎖線以降の下端部で白帯状に明るくなっており、画像の明るさが不連続となった正常でない画像である。ハッチングを付した部分が高輝度の部分を示す。画像Ｉｍ３は、上端から一点鎖線までの上端部で同様に白帯状に明るくなっており、画像の明るさが不連続となった正常でない画像である。 If the image data correction according to the first embodiment is not performed, images displayed on the display unit 7 (images recorded on the recording / reproducing unit 11) Im1, Im2, Im3, Im4,... Are shown in FIG. As shown. The images Im1 and Im4 are not affected by the light emission FL, and the screen brightness is normal continuously. The image Im2 is an abnormal image in which the lower end portion after the one-dot chain line is brightened in a white band shape, and the brightness of the image is discontinuous. A hatched portion indicates a portion with high luminance. The image Im3 is an abnormal image in which the upper end portion from the upper end to the alternate long and short dash line is similarly brightened in a white band shape, and the brightness of the image becomes discontinuous.
なお、撮影者が所有するビデオカメラ１０１のフラッシュを発光させる場合には、フラッシュの発光のタイミングを図２の（ｂ）に示す撮像のタイミングと合わせるので、図２の（ｄ）に示すような画像の明るさが不連続となる現象は発生しない。
Note that when the flash of the
図３，図４を用いて、第１実施形態によるビデオカメラ１０１の動作についてさらに詳細に説明する。図３は、ビデオカメラ１０１による撮影及び記録処理の全体的な流れを示している。図３において、制御部９は、ステップＳ１にて、操作スイッチ１２による撮影開始の指示があったか否かを判定する。撮影開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ２にて、絞り及びシャッタースピード等の条件に合わせて撮像部１を制御して撮影を開始させる。なお、操作スイッチ１２によるビデオカメラ１０１の電源投入の指示を撮影開始の指示としてもよい。撮影開始の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ１に戻してステップＳ１を繰り返す。
The operation of the
制御部９は、ステップＳ３にて、フラッシュ検出部２によるフラッシュ検出処理及びフラッシュ補正部８によるフラッシュ補正処理を実行させる。また、制御部９は、ステップＳ３と並行して、ステップＳ４にて、画像信号処理部３による画像信号処理を実行させる。ステップＳ３のフラッシュ検出・補正処理の詳細については後述する。制御部９は、ステップＳ５にて、出力信号処理部６を制御して表示部７に撮影した画像を表示させる。
In step S <b> 3, the
制御部９は、ステップＳ６にて、操作スイッチ１２による記録開始の指示があったか否かを判定する。記録開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる。記録開始の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ１０に移行させる。
In step S <b> 6, the
制御部９は、ステップＳ８にて、記録終了の指示があったか否かを判定する。記録終了の指示があったと判定されれば（YES）、制御部９は、ステップＳ９にて、記録再生部１１への記録を停止させる。記録終了の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ７に戻してステップＳ７を繰り返す。そして、制御部９は、ステップＳ１０にて、操作スイッチ１２による撮影終了の指示があったか否かを判定する。撮影終了の指示があったと判定されれば（YES）、制御部９は処理を終了させる。撮影終了の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ２に戻してステップＳ２以降を繰り返す。操作スイッチ１２によるビデオカメラ１０１の電源切断の指示を撮影終了の指示としてもよい。
In step S8, the
図４を用いて、図３に示すステップＳ３のフラッシュ検出・補正処理の詳細について説明する。以下の各ステップは、制御部９による制御に基づいてフラッシュ検出部２及びフラッシュ補正部８によって実行される。第１実施形態におけるステップＳ３をステップＳ３１とする。
Details of the flash detection / correction processing in step S3 shown in FIG. 3 will be described with reference to FIG. The following steps are executed by the
図４において、フラッシュ検出部２は、ステップＳ301にて、有効ラインにおける有効画素の画素値を加算する処理を有効ラインごとに順次実行する。有効ラインとは垂直ブランキング期間を除く期間のラインであり、有効画素とは水平ブランキング期間を除く期間の画素である。フラッシュ検出部２は、ステップＳ302にて、ステップＳ301にて得た画素値の加算値を有効画素数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。
In FIG. 4, in step S301, the
フラッシュ検出部２は、ステップＳ303にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２は、ステップＳ304にて、ステップＳ302で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算処理を実行する。ステップＳ304における差分演算処理は、ステップＳ302でライン平均輝度を算出するたびに実行される。フラッシュ検出部２は、ステップＳ305にて、差分値が閾値以上のラインを検出したか否かを判定する。この際の閾値は被写体の状況によって変化するが、実験によって最適な値を求めて設定すればよく、他者のフラッシュの発光によって明るさが大きく変化した状態を検出するため、入力されたＧ信号のダイナミックレンジよりも十分に大きい値とすることが好ましい。なお、閾値を小さくするほど、フラッシュ発光の検出感度を高めることができる。なお、ステップＳ３でフラッシュ検出・補正処理を開始する際、最初の１画面はそれ以前の画面の全画面平均輝度が保存されていないため、差分値を算出しないようにするとよい。
In step S303, the
差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ306に移行させる。なお、この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。記憶する検出ライン情報はラインが連続して検出される場合は最初の１ライン目のみでよい。一方、差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ314に移行させる。差分値が閾値以上のラインを検出しなければ、フラッシュは発光していないということである。
If it is determined that a line having a difference value equal to or greater than the threshold value is detected (YES), the
フラッシュ検出部２は、ステップＳ306にて、差分値が閾値以上である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ307に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ314に移行させる。
In step S306, the
ステップＳ306を設けることによって、ステップＳ305での閾値を小さくしたとしても誤検出を防止することができる。ステップＳ306でのライン数も実験によって最適な値を求めて設定すればよい。差分値が閾値以上のラインを検出したとしても、差分値が閾値以上である状態が所定ライン数以上継続しなかった場合は、フラッシュは発光していないと判断することができる。 By providing step S306, erroneous detection can be prevented even if the threshold value in step S305 is reduced. The number of lines in step S306 may be set by obtaining an optimum value by experiment. Even if a line having a difference value equal to or greater than the threshold value is detected, if the state where the difference value is equal to or greater than the threshold value has not continued for a predetermined number of lines, it can be determined that the flash is not emitting light.
ステップS306にて所定ライン数以上継続したと判定された場合には、フラッシュが発光したということである。そこで、フラッシュ検出部２は、ステップＳ307にて、フラッシュが発光していないことを示す検出信号“０”からフラッシュが発光したことを示す検出信号“１”へと切り換え、この切り換えた検出信号と、記憶している検出ライン情報とをフラッシュ補正部８に供給するとともに、検出ライン情報を消去する。フラッシュ検出部２及びフラッシュ補正部８は、ステップＳ308にて、設定されているモードが低遅延モードであるか否かを判定する。低遅延モードであると判定されれば（YES）、フラッシュ補正部８は、処理をステップＳ309に移行させる。低遅延モードであると判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ316に移行させる。
If it is determined in step S306 that the predetermined number of lines or more have been continued, this means that the flash has been emitted. In step S307, the
フラッシュ補正部８は、ステップＳ309にて、供給された検出ライン情報が示す、１画面前のラインへの置換を開始する。フラッシュ検出部２は、ステップS310にて、差分値が閾値未満のラインを検出したか否かを判定する。差分値が閾値未満のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ311に移行させる。なお、この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。記憶する検出ライン情報はラインが連続して検出される場合は最初の１ライン目のみでよい。一方、差分値が閾値未満のラインを検出したと判定されなければ（NO）、フラッシュ検出部２は、記憶していた検出ライン情報を消去するとともに、処理をステップＳ314に移行させる。
In step S309, the
フラッシュ検出部２は、ステップS311にて、差分値が閾値未満である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ312に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ314に移行させる。
In step S311, the
ステップＳ311を設けることによって、ステップＳ310での閾値を小さくしたとしても誤検出を防止することができる。ステップＳ305での閾値とステップＳ310での閾値は同じ値である。ステップＳ311でのライン数も実験によって最適な値を求めて設定すればよい。ステップＳ306での所定ライン数とステップＳ311での所定ライン数とは同じでよい。差分値が閾値未満のラインを検出したとしても、差分値が閾値未満である状態が所定ライン数以上継続しなかった場合は、フラッシュの発光は終了していないと判断することができる。 By providing step S311, erroneous detection can be prevented even if the threshold value in step S310 is reduced. The threshold value in step S305 and the threshold value in step S310 are the same value. The number of lines in step S311 may be set by obtaining an optimum value by experiment. The predetermined number of lines in step S306 and the predetermined number of lines in step S311 may be the same. Even if a line having a difference value less than the threshold value is detected, if the state where the difference value is less than the threshold value does not continue for a predetermined number of lines or more, it can be determined that the flash emission has not ended.
フラッシュ検出部２は、ステップＳ312にて、検出信号“１”を検出信号“０”へと切り換え、この切り換えた検出信号と、記憶している検出ライン情報とをフラッシュ補正部８に供給するとともに検出ライン情報を消去する。フラッシュ補正部８は、ステップＳ313にて、供給された検出ライン情報が示す、１画面前のラインへの置換を終了し、フラッシュ検出部２は、処理をステップＳ314に移行させる。フラッシュ検出部２は、ステップＳ314にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ315に移行させ、全有効ラインが終了したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ305に戻してステップＳ305以降を繰り返す。
In step S312, the
フラッシュ検出部２は、ステップＳ315にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持して、図３のステップＳ５へと移行させる。
In step S315, the
一方、ステップS308にて低遅延モードであると判定されなかった（即ち、画面単位切換モードであると判定された）場合、フラッシュ検出部２は、ステップＳ316にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されなければ（NO）、フラッシュ検出部２は、ステップＳ316の処理を繰り返す。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２は、ステップＳ317にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持する。
On the other hand, if it is not determined in step S308 that the mode is the low delay mode (that is, it is determined that the screen unit switching mode is selected), the
フラッシュ補正部８は、ステップＳ318にて、次の画面に移行したか否かを判定する。次の画面に移行したか否かの情報は、フラッシュ検出部２または制御部９からフラッシュ補正部８へと供給すればよい。次の画面に移行したと判定されなければ（NO）、フラッシュ補正部８は、ステップＳ318の処理を繰り返す。次の画面に移行したと判定されれば（YES）、フラッシュ補正部８は、ステップＳ319にて、フラッシュの発光が検出された現在の画面を過去の正常画面に置換して、図３のステップＳ５へと移行させる。
In step S318, the
図５を用いて、第１実施形態による画像データの補正について説明する。図５の（ａ）は、図２の（ｄ）に示す補正前の画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…を示している。制御部９に低遅延モードが設定されている場合には、フラッシュ補正部８は次のように画像データを補正する。
Image data correction according to the first embodiment will be described with reference to FIG. FIG. 5A shows images Im1, Im2, Im3, Im4,... Before correction shown in FIG. When the low delay mode is set in the
フラッシュ検出部２は、図５の（ａ）に示す画像Ｉｍ２においては、図４のステップＳ305，Ｓ306によって、画像Ｉｍ２における一点鎖線以降の画面の途中から高輝度となっている複数のラインを検出する。画像Ｉｍ２では、画面の下端のラインまで高輝度となっているので、フラッシュ補正部８は、図４のステップＳ309以降の処理によって、図５の（ａ）に示すように、画像Ｉｍ２におけるハッチングを付した部分の高輝度となっている複数のラインを、画像Ｉｍ１における対応する複数のラインに置換する。
In the image Im2 shown in FIG. 5A, the
フラッシュ検出部２は、図５の（ａ）に示す画像Ｉｍ３においては、図４のステップＳ305，Ｓ306によって、画像Ｉｍ３における画面の上端から高輝度となっている複数のラインを検出する。フラッシュ検出部２は、図４のステップＳ310，Ｓ311によって、画像Ｉｍ３における一点鎖線以降の正常な画像の複数のラインを検出する。フラッシュ補正部８は、図４のステップＳ309以降の処理によって、図５の（ａ）に示すように、画像Ｉｍ３におけるハッチングを付した部分の高輝度となっている複数のラインを、画像Ｉｍ２における対応する複数のラインに置換する。
In the image Im3 shown in FIG. 5A, the
結果として、フラッシュ補正部８は、図５の（ｂ）に示すように、画像Ｉｍ２を画像Ｉｍ２’へと補正し、画像Ｉｍ３を画像Ｉｍ３’へと補正する。従って、フラッシュ補正部８からバッファメモリ４へと供給される画像データは、図５の（ｂ）に示す画像Ｉｍ１，Ｉｍ２’，Ｉｍ３’，Ｉｍ４…となる。ここでは、画像Ｉｍ３を、画像Ｉｍ２を用いて補正して画像Ｉｍ３’としたが、画像Ｉｍ１を用いて補正してもよい。この場合には、バッファメモリ４は２画面前の画像データを保持しておくことが必要になる。
As a result, the
この低遅延モードでは、画像データの遅延は、画像信号処理部３における信号処理に起因する複数ライン程度の時間であり、実質的にはほとんど遅延がない。例えば、ビデオカメラ１０１でマニュアルにて動画像を撮影する場合には、表示部７に表示されている画像を確認しながらビデオカメラ１０１における種々の設定を調整する。画像データに大幅な遅延があると、リアルタイムで画像を確認することができず、適切な操作が困難となる場合がある。第１実施形態による低遅延モードでは遅延がほとんどないので、リアルタイムで画像を確認でき、適切な操作も可能となる。
In this low delay mode, the delay of the image data is a time of about a plurality of lines due to the signal processing in the image
一方、制御部９に画面単位切換モードが設定されている場合には、フラッシュ補正部８は次のように画像データを補正する。前述のように、画面単位切換モードが設定されている場合には、フラッシュ補正部８は、画像データの補正の有無にかかわらず、バッファメモリ４から１画面遅延の画像データを読み出してバッファメモリ４を介して圧縮伸張処理部５及び出力信号処理部６へと供給する。従って、図５の（ｃ）に示すように、図５の（ａ）の補正前の画像Ｉｍ１，Ｉｍ２のタイミングで、画像Ｉｍ１，Ｉｍ２よりそれぞれ１画面前の画像Ｉｍ０，Ｉｍ１が出力される。
On the other hand, when the screen unit switching mode is set in the
フラッシュ補正部８は、図４のステップＳ319によって、高輝度部分を有する画像Ｉｍ２の代わりに画像Ｉｍ１を出力し、高輝度部分を有する画像Ｉｍ３の代わりに画像Ｉｍ１を出力する。従って、フラッシュ補正部８からバッファメモリ４へと供給される画像データは、図５の（ｃ）に示す画像Ｉｍ０，Ｉｍ１，Ｉｍ１，Ｉｍ１，Ｉｍ４…となる。この場合、高輝度部分を有する画像が２画面連続しているので、バッファメモリ４は３画面前の画像データを保持しておくことが必要になる。
In step S319 of FIG. 4, the
＜第２実施形態＞
図７に示す第２実施形態において、図１と同一部分には同一符号を付し、その説明を適宜省略することとする。第２実施形態の画像処理装置であるビデオカメラ１０２は、フラッシュ検出部２の代わりにフラッシュ検出部２０を備える。フラッシュ検出部２０は、ブロック平均輝度算出部２０１，ブロック平均輝度保持部２０２，ライン平均輝度算出部２０３，ライン平均輝度保持部２０４，全画面平均輝度算出部２０５，全画面平均輝度保持部２０６，差分算出部２０７，フラッシュ判定部２０８を有する。
Second Embodiment
In the second embodiment shown in FIG. 7, the same parts as those in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted as appropriate. A
フラッシュ検出部２０は、制御部９による制御に従って以下のようにフラッシュの発光を検出する。ブロック平均輝度算出部２０１は、撮像部１から供給された電気信号における１ラインの有効画素を複数のブロックに分割しブロックごとの明るさの平均を算出する。ブロックの数は２のべき乗であることが好ましい。具体的には、ブロック平均輝度算出部２０１は、Ｇ信号の値を各ブロックの有効画素分に渡って加算し、有効画素数で除算することによって１ブロックの明るさの平均（ブロック平均輝度）を算出する。
The
ブロック平均輝度算出部２０１によって算出されたブロック平均輝度は、ブロック平均輝度保持部２０２及びライン平均輝度算出部２０３に入力される。ライン平均輝度算出部２０３は、１ラインにおけるブロック平均輝度を加算し、１ラインのブロック数で除算することによって１ラインの明るさの平均（ライン平均輝度）を算出する。ライン平均輝度算出部２０３によって算出されたライン平均輝度は、ライン平均輝度保持部２０４及び全画面平均輝度算出部２０５に入力される。ライン平均輝度保持部２０４は、ライン平均輝度算出部２０３によって算出されたライン平均輝度を一時的に保持する。
The block average luminance calculated by the block average
全画面平均輝度算出部２０５は、順次入力されるライン平均輝度を１画面の有効ラインに渡って加算し、有効ライン数で除算することによって１画面全体の明るさの平均（全画面平均輝度）を算出する。全画面平均輝度保持部２０６は、全画面平均輝度を一時的に保持する。
The total screen average
差分算出部２０７には、ブロック平均輝度保持部２０２で保持されたブロック平均輝度と、ライン平均輝度保持部２０４で保持されたライン平均輝度と、全画面平均輝度保持部２０６で保持された全画面平均輝度とが入力される。差分算出部２０７は、ブロック平均輝度と全画面平均輝度との差分と、ライン平均輝度と全画面平均輝度との差分とをそれぞれ順次算出する。差分算出部２０７は差分の絶対値をとり、差分値として出力する。
The
差分算出部２０７によって算出されたそれぞれの差分値は、フラッシュ判定部２０８に入力される。フラッシュ判定部２０８は、ライン平均輝度と全画面平均輝度との差分値が設定された閾値（閾値１）以上であるか否かを判定する。フラッシュ判定部２０８は、ライン平均輝度と全画面平均輝度との差分値が閾値以上の場合には、それぞれのブロック平均輝度と全画面平均輝度との差分値が設定された閾値（閾値２）以上であるか否かを判定する。閾値１と閾値２とは異なる値であってよい。閾値１と閾値２とは異なる値とする場合には、閾値１よりも閾値２の値を大きくすることが好ましい。
Each difference value calculated by the
フラッシュ判定部２０８は、ラインごとの差分値が閾値１以上であり、ブロックごとの差分値が閾値２以上である状態が予め設定したライン数以上継続するか否かを判定する。フラッシュ判定部２０８は、それぞれの差分値が閾値１，２以上である状態が予め設定したライン数以上継続したと判定した場合に、フラッシュの発光によって画像の明るさが不連続となったと検出する。
The
フラッシュ判定部２０８は、フラッシュが発光したと判定した場合には、フラッシュの発光の開始時点である、ライン平均輝度と全画面平均輝度との差分値が閾値１以上であり、かつそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値２以上となった最初のライン番号を示すデータと、ライン平均輝度と全画面平均輝度との差分値が閾値１以上と、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値２以上との少なくとも一方の条件を満たさなくなった最初のライン番号を示すデータとを出力する。フラッシュ判定部２０８は、フラッシュが発光したことを示す検出信号も出力する。
If the
第２実施形態においては、図３に示すステップＳ３のフラッシュ検出・補正処理を図７に示すステップＳ３２とする。図７を用いて、ステップＳ３２のフラッシュ検出・補正処理の詳細について説明する。図７において、フラッシュ検出部２０は、ステップＳ321にて、有効ラインにおける各ブロックの有効画素の画素値を加算する処理を有効ラインごとに順次実行する。フラッシュ検出部２０は、ステップＳ322にて、ステップＳ321にて得た各ブロックの画素値の加算値をブロック内の有効画素数で除算してブロック平均輝度を算出し、ブロック平均輝度を保持する。
In the second embodiment, the step S3 2 shown in FIG flash detection and correction in the step S3 shown in FIG. With reference to FIG. 7, details of the flash detection and correction in the step S3 2. In FIG. 7, in step S321, the
フラッシュ検出部２０は、ステップＳ323にて、１ライン内のブロック平均輝度を加算し、ステップＳ324にて、ブロック平均輝度の加算値をブロック数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。フラッシュ検出部２０は、ステップＳ325にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２０は、ステップＳ326にて、ステップＳ322で算出したブロック平均輝度と１画面前の全画面平均輝度との差分演算と、ステップＳ324で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算とのそれぞれの処理を実行する。ステップＳ326における差分演算処理は、ステップＳ324でライン平均輝度を算出するたびに実行される。
In step S323, the
フラッシュ検出部２０は、ステップＳ327にて、ライン平均輝度と全画面平均輝度との差分値が閾値（閾値１）以上のラインを検出したか否かを判定する。ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ328に移行させ、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ337に移行させる。ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出しなければ、フラッシュは発光していないということである。
In step S327, the
フラッシュ検出部２０は、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出した場合、さらに、ステップＳ328にて、そのライン内のそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値（閾値２）以上であるか否かを判定する。フラッシュ検出部２０は、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ329に移行させる。なお、この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。記憶する検出ライン情報はラインが連続して検出される場合は最初の１ライン目のみでよい。
If the
一方、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されなければ（NO）、フラッシュ検出部２０は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ337に移行させる。
On the other hand, if it is not determined that the difference value between each block average luminance and the entire screen average luminance is equal to or greater than the threshold (NO), the
フラッシュ検出部２０は、ステップＳ329にて、ライン平均輝度と全画面平均輝度との差分値が閾値以上であり、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であるという２つの条件を満たすラインが所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ330に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ337に移行させる。
In step S329, the
第２実施形態においては、上記の２つの条件を満たすラインが所定ライン数以上継続したとき、フラッシュが発光したと判定する。仮に、ライン平均輝度と全画面平均輝度との差分値が閾値以上である状態が所定ライン数以上継続する状態が発生しても、ライン内のそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であるという条件を満たさない場合には、フラッシュは発光していないと判定されることになる。この理由については後述する。 In the second embodiment, when the number of lines that satisfy the above two conditions continues for a predetermined number of lines or more, it is determined that the flash has emitted. Even if a state in which the difference between the line average luminance and the entire screen average luminance is equal to or greater than the threshold value continues for a predetermined number of lines or more, the difference between each block average luminance in the line and the entire screen average luminance. If the condition that the value is greater than or equal to the threshold value is not satisfied, it is determined that the flash is not emitting light. The reason for this will be described later.
フラッシュ検出部２０は、上記の２つの条件を満たすラインが所定ライン数以上継続したら、ステップＳ330にて、フラッシュが発光していないことを示す検出信号“０”からフラッシュが発光したことを示す検出信号“１”へと切り換え、この切り換えた検出信号と、記憶している検出ライン情報とをフラッシュ補正部８に供給するとともに、検出ライン情報を消去する。フラッシュ検出部２０及びフラッシュ補正部８は、ステップＳ331にて、設定されているモードが低遅延モードであるか否かを判定する。低遅延モードであると判定されれば（YES）、フラッシュ補正部８は、処理をステップＳ332に移行させる。低遅延モードであると判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ339に移行させる。
When the number of lines that satisfy the above two conditions continues for a predetermined number of lines or more, the
フラッシュ補正部８は、ステップＳ332にて、供給された検出ライン情報が示す、１画面前のラインへの置換を開始する。フラッシュ検出部２０は、ステップS333にて、ライン平均輝度と全画面平均輝度との差分値が閾値未満であるか、または、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値未満であるラインを検出したか否かを判定する。即ち、フラッシュ検出部２０は、ステップＳ333にて、上記の２つの条件の少なくとも一方を満たさないラインが現れたか否かを判定する。上記の２つの条件の少なくとも一方を満たさないラインが現れたと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ334に移行させる。
In step S332, the
なお、この際、フラッシュ検出部２０は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。記憶する検出ライン情報はラインが連続して検出される場合は最初の１ライン目のみでよい。
At this time, the
一方、上記の２つの条件の少なくとも一方を満たさないラインが現れたと判定されなければ（NO）、フラッシュ検出部２０は、記憶していた検出ライン情報を消去するとともに、処理をステップＳ337に移行させる。
On the other hand, if it is not determined that a line that does not satisfy at least one of the above two conditions has appeared (NO), the
フラッシュ検出部２０は、ステップS334にて、上記の２つの条件の少なくとも一方を満たさない状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ335に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ337に移行させる。
In step S334, the
フラッシュ検出部２０は、ステップＳ335にて、検出信号“１”を検出信号“０”へと切り換え、この切り換えた検出信号と、記憶している検出ライン情報とをフラッシュ補正部８に供給するとともに検出ライン情報を消去する。フラッシュ補正部８は、ステップＳ336にて、供給された検出ライン情報が示す、１画面前のラインへの置換を終了し、フラッシュ検出部２０は、処理をステップＳ337に移行させる。フラッシュ検出部２０は、ステップＳ337にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ338に移行させ、全有効ラインが終了したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ327に戻してステップＳ327以降を繰り返す。
In step S335, the
フラッシュ検出部２０は、ステップＳ338にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持して、図３のステップＳ５へと移行させる。
In step S338, the
一方、ステップS331にて低遅延モードであると判定されなかった（即ち、画面単位切換モードであると判定された）場合、フラッシュ検出部２０はステップＳ316〜Ｓ319と同じであり、説明を省略する。
On the other hand, if it is not determined in step S331 that the mode is the low delay mode (that is, it is determined that the screen unit switching mode is selected), the
第２実施形態によれば、第１実施形態よりもフラッシュが発光したか否かの検出精度を向上させることができる。図８を用いて、検出精度を向上させることができる理由について説明する。図８は、画面内に部分的に矩形状の高輝度領域Ａｒｈが含まれる画像Ｉｍｉの例を示している。ハッチングを付した高輝度領域Ａｒｈは例えば白レベルであるとする。高輝度領域Ａｒｈは矩形状でなくてもよい。有効ラインＬｎｅにおいては、ライン平均輝度は比較的高い値となる。有効ラインＬｎｅ以外のラインでも高輝度領域Ａｒｈが存在している垂直方向の範囲では同様である。従って、第１実施形態においては、高輝度領域Ａｒｈが存在している垂直方向の範囲でフラッシュが発光したと誤判定する可能性がある。 According to the second embodiment, it is possible to improve the detection accuracy as to whether or not the flash has emitted, compared to the first embodiment. The reason why the detection accuracy can be improved will be described with reference to FIG. FIG. 8 shows an example of an image Imi that includes a rectangular high-intensity area Arh partially in the screen. The hatched high luminance area Arh is assumed to have a white level, for example. The high brightness area Arh may not be rectangular. In the effective line Lne, the line average luminance is a relatively high value. The same applies to a range other than the effective line Lne in the vertical range where the high luminance area Arh exists. Therefore, in the first embodiment, there is a possibility that the flash is erroneously determined to emit light in the vertical range where the high luminance area Arh exists.
図８では、１ラインを４つのブロックＢ１〜Ｂ４に分割した例を示している。ブロック平均値算出部２０１で算出されるブロック平均輝度は、ブロックＢ１ではさほど高い値とはならない。ブロック平均輝度はブロックＢ２，Ｂ３では高い値となり、ブロックＢ４ではブロックＢ２，Ｂ３よりも小さな値となる。有効ラインＬｎｅにおいて、図７のステップＳ327にて、ライン平均輝度と全画面平均輝度との差分値が閾値以上であると判定されたとしても、ステップＳ328にて、少なくともブロックＢ１で、ブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されない。
FIG. 8 shows an example in which one line is divided into four blocks B1 to B4. The block average brightness calculated by the block average
従って、第２実施形態によれば、図８の例のように部分的な高輝度領域Ａｒｈを含む画像Ｉｍｉであっても、フラッシュが発光したと誤判定する可能性を大幅に低減させることができる。 Therefore, according to the second embodiment, it is possible to greatly reduce the possibility of erroneously determining that the flash has emitted even in the case of the image Imi including the partial high brightness area Arh as in the example of FIG. it can.
＜第３実施形態＞
第３実施形態の画像処理装置の構成は、図１に示す第１実施形態のビデオカメラ１０１または図６に示す第２実施形態のビデオカメラ１０２と同様であり、フラッシュ補正部８での画像データの補正処理が第１及び第２実施形態とは異なっている。図９〜図１１を用いて、第３実施形態における画像データの補正処理について説明する。第３実施形態においては、図３に示すステップＳ３のフラッシュ検出・補正処理を図９に示すステップＳ３３とする。図９を用いて、ステップＳ３３のフラッシュ検出・補正処理の詳細について説明する。
<Third Embodiment>
The configuration of the image processing apparatus of the third embodiment is the same as that of the
図９は、画像処理装置の構成を、フラッシュ検出部２を有する図１のビデオカメラ１０１とした場合を例にしている。特に図示しないが、フラッシュ検出部２０を有する図６のビデオカメラ１０２においても、図９のステップＳ３３と同様の処理を行うことが可能である。図９において、図４と同一のステップには同一の符号を付し、その説明を適宜省略する。
FIG. 9 shows an example in which the configuration of the image processing apparatus is the
図９において、ステップＳ304以前は図４と同じであり、図示を省略している。図９のステップＳ307までは図４と同じである。フラッシュ検出部２がステップＳ307にてフラッシュが発光していないことを示す検出信号“０”からフラッシュが発光したことを示す検出信号“１”へと切り換え、この切り換えた検出信号と、記憶している検出ライン情報とをフラッシュ補正部８に供給したら、フラッシュ補正部８は、ステップＳ351にて、供給された検出ライン情報が示すフラッシュ開始ラインよりも上方に位置し、フラッシュ開始ラインに隣接する隣接領域を設定する。
9, the steps before step S304 are the same as those in FIG. 4, and are not shown. Steps up to step S307 in FIG. 9 are the same as those in FIG. In step S307, the
具体的には、図１０の（ａ）に示すように、フラッシュ補正部８は、供給された検出ライン情報が示す最初のフラッシュ検出ラインであるフラッシュ開始ラインＬｎfsに隣接する複数ラインの隣接領域Ａadjsを設定する。隣接領域Ａadjsは例えば５〜１０ライン程度でよい。
Specifically, as illustrated in FIG. 10A, the
フラッシュ補正部８は、低遅延モードであると判定されたとき、ステップＳ352にて、隣接領域Ａadjsにおいて、現在の画面のラインと１画面前の画面のラインとを混合して隣接領域Ａadjsの新たなラインを生成し、隣接領域Ａadjs内のラインを新たなラインに置換する。フラッシュ補正部８は、ステップＳ353にて、フラッシュ開始ラインＬｎfs以降、１画面前のラインへの置換を開始する。
When it is determined that the low-delay mode is set, the
フラッシュ検出部２がステップＳ312にて検出信号“１”を検出信号“０”へと切り換え、この切り換えた検出信号と、記憶している検出ライン情報とをフラッシュ補正部８に供給したら、フラッシュ補正部８は、ステップＳ354にて、供給された検出ライン情報が示すフラッシュ終了ライン（ステップＳ310にて検出したフラッシュ発光終了後の最初のラインの１ライン前のライン）下方に位置し、フラッシュ終了ラインに隣接する隣接領域を設定する。具体的には、図１０の（ｂ）に示すように、フラッシュ補正部８は、フラッシュ終了ラインＬｎfeに隣接する複数ラインの隣接領域Ａadjeを設定する。隣接領域Ａadjeも例えば５〜１０ライン程度でよい。
When the
フラッシュ補正部８は、ステップＳ313にて、１画面前のラインへの置換を終了し、ステップＳ355にて、隣接領域Ａadjeにおいて、現在の画面のラインと１画面前の画面のラインとを混合して隣接領域Ａadjeの新たなラインを生成し、隣接領域Ａadje内のラインを新たなラインに置換する。他のステップによる処理は図４で説明した通りである。
In step S313, the
図１０の（ａ）において、隣接領域Ａadjsの最初のラインをＬＳ、隣接領域Ａadjsの最後のラインをＬＥとし、隣接領域Ａadjsの画素位置をＬｆ（ｉ，ｊ）とすると、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）と、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）は式（１）となる。図９のステップＳ352では、式（１）に基づいて現在の画面のラインと１画面前の画面のラインとを混合して隣接領域Ａadjsの新たなラインを生成する。式（１）では、画素位置Ｌｆ（ｉ，ｊ）としているが、１画面前の画面の画像データと現在の画面の画像データとはライン単位で混合するので、画像の水平方向の位置を示すｉの情報はなくてもよい。 In FIG. 10A, assuming that the first line of the adjacent area Aadjs is LS, the last line of the adjacent area Aadjs is LE, and the pixel position of the adjacent area Aadjs is Lf (i, j), the current screen image The composite weighting coefficient Wf (i, j) of data and the composite weighting coefficient Wb (i, j) of the image data of the screen one screen before are expressed by Expression (1). In step S352 in FIG. 9, a new line in the adjacent area Aadjs is generated by mixing the line on the current screen and the line on the previous screen based on Expression (1). In Expression (1), the pixel position Lf (i, j) is used, but the image data of the previous screen and the image data of the current screen are mixed in units of lines, and thus indicate the horizontal position of the image. There is no need for i information.
図１０の（ｂ）において、隣接領域Ａadjeの最初のラインをＬＳ、隣接領域Ａadjeの最後のラインをＬＥとし、隣接領域Ａadjeの画素位置をＬｆ（ｉ，ｊ）とすると、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）と、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）は式（２）となる。同様に、式（２）では、画素位置Ｌｆ（ｉ，ｊ）としているが、１画面前の画面の画像データと現在の画面の画像データとはライン単位で混合するので、画像の水平方向の位置を示すｉの情報はなくてもよい。 In FIG. 10B, assuming that the first line of the adjacent area Aadje is LS, the last line of the adjacent area Aadje is LE, and the pixel position of the adjacent area Aadje is Lf (i, j), the image of the current screen The composition weighting coefficient Wf (i, j) of data and the composition weighting coefficient Wb (i, j) of the image data of the screen one screen before are expressed by Expression (2). Similarly, in the expression (2), the pixel position Lf (i, j) is used. However, since the image data of the previous screen and the image data of the current screen are mixed in line units, There is no need for i information indicating the position.
式（１）による現在の画面のラインと１画面前の画面のラインとを混合特性は図１１の（ａ）となる。図１１の（ａ）において、実線は現在の画面のラインの混合率を示し、破線は１画面前の画面のラインの混合率を示している。図１１の（ａ）に示すように、図１０の（ａ）に示す画像Ｉｍ２の場合には、画面の上端側から隣接領域Ａadjsの手前までは現在の画面のラインのみである。ステップＳ352によって、隣接領域Ａadjsの最初のラインＬＳから最後のラインＬＥまで現在の画面のラインの混合率が順次減少していく一方、１画面前の画面のラインの混合率が順次増加していく。最後のラインＬＥ以降、ステップＳ353によって１画面前の画面のラインのみとなる。なお、フラッシュ開始ラインＬｎfsと最後のラインＬＥとを同一のラインとしてもよい。 FIG. 11A shows the mixing characteristics of the current screen line and the previous screen line according to the equation (1). In FIG. 11A, the solid line indicates the mixing ratio of the lines on the current screen, and the broken line indicates the mixing ratio of the lines on the previous screen. As shown in FIG. 11 (a), in the case of the image Im2 shown in FIG. 10 (a), only the current screen line extends from the upper end side of the screen to before the adjacent area Aadjs. In step S352, the mixing ratio of the lines on the current screen is sequentially decreased from the first line LS to the last line LE of the adjacent area Aadjs, while the mixing ratio of the lines on the screen one screen before is sequentially increased. . After the last line LE, only the line of the previous screen is displayed in step S353. Note that the flash start line Lnfs and the last line LE may be the same line.
式（２）による現在の画面のラインと１画面前の画面のラインとを混合特性は図１１の（ｂ）となる。図１１の（ｂ）において、実線は現在の画面のラインの混合率を示し、破線は１画面前の画面のラインの混合率を示している。図１１の（ｂ）に示すように、図１０の（ｂ）に示す画像Ｉｍ３の場合には、画面の上端側から隣接領域Ａadjeの手前までは１画面前の画面のラインのみである。ステップＳ356によって、隣接領域Ａadjeの最初のラインＬＳから最後のラインＬＥまで１画面前の画面のラインの混合率が順次減少していく一方、現在の画面のラインの混合率が順次増加していく。最後のラインＬＥ以降、現在の画面のラインのみとなる。なお、フラッシュ終了ラインＬｎfeと最初のラインＬＳとを同一のラインとしてもよい。 FIG. 11B shows the mixing characteristics of the current screen line and the previous screen line according to the equation (2). In FIG. 11B, the solid line indicates the mixing ratio of the lines on the current screen, and the broken line indicates the mixing ratio of the lines on the previous screen. As shown in FIG. 11 (b), in the case of the image Im3 shown in FIG. 10 (b), the line from the upper end side of the screen to the front of the adjacent area Aadje is only the screen line of the previous screen. In step S356, the line mixing ratio of the previous screen from the first line LS to the last line LE of the adjacent area Aadje is sequentially decreased, while the line mixing ratio of the current screen is sequentially increased. . After the last line LE, there are only lines on the current screen. The flush end line Lnfe and the first line LS may be the same line.
第３実施形態によれば、図２に示す画像Ｉｍ２のように画面の途中から高輝度となっている場合には、フラッシュ開始ラインＬｎfsに対して上方に位置するフラッシュの影響を受けていない隣接領域Ａadjsにおいて、最初のラインＬＳから最後のラインＬＥに進行するに従って１画面前の画面のラインに徐々に切り替わっていく。従って、現在の画面の画像データと１画面前の画面の画像データとを混合する不自然さが低減される。 According to the third embodiment, when the brightness is high from the middle of the screen as in the image Im2 shown in FIG. 2, the adjacent to the flash start line Lnfs is not affected by the flash located above. In the area Aadjs, the screen line is gradually switched to the screen on the previous screen as it progresses from the first line LS to the last line LE. Therefore, the unnaturalness of mixing the image data of the current screen and the image data of the previous screen is reduced.
また、第３実施形態によれば、図２に示す画像Ｉｍ３のように画面の途中まで高輝度で途中から正常な画像となっている場合には、フラッシュ終了ラインＬｎfeに対して下方に位置するフラッシュの影響を受けていない隣接領域Ａadjeにおいて、最初のラインＬＳから最後のラインＬＥに進行するに従って現在の画面のラインに徐々に切り替わっていく。従って、現在の画面の画像データと１画面前の画面の画像データとを混合する不自然さが低減される。 In addition, according to the third embodiment, when the image is high-brightness and normal from the middle like the image Im3 shown in FIG. 2, it is positioned below the flash end line Lnfe. In the adjacent area Aadje that is not affected by the flash, the line is gradually switched to the line on the current screen as it proceeds from the first line LS to the last line LE. Therefore, the unnaturalness of mixing the image data of the current screen and the image data of the previous screen is reduced.
上述した式（１），（２）の代わりに、式（３）を用いて画素単位で現在の画面の画像データと１画面前の画面の画像データとを混合してもよい。式（３）において、Ｍｆ（ｉ，ｊ）は画素の明るさであり、ＴｈH，ＴｈLはＴｈH＞ＴｈLを満たす明るさの閾値である。この場合には、フラッシュ検出部２，２０で検出したそれぞれの有効画素の明るさをフラッシュ補正部８に入力すればよい。
Instead of the above formulas (1) and (2), the image data of the current screen and the image data of the previous screen may be mixed in units of pixels using the formula (3). In Expression (3), Mf (i, j) is the brightness of the pixel, and ThH and ThL are brightness thresholds that satisfy ThH> ThL. In this case, the brightness of each effective pixel detected by the
式（３）によれば、隣接領域Ａadjs及び隣接領域Ａadjeにおいて、それぞれの画素の明るさＭｆ（ｉ，ｊ）が小さい方の値の閾値ＴｈLよりも小さければ、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）が１となり、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）が０となる。即ち、画素の明るさＭｆ（ｉ，ｊ）が閾値ＴｈLよりも小さいということはフラッシュの発光による影響を受けていない可能性が高く、現在の画面の画素データのみとする。 According to the equation (3), in the adjacent area Aadjs and the adjacent area Aadje, if the brightness Mf (i, j) of each pixel is smaller than the threshold value ThL of the smaller value, the composition of the image data of the current screen The weighting coefficient Wf (i, j) becomes 1, and the composite weighting coefficient Wb (i, j) of the image data of the screen one screen before becomes 0. That is, if the pixel brightness Mf (i, j) is smaller than the threshold ThL, there is a high possibility that the pixel is not affected by the flash emission, and only the pixel data of the current screen is used.
また、それぞれの画素の明るさＭｆ（ｉ，ｊ）が大きい方の閾値ＴｈHよりも大きければ、現在の画面の画像データの合成重み付け係数Ｗｆ（ｉ，ｊ）が０となり、１画面前の画面の画像データの合成重み付け係数Ｗｂ（ｉ，ｊ）が１となる。即ち、画素の明るさＭｆ（ｉ，ｊ）が閾値ＴｈHよりも大きいということはフラッシュの発光による影響を受けている可能性が高く、１画面前の画面の画素データのみとする。 If the brightness Mf (i, j) of each pixel is larger than the larger threshold value ThH, the composite weighting coefficient Wf (i, j) of the image data of the current screen becomes 0, and the screen one screen before The composite weighting coefficient Wb (i, j) of the image data is 1. That is, if the pixel brightness Mf (i, j) is larger than the threshold value ThH, there is a high possibility that it is affected by the light emission of the flash, and only the pixel data of the previous screen is used.
それぞれの画素の明るさＭｆ（ｉ，ｊ）が閾値ＴｈL以上閾値ＴｈH以下であれば、式（３）の特性で現在の画面の画素データと１画面前の画面の画素データとが適応的に混合されることになる。 If the brightness Mf (i, j) of each pixel is greater than or equal to the threshold ThL and less than or equal to the threshold ThH, the pixel data of the current screen and the pixel data of the previous screen are adaptively represented by the characteristic of Equation (3). Will be mixed.
＜第４実施形態＞
第４実施形態の画像処理装置の構成は、図１に示す第１実施形態のビデオカメラ１０１と同様である。第１実施形態においては、図３及び図４で説明したように、フラッシュ検出部２によってフラッシュの発光が検出された場合には、フラッシュ補正部８によって補正した画像データを表示部７に表示させるとともに、記録再生部１１に記録させるように構成している。
<Fourth embodiment>
The configuration of the image processing apparatus of the fourth embodiment is the same as that of the
第４実施形態は、表示部７に表示させる画像データが遅延しないよう、フラッシュの発光によって部分的に高輝度となったとしても画像データを補正せず記録再生部１１に記録させ、記録再生部１１に記録された画像データの再生時に画像データを補正するように構成している。
In the fourth embodiment, in order to prevent the image data to be displayed on the
図１２を用いて、第４実施形態によるビデオカメラの動作について説明する。図１２において、図３と同一部分には同一符号を付し、その説明を適宜省略することとする。図１２のステップＳ１，Ｓ２，Ｓ４は、図３のステップＳ１，Ｓ２，Ｓ４と同じである。図１２に示す第４実施形態では、図３のステップＳ３のフラッシュ検出・補正処理の代わりに、ステップＳ３０のフラッシュ検出処理を設けている。制御部９は、ステップＳ３０にて、フラッシュ検出部２によるフラッシュ検出処理を実行させる。即ち、ステップＳ３０では、フラッシュ補正部８によるフラッシュ補正処理を実行させない。ステップＳ３０のフラッシュ検出処理の詳細については後述する。
The operation of the video camera according to the fourth embodiment will be described with reference to FIG. 12, the same parts as those in FIG. 3 are denoted by the same reference numerals, and the description thereof will be omitted as appropriate. Steps S1, S2, and S4 in FIG. 12 are the same as steps S1, S2, and S4 in FIG. In the fourth embodiment shown in FIG. 12, a flash detection process in step S30 is provided instead of the flash detection / correction process in step S3 in FIG. In step S30, the
図１２のステップＳ５〜Ｓ９は、図３のステップＳ５〜Ｓ９と同じである。但し、ステップＳ５にて、表示部７に表示される画像はフラッシュの発光による影響を受けた画像であっても補正されずそのまま表示される。
Steps S5 to S9 in FIG. 12 are the same as steps S5 to S9 in FIG. However, in step S5, the image displayed on the
制御部９は、ステップＳ９に続き、ステップＳ１１にて、操作スイッチ１２によって、記録再生部１１に記録された所定の画像データの再生を開始する指示があったか否かを判定する。再生開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ１２にて、記録再生部１１に記録された画像データ（符号化データ）を再生させる。記録再生部１１から読み出された符号化データは、圧縮伸張処理部５によって伸張処理され、バッファメモリ４に入力されて保持される。再生開始の指示があったと判定されなければ（NO）、制御部９は、処理をステップＳ１０に移行させる。
Following step S9, the
制御部９は、ステップＳ１３にて、フラッシュ検出領域があるか否かを判定する。フラッシュ検出領域とは、再生する画像データ内でフラッシュの発光によって高輝度となっていることが検出された領域である。画像データにおけるどの部分がフラッシュ検出領域であるかは、後述するように、符号化データに付加したメタデータ（付加情報）を参照することによって判別することができる。
In step S13, the
フラッシュ検出領域があると判定されれば（YES）、制御部９は、ステップＳ１４にて、フラッシュ補正部８によるフラッシュ補正処理を実行させる。制御部９は、ステップＳ１５にて、ステップＳ１４にて補正された画像データを表示部７に表示させる。
If it is determined that there is a flash detection area (YES), the
この場合、バッファメモリ４に保持された伸張処理後の画像データがフラッシュ補正部８へと入力され、ステップＳ１４によるフラッシュ補正処理が実行される。補正された画像データはバッファメモリ４に入力されて保持され、出力処理部６を介して表示部７へと供給される。
In this case, the decompressed image data held in the
ステップＳ１３にてフラッシュ検出領域があると判定されなければ（NO）、制御部９は、処理をステップＳ１５に移行させる。制御部９は、ステップＳ１５にて、ステップＳ１２にて再生された画像データをそのまま表示部７に表示させる。この場合、バッファメモリ４に保持された伸張処理後の画像データは、バッファメモリ４から出力処理部６へとそのまま出力され、表示部７へと供給される。
If it is not determined in step S13 that there is a flash detection area (NO), the
制御部９は、ステップＳ１６にて、再生停止の指示があったか否かを判定する。再生停止の指示があったと判定されれば（YES）、制御部９は、ステップＳ１７にて、画像データの再生を停止させて、処理をステップＳ１０に移行させる。再生停止の指示があったと判定されなければ（NO）、制御部９は処理をステップＳ１２に戻してステップＳ１２以降を繰り返す。ステップＳ１０は図３で説明した通りである。
In step S16, the
図１３を用いて、図１２に示すステップＳ３０のフラッシュ検出処理の詳細について説明する。第４実施形態におけるステップＳ３０をステップＳ３０４とする。以下の各ステップは、制御部９による制御に基づいてフラッシュ検出部２によって実行される。図１３において、フラッシュ検出部２は、ステップＳ3001にて、有効ラインにおける有効画素の画素値を加算する処理を有効ラインごとに順次実行する。フラッシュ検出部２は、ステップＳ3002にて、ステップＳ3001にて得た画素値の加算値を有効画素数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。
The details of the flash detection process in step S30 shown in FIG. 12 will be described with reference to FIG. The step S30 in the fourth embodiment and Step S30 4. The following steps are executed by the
フラッシュ検出部２は、ステップＳ3003にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２は、ステップＳ3004にて、ステップＳ3002で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算処理を実行する。ステップＳ3004における差分演算処理は、ステップＳ3002でライン平均輝度を算出するたびに実行される。図１３のステップＳ3001〜ステップＳ3004の処理は図４のステップＳ301〜ステップＳ304と同じである。
In step S3003, the
フラッシュ検出部２は、ステップＳ3005にて、フラッシュの発光を検出していない通常状態であるか否かを判定する。通常状態であると判定されれば（YES）、フラッシュ検出部２は、ステップＳ3006にて、差分値が閾値以上のラインを検出したか否かを判定する。差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3007に移行させる。この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。
In step S3005, the
一方、差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ3011に移行させる。
On the other hand, if it is not determined that a line having a difference value equal to or larger than the threshold value is detected (NO), the
フラッシュ検出部２は、ステップＳ3007にて、差分値が閾値以上である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3008に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3011に移行させる。
In step S3007, the
ステップＳ3005にて通常状態であると判定され、ステップＳ3006にて差分値が閾値以上のラインが検出され、ステップＳ3007にて差分値が閾値以上である状態が所定ライン数以上継続したと判定された場合は、フラッシュの発光の影響を受けていない状態からフラッシュの発光の影響を受けて高輝度の状態へと変化したことを検出したということである。 In step S3005, the normal state is determined. In step S3006, a line having a difference value equal to or greater than the threshold value is detected. In step S3007, it is determined that the state in which the difference value is equal to or greater than the threshold value continues for a predetermined number of lines. In this case, it is detected that the state has changed from a state not affected by the light emission of the flash to a state of high brightness due to the light emission of the flash.
そこで、フラッシュ検出部２は、ステップＳ3008にて、フラッシュの発光を検出していない状態からフラッシュの発光を検出した状態へとフラッシュ検出状態を変更する。第４実施形態においては、フラッシュ検出部２は、フラッシュ発光の開始ラインを示す検出ライン情報を制御部９に供給し、記憶した検出ライン情報を消去する。
Accordingly, in step S3008, the
図１３のステップＳ3006，Ｓ3007は図４のステップＳ305，Ｓ306と同じである。図１３においてステップＳ3007からステップＳ3008へと移行した場合のステップＳ3008は図４のステップＳ307と実質的に同じである。 Steps S3006 and S3007 in FIG. 13 are the same as steps S305 and S306 in FIG. In FIG. 13, step S3008 when the process proceeds from step S3007 to step S3008 is substantially the same as step S307 of FIG.
一方、ステップＳ3005にて通常状態であると判定されなければ（NO）、フラッシュ検出部２は、ステップＳ3009にて、差分値が閾値未満のラインを検出したか否かを判定する。差分値が閾値未満のラインを検出したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3010に移行させる。この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。
On the other hand, if it is not determined in step S3005 that the current state is normal (NO), the
フラッシュ検出部２は、ステップＳ3010にて、差分値が閾値未満である状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２は、処理をステップＳ3008に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3011に移行させる。
In step S3010, the
ステップＳ3005にて通常状態ではないと判定され、ステップＳ3009にて差分値が閾値未満のラインが検出され、ステップＳ3010にて差分値が閾値未満である状態が所定ライン数以上継続したと判定された場合は、フラッシュの発光の影響を受けて高輝度の状態からフラッシュの発光の影響を受けていない状態へと変化したことを検出したということである。 In step S3005, it is determined that the current state is not the normal state. In step S3009, a line whose difference value is less than the threshold value is detected. In step S3010, it is determined that the state where the difference value is less than the threshold value continues for a predetermined number of lines or more. In this case, it is detected that the state has changed from a high brightness state to a state not affected by the light emission of the flash under the influence of the light emission of the flash.
そこで、フラッシュ検出部２は、ステップＳ3008にて、フラッシュの発光を検出している状態からフラッシュの発光を検出していない状態へとフラッシュ検出状態を変更する。第４実施形態においては、フラッシュ検出部２は、フラッシュ発光の終了ラインを示す検出ライン情報を制御部９に供給し、記憶した検出ライン情報を消去する。
Therefore, in step S3008, the
図１３のステップＳ30096，Ｓ3010は図４のステップＳ310，Ｓ311と同じである。図１３においてステップＳ3010からステップＳ3008へと移行した場合のステップＳ3008は図４のステップＳ312と実質的に同じである。 Steps S30096 and S3010 in FIG. 13 are the same as steps S310 and S311 in FIG. In FIG. 13, step S3008 when the process proceeds from step S3010 to step S3008 is substantially the same as step S312 of FIG.
フラッシュ検出部２は、ステップＳ3011にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されなければ（NO）、フラッシュ検出部２は、処理をステップＳ3001に戻し、ステップＳ3001以降の処理を繰り返す。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ補正部８は、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持する。
In step S3011, the
制御部９は、図１２のステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる際に、フラッシュ検出部２で検出したフラッシュ発光の開始ライン及び終了ラインを示す検出ライン情報を符号化データに付加するメタデータとして記録させる。
In step S7 of FIG. 12, the
図１４を用いて、図１２に示すステップＳ１４のフラッシュ補正処理の詳細について説明する。第４実施形態におけるステップＳ１４をステップＳ１４４とする。以下の各ステップは、制御部９による制御に基づいてフラッシュ補正部８によって実行される。制御部９は、符号化データに付加されているメタデータに基づいてフラッシュ補正部８によるフラッシュ補正処理を実行させる。
Details of the flash correction processing in step S14 shown in FIG. 12 will be described with reference to FIG. Step S14 in the fourth embodiment and Step S14 4. The following steps are executed by the
図１４において、フラッシュ補正部８は、ステップＳ1401にて、画面単位切換モードであるか否かを判定する。画面単位切換モードであると判定されれば（YES）、フラッシュ補正部８は、ステップＳ1402にて、２画面にわたるフラッシュであるか否かを判定する。
In FIG. 14, the
２画面にわたるフラッシュであると判定されれば（YES）、フラッシュ補正部８は、ステップＳ1403にて、２画面目であるか否かを判定する。２画面目であると判定されれば（YES）、フラッシュ補正部８は、ステップＳ1404にて、１画面後の画面に置換する。ステップＳ1402にて２画面にわたるフラッシュであると判定されなければ（NO）、また、ステップＳ1403にて２画面目であると判定されなければ（NO）、フラッシュ補正部８は、ステップＳ1405にて、１画面前の画面に置換する。
If it is determined that the flash covers two screens (YES), the
図１５において、（ａ）は補正前の画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…を示している。図２，図５と同様、ハッチングを付した部分がフラッシュの発光によって高輝度となっている部分である。図１５の（ｂ）に示すように、高輝度の部分を有する１画面目の画像Ｉｍ２は、ステップＳ1405にて、１画面前の画像Ｉｍ１に置換され、高輝度の部分を有する２画面目の画像Ｉｍ３は、ステップＳ1404にて、１画面後の画像Ｉｍ４に置換される。 15A shows images Im1, Im2, Im3, Im4,... Before correction. Like FIG. 2 and FIG. 5, the hatched portion is a portion where high brightness is obtained by flash emission. As shown in FIG. 15B, the image Im2 of the first screen having the high luminance portion is replaced with the image Im1 of the previous screen in step S1405, and the second screen having the high luminance portion. In step S1404, the image Im3 is replaced with the image Im4 after one screen.
一方、ステップＳ1401にて画面単位切換モードであると判定されなければ（NO）、フラッシュ補正部８は、ステップＳ1406〜Ｓ1408の低遅延モードに設定されている場合の処理を実行する。フラッシュ補正部８は、ステップＳ1406にて、１画面を複数の領域に分割する。
On the other hand, if it is not determined in step S1401 that the screen unit switching mode is set (NO), the
具体的には、フラッシュ補正部８は、図１０の（ａ），（ｂ）で説明したように、ステップＳ３０４のフラッシュ検出処理において検出した検出ライン情報が示すフラッシュ開始ラインよりも上方に位置し、フラッシュ開始ラインに隣接する隣接領域と、検出ライン情報が示すフラッシュ終了ライン下方に位置し、フラッシュ終了ラインに隣接する隣接領域を設定する。隣接領域は５〜１０ライン程度でよい。このように、フラッシュ補正部８は、フラッシュの影響を受けていない正常な部分と、フラッシュの発光によって高輝度となっている部分と、高輝度となっている部分の上方側または下方側に隣接する隣接領域とに領域に分割する。
Specifically, the
フラッシュ補正部８は、ステップＳ1407にて、合成比率を生成する。具体的には、フラッシュ補正部８は、図１１の（ａ），（ｂ）で説明したように、式（１），（２）を用いて現在の画面のラインと１画面前の画面のラインとの合成比率（混合率）を生成するか、式（３）を用いて画素単位で現在の画面の画像データと１画面前の画面の画像データとの合成比率（混合率）を生成する。フラッシュ補正部８は、ステップＳ1408にて、ステップＳ1407で生成した合成比率によって現在の画面のライン（画素）と１画面前の画面のライン（画素）とを合成して領域置換処理を実行する。
In step S1407, the
図１４に示すステップＳ１４４においては、ステップＳ1401を画面単位切換モードであるか否かの判定としているが、低遅延モードであるか否かの判定としてもよい。 In Step S14 4 shown in FIG. 14, step S1401 has been a determination of whether a screen unit selection mode may be determined whether the low latency mode.
第４実施形態では、フラッシュ補正部８は、記録再生部１１によって画像データを再生する際に、フラッシュ検出部２によって対象画面がフラッシュの発光によって高輝度となっていることが検出されたラインを含む場合には、高輝度となっているラインが再生されないように画像データを補正する再生補正部として動作している。
In the fourth embodiment, when the recording / reproducing
以上のようにして、第４実施形態においては、記録再生部１１に記録された画像データの再生時に、フラッシュの発光によって高輝度となった部分が補正され、補正された画像データが、表示部７やビデオカメラに接続された外部機器としての表示装置に表示される。第４実施形態によれば、表示部７に表示させる画像データの遅延をなくすことができる。また、第４実施形態によれば、画像データは補正されていない状態で記録再生部１１に記録されており、画像データの再生時にフラッシュの発光を誤検出したとしても、記録されている画像データには影響を与えない。
As described above, in the fourth embodiment, when the image data recorded in the recording / reproducing
＜第５実施形態＞
第５実施形態の画像処理装置の構成は、図１に示す第１実施形態のビデオカメラ１０１と同様である。第５実施形態は、記録再生部１１に記録された画像データを再生する際に用いる再生リスト（プレイリスト）を修正することによって、フラッシュの発光によって高輝度となった部分を補正するように構成している。第５実施形態においては、画像データをフラッシュ補正８ではなく、制御部９によって補正する。
<Fifth Embodiment>
The configuration of the image processing apparatus of the fifth embodiment is the same as that of the
図１６を用いて、第５実施形態によるビデオカメラの動作について説明する。図１６において、図１２と同一部分には同一符号を付し、その説明を適宜省略することとする。制御部９は、ステップＳ６〜Ｓ９の一連の処理によって記録再生部１１に記録する画像データに対応させて再生リストを生成して、記録再生部１１に併せて記録する。制御部９は、再生リスト生成部である。
The operation of the video camera according to the fifth embodiment will be described with reference to FIG. In FIG. 16, the same parts as those in FIG. 12 are denoted by the same reference numerals, and the description thereof is omitted as appropriate. The
図１７を用いて再生リストについて説明する。ビデオカメラによって撮影されて記録される撮影コンテンツには、それぞれの撮影コンテンツを識別するための識別符号が付される。図１７は、識別符号“001”が付された撮影コンテンツＣ001を再生するための再生リストＰ001を概念的に示している。再生リストＰ001は、撮影コンテンツＣ001を再生開始時刻Ｔmsで再生を開始し、再生終了時刻Ｔmeで再生を終了することを示している。撮影コンテンツＣ001は、ハッチングを付した部分がフラッシュの発光によって高輝度となっているとする。 The reproduction list will be described with reference to FIG. An identification code for identifying each photographed content is attached to the photographed content photographed and recorded by the video camera. FIG. 17 conceptually shows a reproduction list P001 for reproducing the photographed content C001 with the identification code “001”. The reproduction list P001 indicates that reproduction of the photographed content C001 starts at the reproduction start time Tms and ends at the reproduction end time Tme. In the photographed content C001, it is assumed that the hatched portion has high brightness due to flash emission.
制御部９は、ステップＳ１１にて、操作スイッチ１２によって、記録再生部１１に記録された所定の画像データの再生を開始する指示があったか否かを判定する。再生開始の指示があったと判定されれば（YES）、制御部９は、ステップＳ１３にて、フラッシュ検出領域があるか否かを判定する。フラッシュ検出領域があると判定されれば（YES）、制御部９は、ステップＳ１８にて、再生リストを修正する。ステップＳ１８の再生リストの修正についての詳細は後述する。
In step S <b> 11, the
制御部９は、ステップＳ１２にて、ステップＳ１８で修正された再生リストに基づいて画像データ（符号化データ）を再生させる。図１６のステップＳ１５〜Ｓ１７，Ｓ１０は図１２のステップＳ１５〜Ｓ１７，Ｓ１０と同じである。
In step S12, the
図１７を用いて、ステップＳ１８における再生リストの修正について説明する。図１７において、（ａ）は、再生リストＰ001に基づいて再生される撮影コンテンツＣ001の一連のフレームのうち、フラッシュの発光によって高輝度となった部分を含むフレームＦ２，Ｆ３とその前後のフレームＦ１，Ｆ４を示している。図１７の（ａ）はステップＳ１８で修正される前の状態である。なお、図１７に示すフレームＦ１〜Ｆ４は、図５の画像Ｉｍ１〜Ｉｍ４と実質的に同じであり、ここではフレームと称している。 With reference to FIG. 17, the correction of the playlist in step S18 will be described. In FIG. 17, (a) shows frames F2 and F3 including a portion that has become bright due to flash emission and a frame F1 before and after that in a series of frames of the photographed content C001 reproduced based on the reproduction list P001. , F4. FIG. 17A shows a state before correction in step S18. Note that the frames F1 to F4 shown in FIG. 17 are substantially the same as the images Im1 to Im4 of FIG. 5 and are referred to as frames here.
図１７において、（ｂ）は、再生リストＰ001の修正方法の第１の例によって再生される撮影コンテンツＣ001のフレームを示している。第１の例では、フレームＦ１の次にフレームＦ４を再生するよう、フラッシュの発光によって高輝度となった部分を含むフレームＦ２，Ｆ３をスキップさせるよう再生リストＰ001を修正する。この場合、撮影コンテンツＣ001を再生開始時刻Ｔmsで再生を開始し、フレームＦ１に続けてフレームＦ４を再生し、再生終了時刻Ｔmeで再生を終了するように再生リストＰ001を修正すればよい。第１の例では、撮影コンテンツＣ001の再生時間は、フレームＦ２，Ｆ３をスキップさせる分だけ短くなる。 In FIG. 17, (b) shows a frame of the photographed content C001 reproduced by the first example of the method for correcting the reproduction list P001. In the first example, the play list P001 is modified so that the frames F2 and F3 including the portion that has become bright due to the flash emission are skipped so that the frame F4 is played after the frame F1. In this case, the reproduction list P001 may be modified such that the reproduction of the photographed content C001 is started at the reproduction start time Tms, the frame F4 is reproduced after the frame F1, and the reproduction is terminated at the reproduction end time Tme. In the first example, the playback time of the captured content C001 is shortened by skipping frames F2 and F3.
図１７において、（ｃ）は、再生リストＰ001の修正方法の第２の例によって再生される撮影コンテンツＣ001のフレームを示している。第２の例では、フレームＦ１の次のフレームＦ２，Ｆ３のタイミングでフレームＦ１を連続して再生し、その次にフレームＦ４を再生するよう再生リストＰ001を修正する。これによって、フレームＦ２，Ｆ３をスキップさせる。第２の例では、撮影コンテンツＣ001の再生時間は、図１７の（ａ）に示す再生リストＰ001を修正していない場合と同じである。 In FIG. 17, (c) shows a frame of the photographed content C001 reproduced by the second example of the method of correcting the reproduction list P001. In the second example, the playback list P001 is modified so that the frame F1 is continuously played back at the timing of the frames F2 and F3 next to the frame F1, and then the frame F4 is played back. As a result, the frames F2 and F3 are skipped. In the second example, the reproduction time of the photographed content C001 is the same as that when the reproduction list P001 shown in FIG.
図１７において、（ｄ）は、再生リストＰ001の修正方法の第３の例によって再生される撮影コンテンツＣ001のフレームを示している。第３の例では、フレームＦ１の次のフレームＦ２のタイミングでフレームＦ１を連続して再生し、フレームＦ３のタイミングでフレームＦ４を再生し、その次にフレームＦ４を再生するよう再生リストＰ001を修正する。これによって、フレームＦ２，Ｆ３をスキップさせる。第３の例では、撮影コンテンツＣ001の再生時間は、図１７の（ａ）に示す再生リストＰ001を修正していない場合と同じである。 In FIG. 17, (d) shows a frame of the photographed content C001 reproduced by the third example of the method of correcting the reproduction list P001. In the third example, the play list P001 is corrected so that the frame F1 is continuously played back at the timing of the frame F2 next to the frame F1, the frame F4 is played back at the timing of the frame F3, and then the frame F4 is played back. To do. As a result, the frames F2 and F3 are skipped. In the third example, the reproduction time of the photographed content C001 is the same as when the reproduction list P001 shown in FIG.
以上のようにして、第５実施形態においては、記録再生部１１に記録された画像データを再生リストに基づいて再生する際に、フラッシュの発光によって高輝度となったフレームをスキップさせるよう再生リストが修正され、修正された再生リストに基づいて画像データが再生される。修正された再生リストを記録再生部１１に記録してもよい。図１６では、ステップＳ１８にて再生リストを修正しているが、ステップＳ９までに再生リストを修正してもよい。
As described above, in the fifth embodiment, when the image data recorded in the recording / reproducing
また、第５実施形態では、ビデオカメラで画像データを再生する際に再生リストを修正することによってフラッシュの発光によって高輝度となったフレームをスキップさせる構成を示しているが、ビデオカメラ以外の再生機器で画像データを再生する場合にも、修正した再生リストに基づいて、フラッシュの発光によって高輝度となったフレームをスキップさせて再生することも可能である。 The fifth embodiment shows a configuration in which a frame that has become bright due to flash emission is skipped by correcting a playlist when playing back image data with a video camera. Even when image data is played back by the device, it is possible to skip and play back frames that have become bright due to flash emission based on the corrected playback list.
第５実施形態では、制御部９は、記録再生部１１によって画像データを再生する際に、フラッシュ検出部２によって対象画面がフラッシュの発光によって高輝度となっていることが検出されたラインを含む場合には、高輝度となっているラインが再生されないように画像データを補正する再生補正部として動作している。上記のように制御部９は再生リスト生成部である。制御部９は、画像データの再生時に、高輝度のラインを含む対象画面をスキップさせるよう再生リストを修正する再生リスト修正部としても機能している。また、制御部９は、画像データの再生時に、高輝度のラインを含む対象画面を、フラッシュの発光による影響を受けていない対象画面よりも過去または未来の画面に置換するよう再生リストを修正する再生リスト修正部としても機能している。
In the fifth embodiment, the
第５実施形態によれば、表示部７に表示させる画像データの遅延をなくすことができる。また、第５実施形態によれば、画像データは補正されていない状態で記録再生部１１に記録されており、画像データの再生時にフラッシュの発光を誤検出したとしても、記録されている画像データには影響を与えない。
According to the fifth embodiment, the delay of the image data displayed on the
＜第６実施形態＞
第６実施形態の画像処理装置の構成は、図１に示す第１実施形態のビデオカメラ１０１と同様である。第６実施形態は、表示部７に表示させる画像データが遅延しないよう、フラッシュの発光によって部分的に高輝度となったとしても画像データを補正しない状態で表示部７に表示させる一方で、フラッシュ補正部８によって補正された画像データを記録再生部（記録部）１１に記録させるように構成している。
<Sixth Embodiment>
The configuration of the image processing apparatus of the sixth embodiment is the same as that of the
図１９を用いて、第６実施形態によるビデオカメラの動作について説明する。図１９において、図３または図１２と同一部分には同一符号を付し、その説明を適宜省略することとする。図１９のステップＳ１，Ｓ２，Ｓ４，Ｓ５，Ｓ３０は、図１２のステップＳ１，Ｓ２，Ｓ４，Ｓ５，Ｓ３０と同じである。第６実施形態においては、図１９に示すように、制御部９は、ステップＳ６に続き、ステップＳ１３にて、フラッシュ検出領域があるか否かを判定する。
The operation of the video camera according to the sixth embodiment will be described with reference to FIG. 19, the same parts as those in FIG. 3 or FIG. 12 are denoted by the same reference numerals, and the description thereof will be omitted as appropriate. Steps S1, S2, S4, S5 and S30 in FIG. 19 are the same as steps S1, S2, S4, S5 and S30 in FIG. In the sixth embodiment, as shown in FIG. 19, the
フラッシュ検出領域があると判定されれば（YES）、制御部９は、ステップＳ１４にて、フラッシュ補正部８によるフラッシュ補正処理を実行させて、処理をステップＳ７に移行させる。フラッシュ検出領域があると判定されなければ（NO）、制御部９は、処理をステップＳ７に移行させる。制御部９は、ステップＳ７にて、圧縮伸張処理部５より出力された符号化データを記録再生部１１に記録させる。図１９のステップＳ８〜Ｓ１０は、図３のステップＳ８〜Ｓ１０と同じである。
If it is determined that there is a flash detection area (YES), the
図２０を用いて、図１９に示すステップＳ１４のフラッシュ補正処理の詳細について説明する。第６実施形態におけるステップＳ１４をステップＳ１４６とする。図２０に示すステップＳ１４６において、図１４に示すステップＳ１４４と同一部分には同一符号を付し、その説明を適宜省略することとする。図２０のステップＳ1401〜Ｓ1403，Ｓ1405〜Ｓ1408は、図１４のステップＳ1401〜Ｓ1403，Ｓ1405〜Ｓ1408と同じである。 The details of the flash correction processing in step S14 shown in FIG. 19 will be described with reference to FIG. Step S14 in the sixth embodiment and Step S14 6. In Step S14 6 shown in FIG. 20, the same reference numeral is given to the step S14 4 the same parts as shown in FIG. 14, and explanation thereof will be omitted as occasion demands. Steps S1401 to S1403 and S1405 to S1408 in FIG. 20 are the same as steps S1401 to S1403 and S1405 to S1408 in FIG.
第６実施形態においては、図２０に示すように、ステップＳ1403にて２画面目であると判定された場合には、フラッシュ補正部８は、ステップＳ1409にて、２画面前の画面に置換する。
In the sixth embodiment, as shown in FIG. 20, when it is determined in step S1403 that the screen is the second screen, the
図２１において、（ａ）は補正前の画像Ｉｍ１，Ｉｍ２，Ｉｍ３，Ｉｍ４…を示している。図２，図５，図１５と同様、ハッチングを付した部分がフラッシュの発光によって高輝度となっている部分である。図２１の（ｂ）に示すように、高輝度の部分を有する１画面目の画像Ｉｍ２は、ステップＳ1405にて、１画面前の画像Ｉｍ１に置換され、高輝度の部分を有する２画面目の画像Ｉｍ３も、ステップＳ1409にて、１画面前の画像Ｉｍ１に置換される。 21A shows images Im1, Im2, Im3, Im4,... Before correction. Similar to FIGS. 2, 5, and 15, the hatched portion is a portion with high brightness due to flash emission. As shown in FIG. 21B, the image Im2 of the first screen having the high brightness portion is replaced with the image Im1 of the previous screen in step S1405, and the second screen having the high brightness portion. The image Im3 is also replaced with the previous image Im1 in step S1409.
第６実施形態では、フラッシュ補正部８は、フラッシュ検出部２によって対象画面内のラインがフラッシュの発光によって高輝度となっていることが検出された場合には、対象画面における高輝度となっているラインを保持部であるバッファメモリ４に保持された過去の画面のラインに置換することにより画像データを補正する。このとき、フラッシュ補正部８は、対象画面の全体を、フラッシュの発光による影響を受けていない過去の画面に置換してもよい。
In the sixth embodiment, when the
第６実施形態では、制御部９は、フラッシュ補正部８によって補正された画像データを記録再生部１１に記録させる。一方で、制御部９は、出力信号処理部６によって、フラッシュ補正部８によって補正されていない状態の画像データを、ビデオカメラ内蔵の表示部７または外部の表示部に表示させる。
In the sixth embodiment, the
以上のようにして、第６実施形態においては、フラッシュの発光によって部分的に高輝度となったとしても、画像データは補正されない状態で表示部７やビデオカメラに接続された外部機器としての表示部である表示装置に表示される。記録再生部１１には、フラッシュ補正部８によって補正された画像データ（符号化データ）が記録される。第６実施形態によれば、表示部７に表示させる画像データの遅延をなくすことができ、記録再生部１１にはフラッシュの発光によって高輝度となった部分が補正された正常な画像データを記録することができる。
As described above, in the sixth embodiment, even when the brightness of the flash is partially increased, the image data is not corrected and displayed as an external device connected to the
＜第７実施形態＞
第７実施形態の画像処理装置の構成は、図６に示す第２実施形態のビデオカメラ１０２と同様である。第７実施形態は、図６に示すビデオカメラ１０２の構成で、図１２の第４実施形態と同様に、フラッシュの発光によって部分的に高輝度となったとしても画像データを補正せず記録再生部１１に記録させ、記録再生部１１に記録された画像データの再生時に画像データを補正するように構成したものである。即ち、第７実施形態は、フラッシュ検出部２によって実行される図１２のステップＳ３０を、図６のフラッシュ検出部２０によって実行されるステップＳ３０に置換したものに相当する。
<Seventh embodiment>
The configuration of the image processing apparatus of the seventh embodiment is the same as that of the
第７実施形態におけるステップＳ３０をステップＳ３０７とし、図２２を用いて第７実施形態におけるステップＳ３０７について説明する。以下の各ステップは、制御部９による制御に基づいてフラッシュ検出部２０によって実行される。図２２において、フラッシュ検出部２０は、ステップＳ3701にて、有効ラインにおける各ブロックの有効画素の画素値を加算する処理を有効ラインごとに順次実行する。フラッシュ検出部２０は、ステップＳ3702にて、ステップＳ3701にて得た各ブロックの画素値の加算値をブロック内の有効画素数で除算してブロック平均輝度を算出し、ブロック平均輝度を保持する。
The step S30 in the seventh embodiment and the step S30 7, step S30 7 will be described in the seventh embodiment with reference to FIG. 22. The following steps are executed by the
フラッシュ検出部２０は、ステップＳ3703にて、ステップＳ3702で算出したブロック平均輝度と１画面前の全画面平均輝度との差分演算の処理を実行する。ステップＳ3703における差分演算処理は、ステップＳ3702でブロック平均輝度を算出するたびに実行される。フラッシュ検出部２０は、ステップＳ3704にて、１ライン内のブロック平均輝度を加算し、ステップＳ3705にて、ブロック平均輝度の加算値をブロック数で除算してライン平均輝度を算出し、ライン平均輝度を保持する。
In step S3703, the
フラッシュ検出部２０は、ステップＳ3706にて、ライン平均輝度を順次加算する処理を実行する。フラッシュ検出部２０は、ステップＳ3707にて、ステップＳ3705で算出したライン平均輝度と１画面前の全画面平均輝度との差分演算の処理を実行する。ステップＳ3707における差分演算処理は、ステップＳ3705でライン平均輝度を算出するたびに実行される。
In step S3706, the
フラッシュ検出部２０は、ステップＳ3708にて、フラッシュの発光を検出していない通常状態であるか否かを判定する。通常状態であると判定されれば（YES）、フラッシュ検出部２０は、ステップＳ3709にて、ライン平均輝度と全画面平均輝度との差分値が閾値（閾値１）以上のラインを検出したか否かを判定する。
In step S3708, the
ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3710に移行させ、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3715に移行させる。ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出しなければ、フラッシュは発光していないということである。
If it is determined that a line whose difference value between the line average luminance and the entire screen average luminance is equal to or greater than the threshold is detected (YES), the
フラッシュ検出部２０は、ライン平均輝度と全画面平均輝度との差分値が閾値以上のラインを検出した場合、さらに、ステップＳ3710にて、そのライン内のそれぞれのブロック平均輝度と全画面平均輝度との差分値が閾値（閾値２）以上であるか否かを判定する。フラッシュ検出部２０は、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3711に移行させる。なお、この際、フラッシュ検出部２は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。
If the
一方、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であると判定されなければ（NO）、フラッシュ検出部２０は、既に検出ライン情報を記憶している場合は、それを消去するとともに、処理をステップＳ3715に移行させる。
On the other hand, if it is not determined that the difference value between each block average luminance and the entire screen average luminance is equal to or greater than the threshold (NO), the
フラッシュ検出部２０は、ステップＳ3711にて、ライン平均輝度と全画面平均輝度との差分値が閾値以上であり、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値以上であるという２つの条件を満たすラインが所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3714に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ3715に移行させる。
In step S <b> 3711, the
フラッシュ検出部２０は、ステップＳ3714にて、フラッシュの発光を検出していない状態からフラッシュの発光を検出した状態へとフラッシュ検出状態を変更する。また、フラッシュ検出部２０は、記憶している検出ライン情報をフラッシュ補正部８に供給し、検出ライン情報を消去する。
In step S3714, the
一方、ステップＳ3708にて通常状態であると判定されなければ（NO）、フラッシュ検出部２０は、ステップＳ3712にて、ライン平均輝度と全画面平均輝度との差分値が閾値未満であるか、または、それぞれのブロック平均輝度と全画面平均輝度との差分値が閾値未満であるラインを検出したか否かを判定する。少なくとも一方を満たさないラインが現れたと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3713に移行させる。この際、フラッシュ検出部２０は、検出したラインがフレームの最初のラインから何ライン目かを示す検出ライン情報を記憶しておく。
On the other hand, if it is not determined in step S3708 that the current state is normal (NO), the
少なくとも一方を満たさないラインが現れたと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3715に移行させる。
If it is not determined that a line that does not satisfy at least one appears (NO), the
フラッシュ検出部２０は、ステップS3713にて、上記の２つの条件の少なくとも一方を満たさない状態が所定ライン数以上継続したか否かを判定する。所定ライン数以上継続したと判定されれば（YES）、フラッシュ検出部２０は処理をステップＳ3714に移行させ、所定ライン数以上継続したと判定されなければ（NO）、フラッシュ検出部２０は処理をステップＳ3715に移行させる。
In step S3713, the
フラッシュ検出部２０は、ステップＳ3714にて、フラッシュの発光を検出した状態からフラッシュの発光を検出していない状態へとフラッシュ検出状態を変更する。また、フラッシュ検出部２０は、記憶している検出ライン情報をフラッシュ補正部８に供給し、検出ライン情報を消去する。
In step S3714, the
フラッシュ検出部２０は、ステップＳ3715にて、全有効ラインに対する判定が終了したか否かを判定する。全有効ラインに対する判定が終了したと判定されれば（YES）、フラッシュ検出部２０は、処理をステップＳ3716に移行させ、全有効ラインが終了したと判定されなければ（NO）、フラッシュ検出部２０は、処理をステップＳ3701に戻してステップＳ3701以降を繰り返す。フラッシュ検出部２０は、ステップＳ3716にて、ライン平均輝度の加算値を有効ライン数で除算して全画面平均輝度を算出し、全画面平均輝度を保持する。
In step S3715, the
＜第８実施形態＞
図６に示す第２実施形態のビデオカメラ１０２と同様の構成の画像処理装置とし、第５実施形態と同様に、記録再生部１１に記録された画像データを再生する際に用いる再生リストを修正することによって、フラッシュの発光によって高輝度となった部分を補正するように構成することができる。
<Eighth Embodiment>
The image processing apparatus having the same configuration as that of the
＜第９実施形態＞
図６に示す第２実施形態のビデオカメラ１０２と同様の構成の画像処理装置とし、第６実施形態と同様に、フラッシュの発光によって部分的に高輝度となった画像データを補正しない状態で表示部７に表示させ、フラッシュ補正部８によって補正された画像データを記録再生部１１に記録させるように構成することができる。
<Ninth Embodiment>
An image processing apparatus having the same configuration as that of the
本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。各実施形態ではビデオカメラを例としたが、画像データを扱う任意の電子機器において本発明の画像処理装置、画像処理方法、画像処理プログラムを用いることができる。例えば、画像表示装置やコンピュータ等の情報処理装置において各実施形態の画像処理装置を搭載し、画面の一部が高輝度となっている画像データを画像表示装置や情報処理装置の内部で補正するようにしてもよい。 The present invention is not limited to the embodiments described above, and various modifications can be made without departing from the scope of the present invention. In each embodiment, a video camera is taken as an example. However, the image processing apparatus, the image processing method, and the image processing program of the present invention can be used in any electronic device that handles image data. For example, the image processing apparatus according to each embodiment is mounted on an information processing apparatus such as an image display apparatus or a computer, and image data in which part of the screen has high brightness is corrected inside the image display apparatus or information processing apparatus. You may do it.
また、各実施形態においては、画像信号処理部３での処理を終了した映像データを補正する構成を示したが、画像信号処理部３で処理する前の映像データを補正してもよい。各実施形態においては、画像信号処理部３や圧縮伸張処理部５とは独立して設けたバッファメモリ４を用いる構成を示したが、画像信号処理部３や圧縮伸張処理部５で使用するバッファメモリを用いてもよく、回路（ブロック）構成は適宜に変更が可能である。
Moreover, in each embodiment, although the structure which correct | amends the video data which completed the process in the image
本発明の画像処理プログラムを記録媒体に記録して提供してもよく、インターネット等の通信回線にて画像処理プログラムを配信してもよい。記録媒体に記録された画像処理プログラムや通信回線にて配信された画像処理プログラムを画像処理装置に記憶させて、上述した画像処理方法を実行させるようにしてもよい。 The image processing program of the present invention may be provided by being recorded on a recording medium, or the image processing program may be distributed through a communication line such as the Internet. An image processing program recorded on a recording medium or an image processing program distributed via a communication line may be stored in an image processing apparatus to execute the above-described image processing method.
１ 撮像部
１ｓ CMOSセンサ
２，２０ フラッシュ検出部
３ 画像信号処理部
４ バッファメモリ（保持部）
５ 圧縮伸張処理部
６ 出力信号処理部
７ 表示部
８ フラッシュ補正部（再生補正部）
９ 制御部（再生補正部，再生リスト生成部，再生リスト修正部，コンピュータ）
１０ メモリ
１１ 記録再生部（記録部）
１２ 操作スイッチ
２１，２０３ ライン平均輝度算出部
２３，２０５ 全画面平均輝度算出部
２５，２０７ 差分算出部
２６，２０８ フラッシュ判定部
１０１，１０２ ビデオカメラ
２０１ ブロック平均輝度算出部
DESCRIPTION OF
5 Compression / Expansion Processing Unit 6 Output
9 Control unit (playback correction unit, playlist creation unit, playlist modification unit, computer)
10
12 operation switches 21, 203 line average
Claims (7)
前記画像データの前記過去の画面を保持する保持部と、
前記フラッシュ検出部によって前記対象画面内のラインがフラッシュの発光によって高輝度となっていることが検出された場合には、前記対象画面における高輝度となっているラインを前記保持部に保持された前記過去の画面のラインに置換することにより画像データを補正するフラッシュ補正部と、
前記フラッシュ補正部によって補正された前記画像データを記録する記録部と、
前記フラッシュ補正部によって補正されていない状態の前記画像データを表示部に表示させるよう前記表示部に出力する出力信号処理部と、
を備えることを特徴とする画像処理装置。 The line average brightness of each line in the target screen in the image data to be detected whether or not it includes a line having high brightness due to flash emission, and at least one screen before the target screen By calculating the total screen average brightness of a past screen and comparing the line average brightness of each line with the total screen average brightness, the lines in the target screen become high brightness by flash emission. A flash detector for detecting whether or not
A holding unit for holding the past screen of the image data;
When the flash detection unit detects that the line in the target screen has high luminance due to flash emission, the high luminance line in the target screen is held in the holding unit. A flash correction unit that corrects image data by replacing the line with the past screen;
A recording unit for recording the image data corrected by the flash correction unit;
An output signal processing unit that outputs to the display unit the image data that has not been corrected by the flash correction unit to be displayed on the display unit;
An image processing apparatus comprising:
前記フラッシュ補正部は、前記フラッシュ開始ラインよりも上方に位置し、前記フラッシュ開始ラインに隣接する第１の隣接領域と、前記フラッシュ終了ラインよりも下方に位置し、前記フラッシュ終了ラインに隣接する第２の隣接領域とをそれぞれ設定し、前記第１の隣接領域では、前記第１の隣接領域の最初のラインから最後のラインに進行するに従って前記対象画面の画像データを順次減少させ、前記過去の画面の画像データを順次増加させるように両者の画像データを混合し、前記第２の隣接領域では、前記第２の隣接領域の最初のラインから最後のラインに進行するに従って前記過去の画面の画像データを順次減少させ、前記対象画面の画像データを順次増加させるように両者の画像データを混合する
ことを特徴とする請求項１記載の画像処理装置。 The flash detection unit detects a flash start line and a flash end line that are the first line that has become bright due to flash emission, and the last line,
The flash correction unit is positioned above the flash start line, adjacent to the flash start line, positioned below the flash end line, and adjacent to the flash end line. 2 adjacent areas are set, and in the first adjacent area, the image data of the target screen is sequentially decreased as the first line advances from the first line to the last line of the first adjacent area, and the past The image data of both is mixed so that the image data of the screen is sequentially increased, and in the second adjacent area, the image of the past screen is progressed from the first line to the last line of the second adjacent area. The both image data are mixed so that the data is sequentially decreased and the image data of the target screen is sequentially increased. The image processing apparatus described.
前記フラッシュ補正部は、前記フラッシュ開始ラインよりも上方に位置し、前記フラッシュ開始ラインに隣接する第１の隣接領域と、前記フラッシュ終了ラインよりも下方に位置し、前記フラッシュ終了ラインに隣接する第２の隣接領域とをそれぞれ設定し、前記第１及び第２の隣接領域では、前記第１及び第２の隣接領域内のそれぞれの画素の明るさが第１の閾値より小さければ前記対象画面の画素データのみとし、前記第１の閾値より大きい値である第２の閾値より大きければ前記過去の画面の画素データのみとし、前記第１の閾値以上前記第２の閾値以下であれば前記対象画面の画素データと前記過去の画面の画素データとを混合する
ことを特徴とする請求項１記載の画像処理装置。 The flash detection unit detects a flash start line and a flash end line that are the first line that has become bright due to flash emission, and the last line,
The flash correction unit is positioned above the flash start line, adjacent to the flash start line, positioned below the flash end line, and adjacent to the flash end line. 2 adjacent regions, and if the brightness of each pixel in the first and second adjacent regions is smaller than a first threshold in the first and second adjacent regions, Only the pixel data is set, and if it is larger than the second threshold value, which is larger than the first threshold value, only the past screen pixel data is set. If it is not less than the first threshold value and not more than the second threshold value, the target screen is set. The image processing apparatus according to claim 1, wherein the pixel data and the pixel data of the past screen are mixed.
前記対象画面におけるラインを複数のブロックに分割したそれぞれのブロックのブロック平均輝度を算出するブロック平均輝度算出部と、
前記ブロック平均輝度算出部で算出された１ラインにおけるブロック平均輝度に基づいて、前記対象画面におけるそれぞれのラインのライン平均輝度を算出するライン平均輝度算出部と、
前記ライン平均輝度算出部で算出された１画面におけるそれぞれのラインのライン平均輝度に基づいて、前記過去の画面の全画面平均輝度を算出する全画面平均輝度算出部と、
前記ブロック平均輝度と前記全画面平均輝度との差分と、前記ライン平均輝度と前記全画面平均輝度との差分とをそれぞれ算出する差分算出部と、
前記ライン平均輝度と前記全画面平均輝度との差分が第１の閾値以上であり、前記ブロック平均輝度と前記全画面平均輝度との差分が第２の閾値以上である条件が所定ライン以上継続した場合にフラッシュの発光によって高輝度となっていると判定するフラッシュ判定部と、
を有することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。 The flash detection unit
A block average luminance calculating unit for calculating a block average luminance of each block obtained by dividing a line in the target screen into a plurality of blocks;
A line average luminance calculating unit that calculates a line average luminance of each line in the target screen based on the block average luminance in one line calculated by the block average luminance calculating unit;
A full-screen average luminance calculating unit that calculates the full-screen average luminance of the past screen based on the line average luminance of each line in one screen calculated by the line-average luminance calculating unit;
A difference calculating unit for calculating a difference between the block average luminance and the full screen average luminance, and a difference between the line average luminance and the full screen average luminance, respectively;
The condition that the difference between the line average luminance and the full screen average luminance is equal to or greater than a first threshold and the difference between the block average luminance and the full screen average luminance is equal to or greater than a second threshold continues for a predetermined line or more. A flash determination unit that determines that the brightness is high due to flash emission,
The image processing apparatus according to claim 1, wherein the image processing apparatus includes:
前記対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出し、
それぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを検出し、
前記画像データの前記過去の画面を保持部に保持し、
前記対象画面内のラインがフラッシュの発光によって高輝度となっていることが検出された場合には、前記対象画面における高輝度となっているラインを前記保持部に保持された前記過去の画面のラインに置換することにより前記画像データを補正し、
補正された前記画像データを記録部に記録し、
補正されていない状態の前記画像データを表示部に表示させる
ことを特徴とする画像処理方法。 Calculate the line average brightness of each line in the target screen in the image data that is the target of detection whether or not it includes a line that is bright due to flash emission,
Calculating a total screen average brightness of a past screen which is a screen at least one screen before the target screen;
By comparing the line average brightness of each line and the entire screen average brightness, it is detected whether the line in the target screen is high brightness due to flash emission,
Holding the past screen of the image data in a holding unit;
When it is detected that a line in the target screen has high luminance due to flash emission, a line having high luminance in the target screen is stored in the past screen held in the holding unit. Correct the image data by replacing it with a line,
Record the corrected image data in a recording unit,
An image processing method, comprising: displaying the image data in an uncorrected state on a display unit.
フラッシュの発光によって高輝度となっているラインを含むか否かの検出対象となっている画像データ内の対象画面におけるそれぞれのラインのライン平均輝度を算出する機能と、
前記対象画面の少なくとも１画面前の画面である過去の画面の全画面平均輝度を算出する機能と、
それぞれのラインの前記ライン平均輝度と前記全画面平均輝度とを比較することによって、前記対象画面内のラインがフラッシュの発光によって高輝度となっているか否かを検出する機能と、
前記画像データの前記過去の画面を保持部に保持させる機能と、
前記対象画面内のラインがフラッシュの発光によって高輝度となっていることが検出された場合には、前記対象画面における高輝度となっているラインを前記保持部に保持された前記過去の画面のラインに置換することにより前記画像データを補正する機能と、
補正された前記画像データを記録部に記録させる機能と、
補正されていない状態の前記画像データを表示部に表示させる機能と、
を実現させることを特徴とする画像処理プログラム。 On the computer,
A function for calculating the line average brightness of each line in the target screen in the image data that is the target of detection whether or not it includes a line that is bright due to flash emission;
A function of calculating a total screen average brightness of a past screen which is a screen at least one screen before the target screen;
A function of detecting whether or not the line in the target screen has a high luminance due to flash emission by comparing the line average luminance of each line and the whole screen average luminance;
A function for holding the past screen of the image data in a holding unit;
When it is detected that a line in the target screen has high luminance due to flash emission, a line having high luminance in the target screen is stored in the past screen held in the holding unit. A function of correcting the image data by replacing with a line;
A function of causing the recording unit to record the corrected image data;
A function of causing the display unit to display the image data in an uncorrected state;
An image processing program characterized by realizing the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012090107A JP5757472B2 (en) | 2012-04-11 | 2012-04-11 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012090107A JP5757472B2 (en) | 2012-04-11 | 2012-04-11 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013219658A JP2013219658A (en) | 2013-10-24 |
| JP5757472B2 true JP5757472B2 (en) | 2015-07-29 |
Family
ID=49591279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012090107A Active JP5757472B2 (en) | 2012-04-11 | 2012-04-11 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5757472B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6494351B2 (en) * | 2015-03-20 | 2019-04-03 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
-
2012
- 2012-04-11 JP JP2012090107A patent/JP5757472B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013219658A (en) | 2013-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5144481B2 (en) | Imaging apparatus and imaging method | |
| WO2009098877A1 (en) | Image processing device and image processing method | |
| US9185294B2 (en) | Image apparatus, image display apparatus and image display method | |
| JP2017022610A (en) | Image processing apparatus and image processing method | |
| JP2006245999A (en) | Imaging apparatus and program | |
| JP5928319B2 (en) | Image processing apparatus and method | |
| JP2013192200A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4952574B2 (en) | Image composition apparatus and program | |
| JP5413625B2 (en) | Image composition apparatus and program | |
| JP2012075082A (en) | Moving image playback system and image capturing apparatus | |
| US20130208144A1 (en) | Image processing device, image processing method, image processing program | |
| JP2004072550A (en) | Imaging device and picture reproducing device | |
| JP2010021710A (en) | Imaging device, image processor, and program | |
| JP5757472B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5900278B2 (en) | Image processing apparatus and method | |
| JP5757471B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5910613B2 (en) | Image composition apparatus and program | |
| JP5900217B2 (en) | Image processing apparatus and method | |
| JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP5928290B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4985716B2 (en) | Imaging apparatus, method for setting focus evaluation area, and program | |
| JP4964062B2 (en) | Electronic camera | |
| JP4827811B2 (en) | Electronic camera | |
| JP5208295B2 (en) | Imaging apparatus and control method thereof | |
| JP2006148456A (en) | Electronic camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5757472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150524 |