JP5135293B2 - Dynamic resolution deterioration correction apparatus and dynamic resolution deterioration correction program - Google Patents
Dynamic resolution deterioration correction apparatus and dynamic resolution deterioration correction program Download PDFInfo
- Publication number
- JP5135293B2 JP5135293B2 JP2009147910A JP2009147910A JP5135293B2 JP 5135293 B2 JP5135293 B2 JP 5135293B2 JP 2009147910 A JP2009147910 A JP 2009147910A JP 2009147910 A JP2009147910 A JP 2009147910A JP 5135293 B2 JP5135293 B2 JP 5135293B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- speed
- dynamic resolution
- image sequence
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
本発明は、動解像度の劣化を補正する技術に関し、特に、超高精細映像の高速パンにおける動解像度劣化補正装置及び動解像度劣化補正プログラムに関する。 The present invention relates to a technique for correcting degradation of dynamic resolution, and more particularly to a dynamic resolution degradation correction apparatus and dynamic resolution degradation correction program for high-speed panning of ultra-high definition video.
近年、撮像装置および表示装置の高精細化が進んでおり、超解像（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。 2. Description of the Related Art In recent years, high-definition imaging devices and display devices have been advanced, and a moving image high-resolution technique called super-resolution has been studied (see, for example, Patent Document 1). Ultra-high definition video such as Super Hi-Vision (SHV) called 8K system, or high-definition video like Digital Cinema called 4K system has a resolution that is 4 to 16 times higher than that of conventional Hi-Vision (HV) video. It has come to have.
しかしながら、動画像を表示する表示装置の画面が高精細化されるほど、同じ画角で撮影した場合の動領域における１画素あたりの動きボケ量が大きくなる。 However, the higher the definition of the screen of a display device that displays a moving image, the greater the amount of motion blur per pixel in the moving region when shooting at the same angle of view.
例えば、ハイビジョン画面は１９２０画素×１０８０ラインであり、スーパーハイビジョン画面は、７６８０画素×４３２０ラインである。ハイビジョン画面用の動画像と同じＦＯＶ (ＦＯＶ： Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)で撮像した動画像をスーパーハイビジョン画面で見ると、水平・垂直解像度ともに４倍となるため、動きのある被写体の動き量は４倍となり、動領域における１画素あたりの動きボケ量も４倍となる。特に、画面全体が大きく変化するスポーツシーン等の高速動きシーンでは、視覚的なボケ感は顕著となる。 For example, a high-definition screen has 1920 pixels × 1080 lines, and a super high-definition screen has 7680 pixels × 4320 lines. When a moving image taken with the same FOV (Field Of View) as a moving image for a high-definition screen is viewed on a super high-definition screen, the horizontal and vertical resolutions are four times larger, so the amount of movement of a moving subject is four times larger. Thus, the amount of motion blur per pixel in the motion region is also quadrupled. In particular, in a high-speed motion scene such as a sports scene in which the entire screen changes greatly, the visual blur is remarkable.
しかしながら、既知の動画像高解像化技術により劣化した高周波数成分を推定する技術をもってしても、その高周波数成分の推定は水平及び垂直に２倍くらいが限度であり、それ以上の高周波数成分に拡大した場合は他の劣化（例えば、リンギングのような視覚的劣化）が目立ってしまう。 However, even with a technique for estimating a high-frequency component deteriorated by a known moving image high-resolution technique, the estimation of the high-frequency component is limited to about twice in the horizontal and vertical directions. When the component is enlarged, other deterioration (for example, visual deterioration such as ringing) becomes conspicuous.
また、時間方向の動き情報を用いることで既知の動画像高解像化技術による推定精度を多少向上させることができると考えられるが、上述したようなスーパーハイビジョンでの高速動きシーン（例えば、画面全体が高フレームレートで大きく変化する高速パンシーン）での空間周波数劣化に対して到底、劣化低減の効果は期待できない。 In addition, it is considered that the estimation accuracy by the known moving image high resolution technology can be slightly improved by using the motion information in the time direction, but a high-speed motion scene (for example, a screen) in the super high vision as described above. The effect of reducing the deterioration cannot be expected at all for the spatial frequency deterioration in a high-speed pan scene where the whole changes greatly at a high frame rate.
従って、上述したような高速動きシーン、例えば高速動きシーンでは、カメラが静止している状況から急にパンが行われるため、静／動間の空間周波数劣化の差が急に大きくなることから観視者は空間周波数の劣化感を感じてしまう。 Therefore, in a high-speed motion scene as described above, for example, a high-speed motion scene, panning is performed suddenly from the situation where the camera is stationary, and thus the difference in spatial frequency degradation between static and dynamic increases rapidly. The viewer feels a sense of deterioration of the spatial frequency.
本発明の目的は、特に、視覚的ボケが顕著である超高精細映像の高速動きシーンに有効で、且つ簡便な方法で動解像度の劣化を補正する動解像度劣化補正装置及び動解像度劣化補正プログラムを提供することにある。 An object of the present invention is, in particular, a dynamic resolution deterioration correction apparatus and a dynamic resolution deterioration correction program that are effective for a high-speed motion scene of an ultra-high-definition image in which visual blurring is remarkable and correct a deterioration of dynamic resolution by a simple method. Is to provide.
本発明は、高精細映像の高速動きシーンにおける動解像度の劣化に対して、高速動きシーンが開始する時間位置と高速動きシーンの動き速度を検出し、高速動きシーンの動き速度の値が所定の規定速度以上である場合に、フィルタ処理により、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から空間解像度を高速動きシーンの動き速度に応じて適応的に低下させ、高速動きシーンにおける空間解像度の低下感を抑制する。 The present invention detects a time position at which a high-speed motion scene starts and a motion speed of the high-speed motion scene in response to degradation of dynamic resolution in a high-speed motion scene of high-definition video. When the speed is higher than the specified speed, the spatial resolution is reduced adaptively according to the motion speed of the high-speed motion scene from a few frames before the frame at the time position where the high-speed motion scene starts. Suppresses the sense of reduction in spatial resolution.
即ち、本発明の動解像度劣化補正装置は、スーパーハイビジョン（ＳＨＶ）を含む高精細映像における高速動きシーンを検知して、高速動きシーンのフレーム画像列を再構築する動解像度劣化補正装置であって、連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出する隣接フレーム相関演算部と、前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定する高速動きシーン判定部と、前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行う動解像度劣化判定部と、該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築する動解像度ぼかし処理部と、を備えることを特徴とする。 That is, the dynamic resolution degradation correction apparatus of the present invention is a dynamic resolution degradation correction apparatus that detects a high-speed motion scene in high-definition video including Super Hi-Vision (SHV) and reconstructs a frame image sequence of the high-speed motion scene. An adjacent frame correlation calculation unit that calculates a correlation value between adjacent frames in the frame image sequence for a processing target frame image sequence including a plurality of consecutive frame images, and each of the calculated adjacent frame correlation values in advance. Extracting a correlation value that is equal to or greater than a preset specified value and continuous for a predetermined number of frames or more, and calculates a motion speed between frames of a frame image sequence corresponding to the extracted correlation value; It is determined whether or not each motion speed is equal to or higher than a specified speed, and when the frame image sequence has a motion speed equal to or higher than the specified speed, A high-speed motion scene determination unit that determines a frame image sequence as a high-correlation frame image sequence of a high-speed motion scene, and a high-speed motion scene motion according to a predetermined reference value for the high-correlation frame image sequence of the high-speed motion scene. From the start frame of the high-speed motion scene, a dynamic resolution degradation determination unit that determines whether or not resolution degradation should be corrected, and a result of the dynamic resolution determination indicating that the dynamic resolution degradation should be corrected Is determined to start correction for a frame with a motion speed less than the specified speed, which is the previous frame, and blur processing is performed for the dynamic resolution from the correction start frame to the intermediate frame of the high-speed motion scene. Dynamic resolution for reconstructing a new frame image sequence including frame images from the executed correction start frame to the intermediate frame Characterized in that it comprises a blurring unit.
また、本発明の動解像度劣化補正装置において、前記動解像度劣化判定部は、前記高速動きシーンの高相関フレーム画像列から抽出される、開始フレームの位置、高速動きシーンのフレーム数、高速動きシーンの平均動速度、及び高速動きシーンの中間フレームの位置から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行うことを特徴とする。 In the dynamic resolution degradation correction apparatus according to the present invention, the dynamic resolution degradation determination unit may extract the position of the start frame, the number of frames of the fast motion scene, the fast motion scene extracted from the highly correlated frame image sequence of the fast motion scene. It is determined whether or not dynamic resolution degradation should be corrected in accordance with a predetermined reference value from the average moving speed of the above and the position of the intermediate frame of the high-speed motion scene.
また、本発明の動解像度劣化補正装置において、前記動解像度劣化判定部は、前記開始フレームの空間周波数成分をＤＦＴ処理により抽出して開始フレームの水平方向及び垂直方向の開始フレーム・カットオフ周波数を算出するとともに、前記中間フレームの空間周波数成分をＤＦＴ処理により抽出して中間フレームの水平方向及び垂直方向の中間フレーム・カットオフ周波数を算出し、水平方向及び垂直方向の各々について開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行うことを特徴とする。 In the dynamic resolution degradation correction apparatus of the present invention, the dynamic resolution degradation determination unit extracts a spatial frequency component of the start frame by DFT processing, and determines a start frame cutoff frequency in a horizontal direction and a vertical direction of the start frame. And calculating the intermediate frame cutoff frequency in the horizontal and vertical directions by extracting the spatial frequency component of the intermediate frame by DFT processing, and starting frame cutoff in each of the horizontal and vertical directions. From the difference between the frequency and the intermediate frame cut-off frequency, it is determined whether dynamic resolution degradation should be corrected according to a predetermined reference value.
また、本発明の動解像度劣化補正装置において、前記動解像度ぼかし処理部は、前記判定の結果が動解像度劣化の補正を行うべき旨を示す場合に、前記高速動きシーンのフレーム数及び平均動速度の情報から、中間フレームを基準にして前記規定速度未満の動き速度となる修正開始フレームを決定することを特徴とする。 In the dynamic resolution degradation correction apparatus of the present invention, the dynamic resolution blurring processing unit may determine the number of frames of the high-speed motion scene and the average dynamic speed when the determination result indicates that dynamic resolution degradation should be corrected. From this information, a correction start frame having a motion speed lower than the specified speed is determined with reference to the intermediate frame.
また、本発明の動解像度劣化補正装置において、前記動解像度ぼかし処理部は、前記修正開始フレームから前記中間フレームまでの各フレーム画像について、前記規定速度未満の動き速度となるようにそれぞれのフレーム画像におけるカットオフ周波数を修正する低域通過フィルタを施して動解像度ぼかし処理を実行することを特徴とする。 Further, in the dynamic resolution degradation correction device of the present invention, the dynamic resolution blurring processing unit is configured so that each frame image from the correction start frame to the intermediate frame has a frame speed so that the motion speed is less than the specified speed. A dynamic resolution blurring process is performed by applying a low-pass filter that corrects the cut-off frequency in FIG.
更に、本発明は、スーパーハイビジョン（ＳＨＶ）を含む高精細映像における高速動きシーンを検知して、高速動きシーンのフレーム画像列を再構築する動解像度劣化補正装置として構成するコンピュータに、連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出するステップと、前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定するステップと、前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行うステップと、該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築するステップと、を実行させるための動解像度劣化補正プログラムとしても特徴付けられる。 Furthermore, the present invention provides a computer configured as a dynamic resolution deterioration correction apparatus that detects a high-speed motion scene in high-definition video including Super Hi-Vision (SHV) and reconstructs a frame image sequence of the high-speed motion scene. A step of calculating a correlation value between adjacent frames in the frame image sequence for the processing target frame image sequence consisting of the frame images, and each of the calculated adjacent frame correlation values is equal to or greater than a preset specified value. In addition, a correlation value that is continuous for a predetermined number of frames or more is extracted, a motion speed between frames of a frame image sequence corresponding to the extracted correlation value is calculated, and each motion speed is a specified speed or more. If it is a frame image sequence having a motion speed equal to or higher than a specified speed, the frame image sequence is determined. The step of determining as a highly correlated frame image sequence of a high-speed motion scene and whether or not the degradation of dynamic resolution due to the high-speed motion scene should be corrected according to a predetermined reference value for the high-correlation frame image sequence of the high-speed motion scene And when the result of the determination of the dynamic resolution indicates that the deterioration of the dynamic resolution should be corrected, the motion speed less than the specified speed, which is the frame before the start frame of the high-speed motion scene. A correction start is determined for the frame, and a blurring process is performed on the dynamic resolution from the correction start frame to the intermediate frame of the high-speed motion scene, and from the correction start frame on which the dynamic resolution blurring process has been performed to the intermediate frame Reconstructing a new frame image sequence including a plurality of frame images, and performing dynamic resolution degradation compensation to execute Also characterized as a program.
本発明によれば、高精細映像における高速動きシーンを検知し、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から徐々に空間解像度を低下させることができるので、静／動間の空間周波数劣化の差を低減させた違和感のない動画像に補正することができる。 According to the present invention, it is possible to detect a high-speed moving scene in a high-definition video and gradually reduce the spatial resolution from several frames before the frame at the time position where the high-speed moving scene starts. It can correct | amend to the moving image without the sense of incongruity which reduced the difference of spatial frequency degradation.
以下、本発明による一実施例の動解像度劣化補正装置を説明する。 Hereinafter, a dynamic resolution deterioration correcting apparatus according to an embodiment of the present invention will be described.
図１に、本発明による一実施例の動解像度劣化補正装置のブロック図を示す。本実施例の動解像度劣化補正装置１は、高速動きシーンが開始する時間位置と高速動きシーンの動き速度を検出し、高速動きシーンの動き速度の値が所定の規定速度以上である場合に、フィルタ処理により、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から空間解像度を高速動きシーンの動き速度に応じて適応的に低下させるための装置である。
FIG. 1 is a block diagram of a dynamic resolution deterioration correcting apparatus according to an embodiment of the present invention. The dynamic resolution
本実施例の動解像度劣化補正装置１は、隣接フレーム相関演算部１１と、高速動きシーン判定部１２と、高速動きシーン解析部１３と、動解像度劣化判定部１４と、動解像度ぼかし処理部１５とを備える。本発明による一実施例の動解像度劣化補正装置１の各処理に用いるデータは、動解像度劣化補正装置１が備える記憶部（図示せず）に適宜格納することができる。動解像度劣化補正装置１は、連続する複数のフレーム画像からなるフレーム画像列を入力して当該記憶部に記憶することができ、隣接フレーム相関演算部１１、高速動きシーン判定部１２、高速動きシーン解析部１３、動解像度劣化判定部１４、及び動解像度ぼかし処理部１５は、後述する処理の必要に応じて当該記憶部からフレーム画像列を読み出すことができる。
The dynamic resolution
隣接フレーム相関演算部１１は、連続する複数のフレーム画像からなる処理対象のフレーム画像列について、隣接フレーム間の相関値をそれぞれ算出し、各相関値を隣接フレーム高速動きシーン判定部１２に送出する。
The adjacent frame correlation calculation unit 11 calculates a correlation value between adjacent frames for a processing target frame image sequence including a plurality of continuous frame images, and sends each correlation value to the adjacent frame high-speed motion
高速動きシーン判定部１２は、隣接フレーム相関演算部１１から供給されるフレーム画像列における隣接フレーム（前フレームと後フレーム）間の各相関値について、予め設定された規定値以上（即ち、相関が高い）であり、且つ予め設定されたフレーム数以上（例えば、２フレーム以上）で連続している相関値を抽出（連続しているフレーム間でシーンチェンジ等がない、主たる動き物体がフレームインやフレームアウトしない、オクルージョンがないことを意味する）し、この高い相関値が連続している相関値を有する高相関フレーム画像列（これらのフレームは、全画面の動きシーンとして判定される）を当該記憶部から読み出し、高相関フレーム画像列のフレーム間の動き速度（これは、動解像度に対応する）をそれぞれ算出し、各動き速度が規定速度以上であるか否かを判定する。尚、高相関フレーム画像列におけるフレーム画像列のフレーム間の動き速度は、フレーム間の輝度差分検出（これはフレーム間の動領域検出を意味する）と、上記動領域を含む領域を用いたフレーム間動き検出により、画面全体の動き量として決定する。ここで、輝度差分検出及びフレーム間動き検出は、任意の既知の技法を用いることができる。
The high-speed motion
更に、高速動きシーン判定部１２は、規定速度以上の動き速度を有するフレーム画像列である場合には、当該規定速度以上の動き速度の高相関フレーム画像列を高速動きシーンの高相関フレーム画像列として高速動きシーン解析部１３に送出する。尚、当該規定速度以上の動き速度の高相関フレーム画像列が当該処理対象のフレーム画像列に含まれていないと判定する場合には、動解像度劣化補正装置１の動作は終了する。この場合、動解像度劣化補正装置１が別の処理対象のフレーム画像列を入力して隣接フレーム相関演算部１１による処理を再び開始することができる。
Further, if the high-speed motion
高速動きシーン解析部１３は、高速動きシーン判定部１２から供給される高速動きシーンの高相関フレーム画像列を解析して、開始フレーム（後述する「パン開始フレーム」）の位置、高速動きシーンのフレーム数（後述する「パンフレーム数」）、高速動きシーンの平均動速度（後述する「平均パン速度」）、及び高速動きシーンの中間フレーム（後述する「パン中間フレーム」）の位置を決定し、開始フレーム及び中間フレームの位置情報を動解像度劣化判定部１４に送出し、高速動きシーンのフレーム数及び平均動速度の情報を動解像度ぼかし処理部１５に送出する。
The high-speed motion
動解像度劣化判定部１４は、高速動きシーン解析部１３から供給される各情報に基づいて、開始フレームの空間周波数成分をＤＦＴ（離散フーリエ変換）処理により抽出して開始フレームの水平方向及び垂直方向の開始フレーム・カットオフ周波数を算出するとともに、中間フレームの空間周波数成分をＤＦＴ処理により抽出して中間フレームの水平方向及び垂直方向の中間フレーム・カットオフ周波数を算出し、水平方向及び垂直方向の各々について開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行い、この判定結果を動解像度ぼかし処理部１５に送出する。
The dynamic resolution degradation determination unit 14 extracts the spatial frequency component of the start frame based on each information supplied from the high-speed motion
尚、動解像度劣化の補正を行うべきではないと判定する場合には、動解像度劣化補正装置１の動作は終了する。この場合、動解像度劣化補正装置１が別の処理対象のフレーム画像列を入力して隣接フレーム相関演算部１１による処理を再び開始することができる。
If it is determined that dynamic resolution degradation should not be corrected, the operation of the dynamic resolution
動解像度ぼかし処理部１５は、動解像度劣化判定部１４から供給される判定結果が動解像度劣化の補正を行うべき旨を示す場合に、当該処理対象のフレーム画像列を当該記憶部から読み出し、高速動きシーン解析部１３から供給される高速動きシーンのフレーム数及び平均動速度の情報から、中間フレームを基準にして前述した規定速度未満の動き速度となる修正開始フレーム（開始フレームより時間的に前のフレーム）を決定し、修正開始フレームから中間フレームまでの各フレーム画像について、規定速度未満の動き速度となるようにそれぞれの各フレーム画像におけるカットオフ周波数を修正する低域通過フィルタを施して動解像度ぼかし処理を実行し、当該処理対象のフレーム画像列のうち、動解像度ぼかし処理を実行した修正開始フレームから中間フレームまでのフレーム画像を置き換えた新たなフレーム画像列を再構築して出力する。
When the determination result supplied from the dynamic resolution degradation determination unit 14 indicates that dynamic resolution degradation should be corrected, the dynamic resolution blurring
以下、本実施例の動解像度劣化補正装置１の動作を更に詳細に説明する。尚、高速動きシーンの例として、代表的に画面全体が高フレームレートで大きく変化する高速パンシーンについて説明する。また、任意の複数フレームを選定して処理することになるが、説明の便宜のため、動画像の時刻ｔごとに連続するフレーム画像Ｆ（ｔ−ｎ）からフレーム画像Ｆ（ｔ＋ｎ）まで（ｎは１以上の自然数）を選定して処理するものとする。
Hereinafter, the operation of the dynamic resolution
また、パンシーンとは、カメラ撮像映像が一定時間、一定方向に移動しているシーンである。パンシーンを検出するには、動画像の時刻ｔごとに連続するフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）のうち、任意時刻のフレーム画像、本例ではフレーム画像Ｆ（ｔ）と、その一つ前の時間位置にあるフレーム画像Ｆ（ｔ−１）との間で画像全体が平行移動してずれていることを検知する。従って、その平行移動が一定時間続いていればパンシーンであると判定することができる。尚、この技法は、チルトなどの他の動きシーンにも応用することができる。 A pan scene is a scene in which a camera-captured image moves in a certain direction for a certain time. To detect a pan scene, a frame image at an arbitrary time among frame image sequences F (t−n) to F (t + n) continuous every time t of a moving image, in this example, a frame image F (t) , It is detected that the entire image is translated and shifted from the frame image F (t−1) at the previous time position. Therefore, if the parallel movement continues for a certain time, it can be determined that the scene is a pan scene. This technique can also be applied to other motion scenes such as tilt.
図２及び図３は、本実施例の動解像度劣化補正装置１の動作を示すフローチャートである。ステップＳ１にて、動解像度劣化補正装置１は、連続する複数のフレーム画像からなる処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）を入力して、当該記憶部に記憶して保持する。
2 and 3 are flowcharts showing the operation of the dynamic resolution
ステップＳ２にて、動解像度劣化補正装置１は、隣接フレーム相関演算部１１により、処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）について、パンシーン検出のために隣接フレーム間の相関値をそれぞれ算出する。
In step S <b> 2, the dynamic resolution
パンシーン検出には多くの既知の方法があるが、本実施例では簡単且つ有効性が高い相関関数による方法について説明する。 There are many known methods for pan scene detection. In this embodiment, a simple and highly effective method using a correlation function will be described.
例えば、フレーム画像Ｆ（ｔ）の水平解像度をＨ，垂直解像度をＶ、フレーム画像Ｆ（ｔ）内の任意位置ｘ，ｙの画素値をｆ（ｘ，ｙ，ｔ）として表す。このとき、フレーム画像Ｆ（ｔ−１）からフレーム画像Ｆ（ｔ）へ移動する被写体が（ｍｘ，ｍｙ）だけ平行移動したとすると、相関関数Ｃｏｒｒ（ｍｘ，ｍｙ）は式（１）のように表される。 For example, the horizontal resolution of the frame image F (t) is represented as H, the vertical resolution is represented as V, and the pixel values at arbitrary positions x and y in the frame image F (t) are represented as f (x, y, t). In this case, the frame image F (t-1) a moving object in the frame image F (t) from (m x, m y) if only to have translated, the correlation function Corr (m x, m y) is the formula ( It is expressed as 1).
相関関数Ｃｏｒｒ（ｍｘ，ｍｙ）が最大となる（ｍｘ，ｍｙ）が、パンの量となる。 Correlation function Corr (m x, m y) is maximum (m x, m y) becomes the amount of bread.
ステップＳ３にて、動解像度劣化補正装置１の高速動きシーン判定部１２は、隣接フレーム（前フレームと後フレーム）間の各相関値について、規定値以上であり、且つ規定のフレーム数以上連続している相関値を選定する。更に、高速動きシーン判定部１２は、この高い相関が連続している相関値を有する高相関フレーム画像列を当該記憶部から読み出し、高相関フレーム画像列のフレーム間の各動き速度を算出し（ステップＳ４）、この動き速度が規定速度以上であるか否かを判定する（ステップＳ５）。
In step S3, the high-speed motion
例えば、式（１）で得られる相関値は、フレーム間の相関を表し、この相関値の計算は、処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）について行われているため、各相関値について、規定値以上であり、且つ規定数Ｔｈのフレーム数以上連続している相関値を選定することができる。任意の移動が規定数Ｔｈ以上のフレーム数で続いている高相関値のフレーム画像列（高相関フレーム画像列）は、全画面の動きシーン（例えば、パンシーン）であると判定することができる。 For example, the correlation value obtained by Expression (1) represents the correlation between frames, and the calculation of this correlation value is performed for the frame image sequences F (t−n) to F (t + n) to be processed. For each correlation value, a correlation value that is equal to or greater than a specified value and that is continuous for a specified number Th of frames can be selected. A frame image sequence having a high correlation value (high correlation frame image sequence) in which arbitrary movement continues for a number of frames equal to or greater than the prescribed number Th can be determined to be a full-screen motion scene (for example, a pan scene). .
更に、動解像度劣化補正装置１の高速動きシーン判定部１２は、高相関フレーム画像列のフレーム間でそれぞれ算出した各動き速度が規定速度以上である場合に、高速動きシーンの高相関フレーム画像列として判別する（ステップＳ６）。
Further, the high-speed motion
例えば、高精細映像の高速動きシーンでの動きボケは、パン直前とパン後の空間周波数劣化差が非常に大きいことから起こる。ここで、人間が動物体を視覚する際の視覚特性として、サッカード（跳躍性眼球運動）がある。サッカード（或いはより高速な首の回転を含む、動物体の追随視運動）は約６度／秒以上の動物体の動きで起こるとされる。また眼球運動のみによるサッカードは概ね２４[ｄｅｇｒｅｅ／ｓｅｃ]が上限値と言われる。スーパーハイビジョンでは、２４[ｄｅｇｒｅｅ／ｓｅｃ]は約４秒間に動物体が画面の端から端を横切る速度であり、フレーム間の動き速度で表すと７，６８０[ｐｉｘｅｌ]／２４０[ｆｒａｍｅｓ]＝３２[ｐｉｘｅｌ／ｆｒａｍｅ]となる。 For example, motion blur in a high-speed motion scene of a high-definition video is caused by a very large difference in spatial frequency degradation immediately before and after panning. Here, there is saccade (jumping eye movement) as a visual characteristic when a human visually observes a moving object. Saccades (or tracking movements of the animal body, including faster neck rotation) are said to occur with movements of the animal body of about 6 degrees / second or more. In addition, it is said that the upper limit is about 24 [degree / sec] for saccades based only on eye movements. In Super Hi-Vision, 24 [degree / sec] is the speed at which the moving object crosses the edge of the screen in about 4 seconds. Expressed by the movement speed between frames, 7,680 [pixel] / 240 [frames] = 32 [pixel / frame].
そこで、本実施例では、規定速度ｐａｎ＿ｍｏｖ＝１５[ｄｅｇｒｅｅ／ｓｅｃ]以上の動きを高速動きシーンと定義する。規定速度ｐａｎ＿ｍｏｖ＝１５[ｄｅｇｒｅｅ／ｓｅｃ]は、約６．７秒間に動物体が画面の端から端を横切る速度であり、フレーム間の動き速度で表すと７６８０[ｐｉｘｅｌ]／４００[ｆｒａｍｅｓ]＝１９．２[ｐｉｘｅｌ／ｆｒａｍｅ]となる。 Therefore, in the present embodiment, a motion at a specified speed pan_mov = 15 [degree / sec] or more is defined as a high-speed motion scene. The specified speed pan_mov = 15 [degree / sec] is a speed at which the moving object crosses the edge of the screen in about 6.7 seconds, and is expressed by a motion speed between frames of 7680 [pixel] / 400 [frames] = 19.2 [pixel / frame].
ステップＳ７にて、動解像度劣化補正装置１の高速動きシーン解析部１３は、高速動きシーンの高相関フレーム画像列を解析して、パンが始まる時間位置であるパン開始フレームＰａｎ＿ｓｔ（ｔ）の位置、パンフレーム数Ｐａｎ＿ｎｕｍ、パンが行われている間の平均速度である平均パン速度Ｐａｎ＿ａｖｅ、及びパンが行われている間のちょうど中間の時間位置であるパン中間フレームＰａｎ＿ｍｉｄ（ｔ）の位置を決定して、当該記憶部に各値を保持しておく。
In step S7, the high-speed motion
ステップＳ８にて、動解像度劣化補正装置１の動解像度劣化判定部１４は、まず、パン開始フレームＰａｎ＿ｓｔ（ｔ）の空間周波数成分をＤＦＴ処理により抽出してパン開始フレームＰａｎ＿ｓｔ（ｔ）の水平方向の開始フレーム・カットオフ周波数ＣＦ＿Ｈ(Ｐａｎ＿ｓｔ)及び垂直方向の開始フレーム・カットオフ周波数ＣＦ＿Ｖ（Ｐａｎ＿ｓｔ）を算出するとともに、パン中間フレームＰａｎ＿ｍｉｄ（ｔ）の空間周波数成分をＤＦＴ処理により抽出して中間フレームの水平方向の中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）及び垂直方向の中間フレーム・カットオフ周波数ＣＦ＿Ｖ（Ｐａｎ＿ｍｉｄ）を算出する。
In step S8, the dynamic resolution deterioration determining unit 14 of the dynamic resolution
続いて、ステップＳ９〜Ｓ１２にて、動解像度劣化補正装置１の動解像度劣化判定部１４は、水平方向及び垂直方向の各々について開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行い、この判定の結果に基づいて段階的画像ぼかし処理を実行する。
Subsequently, in steps S9 to S12, the dynamic resolution deterioration determining unit 14 of the dynamic resolution
本実施例では、予め規定される基準値は、図５に示すように、被写体のボケによる画質劣化度合を示す特性図として知られるカットオフ周波数ｆｃに対する５段階評価の基準値を採用する。一般に、動き速度が速い方が、被写体のボケは分かりにくい。図５の横軸は、原信号を低域通過フィルタで帯域制限した際の低域通過フィルタのカットオフ周波数（ｆｃ）、縦軸は評価者６名による５段階評価値であり、低域通過フィルタ処理を行わない場合の画像を基準画として、ＬＰＦした場合の画質差を５段階評価（５： 分からない、４： 分かるが気にならない、３： 気になるが我慢できる、２： 我慢できない、１： 全く我慢できない）として表される。尚、本実施例で用いる基準値は、図５に示すような画質劣化度合を表すものとして広く知られた一例の評価結果に沿う値としたが、他の評価結果を基準値として利用することもできる（例えば、堀田 裕弘、「ディジタル画像の評価法と国際標準」、トリケップス、2006年5月11日等参照）。 In this embodiment, as the reference value defined in advance, as shown in FIG. 5, a reference value for five-stage evaluation with respect to the cut-off frequency fc, which is known as a characteristic diagram showing the degree of image quality deterioration due to blurring of the subject, is adopted. In general, the faster the movement speed, the harder it is to see the subject blur. The horizontal axis in FIG. 5 is the cut-off frequency (fc) of the low-pass filter when the original signal is band-limited by the low-pass filter, and the vertical axis is a five-stage evaluation value by six evaluators. Using the image without filter processing as a reference image, the image quality difference when LPF is evaluated in five stages (5: I don't know, 4: I understand, I don't care, 3: I can be patient, 2: I can't stand , 1: I can't stand at all). Note that the reference value used in the present embodiment is a value that is in line with an evaluation result of an example widely known as representing the degree of image quality degradation as shown in FIG. 5, but other evaluation results should be used as a reference value. (For example, see Hirohiro Hotta, “Digital Image Evaluation Methods and International Standards”, Trikes, May 11, 2006, etc.).
即ち、図５から、以下のように被写体のボケによる画質劣化度合を規定することができる。
（１）静止時の基準画（５段階評価の評価点５（分からない））は、ｆｃ＝４．８ＭＨｚであり、静止時に５段階評価の評価点４（分かるが気にならない）は、ｆｃ＝２．４ＭＨｚであり、静止時に５段階評価の評価点３（気になるが我慢できる）は、ｆｃ＝１．６ＭＨｚである。つまり、静止時の場合は、基準画と比較して１／２に帯域制限すると評価点４へ、１／３に帯域制限すると評価点３へそれぞれ下落する。
（２）静止時には５段階評価の評価点３（気になるが我慢できる）の低域通過フィルタ処理は、ｆｃ＝１．５ＭＨｚであるが、動き速度２４[ｄｅｇｒｅｅ／ｓｅｃ]の場合の低域通過フィルタ処理は、ｆｃ＝０．６である。つまり、動き速度２４[ｄｅｇｒｅｅ／ｓｅｃ]の場合は、静止時と比較して１／２以下に帯域制限をしても同等の画質が得られる。
That is, from FIG. 5, it is possible to define the degree of image quality degradation due to blurring of the subject as follows.
(1) The reference image at rest (evaluation point 5 (not known) of the 5-level evaluation) is fc = 4.8 MHz, and the evaluation point 4 (understandable but not concerned) at the time of rest is fc = 2.4 MHz, and the evaluation score 3 (which I can worry about) in the five-stage evaluation at rest is fc = 1.6 MHz. In other words, in the stationary state, when the band is limited to 1/2 compared to the reference image, the evaluation point is lowered to 4 and when the band is limited to 1/3, the evaluation point is lowered to 3.
(2) The low-pass filter processing of the evaluation point 3 (which can be perceived but can be tolerated) in the five-stage evaluation at rest is fc = 1.5 MHz, but the low-pass when the motion speed is 24 [degree / sec] In the pass filter process, fc = 0.6. That is, when the motion speed is 24 [degree / sec], the same image quality can be obtained even if the bandwidth is limited to ½ or less compared with the stationary speed.
従って、動解像度劣化判定部１４は、水平方向における開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差として、例えば中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分を超える場合、図５の基準値により、概ね評価点１点以下であるため、大きな画質劣化は感じないことになるから、この場合は動解像度の劣化は生じていないと判断し、動解像度劣化の補正を行う必要はないと判定する。 Accordingly, the dynamic resolution degradation determination unit 14 determines, for example, the intermediate frame cutoff frequency CF_H (Pan_mid) as the difference between the start frame cutoff frequency and the intermediate frame cutoff frequency in the horizontal direction as the start frame cutoff frequency CF_H. When the value exceeds half of (Pan_st), the reference value in FIG. 5 is generally less than one evaluation point, so that no significant deterioration in image quality is felt. In this case, it is determined that there is no deterioration in dynamic resolution. Therefore, it is determined that there is no need to correct the dynamic resolution deterioration.
また、動解像度劣化判定部１４は、水平方向における開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差として、例えば中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分以下の場合、図５の基準値により、動解像度の劣化は生じていると判断し、動解像度劣化の補正を行う必要はないと判定する（ステップＳ９）。 Further, the dynamic resolution deterioration determining unit 14 determines, for example, the intermediate frame / cutoff frequency CF_H (Pan_mid) as the difference between the start frame / cutoff frequency and the intermediate frame / cutoff frequency in the horizontal direction. If it is equal to or less than half of (Pan_st), it is determined that the degradation of dynamic resolution has occurred according to the reference value of FIG. 5, and it is determined that it is not necessary to correct the degradation of dynamic resolution (step S9).
垂直方向においても水平方向の場合と同様に、動解像度劣化判定部１４は、垂直方向における開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差として、図５の基準値により、動解像度の劣化は生じているか否かを判断し、動解像度劣化の補正を行う必要の有無を判定する（ステップＳ１１）。 As in the case of the horizontal direction in the vertical direction, the dynamic resolution deterioration determination unit 14 determines the dynamic resolution as the difference between the start frame cutoff frequency and the intermediate frame cutoff frequency in the vertical direction according to the reference value in FIG. It is determined whether or not there is any deterioration, and it is determined whether or not dynamic resolution deterioration needs to be corrected (step S11).
ステップＳ５にて、動解像度劣化補正装置１の動解像度ぼかし処理部１５は、動解像度劣化の判定結果が動解像度劣化の補正を行うべき旨を示す場合に、中間フレームＰａｎ＿ｍｉｄ（ｔ）を基準にして前述した規定速度未満の動き速度となる修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）（開始フレームＰａｎ＿ｓｔ（ｔ）より時間的に前のフレーム）を決定し、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までの各フレーム画像について、規定速度未満の動き速度となるようにそれぞれの各フレーム画像におけるカットオフ周波数を修正する低域通過フィルタ処理を施して動解像度をぼかす処理（以下、「段階的画像ぼかし処理」と称する）を実行し（ステップＳ１０,Ｓ１２）、当該処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）のうち、動解像度ぼかし処理を実行した修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までのフレーム画像を置き換えた新たなフレーム画像列Ｆ’（ｔ−ｎ）〜Ｆ’（ｔ＋ｎ）を再構築する（ステップＳ１３）。
In step S5, the dynamic resolution blurring
この段階的画像ぼかし処理は、図４に示すように、開始フレームＰａｎ＿ｓｔ（ｔ）より前（パンが始まる前）のフレーム画像である修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から段階的にぼかし処理を施し、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分以下（図４では、半値）になるように補正対象の各フレームのカットオフ周波数を修正する。 As shown in FIG. 4, the stepwise image blurring process performs a blurring process in a stepwise manner from a correction start frame NewPan_st (t) that is a frame image before (before panning starts) the start frame Pan_st (t). The cut-off frequency of each frame to be corrected is corrected so that the intermediate frame cut-off frequency CF_H (Pan_mid) is equal to or less than half the start frame cut-off frequency CF_H (Pan_st) (half value in FIG. 4).
図４を参照して、この段階的画像ぼかし処理について更に詳細に説明するに、時刻ｔについて中間フレームＰａｎ＿ｍｉｄ（ｔ）から時間軸逆方向に計算を行う。補正対象の各フレームにて修正したカットオフ周波数Ｍｏｄ＿ＣＦ（ｔ）の関数は、ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）を超えない範囲で傾きｍとして、式（２）及び式（３）で表される。 With reference to FIG. 4, this stepwise image blurring process will be described in more detail. At time t, calculation is performed in the reverse direction of the time axis from the intermediate frame Pan_mid (t). A function of the cut-off frequency Mod_CF (t) corrected in each correction target frame is expressed by Expression (2) and Expression (3) as an inclination m within a range not exceeding CF_H (Pan_st).
即ち、高速パンシーンを構成するフレーム数Ｐａｎ＿ｎｕｍのフレーム画像のうち、高速パンシーンは、開始フレームＰａｎ＿ｓｔ（ｔ）、中間フレームＰａｎ＿ｍｉｄ（ｔ）、及び高速パンシーンが終了するフレームＰａｎ＿ｅｎｄ（ｔ）を結ぶ直線で動き速度が表すことができる（図示１０１）。この高速パンシーンの動き速度を表す直線の傾きは、図５の特性で動解像度の劣化が生じているものであり、高速動きシーンにおける空間解像度の低下感を生じさせるものである。 That is, among the frame images of the number of frames Pan_num constituting the high-speed pan scene, the high-speed pan scene connects the start frame Pan_st (t), the intermediate frame Pan_mid (t), and the frame Pan_end (t) where the high-speed pan scene ends. The movement speed can be represented by a straight line (101 in the figure). The slope of the straight line representing the motion speed of the high-speed pan scene has the degradation of the dynamic resolution due to the characteristics shown in FIG. 5, and causes a sense of a decrease in spatial resolution in the high-speed motion scene.
そこで、この段階的画像ぼかし処理は、動きボケを低減させるために、まず中間フレームＰａｎ＿ｍｉｄ（ｔ）の時間位置で、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分になる傾きｍの直線を仮計算する（図示１０２）。 Therefore, in this stepwise image blurring process, in order to reduce motion blur, the intermediate frame cutoff frequency CF_H (Pan_mid) is first set to the start frame cutoff frequency CF_H (Pan_st) at the time position of the intermediate frame Pan_mid (t). ) Is temporarily calculated (indicated by 102).
次に、この段階的画像ぼかし処理は、中間フレームＰａｎ＿ｍｉｄ（ｔ）の時間位置で、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）となる傾きｍの修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定する（図示１０３）。 Next, this stepwise image blurring process determines a correction start frame NewPan_st (t) having a slope m that becomes the intermediate frame cutoff frequency CF_H (Pan_mid) at the time position of the intermediate frame Pan_mid (t) (103 in the figure). ).
最終的に、この段階的画像ぼかし処理は、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までの各フレーム画像について、式（２）に従う関数でカットオフ周波数を修正し、当該処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）のうち、動解像度ぼかし処理を実行した修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までのフレーム画像を置き換えた新たなフレーム画像列Ｆ’（ｔ−ｎ）〜Ｆ’（ｔ＋ｎ）を再構築する。 Finally, this stepwise image blurring process is performed by correcting the cut-off frequency for each frame image from the correction start frame NewPan_st (t) to the intermediate frame Pan_mid (t) with a function according to the equation (2). Frame image sequences F (t−n) to F (t + n) of the frame frame, the frame image from the correction start frame NewPan_st (t) to which the dynamic resolution blurring process is executed to the intermediate frame Pan_mid (t) is replaced. Reconstruct the columns F ′ (t−n) to F ′ (t + n).
このように、本実施例の動解像度劣化補正装置１によれば、高精細映像における高速動きシーンを検知し、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から徐々に空間解像度を低下させることができるので、静／動間の空間周波数劣化の差を低減させた違和感のない動画像へと処理対象のフレーム画像列を補正することができる。
As described above, according to the dynamic resolution
尚、本実施例に係る動解像度劣化補正装置１は、コンピュータとして構成することができる。これらの装置の各機能を実現するためのプログラムはコンピュータの記憶部に記憶しておき、中央演算処理装置（ＣＰＵ）によって適宜プログラムを読み出して実行することにより、動解像度劣化補正装置１の機能を実現させることができる。
The dynamic resolution
上記の実施例では、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分になるような傾きｍを求めて、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定するとして説明したが、半分未満になるような傾きｍを求めて、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定することもできる。更に、中間フレームを基準にして修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定して修正する例について説明したが、例えば中間フレームＰａｎ＿ｍｉｄ（ｔ）とフレームＰａｎ＿ｅｎｄ（ｔ）の間のフレームを基準にして修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定して修正するように構成することもできる。従って、本発明は、上述の実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。 In the above embodiment, it is assumed that the correction start frame NewPan_st (t) is determined by obtaining the slope m such that the intermediate frame cutoff frequency CF_H (Pan_mid) is half the start frame cutoff frequency CF_H (Pan_st). As described above, the correction start frame NewPan_st (t) can also be determined by obtaining an inclination m that is less than half. Further, the example in which the correction start frame NewPan_st (t) is determined and corrected based on the intermediate frame has been described. For example, the correction starts based on the frame between the intermediate frame Pan_mid (t) and the frame Pan_end (t). It can also be configured to determine and modify the frame NewPan_st (t). Accordingly, the present invention is not limited to the above-described embodiments, but is limited only by the description of the scope of claims.
本発明によれば、静／動間の空間周波数劣化の差を低減させた違和感のない動画像に補正することができるので、テレビスポーツ撮影等において用いることで、高速パン時における観視者が感じる空間解像度劣化感を改善することもできる。将来のスーパーハイビジョンスポーツ中継時において用いる事が可能であるばかりではなく、デジタルシネマやあるいは標準画質放送に対する高精細映像である現在のハイビジョン放送の撮影にも有用である。 According to the present invention, since it is possible to correct the moving image without a sense of incongruity by reducing the difference in spatial frequency degradation between static and dynamic, the viewer can use it in high-speed panning by using it in television sports photography or the like. It can also improve the feeling of spatial resolution degradation. Not only can it be used in future super high-definition sports broadcasts, it is also useful for photographing high-definition broadcasts that are high-definition images for digital cinema or standard-definition broadcasts.
１ 解像度劣化補正装置
１１ 隣接フレーム相関演算部
１２ 高速動きシーン判定部
１３ 高速動きシーン解析部
１４ 動解像度劣化判定部
１５ 動解像度ぼかし処理部
DESCRIPTION OF
Claims (6)
連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出する隣接フレーム相関演算部と、
前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、前記規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定する高速動きシーン判定部と、
前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行う動解像度劣化判定部と、
該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築する動解像度ぼかし処理部と、
を備えることを特徴とする動解像度劣化補正装置。 A dynamic resolution degradation correction apparatus that detects a high-speed motion scene in high-definition video including Super Hi-Vision (SHV) and reconstructs a frame image sequence of the high-speed motion scene,
An adjacent frame correlation calculation unit for calculating a correlation value between adjacent frames in the frame image sequence for a frame image sequence to be processed including a plurality of continuous frame images;
For each of the calculated adjacent frame correlation values, a correlation value that is equal to or greater than a preset specified value and is continuous for a preset number of frames or more is extracted, and a frame image sequence corresponding to the extracted correlation value The motion speed between the frames is calculated, it is determined whether or not each motion speed is equal to or higher than a specified speed. If the frame image sequence has a motion speed equal to or higher than the specified speed, the frame image sequence is A high-speed motion scene determination unit that determines a highly correlated frame image sequence of a high-speed motion scene;
A dynamic resolution degradation determination unit that determines whether or not degradation of dynamic resolution due to a high-speed motion scene should be corrected according to a predetermined reference value for the high-correlation frame image sequence of the high-speed motion scene;
If the result of the determination of the dynamic resolution indicates that the deterioration of the dynamic resolution should be corrected, a correction start is determined for a frame with a motion speed lower than the specified speed, which is a frame before the start frame of the high-speed motion scene. A new frame including a frame image from the correction start frame to the intermediate frame on which the dynamic resolution from the correction start frame to the intermediate frame of the high-speed motion scene is executed A dynamic resolution blur processing unit for reconstructing an image sequence;
A dynamic resolution deterioration correction apparatus comprising:
連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出するステップと、
前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、前記規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定するステップと、
前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行うステップと、
該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築するステップと、
を実行させるための動解像度劣化補正プログラム。 A computer configured as a dynamic resolution degradation correction device that detects a high-speed motion scene in high-definition video including Super Hi-Vision (SHV) and reconstructs a frame image sequence of the high-speed motion scene,
Calculating a correlation value between adjacent frames in the frame image sequence for a frame image sequence to be processed consisting of a plurality of continuous frame images;
For each of the calculated adjacent frame correlation values, a correlation value that is equal to or greater than a preset specified value and is continuous for a preset number of frames or more is extracted, and a frame image sequence corresponding to the extracted correlation value The motion speed between the frames is calculated, it is determined whether or not each motion speed is equal to or higher than a specified speed. If the frame image sequence has a motion speed equal to or higher than the specified speed, the frame image sequence is Determining as a highly correlated frame image sequence of a fast motion scene;
Determining whether or not to degrade the dynamic resolution due to the high-speed motion scene according to a predetermined reference value for the high-correlation frame image sequence of the high-speed motion scene;
If the result of the determination of the dynamic resolution indicates that the deterioration of the dynamic resolution should be corrected, a correction start is determined for a frame with a motion speed lower than the specified speed, which is a frame before the start frame of the high-speed motion scene. A new frame including a frame image from the correction start frame to the intermediate frame on which the dynamic resolution from the correction start frame to the intermediate frame of the high-speed motion scene is executed Reconstructing the image sequence;
A dynamic resolution deterioration correction program for executing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009147910A JP5135293B2 (en) | 2009-06-22 | 2009-06-22 | Dynamic resolution deterioration correction apparatus and dynamic resolution deterioration correction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009147910A JP5135293B2 (en) | 2009-06-22 | 2009-06-22 | Dynamic resolution deterioration correction apparatus and dynamic resolution deterioration correction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011004348A JP2011004348A (en) | 2011-01-06 |
| JP5135293B2 true JP5135293B2 (en) | 2013-02-06 |
Family
ID=43561883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009147910A Expired - Fee Related JP5135293B2 (en) | 2009-06-22 | 2009-06-22 | Dynamic resolution deterioration correction apparatus and dynamic resolution deterioration correction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5135293B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0530459A (en) * | 1991-07-23 | 1993-02-05 | Matsushita Electric Ind Co Ltd | Still picture signal reproducing device |
| JP2003018586A (en) * | 2001-06-29 | 2003-01-17 | Toshiba Corp | Adjustment system for video resolution by video compression distribution on turning camera |
| JP2009065381A (en) * | 2007-09-05 | 2009-03-26 | Canon Inc | Imaging system, imaging controller, and control method |
-
2009
- 2009-06-22 JP JP2009147910A patent/JP5135293B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011004348A (en) | 2011-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9898803B2 (en) | Image processing apparatus, image processing method, and recording medium storing image processing program | |
| US10277812B2 (en) | Image processing to obtain high-quality loop moving image | |
| JP4480760B2 (en) | Image data processing method and image processing apparatus | |
| US9202263B2 (en) | System and method for spatio video image enhancement | |
| JP2004080252A (en) | Video display unit and its method | |
| US8675128B2 (en) | Image processing method and system with repetitive pattern detection | |
| US8711231B2 (en) | Digital image processing device and processing method thereof | |
| US8606032B2 (en) | Image processing method, device and program to process a moving image | |
| WO2019008693A1 (en) | Image processing device, imaging device, image processing method, image processing program and storage medium | |
| JP2011041275A (en) | Image processing method, data processing method, computer readable medium, and data processing apparatus | |
| TWI827771B (en) | Image processing equipment and methods | |
| JP6148154B2 (en) | Image processing apparatus and image processing program | |
| JP2011035514A (en) | Image processing device and method, and program | |
| JP5927051B2 (en) | Image processing apparatus, image processing method, and program | |
| US8265414B2 (en) | Image processing device and method and program | |
| JP5135293B2 (en) | Dynamic resolution deterioration correction apparatus and dynamic resolution deterioration correction program | |
| JP2015154334A (en) | Imaging apparatus, control method thereof and control program | |
| CN115035013A (en) | Image processing method, image processing apparatus, terminal, and readable storage medium | |
| JP5927053B2 (en) | Image processing apparatus, image processing method, and program | |
| Okuhata et al. | Implementation of super-resolution scaler for Full HD and 4K video | |
| JP5219771B2 (en) | Video processing apparatus and video processing apparatus control method | |
| JP4674528B2 (en) | Image processing apparatus and method, recording medium, and program | |
| JP7244661B2 (en) | Imaging device and image processing method | |
| CN109754370B (en) | Image denoising method and device | |
| JP6128878B2 (en) | Video processing device, video processing method, broadcast receiving device, video photographing device, video storage device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121112 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5135293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |