JP2007183901A

JP2007183901A - 動画の処理方法

Info

Publication number: JP2007183901A
Application number: JP2006074845A
Authority: JP
Inventors: Ming-Hung Lin; 銘宏林
Original assignee: Altek Corp
Current assignee: Altek Corp
Priority date: 2005-12-30
Filing date: 2006-03-17
Publication date: 2007-07-19
Anticipated expiration: 2026-03-17
Also published as: TW200726275A; TWI305109B; JP4399742B2; US20070153908A1; US7957468B2

Abstract

【課題】本発明は、動画の処理方法を提供する。
【解決手段】本発明は、順に、動画の全てのフレームを受信し、各フレームを複数のマクロブロックに区分し、また、現在のフレームにあるその一つのマクロブロックを対比ブロックに定義し、そして、当該対比ブロック内の画素と、一つ前のフレームにあるその一つのサーチウィンドウ内のその一つのマクロブロック内の画素とにより、SAD演算を行って、SAD臨界値が得られ、その後、対比ブロック内の画素と、SAD演算が行われていないマクロブロック内の画素とにより、SAD演算を行って、複数のSAD値の累積値が得られ、SAD値の累積値がSAD臨界値に等しくなるかより大きい場合、即時に、SAD演算を中断する動画の処理方法である。
【選択図】図１

Description

本発明は、動画の処理方法に関し、特に、絶対偏差の和(以下、SADと称する)を利用する動画の処理方法に関する。

動画は、多数の静的フレーム(Frame)から組み立てられる。多数の静的映像が順に高速に切り替えられる時、人間の目は、視覚の残像作用により、映像が運動しているように見える。

デジタルカメラにより取得したデジタルビデオストリームに、連続フレームにおいて予期されない運動(UnwantedMotion)が含まれることは、往々にある。予期されない運動は、カメラでビデオを撮影する時の不意の手振りによるものがある。上記の予期されない運動を解消するため、予期されない運動について、光学や機械或いは他の電子手段により、検知して校正する。しかし、上記の手段は、高価で複雑である。また、上記の方法も、特別効果による動画ストリームの予期されない運動を解消できない。動画ストリームを安定させるためのデジタル的な処理方法が開発される。

その処理方法の一つは、絶対値差の計算により動画を処理する方法である。まず、捕獲した二つの映像を減算して絶対値を取得し、その絶対値の合計が、SAD値であり、そして、最小のSAD値に基づいて二つの映像の関係を見つけ、即ち、二つの映像の運動軌跡を見つけ、当該運動軌跡により、二つの映像に対して映像処理をする。

しかしながら、従来のSAD演算方法において、二つの映像の各画素に対して演算するため、演算に膨大な時間が掛かる。

本発明は、動画を高速処理でき、低コスト化できる動画の処理方法を提供する。

本発明は、動画を処理する動画の処理方法である。動画が、複数の連続的なフレームとからなり、また、各フレームに、複数の画素がある。本発明に係わる処理方法は、順に全てのフレームを受信し、また、各フレームを複数のマクロブロックに区分し、そして、各マクロブロックには、予め設定された数の画素がある。また、本発明は、現在のフレームにあるその一つのマクロブロックを対比ブロックに定義し、そして、当該対比ブロック内の画素と、一つ前のフレームにあるその一つのサーチウィンドウ内のその一つのマクロブロック内の画素とにより、SAD演算を行って、SAD臨界値が得られ、また、サーチウィンドウ内に、予め設定された数のマクロブロックが含まれる。また、本発明は、対比ブロック内の画素と、サーチウィンドウ内のSAD演算が行われていないマクロブロック内の画素とにより、SAD演算を行って、演算値が得られる。また、上記の演算値は、マクロブロック内の各画素についてSAD演算を行って得られたSAD値の累積によるものである。累積されたSAD値がSAD臨界値に等しくなるかより大きい場合、即時に、SAD演算を中断し、また、マクロブロック内の全ての画素についてSAD演算を行って、得られたSAD値の累積値がSAD臨界値より小さい時、SAD臨界値を、今のSAD演算を行って得られる演算値に更新する。

本発明の実施例において、対比ブロックは、サーチウィンドウ内のマクロブロック内にある映像の周縁画素に対してSAD演算を行い、SAD臨界値が得られる。

また、本発明は、更に、SAD臨界値に基づいて各フレーム中の対比ブロックの運動ベクトルを取得し、また、各フレーム中の対比ブロックの運動ベクトルに基づいて当該連続的なフレームの運動軌跡が得られる。また、本発明は、各フレームにおいて、対比ブロックの運動ベクトルと運動軌跡とからなる角度が、予め設定された角度より大きいかを判断する。フレームにおいて、対比ブロックの運動ベクトルと運動軌跡とからなる角度が、当該予め設定された角度より大きい場合、フレームのパラメータを調整して、対比ブロックの運動ベクトルを運動軌跡に近似させ、また、運動軌跡をより平滑にさせる。

好ましくは、上記の予め設定された角度は、ユーザー自身によって設定できる。

本発明において、サーチウィンドウ内のマクロブロックに対してSAD演算を行う時、SAD値の累積値がSAD臨界値より大きければ、即時に演算を中断するため、時間があまり掛からない。また、本発明において、ユーザーにより、対比ブロックの運動ベクトルを校正するかどうかの根拠として、予め設定された角度を設定できるため、本発明は、柔軟に特殊効果による運動ベクトルを処理できる。

以下、図面を参照しながら、より良い実施例を挙げて、本発明について、その目的や特長及び利点を詳しく説明する。

図１は、本発明に係わる動画の処理方法のより良い実施例の工程流れ図である。図１から分かるように、動的なビデオは、複数の連続的なフレームからなり、また、各フレームに、各フレーム上の映像を構成するための複数の画素がある。また、本発明に係わる動画の処理方法は、動的なビデオにおいて、ノイズや外部の要因により、例えば、手振りにより、動画の品質が影響されないように処理する。

図１を参照すると、本発明は、まず、ステップＳ１０１において、複数の連続的なフレームを受信し、当該連続的なフレームにより、一つの動的なビデオが構成される。各フレームが複数の画素を有するため、アレイに配列することができる。そのため、本発明は、ステップＳ１０３のように、各フレームを複数のマクロブロック(MacroBlock)に区分する。また、各マクロブロック内に、第１の予め設定された数の画素がある。

そして、本発明は、ステップＳ１０５において、現在のフレームにあるその一つのマクロブロックを対比ブロックに定義し、また、当該対比ブロック内の画素と、一つ前の一つのフレーム(Pre-Frame)にあるその一つのサーチウィンドウ(SearchingWindow)内のその第１のマクロブロック内の画素とにより、SAD演算を行って、SAD臨界値が得られる。周知のように、サーチウィンドウ内に、第２の予め設定された数のマクロブロックがある。

図２は、現在のフレームと一つ前のフレームとの絶対偏差の和の概念図である。例えば、２０１が現在のフレームで、２０３が一つ前のフレームである。ここで、フレーム２０３をi番目のフレームに定義し、２０１がi-１番目のフレームになる。例えば、i-１番目のフレーム２０１において、対比ブロックとして、マクロブロック２０５を選択する。そのため、本発明において、対比ブロック２０５と、i-１番目のフレーム２０３にあるサーチウィンドウ内の(即ち、i番目のフレーム２０３の３＊３の配列のような)一つのマクロブロック(例えば、マクロブロック２０７である)とにより、SAD演算を行い、SAD臨界値が得られる。また、対比ブロックが、サーチウィンドウ内のマクロブロック内にある映像の周縁画素に対してSAD演算を行う。

更に、図１を参照すると、本発明は、ステップＳ１０５において、SAD臨界値が得られた後、Ｓ１０７へ進む。即ち、対比ブロック内の画素と、サーチウィンドウ内においてSAD演算が行われていないマクロブロックにより、SAD演算を行って、演算値が得られる。SAD演算値は、マクロブロックにある各画素についてSAD演算を行って得られるSAD値を、累積することにより得られる。

特に、本発明において、ステップＳ１０９があり、それは、マクロブロックがSAD演算を行う時、即時に、累積したSAD値が上記のSAD臨界値より大きいかどうかを判断する。例えば、マクロブロックがSAD演算を行う時、本発明は、累積したSAD値がSAD臨界値より大きいか等しいを判断すれば、ステップＳ１１１において、直接にSAD演算を中断するため、残った画素に対してSAD演算を行わない。そのため、本発明は、有効的にSAD演算の時間を短縮できる。

一方、マクロブロックにある全ての画素に対して、SAD演算を行った後、全てのSADの累積値が、即ち、当該マクロブロックのSAD演算値がSAD臨界値より小さいである場合、本発明は、ステップＳ１１３において、SAD臨界値の値を、今回のSAD演算による演算値に更新する。ステップＳ１１１やＳ１１３に続いて、本発明は、ステップＳ１１５において、対比ブロックと、サーチウィンドウ内にある全てのマクロブロックとにより、SAD演算を行ったかを判断する。SAD演算を行っていないマクロブロックがあれば(即ち、ステップＳ１１５においての“ＮＯ”である)、ステップＳ１０７等の流れを繰り返す。

図１に示される流れは、最小のSAD臨界値を見つけるものであり、二つのフレームにおいて、対応するマクロブロックを捜して、対応するマクロブロックの間の運動ベクトルを計算し、図４において、当該ステップついて詳しく説明する。

本発明において、対比ブロックとサーチウィンドウ内のマクロブロックとがSAD演算を行う時、まず、マクロブロックにおいて、明確に映像周縁であるものを選択してSAD演算を行う。例えば、本発明は、まず、マクロブロック内において、映像周縁(Edge)である画素を選択してSAD演算を行う。

図３は、映像とサーチウィンドウの概念図である。図３を参照すると、例えば、フレームにおいて、映像３０１があり、また、サーチウィンドウ３０３が映像の左下角に位置する。本発明において、サーチウィンドウ３０３の位置は、システムによりランダムに選択でき、本発明は、其れについて制限がない。

本発明は、現在のフレームと一つ前のフレームについて、SAD演算を行う時、まず、マクロブロックにある映像周縁の画素を選択してSAD演算を行い、そして、他のマクロブロックについてSAD演算を行う。これにより、本発明は、高速に最小のSAD臨界値を見つけて、処理の速度が速くなる。

図４は、本発明に係わるより良い実施例のフレームの運動軌跡と軌跡フィルタを計算する方法の工程流れ図である。図４を参照すると、本発明は、二つのフレームの間の最小のSAD臨界値が得られた後、ステップＳ４０１において、SAD臨界値に基づいて、各フレームにある対比ブロックの運動ベクトルを取得する。

図５は、対比ブロックの運動ベクトルの概念図である。図５において、５０１が一つ前のフレームで、５０３が一つ後のフレームである。本発明は、最小のSAD臨界値を見つけたら、同一のマクロブロックが二つのフレームにおける位置が見つけられ、また、その運動ベクトルを算出することができ、例えば、運動ベクトル５０５である。

更に、図４を参照すると、本発明は、ステップＳ４０１において、対比ブロックの運動ベクトルを取得してから、ステップＳ４０３へ進む。即ち、各フレームの対比ブロックの運動ベクトルに基づいて、全てのフレームの運動軌跡が得られる。本発明において、運動軌跡を得る目的は、動画を校正するための根拠とし、以下は、それについて、詳しく説明する。

本発明は、運動軌跡が得られた後、ステップＳ４０５で、各フレームにおいて、対比ブロックの運動ベクトルと運動軌跡とからなる角度が、予め設定された角度より大きいかを判断する。k番目のフレームにおいて、対比ブロックの運動ベクトルと運動軌跡とからなる角度が、予め設定された角度より大きいとする。そのため、本発明は、ユーザーがk番目のフレームを撮影する時、フレームに、例えば、手振り等の要因による影響があると判断する。そのため、本発明は、ステップＳ４０７において、問題があるフレームのパラメータを修正する。即ち、k番目のフレームのパラメータを修正し、これにより、対比ブロックの運動ベクトルが運動軌跡に近似する。これにより、運動軌跡がより平滑的になり、ユーザーが見る時、より自然的に表現できる。

しかしながら、例えば、特殊な効果を必要とする場合があり、また、動画を撮影する時、大量にビデオカメラを揺れることがある。そのため、本発明は、ユーザー自身が上記の予め設定された角度を設定することを許す。そのため、特殊効果のための運動ベクトルが濾過されることはない。

以上のように、本発明は、少なくとも、以下の利点がある。

１、本発明は、デジタル処理の方式で動画を処理するため、低コスト化ができる。

２、本発明は、SAD演算を行う時、対比ブロックが、まず、サーチウィンドウ内にあるマクロブロック内において、映像周縁である画素についてSAD演算を行い、また、対比ブロックと、サーチウィンドウ内のマクロブロックとにより、SAD演算を行う時、SAD臨界値より大きければ即時にSAD演算を中断するため、演算時間を短縮できる。

３、本発明は、対比ブロックの運動ベクトルと運動軌跡とからなる角度に基づいて動画を校正するため、フレームがより自然的になる。

４、本発明は、ユーザー自身が上記の予め設定された角度を設定できるため、より柔軟的である。

以上は、本発明のより良い実施例であるが、本発明は、それによって制限されず、当分野の当業者であれば、本発明の精神や範囲に従って、等価の変更や修正が簡単にでき、当該変更や修正は、全てが本発明の特許請求の範囲に含まれる。

本発明に係わる動画の処理方法のより良い実施例の工程流れ図である。一つ前のフレームと現在のフレームとの絶対偏差の和の概念図である。映像とサーチウィンドウの概念図である。本発明に係わるより良い実施例のフレームの運動軌跡と軌跡フィルタを計算する方法の工程流れ図である。対比ブロックの運動ベクトルの概念図である。

符号の説明

２０１、５０１現在のフレーム
２０３、５０１一つ前のフレーム
５０３一つ後のフレーム
２０５、２０７マクロブロック
３０１映像
３０３サーチウィンドウ
５０５運動ベクトル

Claims

複数の連続的な、複数の画素を有するフレームとからなる動画の処理方法であって、
順に当該フレームを受信し、
当該フレームを、それぞれ複数のマクロブロックに区分し、各マクロブロックに、第１の予め設定された数の画素があり、
現在のフレームにあるその一つのマクロブロックを対比ブロックに定義し、当該対比ブロック内の画素と、一つ前のフレームにあるその一つのサーチウィンドウ内のそのマクロブロック内の映像周縁である画素とにより、絶対偏差の和演算を行って、SAD臨界値が得られ、また、当該サーチウィンドウ内に、予め設定された数のマクロブロックがあり、
当該対比ブロック内の画素と、当該サーチウィンドウ内にある絶対偏差の和演算を行われていないマクロブロック内の画素とにより、絶対偏差の和演算を行って、演算値が得られ、当該演算値が、当該マクロブロック内の各画素に対して絶対偏差の和演算を行ってから得られたSAD値の累積であり、
累積されたSAD値が当該SAD臨界値に等しいかより大きい時、即時に、絶対偏差の和演算を中断し、
マクロブロック内の全ての画素について絶対偏差の和演算を行って、SAD値の累積値が当該SAD臨界値より小さい時、当該SAD臨界値を、SAD演算を行って得られた演算値に更新することを特徴とする動画の処理方法。
当該対比ブロックは、まず、当該サーチウィンドウ内の映像周縁であるマクロブロックに対して、絶対偏差の和演算を行うことを特徴とする請求項１に記載の動画の処理方法。
当該対比ブロックは、当該サーチウィンドウ内の映像周縁であるマクロブロックに対して絶対偏差の和演算を行った後、当該サーチウィンドウ内の他のマクロブロックに対して、絶対偏差の和演算を行うことを特徴とする請求項１に記載の動画の処理方法。
更に、当該SAD臨界値に基づいて、各フレームの当該対比ブロックの運動ベクトルを取得し、
各フレームの当該対比ブロックの運動ベクトルに基づいて、当該フレームの運動軌跡が得られ、
各フレームにおいて、当該対比ブロックの運動ベクトルと当該運動軌跡とからなる角度が、予め設定された角度より大きいかを判断し、
各フレームの当該対比ブロックの運動ベクトルと当該運動軌跡とからなる角度が、当該予め設定された角度より大きい場合、当該フレームのパラメータを調整して、当該対比ブロックの運動ベクトルを当該運動軌跡に近似させ、運動軌跡がより平滑的になることを特徴とする請求項１に記載の動画の処理方法。
ユーザー自身が当該予め設定された角度を設定できることを特徴とする請求項１に記載の動画の処理方法。