JP3316327B2 - 動画像データの圧縮方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像データを圧縮する
方法、特に、伝送または記録の際に、もとの動画像から
繰り返し運動をしている画像領域を判定し、この繰り返
し運動に関する情報を活用することにより、伝送または
記録すべきデータの圧縮を可能とする方法に関する。

【０００２】

【従来の技術】今日、テレビ電話やテレビ会議システ
ム、または画像情報を表示することのできる各種マルチ
メディア機器等が普及するにつれ、大量の画像データを
リアルタイムに伝送するためのさまざまな技術が検討さ
れている。かかる伝送は実現の容易性、コスト等の点か
ら既存の回線等を利用して行われることが多く、この場
合、回線の特性によって伝送可能なデータ量の上限が決
まる。従って、限られたデータでいかに自然な動画像を
伝送することができるかが重要な技術となりつつあり、
画像送信側で画像を圧縮して伝送し、受信側で画像を再
生するための各種方式が提案されている。

【０００３】従来一般的な画像データ圧縮方法のひとつ
に、処理の対象となる画像を一旦マトリックス状の領域
に分割し、各領域の位置情報と平均色を組にして画像を
表現する方法がある。この圧縮方法によれば、原画像よ
りも少ないデータを伝送すればよく、単位時間当たりの
伝送フレーム数を増やすことができ、より自然な動きの
動画を再生することができる。

【０００４】

【発明が解決しようとする課題】しかし上記した領域分
割法によれば、原画像の内容によらず一定の規則で画像
全体のデータが圧縮されるため、再生画像はどうしても
全体的にぼやけたものとなる。一方、データの圧縮率を
低めに設定することによって上記欠点を低減する場合、
当然伝送すべきデータ量が多くなる。従って、従来の方
法を用いる限り画質の維持とデータ量の削減の両立は非
常に困難である。

【０００５】本発明はこのような課題に鑑みてなされた
ものであり、その目的は、刻々変化する動画像の中か
ら、繰り返し運動をしている領域の情報を伝送または記
録（以降「伝送等」という）することにより、これらの
限られたデータから大まかにもとの動画像を再生するこ
とを可能とする方法を提供することにある。この方法に
よれば、後述するように再生画像全体のぼやけを回避し
つつ、高いデータ圧縮率を実現することが可能となる。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に本発明は、刻々と変化する画像の運動情報を動画像か
ら抽出する抽出工程と、前記運動情報を前記動画像の複
数フレームに渡って求めることにより繰り返し運動をし
ている画像領域を判定する判定工程と、前記繰り返し運
動を各運動周期に分割する分割工程と、分割された運動
周期のうち任意の１の運動周期を基本運動周期として選
定し、この基本運動周期における運動情報を基本運動情
報として取得する取得工程とを含み、動画像のうち前記
基本運動情報を伝送等するものである。

【０００７】また本発明は、前記基本運動情報をもとに
前記基本運動周期以外の各運動周期における運動情報を
記述するための変換情報を算出する算出工程を含み、前
記基本運動情報および前記変換情報を組み合わせて伝送
等するものである。

【０００８】また本発明は、前記変換情報が前記基本運
動情報に含まれる位置情報と、前記基本運動周期以外の
各運動周期における運動情報に含まれる位置情報との対
応関係を示す座標変換情報を含むものである。

【０００９】また本発明は、前記変換情報が前記基本運
動情報に含まれる所定の時間と、前記基本運動周期以外
の各運動周期における運動情報に含まれる所定の時間と
の対応関係を示す時間変換情報を含むものである。

【００１０】また本発明は、前記変換情報が前記基本運
動周期内において色の変化を起こす領域の位置情報と、
前記基本運動周期以外の各運動周期内における前記色の
変化を起こす領域の色の情報とを含むものである。

【００１１】

【作用】上記構成による本発明によれば、まず動画像か
ら画像の運動情報が抽出され、その運動情報をその動画
像の複数フレームに渡って求めることにより繰り返し運
動をしている画像領域が判定される。つづいて繰り返し
運動のうち、任意の運動周期が基本運動周期として選定
され、この周期における運動情報が基本運動情報として
取得される。この結果、この基本運動情報を伝送等する
ことにより、もとの動画像の再生が可能となる。

【００１２】また本発明によれば、算出工程において前
記基本運動情報をもとに前記基本運動周期以外の各運動
周期における運動情報を記述するための変換情報が算出
されるため、基本運動情報とこの変換情報を組み合わせ
て伝送等することにより、基本運動情報をもとに、他の
運動周期における運動情報を変換生成することができ
る。

【００１３】また本発明によれば、前記変換情報が座標
変換情報を含むため、基本運動情報の位置情報に対して
回転、平行移動、拡大、縮小、変形等の処理を加えて他
の運動周期における運動情報を得ることができる。

【００１４】また本発明によれば、前記変換情報が時間
変換情報を含むため、前記基本運動情報に含まれる所定
の時間、例えばその周期の長さを伸張、収縮して他の運
動周期に合わせたり、基本運動周期において特徴的な運
動が発生する時間と他の運動周期において同様の運動が
発生する時間を合わせることができる。

【００１５】また本発明によれば、前記変換情報が前記
基本運動周期内において色の変化を起こす領域の位置情
報と、他の運動周期における前記色の変化を起こす領域
の色の情報とを含むため、その領域が移動をせず単に色
の変化を起こす場合であっても、その領域の位置と色に
よって任意の運動周期の動画像を再生することができ
る。

【００１６】

【実施例】

実施例１．ここで本発明の好適な実施例について、図面
を参照しながら説明する。

【００１７】図１は本発明の実施例によるデータ圧縮処
理を示すフローチャートである。ここでは図１によって
処理全体の流れを概説しつつ、適宜具体的な例を挙げて
説明する。図１において、この処理は以下の工程を含ん
でいる。

【００１８】［工程１］動画像データの入力 まずデータ圧縮処理の対象となるオリジナルの動画像デ
ータを入力する。このデータは２次元の動画像データで
あれば、ビデオカメラによって撮影された映像、アニメ
ーション画像、コンピュータグラフィックス等、種類を
問わない。

【００１９】［工程２］運動領域の抽出 例えば、２枚の画像間で対応する点や特徴を決定し、そ
れらの間の移動量からその点の運動情報を求める。画像
全体にこの処理を行うことで全体の運動情報が得られ
る。また、輝度の変化を追跡するオプティカルフロー計
算により運動情報を求めることもできる。

【００２０】つづいて、この結果を用いて運動をしてい
る画像領域を判定する。かかる判定は、運動ベクトルの
方向および大きさが不連続となる点を選定し、これらの
点を結んで領域を形成することによって行われる。

【００２１】［工程３］繰り返し運動領域の判定 工程２で判定された運動領域のうち、周期的な運動、す
なわち繰り返し運動をしている領域を判定する。ここで
は運動ベクトルを複数フレームに渡って求めることによ
り、繰り返し運動が判定される。

【００２２】［工程４］基本運動周期の選定 繰り返し運動をしている領域についてその運動を各運動
周期に分割し、任意の１の周期を基本運動周期と定め
る。ここに運動周期とは繰り返し運動の一単位をいい、
例えば時計の振り子であればその一回の振動、話をして
いる人の口なら口の一回の開閉動作などを指す。

【００２３】［工程５］基本運動情報による動画像の再
生 基本運動周期が決まれば、この基本運動周期を表現する
ために必要な運動情報（以降「基本運動情報」という）
を記憶装置に記録しておく。この情報は一般に、周期内
の所定タイミングにおける運動領域の画像データ（位置
データ、色データ、輝度データなど）または周期の継続
時間すなわち運動周期の開始〜終了の時間など、領域の
運動を記述する数値である。この数値により、原理的に
は処理の対象となる動画像のうちの基本運動周期の画
像、すなわち基本運動情報を伝送等しさえすれば、受信
側装置または自装置など任意の装置において運動領域の
運動状態を再現し、動画像を表示することが可能とな
る。このため、非常に高いデータ圧縮率が実現できる。

【００２４】［工程６］変換情報の取得 工程５で説明した処理を行えば、最も単純な形で動画像
の再生が可能となる。しかしこの場合、伝送等された基
本運動情報に従って毎回完全に同じ運動が繰り返される
に過ぎない。かかる繰り返し画像は、たとえば時計の振
り子の画像には最適であるが、話す言葉によって運動の
様子が異なる口の開き方に適用する場合には改善の余地
がある。工程６はこうした観点から導入されるもので、
その処理の内容を、人の口の開閉動作を例に図面によっ
て説明する。

【００２５】図２は、基本運動周期の時刻Ｔs における
口の縦横各方向の変位がそれぞれＬh （Ｔs ）、Ｌv
（Ｔs ）であることを示している。また基本運動周期の
継続時間はＴa であるとする。一方、図３は、基本運動
周期以外の運動周期の時刻Ｔsiにおける口の縦横各方向
の変位がそれぞれＬh （Ｔsi）、Ｌv （Ｔsi）であるこ
とを示している。ここに添え字ｉはｉ回目の運動周期を
示す。また、この運動周期の継続時間はＴaiであるとす
る。

【００２６】本工程では、前記Ｌh （Ｔs ）、Ｌv （Ｔ
s ）を変換してＬh （Ｔsi）、Ｌv（Ｔsi）をそれぞれ
記述することにより、基本運動情報およびこの変換情報
を伝送等することで、より自然な動画像の再生を図るも
のである。ここで、基本運動情報は１回伝送等すればよ
く、以降は動画像の変化に従って変換情報のみを伝送等
すればよい。

【００２７】かかる変換情報の形式は変換の規則に依存
する。ここでは変換の規則として次式のアフィン変換を
採用する。アフィン変換は回転、平行移動、拡大・縮小
・変形をひとつの式で表現したものであり、基本運動情
報に含まれる位置情報を変換して他の運動周期における
位置情報を生成するものである。

【００２８】

【数１】 ここで、

【数２】 はＴsiにおける特定点の位置、

【数３】 は基本運動周期における前記特定点の位置、

【数４】 は回転の中心、

【数５】 は平行移動量、

【数６】 は拡大・縮小・変形のパラメータ行列、Ｒ（θ）はθ回
転の行列、

【数７】 をそれぞれ示している。従って、基本運動周期における
各点は回転中心Ｘ0 を中心にθだけ回転し、行列Ａによ
って線形変形を受け、最後にＸm だけ平行移動すること
によって他の運動周期における対応点へと変換される。
従って、上記各パラメータを決定してこれらを伝送等す
れば、工程５よりも自然なイメージで動画像の再生をす
ることができる。

【００２９】ここで簡単のため、ｂ＝ａ、ｄ＝ｃとした
とき、任意の領域は横方向にａ倍、縦方向にｃ倍の変換
を受ける。このとき、時刻Ｔsiにおけるａの値ａ（Ｔs
i）は、 ａ（Ｔsi）＝Ｌh （Ｔsi）／Ｌh （Ｔs'） ただし、Ｔs'＝（Ｔs ＋Ｔa ）* Ｔsi／（Ｔsi＋Ｔai） と表現できる。同様に、ｃ（Ｔsi）は、 ｃ（Ｔsi）＝Ｌv （Ｔsi）／Ｌv （Ｔs'） となる。ここでＴs'を採用することにより、本工程によ
る変換はアフィン変換による座標軸上の変換のみなら
ず、時間軸上の変換をも可能としている。すなわち、こ
こでは基本運動周期を他の運動周期に合わせるために、
Ｔa を時間軸上で伸張または収縮してＴaiに一致させる
のである。

【００３０】こうした計算を適宜行うことにより、変換
情報のパラメータを決定することかができる。この例で
は、変換情報は、

【数８】

【数９】

【数１０】 およびθの４種類であり、パラメータは７個（時間変換
パラメータＴs'を入れれば８個）である。従って、工程
５に比べて伝送等の対象となるデータ量は増加するもの
の、増加量は高々数種のパラメータに過ぎず、依然高い
データ圧縮率を保持しつつ、より自然な動画像を再生す
ることが可能となる。

【００３１】ここでは時間軸上変換の最も簡単な例とし
て、Ｔa をＴaiに合わせたが、より正確に画像を再生す
るために、基本運動情報と他の運動周期の運動情報の具
体的な対応状況から変換情報を決めるべき場合もある。
例えば図４に示すように、基本運動周期と他の運動周期
において、口が最も大きく開いた状態どうしを対応させ
る方が良好な結果が得られる可能性がある。この場合
は、この状態に合うようにＴs'の計算式を変更すればよ
い。

【００３２】以上、工程１〜６により、本発明を実施す
ることができる。こうして得られた基本運動情報または
基本運動情報および変換情報を伝送等することにより、
もとの動画像の再生が可能となる。このとき、従来のよ
うに領域毎のデータ圧縮を行うわけではないため、再生
画像全体がぼやける問題が解消される。

【００３３】なお、工程６ではアフィン変換を採用した
が、これは他の変換形式でもよい。また、工程６におい
ては、基本運動周期と他の運動周期との対応を数点の代
表時刻のみで行い、これら数点の対応情報を補間するこ
とによって滑らかな運動情報を得ることにしてもよい。
この方法によれば画像の再現性は低下するが、データ圧
縮率はさらに向上する。代表時刻の例としては、特徴的
な動作の折り返し点、すなわち上記の場合では口が最も
大きく開いた瞬間を採用することができる。

【００３４】実施例２．実施例１では工程２（運動領域
の抽出）において、運動ベクトルの方向および大きさが
不連続となる点を選定し、これらの点を結んで領域を形
成する処理を例示した。しかし実際の動画像の中には、
時計の振り子のような物体の物理的な動き以外に、例え
ばネオンサインのように色の変化が問題となる場合があ
る。このとき、対象物の形状、位置、大きさ等は一定で
あるため、実施例１のようにアフィン変換を使用するこ
とができない。

【００３５】そこで実施例２では、本発明を色の変化に
適用するための処理工程を説明する。なお、工程１（動
画像データの入力）、工程４（基本運動周期の選定）に
ついては実施例１同等であり、説明を省略する。

【００３６】［工程２］運動領域の抽出 ここでいう運動とは色の変化を指す。いまネオンサイン
を例にとれば、あるネオン管の領域は一般に背景と異な
る色となるため、運動領域の判定は、色が不連続となる
点を選定し、これらの点を結べばよい。

【００３７】［工程３］繰り返し運動領域の判定 工程２で判定された運動領域のうち、繰り返し運動をし
ている領域を判定する。これは各領域の色を記録し、一
定の規則をもって循環的に色が変化する領域を判定すれ
ばよい。

【００３８】［工程５］基本運動情報による動画像の再
生 基本運動周期が選定されれば、この周期における色の変
化を記録する。例えばネオン管が一定の周期で赤、青、
黄に変化すると仮定すると、まず動画像処理端末の持つ
色テーブルの中から前記３色に最も近い色の番号を選定
し、これらをそれぞれＮr0、Ｎb0、Ｎy0とする。つぎ
に、これら各色の継続時間を測定し、それぞれＴr0、Ｔ
b0、Ｔy0とおく。こうすれば、これら６つのパラメータ
が基本運動情報となる。

【００３９】［工程６］変換情報の取得 工程５によって基本運動周期の繰り返し画像を再生する
ことが可能となる。従って、基本運動情報のみを伝送等
すれば、色の変化を起こす領域以外の領域については完
全な再生が可能となる。そこで実施例２では、問題とな
る領域の任意の運動周期における色番号をそれぞれＮr
、Ｎb 、Ｎy とし、これら各色の継続時間をそれぞれ
Ｔr 、Ｔb 、Ｔy とおく。こうすれば、これら６つのパ
ラメータ、およびこの領域の位置情報から任意の運動周
期の運動情報を得ることができ、動画像の再生が可能と
なる。そこで実施例２では、前記パラメータと前記位置
情報をもって変換情報と定義する。

【００４０】以上が実施例２の概要である。

【００４１】なお、実施例２では３色があるタイミング
においてそれぞれ瞬時に切り替わるネオンサインを例に
説明したが、仮に３色の間で色が徐々に変化するような
物体を表現する場合は、さらに１つのパラメータを準備
すればよい。このパラメータは２値的に使用され、色の
変化が瞬時に起こるか、徐々に起こるかを示すものとす
る。

【００４２】

【発明の効果】以上詳細に説明したように本発明によれ
ば、最少の場合、基本運動情報を１回のみ伝送等すれば
動画像の再生が可能となるため、非常に高いデータ圧縮
率を実現することができる。本発明は領域毎のデータ圧
縮を行うわけではなく、従来問題となった再生画像全体
のぼやけを回避することができる。

【００４３】また本発明によれば、基本運動情報と変換
情報を組み合わせて伝送等することにより、基本運動情
報をもとに他の運動周期における運動情報を変換生成す
ることができる。従って、データ量の微増によって各運
動周期ごとの運動の様子を再生することが可能となり、
より自然なイメージの動画像を得ることができる。

【００４４】さらに本発明によれば、変換情報が座標変
換情報、時間変換情報、色の変化とその変化が発生する
領域の位置情報を含むため、動画像の運動状況に広く対
応することが可能となる。

【図面の簡単な説明】

【図１】 本発明の実施例１によるデータ圧縮処理を示
すフローチャートである。

【図２】 基本運動周期の時刻Ｔs における口の縦横各
方向の変位がそれぞれＬh （Ｔs ）、Ｌv （Ｔs ）であ
ることを示す図である。

【図３】 基本運動周期以外の運動周期の時刻Ｔsiにお
ける口の縦横各方向の変位がそれぞれＬh （Ｔsi）、Ｌ
v （Ｔsi）であることを示す図である。

【図４】 基本運動周期と他の運動周期において、口が
最も大きく開いた状態どうしを対応させる様子を示す図
である。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 G06T 7/20 H04N 11/00 - 11/22

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 刻々と変化する画像の運動情報を動画像
   から抽出する抽出工程と、前記運動情報を前記動画像の複数フレームに渡って求め
   ることにより 繰り返し運動をしている画像領域を判定す
   る判定工程と、 前記繰り返し運動を各運動周期に分割する分割工程と、 分割された運動周期のうち任意の１の運動周期を基本運
   動周期として選定し、 この基本運動周期における運動情報を基本運動情報とし
   て取得する取得工程と、を含み、 動画像のうち前記基本運動情報を伝送または記録するこ
   とにより、もとの動画像の再生を可能としたことを特徴
   とする動画像データの圧縮方法。
2. 【請求項２】 請求項１に記載の動画像データの圧縮方
   法において、 該方法はさらに、 前記基本運動情報をもとに前記基本運動周期以外の各運
   動周期における運動情報を記述するための変換情報を算
   出する算出工程、 を含み、 前記基本運動情報および前記変換情報を組み合わせて伝
   送または記録することにより、もとの動画像の再生を可
   能としたことを特徴とする動画像データの圧縮方法。
3. 【請求項３】 請求項２に記載の動画像データの圧縮方
   法において、 前記変換情報は、 前記基本運動情報に含まれる位置情報と、前記基本運動
   周期以外の各運動周期における運動情報に含まれる位置
   情報との対応関係を示す座標変換情報を含むことを特徴
   とする動画像データの圧縮方法。
4. 【請求項４】 請求項２に記載の動画像データの圧縮方
   法において、 前記変換情報は、 前記基本運動情報に含まれる所定の時間と、前記基本運
   動周期以外の各運動周期における運動情報に含まれる所
   定の時間との対応関係を示す時間変換情報を含むことを
   特徴とする動画像データの圧縮方法。
5. 【請求項５】 請求項２に記載の動画像データの圧縮方
   法において、 前記変換情報は、 前記基本運動周期内において色の変化を起こす領域の位
   置情報と、 前記基本運動周期以外の各運動周期内における前記色の
   変化を起こす領域の色の情報と、 を含むことを特徴とする動画像データの圧縮方法。