JP3316327B2 - 動画像データの圧縮方法 - Google Patents
動画像データの圧縮方法Info
- Publication number
- JP3316327B2 JP3316327B2 JP32433494A JP32433494A JP3316327B2 JP 3316327 B2 JP3316327 B2 JP 3316327B2 JP 32433494 A JP32433494 A JP 32433494A JP 32433494 A JP32433494 A JP 32433494A JP 3316327 B2 JP3316327 B2 JP 3316327B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- information
- moving image
- cycle
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
方法、特に、伝送または記録の際に、もとの動画像から
繰り返し運動をしている画像領域を判定し、この繰り返
し運動に関する情報を活用することにより、伝送または
記録すべきデータの圧縮を可能とする方法に関する。
ム、または画像情報を表示することのできる各種マルチ
メディア機器等が普及するにつれ、大量の画像データを
リアルタイムに伝送するためのさまざまな技術が検討さ
れている。かかる伝送は実現の容易性、コスト等の点か
ら既存の回線等を利用して行われることが多く、この場
合、回線の特性によって伝送可能なデータ量の上限が決
まる。従って、限られたデータでいかに自然な動画像を
伝送することができるかが重要な技術となりつつあり、
画像送信側で画像を圧縮して伝送し、受信側で画像を再
生するための各種方式が提案されている。
に、処理の対象となる画像を一旦マトリックス状の領域
に分割し、各領域の位置情報と平均色を組にして画像を
表現する方法がある。この圧縮方法によれば、原画像よ
りも少ないデータを伝送すればよく、単位時間当たりの
伝送フレーム数を増やすことができ、より自然な動きの
動画を再生することができる。
割法によれば、原画像の内容によらず一定の規則で画像
全体のデータが圧縮されるため、再生画像はどうしても
全体的にぼやけたものとなる。一方、データの圧縮率を
低めに設定することによって上記欠点を低減する場合、
当然伝送すべきデータ量が多くなる。従って、従来の方
法を用いる限り画質の維持とデータ量の削減の両立は非
常に困難である。
ものであり、その目的は、刻々変化する動画像の中か
ら、繰り返し運動をしている領域の情報を伝送または記
録(以降「伝送等」という)することにより、これらの
限られたデータから大まかにもとの動画像を再生するこ
とを可能とする方法を提供することにある。この方法に
よれば、後述するように再生画像全体のぼやけを回避し
つつ、高いデータ圧縮率を実現することが可能となる。
に本発明は、刻々と変化する画像の運動情報を動画像か
ら抽出する抽出工程と、前記運動情報を前記動画像の複
数フレームに渡って求めることにより繰り返し運動をし
ている画像領域を判定する判定工程と、前記繰り返し運
動を各運動周期に分割する分割工程と、分割された運動
周期のうち任意の1の運動周期を基本運動周期として選
定し、この基本運動周期における運動情報を基本運動情
報として取得する取得工程とを含み、動画像のうち前記
基本運動情報を伝送等するものである。
前記基本運動周期以外の各運動周期における運動情報を
記述するための変換情報を算出する算出工程を含み、前
記基本運動情報および前記変換情報を組み合わせて伝送
等するものである。
動情報に含まれる位置情報と、前記基本運動周期以外の
各運動周期における運動情報に含まれる位置情報との対
応関係を示す座標変換情報を含むものである。
動情報に含まれる所定の時間と、前記基本運動周期以外
の各運動周期における運動情報に含まれる所定の時間と
の対応関係を示す時間変換情報を含むものである。
動周期内において色の変化を起こす領域の位置情報と、
前記基本運動周期以外の各運動周期内における前記色の
変化を起こす領域の色の情報とを含むものである。
ら画像の運動情報が抽出され、その運動情報をその動画
像の複数フレームに渡って求めることにより繰り返し運
動をしている画像領域が判定される。つづいて繰り返し
運動のうち、任意の運動周期が基本運動周期として選定
され、この周期における運動情報が基本運動情報として
取得される。この結果、この基本運動情報を伝送等する
ことにより、もとの動画像の再生が可能となる。
記基本運動情報をもとに前記基本運動周期以外の各運動
周期における運動情報を記述するための変換情報が算出
されるため、基本運動情報とこの変換情報を組み合わせ
て伝送等することにより、基本運動情報をもとに、他の
運動周期における運動情報を変換生成することができ
る。
変換情報を含むため、基本運動情報の位置情報に対して
回転、平行移動、拡大、縮小、変形等の処理を加えて他
の運動周期における運動情報を得ることができる。
変換情報を含むため、前記基本運動情報に含まれる所定
の時間、例えばその周期の長さを伸張、収縮して他の運
動周期に合わせたり、基本運動周期において特徴的な運
動が発生する時間と他の運動周期において同様の運動が
発生する時間を合わせることができる。
基本運動周期内において色の変化を起こす領域の位置情
報と、他の運動周期における前記色の変化を起こす領域
の色の情報とを含むため、その領域が移動をせず単に色
の変化を起こす場合であっても、その領域の位置と色に
よって任意の運動周期の動画像を再生することができ
る。
を参照しながら説明する。
理を示すフローチャートである。ここでは図1によって
処理全体の流れを概説しつつ、適宜具体的な例を挙げて
説明する。図1において、この処理は以下の工程を含ん
でいる。
ータを入力する。このデータは2次元の動画像データで
あれば、ビデオカメラによって撮影された映像、アニメ
ーション画像、コンピュータグラフィックス等、種類を
問わない。
れらの間の移動量からその点の運動情報を求める。画像
全体にこの処理を行うことで全体の運動情報が得られ
る。また、輝度の変化を追跡するオプティカルフロー計
算により運動情報を求めることもできる。
る画像領域を判定する。かかる判定は、運動ベクトルの
方向および大きさが不連続となる点を選定し、これらの
点を結んで領域を形成することによって行われる。
なわち繰り返し運動をしている領域を判定する。ここで
は運動ベクトルを複数フレームに渡って求めることによ
り、繰り返し運動が判定される。
周期に分割し、任意の1の周期を基本運動周期と定め
る。ここに運動周期とは繰り返し運動の一単位をいい、
例えば時計の振り子であればその一回の振動、話をして
いる人の口なら口の一回の開閉動作などを指す。
生 基本運動周期が決まれば、この基本運動周期を表現する
ために必要な運動情報(以降「基本運動情報」という)
を記憶装置に記録しておく。この情報は一般に、周期内
の所定タイミングにおける運動領域の画像データ(位置
データ、色データ、輝度データなど)または周期の継続
時間すなわち運動周期の開始〜終了の時間など、領域の
運動を記述する数値である。この数値により、原理的に
は処理の対象となる動画像のうちの基本運動周期の画
像、すなわち基本運動情報を伝送等しさえすれば、受信
側装置または自装置など任意の装置において運動領域の
運動状態を再現し、動画像を表示することが可能とな
る。このため、非常に高いデータ圧縮率が実現できる。
の再生が可能となる。しかしこの場合、伝送等された基
本運動情報に従って毎回完全に同じ運動が繰り返される
に過ぎない。かかる繰り返し画像は、たとえば時計の振
り子の画像には最適であるが、話す言葉によって運動の
様子が異なる口の開き方に適用する場合には改善の余地
がある。工程6はこうした観点から導入されるもので、
その処理の内容を、人の口の開閉動作を例に図面によっ
て説明する。
口の縦横各方向の変位がそれぞれLh (Ts )、Lv
(Ts )であることを示している。また基本運動周期の
継続時間はTa であるとする。一方、図3は、基本運動
周期以外の運動周期の時刻Tsiにおける口の縦横各方向
の変位がそれぞれLh (Tsi)、Lv (Tsi)であるこ
とを示している。ここに添え字iはi回目の運動周期を
示す。また、この運動周期の継続時間はTaiであるとす
る。
s )を変換してLh (Tsi)、Lv(Tsi)をそれぞれ
記述することにより、基本運動情報およびこの変換情報
を伝送等することで、より自然な動画像の再生を図るも
のである。ここで、基本運動情報は1回伝送等すればよ
く、以降は動画像の変化に従って変換情報のみを伝送等
すればよい。
する。ここでは変換の規則として次式のアフィン変換を
採用する。アフィン変換は回転、平行移動、拡大・縮小
・変形をひとつの式で表現したものであり、基本運動情
報に含まれる位置情報を変換して他の運動周期における
位置情報を生成するものである。
転の行列、
各点は回転中心X0 を中心にθだけ回転し、行列Aによ
って線形変形を受け、最後にXm だけ平行移動すること
によって他の運動周期における対応点へと変換される。
従って、上記各パラメータを決定してこれらを伝送等す
れば、工程5よりも自然なイメージで動画像の再生をす
ることができる。
とき、任意の領域は横方向にa倍、縦方向にc倍の変換
を受ける。このとき、時刻Tsiにおけるaの値a(Ts
i)は、 a(Tsi)=Lh (Tsi)/Lh (Ts') ただし、Ts'=(Ts +Ta )* Tsi/(Tsi+Tai) と表現できる。同様に、c(Tsi)は、 c(Tsi)=Lv (Tsi)/Lv (Ts') となる。ここでTs'を採用することにより、本工程によ
る変換はアフィン変換による座標軸上の変換のみなら
ず、時間軸上の変換をも可能としている。すなわち、こ
こでは基本運動周期を他の運動周期に合わせるために、
Ta を時間軸上で伸張または収縮してTaiに一致させる
のである。
情報のパラメータを決定することかができる。この例で
は、変換情報は、
パラメータTs'を入れれば8個)である。従って、工程
5に比べて伝送等の対象となるデータ量は増加するもの
の、増加量は高々数種のパラメータに過ぎず、依然高い
データ圧縮率を保持しつつ、より自然な動画像を再生す
ることが可能となる。
て、Ta をTaiに合わせたが、より正確に画像を再生す
るために、基本運動情報と他の運動周期の運動情報の具
体的な対応状況から変換情報を決めるべき場合もある。
例えば図4に示すように、基本運動周期と他の運動周期
において、口が最も大きく開いた状態どうしを対応させ
る方が良好な結果が得られる可能性がある。この場合
は、この状態に合うようにTs'の計算式を変更すればよ
い。
ることができる。こうして得られた基本運動情報または
基本運動情報および変換情報を伝送等することにより、
もとの動画像の再生が可能となる。このとき、従来のよ
うに領域毎のデータ圧縮を行うわけではないため、再生
画像全体がぼやける問題が解消される。
が、これは他の変換形式でもよい。また、工程6におい
ては、基本運動周期と他の運動周期との対応を数点の代
表時刻のみで行い、これら数点の対応情報を補間するこ
とによって滑らかな運動情報を得ることにしてもよい。
この方法によれば画像の再現性は低下するが、データ圧
縮率はさらに向上する。代表時刻の例としては、特徴的
な動作の折り返し点、すなわち上記の場合では口が最も
大きく開いた瞬間を採用することができる。
の抽出)において、運動ベクトルの方向および大きさが
不連続となる点を選定し、これらの点を結んで領域を形
成する処理を例示した。しかし実際の動画像の中には、
時計の振り子のような物体の物理的な動き以外に、例え
ばネオンサインのように色の変化が問題となる場合があ
る。このとき、対象物の形状、位置、大きさ等は一定で
あるため、実施例1のようにアフィン変換を使用するこ
とができない。
適用するための処理工程を説明する。なお、工程1(動
画像データの入力)、工程4(基本運動周期の選定)に
ついては実施例1同等であり、説明を省略する。
を例にとれば、あるネオン管の領域は一般に背景と異な
る色となるため、運動領域の判定は、色が不連続となる
点を選定し、これらの点を結べばよい。
ている領域を判定する。これは各領域の色を記録し、一
定の規則をもって循環的に色が変化する領域を判定すれ
ばよい。
生 基本運動周期が選定されれば、この周期における色の変
化を記録する。例えばネオン管が一定の周期で赤、青、
黄に変化すると仮定すると、まず動画像処理端末の持つ
色テーブルの中から前記3色に最も近い色の番号を選定
し、これらをそれぞれNr0、Nb0、Ny0とする。つぎ
に、これら各色の継続時間を測定し、それぞれTr0、T
b0、Ty0とおく。こうすれば、これら6つのパラメータ
が基本運動情報となる。
ことが可能となる。従って、基本運動情報のみを伝送等
すれば、色の変化を起こす領域以外の領域については完
全な再生が可能となる。そこで実施例2では、問題とな
る領域の任意の運動周期における色番号をそれぞれNr
、Nb 、Ny とし、これら各色の継続時間をそれぞれ
Tr 、Tb 、Ty とおく。こうすれば、これら6つのパ
ラメータ、およびこの領域の位置情報から任意の運動周
期の運動情報を得ることができ、動画像の再生が可能と
なる。そこで実施例2では、前記パラメータと前記位置
情報をもって変換情報と定義する。
においてそれぞれ瞬時に切り替わるネオンサインを例に
説明したが、仮に3色の間で色が徐々に変化するような
物体を表現する場合は、さらに1つのパラメータを準備
すればよい。このパラメータは2値的に使用され、色の
変化が瞬時に起こるか、徐々に起こるかを示すものとす
る。
ば、最少の場合、基本運動情報を1回のみ伝送等すれば
動画像の再生が可能となるため、非常に高いデータ圧縮
率を実現することができる。本発明は領域毎のデータ圧
縮を行うわけではなく、従来問題となった再生画像全体
のぼやけを回避することができる。
情報を組み合わせて伝送等することにより、基本運動情
報をもとに他の運動周期における運動情報を変換生成す
ることができる。従って、データ量の微増によって各運
動周期ごとの運動の様子を再生することが可能となり、
より自然なイメージの動画像を得ることができる。
換情報、時間変換情報、色の変化とその変化が発生する
領域の位置情報を含むため、動画像の運動状況に広く対
応することが可能となる。
すフローチャートである。
方向の変位がそれぞれLh (Ts )、Lv (Ts )であ
ることを示す図である。
ける口の縦横各方向の変位がそれぞれLh (Tsi)、L
v (Tsi)であることを示す図である。
最も大きく開いた状態どうしを対応させる様子を示す図
である。
Claims (5)
- 【請求項1】 刻々と変化する画像の運動情報を動画像
から抽出する抽出工程と、前記運動情報を前記動画像の複数フレームに渡って求め
ることにより 繰り返し運動をしている画像領域を判定す
る判定工程と、 前記繰り返し運動を各運動周期に分割する分割工程と、 分割された運動周期のうち任意の1の運動周期を基本運
動周期として選定し、 この基本運動周期における運動情報を基本運動情報とし
て取得する取得工程と、を含み、 動画像のうち前記基本運動情報を伝送または記録するこ
とにより、もとの動画像の再生を可能としたことを特徴
とする動画像データの圧縮方法。 - 【請求項2】 請求項1に記載の動画像データの圧縮方
法において、 該方法はさらに、 前記基本運動情報をもとに前記基本運動周期以外の各運
動周期における運動情報を記述するための変換情報を算
出する算出工程、 を含み、 前記基本運動情報および前記変換情報を組み合わせて伝
送または記録することにより、もとの動画像の再生を可
能としたことを特徴とする動画像データの圧縮方法。 - 【請求項3】 請求項2に記載の動画像データの圧縮方
法において、 前記変換情報は、 前記基本運動情報に含まれる位置情報と、前記基本運動
周期以外の各運動周期における運動情報に含まれる位置
情報との対応関係を示す座標変換情報を含むことを特徴
とする動画像データの圧縮方法。 - 【請求項4】 請求項2に記載の動画像データの圧縮方
法において、 前記変換情報は、 前記基本運動情報に含まれる所定の時間と、前記基本運
動周期以外の各運動周期における運動情報に含まれる所
定の時間との対応関係を示す時間変換情報を含むことを
特徴とする動画像データの圧縮方法。 - 【請求項5】 請求項2に記載の動画像データの圧縮方
法において、 前記変換情報は、 前記基本運動周期内において色の変化を起こす領域の位
置情報と、 前記基本運動周期以外の各運動周期内における前記色の
変化を起こす領域の色の情報と、 を含むことを特徴とする動画像データの圧縮方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32433494A JP3316327B2 (ja) | 1994-12-27 | 1994-12-27 | 動画像データの圧縮方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32433494A JP3316327B2 (ja) | 1994-12-27 | 1994-12-27 | 動画像データの圧縮方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08181985A JPH08181985A (ja) | 1996-07-12 |
JP3316327B2 true JP3316327B2 (ja) | 2002-08-19 |
Family
ID=18164626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32433494A Expired - Lifetime JP3316327B2 (ja) | 1994-12-27 | 1994-12-27 | 動画像データの圧縮方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3316327B2 (ja) |
-
1994
- 1994-12-27 JP JP32433494A patent/JP3316327B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH08181985A (ja) | 1996-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7242850B2 (en) | Frame-interpolated variable-rate motion imaging system | |
JPH11252428A (ja) | 超解像カメラ | |
KR20100043139A (ko) | 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램 | |
US7433544B2 (en) | Apparatus and method for producing thumbnail images and for improving image quality of re-sized images | |
CN101420612A (zh) | 数字图像处理设备及其控制方法和数字图像压缩方法 | |
JP4701598B2 (ja) | 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体 | |
CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
CN104243886B (zh) | 一种基于插件技术的高速图像解析及视频生成方法 | |
JP2000187478A (ja) | 画像処理装置及び画像処理方法 | |
CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
WO2024032331A9 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
US20070076978A1 (en) | Moving image generating apparatus, moving image generating method and program therefor | |
KR100972764B1 (ko) | 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체 | |
CN117640994A (zh) | 一种视频生成方法及相关设备 | |
US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
JP3316327B2 (ja) | 動画像データの圧縮方法 | |
KR100477654B1 (ko) | 재생 영상 선택 장치 및 그 방법 | |
JPH08139994A (ja) | 画像合成システム | |
CN111034187A (zh) | 动态图像的生成方法、装置、可移动平台和存储介质 | |
US20220318962A1 (en) | Video systems with real-time dynamic range enhancement | |
JP2000194845A (ja) | 画像処理装置及びその方法、及び画像処理システム | |
JP2000115694A (ja) | 画像データ記録方法、画像データ記録装置、画像データ再生方法、画像データ再生装置、情報記録媒体及びコンピュータ読み取り可能な記録媒体 | |
EP0993190A2 (en) | Image data recording and reproducing method, apparatus and medium | |
JPH03136480A (ja) | 静止画用映像演出装置 | |
KR100460081B1 (ko) | 동영상 가상현실 이미지 제작 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080607 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090607 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090607 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100607 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110607 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110607 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120607 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130607 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term |