JPH0730899A - 階層的動きベクトル検出方式 - Google Patents

階層的動きベクトル検出方式

Info

Publication number
JPH0730899A
JPH0730899A JP5171838A JP17183893A JPH0730899A JP H0730899 A JPH0730899 A JP H0730899A JP 5171838 A JP5171838 A JP 5171838A JP 17183893 A JP17183893 A JP 17183893A JP H0730899 A JPH0730899 A JP H0730899A
Authority
JP
Japan
Prior art keywords
motion vector
difference
image
unit block
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5171838A
Other languages
English (en)
Inventor
Kazumitsu Saburi
和充 佐分利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP5171838A priority Critical patent/JPH0730899A/ja
Publication of JPH0730899A publication Critical patent/JPH0730899A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】本発明は、伝送レートが低い場合でもブロック
の不連続が再生画像に残ってしまうということがなく、
ごく自然な、優れた画質を得ることのできる動きベクト
ル検出方式を提供することを目的とする。 【構成】本発明は、解像度の低い階層から解像度の高い
階層に逐次的に動きベクトルの検出を行う階層的動きベ
クトル検出方式で、動きベクトルを検出する単位ブロッ
クと隣接する周囲のブロックの動きベクトルとの差分の
絶対値が大きい場合には、さらに解像度の高い階層で検
出を行う動きベクトル検出方式であり、かつ隣接する画
素間の輝度の差分の絶対値が大きい場合にも、さらに解
像度の高い階層で動きベクトルの検出を行う動きベクト
ル検出方式である。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル回線に接続
して使用されるTV電話などの画像通信装置に関し、特
に動き補償による予測符号化と直交変換による変換符号
化を用いた動画像符号化における動きベクトルの検出方
式に関するものである。
【0002】
【従来の技術】従来、階層を利用した動きベクトルの検
出方法の技術としては、「階層画素情報を用いた動画像
における動き量検出方式」電子情報通信学会論文誌、J
72−D−II 、No.3の例がある。前記「階層画素
情報を用いた動画像における動き量検出方式」に示され
ている技術では、画像入力信号から周波数帯域を1/2
にカットし、サンプリング周波数を1/2にした画像を
生成し、さらに同様の処理を繰り返すことで原画像から
順次解像度の低い階層画像が生成できる。動きベクトル
の検出は解像度の低い上位階層より逐次的に解像度の高
い下位階層まで行われる。検出するブロック内の画素数
を各階層で一定に保つことで検出範囲を大から小に適応
的に切り替えて細分化することとなり、動きベクトルの
空間解像度の向上と動きベクトルの検出範囲の拡大が図
られる。
【0003】
【発明が解決しようとする課題】従来の方式では動きベ
クトルの検出を行うフレームの全域に対して均一な単位
ブロックに分割して動きベクトルを検出する。しかしな
がら通常の画像では同一フレーム内に動き量の大きい部
分と動き量の少ない部分が混在していたり、単位ブロッ
ク内に小さな動きを持った物体が多数存在することもあ
るため、これまでのフレームの全域に対して均一な単位
ブロックに分割した場合、構成する画素数が大きい単位
ブロックでの動きベクトル検出では予測画像の確度が低
く、複数のブロックにまたがった領域に動きがある場合
や、各々のブロックで異なる動きベクトルが検出された
場合には、動き補償によって生成する予測画像のブロッ
ク境界での不連続が著しくなり、予測誤差による発生符
号量が増大し符号化効率も悪くなる。この結果、伝送レ
ートによってはブロックの不連続が再生画像に残ってし
まうという問題点となる。また単位ブロックを構成する
画素数を小さくすると動きベクトルの検出を行うブロッ
クのマッチング回数が不必要に増加し、リアルタイム性
を要求される動画像符号化装置において迅速な符号化が
行えないという問題点があった。
【0004】
【課題を解決するための手段】本発明はかかる問題点に
鑑みてなされたものであって、ディジタル化された画像
入力信号の近接した定められた数の画素を複数まとめて
符号化単位ブロックとし、単位ブロック毎に前フレーム
の対応するブロックとの差分情報から現フレームとの位
置関係、すなわち動きベクトルを検出し、検出された動
きベクトルによる補償によって予測画像を生成し、現フ
レーム画像と予測画像の差分から予測誤差を算出し、符
号化を行う動画像符号化装置の動きベクトル検出手段に
おいて、画像入力信号の解像度を複数の階層に分けるサ
ンプリング手段を有し、解像度の低い階層から解像度の
高い階層に逐次的に動きベクトルを検出する階層的動き
ベクトル検出方式であって、対象単位ブロックと隣接す
る適宜の数のブロックの動きベクトルの差分を測定し、
動きベクトルの差分の絶対値が、予め定められた閾値よ
り大きい場合には、対象単位ブロックについて逐次的に
解像度の高い階層で動きベクトルの検出を行う階層的動
きベクトル検出方式を提供する。
【0005】さらに本発明は、ディジタル化された画像
入力信号の近接した定められた数の画素を複数まとめて
符号化単位ブロックとし、単位ブロック毎に前フレーム
の対応するブロックとの差分情報から現フレームとの位
置関係、すなわち動きベクトルを検出し、検出された動
きベクトルによる補償によって予測画像を生成し、現フ
レーム画像と予測画像の差分から予測誤差を算出し、符
号化を行う動画像符号化装置の動きベクトル検出手段に
おいて、画像入力信号の解像度を複数の階層に分けるサ
ンプリング手段を有し、解像度の低い階層から解像度の
高い階層に逐次的に動きベクトルを検出する階層的動き
ベクトル検出方式であって、対象単位ブロック内の隣接
する適宜の方向の画素間の輝度の差分を測定し、画素間
の輝度の差分の最大絶対値が、予め定められた閾値より
大きい場合に、対象単位ブロックについて逐次的に解像
度の高い階層で動きベクトルの検出を行う階層的動きベ
クトル検出方式を提供する。
【0006】
【作用】画像入力信号を複数の解像度に分割した階層画
像として、解像度の低い階層から解像度の高い階層に逐
次的に動きベクトルを検出し、動きベクトルを検出する
単位ブロックと隣接する適宜の数のブロックの動きベク
トルの差の絶対値から適応的に解像度の高い階層で動き
ベクトルの検出を行う。また、動きベクトルを検出する
単位ブロック内の隣接する適宜の方向の画素間の輝度の
差分の絶対値から適応的に解像度の高い階層で動きベク
トルの検出を行う。
【0007】
【実施例】本発明について図面を参照して説明する。図
1は本発明の第1の実施例を示すブロック図であり、図
において100はディジタル化された画像入力信号、1
01および102は画像入力信号の解像度を複数の階層
に分けるダウンサンプラーとアップサンプラー、103
は分けられた解像度の階層を選択するマルチプレクサで
ある。104は単位ブロック毎の動きベクトルを検出す
る動きベクトル検出器、105は検出された動きベクト
ルの値によって動きベクトル検出を行う階層を判定する
動きベクトル値入力階層判定器で103マルチプレクサ
を制御する。106は現フレーム画像と動き補償による
予測画像から予測誤差画像を生成する減算器であり、1
10は符号化器の制御部である。符号化器はフレーム内
符号化とフレーム間符号化の切り替えを行うスイッチ1
07と、直交変換器108と、量子化器109から構成
されている。115は予測画像を生成するローカルデコ
ーダ部分で、逆量子化器111、直交逆変換器112、
動き補償機能を持ったフレームメモリ114、復号画像
を得る加算器113から構成されている。
【0008】つぎに、このような構成における動作につ
いて説明する。図1において、ディジタル化された画像
入力信号100を、ダウンサンプラー101およびアッ
プサンプラー102にによって解像度を複数の階層に分
けマルチプレクサ103に入力する。解像度を複数の階
層に分ける方法のうちダウンサンプリング処理として
は、低域通過フィルタを施した後にサブサンプリングす
る手法が一般的であるが、例として図2に示すような4
画素間の平均を計算して低解像画像を得る手法によると
半画素の位相ずれを生じない。またアップサンプリング
処理においても拡大画像を得る例として第3図に示すよ
うな手法がある。
【0009】はじめに現フレームの画像入力信号と前フ
レームの復号画像信号のマルチプレクサ103の出力う
ち最も解像度の低い階層を選択し、動きベクトル検出器
104によって単位ブロック毎に動きベクトルの検出を
行う。検出された動きベクトルを画像の拡大率に応じて
初期偏位を与え、逐次的に下位階層を選択して単位ブロ
ック毎に動きベクトルの検出を行い、最終的に現フレー
ムの単位ブロック毎の動きベクトル値が検出される。動
きベクトルの検出について図5を参照して説明する。あ
る単位ブロック一つに注目したとすると、最も解像度の
低い階層で検出された動きベクトルは大まかな動きを捉
えており、画像の拡大率を考慮した値として図中にVh
+2として示されている。この値を初期偏位として一段
解像度の高い階層にて動きベクトルを検出し、図中Vh
−1として示してある。逐次下位階層にて検出を行い、
最終的に動きベクトルVが検出されることとなる。
【0010】ローカルデコーダ部115では逆量子化器
111および逆直交変換器112によって誤差画像を復
号化し、これをフレームメモリ114において前フレー
ムを動き補償した画像と合成することにより現フレーム
の予測画像が生成される。減算器106によって現フレ
ームと予測画像の差分から予測誤差画像を生成し、直交
変換器108、量子化器109にて符号化して変換係数
の量子化出力116として量子化特性117と共に出力
する。
【0011】本発明の第1の実施例でははじめに最も解
像度の低い階層で動きベクトルを検出した後、隣接する
各単位ブロック間の動きベクトルの差を求め、その絶対
値が予め設定された値よりも大きな場合、すなわち各単
位ブロック間の動き方向や動き量が大きく異なる時、該
当ブロックについてのみ一段高解像度の階層にて動きベ
クトルを検出を行う。この動きベクトル検出の単位ブロ
ックに含まれる画素数を一定とすれば検出対象の範囲を
小領域に分割し、検出の分解能をあげたこととなる。本
実施例ではさらに処理を繰り返し、原画像を拡大した階
層の画像まで動きベクトル検出が行え、半画素単位の精
度で動きベクトルの検出を行うことができる。図6につ
いてブロックを分割して逐次動きベクトルを検出する様
子を説明する。動きベクトルを検出する単位ブロックを
図中のMBN(i,j)とすると、解像度の低い階層で
得られた動きベクトルVh+2は右隣りの単位ブロック
MBN(i+1,j)の動きベクトルとの差分が大きい
ため、さらに一段解像度の高い階層で検出を行う。しか
しながらMBN(i,j)を構成するa、b,c,dの
ブロックの内dブロックの動きベクトルだけが周囲の単
位ブロックの動きベクトルとの差が大きいため、さらに
一段解像度の高い階層にて動きベクトルの検出を行う。
このように検出するブロックを周辺のブロックに対して
動きの方向や動き量が大きく異なった場合に関してのみ
適応的に階層を下げて動きベクトルの検出を行う方式と
したため、ブロック内に動き量の大きい部分と動き量の
少ない部分が混在していたり、単位ブロック内に小さな
動きを持った物体が多数存在している場合においても、
最低限のブロック分割で適正に動きベクトルを表現する
ことができる。
【0012】本発明の別の実施例を図2を用いて説明す
る。ディジタル化された画像入力信号と前フレームの予
測画像から動きベクトルを検出し、動き補償による予測
画像を生成して現フレームの入力画像との予測誤差を符
号化して出力する。画像輝度値入力階層判定器205に
よって、動きベクトルを検出する画像の階層選択が適応
的に行われる。動きベクトルを検出する単位ブロック中
に領域の境界などが含まれる場合には、独立に動きが起
こったり、被写体である可能性が高く、詳細に動きの検
出を行う必要がある。このような領域の抽出には輝度の
微分値を用いることができるため、動きベクトルを検出
する階層の判定は、現フレームの入力画像の単位ブロッ
ク内の隣接する画素の輝度値の差分を求め、その絶対値
から判定され、予め設定された閾値より大きな場合に
は、該当ブロックについてさらに高解像度の階層での動
きベクトル検出を行うこととする。これにより対象物の
領域近傍での動きを詳細に検出できる。
【0013】なお、上述した各実施例において、階層構
成は低解像度に2階層、高解像度に1階層として構成し
ているが、任意の階層構成に対しても適用が可能であ
る。
【0014】
【発明の効果】以上説明したように本発明の構成ならび
に方法によれば、同一フレーム内に動き量の大きい部分
と動き量の少ない部分が混在していたり、単位ブロック
内に小さな動きを持った物体が多数存在すること、ある
いは複数のブロックにまたがった領域に動きがある場合
でも、ごく少数のブロック分割で適正に動きベクトルを
表現することができるため、動き補償によって生成する
予測画像の精度が高く、予測誤差による発生符号量が非
常に少なくなり、符号化の効率が向上する。この結果、
発生符号量を規定する制御が可能となり、伝送レートが
低い場合でもブロックの不連続が再生画像に残ってしま
うということがなくなり、ごく自然な、優れた画質を得
ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示すブロック図。
【図2】本発明の第2の実施例を示すブロック図。
【図3】ダウンサンプリングの例を示す説明図。
【図4】アップサンプリングの例を示す説明図。
【図5】動きベクトルの階層的検出方式の説明図。
【図6】本実施例における階層的動きベクトル検出の説
明図。
【符号の説明】
100 画像入力信号 101 ダウンサンプラー 102 アップサンプラー 103 マルチプレクサ 104 動きベクトル検出器 105 動きベクトル値入力階層判定器 106 減算器 107 切り替えスイッチ 108 直交変換器 109 量子化器 110 符号化制御部 111 逆量子化器 112 直交逆変換器 113 加算器 114 動き補償機能付きフレームメモリ 115 ローカルデコーダ部 116 変換係数の量子化出力 117 量子化特性出力 118 イントラ/インター判定 119 動きベクトル値 205 画像輝度値入力階層判定器

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】ディジタル化された画像入力信号の近接し
    た定められた数の画素を複数まとめて符号化単位ブロッ
    クとし、単位ブロック毎に前フレームの対応するブロッ
    クとの差分情報から現フレームとの位置関係、すなわち
    動きベクトルを検出し、検出された動きベクトルによる
    補償によって予測画像を生成し、現フレーム画像と予測
    画像の差分から予測誤差を算出し、符号化を行う動画像
    符号化装置の動きベクトル検出手段において、画像入力
    信号の解像度を複数の階層に分けるサンプリング手段を
    有し、解像度の低い階層から解像度の高い階層に逐次的
    に動きベクトルを検出する階層的動きベクトル検出方式
    であって、対象単位ブロックと隣接する適宜の数のブロ
    ックの動きベクトルの差分を測定し、動きベクトルの差
    分の絶対値が、予め定められた閾値より大きい場合に
    は、対象単位ブロックについて逐次的に解像度の高い階
    層で動きベクトルの検出を行うこと特徴とする階層的動
    きベクトル検出方式。
  2. 【請求項2】ディジタル化された画像入力信号の近接し
    た定められた数の画素を複数まとめて符号化単位ブロッ
    クとし、単位ブロック毎に前フレームの対応するブロッ
    クとの差分情報から現フレームとの位置関係、すなわち
    動きベクトルを検出し、検出された動きベクトルによる
    補償によって予測画像を生成し、現フレーム画像と予測
    画像の差分から予測誤差を算出し、符号化を行う動画像
    符号化装置の動きベクトル検出手段において、画像入力
    信号の解像度を複数の階層に分けるサンプリング手段を
    有し、解像度の低い階層から解像度の高い階層に逐次的
    に動きベクトルを検出する階層的動きベクトル検出方式
    であって、対象単位ブロック内の隣接する適宜の方向の
    画素間の輝度の差分を測定し、画素間の輝度の差分の最
    大絶対値が、予め定められた閾値より大きい場合に、対
    象単位ブロックについて逐次的に解像度の高い階層で動
    きベクトルの検出を行うこと特徴とする階層的動きベク
    トル検出方式。
JP5171838A 1993-07-12 1993-07-12 階層的動きベクトル検出方式 Pending JPH0730899A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5171838A JPH0730899A (ja) 1993-07-12 1993-07-12 階層的動きベクトル検出方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5171838A JPH0730899A (ja) 1993-07-12 1993-07-12 階層的動きベクトル検出方式

Publications (1)

Publication Number Publication Date
JPH0730899A true JPH0730899A (ja) 1995-01-31

Family

ID=15930699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5171838A Pending JPH0730899A (ja) 1993-07-12 1993-07-12 階層的動きベクトル検出方式

Country Status (1)

Country Link
JP (1) JPH0730899A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067213A (ja) * 2004-08-26 2006-03-09 Casio Comput Co Ltd 動きベクトル検出装置、および、プログラム
WO2006083107A1 (en) * 2005-02-07 2006-08-10 Samsung Electronics Co., Ltd. Method and apparatus for compressing multi-layered motion vector
JP2009213173A (ja) * 2009-06-22 2009-09-17 Casio Comput Co Ltd 動きベクトル検出装置、および、プログラム
US8040950B2 (en) 2004-03-31 2011-10-18 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法
US10477236B2 (en) 2015-05-21 2019-11-12 Olympus Corporation Image acquisition device, image processing device, image processing method, image processing program, and storage medium for generating high resolution image from low resolution images

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040950B2 (en) 2004-03-31 2011-10-18 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
US8559520B2 (en) 2004-03-31 2013-10-15 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
JP2006067213A (ja) * 2004-08-26 2006-03-09 Casio Comput Co Ltd 動きベクトル検出装置、および、プログラム
JP4576930B2 (ja) * 2004-08-26 2010-11-10 カシオ計算機株式会社 動きベクトル検出装置、および、プログラム
WO2006083107A1 (en) * 2005-02-07 2006-08-10 Samsung Electronics Co., Ltd. Method and apparatus for compressing multi-layered motion vector
JP2009213173A (ja) * 2009-06-22 2009-09-17 Casio Comput Co Ltd 動きベクトル検出装置、および、プログラム
US10477236B2 (en) 2015-05-21 2019-11-12 Olympus Corporation Image acquisition device, image processing device, image processing method, image processing program, and storage medium for generating high resolution image from low resolution images
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法

Similar Documents

Publication Publication Date Title
JP4180666B2 (ja) ビデオ信号符号化方法
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
KR0181034B1 (ko) 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
JP3277111B2 (ja) 動画像符号化装置および動画像復号化装置
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
KR100251548B1 (ko) 디지털영상을위한움직임추정장치및방법
JPH1146364A (ja) 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
JPH08265762A (ja) 映像データ後処理方法
JP2001112000A (ja) 映像信号符号化装置
JPH1155672A (ja) 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法
JP3152765B2 (ja) 画像符号化装置
JPH08265765A (ja) イメージ符号化システムとこれに用いる動き補償装置
JPH0730899A (ja) 階層的動きベクトル検出方式
JP3681784B2 (ja) 映像信号符号化装置
US7068721B2 (en) Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture
JPH07177519A (ja) 動きベクトル検出方法
JPS63232691A (ja) 画像符号化方式
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
KR100266161B1 (ko) 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image)
JPH0730901A (ja) 動画像符号化方式および動画像復号化方式
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
JPH06153185A (ja) 動き補償装置及びこれを用いた符号化装置
JPH10262255A (ja) 画像符号化装置
JPH07274182A (ja) 映像信号符号化方式