JP2570964B2 - 動画像の符号復号化装置 - Google Patents
動画像の符号復号化装置Info
- Publication number
- JP2570964B2 JP2570964B2 JP12856793A JP12856793A JP2570964B2 JP 2570964 B2 JP2570964 B2 JP 2570964B2 JP 12856793 A JP12856793 A JP 12856793A JP 12856793 A JP12856793 A JP 12856793A JP 2570964 B2 JP2570964 B2 JP 2570964B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parameter
- parameters
- control signal
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】本発明は動画像の符号復号化方法
および装置に関するものである。
および装置に関するものである。
【0002】
【従来の技術】従来の技術では、動き補償フレーム間予
測処理を用いて動画像の符号復号化を行うことが一般的
であった。例として、CCITTで国際標準化した動画
像の符号復号化方式H.261では、入力画像を16画
素16ラインのブロックに分割し、参照画像をもちいて
前記ブロック単位で動き補償フレーム間予測を実行す
る。前記参照画像としては最後に送信した画像符号化デ
ータを符号化装置内部で復号化して得た復号画像を用い
る。前記動き補償フレーム間予測に用いた補助情報と前
記予測に対する誤差信号を符号化して伝送する。
測処理を用いて動画像の符号復号化を行うことが一般的
であった。例として、CCITTで国際標準化した動画
像の符号復号化方式H.261では、入力画像を16画
素16ラインのブロックに分割し、参照画像をもちいて
前記ブロック単位で動き補償フレーム間予測を実行す
る。前記参照画像としては最後に送信した画像符号化デ
ータを符号化装置内部で復号化して得た復号画像を用い
る。前記動き補償フレーム間予測に用いた補助情報と前
記予測に対する誤差信号を符号化して伝送する。
【0003】また特開昭62−068384号公報記載
の「画像通信方式」では入力画像から顔や腕など被写体
を構成する要素部分を抽出し、予めデータベースに保持
した標準部分データと抽出部分との差異を特徴パラメー
タとして符号化伝送する。復号化側では複数の前記標準
部分データを前記パラメータで変形し、組み合わせて再
生画像を合成する。
の「画像通信方式」では入力画像から顔や腕など被写体
を構成する要素部分を抽出し、予めデータベースに保持
した標準部分データと抽出部分との差異を特徴パラメー
タとして符号化伝送する。復号化側では複数の前記標準
部分データを前記パラメータで変形し、組み合わせて再
生画像を合成する。
【0004】
【発明が解決しようとする課題】従来の動き補償フレー
ム間予測方式H.261では、動き補償に用いた補助情
報と予測誤差信号を符号化し復号側に伝送する。このた
め伝送容量が小さい場合には、前記符号化データを十分
に伝送することができず復号画像上に著しい劣化を引き
起こす、あるいは復号画像のフレームレートが著しく低
下する等の問題点があった。また特開昭62−0683
84号公報記載の「画像通信方式」では、抽出したパラ
メータのみを符号化伝送するので小さな伝送容量で実現
できるものの、予め用意した標準部分データを変形して
再生画像を得るため、入力画像の微妙な特徴を表現でき
ず人工的で不自然な画像になる等の問題点があった。
ム間予測方式H.261では、動き補償に用いた補助情
報と予測誤差信号を符号化し復号側に伝送する。このた
め伝送容量が小さい場合には、前記符号化データを十分
に伝送することができず復号画像上に著しい劣化を引き
起こす、あるいは復号画像のフレームレートが著しく低
下する等の問題点があった。また特開昭62−0683
84号公報記載の「画像通信方式」では、抽出したパラ
メータのみを符号化伝送するので小さな伝送容量で実現
できるものの、予め用意した標準部分データを変形して
再生画像を得るため、入力画像の微妙な特徴を表現でき
ず人工的で不自然な画像になる等の問題点があった。
【0005】本発明の目的は、現在の入力画像を解析
し、過去に符号復号化した複数の入力画像と比較して入
力画像を符号化するか否かを判定し、前記符号化をしな
いと判定した場合には前記比較の中で最も類似した過去
の入力画像を選択する情報を復号化側へ伝送し、復号化
側では前記符号化した入力画像の符号化データを復号表
示しかつ記録保持しておき、前記選択情報を受信した場
合には前記保持した符号化データから対応するものを選
択して復号表示することで、伝送容量が小さい場合にも
入力画像に類似した画像を良好な画質で復号再生可能な
動画像の符号復号化方法および装置を提供することを目
的とする。
し、過去に符号復号化した複数の入力画像と比較して入
力画像を符号化するか否かを判定し、前記符号化をしな
いと判定した場合には前記比較の中で最も類似した過去
の入力画像を選択する情報を復号化側へ伝送し、復号化
側では前記符号化した入力画像の符号化データを復号表
示しかつ記録保持しておき、前記選択情報を受信した場
合には前記保持した符号化データから対応するものを選
択して復号表示することで、伝送容量が小さい場合にも
入力画像に類似した画像を良好な画質で復号再生可能な
動画像の符号復号化方法および装置を提供することを目
的とする。
【0006】
【課題を解決するための手段】本発明は、動画像の符号
復号化方法において、符号化に際しては、入力画像の特
徴量をパラメータとして抽出し、前記抽出したパラメー
タを符号化制御信号の指示により記録保持し、かつ過去
に前記記録した複数のパラメータを参照パラメータとし
て出力し、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側へ出力するか
のいずれかをおこない、前記入力画像を前記符号化制御
信号の指示により符号化し、符号化データとして復号化
側へ出力し、復号化に際しては、前記入力画像毎に前記
符号化データまたは前記参照制御信号のいずれかを符号
化側から入力して、前記符号化データを記録保持するか
過去に前記記録した複数の符号化データから前記参照制
御信号の指示により一つを選択して参照データとして出
力し、前記符号化データまたは前記参照データのいずれ
かを復号化して出力画像として出力する、ことを特徴と
する。
復号化方法において、符号化に際しては、入力画像の特
徴量をパラメータとして抽出し、前記抽出したパラメー
タを符号化制御信号の指示により記録保持し、かつ過去
に前記記録した複数のパラメータを参照パラメータとし
て出力し、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側へ出力するか
のいずれかをおこない、前記入力画像を前記符号化制御
信号の指示により符号化し、符号化データとして復号化
側へ出力し、復号化に際しては、前記入力画像毎に前記
符号化データまたは前記参照制御信号のいずれかを符号
化側から入力して、前記符号化データを記録保持するか
過去に前記記録した複数の符号化データから前記参照制
御信号の指示により一つを選択して参照データとして出
力し、前記符号化データまたは前記参照データのいずれ
かを復号化して出力画像として出力する、ことを特徴と
する。
【0007】本発明は、動画像の符号復号化装置におい
て、符号化装置は、入力画像の特徴量をパラメータとし
て抽出する手段と、前記抽出したパラメータを符号化制
御信号の指示により記録保持し、かつ過去に前記記録し
た複数のパラメータを参照パラメータとして出力する手
段と、前記抽出したパラメータを前記複数の参照パラメ
ータと比較して類似度の最も大きい参照パラメータを選
択し、前記最大類似度の値に応じて前記符号化制御信号
を出力するか参照制御信号を復号化側に送信するかのい
ずれかをおこなう手段と、前記入力画像を前記符号化制
御信号の指示により符号化し、符号化データとして復号
化側に送信する手段とを備え、復号化装置は、前記入力
画像毎に前記符号化データまたは前記参照制御信号のい
ずれかを符号化側から受信して、前記符号化データを記
録保持するか過去に前記記録した複数の符号化データか
ら前記参照制御信号の指示により一つを選択して参照デ
ータとして出力する手段と、前記符号化データまたは前
記参照データのいずれかを復号化して出力画像として出
力する手段とを備える、ことを特徴とする。
て、符号化装置は、入力画像の特徴量をパラメータとし
て抽出する手段と、前記抽出したパラメータを符号化制
御信号の指示により記録保持し、かつ過去に前記記録し
た複数のパラメータを参照パラメータとして出力する手
段と、前記抽出したパラメータを前記複数の参照パラメ
ータと比較して類似度の最も大きい参照パラメータを選
択し、前記最大類似度の値に応じて前記符号化制御信号
を出力するか参照制御信号を復号化側に送信するかのい
ずれかをおこなう手段と、前記入力画像を前記符号化制
御信号の指示により符号化し、符号化データとして復号
化側に送信する手段とを備え、復号化装置は、前記入力
画像毎に前記符号化データまたは前記参照制御信号のい
ずれかを符号化側から受信して、前記符号化データを記
録保持するか過去に前記記録した複数の符号化データか
ら前記参照制御信号の指示により一つを選択して参照デ
ータとして出力する手段と、前記符号化データまたは前
記参照データのいずれかを復号化して出力画像として出
力する手段とを備える、ことを特徴とする。
【0008】また本発明は、動画像の符号復号化方法に
おいて、符号化に際しては、入力画像の特徴量をパラメ
ータとして抽出し、前記抽出したパラメータを符号化制
御信号の指示により記録保持し、かつ過去に前記記録し
た複数のパラメータを参照パラメータとして出力し、前
記抽出したパラメータを前記複数の参照パラメータと比
較して類似度の最も大きい参照パラメータを選択し、前
記最大類似度の値に応じて前記符号化制御信号を出力す
るか参照制御信号を復号化側へ出力するかのいずれかを
おこない、前記入力画像を前記符号化制御信号の指示に
より符号化し、符号化データとして復号化側へ出力し、
前記抽出したパラメータと前記選択した参照パラメータ
との差分を合成パラメータとして復号化側に出力し、復
号化に際しては、前記入力画像毎に前記符号化データま
たは前記参照制御信号のいずれかを符号化側から入力し
て、前記符号化データを記録保持するか前記保持した複
数の符号化データから前記参照制御信号の指示により一
つを選択して参照データとして出力し、前記符号化デー
タまたは前記参照データのいずれかを復号して復号画像
として出力し、前記合成パラメータを利用して前記復号
画像から出力画像を合成し出力する、ことを特徴とす
る。
おいて、符号化に際しては、入力画像の特徴量をパラメ
ータとして抽出し、前記抽出したパラメータを符号化制
御信号の指示により記録保持し、かつ過去に前記記録し
た複数のパラメータを参照パラメータとして出力し、前
記抽出したパラメータを前記複数の参照パラメータと比
較して類似度の最も大きい参照パラメータを選択し、前
記最大類似度の値に応じて前記符号化制御信号を出力す
るか参照制御信号を復号化側へ出力するかのいずれかを
おこない、前記入力画像を前記符号化制御信号の指示に
より符号化し、符号化データとして復号化側へ出力し、
前記抽出したパラメータと前記選択した参照パラメータ
との差分を合成パラメータとして復号化側に出力し、復
号化に際しては、前記入力画像毎に前記符号化データま
たは前記参照制御信号のいずれかを符号化側から入力し
て、前記符号化データを記録保持するか前記保持した複
数の符号化データから前記参照制御信号の指示により一
つを選択して参照データとして出力し、前記符号化デー
タまたは前記参照データのいずれかを復号して復号画像
として出力し、前記合成パラメータを利用して前記復号
画像から出力画像を合成し出力する、ことを特徴とす
る。
【0009】また本発明は、動画像の符号復号化装置に
おいて、符号化装置は、入力画像の特徴量をパラメータ
として抽出する手段と、前記抽出したパラメータを符号
化制御信号の指示により記録保持し、かつ過去に前記記
録した複数のパラメータを参照パラメータとして出力す
る手段と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれか一方をおこなう手段と、前記入力画像を前記
符号化制御信号の指示により符号化し、符号化データと
して復号化側に送信する手段と、前記抽出したパラメー
タと前記選択した参照パラメータとの差分を合成パラメ
ータとして復号化側に出力する手段とを備え、復号化装
置は、前記入力画像毎に前記符号化データまたは前記参
照制御信号のいずれかを符号化側から受信して、前記符
号化データを記録保持するか前記保持した複数の符号化
データから前記参照制御信号の指示により一つを選択し
て参照データとして出力する手段と前記符号化データま
たは前記参照データのいずれかを復号して復号画像とし
て出力する手段と、前記合成パラメータを利用して前記
復号画像から出力画像を合成し出力する手段とを備え
る、ことを特徴とする。
おいて、符号化装置は、入力画像の特徴量をパラメータ
として抽出する手段と、前記抽出したパラメータを符号
化制御信号の指示により記録保持し、かつ過去に前記記
録した複数のパラメータを参照パラメータとして出力す
る手段と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれか一方をおこなう手段と、前記入力画像を前記
符号化制御信号の指示により符号化し、符号化データと
して復号化側に送信する手段と、前記抽出したパラメー
タと前記選択した参照パラメータとの差分を合成パラメ
ータとして復号化側に出力する手段とを備え、復号化装
置は、前記入力画像毎に前記符号化データまたは前記参
照制御信号のいずれかを符号化側から受信して、前記符
号化データを記録保持するか前記保持した複数の符号化
データから前記参照制御信号の指示により一つを選択し
て参照データとして出力する手段と前記符号化データま
たは前記参照データのいずれかを復号して復号画像とし
て出力する手段と、前記合成パラメータを利用して前記
復号画像から出力画像を合成し出力する手段とを備え
る、ことを特徴とする。
【0010】
【実施例】本発明の第1の動画像の符号復号化方法およ
び装置の実施例を図1を用いて説明する。
び装置の実施例を図1を用いて説明する。
【0011】図1は、本発明の第1の動画像の符号復号
化方法を実現する装置の一実施例のブロック図である。
化方法を実現する装置の一実施例のブロック図である。
【0012】この動画像の符号復号化装置は、入力画像
の特徴量をパラメータとして抽出する特徴量抽出回路1
2と、前記抽出したパラメータを符号化制御信号の指示
により記録保持し、かつ過去に前記記録したパラメータ
を参照パラメータとして出力するパラメータメモリ14
と、前記抽出したパラメータを前記複数の参照パラメー
タと比較して類似度の最も大きい参照パラメータを選択
し、前記最大類似度の値に応じて前記符号化制御信号を
出力するか参照制御信号を復号化側に送信するかのいず
れかをおこなう比較回路13と、前記入力画像を前記符
号化制御信号の指示により符号化し、符号化データとし
て復号化側に送信する画像符号化回路11とから構成さ
れる符号化装置と、受信した前記符号化データを記録保
持するか前記参照制御信号の指示により前記記録した複
数の符号化データから一つを選択して参照データとして
出力する符号化データメモリ15と、前記符号化データ
または前記参照データを復号化して出力画像として出力
する画像復号化回路16とから構成される復号化装置と
からなる。
の特徴量をパラメータとして抽出する特徴量抽出回路1
2と、前記抽出したパラメータを符号化制御信号の指示
により記録保持し、かつ過去に前記記録したパラメータ
を参照パラメータとして出力するパラメータメモリ14
と、前記抽出したパラメータを前記複数の参照パラメー
タと比較して類似度の最も大きい参照パラメータを選択
し、前記最大類似度の値に応じて前記符号化制御信号を
出力するか参照制御信号を復号化側に送信するかのいず
れかをおこなう比較回路13と、前記入力画像を前記符
号化制御信号の指示により符号化し、符号化データとし
て復号化側に送信する画像符号化回路11とから構成さ
れる符号化装置と、受信した前記符号化データを記録保
持するか前記参照制御信号の指示により前記記録した複
数の符号化データから一つを選択して参照データとして
出力する符号化データメモリ15と、前記符号化データ
または前記参照データを復号化して出力画像として出力
する画像復号化回路16とから構成される復号化装置と
からなる。
【0013】本実施例の動作を説明する。ここでは過去
の一連の入力画像101から選択した複数枚の画像が既
に符号復号化処理済であることを前提としたうえで、現
在の入力画像101に対する符号復号化処理の動作を説
明する。
の一連の入力画像101から選択した複数枚の画像が既
に符号復号化処理済であることを前提としたうえで、現
在の入力画像101に対する符号復号化処理の動作を説
明する。
【0014】符号化側では、まず特徴量抽出回路12で
入力画像101を解析し、画像の特徴量であるパラメー
タ103を抽出する。前記抽出パラメータ103の例を
図3の(a),(b),(c)に示し、それぞれについ
て説明する。
入力画像101を解析し、画像の特徴量であるパラメー
タ103を抽出する。前記抽出パラメータ103の例を
図3の(a),(b),(c)に示し、それぞれについ
て説明する。
【0015】図3の(a)は時刻ti の入力画像I(t
i )から被写体領域を抽出し、その中心座標位置gi お
よび主軸の傾きθi とを前記パラメータとした例であ
る。この場合はまず入力画像の中の輝度もしくは色相の
変化の少ない閉領域を抽出して一つの被写体領域みな
す。次に前記被写体領域を構成する各画素の座標位置の
平均値を計算して前記gi とする。また前記被写体領域
の主軸を計算により求め、画像の垂直軸に対する傾きを
前記θi とする。図3の(b)の例では時刻ti の入力
画像I(ti )から被写体領域を抽出し、被写体領域の
輪郭線上の複数の特徴点(pi ,qi ,ri ,si )の
座標位置をパラメータとした例である。この場合には前
記方法で入力画像から抽出した被写体領域の輪郭線を多
角形近似し、前記多角形の各頂点を特徴点(pi ,
qi ,ri ,si )とする。図3の(c)は入力画像が
予め顔画像とわかっている場合に利用可能な例で、時刻
ti の入力画像I(ti )から顔全体と目および口の部
分を抽出し、顔部分の中心座標位置fi と目および口そ
れぞれの開閉状態を示す値(eri ,eli ,mi )と
を抽出パラメータとする。この場合にはまず入力画像か
ら肌色の色相をもつ楕円形領域を顔部分として抽出し、
その中心座標位置を前記fi とする。更に前記顔部分の
中で前記fi との相対的な位置関係から目あるいは口の
位置を大まかに予測し、前記予測位置の近傍で輝度およ
び色相が周囲と異なる領域をそれぞれ目および口の部分
として抽出する。目および口の開閉状態は前記抽出した
部分の上下方向の大きさの値(eri ,eli ,mi )
で表す。前記説明した複数のパラメータはいずれか一つ
または複数を組み合わせて抽出パラメータ103とす
る。
i )から被写体領域を抽出し、その中心座標位置gi お
よび主軸の傾きθi とを前記パラメータとした例であ
る。この場合はまず入力画像の中の輝度もしくは色相の
変化の少ない閉領域を抽出して一つの被写体領域みな
す。次に前記被写体領域を構成する各画素の座標位置の
平均値を計算して前記gi とする。また前記被写体領域
の主軸を計算により求め、画像の垂直軸に対する傾きを
前記θi とする。図3の(b)の例では時刻ti の入力
画像I(ti )から被写体領域を抽出し、被写体領域の
輪郭線上の複数の特徴点(pi ,qi ,ri ,si )の
座標位置をパラメータとした例である。この場合には前
記方法で入力画像から抽出した被写体領域の輪郭線を多
角形近似し、前記多角形の各頂点を特徴点(pi ,
qi ,ri ,si )とする。図3の(c)は入力画像が
予め顔画像とわかっている場合に利用可能な例で、時刻
ti の入力画像I(ti )から顔全体と目および口の部
分を抽出し、顔部分の中心座標位置fi と目および口そ
れぞれの開閉状態を示す値(eri ,eli ,mi )と
を抽出パラメータとする。この場合にはまず入力画像か
ら肌色の色相をもつ楕円形領域を顔部分として抽出し、
その中心座標位置を前記fi とする。更に前記顔部分の
中で前記fi との相対的な位置関係から目あるいは口の
位置を大まかに予測し、前記予測位置の近傍で輝度およ
び色相が周囲と異なる領域をそれぞれ目および口の部分
として抽出する。目および口の開閉状態は前記抽出した
部分の上下方向の大きさの値(eri ,eli ,mi )
で表す。前記説明した複数のパラメータはいずれか一つ
または複数を組み合わせて抽出パラメータ103とす
る。
【0016】比較回路13では抽出パラメータ103を
パラメータメモリ14が供給する複数の参照パラメータ
104と比較し、最も類似度の高い参照パラメータを選
択する。前記選択では比較する2つのパラメータの差分
絶対値を相違度係数とし、前記係数の値が小さいほど類
似度が高いと判定する。またパラメータが複数の要素の
組である場合には、各要素毎の差分絶対値の重み付け加
算した値を相違度係数とする。前記重み付けの比率は均
一としてもよく、あるいは被写体外形輪郭線の特徴点な
ど誤検出の可能性の高いものは小さくし、領域中心の座
標位置など誤検出の可能性が低いものは大きくする。あ
るいは入力画像が顔画像でかつ抽出パラメータが種類の
異なる複数の要素からなる場合には、顔の表情の変化を
より正確に検出するために目や口の動きに関する要素の
前記重み付けを大きくしてもよい。
パラメータメモリ14が供給する複数の参照パラメータ
104と比較し、最も類似度の高い参照パラメータを選
択する。前記選択では比較する2つのパラメータの差分
絶対値を相違度係数とし、前記係数の値が小さいほど類
似度が高いと判定する。またパラメータが複数の要素の
組である場合には、各要素毎の差分絶対値の重み付け加
算した値を相違度係数とする。前記重み付けの比率は均
一としてもよく、あるいは被写体外形輪郭線の特徴点な
ど誤検出の可能性の高いものは小さくし、領域中心の座
標位置など誤検出の可能性が低いものは大きくする。あ
るいは入力画像が顔画像でかつ抽出パラメータが種類の
異なる複数の要素からなる場合には、顔の表情の変化を
より正確に検出するために目や口の動きに関する要素の
前記重み付けを大きくしてもよい。
【0017】比較回路13は前記選択したパラメータで
の相違度係数を予め定めた閾値と比較し、判定結果に応
じて参照制御信号106または符号化制御信号105の
いずれかを出力する。具体的には前記相違度係数が予め
定めた閾値より小さい場合には、前記選択したパラメー
タに対応するデータインデックスを参照選択信号106
として復号化側へ伝送する。前記データインデックスは
前記選択したパラメータの元の入力画像を符号化した符
号化データ102にも1対1で対応する。参照選択信号
106を出力した場合には、以上で現在の入力画像10
1に対する符号化処理は全て終了する。一方、前記相違
度係数が予め定めた閾値よりも大きい場合には、参照選
択信号106は出力せず現在の入力画像101の符号化
と抽出パラメータの記録保持を指示する符号化制御信号
105を出力する。すなわち現在の入力画像101が過
去に符号復号化した特定の画像に類似しているならば、
前記類似画像を復号化側で表示することを指示する簡単
な信号のみを伝送し、前記類似した画像が過去の符号化
履歴中に見つからない場合にのみ現在の入力画像101
そのものを符号化して復号化側へ送信する。なお前記閾
値は一連の符号復号化処理に先立って固定値に設定して
もよく、あるいは前記抽出パラメータの変動の激しさに
対応して可変としてもよい。具体例としては、前フレー
ムの入力画像から抽出したパラメータを比較回路13内
部で遅延保持しておき、これと現在の入力画像での抽出
パラメータとのフレーム間差分絶対値dpを比例係数と
し、前記閾値Thを式 Th=(dp/dn)×Th(init) で画像フレーム毎に更新しても良い。ここでdn,Th
(init)は一連の符号復号化処理に先立ってあらか
じめ定めた値である。
の相違度係数を予め定めた閾値と比較し、判定結果に応
じて参照制御信号106または符号化制御信号105の
いずれかを出力する。具体的には前記相違度係数が予め
定めた閾値より小さい場合には、前記選択したパラメー
タに対応するデータインデックスを参照選択信号106
として復号化側へ伝送する。前記データインデックスは
前記選択したパラメータの元の入力画像を符号化した符
号化データ102にも1対1で対応する。参照選択信号
106を出力した場合には、以上で現在の入力画像10
1に対する符号化処理は全て終了する。一方、前記相違
度係数が予め定めた閾値よりも大きい場合には、参照選
択信号106は出力せず現在の入力画像101の符号化
と抽出パラメータの記録保持を指示する符号化制御信号
105を出力する。すなわち現在の入力画像101が過
去に符号復号化した特定の画像に類似しているならば、
前記類似画像を復号化側で表示することを指示する簡単
な信号のみを伝送し、前記類似した画像が過去の符号化
履歴中に見つからない場合にのみ現在の入力画像101
そのものを符号化して復号化側へ送信する。なお前記閾
値は一連の符号復号化処理に先立って固定値に設定して
もよく、あるいは前記抽出パラメータの変動の激しさに
対応して可変としてもよい。具体例としては、前フレー
ムの入力画像から抽出したパラメータを比較回路13内
部で遅延保持しておき、これと現在の入力画像での抽出
パラメータとのフレーム間差分絶対値dpを比例係数と
し、前記閾値Thを式 Th=(dp/dn)×Th(init) で画像フレーム毎に更新しても良い。ここでdn,Th
(init)は一連の符号復号化処理に先立ってあらか
じめ定めた値である。
【0018】画像符号化回路11は符号化制御信号10
5の指示により現在の入力画像101を符号化し符号化
データ102を復号化側へ送信する。前記符号化処理と
してはISO/JPEGで国際標準として定めた画像符
号化方式などをもちいることができる。具体的には入力
画像101を予め定めた大きさのブロックに分割して、
ブロック毎に離散コサイン変換、量子化およびジグザグ
スキャン変換し、可変長符号に置き換えて前記符号化デ
ータ102とする。また時間的に近接した入力画像を続
けて符号化する場合には、従来の技術で前記説明したC
CITT.261などを用いることができる。具体的に
は最後に送信した符号化データを画像符号化回路11の
内部の局所復号化装置で復号化してメモリに保持してお
き、前記復号化した画像を参照画像として動き補償フレ
ーム間予測符号化を現在の入力画像に対して実行する。
5の指示により現在の入力画像101を符号化し符号化
データ102を復号化側へ送信する。前記符号化処理と
してはISO/JPEGで国際標準として定めた画像符
号化方式などをもちいることができる。具体的には入力
画像101を予め定めた大きさのブロックに分割して、
ブロック毎に離散コサイン変換、量子化およびジグザグ
スキャン変換し、可変長符号に置き換えて前記符号化デ
ータ102とする。また時間的に近接した入力画像を続
けて符号化する場合には、従来の技術で前記説明したC
CITT.261などを用いることができる。具体的に
は最後に送信した符号化データを画像符号化回路11の
内部の局所復号化装置で復号化してメモリに保持してお
き、前記復号化した画像を参照画像として動き補償フレ
ーム間予測符号化を現在の入力画像に対して実行する。
【0019】またパラメータメモリ14も符号化制御信
号105の指示により現在の抽出パラメータ103を追
加記録する。前記記録は現在の入力画像101を符号化
し復号化側へ送信したことを履歴情報として記録保持す
ることに相当する。パラメータメモリ14は過去に符号
復号化済の前記複数枚の入力画像のそれぞれに対して抽
出したパラメータを記録保持しており、これらを複数の
参照パラメータ104として出力する。なお前記追加記
録に際してパラメータメモリ104が一杯で追加が困難
な場合には、既に記録されているパラメータのうち適当
なものを削除し、新ためて前記抽出パラメータ103を
追加記録する。前記削除するパラメータの選択は、前記
説明した方法により比較回路13で最適な参照パラメー
タとして選択した履歴を利用して行う。具体的には比較
回路13が前記選択した時刻を参照パラメータ毎に記録
しておき、前記選択された最後の時刻が最も古いパラメ
ータを削除する。あるいは現在までに至る複数フレーム
期間で前記選択された回数を参照パラメータ毎に累計し
ておき、前記選択回数が最も少ないパラメータを削除し
てもよい。
号105の指示により現在の抽出パラメータ103を追
加記録する。前記記録は現在の入力画像101を符号化
し復号化側へ送信したことを履歴情報として記録保持す
ることに相当する。パラメータメモリ14は過去に符号
復号化済の前記複数枚の入力画像のそれぞれに対して抽
出したパラメータを記録保持しており、これらを複数の
参照パラメータ104として出力する。なお前記追加記
録に際してパラメータメモリ104が一杯で追加が困難
な場合には、既に記録されているパラメータのうち適当
なものを削除し、新ためて前記抽出パラメータ103を
追加記録する。前記削除するパラメータの選択は、前記
説明した方法により比較回路13で最適な参照パラメー
タとして選択した履歴を利用して行う。具体的には比較
回路13が前記選択した時刻を参照パラメータ毎に記録
しておき、前記選択された最後の時刻が最も古いパラメ
ータを削除する。あるいは現在までに至る複数フレーム
期間で前記選択された回数を参照パラメータ毎に累計し
ておき、前記選択回数が最も少ないパラメータを削除し
てもよい。
【0020】復号化側では、符号化データメモリ15で
受信した符号化データ102を記録保持する。また受信
した符号化データ102は直接に画像符号化回路16に
供給される。一方、符号化データ102の代わりに参照
選択信号106を受信した場合には、符号化データメモ
リ15は記録保持してある複数の符号化データの中から
参照選択信号106が指示するものを一つ選択して参照
データ107として出力する。なお前記記録保持に際し
て、符号化データメモリ15が既に一杯で追加記録が困
難な場合には、既に記録してある複数の符号化データの
中で適当なものを一つ削除して、新ためて前記符号化デ
ータ102を追加記録する。前記削除する符号化データ
の選択方法は、前記説明したパラメータメモリ14にお
いて削除するパラメータの選択方法と同じ方法を用い
る。また記録保持可能な最大の符号化データの数も、前
記説明したパラメータメモリ14において登録可能な最
大のパラメータの数と同一にする。以上の設定により符
号化データメモリ15の記録の更新と符号化側でのパラ
メータメモリ14の記録の更新とを同期して自動的に実
現できる。
受信した符号化データ102を記録保持する。また受信
した符号化データ102は直接に画像符号化回路16に
供給される。一方、符号化データ102の代わりに参照
選択信号106を受信した場合には、符号化データメモ
リ15は記録保持してある複数の符号化データの中から
参照選択信号106が指示するものを一つ選択して参照
データ107として出力する。なお前記記録保持に際し
て、符号化データメモリ15が既に一杯で追加記録が困
難な場合には、既に記録してある複数の符号化データの
中で適当なものを一つ削除して、新ためて前記符号化デ
ータ102を追加記録する。前記削除する符号化データ
の選択方法は、前記説明したパラメータメモリ14にお
いて削除するパラメータの選択方法と同じ方法を用い
る。また記録保持可能な最大の符号化データの数も、前
記説明したパラメータメモリ14において登録可能な最
大のパラメータの数と同一にする。以上の設定により符
号化データメモリ15の記録の更新と符号化側でのパラ
メータメモリ14の記録の更新とを同期して自動的に実
現できる。
【0021】画像復号化回路16はいずれか一つ供給さ
れた符号化データ102または参照データ107を復号
化し、表示再生のための出力画像108を出力する。
れた符号化データ102または参照データ107を復号
化し、表示再生のための出力画像108を出力する。
【0022】なお前記説明した一連の符号復号化処理は
図4に示した構成例で実現することも可能である。図4
の動画像の符号復号化装置は、入力画像の特徴量をパラ
メータとして抽出する特徴量抽出回路42と、前記抽出
したパラメータを符号化制御信号の指示により記録保持
し、かつ過去の複数の入力画像で前記抽出したパラメー
タを参照パラメータとして出力するパラメータメモリ4
4と、前記抽出したパラメータを前記複数の参照パラメ
ータと比較して類似度の最も大きい参照パラメータを選
択し、前記最大類似度の値に応じて前記符号化制御信号
を出力するか参照制御信号を復号化側に送信するかのい
ずれか一方をおこなう比較回路43と、前記入力画像を
前記符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路41とから
構成される符号化装置と、受信した一連の前記符号化デ
ータを復号化して復号画像を生成し、表示再生のための
出力画像として出力する画像復号化回路46と、前記復
号画像を記録保持し、かつ前記符号化データを受信しな
い場合には前記参照制御信号の指示により前記保持した
複数の復号画像から一つを選択して出力画像として出力
する画像メモリ45とから構成されている。
図4に示した構成例で実現することも可能である。図4
の動画像の符号復号化装置は、入力画像の特徴量をパラ
メータとして抽出する特徴量抽出回路42と、前記抽出
したパラメータを符号化制御信号の指示により記録保持
し、かつ過去の複数の入力画像で前記抽出したパラメー
タを参照パラメータとして出力するパラメータメモリ4
4と、前記抽出したパラメータを前記複数の参照パラメ
ータと比較して類似度の最も大きい参照パラメータを選
択し、前記最大類似度の値に応じて前記符号化制御信号
を出力するか参照制御信号を復号化側に送信するかのい
ずれか一方をおこなう比較回路43と、前記入力画像を
前記符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路41とから
構成される符号化装置と、受信した一連の前記符号化デ
ータを復号化して復号画像を生成し、表示再生のための
出力画像として出力する画像復号化回路46と、前記復
号画像を記録保持し、かつ前記符号化データを受信しな
い場合には前記参照制御信号の指示により前記保持した
複数の復号画像から一つを選択して出力画像として出力
する画像メモリ45とから構成されている。
【0023】図4の例では、符号化側では、図1を用い
て前記説明したのと同様の方法で入力画像の符号化デー
タ402と参照制御信号406を出力する。復号化側で
は、画像復号化回路46で符号化データ402を復号化
し復号画像407を出力する。同時に復号画像407は
表示再生のための出力画像408としても出力する。
て前記説明したのと同様の方法で入力画像の符号化デー
タ402と参照制御信号406を出力する。復号化側で
は、画像復号化回路46で符号化データ402を復号化
し復号画像407を出力する。同時に復号画像407は
表示再生のための出力画像408としても出力する。
【0024】画像メモリ45は復号画像407を記録保
持する。また符号化データ402の代わりに参照制御信
号406を受信した場合には、画像メモリ45は記録保
持してある複数の復号画像の中から参照選択信号406
が指示するものを一つ選択して表示再生のための出力画
像408として出力する。なお前記記録保持に際して、
画像メモリ45が既に一杯で追加記録が困難な場合に
は、既に記録してある複数の復号画像の中で適当なもの
を一つ削除して、新ためて前記復号画像407を追加記
録する。前記削除する復号画像の選択方法は、パラメー
タメモリ44において削除するパラメータの選択方法と
同じ方法を用いる。また記録保持可能な最大の復号画像
の数も、前記説明したパラメータメモリ44において登
録可能な最大のパラメータの数と同一にする。以上の設
定により画像メモリ45の記録の更新と符号化側でのパ
ラメータメモリ44の記録の更新とを同期して自動的に
実現できる。
持する。また符号化データ402の代わりに参照制御信
号406を受信した場合には、画像メモリ45は記録保
持してある複数の復号画像の中から参照選択信号406
が指示するものを一つ選択して表示再生のための出力画
像408として出力する。なお前記記録保持に際して、
画像メモリ45が既に一杯で追加記録が困難な場合に
は、既に記録してある複数の復号画像の中で適当なもの
を一つ削除して、新ためて前記復号画像407を追加記
録する。前記削除する復号画像の選択方法は、パラメー
タメモリ44において削除するパラメータの選択方法と
同じ方法を用いる。また記録保持可能な最大の復号画像
の数も、前記説明したパラメータメモリ44において登
録可能な最大のパラメータの数と同一にする。以上の設
定により画像メモリ45の記録の更新と符号化側でのパ
ラメータメモリ44の記録の更新とを同期して自動的に
実現できる。
【0025】次に、本発明の第2の動画像の符号復号化
方法および装置の実施例を図2を用いて説明する。図2
は本発明の動画像の符号復号化方法を実現する装置の一
実施例のブロック図である。
方法および装置の実施例を図2を用いて説明する。図2
は本発明の動画像の符号復号化方法を実現する装置の一
実施例のブロック図である。
【0026】この動画像の符号復号化装置は、入力画像
の特徴量をパラメータとして抽出する特徴量抽出回路2
2と、前記抽出したパラメータを符号化制御信号の指示
により記録保持し、かつ過去に前記記録した複数のパラ
メータを参照パラメータとして出力するパラメータメモ
リ24と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれかをおこなう比較回路23と、前記入力画像を
前記符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路21と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を求め合成パラメータとして復号化側に送信する
差分器25とから構成される符号化装置と、受信した前
記符号化データを記録保持するか前記参照制御信号の指
示により前記記録した複数の符号化データから一つを選
択して参照データとして出力する符号化データメモリ2
6と、前記符号化データまたは前記参照データのいずれ
かを復号化して復号画像として出力する画像復号化回路
27と、前記合成パラメータを利用して前記復号画像を
変形合成し出力画像を出力する画像合成回路28とから
構成される復号化装置からなる。
の特徴量をパラメータとして抽出する特徴量抽出回路2
2と、前記抽出したパラメータを符号化制御信号の指示
により記録保持し、かつ過去に前記記録した複数のパラ
メータを参照パラメータとして出力するパラメータメモ
リ24と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれかをおこなう比較回路23と、前記入力画像を
前記符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路21と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を求め合成パラメータとして復号化側に送信する
差分器25とから構成される符号化装置と、受信した前
記符号化データを記録保持するか前記参照制御信号の指
示により前記記録した複数の符号化データから一つを選
択して参照データとして出力する符号化データメモリ2
6と、前記符号化データまたは前記参照データのいずれ
かを復号化して復号画像として出力する画像復号化回路
27と、前記合成パラメータを利用して前記復号画像を
変形合成し出力画像を出力する画像合成回路28とから
構成される復号化装置からなる。
【0027】本実施例の動作を説明する。ここでは過去
の一連の入力画像201から選択した複数枚の画像が既
に符号復号化処理済であることを前提としたうえで、現
在の入力画像201に対する符号復号化処理の動作を説
明する。
の一連の入力画像201から選択した複数枚の画像が既
に符号復号化処理済であることを前提としたうえで、現
在の入力画像201に対する符号復号化処理の動作を説
明する。
【0028】符号化側では、まず特徴量抽出回路22で
入力画像201を解析し、画像の特徴量であるパラメー
タ203を抽出する。前記抽出パラメータ203として
は図3の(a),(b),(c)の例で前記説明したパ
ラメータなどを組み合わせて用いる。
入力画像201を解析し、画像の特徴量であるパラメー
タ203を抽出する。前記抽出パラメータ203として
は図3の(a),(b),(c)の例で前記説明したパ
ラメータなどを組み合わせて用いる。
【0029】比較回路23では抽出パラメータ203を
パラメータメモリ24が供給する複数の参照パラメータ
204と比較し、最も類似度の高い参照パラメータを選
択する。また比較回路23は抽出パラメータ203と前
記選択したパラメータとの相違度係数を予め定めた閾値
と比較し、判定結果に応じて参照制御信号206または
符号化制御信号205のいずれかを出力する。具体的に
は前記相違度係数が予め定めた閾値より小さい場合に
は、前記選択したパラメータに対応するデータインデッ
クスを参照選択信号206として復号化側へ伝送する。
前記データインデックスは前記選択したパラメータの元
の入力画像を符号化した符号化データ202にも1対1
で対応する。一方、前記相違度係数が予め定めた閾値よ
りも大きい場合には、参照選択信号206は出力せず現
在の入力画像201の符号化と抽出パラメータ203の
記録保持を指示する符号化制御信号205を出力する。
なお前記閾値は一連の符号復号化処理に先立って固定値
に設定してもよく、あるいは前記抽出パラメータの変動
の激しさに対応して可変としてもよい。
パラメータメモリ24が供給する複数の参照パラメータ
204と比較し、最も類似度の高い参照パラメータを選
択する。また比較回路23は抽出パラメータ203と前
記選択したパラメータとの相違度係数を予め定めた閾値
と比較し、判定結果に応じて参照制御信号206または
符号化制御信号205のいずれかを出力する。具体的に
は前記相違度係数が予め定めた閾値より小さい場合に
は、前記選択したパラメータに対応するデータインデッ
クスを参照選択信号206として復号化側へ伝送する。
前記データインデックスは前記選択したパラメータの元
の入力画像を符号化した符号化データ202にも1対1
で対応する。一方、前記相違度係数が予め定めた閾値よ
りも大きい場合には、参照選択信号206は出力せず現
在の入力画像201の符号化と抽出パラメータ203の
記録保持を指示する符号化制御信号205を出力する。
なお前記閾値は一連の符号復号化処理に先立って固定値
に設定してもよく、あるいは前記抽出パラメータの変動
の激しさに対応して可変としてもよい。
【0030】差分器25では抽出パラメータ203と前
記選択した参照パラメータとの差分を求め、合成パラメ
ータ207として復号化側へ送信する。具体的には図3
の(a)の例のように抽出パラメータが被写体領域の中
心座標位置gi と主軸の傾きθi ならば、最適な参照パ
ラメータgz ,θz との差分 (d(gi ),d(θi ) )=(gi −gz ,θi −θ
z ) を差分パラメータ207とする。また図3の(b)の例の
ように抽出パラメータが被写体領域の複数の特徴点(p
i ,qi ,ri ,si )ならば、最適な参照パラメータ
(pz ,qz ,rz ,sz )との差分 (d(pi ),d(qi ),d(ri ),d(si ))
=(pi −pz ,qi−qz ,ri −rz ,si −
sz ) を差分パラメータ207とする。あるいは図3の(c)
の例のように抽出パラメータが被写体領域の局所部分の
状態をあらわす値(fi ,eri ,rli ,mi)なら
ば、前記最適な参照パラメータ(fz ,erz ,e
lz ,mz )との差分 (d(fi ),d(eri ),d(eli ),d
(mi ))=(fi −fz ,eri −erz ,eli −
elz ,mi −mz ) を差分パラメータ207とする。なお比較回路23が参
照制御信号206を出力しない場合には、合成パラメー
タ207の前記送信は行わない。画像符号化回路21は
符号化制御信号205の指示により現在の入力画像20
1を符号化し符号化データ202を復号化側へ送信す
る。
記選択した参照パラメータとの差分を求め、合成パラメ
ータ207として復号化側へ送信する。具体的には図3
の(a)の例のように抽出パラメータが被写体領域の中
心座標位置gi と主軸の傾きθi ならば、最適な参照パ
ラメータgz ,θz との差分 (d(gi ),d(θi ) )=(gi −gz ,θi −θ
z ) を差分パラメータ207とする。また図3の(b)の例の
ように抽出パラメータが被写体領域の複数の特徴点(p
i ,qi ,ri ,si )ならば、最適な参照パラメータ
(pz ,qz ,rz ,sz )との差分 (d(pi ),d(qi ),d(ri ),d(si ))
=(pi −pz ,qi−qz ,ri −rz ,si −
sz ) を差分パラメータ207とする。あるいは図3の(c)
の例のように抽出パラメータが被写体領域の局所部分の
状態をあらわす値(fi ,eri ,rli ,mi)なら
ば、前記最適な参照パラメータ(fz ,erz ,e
lz ,mz )との差分 (d(fi ),d(eri ),d(eli ),d
(mi ))=(fi −fz ,eri −erz ,eli −
elz ,mi −mz ) を差分パラメータ207とする。なお比較回路23が参
照制御信号206を出力しない場合には、合成パラメー
タ207の前記送信は行わない。画像符号化回路21は
符号化制御信号205の指示により現在の入力画像20
1を符号化し符号化データ202を復号化側へ送信す
る。
【0031】またパラメータメモリ24も符号化制御信
号205の指示により現在の抽出パラメータ203を追
加記録する。パラメータメモリ24は過去に符号復号化
済の前記複数枚の入力画像のそれぞれに対して抽出した
パラメータを記録保持しており、これらを複数の参照パ
ラメータ204として出力する。なお前記追加記録に際
してパラメータメモリ204が一杯で追加が困難な場合
には、既に記録されているパラメータのうち適当なもの
を削除し、新ためて前記抽出パラメータ203を追加記
録する。前記削除するパラメータの選択は、前記説明し
た方法により比較回路23で最適な参照パラメータとし
て選択された履歴を利用して行う。具体的には比較回路
23が前記選択した時刻を参照パラメータ毎に記録して
おき、前記最後に選択された時刻が最も古いパラメータ
を削除する。あるいは現在までに至る複数フレーム期間
で前記選択された回数を参照パラメータ毎に累計してお
き、前記選択回数が最も少ないパラメータを削除しても
よい。
号205の指示により現在の抽出パラメータ203を追
加記録する。パラメータメモリ24は過去に符号復号化
済の前記複数枚の入力画像のそれぞれに対して抽出した
パラメータを記録保持しており、これらを複数の参照パ
ラメータ204として出力する。なお前記追加記録に際
してパラメータメモリ204が一杯で追加が困難な場合
には、既に記録されているパラメータのうち適当なもの
を削除し、新ためて前記抽出パラメータ203を追加記
録する。前記削除するパラメータの選択は、前記説明し
た方法により比較回路23で最適な参照パラメータとし
て選択された履歴を利用して行う。具体的には比較回路
23が前記選択した時刻を参照パラメータ毎に記録して
おき、前記最後に選択された時刻が最も古いパラメータ
を削除する。あるいは現在までに至る複数フレーム期間
で前記選択された回数を参照パラメータ毎に累計してお
き、前記選択回数が最も少ないパラメータを削除しても
よい。
【0032】復号化側では、符号化データメモリ26で
受信した符号化データ202を記録保持する。また受信
した符号化データ202は直接に画像符号化回路27に
供給される。一方、符号化データ202の代わりに参照
選択信号206を受信した場合には、符号化データメモ
リ26は記録保持してある複数の符号化データの中から
参照選択信号206が指示するものを一つ選択して参照
データ208として出力する。なお前記記録保持に際し
て、符号化データメモリ26が既に一杯で追加記録が困
難な場合には、既に記録してある複数の符号化データの
中で適当なものを一つ削除して、新ためて前記符号化デ
ータ202を追加記録する。前記削除する符号化データ
の選択方法は、前記説明したパラメータメモリ24にお
いて削除するパラメータの選択方法と同じ方法を用い
る。また記録保持可能な最大の符号化データの数も、前
記説明したパラメータメモリ24において記録可能な最
大のパラメータの数と同一にする。以上の設定により符
号化データメモリ26での記録の更新と符号化側でのパ
ラメータメモリ24の記録の更新とを同期して自動的に
実現できる。
受信した符号化データ202を記録保持する。また受信
した符号化データ202は直接に画像符号化回路27に
供給される。一方、符号化データ202の代わりに参照
選択信号206を受信した場合には、符号化データメモ
リ26は記録保持してある複数の符号化データの中から
参照選択信号206が指示するものを一つ選択して参照
データ208として出力する。なお前記記録保持に際し
て、符号化データメモリ26が既に一杯で追加記録が困
難な場合には、既に記録してある複数の符号化データの
中で適当なものを一つ削除して、新ためて前記符号化デ
ータ202を追加記録する。前記削除する符号化データ
の選択方法は、前記説明したパラメータメモリ24にお
いて削除するパラメータの選択方法と同じ方法を用い
る。また記録保持可能な最大の符号化データの数も、前
記説明したパラメータメモリ24において記録可能な最
大のパラメータの数と同一にする。以上の設定により符
号化データメモリ26での記録の更新と符号化側でのパ
ラメータメモリ24の記録の更新とを同期して自動的に
実現できる。
【0033】画像復号化回路27はいずれか一つ供給さ
れた符号化データ202または参照データ208を復号
化し復号画像209を出力する。
れた符号化データ202または参照データ208を復号
化し復号画像209を出力する。
【0034】画像合成回路28は受信した合成パラメー
タ207を利用して復号画像209に変形合成処理をお
こない表示再生のための出力画像210として出力す
る。具体的には、図3の(a)の例を用いて前記説明し
たように合成パラメータ207が被写体領域の中心座標
位置と主軸の傾きの変位量d(gi ),d(θi )なら
ば、被写体領域を構成する画素毎にd(gi )の並行移
動と前中心位置gi 周りにd(θi )の回転移動を行
う。また図3の(b)の例を用いて前記説明したように
合成パラメータ207が被写体領域の複数の特徴点の座
標位置の変位量d(pi ),d(gi ),d(ri ),
d(si )ならば、該被写体領域を構成する画素毎に次
式であらわされる並行移動を行う。
タ207を利用して復号画像209に変形合成処理をお
こない表示再生のための出力画像210として出力す
る。具体的には、図3の(a)の例を用いて前記説明し
たように合成パラメータ207が被写体領域の中心座標
位置と主軸の傾きの変位量d(gi ),d(θi )なら
ば、被写体領域を構成する画素毎にd(gi )の並行移
動と前中心位置gi 周りにd(θi )の回転移動を行
う。また図3の(b)の例を用いて前記説明したように
合成パラメータ207が被写体領域の複数の特徴点の座
標位置の変位量d(pi ),d(gi ),d(ri ),
d(si )ならば、該被写体領域を構成する画素毎に次
式であらわされる並行移動を行う。
【0035】(lp×d(pi )+lq×d(qi )+
lr×d(ri )+ls×d(si))/(lp+lq
+lr+ls) ここで(lp,lq,lr,ls)は注目画素と特徴点
(pi ,qi ,ri ,si )のそれぞれとの距離に逆比
例する係数である。あるいは図3の(c)の例を用いて前
記説明したように合成パラメータ207が被写体領域の
局所部分の状態の変位量d(fi ),d(eri ),d
(eli ),d(mi )ならば、パラメータの要素に対
応する領域毎に移動および変形処理を実行する。
lr×d(ri )+ls×d(si))/(lp+lq
+lr+ls) ここで(lp,lq,lr,ls)は注目画素と特徴点
(pi ,qi ,ri ,si )のそれぞれとの距離に逆比
例する係数である。あるいは図3の(c)の例を用いて前
記説明したように合成パラメータ207が被写体領域の
局所部分の状態の変位量d(fi ),d(eri ),d
(eli ),d(mi )ならば、パラメータの要素に対
応する領域毎に移動および変形処理を実行する。
【0036】なお前記説明した一連の符号復号化処理は
図5に示した構成例で実現することも可能である。図5
の動画像の符号復号化装置は、入力画像の特徴量をパラ
メータとして抽出する特徴量抽出回路52と、前記抽出
したパラメータを前記符号化制御信号の指示により記録
保持し、かつ過去の複数の入力画像で前記抽出したパラ
メータを参照パラメータとして出力するパラメータメモ
リ54と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれか一方をおこなう比較回路53と、前記入力画
像を符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路51と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を求め合成パラメータとして復号化側に送信する
差分器55から構成される符号化装置と、受信した一連
の前記符号化データを復号化して復号画像を生成し、表
示再生のための出力画像として出力する画像復号化回路
56と、前記復号画像を記録保持し、かつ前記符号化デ
ータを受信しない場合には参照制御信号の指示により前
記保持した複数の復号画像から一つを選択して参照画像
として出力する画像メモリ57と、受信した合成パラメ
ータを利用して前記参照画像を変形合成して出力画像を
生成し、表示再生のために出力する画像合成回路58と
から構成なる。
図5に示した構成例で実現することも可能である。図5
の動画像の符号復号化装置は、入力画像の特徴量をパラ
メータとして抽出する特徴量抽出回路52と、前記抽出
したパラメータを前記符号化制御信号の指示により記録
保持し、かつ過去の複数の入力画像で前記抽出したパラ
メータを参照パラメータとして出力するパラメータメモ
リ54と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれか一方をおこなう比較回路53と、前記入力画
像を符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路51と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を求め合成パラメータとして復号化側に送信する
差分器55から構成される符号化装置と、受信した一連
の前記符号化データを復号化して復号画像を生成し、表
示再生のための出力画像として出力する画像復号化回路
56と、前記復号画像を記録保持し、かつ前記符号化デ
ータを受信しない場合には参照制御信号の指示により前
記保持した複数の復号画像から一つを選択して参照画像
として出力する画像メモリ57と、受信した合成パラメ
ータを利用して前記参照画像を変形合成して出力画像を
生成し、表示再生のために出力する画像合成回路58と
から構成なる。
【0037】図5の例では、符号化側では、図2を用い
て前記説明したのと同様の方法で入力画像の符号化デー
タ502と参照制御信号506および合成パラメータ5
07を出力する。復号化側では、画像復号化回路56で
符号化データ502を復号化し復号画像508を出力す
る。同時に復号画像508は表示再生のための出力画像
510として出力する。
て前記説明したのと同様の方法で入力画像の符号化デー
タ502と参照制御信号506および合成パラメータ5
07を出力する。復号化側では、画像復号化回路56で
符号化データ502を復号化し復号画像508を出力す
る。同時に復号画像508は表示再生のための出力画像
510として出力する。
【0038】画像メモリ57は復号画像508を記録保
持する。また符号化データ502の代わりに参照制御信
号506を受信した場合には、画像メモリ57は記録保
持してある複数の復号画像の中から参照選択信号506
が指示するものを一つ選択して参照画像509として出
力する。なお前記記録保持に際して、画像メモリ57が
既に一杯で追加記録が困難な場合には、既に記録してあ
る複数の復号画像の中で適当なものを一つ削除して、新
ためて前記復号画像508を追加記録する。前記削除す
る復号画像の選択方法は、パラメータメモリ54におい
て削除するパラメータの選択方法と同じ方法を用いる。
また記録保持可能な最大の復号画像の数も、前記説明し
たパラメータメモリ54において記録可能な最大のパラ
メータの数と同一にする。以上の設定により画像メモリ
57の記録の更新と符号化側でのパラメータメモリ54
の記録の更新とを同期して自動的に実現できる。
持する。また符号化データ502の代わりに参照制御信
号506を受信した場合には、画像メモリ57は記録保
持してある複数の復号画像の中から参照選択信号506
が指示するものを一つ選択して参照画像509として出
力する。なお前記記録保持に際して、画像メモリ57が
既に一杯で追加記録が困難な場合には、既に記録してあ
る複数の復号画像の中で適当なものを一つ削除して、新
ためて前記復号画像508を追加記録する。前記削除す
る復号画像の選択方法は、パラメータメモリ54におい
て削除するパラメータの選択方法と同じ方法を用いる。
また記録保持可能な最大の復号画像の数も、前記説明し
たパラメータメモリ54において記録可能な最大のパラ
メータの数と同一にする。以上の設定により画像メモリ
57の記録の更新と符号化側でのパラメータメモリ54
の記録の更新とを同期して自動的に実現できる。
【0039】画像合成回路58では受信した合成パラメ
ータ507を利用して参照画像509を変形合成し表示
再生のための出力画像510として出力する。
ータ507を利用して参照画像509を変形合成し表示
再生のための出力画像510として出力する。
【0040】また図5の例では、符号化側の比較回路5
3で現在の抽出パラメータ503に類似した複数の参照
パラメータを選択し、参照制御信号506と合成パラメ
ータ507とをそれぞれ複数伝送してもよい。この場合
に復号化側では、画像メモリ57から参照制御信号50
6の指示する複数の参照画像509を読み出し、画像合
成回路58で合成パラメータ507を利用して一つの画
像510を合成し出力する。前記複数の参照パラメータ
を選択した場合の動作の一例を図6を用いて説明する。
3で現在の抽出パラメータ503に類似した複数の参照
パラメータを選択し、参照制御信号506と合成パラメ
ータ507とをそれぞれ複数伝送してもよい。この場合
に復号化側では、画像メモリ57から参照制御信号50
6の指示する複数の参照画像509を読み出し、画像合
成回路58で合成パラメータ507を利用して一つの画
像510を合成し出力する。前記複数の参照パラメータ
を選択した場合の動作の一例を図6を用いて説明する。
【0041】図6の例では、あらかじめパラメータメモ
リに過去の複数の入力画像で抽出したパラメータを参照
パラメータとして保持している。現在の入力画像I(t
c )で抽出したパラメータP(tc )=(fc ,e
rc ,elc ,mc )を前記参照パラメータと比較し、
P(tc )に類似したパラメータP(t1 ),P
(t2 ),P(t3 )を選択する。この選択結果は図5
の参照制御信号506として復号化側へ伝送する。また
現在の抽出パラメータの各要素毎に前記選択した複数の
参照パラメータと最も類似したものを選択しSel(t
c )とした。具体的には現在の入力画像I(tc )と比
較して、顔部分の中心座標位置では画像I(t1 )のパ
ラメータf1を選択し、目の状態は画像I(t3 )のパ
ラメータ(er3 ,el3 )を選択し、口の状態は画像
I(t2 )のパラメータm2 を選択している。更に前記
fc ,f1 は座標位置をあらわす簡単な値なので差分を
求めDif(fc )とした。Sel(tc )とDif
(fc )とは併せて図5の合成パラメータ507として
復号化側へ伝送する。復号化側では、図5において参照
制御信号506により画像メモリ57から3枚の参照画
像D(t1 ),D(t2 ),D(t3 )を読み出す。こ
こでD(t1 ),D(t2 ),D(t3 )はそれぞれ前
記入力画像I(t1 ),I(t2 ),I(t3 )を符号
復号化した復号画像である。画像合成回路58では、前
記合成パラメータ507を利用して前記3枚の参照画像
D(t1 ),D(t2 ),D(t3 )から1枚の画像を
合成し出力画像510として出力する。具体的には顔部
分全体を参照画像D(t1 )から抽出し、この上に参照
画像D(t3 )から切り出した両目の部分と参照画像D
(t2 )から切り出した口の部分を貼り重ねて出力画像
510を合成する。
リに過去の複数の入力画像で抽出したパラメータを参照
パラメータとして保持している。現在の入力画像I(t
c )で抽出したパラメータP(tc )=(fc ,e
rc ,elc ,mc )を前記参照パラメータと比較し、
P(tc )に類似したパラメータP(t1 ),P
(t2 ),P(t3 )を選択する。この選択結果は図5
の参照制御信号506として復号化側へ伝送する。また
現在の抽出パラメータの各要素毎に前記選択した複数の
参照パラメータと最も類似したものを選択しSel(t
c )とした。具体的には現在の入力画像I(tc )と比
較して、顔部分の中心座標位置では画像I(t1 )のパ
ラメータf1を選択し、目の状態は画像I(t3 )のパ
ラメータ(er3 ,el3 )を選択し、口の状態は画像
I(t2 )のパラメータm2 を選択している。更に前記
fc ,f1 は座標位置をあらわす簡単な値なので差分を
求めDif(fc )とした。Sel(tc )とDif
(fc )とは併せて図5の合成パラメータ507として
復号化側へ伝送する。復号化側では、図5において参照
制御信号506により画像メモリ57から3枚の参照画
像D(t1 ),D(t2 ),D(t3 )を読み出す。こ
こでD(t1 ),D(t2 ),D(t3 )はそれぞれ前
記入力画像I(t1 ),I(t2 ),I(t3 )を符号
復号化した復号画像である。画像合成回路58では、前
記合成パラメータ507を利用して前記3枚の参照画像
D(t1 ),D(t2 ),D(t3 )から1枚の画像を
合成し出力画像510として出力する。具体的には顔部
分全体を参照画像D(t1 )から抽出し、この上に参照
画像D(t3 )から切り出した両目の部分と参照画像D
(t2 )から切り出した口の部分を貼り重ねて出力画像
510を合成する。
【0042】
【発明の効果】以上説明したように本発明では、過去に
符号化した画像の特徴量を符号化側で履歴情報として保
持し、かつ復号化側では受信した一連の符号化データを
記録保持しておき、新たな入力画像に対しては類似した
画像を過去に符号復号化した履歴がある場合には、前記
類似画像を選択する制御信号のみを伝送し、復号化側で
は前記保持してある類似画像をそのままかあるいは変形
合成して表示する。従って、入力画像上でのフレーム間
の変化が少ない場合や、あるフレーム期間を隔てて類似
した入力画像が再び現れる様な場合には、少ないデータ
伝送量のみで画品質に優れかつ入力画像に類似した自然
な画像を復号化側で表示することが可能となる。
符号化した画像の特徴量を符号化側で履歴情報として保
持し、かつ復号化側では受信した一連の符号化データを
記録保持しておき、新たな入力画像に対しては類似した
画像を過去に符号復号化した履歴がある場合には、前記
類似画像を選択する制御信号のみを伝送し、復号化側で
は前記保持してある類似画像をそのままかあるいは変形
合成して表示する。従って、入力画像上でのフレーム間
の変化が少ない場合や、あるフレーム期間を隔てて類似
した入力画像が再び現れる様な場合には、少ないデータ
伝送量のみで画品質に優れかつ入力画像に類似した自然
な画像を復号化側で表示することが可能となる。
【図1】本発明の第1の動画像の符号復号化方式の基本
構成図である。
構成図である。
【図2】本発明の第2の動画像の符号復号化方式の基本
構成図である。
構成図である。
【図3】画像の特徴量の例を説明する図である。
【図4】本発明の第1の動画像の符号復号化方式を実現
する一実施例の構成図である。
する一実施例の構成図である。
【図5】本発明の第2の動画像の符号復号化方式を実現
する一実施例の構成図である。
する一実施例の構成図である。
【図6】本発明の第2の動画像の符号復号化方式の一実
施例を説明する図である。
施例を説明する図である。
11,21,41,51 画像符号化回路 12,22,42,52 特徴量抽出回路 13,23,43,53 比較回路 14,24,44,54 パラメータメモリ 15,26 符号化データメモリ 16,27,45,56 画像復号化回路 25,55 差分器 28,58 画像合成回路 46,57 画像メモリ 101,201,401,501 入力画像 102,202,402,502 符号化データ 103,203,403,503 抽出パラメータ 104,204,404,504 参照パラメータ 105,205,405,505 符号化制御信号 106,206,406,506 参照制御信号 107,208 参照データ 108,210,408,510 出力画像 207,507 合成パラメータ 209,407,508 復号画像 509 参照画像
Claims (2)
- 【請求項1】 動画像の符号復号化装置において、 符号化装置は、入力画像の特徴量をパラメータとして抽
出する手段と、前記抽出したパラメータを符号化制御信
号の指示により記録保持し、かつ過去に前記記録した複
数のパラメータを参照パラメータとして出力する手段
と、前記抽出したパラメータを前記複数の参照パラメー
タと比較して類似度の最も大きい参照パラメータを選択
し、前記抽出したパラメータと前記最大類似度を有する
参照パラメータとの差分の値の大きさを予め定めた閾値
と比較し、前記閾値より大きい場合には前記符号化制御
信号を出力し、それ以外の場合には参照制御信号を復号
化側に送信する手段と、前記入力画像を前記符号化制御
信号の指示により符号化し、符号化データとして復号化
側に送信する手段とを備え、 復号化装置は、前記入力画像毎に前記符号化データまた
は前記参照制御信号のいずれかを符号化側から受信し、
前記符号化データを受信した場合はこれを記録保持し、
それ以外の場合は前記受信した参照制御信号の指示に従
い、過去に前記記録した複数の符号化データから一つを
選択し、参照データとして出力する手段と、前記符号化
データまたは前記参照データのいずれかを復号化して出
力画像として出力する手段とを備えることを特徴とする
動画像の符号復号化装置。 - 【請求項2】 動画像の符号復号化装置において、 符号化装置は、入力画像の特徴量をパラメータとして抽
出する手段と、前記抽出したパラメータを符号化制御信
号の指示により記録保持し、かつ過去に前記記録した複
数のパラメータを参照パラメータとして出力する手段
と、前記抽出したパラメータを前記複数の参照パラメー
タと比較して類似度の最も大きい参照パラメータを選択
し、前記抽出したパラメータと前記最大類似度を有する
参照パラメータとの差分の値の大きさを予め定めた閾値
と比較し、前記閾値より大きい場合には前記符号化制御
信号を出力し、それ以外の場合には参照制御信号を復号
化側に送信する手段と、 前記入力画像を前記符号化制御信号の指示により符号化
し、符号化データとして復号化側に送信する手段と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を合成パラメータとして復号化側に送信する手段
とを備え、 復号化装置は、入力画像毎に前記符号化データまたは前
記参照制御信号のいずれかを符号化側から受信して、前
記符号化データを受信した場合はこれを記録保持し、そ
れ以外の場合は前記受信した参照制御信号の指示に従
い、過去に前記記録した複数の符号化データから一つを
選択し、参照データとして出力する手段と、 前記符号化データまたは前記参照データのいずれかを復
号して復号画像として出力する手段と、前記合成パラメ
ータを利用して前記復号画像から出力画像を合成し出力
する手段とを備えることを特徴とする動画像の符号復号
化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12856793A JP2570964B2 (ja) | 1993-05-31 | 1993-05-31 | 動画像の符号復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12856793A JP2570964B2 (ja) | 1993-05-31 | 1993-05-31 | 動画像の符号復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06339132A JPH06339132A (ja) | 1994-12-06 |
JP2570964B2 true JP2570964B2 (ja) | 1997-01-16 |
Family
ID=14987954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12856793A Expired - Fee Related JP2570964B2 (ja) | 1993-05-31 | 1993-05-31 | 動画像の符号復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2570964B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3716866B2 (ja) * | 1993-07-12 | 2005-11-16 | ソニー株式会社 | デジタル画像信号の伝送装置及び受信装置 |
CN100484248C (zh) | 2001-10-17 | 2009-04-29 | 松下电器产业株式会社 | 动态图像编码方法 |
-
1993
- 1993-05-31 JP JP12856793A patent/JP2570964B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH06339132A (ja) | 1994-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100518100B1 (ko) | 화상처리장치및방법,및화상부호화장치및방법 | |
EP0731608B1 (en) | Image encoder and decoder with area selection | |
EP1261208B1 (en) | Encoding continuous image data | |
US4951140A (en) | Image encoding apparatus | |
US8165391B2 (en) | Image processing apparatus and image processing method to correct color misregistration near a boundary | |
US6803968B1 (en) | System and method for synthesizing images | |
US20070014354A1 (en) | Image coding apparatus with segment classification and segmentation-type motion prediction circuit | |
US5793429A (en) | Methods of estimating motion in image data and apparatus for performing same | |
EP1301042A2 (en) | Method for coding data of special effect | |
EP1061749B1 (en) | Moving picture decoder | |
US5623310A (en) | Apparatus for encoding a video signal employing a hierarchical image segmentation technique | |
Adolph et al. | 1.15 Mbit/s coding of video signals including global motion compensation | |
JP2000050305A (ja) | 映像の色差信号フィルタリング方法及び装置 | |
KR100574732B1 (ko) | 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체 | |
JP2570964B2 (ja) | 動画像の符号復号化装置 | |
JP4470280B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
US6526173B1 (en) | Method and system for compression encoding video signals representative of image frames | |
JPH0851599A (ja) | 画像情報変換装置 | |
JP3115866B2 (ja) | 画像符号化装置及び画像復号装置 | |
JP3334384B2 (ja) | 画像予測符号化方法 | |
JP2613325B2 (ja) | 画像符号化処理方法および画像復号化処理方法 | |
JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
JP3500112B2 (ja) | 画像符号化装置及び画像復号装置 | |
JP4552264B2 (ja) | エラー修整装置および方法 | |
EP1298934A1 (en) | Apparatus and method for image coding and decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960903 |
|
LAPS | Cancellation because of no payment of annual fees |