JP2570964B2

JP2570964B2 - 動画像の符号復号化装置

Info

Publication number: JP2570964B2
Application number: JP12856793A
Authority: JP
Inventors: 義弘宮本
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1993-05-31
Filing date: 1993-05-31
Publication date: 1997-01-16
Anticipated expiration: 2012-01-16
Also published as: JPH06339132A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像の符号復号化方法
および装置に関するものである。

【０００２】

【従来の技術】従来の技術では、動き補償フレーム間予
測処理を用いて動画像の符号復号化を行うことが一般的
であった。例として、ＣＣＩＴＴで国際標準化した動画
像の符号復号化方式Ｈ．２６１では、入力画像を１６画
素１６ラインのブロックに分割し、参照画像をもちいて
前記ブロック単位で動き補償フレーム間予測を実行す
る。前記参照画像としては最後に送信した画像符号化デ
ータを符号化装置内部で復号化して得た復号画像を用い
る。前記動き補償フレーム間予測に用いた補助情報と前
記予測に対する誤差信号を符号化して伝送する。

【０００３】また特開昭６２−０６８３８４号公報記載
の「画像通信方式」では入力画像から顔や腕など被写体
を構成する要素部分を抽出し、予めデータベースに保持
した標準部分データと抽出部分との差異を特徴パラメー
タとして符号化伝送する。復号化側では複数の前記標準
部分データを前記パラメータで変形し、組み合わせて再
生画像を合成する。

【０００４】

【発明が解決しようとする課題】従来の動き補償フレー
ム間予測方式Ｈ．２６１では、動き補償に用いた補助情
報と予測誤差信号を符号化し復号側に伝送する。このた
め伝送容量が小さい場合には、前記符号化データを十分
に伝送することができず復号画像上に著しい劣化を引き
起こす、あるいは復号画像のフレームレートが著しく低
下する等の問題点があった。また特開昭６２−０６８３
８４号公報記載の「画像通信方式」では、抽出したパラ
メータのみを符号化伝送するので小さな伝送容量で実現
できるものの、予め用意した標準部分データを変形して
再生画像を得るため、入力画像の微妙な特徴を表現でき
ず人工的で不自然な画像になる等の問題点があった。

【０００５】本発明の目的は、現在の入力画像を解析
し、過去に符号復号化した複数の入力画像と比較して入
力画像を符号化するか否かを判定し、前記符号化をしな
いと判定した場合には前記比較の中で最も類似した過去
の入力画像を選択する情報を復号化側へ伝送し、復号化
側では前記符号化した入力画像の符号化データを復号表
示しかつ記録保持しておき、前記選択情報を受信した場
合には前記保持した符号化データから対応するものを選
択して復号表示することで、伝送容量が小さい場合にも
入力画像に類似した画像を良好な画質で復号再生可能な
動画像の符号復号化方法および装置を提供することを目
的とする。

【０００６】

【課題を解決するための手段】本発明は、動画像の符号
復号化方法において、符号化に際しては、入力画像の特
徴量をパラメータとして抽出し、前記抽出したパラメー
タを符号化制御信号の指示により記録保持し、かつ過去
に前記記録した複数のパラメータを参照パラメータとし
て出力し、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側へ出力するか
のいずれかをおこない、前記入力画像を前記符号化制御
信号の指示により符号化し、符号化データとして復号化
側へ出力し、復号化に際しては、前記入力画像毎に前記
符号化データまたは前記参照制御信号のいずれかを符号
化側から入力して、前記符号化データを記録保持するか
過去に前記記録した複数の符号化データから前記参照制
御信号の指示により一つを選択して参照データとして出
力し、前記符号化データまたは前記参照データのいずれ
かを復号化して出力画像として出力する、ことを特徴と
する。

【０００７】本発明は、動画像の符号復号化装置におい
て、符号化装置は、入力画像の特徴量をパラメータとし
て抽出する手段と、前記抽出したパラメータを符号化制
御信号の指示により記録保持し、かつ過去に前記記録し
た複数のパラメータを参照パラメータとして出力する手
段と、前記抽出したパラメータを前記複数の参照パラメ
ータと比較して類似度の最も大きい参照パラメータを選
択し、前記最大類似度の値に応じて前記符号化制御信号
を出力するか参照制御信号を復号化側に送信するかのい
ずれかをおこなう手段と、前記入力画像を前記符号化制
御信号の指示により符号化し、符号化データとして復号
化側に送信する手段とを備え、復号化装置は、前記入力
画像毎に前記符号化データまたは前記参照制御信号のい
ずれかを符号化側から受信して、前記符号化データを記
録保持するか過去に前記記録した複数の符号化データか
ら前記参照制御信号の指示により一つを選択して参照デ
ータとして出力する手段と、前記符号化データまたは前
記参照データのいずれかを復号化して出力画像として出
力する手段とを備える、ことを特徴とする。

【０００８】また本発明は、動画像の符号復号化方法に
おいて、符号化に際しては、入力画像の特徴量をパラメ
ータとして抽出し、前記抽出したパラメータを符号化制
御信号の指示により記録保持し、かつ過去に前記記録し
た複数のパラメータを参照パラメータとして出力し、前
記抽出したパラメータを前記複数の参照パラメータと比
較して類似度の最も大きい参照パラメータを選択し、前
記最大類似度の値に応じて前記符号化制御信号を出力す
るか参照制御信号を復号化側へ出力するかのいずれかを
おこない、前記入力画像を前記符号化制御信号の指示に
より符号化し、符号化データとして復号化側へ出力し、
前記抽出したパラメータと前記選択した参照パラメータ
との差分を合成パラメータとして復号化側に出力し、復
号化に際しては、前記入力画像毎に前記符号化データま
たは前記参照制御信号のいずれかを符号化側から入力し
て、前記符号化データを記録保持するか前記保持した複
数の符号化データから前記参照制御信号の指示により一
つを選択して参照データとして出力し、前記符号化デー
タまたは前記参照データのいずれかを復号して復号画像
として出力し、前記合成パラメータを利用して前記復号
画像から出力画像を合成し出力する、ことを特徴とす
る。

【０００９】また本発明は、動画像の符号復号化装置に
おいて、符号化装置は、入力画像の特徴量をパラメータ
として抽出する手段と、前記抽出したパラメータを符号
化制御信号の指示により記録保持し、かつ過去に前記記
録した複数のパラメータを参照パラメータとして出力す
る手段と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれか一方をおこなう手段と、前記入力画像を前記
符号化制御信号の指示により符号化し、符号化データと
して復号化側に送信する手段と、前記抽出したパラメー
タと前記選択した参照パラメータとの差分を合成パラメ
ータとして復号化側に出力する手段とを備え、復号化装
置は、前記入力画像毎に前記符号化データまたは前記参
照制御信号のいずれかを符号化側から受信して、前記符
号化データを記録保持するか前記保持した複数の符号化
データから前記参照制御信号の指示により一つを選択し
て参照データとして出力する手段と前記符号化データま
たは前記参照データのいずれかを復号して復号画像とし
て出力する手段と、前記合成パラメータを利用して前記
復号画像から出力画像を合成し出力する手段とを備え
る、ことを特徴とする。

【００１０】

【実施例】本発明の第１の動画像の符号復号化方法およ
び装置の実施例を図１を用いて説明する。

【００１１】図１は、本発明の第１の動画像の符号復号
化方法を実現する装置の一実施例のブロック図である。

【００１２】この動画像の符号復号化装置は、入力画像
の特徴量をパラメータとして抽出する特徴量抽出回路１
２と、前記抽出したパラメータを符号化制御信号の指示
により記録保持し、かつ過去に前記記録したパラメータ
を参照パラメータとして出力するパラメータメモリ１４
と、前記抽出したパラメータを前記複数の参照パラメー
タと比較して類似度の最も大きい参照パラメータを選択
し、前記最大類似度の値に応じて前記符号化制御信号を
出力するか参照制御信号を復号化側に送信するかのいず
れかをおこなう比較回路１３と、前記入力画像を前記符
号化制御信号の指示により符号化し、符号化データとし
て復号化側に送信する画像符号化回路１１とから構成さ
れる符号化装置と、受信した前記符号化データを記録保
持するか前記参照制御信号の指示により前記記録した複
数の符号化データから一つを選択して参照データとして
出力する符号化データメモリ１５と、前記符号化データ
または前記参照データを復号化して出力画像として出力
する画像復号化回路１６とから構成される復号化装置と
からなる。

【００１３】本実施例の動作を説明する。ここでは過去
の一連の入力画像１０１から選択した複数枚の画像が既
に符号復号化処理済であることを前提としたうえで、現
在の入力画像１０１に対する符号復号化処理の動作を説
明する。

【００１４】符号化側では、まず特徴量抽出回路１２で
入力画像１０１を解析し、画像の特徴量であるパラメー
タ１０３を抽出する。前記抽出パラメータ１０３の例を
図３の（ａ），（ｂ），（ｃ）に示し、それぞれについ
て説明する。

【００１５】図３の（ａ）は時刻ｔ_iの入力画像Ｉ（ｔ
_i）から被写体領域を抽出し、その中心座標位置ｇ_iお
よび主軸の傾きθ_iとを前記パラメータとした例であ
る。この場合はまず入力画像の中の輝度もしくは色相の
変化の少ない閉領域を抽出して一つの被写体領域みな
す。次に前記被写体領域を構成する各画素の座標位置の
平均値を計算して前記ｇ_iとする。また前記被写体領域
の主軸を計算により求め、画像の垂直軸に対する傾きを
前記θ_iとする。図３の（ｂ）の例では時刻ｔ_iの入力
画像Ｉ（ｔ_i）から被写体領域を抽出し、被写体領域の
輪郭線上の複数の特徴点（ｐ_i，ｑ_i，ｒ_i，ｓ_i）の
座標位置をパラメータとした例である。この場合には前
記方法で入力画像から抽出した被写体領域の輪郭線を多
角形近似し、前記多角形の各頂点を特徴点（ｐ_i，
ｑ_i，ｒ_i，ｓ_i）とする。図３の（ｃ）は入力画像が
予め顔画像とわかっている場合に利用可能な例で、時刻
ｔ_iの入力画像Ｉ（ｔ_i）から顔全体と目および口の部
分を抽出し、顔部分の中心座標位置ｆ_iと目および口そ
れぞれの開閉状態を示す値（ｅｒ_i，ｅｌ_i，ｍ_i）と
を抽出パラメータとする。この場合にはまず入力画像か
ら肌色の色相をもつ楕円形領域を顔部分として抽出し、
その中心座標位置を前記ｆ_iとする。更に前記顔部分の
中で前記ｆ_iとの相対的な位置関係から目あるいは口の
位置を大まかに予測し、前記予測位置の近傍で輝度およ
び色相が周囲と異なる領域をそれぞれ目および口の部分
として抽出する。目および口の開閉状態は前記抽出した
部分の上下方向の大きさの値（ｅｒ_i，ｅｌ_i，ｍ_i）
で表す。前記説明した複数のパラメータはいずれか一つ
または複数を組み合わせて抽出パラメータ１０３とす
る。

【００１６】比較回路１３では抽出パラメータ１０３を
パラメータメモリ１４が供給する複数の参照パラメータ
１０４と比較し、最も類似度の高い参照パラメータを選
択する。前記選択では比較する２つのパラメータの差分
絶対値を相違度係数とし、前記係数の値が小さいほど類
似度が高いと判定する。またパラメータが複数の要素の
組である場合には、各要素毎の差分絶対値の重み付け加
算した値を相違度係数とする。前記重み付けの比率は均
一としてもよく、あるいは被写体外形輪郭線の特徴点な
ど誤検出の可能性の高いものは小さくし、領域中心の座
標位置など誤検出の可能性が低いものは大きくする。あ
るいは入力画像が顔画像でかつ抽出パラメータが種類の
異なる複数の要素からなる場合には、顔の表情の変化を
より正確に検出するために目や口の動きに関する要素の
前記重み付けを大きくしてもよい。

【００１７】比較回路１３は前記選択したパラメータで
の相違度係数を予め定めた閾値と比較し、判定結果に応
じて参照制御信号１０６または符号化制御信号１０５の
いずれかを出力する。具体的には前記相違度係数が予め
定めた閾値より小さい場合には、前記選択したパラメー
タに対応するデータインデックスを参照選択信号１０６
として復号化側へ伝送する。前記データインデックスは
前記選択したパラメータの元の入力画像を符号化した符
号化データ１０２にも１対１で対応する。参照選択信号
１０６を出力した場合には、以上で現在の入力画像１０
１に対する符号化処理は全て終了する。一方、前記相違
度係数が予め定めた閾値よりも大きい場合には、参照選
択信号１０６は出力せず現在の入力画像１０１の符号化
と抽出パラメータの記録保持を指示する符号化制御信号
１０５を出力する。すなわち現在の入力画像１０１が過
去に符号復号化した特定の画像に類似しているならば、
前記類似画像を復号化側で表示することを指示する簡単
な信号のみを伝送し、前記類似した画像が過去の符号化
履歴中に見つからない場合にのみ現在の入力画像１０１
そのものを符号化して復号化側へ送信する。なお前記閾
値は一連の符号復号化処理に先立って固定値に設定して
もよく、あるいは前記抽出パラメータの変動の激しさに
対応して可変としてもよい。具体例としては、前フレー
ムの入力画像から抽出したパラメータを比較回路１３内
部で遅延保持しておき、これと現在の入力画像での抽出
パラメータとのフレーム間差分絶対値ｄｐを比例係数と
し、前記閾値Ｔｈを式Ｔｈ＝（ｄｐ／ｄｎ）×Ｔｈ（ｉｎｉｔ）で画像フレーム毎に更新しても良い。ここでｄｎ，Ｔｈ
（ｉｎｉｔ）は一連の符号復号化処理に先立ってあらか
じめ定めた値である。

【００１８】画像符号化回路１１は符号化制御信号１０
５の指示により現在の入力画像１０１を符号化し符号化
データ１０２を復号化側へ送信する。前記符号化処理と
してはＩＳＯ／ＪＰＥＧで国際標準として定めた画像符
号化方式などをもちいることができる。具体的には入力
画像１０１を予め定めた大きさのブロックに分割して、
ブロック毎に離散コサイン変換、量子化およびジグザグ
スキャン変換し、可変長符号に置き換えて前記符号化デ
ータ１０２とする。また時間的に近接した入力画像を続
けて符号化する場合には、従来の技術で前記説明したＣ
ＣＩＴＴ．２６１などを用いることができる。具体的に
は最後に送信した符号化データを画像符号化回路１１の
内部の局所復号化装置で復号化してメモリに保持してお
き、前記復号化した画像を参照画像として動き補償フレ
ーム間予測符号化を現在の入力画像に対して実行する。

【００１９】またパラメータメモリ１４も符号化制御信
号１０５の指示により現在の抽出パラメータ１０３を追
加記録する。前記記録は現在の入力画像１０１を符号化
し復号化側へ送信したことを履歴情報として記録保持す
ることに相当する。パラメータメモリ１４は過去に符号
復号化済の前記複数枚の入力画像のそれぞれに対して抽
出したパラメータを記録保持しており、これらを複数の
参照パラメータ１０４として出力する。なお前記追加記
録に際してパラメータメモリ１０４が一杯で追加が困難
な場合には、既に記録されているパラメータのうち適当
なものを削除し、新ためて前記抽出パラメータ１０３を
追加記録する。前記削除するパラメータの選択は、前記
説明した方法により比較回路１３で最適な参照パラメー
タとして選択した履歴を利用して行う。具体的には比較
回路１３が前記選択した時刻を参照パラメータ毎に記録
しておき、前記選択された最後の時刻が最も古いパラメ
ータを削除する。あるいは現在までに至る複数フレーム
期間で前記選択された回数を参照パラメータ毎に累計し
ておき、前記選択回数が最も少ないパラメータを削除し
てもよい。

【００２０】復号化側では、符号化データメモリ１５で
受信した符号化データ１０２を記録保持する。また受信
した符号化データ１０２は直接に画像符号化回路１６に
供給される。一方、符号化データ１０２の代わりに参照
選択信号１０６を受信した場合には、符号化データメモ
リ１５は記録保持してある複数の符号化データの中から
参照選択信号１０６が指示するものを一つ選択して参照
データ１０７として出力する。なお前記記録保持に際し
て、符号化データメモリ１５が既に一杯で追加記録が困
難な場合には、既に記録してある複数の符号化データの
中で適当なものを一つ削除して、新ためて前記符号化デ
ータ１０２を追加記録する。前記削除する符号化データ
の選択方法は、前記説明したパラメータメモリ１４にお
いて削除するパラメータの選択方法と同じ方法を用い
る。また記録保持可能な最大の符号化データの数も、前
記説明したパラメータメモリ１４において登録可能な最
大のパラメータの数と同一にする。以上の設定により符
号化データメモリ１５の記録の更新と符号化側でのパラ
メータメモリ１４の記録の更新とを同期して自動的に実
現できる。

【００２１】画像復号化回路１６はいずれか一つ供給さ
れた符号化データ１０２または参照データ１０７を復号
化し、表示再生のための出力画像１０８を出力する。

【００２２】なお前記説明した一連の符号復号化処理は
図４に示した構成例で実現することも可能である。図４
の動画像の符号復号化装置は、入力画像の特徴量をパラ
メータとして抽出する特徴量抽出回路４２と、前記抽出
したパラメータを符号化制御信号の指示により記録保持
し、かつ過去の複数の入力画像で前記抽出したパラメー
タを参照パラメータとして出力するパラメータメモリ４
４と、前記抽出したパラメータを前記複数の参照パラメ
ータと比較して類似度の最も大きい参照パラメータを選
択し、前記最大類似度の値に応じて前記符号化制御信号
を出力するか参照制御信号を復号化側に送信するかのい
ずれか一方をおこなう比較回路４３と、前記入力画像を
前記符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路４１とから
構成される符号化装置と、受信した一連の前記符号化デ
ータを復号化して復号画像を生成し、表示再生のための
出力画像として出力する画像復号化回路４６と、前記復
号画像を記録保持し、かつ前記符号化データを受信しな
い場合には前記参照制御信号の指示により前記保持した
複数の復号画像から一つを選択して出力画像として出力
する画像メモリ４５とから構成されている。

【００２３】図４の例では、符号化側では、図１を用い
て前記説明したのと同様の方法で入力画像の符号化デー
タ４０２と参照制御信号４０６を出力する。復号化側で
は、画像復号化回路４６で符号化データ４０２を復号化
し復号画像４０７を出力する。同時に復号画像４０７は
表示再生のための出力画像４０８としても出力する。

【００２４】画像メモリ４５は復号画像４０７を記録保
持する。また符号化データ４０２の代わりに参照制御信
号４０６を受信した場合には、画像メモリ４５は記録保
持してある複数の復号画像の中から参照選択信号４０６
が指示するものを一つ選択して表示再生のための出力画
像４０８として出力する。なお前記記録保持に際して、
画像メモリ４５が既に一杯で追加記録が困難な場合に
は、既に記録してある複数の復号画像の中で適当なもの
を一つ削除して、新ためて前記復号画像４０７を追加記
録する。前記削除する復号画像の選択方法は、パラメー
タメモリ４４において削除するパラメータの選択方法と
同じ方法を用いる。また記録保持可能な最大の復号画像
の数も、前記説明したパラメータメモリ４４において登
録可能な最大のパラメータの数と同一にする。以上の設
定により画像メモリ４５の記録の更新と符号化側でのパ
ラメータメモリ４４の記録の更新とを同期して自動的に
実現できる。

【００２５】次に、本発明の第２の動画像の符号復号化
方法および装置の実施例を図２を用いて説明する。図２
は本発明の動画像の符号復号化方法を実現する装置の一
実施例のブロック図である。

【００２６】この動画像の符号復号化装置は、入力画像
の特徴量をパラメータとして抽出する特徴量抽出回路２
２と、前記抽出したパラメータを符号化制御信号の指示
により記録保持し、かつ過去に前記記録した複数のパラ
メータを参照パラメータとして出力するパラメータメモ
リ２４と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれかをおこなう比較回路２３と、前記入力画像を
前記符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路２１と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を求め合成パラメータとして復号化側に送信する
差分器２５とから構成される符号化装置と、受信した前
記符号化データを記録保持するか前記参照制御信号の指
示により前記記録した複数の符号化データから一つを選
択して参照データとして出力する符号化データメモリ２
６と、前記符号化データまたは前記参照データのいずれ
かを復号化して復号画像として出力する画像復号化回路
２７と、前記合成パラメータを利用して前記復号画像を
変形合成し出力画像を出力する画像合成回路２８とから
構成される復号化装置からなる。

【００２７】本実施例の動作を説明する。ここでは過去
の一連の入力画像２０１から選択した複数枚の画像が既
に符号復号化処理済であることを前提としたうえで、現
在の入力画像２０１に対する符号復号化処理の動作を説
明する。

【００２８】符号化側では、まず特徴量抽出回路２２で
入力画像２０１を解析し、画像の特徴量であるパラメー
タ２０３を抽出する。前記抽出パラメータ２０３として
は図３の（ａ），（ｂ），（ｃ）の例で前記説明したパ
ラメータなどを組み合わせて用いる。

【００２９】比較回路２３では抽出パラメータ２０３を
パラメータメモリ２４が供給する複数の参照パラメータ
２０４と比較し、最も類似度の高い参照パラメータを選
択する。また比較回路２３は抽出パラメータ２０３と前
記選択したパラメータとの相違度係数を予め定めた閾値
と比較し、判定結果に応じて参照制御信号２０６または
符号化制御信号２０５のいずれかを出力する。具体的に
は前記相違度係数が予め定めた閾値より小さい場合に
は、前記選択したパラメータに対応するデータインデッ
クスを参照選択信号２０６として復号化側へ伝送する。
前記データインデックスは前記選択したパラメータの元
の入力画像を符号化した符号化データ２０２にも１対１
で対応する。一方、前記相違度係数が予め定めた閾値よ
りも大きい場合には、参照選択信号２０６は出力せず現
在の入力画像２０１の符号化と抽出パラメータ２０３の
記録保持を指示する符号化制御信号２０５を出力する。
なお前記閾値は一連の符号復号化処理に先立って固定値
に設定してもよく、あるいは前記抽出パラメータの変動
の激しさに対応して可変としてもよい。

【００３０】差分器２５では抽出パラメータ２０３と前
記選択した参照パラメータとの差分を求め、合成パラメ
ータ２０７として復号化側へ送信する。具体的には図３
の（ａ）の例のように抽出パラメータが被写体領域の中
心座標位置ｇ_iと主軸の傾きθ_iならば、最適な参照パ
ラメータｇ_z，θ_zとの差分（ｄ（ｇ_i），ｄ（θ_i) ）＝（ｇ_i−ｇ_z，θ_i−θ
_z）を差分パラメータ２０７とする。また図３の(b)の例の
ように抽出パラメータが被写体領域の複数の特徴点（ｐ
_i，ｑ_i，ｒ_i，ｓ_i）ならば、最適な参照パラメータ
（ｐ_z，ｑ_z，ｒ_z，ｓ_z）との差分（ｄ（ｐ_i），ｄ（ｑ_i），ｄ（ｒ_i），ｄ（ｓ_i））
＝（ｐ_i−ｐ_z，ｑ_i−ｑ_z，ｒ_i−ｒ_z，ｓ_i−
ｓ_z）を差分パラメータ２０７とする。あるいは図３の（ｃ）
の例のように抽出パラメータが被写体領域の局所部分の
状態をあらわす値（ｆ_i，ｅｒ_i，ｒｌ_i，ｍ_i）なら
ば、前記最適な参照パラメータ（ｆ_z，ｅｒ_z，ｅ
ｌ_z，ｍ_z）との差分（ｄ（ｆ_i），ｄ（ｅｒ_i），ｄ（ｅｌ_i），ｄ
（ｍ_i））＝（ｆ_i−ｆ_z，ｅｒ_i−ｅｒ_z，ｅｌ_i−
ｅｌ_z，ｍ_i−ｍ_z）を差分パラメータ２０７とする。なお比較回路２３が参
照制御信号２０６を出力しない場合には、合成パラメー
タ２０７の前記送信は行わない。画像符号化回路２１は
符号化制御信号２０５の指示により現在の入力画像２０
１を符号化し符号化データ２０２を復号化側へ送信す
る。

【００３１】またパラメータメモリ２４も符号化制御信
号２０５の指示により現在の抽出パラメータ２０３を追
加記録する。パラメータメモリ２４は過去に符号復号化
済の前記複数枚の入力画像のそれぞれに対して抽出した
パラメータを記録保持しており、これらを複数の参照パ
ラメータ２０４として出力する。なお前記追加記録に際
してパラメータメモリ２０４が一杯で追加が困難な場合
には、既に記録されているパラメータのうち適当なもの
を削除し、新ためて前記抽出パラメータ２０３を追加記
録する。前記削除するパラメータの選択は、前記説明し
た方法により比較回路２３で最適な参照パラメータとし
て選択された履歴を利用して行う。具体的には比較回路
２３が前記選択した時刻を参照パラメータ毎に記録して
おき、前記最後に選択された時刻が最も古いパラメータ
を削除する。あるいは現在までに至る複数フレーム期間
で前記選択された回数を参照パラメータ毎に累計してお
き、前記選択回数が最も少ないパラメータを削除しても
よい。

【００３２】復号化側では、符号化データメモリ２６で
受信した符号化データ２０２を記録保持する。また受信
した符号化データ２０２は直接に画像符号化回路２７に
供給される。一方、符号化データ２０２の代わりに参照
選択信号２０６を受信した場合には、符号化データメモ
リ２６は記録保持してある複数の符号化データの中から
参照選択信号２０６が指示するものを一つ選択して参照
データ２０８として出力する。なお前記記録保持に際し
て、符号化データメモリ２６が既に一杯で追加記録が困
難な場合には、既に記録してある複数の符号化データの
中で適当なものを一つ削除して、新ためて前記符号化デ
ータ２０２を追加記録する。前記削除する符号化データ
の選択方法は、前記説明したパラメータメモリ２４にお
いて削除するパラメータの選択方法と同じ方法を用い
る。また記録保持可能な最大の符号化データの数も、前
記説明したパラメータメモリ２４において記録可能な最
大のパラメータの数と同一にする。以上の設定により符
号化データメモリ２６での記録の更新と符号化側でのパ
ラメータメモリ２４の記録の更新とを同期して自動的に
実現できる。

【００３３】画像復号化回路２７はいずれか一つ供給さ
れた符号化データ２０２または参照データ２０８を復号
化し復号画像２０９を出力する。

【００３４】画像合成回路２８は受信した合成パラメー
タ２０７を利用して復号画像２０９に変形合成処理をお
こない表示再生のための出力画像２１０として出力す
る。具体的には、図３の（ａ）の例を用いて前記説明し
たように合成パラメータ２０７が被写体領域の中心座標
位置と主軸の傾きの変位量ｄ（ｇ_i），ｄ（θ_i）なら
ば、被写体領域を構成する画素毎にｄ（ｇ_i）の並行移
動と前中心位置ｇ_i周りにｄ（θ_i）の回転移動を行
う。また図３の（ｂ）の例を用いて前記説明したように
合成パラメータ２０７が被写体領域の複数の特徴点の座
標位置の変位量ｄ（ｐ_i），ｄ（ｇ_i），ｄ（ｒ_i），
ｄ（ｓ_i）ならば、該被写体領域を構成する画素毎に次
式であらわされる並行移動を行う。

【００３５】（ｌｐ×ｄ（ｐ_i）＋ｌｑ×ｄ（ｑ_i）＋
ｌｒ×ｄ（ｒ_i）＋ｌｓ×ｄ（ｓ_i））／（ｌｐ＋ｌｑ
＋ｌｒ＋ｌｓ）ここで（ｌｐ，ｌｑ，ｌｒ，ｌｓ）は注目画素と特徴点
（ｐ_i，ｑ_i，ｒ_i，ｓ_i）のそれぞれとの距離に逆比
例する係数である。あるいは図３の(c)の例を用いて前
記説明したように合成パラメータ２０７が被写体領域の
局所部分の状態の変位量ｄ（ｆ_i），ｄ（ｅｒ_i），ｄ
（ｅｌ_i），ｄ（ｍ_i）ならば、パラメータの要素に対
応する領域毎に移動および変形処理を実行する。

【００３６】なお前記説明した一連の符号復号化処理は
図５に示した構成例で実現することも可能である。図５
の動画像の符号復号化装置は、入力画像の特徴量をパラ
メータとして抽出する特徴量抽出回路５２と、前記抽出
したパラメータを前記符号化制御信号の指示により記録
保持し、かつ過去の複数の入力画像で前記抽出したパラ
メータを参照パラメータとして出力するパラメータメモ
リ５４と、前記抽出したパラメータを前記複数の参照パ
ラメータと比較して類似度の最も大きい参照パラメータ
を選択し、前記最大類似度の値に応じて前記符号化制御
信号を出力するか参照制御信号を復号化側に送信するか
のいずれか一方をおこなう比較回路５３と、前記入力画
像を符号化制御信号の指示により符号化し、符号化デー
タとして復号化側に送信する画像符号化回路５１と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を求め合成パラメータとして復号化側に送信する
差分器５５から構成される符号化装置と、受信した一連
の前記符号化データを復号化して復号画像を生成し、表
示再生のための出力画像として出力する画像復号化回路
５６と、前記復号画像を記録保持し、かつ前記符号化デ
ータを受信しない場合には参照制御信号の指示により前
記保持した複数の復号画像から一つを選択して参照画像
として出力する画像メモリ５７と、受信した合成パラメ
ータを利用して前記参照画像を変形合成して出力画像を
生成し、表示再生のために出力する画像合成回路５８と
から構成なる。

【００３７】図５の例では、符号化側では、図２を用い
て前記説明したのと同様の方法で入力画像の符号化デー
タ５０２と参照制御信号５０６および合成パラメータ５
０７を出力する。復号化側では、画像復号化回路５６で
符号化データ５０２を復号化し復号画像５０８を出力す
る。同時に復号画像５０８は表示再生のための出力画像
５１０として出力する。

【００３８】画像メモリ５７は復号画像５０８を記録保
持する。また符号化データ５０２の代わりに参照制御信
号５０６を受信した場合には、画像メモリ５７は記録保
持してある複数の復号画像の中から参照選択信号５０６
が指示するものを一つ選択して参照画像５０９として出
力する。なお前記記録保持に際して、画像メモリ５７が
既に一杯で追加記録が困難な場合には、既に記録してあ
る複数の復号画像の中で適当なものを一つ削除して、新
ためて前記復号画像５０８を追加記録する。前記削除す
る復号画像の選択方法は、パラメータメモリ５４におい
て削除するパラメータの選択方法と同じ方法を用いる。
また記録保持可能な最大の復号画像の数も、前記説明し
たパラメータメモリ５４において記録可能な最大のパラ
メータの数と同一にする。以上の設定により画像メモリ
５７の記録の更新と符号化側でのパラメータメモリ５４
の記録の更新とを同期して自動的に実現できる。

【００３９】画像合成回路５８では受信した合成パラメ
ータ５０７を利用して参照画像５０９を変形合成し表示
再生のための出力画像５１０として出力する。

【００４０】また図５の例では、符号化側の比較回路５
３で現在の抽出パラメータ５０３に類似した複数の参照
パラメータを選択し、参照制御信号５０６と合成パラメ
ータ５０７とをそれぞれ複数伝送してもよい。この場合
に復号化側では、画像メモリ５７から参照制御信号５０
６の指示する複数の参照画像５０９を読み出し、画像合
成回路５８で合成パラメータ５０７を利用して一つの画
像５１０を合成し出力する。前記複数の参照パラメータ
を選択した場合の動作の一例を図６を用いて説明する。

【００４１】図６の例では、あらかじめパラメータメモ
リに過去の複数の入力画像で抽出したパラメータを参照
パラメータとして保持している。現在の入力画像Ｉ（ｔ
_c）で抽出したパラメータＰ（ｔ_c）＝（ｆ_c，ｅ
ｒ_c，ｅｌ_c，ｍ_c）を前記参照パラメータと比較し、
Ｐ（ｔ_c）に類似したパラメータＰ（ｔ₁），Ｐ
（ｔ₂），Ｐ（ｔ₃）を選択する。この選択結果は図５
の参照制御信号５０６として復号化側へ伝送する。また
現在の抽出パラメータの各要素毎に前記選択した複数の
参照パラメータと最も類似したものを選択しＳｅｌ（ｔ
_c）とした。具体的には現在の入力画像Ｉ（ｔ_c）と比
較して、顔部分の中心座標位置では画像Ｉ（ｔ₁）のパ
ラメータｆ１を選択し、目の状態は画像Ｉ（ｔ₃）のパ
ラメータ（ｅｒ₃，ｅｌ₃）を選択し、口の状態は画像
Ｉ（ｔ₂）のパラメータｍ₂を選択している。更に前記
ｆ_c，ｆ₁は座標位置をあらわす簡単な値なので差分を
求めＤｉｆ（ｆ_c）とした。Ｓｅｌ（ｔ_c）とＤｉｆ
（ｆ_c）とは併せて図５の合成パラメータ５０７として
復号化側へ伝送する。復号化側では、図５において参照
制御信号５０６により画像メモリ５７から３枚の参照画
像Ｄ（ｔ₁），Ｄ（ｔ₂），Ｄ（ｔ₃）を読み出す。こ
こでＤ（ｔ₁），Ｄ（ｔ₂），Ｄ（ｔ₃）はそれぞれ前
記入力画像Ｉ（ｔ₁），Ｉ（ｔ₂），Ｉ（ｔ₃）を符号
復号化した復号画像である。画像合成回路５８では、前
記合成パラメータ５０７を利用して前記３枚の参照画像
Ｄ（ｔ₁），Ｄ（ｔ₂），Ｄ（ｔ₃）から１枚の画像を
合成し出力画像５１０として出力する。具体的には顔部
分全体を参照画像Ｄ（ｔ₁）から抽出し、この上に参照
画像Ｄ（ｔ₃）から切り出した両目の部分と参照画像Ｄ
（ｔ₂）から切り出した口の部分を貼り重ねて出力画像
５１０を合成する。

【００４２】

【発明の効果】以上説明したように本発明では、過去に
符号化した画像の特徴量を符号化側で履歴情報として保
持し、かつ復号化側では受信した一連の符号化データを
記録保持しておき、新たな入力画像に対しては類似した
画像を過去に符号復号化した履歴がある場合には、前記
類似画像を選択する制御信号のみを伝送し、復号化側で
は前記保持してある類似画像をそのままかあるいは変形
合成して表示する。従って、入力画像上でのフレーム間
の変化が少ない場合や、あるフレーム期間を隔てて類似
した入力画像が再び現れる様な場合には、少ないデータ
伝送量のみで画品質に優れかつ入力画像に類似した自然
な画像を復号化側で表示することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の動画像の符号復号化方式の基本
構成図である。

【図２】本発明の第２の動画像の符号復号化方式の基本
構成図である。

【図３】画像の特徴量の例を説明する図である。

【図４】本発明の第１の動画像の符号復号化方式を実現
する一実施例の構成図である。

【図５】本発明の第２の動画像の符号復号化方式を実現
する一実施例の構成図である。

【図６】本発明の第２の動画像の符号復号化方式の一実
施例を説明する図である。

【符号の説明】

１１，２１，４１，５１画像符号化回路１２，２２，４２，５２特徴量抽出回路１３，２３，４３，５３比較回路１４，２４，４４，５４パラメータメモリ１５，２６符号化データメモリ１６，２７，４５，５６画像復号化回路２５，５５差分器２８，５８画像合成回路４６，５７画像メモリ１０１，２０１，４０１，５０１入力画像１０２，２０２，４０２，５０２符号化データ１０３，２０３，４０３，５０３抽出パラメータ１０４，２０４，４０４，５０４参照パラメータ１０５，２０５，４０５，５０５符号化制御信号１０６，２０６，４０６，５０６参照制御信号１０７，２０８参照データ１０８，２１０，４０８，５１０出力画像２０７，５０７合成パラメータ２０９，４０７，５０８復号画像５０９参照画像

Claims

(57)【特許請求の範囲】

【請求項１】動画像の符号復号化装置において、符号化装置は、入力画像の特徴量をパラメータとして抽
出する手段と、前記抽出したパラメータを符号化制御信
号の指示により記録保持し、かつ過去に前記記録した複
数のパラメータを参照パラメータとして出力する手段
と、前記抽出したパラメータを前記複数の参照パラメー
タと比較して類似度の最も大きい参照パラメータを選択
し、前記抽出したパラメータと前記最大類似度を有する
参照パラメータとの差分の値の大きさを予め定めた閾値
と比較し、前記閾値より大きい場合には前記符号化制御
信号を出力し、それ以外の場合には参照制御信号を復号
化側に送信する手段と、前記入力画像を前記符号化制御
信号の指示により符号化し、符号化データとして復号化
側に送信する手段とを備え、復号化装置は、前記入力画像毎に前記符号化データまた
は前記参照制御信号のいずれかを符号化側から受信し、
前記符号化データを受信した場合はこれを記録保持し、
それ以外の場合は前記受信した参照制御信号の指示に従
い、過去に前記記録した複数の符号化データから一つを
選択し、参照データとして出力する手段と、前記符号化
データまたは前記参照データのいずれかを復号化して出
力画像として出力する手段とを備えることを特徴とする
動画像の符号復号化装置。
【請求項２】動画像の符号復号化装置において、符号化装置は、入力画像の特徴量をパラメータとして抽
出する手段と、前記抽出したパラメータを符号化制御信
号の指示により記録保持し、かつ過去に前記記録した複
数のパラメータを参照パラメータとして出力する手段
と、前記抽出したパラメータを前記複数の参照パラメー
タと比較して類似度の最も大きい参照パラメータを選択
し、前記抽出したパラメータと前記最大類似度を有する
参照パラメータとの差分の値の大きさを予め定めた閾値
と比較し、前記閾値より大きい場合には前記符号化制御
信号を出力し、それ以外の場合には参照制御信号を復号
化側に送信する手段と、前記入力画像を前記符号化制御信号の指示により符号化
し、符号化データとして復号化側に送信する手段と、前
記抽出したパラメータと前記選択した参照パラメータと
の差分を合成パラメータとして復号化側に送信する手段
とを備え、復号化装置は、入力画像毎に前記符号化データまたは前
記参照制御信号のいずれかを符号化側から受信して、前
記符号化データを受信した場合はこれを記録保持し、そ
れ以外の場合は前記受信した参照制御信号の指示に従
い、過去に前記記録した複数の符号化データから一つを
選択し、参照データとして出力する手段と、前記符号化データまたは前記参照データのいずれかを復
号して復号画像として出力する手段と、前記合成パラメ
ータを利用して前記復号画像から出力画像を合成し出力
する手段とを備えることを特徴とする動画像の符号復号
化装置。