JPH099224A - リップシンク制御装置を用いた動画像および音声コーデック装置 - Google Patents
リップシンク制御装置を用いた動画像および音声コーデック装置Info
- Publication number
- JPH099224A JPH099224A JP15194995A JP15194995A JPH099224A JP H099224 A JPH099224 A JP H099224A JP 15194995 A JP15194995 A JP 15194995A JP 15194995 A JP15194995 A JP 15194995A JP H099224 A JPH099224 A JP H099224A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image
- lip sync
- audio
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 被写体の口の動きと音声が一致するようにす
る。 【構成】 動きベクトル検出回路4aは、カメラ1で撮
像した被写体の動きが大きいときは、ブロックサイズを
小さくして性能を向上させ、そのブロックマッチング演
算回路群の演算量に応じた遅延レベルのリップシンク制
御信号Lsをリップシンク制御回路14aに出力しリップシ
ンクを行う。また、被写体の動きが小さいときには、ブ
ロックサイズを大きくしてブロックマッチング演算回路
群の演算処理の時間を大幅に短縮し、適応的にリップシ
ンクの遅延時間を短くする。
る。 【構成】 動きベクトル検出回路4aは、カメラ1で撮
像した被写体の動きが大きいときは、ブロックサイズを
小さくして性能を向上させ、そのブロックマッチング演
算回路群の演算量に応じた遅延レベルのリップシンク制
御信号Lsをリップシンク制御回路14aに出力しリップシ
ンクを行う。また、被写体の動きが小さいときには、ブ
ロックサイズを大きくしてブロックマッチング演算回路
群の演算処理の時間を大幅に短縮し、適応的にリップシ
ンクの遅延時間を短くする。
Description
【0001】
【産業上の利用分野】本発明は、テレビ会議システム等
の通信機器分野における動画像および音声コーデック装
置に関し、特に音声データの圧縮後および伸長前に行う
リップシンク制御装置に関するものである。
の通信機器分野における動画像および音声コーデック装
置に関し、特に音声データの圧縮後および伸長前に行う
リップシンク制御装置に関するものである。
【0002】
【従来の技術】近年、リップシンク制御装置は、画像コ
ーデック側の画像データの圧縮、伸長による遅れが画像
の動きによって変化するにもかかわらず音声データの遅
延量は伝送レートによる固定制御が主流となっている。
以下、図面を参照しながら従来のリップシンク制御装置
について説明を行う。
ーデック側の画像データの圧縮、伸長による遅れが画像
の動きによって変化するにもかかわらず音声データの遅
延量は伝送レートによる固定制御が主流となっている。
以下、図面を参照しながら従来のリップシンク制御装置
について説明を行う。
【0003】図5は従来の動きベクトル検出回路を用い
た動画像および音声コーデック装置の機能ブロック図で
ある。まず、画像系はカメラ1からの入力ビデオ信号
(NTSC)はA/D変換器2によってA/D変換され、
ライン変換器3でITC-TH261(例えばCIF)という世界
共通の中間フォーマットに変換が施される。そして、C
IF変換により符号化した映像信号は動きベクトル検出
回路4にて動き補償を施し、符号化およびDCT部5で
動き補償された画像フレーム間予測信号に符号化され
る。また、動きベクトル検出回路4から生成される前画
像フレームの再生画像信号との差分信号を符号化および
DCT部5のDCTにて離散コサイン変換を行い変換係
数をジグザグスキャン配列にした後、量子化部6で量子
化される。そして、その量子化されたデータを可変長符
号化部7にてさらにデータ圧縮した後、誤り検出訂正部
8で誤り訂正符号化を行い、マルチメディア多重,分離
部9によって定められたデータ構造に従う一つのビット
列に多重化して公衆回線網Nへ伝送される。
た動画像および音声コーデック装置の機能ブロック図で
ある。まず、画像系はカメラ1からの入力ビデオ信号
(NTSC)はA/D変換器2によってA/D変換され、
ライン変換器3でITC-TH261(例えばCIF)という世界
共通の中間フォーマットに変換が施される。そして、C
IF変換により符号化した映像信号は動きベクトル検出
回路4にて動き補償を施し、符号化およびDCT部5で
動き補償された画像フレーム間予測信号に符号化され
る。また、動きベクトル検出回路4から生成される前画
像フレームの再生画像信号との差分信号を符号化および
DCT部5のDCTにて離散コサイン変換を行い変換係
数をジグザグスキャン配列にした後、量子化部6で量子
化される。そして、その量子化されたデータを可変長符
号化部7にてさらにデータ圧縮した後、誤り検出訂正部
8で誤り訂正符号化を行い、マルチメディア多重,分離
部9によって定められたデータ構造に従う一つのビット
列に多重化して公衆回線網Nへ伝送される。
【0004】次に音声系はマイク11からの入力音声信号
はA/D変換器12によってA/D変換され、音声符号化
器13で音声圧縮され、リップシンク制御回路14にて画像
系の遅れに見合った音声の遅延がCPU10より制御線L
1を介して固定制御される。そして、マルチメディア多
重,分離部9によって定められたデータ構造に従う一つ
のビット列に多重化して公衆回線網Nへ伝送される。
はA/D変換器12によってA/D変換され、音声符号化
器13で音声圧縮され、リップシンク制御回路14にて画像
系の遅れに見合った音声の遅延がCPU10より制御線L
1を介して固定制御される。そして、マルチメディア多
重,分離部9によって定められたデータ構造に従う一つ
のビット列に多重化して公衆回線網Nへ伝送される。
【0005】なお、CPU10は制御検出部15を介してカ
メラ1の方向制御と、それに伴う音声符号化器13の制御
およびリップシンク制御回路14の固定制御を行う。
メラ1の方向制御と、それに伴う音声符号化器13の制御
およびリップシンク制御回路14の固定制御を行う。
【0006】図6は図5に示す従来の動きベクトル検出
回路4のブロック図であり、16は、入力画像としての16
×16画素からなるブロックデータaおよび記憶画像とし
ての32×32画素からなるブロックデータbを入力して、
記憶画像のブロックデータbから読み出すブロックの位
置を少しずつずらしていくウィンドサーチ回路、17はブ
ロックマッチング演算を行い残差fを計算する256個の
演算回路を備えた演算エレメント部、18は得られた残差
値から最小値の残差fmを求める比較回路、19は動きベ
クトル情報として、動きベクトル(座標Vx,Vy、残差
fm)と同一座標での残差fsをシリアル出力にする出
力回路である。
回路4のブロック図であり、16は、入力画像としての16
×16画素からなるブロックデータaおよび記憶画像とし
ての32×32画素からなるブロックデータbを入力して、
記憶画像のブロックデータbから読み出すブロックの位
置を少しずつずらしていくウィンドサーチ回路、17はブ
ロックマッチング演算を行い残差fを計算する256個の
演算回路を備えた演算エレメント部、18は得られた残差
値から最小値の残差fmを求める比較回路、19は動きベ
クトル情報として、動きベクトル(座標Vx,Vy、残差
fm)と同一座標での残差fsをシリアル出力にする出
力回路である。
【0007】まず、演算エレメント部17でのブロックマ
ッチング演算は、次の(数1)で表されるブロックデータ
a,bとの差分絶対値の総和を残差fとして計算してい
る。
ッチング演算は、次の(数1)で表されるブロックデータ
a,bとの差分絶対値の総和を残差fとして計算してい
る。
【0008】
【数1】
【0009】なお、32×32画素のブロックデータbを16
×16画素のウィンド(ブロックデータa)でサーチするの
で、水平、垂直方向に各々16回、合計256回の試行が必
要になる。
×16画素のウィンド(ブロックデータa)でサーチするの
で、水平、垂直方向に各々16回、合計256回の試行が必
要になる。
【0010】このように各演算エレメント部17の演算回
路17a,17b……17nからの残差出力fは合計256個の比較
回路18に出力されるが、比較回路18はこれらの大小を比
較して最小値の残差fmを検出し、その時のクロック係
数値から動きベクトルの座標Vx,Vyを算出している。
路17a,17b……17nからの残差出力fは合計256個の比較
回路18に出力されるが、比較回路18はこれらの大小を比
較して最小値の残差fmを検出し、その時のクロック係
数値から動きベクトルの座標Vx,Vyを算出している。
【0011】そして音声系に対して、映像系のこのよう
な動きベクトル演算等による遅れの情報は伝達されない
ため、図5のリップシンク制御回路14は、映像系の平均
的な遅れから推測した固定設定値となっている。なおこ
の固定設定値は、片方向0〜500msec程度となってお
り、CPU10から設定される。
な動きベクトル演算等による遅れの情報は伝達されない
ため、図5のリップシンク制御回路14は、映像系の平均
的な遅れから推測した固定設定値となっている。なおこ
の固定設定値は、片方向0〜500msec程度となってお
り、CPU10から設定される。
【0012】
【発明が解決しようとする課題】しかしながら、上記し
た従来の動きベクトル検出回路では、演算エレメント部
17での全探索によるブロックマッチング演算を実行し、
被写体の動きレベルに関わらず全ての演算を行っている
ためリップシンクの遅延時間を動きレベルに応じて切り
換える手段を持たず固定に設定していた。そのため被写
体の口の動きと声が一致しない現象が起き自然性が損な
われていた。
た従来の動きベクトル検出回路では、演算エレメント部
17での全探索によるブロックマッチング演算を実行し、
被写体の動きレベルに関わらず全ての演算を行っている
ためリップシンクの遅延時間を動きレベルに応じて切り
換える手段を持たず固定に設定していた。そのため被写
体の口の動きと声が一致しない現象が起き自然性が損な
われていた。
【0013】本発明は上記課題を解決し、第1の発明の
目的は連続するフレーム間で画素ブロックの動きを合理
的に推測し、かつ毎秒に処理する画像フレーム数を制御
(間引き)して、被写体の動きのレベルに応じた演算を行
って画像フレーム間予測精度の改善をはかり、間引きし
た画像フレームの動きベクトルは予測検出して補い、演
算の試行回数を削減して効率の良い演算を実行すること
が可能な動きベクトル検出回路と、かつその動きベクト
ルの演算遅延情報をリップシンク制御回路に伝送し適応
的に音声データを遅延するものである。
目的は連続するフレーム間で画素ブロックの動きを合理
的に推測し、かつ毎秒に処理する画像フレーム数を制御
(間引き)して、被写体の動きのレベルに応じた演算を行
って画像フレーム間予測精度の改善をはかり、間引きし
た画像フレームの動きベクトルは予測検出して補い、演
算の試行回数を削減して効率の良い演算を実行すること
が可能な動きベクトル検出回路と、かつその動きベクト
ルの演算遅延情報をリップシンク制御回路に伝送し適応
的に音声データを遅延するものである。
【0014】また、第2の発明の目的は、連続する画像
フレーム間の伝送速度を合理的に推定し、その画像フレ
ーム間の伝送速度情報をリップシンク制御装置に伝送し
適応的に音声データを遅延するものである。
フレーム間の伝送速度を合理的に推定し、その画像フレ
ーム間の伝送速度情報をリップシンク制御装置に伝送し
適応的に音声データを遅延するものである。
【0015】
【課題を解決するための手段】本発明の第1の発明は、
その目的を達成するため被写体の動きに応じてカメラの
方向を制御するCPUと、前記CPUがカメラを方向制
御する際、毎秒処理する画像フレーム数を制御する画像
フレーム制御回路と、前記画像フレーム制御回路からの
出力から間引かれた画像フレームの動きベクトルを予測
する動きベクトル予測検出回路と、入力画像の被写体の
動きレベルを判別するフィルターおよびユーザーがブロ
ックサイズを選択可能なスイッチ回路群と、ブロックマ
ッチング演算を行うウィンドサーチ回路およびブロック
マッチング演算回路群と、前記ウィンドサーチ回路およ
びブロックマッチング演算回路群の出力の大小比較を行
う比較回路群と、前記比較回路群の出力を動きベクトル
として出力する出力回路とからなる動きベクトル検出回
路並びに前記比較回路群からのnビット遅延情報を遅延
させる遅延レベル出力回路と、前記画像フレーム制御回
路からの出力から間引かれた画像フレームのリップシン
クを予測するリップシンク予測検出回路と、符号化され
た音声データをリップシンク制御信号によって前記音声
データの遅延量が決定される遅延テーブルを切り換える
マルチプレクサとからなるリップシンク制御回路を有す
ることを特徴とする。
その目的を達成するため被写体の動きに応じてカメラの
方向を制御するCPUと、前記CPUがカメラを方向制
御する際、毎秒処理する画像フレーム数を制御する画像
フレーム制御回路と、前記画像フレーム制御回路からの
出力から間引かれた画像フレームの動きベクトルを予測
する動きベクトル予測検出回路と、入力画像の被写体の
動きレベルを判別するフィルターおよびユーザーがブロ
ックサイズを選択可能なスイッチ回路群と、ブロックマ
ッチング演算を行うウィンドサーチ回路およびブロック
マッチング演算回路群と、前記ウィンドサーチ回路およ
びブロックマッチング演算回路群の出力の大小比較を行
う比較回路群と、前記比較回路群の出力を動きベクトル
として出力する出力回路とからなる動きベクトル検出回
路並びに前記比較回路群からのnビット遅延情報を遅延
させる遅延レベル出力回路と、前記画像フレーム制御回
路からの出力から間引かれた画像フレームのリップシン
クを予測するリップシンク予測検出回路と、符号化され
た音声データをリップシンク制御信号によって前記音声
データの遅延量が決定される遅延テーブルを切り換える
マルチプレクサとからなるリップシンク制御回路を有す
ることを特徴とする。
【0016】また、本発明の第2の発明は、その目的を
達成するため、カメラからの動画像を圧縮する画像圧縮
回路と、マイクからの音声を圧縮する音声圧縮回路と、
前記画像圧縮回路で処理された画像ごとの時系列一貫番
号TRデータを読み出し、単位時間内のTRデータ差よ
り前画像フレームと次画像フレーム間の伝送時間を判別
し、前記判別された時間より、予め得られている画像フ
レーム間時間と音声データ同期ずれ量テーブルから音声
信号を遅延させ画像と音声の同期をとるCPUとからな
るリップシンク制御回路を有することを特徴とする。
達成するため、カメラからの動画像を圧縮する画像圧縮
回路と、マイクからの音声を圧縮する音声圧縮回路と、
前記画像圧縮回路で処理された画像ごとの時系列一貫番
号TRデータを読み出し、単位時間内のTRデータ差よ
り前画像フレームと次画像フレーム間の伝送時間を判別
し、前記判別された時間より、予め得られている画像フ
レーム間時間と音声データ同期ずれ量テーブルから音声
信号を遅延させ画像と音声の同期をとるCPUとからな
るリップシンク制御回路を有することを特徴とする。
【0017】
【作用】第1の発明によれば、被写体の動きが大きいと
き、ブロックサイズを小さくして性能を向上させその演
算量に応じた遅延レベルでリップシンクが動作し、被写
体の動きが小さいときには、ブロックサイズを大きくし
て演算処理の時間を大幅に短縮することができ、適応的
にリップシンクの遅延時間も短くする。また、カメラの
動きに対しては音声を伴った追随性の向上を可能にし、
またユーザーがブロックサイズを選択して画質を調整す
ることも可能になる。
き、ブロックサイズを小さくして性能を向上させその演
算量に応じた遅延レベルでリップシンクが動作し、被写
体の動きが小さいときには、ブロックサイズを大きくし
て演算処理の時間を大幅に短縮することができ、適応的
にリップシンクの遅延時間も短くする。また、カメラの
動きに対しては音声を伴った追随性の向上を可能にし、
またユーザーがブロックサイズを選択して画質を調整す
ることも可能になる。
【0018】また、第2の発明によれば、CPUが画像
圧縮回路で処理された画像ごとの時系列一貫番号TRデ
ータを読み出し、単位時間内のTRデータ差より前画像
フレームと次画像フレーム間の伝送時間を判別し、前記
判別された時間より、予め得られている画像フレーム間
時間と音声データ同期ずれ量テーブルから音声信号を遅
延させ画像と音声の同期をとることができる。
圧縮回路で処理された画像ごとの時系列一貫番号TRデ
ータを読み出し、単位時間内のTRデータ差より前画像
フレームと次画像フレーム間の伝送時間を判別し、前記
判別された時間より、予め得られている画像フレーム間
時間と音声データ同期ずれ量テーブルから音声信号を遅
延させ画像と音声の同期をとることができる。
【0019】
【実施例】図1は本発明の第1の実施例におけるリップ
シンク制御装置を用いた動画像および音声コーデック装
置の機能ブロック図である。図1において前記従来例の
図5と同じ機能ブロックには同じ符号を付し、その説明
を省略する。ここで、従来例とは異なり、画像系の遅れ
に見合った音声の遅延が、CPU10より固定制御するこ
となく、動きベクトル検出回路4aからの制御線L2を介
してリップシンク制御回路14aへリップシンク制御信号
Lsを適応的に加え制御する点に特徴がある。
シンク制御装置を用いた動画像および音声コーデック装
置の機能ブロック図である。図1において前記従来例の
図5と同じ機能ブロックには同じ符号を付し、その説明
を省略する。ここで、従来例とは異なり、画像系の遅れ
に見合った音声の遅延が、CPU10より固定制御するこ
となく、動きベクトル検出回路4aからの制御線L2を介
してリップシンク制御回路14aへリップシンク制御信号
Lsを適応的に加え制御する点に特徴がある。
【0020】図2は図1の動きベクトル検出回路4aお
よびリップシンク制御回路14aのブロック図を示す。動
きベクトル検出回路4aにおける21は入力画像の被写体
の動きレベルを判別するフィルターおよびユーザーがブ
ロックサイズを選択可能なスイッチ21a,21b……21nか
らなるスイッチ回路群(以下、フィルターおよびスイッ
チ回路群という)である。22はブロックマッチング演算
を行うウィンドサーチ回路およびブロックマッチング演
算回路群である。これは、ブロック内にブロックサイズ
22a,22b……22n
よびリップシンク制御回路14aのブロック図を示す。動
きベクトル検出回路4aにおける21は入力画像の被写体
の動きレベルを判別するフィルターおよびユーザーがブ
ロックサイズを選択可能なスイッチ21a,21b……21nか
らなるスイッチ回路群(以下、フィルターおよびスイッ
チ回路群という)である。22はブロックマッチング演算
を行うウィンドサーチ回路およびブロックマッチング演
算回路群である。これは、ブロック内にブロックサイズ
22a,22b……22n
【0021】
【外1】
【0022】を有し、図2の左から順にブロックササイ
ズは半減していくように配置されている。そして、後述
するようにブロックサイズが小さくなると、計算量が増
加し、左から順に遅延が小さい方から大きい方へ移行す
る。23は前記ウィンドサーチ回路およびブロックマッチ
ング演算回路群22の出力の大小比較を行う比較回路群で
ある。
ズは半減していくように配置されている。そして、後述
するようにブロックサイズが小さくなると、計算量が増
加し、左から順に遅延が小さい方から大きい方へ移行す
る。23は前記ウィンドサーチ回路およびブロックマッチ
ング演算回路群22の出力の大小比較を行う比較回路群で
ある。
【0023】これらフィルターおよびスイッチ回路群2
1,ウィンドサーチ回路およびブロックマッチング演算
回路群22,比較回路群23は、それぞれ1対1に対応する
n+1個のユニットからなる。また24は出力回路、26は
画像フレーム制御回路であり、CPU10がカメラ1を方
向制御する際、毎秒処理する画像フレーム数を制御す
る。27は動きベクトル予測検出回路であり、前記画像フ
レーム制御回路26からの出力から間引かれた画像フレー
ムの動きベクトル20を予測する。28は前記ブロックサイ
ズ22a,22b……22nをユーザーが選択するためのスイッ
チである。
1,ウィンドサーチ回路およびブロックマッチング演算
回路群22,比較回路群23は、それぞれ1対1に対応する
n+1個のユニットからなる。また24は出力回路、26は
画像フレーム制御回路であり、CPU10がカメラ1を方
向制御する際、毎秒処理する画像フレーム数を制御す
る。27は動きベクトル予測検出回路であり、前記画像フ
レーム制御回路26からの出力から間引かれた画像フレー
ムの動きベクトル20を予測する。28は前記ブロックサイ
ズ22a,22b……22nをユーザーが選択するためのスイッ
チである。
【0024】次にリップシンク制御回路14aにおける29
は前記比較回路群23からのnビット遅延情報(図1のリ
ップシンク制御信号Ls)を遅延させる遅延レベル出力回
路である。30は前記画像フレーム26からの出力から間引
かれた画像フレームのリップシンクを予測するリップシ
ンク予測検出回路である。31は音声符号化器13で符号化
された音声データ33をリップシンク制御信号Lsによっ
て前記音声データ33の遅延量が決定される遅延テーブル
32(0,5……500ms)を切り換えるマルチプレクサであ
る。
は前記比較回路群23からのnビット遅延情報(図1のリ
ップシンク制御信号Ls)を遅延させる遅延レベル出力回
路である。30は前記画像フレーム26からの出力から間引
かれた画像フレームのリップシンクを予測するリップシ
ンク予測検出回路である。31は音声符号化器13で符号化
された音声データ33をリップシンク制御信号Lsによっ
て前記音声データ33の遅延量が決定される遅延テーブル
32(0,5……500ms)を切り換えるマルチプレクサであ
る。
【0025】図3は本発明の第1の実施例におけるブロ
ックマッチングの基準画像と前画像フレーム検索領域と
の幾何学的関係図であって、図中、Cは基準画像であ
り、M×Nブロックでなる現フレームを示し、Dは前画
像フレームにおける探索領域画像である。以上のように
構成された図2に示す動きベクトル検出回路とリップシ
ンク制御回路の動作を説明する。
ックマッチングの基準画像と前画像フレーム検索領域と
の幾何学的関係図であって、図中、Cは基準画像であ
り、M×Nブロックでなる現フレームを示し、Dは前画
像フレームにおける探索領域画像である。以上のように
構成された図2に示す動きベクトル検出回路とリップシ
ンク制御回路の動作を説明する。
【0026】今、第nフレームの1つ前のフレームであ
るところの第(n−1)フレームの画像が送信、受信の両
端において蓄えられるとし、この情報と次の第nフレー
ムの差分情報をもとにして、被写体の動きエリアを検出
する。それには、画面をサブブロックに分割しておき、
このサブブロックをいずれかの方向にどれだけの画素数
を動かしたとき、第nフレーム内でパターンマッチング
がとれるかで動きベクトル(方向と移動量)を検出する。
このことをすべてのサブブロックについて行い動きベク
トルを伝送する。同時に送信端ではこの動きベクトルを
使用して動き予測した第nフレーム画像データを作る。
実際の第nフレーム画像データとの差分は予測誤差と呼
ばれ符号化し伝送される。受信端では、既に蓄えられて
いる第(n−1)フレーム情報と送られてきた動きベクト
ルおよび予測差分から第nフレームを復元する。
るところの第(n−1)フレームの画像が送信、受信の両
端において蓄えられるとし、この情報と次の第nフレー
ムの差分情報をもとにして、被写体の動きエリアを検出
する。それには、画面をサブブロックに分割しておき、
このサブブロックをいずれかの方向にどれだけの画素数
を動かしたとき、第nフレーム内でパターンマッチング
がとれるかで動きベクトル(方向と移動量)を検出する。
このことをすべてのサブブロックについて行い動きベク
トルを伝送する。同時に送信端ではこの動きベクトルを
使用して動き予測した第nフレーム画像データを作る。
実際の第nフレーム画像データとの差分は予測誤差と呼
ばれ符号化し伝送される。受信端では、既に蓄えられて
いる第(n−1)フレーム情報と送られてきた動きベクト
ルおよび予測差分から第nフレームを復元する。
【0027】ここで、図2のブロックマッチング演算回
路群22におけるブロックマッチング演算では、図3にお
いて、前フレームは(M+2p)×(N+2p)の全領域で
あって、サブブロックC(基準画像)は、その動きのレベ
ルに応じて、動きがなければ(M+2p)×(N+2p)を
サブブロックCとして、あるいは、動きレベルが大きけ
れば、最大(N×N)サイズとしてブロックマッチング演
算を行う。このときの探索する領域は、前フレームDの
うち、サブブロックCに相当する領域ごとに(D領域)C
と比較する。
路群22におけるブロックマッチング演算では、図3にお
いて、前フレームは(M+2p)×(N+2p)の全領域で
あって、サブブロックC(基準画像)は、その動きのレベ
ルに応じて、動きがなければ(M+2p)×(N+2p)を
サブブロックCとして、あるいは、動きレベルが大きけ
れば、最大(N×N)サイズとしてブロックマッチング演
算を行う。このときの探索する領域は、前フレームDの
うち、サブブロックCに相当する領域ごとに(D領域)C
と比較する。
【0028】そして(数2)で表されるサブブロックC,
ブロックDとの差分絶対値の総和を残差fとして計算し
ている。
ブロックDとの差分絶対値の総和を残差fとして計算し
ている。
【0029】
【数2】
【0030】そしてこの処理では、動き推定は±P画素
またはライン/フレームの範囲で行われ、全画素シフト
(水平方向)および全ラインシフト(垂直方向)を考えた力
ずくの探索は(2P)2回のコスト関数の計算を必要とす
る。
またはライン/フレームの範囲で行われ、全画素シフト
(水平方向)および全ラインシフト(垂直方向)を考えた力
ずくの探索は(2P)2回のコスト関数の計算を必要とす
る。
【0031】その際、前述のようにブロックサイズ(M
×N)を動きレベルに応じて変化させるとコスト関数の
計算量も変化するため、例えば静止状態のときはブロッ
クサイズ(M×N)を大きく設定して、コスト関数の計算
量を減少させ、効率よくすることができる。
×N)を動きレベルに応じて変化させるとコスト関数の
計算量も変化するため、例えば静止状態のときはブロッ
クサイズ(M×N)を大きく設定して、コスト関数の計算
量を減少させ、効率よくすることができる。
【0032】ここで、図2に示すように、フィルターお
よびスイッチ回路群21の各段間には次段がオンすると切
れるスイッチ28が設けられているので、例えば、記憶画
像のブロックデータbが静止画像であるとき、初段のフ
ィルターおよびスイッチ回路21aがオンするとともに、
フィルターおよびスイッチ回路群21bとの間にスイッチ2
8がウィンドサーチ回路およびブロックマッチング演算
回路群22の初段のブロックサイズ22a(M/20×N/
20)のみを有効とし、次段以下を無効とするので、最も
大きなブロックサイズによるマッチング演算が行われ
る。
よびスイッチ回路群21の各段間には次段がオンすると切
れるスイッチ28が設けられているので、例えば、記憶画
像のブロックデータbが静止画像であるとき、初段のフ
ィルターおよびスイッチ回路21aがオンするとともに、
フィルターおよびスイッチ回路群21bとの間にスイッチ2
8がウィンドサーチ回路およびブロックマッチング演算
回路群22の初段のブロックサイズ22a(M/20×N/
20)のみを有効とし、次段以下を無効とするので、最も
大きなブロックサイズによるマッチング演算が行われ
る。
【0033】そして、これより記憶画像のブロックデー
タbの動きレベルが上昇すると、2段目のフィルターお
よびスイッチ回路21bと2段目のウィンドサーチ回路お
よびブロックマッチング演算回路群22の22b(ブロックサ
イズM/21×N/21)のみ有効となる。さらに動きベ
クトルに応じてブロックサイズを変更することにより、
計算量をできるだけ、少なくして、通信機器の追随性を
向上することができる。
タbの動きレベルが上昇すると、2段目のフィルターお
よびスイッチ回路21bと2段目のウィンドサーチ回路お
よびブロックマッチング演算回路群22の22b(ブロックサ
イズM/21×N/21)のみ有効となる。さらに動きベ
クトルに応じてブロックサイズを変更することにより、
計算量をできるだけ、少なくして、通信機器の追随性を
向上することができる。
【0034】このフィルターおよびスイッチ回路群21は
CPU10からもブロックサイズ22a,22b……22nを切り
換え可能なスイッチ構成になっており、ブロックサイズ
を固定させるマニュアル制御も可能である。
CPU10からもブロックサイズ22a,22b……22nを切り
換え可能なスイッチ構成になっており、ブロックサイズ
を固定させるマニュアル制御も可能である。
【0035】次に図2に示す動きベクトル検出回路4a
およびリップシンク制御回路14aを用いた図1の動作を
説明する。CPU10はカメラ1の方向制御をしている場
合、CPU10はその方向制御内容に基づいて、ブロック
サイズおよび画像フレーム数の制御を行う。例えばカメ
ラ1の制御速度が速い場合、カメラ1の動きに対する追
従性を向上させるための手段は以下のとおりである。
およびリップシンク制御回路14aを用いた図1の動作を
説明する。CPU10はカメラ1の方向制御をしている場
合、CPU10はその方向制御内容に基づいて、ブロック
サイズおよび画像フレーム数の制御を行う。例えばカメ
ラ1の制御速度が速い場合、カメラ1の動きに対する追
従性を向上させるための手段は以下のとおりである。
【0036】まず、第1にCPU10はブロックサイズを
許容範囲内で大きく設定して、コスト関数の計算量を減
少させて、ブロック歪み等画質は低下するが動きに対す
る追従性を優先させることができる。そして、制御線L
2へのリップシンク制御信号Lsは、選択されたブロック
サイズに基づいたnビットの情報が伝送される。
許容範囲内で大きく設定して、コスト関数の計算量を減
少させて、ブロック歪み等画質は低下するが動きに対す
る追従性を優先させることができる。そして、制御線L
2へのリップシンク制御信号Lsは、選択されたブロック
サイズに基づいたnビットの情報が伝送される。
【0037】第2に画質は低下させずに動きに対する追
従性を向上させるため、CPU10はブロックサイズを小
さく設定し、コスト関数が増加して処理時間が長くなっ
た分、毎秒に処理する画像フレーム数を制御(間引き)し
て、情報量を削減する。そして間引きした画像フレーム
の動きベクトルは前後の画像フレームの動きベクトルか
ら予測検出して補足する。そして、制御線L2のリップ
シンク制御信号Lsも、選択されたブロックサイズに基
づいたnビットの情報と間引きした画像フレームは前後
の遅延レベルから予測検出したnビットの情報が伝送さ
れる。このリップシンク制御信号の遅延レベルの一例を
表1に示す。
従性を向上させるため、CPU10はブロックサイズを小
さく設定し、コスト関数が増加して処理時間が長くなっ
た分、毎秒に処理する画像フレーム数を制御(間引き)し
て、情報量を削減する。そして間引きした画像フレーム
の動きベクトルは前後の画像フレームの動きベクトルか
ら予測検出して補足する。そして、制御線L2のリップ
シンク制御信号Lsも、選択されたブロックサイズに基
づいたnビットの情報と間引きした画像フレームは前後
の遅延レベルから予測検出したnビットの情報が伝送さ
れる。このリップシンク制御信号の遅延レベルの一例を
表1に示す。
【0038】
【表1】
【0039】以上説明したように本実施例は、被写体の
動きの速さに応じたブロックサイズで動きベクトル演算
処理をするため、リップシンク処理もその選択されたブ
ロックサイズを基準に遅延設定される。これによって被
写体の動きレベルに関わらず、被写体の口の動きと声が
一致するようになる。
動きの速さに応じたブロックサイズで動きベクトル演算
処理をするため、リップシンク処理もその選択されたブ
ロックサイズを基準に遅延設定される。これによって被
写体の動きレベルに関わらず、被写体の口の動きと声が
一致するようになる。
【0040】図4は本発明の第2の実施例におけるリッ
プシンク制御装置を用いた動画像および音声コーデック
装置の機能ブロック図である。前記図1と同じ機能ブロ
ックには同じ符号を付し、その説明を省略する。図4に
おいて、34はカメラ1からの動画像を圧縮する画像圧縮
回路、35はマイク11からの音声を圧縮する音声圧縮回
路、36は前記音声圧縮回路35で圧縮された音声をCPU
10の制御により所定時間だけ遅延させる信号遅延回路、
37は予め得られている画像フレーム間時間と音声データ
同期ずれ量デーブル、38は回線インターフェース(I/
F)である。
プシンク制御装置を用いた動画像および音声コーデック
装置の機能ブロック図である。前記図1と同じ機能ブロ
ックには同じ符号を付し、その説明を省略する。図4に
おいて、34はカメラ1からの動画像を圧縮する画像圧縮
回路、35はマイク11からの音声を圧縮する音声圧縮回
路、36は前記音声圧縮回路35で圧縮された音声をCPU
10の制御により所定時間だけ遅延させる信号遅延回路、
37は予め得られている画像フレーム間時間と音声データ
同期ずれ量デーブル、38は回線インターフェース(I/
F)である。
【0041】次に動作を説明すると、まずカメラ1から
入った画像信号は画像圧縮回路34「ITC−TH.26
1」のアルゴリズムで圧縮される。次にマルチメディア
多重・分離部9で音声信号やその他データと多重化され
回線インターフェース38を介して公衆回線網Nに伝送さ
れる。
入った画像信号は画像圧縮回路34「ITC−TH.26
1」のアルゴリズムで圧縮される。次にマルチメディア
多重・分離部9で音声信号やその他データと多重化され
回線インターフェース38を介して公衆回線網Nに伝送さ
れる。
【0042】ここで、「ITC−TH.261」のアルゴ
リズム上で処理されている画像ごとの時系列一貫番号
“TR”データをCPU10に読み込み画像搬出スピード
を演算する。画像ごとのスピードは次の手順で求める。
まずCPU10に読み込んだ“TR”データを{n2}と
して記憶する。次に設定する単位時間後“TR”データ
を読み込む、これを{n1}とする。この2つのデータ
より{n1−n2}を演算すると単位時間内の画像の駒
数が得られる。この単位時間内の“TR”データ差より
前画像フレームと次画像フレーム間の伝送時間を判別す
る。
リズム上で処理されている画像ごとの時系列一貫番号
“TR”データをCPU10に読み込み画像搬出スピード
を演算する。画像ごとのスピードは次の手順で求める。
まずCPU10に読み込んだ“TR”データを{n2}と
して記憶する。次に設定する単位時間後“TR”データ
を読み込む、これを{n1}とする。この2つのデータ
より{n1−n2}を演算すると単位時間内の画像の駒
数が得られる。この単位時間内の“TR”データ差より
前画像フレームと次画像フレーム間の伝送時間を判別す
る。
【0043】判別された時間より予め得られている画像
フレーム間時間と音声データ同期ずれ量テーブル37から
音声信号処理回路ラインに挿入されている信号遅延回路
36を制御し音声信号を遅延させ画像と音声の同期あわせ
を行う。
フレーム間時間と音声データ同期ずれ量テーブル37から
音声信号処理回路ラインに挿入されている信号遅延回路
36を制御し音声信号を遅延させ画像と音声の同期あわせ
を行う。
【0044】以上説明したように本実施例は、画像圧縮
ブロックより搬出している画像フレームスピードから画
像処理スピードを判断してリップシンク処理の遅延量を
制御する。これによって、画像フレームスピードが速い
ときは、遅延量が少なく逆に遅いときは遅延量を大きく
して被写体の口の動きと音声が一致するようになる。
ブロックより搬出している画像フレームスピードから画
像処理スピードを判断してリップシンク処理の遅延量を
制御する。これによって、画像フレームスピードが速い
ときは、遅延量が少なく逆に遅いときは遅延量を大きく
して被写体の口の動きと音声が一致するようになる。
【0045】
【発明の効果】以上説明したように本発明の第1の発明
は、被写体の動きの速さに応じたブロックサイズで動き
ベクトル演算処理されるため、リップシンク処理もその
選択されたブロックサイズを基準に遅延されることによ
って、被写体の動きレベルに関わらず被写体の口の動き
と音声が一致するようになる。
は、被写体の動きの速さに応じたブロックサイズで動き
ベクトル演算処理されるため、リップシンク処理もその
選択されたブロックサイズを基準に遅延されることによ
って、被写体の動きレベルに関わらず被写体の口の動き
と音声が一致するようになる。
【0046】また、第2の発明は、画像圧縮ブロックよ
り搬出している画像フレームスピードから画像処理スピ
ードを判断してリップシンク処理の遅延量を制御するこ
とによって、画像フレームスピードが速いときは、遅延
量が少なく逆に遅いときは遅延量を大きくして被写体の
口の動きと音声が一致するようになる。
り搬出している画像フレームスピードから画像処理スピ
ードを判断してリップシンク処理の遅延量を制御するこ
とによって、画像フレームスピードが速いときは、遅延
量が少なく逆に遅いときは遅延量を大きくして被写体の
口の動きと音声が一致するようになる。
【図1】本発明の第1の実施例におけるリップシンク制
御装置を用いた動画像および音声コーデック装置の機能
ブロック図である。
御装置を用いた動画像および音声コーデック装置の機能
ブロック図である。
【図2】図1の動きベクトル検出回路およびリップシン
ク制御回路のブロック図である。
ク制御回路のブロック図である。
【図3】本発明の第1の実施例におけるブロックマッチ
ングの基準画像と前画像フレーム探索領域の幾何学的関
係図である。
ングの基準画像と前画像フレーム探索領域の幾何学的関
係図である。
【図4】本発明の第2の実施例におけるリップシンク制
御装置を用いた動画像および音声コーデック装置の機能
ブロック図である。
御装置を用いた動画像および音声コーデック装置の機能
ブロック図である。
【図5】従来の動きベクトル検出回路を用いた動画像お
よび音声コーデック装置の機能ブロック図である。
よび音声コーデック装置の機能ブロック図である。
【図6】図5の動きベクトル検出回路の機能ブロック図
である。
である。
1…カメラ、 2,12…A/D変換器、 3…ライン変
換器、 4a…動きベクトル検出回路、 5…符号化お
よびDCT部、 6…量子化部、 7…可変長符号化
部、 8…誤り検出訂正部、 9…マルチメディア多
重,分離部、 10…CPU、 11…マイク、 13…音声
符号化器、 14a…リップシンク制御回路、15…制御検
出部、 21…フィルターおよびスイッチ回路群、 22…
ウィンドサーチ回路およびブロックマッチング演算回路
群、 23…比較回路群、 24…出力回路、 26…画像フ
レーム制御回路、 27…動きベクトル予測検出回路、28
…スイッチ、 29…遅延レベル出力回路、 30…リップ
シンク予測検出回路、 31…マルチプレクサ、 32…遅
延テーブル、 34…画像圧縮回路、 35…音声圧縮回
路、 36…信号遅延回路、 37…画像フレーム間時間と
音声データ同期ずれ量テーブル、 38…回線インターフ
ェース(I/F)。
換器、 4a…動きベクトル検出回路、 5…符号化お
よびDCT部、 6…量子化部、 7…可変長符号化
部、 8…誤り検出訂正部、 9…マルチメディア多
重,分離部、 10…CPU、 11…マイク、 13…音声
符号化器、 14a…リップシンク制御回路、15…制御検
出部、 21…フィルターおよびスイッチ回路群、 22…
ウィンドサーチ回路およびブロックマッチング演算回路
群、 23…比較回路群、 24…出力回路、 26…画像フ
レーム制御回路、 27…動きベクトル予測検出回路、28
…スイッチ、 29…遅延レベル出力回路、 30…リップ
シンク予測検出回路、 31…マルチプレクサ、 32…遅
延テーブル、 34…画像圧縮回路、 35…音声圧縮回
路、 36…信号遅延回路、 37…画像フレーム間時間と
音声データ同期ずれ量テーブル、 38…回線インターフ
ェース(I/F)。
Claims (3)
- 【請求項1】 被写体の動きに応じてカメラの方向を制
御するCPUと、前記CPUがカメラを方向制御する
際、毎秒処理する画像フレーム数を制御する画像フレー
ム制御回路と、前記画像フレーム制御回路からの出力か
ら間引かれた画像フレームの動きベクトルを予測する動
きベクトル予測検出回路と、入力画像の被写体の動きレ
ベルを判別するフィルターおよびユーザーがブロックサ
イズを選択可能なスイッチ回路群と、ブロックマッチン
グ演算を行うウィンドサーチ回路およびブロックマッチ
ング演算回路群と、前記ウィンドサーチ回路およびブロ
ックマッチング演算回路群の出力の大小比較を行う比較
回路群と、前記比較回路群の出力を動きベクトルとして
出力する出力回路とからなる動きベクトル検出回路並び
に前記比較回路群からのnビット遅延情報を遅延させる
遅延レベル出力回路と、前記画像フレーム制御回路から
の出力から間引かれた画像フレームのリップシンクを予
測するリップシンク予測検出回路と、符号化された音声
データをリップシンク制御信号によって前記音声データ
の遅延量が決定される遅延テーブルを切り換えるマルチ
プレクサとからなるリップシンク制御回路を有すること
を特徴とするリップシンク制御装置を用いた動画像およ
び音声コーデック装置。 - 【請求項2】 前記CPUは、前記ブロックマッチング
演算回路群の動作制御において、ブロックサイズの大き
さを制御してコスト関数の計算量の減少、情報量の削減
を行うことを特徴とする請求項1記載のリップシンク制
御装置を用いた動画像および音声コーデック装置。 - 【請求項3】 カメラからの動画像を圧縮する画像圧縮
回路と、マイクからの音声を圧縮する音声圧縮回路と、
前記画像圧縮回路で処理された画像ごとの時系列一貫番
号TRデータを読み出し、単位時間内のTRデータ差よ
り前画像フレームと次画像フレーム間の伝送時間を判別
し、前記判別された時間より、予め得られている画像フ
レーム間時間と音声データ同期ずれ量テーブルから音声
信号を遅延させ画像と音声の同期をとるCPUとからな
るリップシンク制御回路を有することを特徴とするリッ
プシンク制御装置を用いた動画像および音声コーデック
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15194995A JPH099224A (ja) | 1995-06-19 | 1995-06-19 | リップシンク制御装置を用いた動画像および音声コーデック装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15194995A JPH099224A (ja) | 1995-06-19 | 1995-06-19 | リップシンク制御装置を用いた動画像および音声コーデック装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH099224A true JPH099224A (ja) | 1997-01-10 |
Family
ID=15529732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15194995A Pending JPH099224A (ja) | 1995-06-19 | 1995-06-19 | リップシンク制御装置を用いた動画像および音声コーデック装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH099224A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005051554A (ja) * | 2003-07-29 | 2005-02-24 | Mitsubishi Electric Corp | 応答コールセンターシステムの顧客端末及びオペレータ端末 |
JP2011087074A (ja) * | 2009-10-14 | 2011-04-28 | Lenovo Singapore Pte Ltd | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム |
JP2014207642A (ja) * | 2013-04-16 | 2014-10-30 | 日本放送協会 | リップシンク信号送信装置、同期ずれ量推定装置および同期ずれ量推定方法 |
CN111225237A (zh) * | 2020-04-23 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 一种视频的音画匹配方法、相关装置以及存储介质 |
-
1995
- 1995-06-19 JP JP15194995A patent/JPH099224A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005051554A (ja) * | 2003-07-29 | 2005-02-24 | Mitsubishi Electric Corp | 応答コールセンターシステムの顧客端末及びオペレータ端末 |
JP2011087074A (ja) * | 2009-10-14 | 2011-04-28 | Lenovo Singapore Pte Ltd | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム |
JP2014207642A (ja) * | 2013-04-16 | 2014-10-30 | 日本放送協会 | リップシンク信号送信装置、同期ずれ量推定装置および同期ずれ量推定方法 |
CN111225237A (zh) * | 2020-04-23 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 一种视频的音画匹配方法、相关装置以及存储介质 |
CN111225237B (zh) * | 2020-04-23 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 一种视频的音画匹配方法、相关装置以及存储介质 |
US11972778B2 (en) | 2020-04-23 | 2024-04-30 | Tencent Technology (Shenzhen) Company Limited | Sound-picture matching method of video, related apparatus, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2969867B2 (ja) | ディジタル画像信号の高能率符号化装置 | |
US5357281A (en) | Image processing apparatus and terminal apparatus | |
EP0556507A1 (en) | Image signal coding and decoding apparatus | |
JPH11298890A (ja) | 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム | |
JP3338460B2 (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
JP2000278688A (ja) | 動きベクトル検出装置およびその方法と画像処理装置 | |
US6961082B2 (en) | Image display control system reducing image transmission delay | |
JP2003244707A (ja) | 動きベクトル検索領域の適応的決定方法 | |
JP3651706B2 (ja) | 動画像符号化装置 | |
KR0152013B1 (ko) | 가변장부호화를 고려한 움직임추정장치 | |
EP1460854A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
JPH099224A (ja) | リップシンク制御装置を用いた動画像および音声コーデック装置 | |
JP2614212B2 (ja) | 画像信号の符号化方法およびその装置 | |
JPH07107484A (ja) | 画像伝送装置 | |
JPH10224779A (ja) | 動画像のシーン変化検出方法及び装置 | |
JPH07222048A (ja) | 撮像装置 | |
JPH0879764A (ja) | 動きベクトル検出装置 | |
KR100448700B1 (ko) | 프레임속도변환의 크로스 페이드 보간 장치 및 방법 | |
JP2885227B2 (ja) | 画像・音声同期処理装置 | |
JP2001258039A (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
JPH06245204A (ja) | 動画像符号化装置 | |
JPH04288789A (ja) | 動き補償予測回路 | |
JP2000050283A (ja) | 符号化装置及び符号化方法 | |
JPH10155154A (ja) | 動画像符号化装置および動画像復号装置 | |
JP4469643B2 (ja) | 画像処理回路 |