JPH0993553A - 画像通信装置および画像通信方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像と音声の正確な同期を取ることができ、
符号量の変化に伴う遅延時間の変更にも対応できる画像
通信装置を提供することを目的とする。 【構成】 画像Ａ／Ｄコンバータ１６と、画像データフ
レーム同期信号からフレーム番号を得るフレームカウン
タ１７と、画像符号データにフレーム番号を付与する画
像符号化回路１８と、音声Ａ／Ｄコンバータ１９と、フ
レーム番号を音声データに付与する番号付与回路２０
と、音声符号化回路２１と、画像のフレーム番号を検出
するフレーム番号検出回路２４と、音声データのフレー
ム番号を検出する番号検出回路２５と、検出されたフレ
ーム番号と検出された番号との差分値を算出する送信遅
延制御回路２６、差分値に基づいて音声符号データを遅
延させる送信遅延メモリ２２と、多重化回路２３とを有
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号および音声信
号をデジタル化、符号化、送信又は受信、復号化、アナ
ログ化する画像通信装置および画像通信方法に関する。

【０００２】

【従来の技術】近年のデジタル通信網の普及と、これに
伴うマルチメディア関連システムの普及とは今後も拡大
していくと考えられる市場である。特に、画像符号化技
術が発展したおかげで、従来の音声通信に加えて画像通
信も容易になり、テレビ電話、テレビ会議システムなど
が普及してきている。

【０００３】上記のような画像と音声を通信する画像通
信装置において必要な機能のひとつとして、出力される
画像と音声との同期いわゆるリップシンクがある。これ
は画像、音声のそれぞれを画像符号化回路、音声符号化
回路で符号化するとき及び画像復号化回路、音声復号化
回路で復号化するときに、画像と音声とでその処理時間
が異なる（画像の方が音声よりデータ量が大きく一般に
処理時間が長い）ため、そのままでは表示される画像の
動きと音声とでずれて違和感があるので、音声データを
送らせて画像との同期を取るというものである。

【０００４】以下に従来の画像通信装置について説明す
る。図５は従来の画像通信装置の送信装置を示すブロッ
ク図である。図５において、１は入力された画像信号を
デジタルデータに変換する画像Ａ／Ｄコンバータ、２は
画像Ａ／Ｄコンバータ１からの画像のデジタルデータを
符号化処理する画像符号化回路、３は入力された音声信
号をデジタルデータに変換する音声Ａ／Ｄコンバータ、
４は音声Ａ／Ｄコンバータ３からの音声のデジタルデー
タを符号化処理する音声符号化回路、５は音声符号化回
路４からの音声符号データを或る設定された時間だけ遅
延させる送信遅延メモリ、６は画像符号化回路２と送信
遅延メモリからのそれぞれの符号データを多重化して通
信網へ送信する多重化回路、７は画像符号化回路２が処
理している画像の順番を示すフレーム番号ＴＲを検出す
るフレーム番号検出回路、８はフレーム番号検出回路７
からのフレーム番号ＴＲから送信遅延メモリ５の遅延量
を設定する送信遅延制御回路である。

【０００５】以上のように構成された従来の画像通信装
置の送信装置について、以下その動作を説明する。画像
の符号化については、ＩＴＵ−Ｔ（国際電気通信連合通
信標準化セクタ）勧告Ｈ．２６１が代表的であり、これ
を例に説明する。入力された画像信号ｖは画像Ａ／Ｄコ
ンバータ１によって輝度と色差成分のＹＵＶデータに変
換され、画像符号化回路２に入力される。画像符号化回
路２は、符号化処理を行うために画像データをＣＩＦ
（３５２ドット×２８８ラインの画面フォーマット）又
はＱＣＩＦ（ＣＩＦの縦横を１／２にした画面フォーマ
ット）に変換し、マクロブロック単位にＤＣＴ（離散コ
サイン変換）、量子化を行い、画像符号データとして出
力する。ＣＩＦの画面フォーマットは３０フレーム／秒
のフォーマットであるが、画像符号化回路２は画像のフ
レームの順番を示すフレーム番号ＴＲを付加しながら符
号化処理を行っている。いうまでもなく、復号化側（受
信装置）でもこのフレーム番号を認識しながら画像を復
号化する処理を行う。

【０００６】一方、音声の符号化については、ＩＴＵ−
Ｔ勧告Ｇ．７１１、Ｇ．７２２等がある。最も簡単な
Ｇ．７１１を例に説明すると、これは音声信号を６４ｋ
ｂｐｓのレートにＰＣＭ変換する方式である。サンプリ
ングレート８ｋＨｚ、データ幅８ビットで６４ｋｂｐｓ
となる。入力された音声信号ａは音声Ａ／Ｄコンバータ
３によってデジタルデータに変換され、音声符号化回路
４に入力される。音声符号化回路４はμ則又はＡ則に従
ってＰＣＭ変換を行い、音声符号データとして出力す
る。音声符号化回路４から出力された音声符号データ
は、送信遅延メモリ５によって、設定された時間だけ遅
延され、多重化回路６へ出力される。送信遅延メモリ５
の遅延時間の設定は、画像符号化回路２からフレーム番
号検出回路７がフレーム番号ＴＲを検出し、或る単位時
間にカウントされるフレーム番号ＴＲの値からフレーム
間の間隔を判断する。ここで、画像符号化回路２の処理
時間が長くかかればフレーム間の間隔が大きくなり、逆
に処理時間が短ければフレーム間の間隔は小さくなるの
で、あらかじめフレーム間の間隔と画像符号化回路２の
処理時間との相関を求めておき、フレーム間の間隔から
求められた処理時間を送信遅延制御回路８が送信遅延メ
モリ５に設定することによって、画像符号データと音声
符号データとの同期を取った上で多重化回路６からデー
タを送信することができる。

【０００７】図６は従来の画像通信装置の受信装置を示
すブロック図である。図６において、９は通信網から受
信したデータを画像と音声の符号データに分離する分離
回路、１０は分離回路９からの画像符号データを復号化
処理する画像復号化回路、１１は画像復号化回路１０か
らの画像データをアナログ画像信号ｖに変換する画像Ｄ
／Ａコンバータ、１２は分離回路９からの音声符号デー
タを復号化処理する音声復号化回路、１３は音声復号化
回路１２からの音声データを設定された時間だけ遅延さ
せる受信遅延メモリ、１４は受信遅延メモリ１３からの
音声データをアナログ音声信号ａに変換する音声Ｄ／Ａ
コンバータ、１５は受信遅延メモリ１３の遅延時間を設
定する遅延設定回路である。

【０００８】以上のように構成された従来の画像通信装
置の受信装置について、以下その動作を説明する。復号
化は、上述した画像および音声の符号化の逆の手順であ
る。画像復号化回路１０は画像符号データから逆量子
化、逆ＤＣＴを行って画像データを復号化し、この画像
データを画像Ｄ／Ａコンバータ１１でアナログ画像信号
ｖに変換し、出力する。また、音声復号化回路１２は音
声符号データから逆ＰＣＭ変換を行って音声データを復
号化し、受信遅延メモリ１３を通じて音声Ｄ／Ａコンバ
ータ１４でアナログ音声信号ａに変換し、出力する。こ
こで、遅延設定回路１５は、画像復号化回路１０と音声
復号化回路１２との予め定められた処理時間の差分値か
ら遅延時間を設定することによって、画像と音声との同
期を取るようにしている。なお、符号化の場合と異な
り、復号化側ではフレーム番号ＴＲを使用して受信遅延
メモリ１３の遅延時間を設定していないが、この理由
は、受信した画像符号データと音声符号データとが送信
側で同期が取られているとは限らないからである。よっ
て、受信側（受信装置）においては、画像と音声の復号
化処理時間の差に基づく遅延補正に加えて、出力された
画像と音声とが違和感が無いように使用者が感覚で微調
整することになる。

【０００９】

【発明が解決しようとする課題】しかしながら、上記の
従来の構成では、送信側（送信装置）においては、画像
符号化回路２から検出したフレーム番号ＴＲに基づくフ
レーム間隔から遅延時間をあらかじめ相関関係によって
求めておき、間接的に画像と音声の符号データの同期を
取る方式であるため、完全に同期しているとは限らない
という問題点を有していた。また、受信側（受信装置）
においては、上述したように、受信した画像データと音
声データの同期は、画像と音声の復号化処理時間の遅延
補正に加え、出力された画像と音声とが違和感が無いよ
うに使用者が感覚で微調整することになるので、正確さ
に欠け、また遅延時間が固定されているため、符号量の
変化に伴う遅延時間の変更が不可能であるという問題点
を有していた。

【００１０】本発明は上記従来の問題点を解決するもの
で、画像と音声の正確な同期を取ることができ、符号量
の変化に伴う遅延時間の変更にも対応できる画像通信装
置および画像と音声の正確な同期を取ることができ、符
号量の変化に伴う遅延時間の変更にも対応できる画像通
信方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】この目的を達成するため
に本発明の請求項１記載の画像通信装置は、入力された
画像信号をＡ／Ｄ変換する画像Ａ／Ｄコンバータと、画
像Ａ／Ｄコンバータからの画像データのフレーム同期信
号をカウントしてフレーム番号を得るフレームカウンタ
と、画像Ａ／Ｄコンバータからの画像データを符号化し
て画像符号データを得ると共に画像符号データにフレー
ム番号を付与する画像符号化回路と、入力された音声信
号をＡ／Ｄ変換してデジタル音声データを得る音声Ａ／
Ｄコンバータと、フレームカウンタでカウントして得ら
れた画像データのフレーム番号と同一の番号をフレーム
カウンタでカウントされた画像データと同時に入力され
たデジタル音声データに付与する番号付与回路と、番号
付与回路からの音声データを符号化する音声符号化回路
と、画像符号化回路によって符号化された画像符号デー
タから画像のフレーム番号を検出するフレーム番号検出
回路と、音声符号化回路によって符号化された音声符号
データから番号付与回路によって付与された番号をフレ
ーム番号の検出と同時に検出する番号検出回路と、フレ
ーム番号検出回路で検出されたフレーム番号と番号検出
回路で検出された番号との差分値を算出する送信遅延制
御回路、算出された差分値に基づいて設定された遅延時
間だけ前記音声符号化回路からの音声符号データを遅延
させる送信遅延メモリと、画像符号化回路と送信遅延メ
モリとからそれぞれ出力される画像符号データと音声符
号データとを多重化して通信網へ送信する多重化回路と
を有する構成を有している。

【００１２】請求項２記載の画像通信装置は、通信網か
ら受信したデータを画像符号データと音声符号データと
に分離する分離回路と、分離回路から出力された画像符
号データを復号化して画像データを出力する画像復号化
回路と、画像復号化回路からの画像データをアナログ画
像信号に変換する画像Ｄ／Ａコンバータと、分離回路か
ら出力された音声符号データを復号化して音声データを
出力する音声復号化回路と、画像復号化回路からの画像
データに予め付与された画像のフレーム番号を検出する
フレーム番号検出回路と、音声復号化回路からの音声デ
ータに予め付与された番号を検出する番号検出回路と、
フレーム番号検出回路で検出されたフレーム番号と前記
番号検出回路で検出された番号との差分値を算出する受
信遅延制御回路と、算出された差分値に基づいて設定さ
れた遅延時間だけ音声復号化回路からの音声データを遅
延させる受信遅延メモリと、受信遅延メモリから出力さ
れる音声データをアナログ音声信号に変換する音声Ｄ／
Ａコンバータとを有する構成を有している。

【００１３】請求項３記載の画像通信装置は、請求項１
記載の画像通信装置と請求項２記載の画像通信装置とか
ら成る構成を有している。

【００１４】請求項４記載の画像通信方法は、入力され
た画像信号をＡ／Ｄ変換する画像Ａ／Ｄ変換ステップ
と、Ａ／Ｄコンバータからの画像データのフレーム同期
信号をカウントしてフレーム番号を得るフレームカウン
トステップと、画像データを符号化して画像符号データ
を得ると共に画像符号データにフレーム番号を付与する
画像符号化ステップと、入力された音声信号をＡ／Ｄ変
換してデジタル音声データを得る音声Ａ／Ｄ変換ステッ
プと、フレームカウントステップでカウントして得られ
た画像データのフレーム番号と同一の番号をフレームカ
ウントステップでカウントされた画像データと同時に入
力されたデジタル音声データに付与する番号付与ステッ
プと、番号付与ステップで番号が付与された音声データ
を符号化する音声符号化ステップと、画像符号化ステッ
プで符号化された画像符号データから画像のフレーム番
号を検出するフレーム番号検出ステップと、音声符号化
ステップによって符号化された音声符号データから番号
付与ステップで付与された番号をフレーム番号の検出と
同時に検出する番号検出ステップと、フレーム番号検出
ステップで検出されたフレーム番号と番号検出ステップ
で検出された番号との差分値を算出する送信遅延制御ス
テップと、算出された差分値に基づいて設定された遅延
時間だけ音声符号化ステップで符号化された音声符号デ
ータを遅延させる送信遅延ステップと、画像符号化ステ
ップで符号化された画像符号データと送信遅延ステップ
で遅延された音声符号データとを多重化して通信網へ送
信する多重化ステップとを有する構成を有している。

【００１５】請求項５記載の画像通信方法は、通信網か
ら受信したデータを画像符号データと音声符号データと
に分離する分離ステップと、分離された画像符号データ
を復号化して画像データを出力する画像復号化ステップ
と、画像復号化ステップで復号化された画像データをア
ナログ画像信号に変換する画像Ｄ／Ａ変換ステップと、
分離された音声符号データを復号化して音声データを出
力する音声復号化ステップと、画像復号化ステップで復
号化された画像データに予め付与された画像のフレーム
番号を検出するフレーム番号検出ステップと、音声復号
化ステップで復号化された音声データに予め付与された
番号を検出する番号検出ステップと、フレーム番号検出
ステップで検出されたフレーム番号と番号検出ステップ
で検出された番号との差分値を算出する受信遅延制御ス
テップと、算出された差分値に基づいて設定された遅延
時間だけ音声復号化ステップで復号化された音声データ
を遅延させる受信遅延ステップと、受信遅延ステップで
遅延された音声データをアナログ音声信号に変換する音
声Ｄ／Ａ変換ステップとを有する構成を有している。

【００１６】請求項６記載の画像通信方法は、請求項４
記載の画像通信方法と請求項５記載の画像通信方法とか
ら成る構成を有している。

【００１７】

【作用】この構成によって、画像と音声の符号化処理の
遅延時間のずれ（差分値）を補正することができるの
で、画像符号化回路と音声符号化回路からそれぞれ出力
される画像と音声の符号データの出力時期を一致、すな
わち同期させることができる。また、画像と音声の復号
化処理の遅延時間のずれ及び送信段階における遅延時間
のずれを補正することができるので、画像復号化回路と
音声復号化回路からそれぞれ出力される画像と音声のデ
ータの出力時期を一致、すなわち同期させることができ
る。さらに、画像と音声の符号化処理の遅延時間のずれ
（差分値）を補正することができると共に画像と音声の
復号化処理の遅延時間のずれ及び送信段階における遅延
時間のずれを補正することができるので、画像符号化回
路と音声符号化回路からそれぞれ出力される画像と音声
の符号データの出力時期を一致させることができると共
に画像復号化回路と音声復号化回路からそれぞれ出力さ
れる画像と音声のデータの出力時期を一致させることが
できる。

【００１８】

【実施例】

（実施例１）以下、本発明の一実施例に係る画像通信装
置について図を用いて説明する。

【００１９】図１は本発明の一実施例に係る画像通信装
置を示すブロック図であり、送信装置を示すものであ
る。図１において、１６は入力された画像信号ｖをデジ
タルデータに変換する画像Ａ／Ｄコンバータ、１７は画
像Ａ／Ｄコンバータ１６からの画像データのフレーム同
期信号をカウントしてフレーム番号を得るフレームカウ
ンタ、１８は画像Ａ／Ｄコンバータ１６からの画像デー
タを符号化する画像符号化回路、１９は入力された音声
信号ａをデジタル音声データに変換する音声Ａ／Ｄコン
バータ、２０はフレームカウンタ１７でカウントして得
られた画像データのフレーム番号と同一の番号をフレー
ムカウンタ１７でカウントされた画像データと同時に入
力された音声Ａ／Ｄコンバータ１９からのデジタル音声
データに付与する番号付与回路、２１は番号付与回路２
０からの音声データを符号化する音声符号化回路、２２
は音声符号化回路２１からの音声符号データを或る設定
された時間だけ遅延させる送信遅延メモリ、２３は画像
符号化回路１８と送信遅延メモリ２２とからそれぞれ出
力される画像符号データと音声符号データとを多重化し
て通信網へ送信する多重化回路、２４は画像符号化回路
１８が処理している画像データの順番を示すフレーム番
号ＴＲを検出するフレーム番号検出回路、２５は音声符
号化回路２１が処理している音声データに付与された番
号を検出する番号検出回路、２６はフレーム番号検出回
路２４で検出されたフレーム番号と番号検出回路２５で
検出された番号との差分値を算出し、その算出した差分
値から送信遅延メモリ２２の遅延量を決定する送信遅延
制御回路である。

【００２０】以上のように構成された画像通信装置につ
いて、以下その動作を図１、図２（ａ）〜（ｃ）を用い
て説明する。図２（ａ）はフレーム同期信号を示すタイ
ミング図、図２（ｂ）は音声データを示すデータ状態
図、図２（ｃ）は付与番号データを示すデータ状態図で
ある。従来の技術の欄で説明したように、画像の符号化
についてはＩＴＵ−Ｔ勧告Ｈ．２６１が代表的であり、
これを例に説明する。入力された画像信号ｖは画像Ａ／
Ｄコンバータ１６によって輝度と色差成分のＹＵＶデー
タに変換され（画像Ａ／Ｄ変換ステップ）、画像符号化
回路１８に入力される。画像符号化回路１８は、符号化
処理を行うために画像データをＣＩＦ（３５２ドット×
２８８ラインの画面フォーマット）又はＱＣＩＦ（ＣＩ
Ｆの縦横を１／２にした画面フォーマット）に変換し、
マクロブロック単位にＤＣＴ（離散コサイン変換）、量
子化を行い、画像符号データとして出力する（画像符号
化ステップ）。ＣＩＦの画面フォーマットは３０フレー
ム／秒のフォーマットであるが、画像符号化回路１８は
画像のフレームの順番を示すフレーム番号ＴＲを付加し
ながら符号化処理を行っている。いうまでもなく、復号
化側（受信装置）でもこのフレーム番号を認識しながら
画像を復号化する処理を行う。

【００２１】一方、音声の符号化については、ＩＴＵ−
Ｔ勧告Ｇ．７１１、Ｇ．７２２等がある。最も簡単な
Ｇ．７１１を例に説明すると、これは音声信号を６４ｋ
ｂｐｓのレートにＰＣＭ変換する方式である。サンプリ
ングレート８ｋＨｚ、データ幅８ビットで６４ｋｂｐｓ
となる。入力された音声信号ａは音声Ａ／Ｄコンバータ
１９によってデジタル音声データに変換され（音声Ａ／
Ｄ変換ステップ）、番号付与回路２０を通して、音声符
号化回路２１に入力される。音声符号化回路２１はμ則
又はＡ則に従ってＰＣＭ変換を行い、音声符号データと
して出力する（音声符号化ステップ）。音声符号化回路
２１から出力された音声符号データは、送信遅延メモリ
２２によって、設定された時間だけ遅延され（送信遅延
ステップ）、多重化回路２３へ出力される。

【００２２】ここで、送信遅延メモリ２２の遅延時間は
次のようにして制御される。まず、フレームカウンタ１
７がフレーム同期信号をカウントすることにより得られ
るフレーム番号は画像符号化回路１８によってフレーム
番号ＴＲとして画像符号化処理に導入されると同時に番
号付与回路２０によって音声符号化回路２１が処理する
音声データに番号として付与される（フレームカウント
ステップ、画像符号化ステップ、番号付与ステップ）。
本来、音声データは画像データと異なってフレームとい
うような区切りは無いので、音声データは連続したデー
タ列であり、そのままでは番号を付与することはできな
い。しかし、次のような方法で番号を付与することがで
きる。

【００２３】以下に音声データに番号を付与する方法の
一例を図２を参照して説明する。なお、（ａ）はフレー
ム同期信号を示すタイミング図、（ｂ）は音声データを
示すデータ状態図、（ｃ）は付与番号データを示すデー
タ状態図を示す。図２（ａ）に示すフレーム同期信号は
画像符号化回路１８が符号化処理する画像のフレームを
示すタイミング信号であり、フレーム番号ＴＲはフレー
ム同期信号に同期してカウントすることにより得られ
る。音声データは音声Ａ／Ｄコンバータ１９によってサ
ンプリングされ（Ｇ．７１１の場合は８ｋＨｚ）、音声
符号化回路２１にて符号化されるデータであるが、この
中のＬＳＢビットのみを番号付与のために割り当て、他
のビットを音声データとする（図２（ｂ）の音声データ
参照）。フレーム同期信号に同期して取り出したＬＳＢ
のビットストリームは８ｋｂｐｓのシリアルデータとな
るので、ここにヘッダ及び音声の番号データ（フレーム
番号ＴＲと同じ値）を乗せ、余分な部分はフィルデータ
で埋めておく（図２（ｃ）の付与番号データ参照）。こ
のようなフォーマットをあらかじめ決めておき、音声符
号化回路２１で符号化処理して送信する。後述するよう
に、受信側（受信装置）では、このフォーマットに従っ
てＬＳＢビットを取り出し、音声データに付与された番
号を検出することができる。なお、このような番号付与
方式を行わない場合は、全てのビットを音声データに割
り当てるように切り替える。この番号付与方式では、
Ｇ．７１１のような音声符号化の標準方式とクロックレ
ートなどとのタイミング上の互換性を保つことができ
る。以上のようにして、音声符号データに画像のフレー
ムと同期した番号を付与することができる。

【００２４】画像符号化回路１８および音声符号化回路
２１のそれぞれに、同じ番号を付与した画像データおよ
び音声データを入力して符号化処理を行い、画像と音声
の符号データを出力するが、従来の技術の欄で説明した
ように、それぞれの符号化処理時間は異なっており（画
像符号化処理時間の方が一般的に長い）、このためフレ
ーム番号検出回路２４が検出するフレーム番号と番号検
出回路２５が検出する番号には差分値が発生する（フレ
ーム番号検出ステップ、番号検出ステップ）。すなわ
ち、この差分値が画像符号化回路１８および音声符号化
回路２１の処理時間のずれとなり、これに応じて送信遅
延制御回路２６が送信遅延メモリ２２の音声符号データ
の遅延時間を補正するように制御することで（送信遅延
制御ステップ）、多重化回路２３によって多重化される
時点で画像と音声の符号データの同期が取られることに
なる（多重化ステップ）。以上の制御はフレーム毎に行
われるので、途中で処理時間が変化しても、それに応じ
て遅延量も変化するため、常に正確な同期が行われるこ
とになる。

【００２５】以上のように本実施例によれば、画像と音
声の符号化処理の遅延時間のずれ（差分値）を補正する
ことができるので、画像符号化回路１８と音声符号化回
路２１からそれぞれ出力される画像と音声の符号データ
を多重化回路２３において時期的に一致させることがで
き、画像と音声とを正確に同期させることができる。

【００２６】（実施例２）以下、本発明の第２の実施例
に係る画像通信装置について図を用いて説明する。

【００２７】図３は、第２の実施例に係る画像通信装置
を示すブロック図であり、受信装置を示すものである。
図３において、２７は通信網から受信したデータを画像
符号データと音声符号データとに分離する分離回路、２
８は分離回路２７から出力された画像符号データを復号
化して画像データを出力する画像復号化回路、２９は画
像復号化回路２８からの画像データをアナログ画像信号
に変換する画像Ｄ／Ａコンバータ、３０は分離回路２７
から出力された音声符号データを復号化して音声データ
を出力する音声復号化回路、３１は音声復号化回路３０
からの音声データを設定された時間だけ遅延させる受信
遅延メモリ、３２は受信遅延メモリ３１からの音声デー
タをアナログ音声信号に変換する音声Ｄ／Ａコンバー
タ、３３は音声復号化回路３０からの音声データから番
号を検出する番号検出回路、３４は画像復号化回路２８
からの画像データのフレーム番号を検出するフレーム番
号検出回路、３５は番号検出回路３３とフレーム番号検
出回路３４とがそれぞれ検出した番号の差分値から受信
遅延メモリ３１の遅延時間を制御する受信遅延制御回路
である。

【００２８】以上のように構成された従来の画像通信装
置の受信装置について、以下その動作を説明する。復号
化は、上述した画像および音声の符号化の逆の手順であ
る。分離回路２７を通じて受信したデータは画像と音声
の符号データに分離されて画像復号化回路２８と音声復
号化回路３０に出力される（分離ステップ）。画像復号
化回路２８は画像符号データから逆量子化、逆ＤＣＴを
行って画像データを復号化し（画像復号化ステップ）、
画像Ｄ／Ａコンバータ２９でアナログ画像信号に変換さ
れ（画像Ｄ／Ａ変換ステップ）、出力される。また、音
声復号化回路３０は音声符号データから逆ＰＣＭ変換を
行って音声データを復号化し（音声復号化ステップ）、
受信遅延メモリ３１を通じて音声Ｄ／Ａコンバータ３２
でアナログ音声信号に変換され（音声Ｄ／Ａ変換ステッ
プ）、出力される。

【００２９】ここで、受信遅延メモリ３１の遅延時間の
制御を以下に説明する。第１の実施例で示したように、
送信側において画像データを符号化する時に画像のフレ
ームカウンタ１７によってフレーム番号ＴＲがあらかじ
め画像符号データに付与されており、また、画像データ
と同時に入力された音声データにもあらかじめ同一の番
号が付与されている。よって、画像復号化回路２８から
フレーム番号検出回路３４が画像のフレーム番号ＴＲ
を、音声復号化回路から番号検出回路３３が音声に付与
した番号をそれぞれ検出するが（フレーム番号検出ステ
ップ、番号検出ステップ）、符号化の場合と同様に復号
化においても画像と音声とではその処理時間が異なって
いるため、分離回路２７で受信した画像と音声の符号デ
ータが同期している場合、すなわち復号化前のそれぞれ
の番号が一致していても、フレーム番号検出回路３４と
番号検出回路３３とでそれぞれ検出した番号は異なって
いることになる。よって、この差分値を受信遅延制御回
路３５が計算し（受信遅延制御ステップ）、その差分値
に応じて受信遅延メモリ３１は、画像Ｄ／Ａコンバータ
２９と音声Ｄ／Ａコンバータ３２からそれぞれ出力され
る画像信号ｖと音声信号ａの時間的なずれを補正するこ
とができる（受信遅延ステップ）。また、この方式によ
れば、分離回路２７で受信した画像と音声の符号データ
が同期していない場合、すなわち送信側の画像と音声の
同期が取られていない場合でも補正が可能である。ま
た、符号化と同様、以上の制御はフレーム毎に行われる
ので、途中で処理時間が変化しても、それに応じて遅延
量も変化するため、常に正確な同期が行われることにな
る。

【００３０】以上のように本実施例によれば、受信遅延
制御回路３５は画像と音声の復号化処理の遅延時間のず
れ及び送信段階における遅延時間のずれを補正すること
ができるので、画像復号化回路２８と音声復号化回路３
０からそれぞれ出力される画像と音声のデータとをＤ／
Ａコンバータ２９、３２において時期的に一致させるこ
とができ、画像信号と音声信号とを正確に同期させるこ
とができる。

【００３１】（実施例３）以下、本発明の第３の実施例
に係る画像通信装置について図を用いて説明する。

【００３２】図４は第３の実施例に係る画像通信装置を
示すブロック図である。図４において、１６は画像Ａ／
Ｄコンバータ、１７はフレームカウンタ、１８は画像符
号化回路、１９は音声Ａ／Ｄコンバータ、２０は番号付
与回路、２１は音声符号化回路、２２は送信遅延メモ
リ、２３は多重化回路、２４はフレーム番号検出回路、
２５は番号検出回路、２６は送信遅延制御回路、２７は
分離回路、２８は画像復号化回路、２９は画像Ｄ／Ａコ
ンバータ、３０は音声復号化回路、３１は受信遅延メモ
リ、３２は音声Ｄ／Ａコンバータ、３３は番号検出回
路、３４はフレーム番号検出回路、３５は受信遅延制御
回路であり、これらは図１、図３と同様のものなので、
その説明は省略する。Ａは画像通信装置を構成する送信
装置、Ｂは画像通信装置を構成する受信装置、３６は画
像信号を出力するカメラ、３７は音声信号を出力するマ
イク、３８は画像信号に基づく画像を表示するモニタ、
３９は音声信号に基づく音声を出力するスピーカ、４０
は多重化回路２３および分離回路２７を通信網に接続す
る回線回路、４１は使用者による装置操作のための操作
部、４２は装置全体を制御する制御部である。

【００３３】以上のように構成された画像通信装置につ
いてその動作を説明する。図４に示すように、本実施例
は、実施例１において送信装置Ａの画像信号の入力端子
（図示せず）にカメラ３６を接続し、音声信号の入力端
子（図示せず）にマイク３７を接続したものであり、動
作内容は実施例１と同様である。また、実施例２におい
て受信装置Ｂの画像信号の出力端子（図示せず）にモニ
タ３８を接続し、音声信号の出力端子（図示せず）にス
ピーカ３９を接続したものであり、動作内容は実施例２
と同様である。多重化回路２３と分離回路２７とが接続
された回線回路４０は通信網と接続して相手の画像通信
装置とデータの送受信を行う。制御部４２は、使用者が
操作部４１を使用して行う画像通信装置の操作に基づく
制御や、通信網との接続、切断動作、画像及び音声符号
化／復号化回路の制御などを行う。

【００３４】以上のように本実施例によれば、送信にお
いては送信遅延制御回路２６によって画像と音声との同
期が正確に取れた多重化データを送信でき、受信におい
ては受信遅延制御回路３５によって画像と音声との同期
が正確に取れた上でモニタ３８への表示とスピーカ３９
での音声の出力を行うことができる。

【００３５】

【発明の効果】以上のように本発明は、入力された画像
信号をＡ／Ｄ変換する画像Ａ／Ｄコンバータと、画像Ａ
／Ｄコンバータからの画像データのフレーム同期信号を
カウントしてフレーム番号を得るフレームカウンタと、
画像Ａ／Ｄコンバータからの画像データを符号化して画
像符号データを得ると共に画像符号データにフレーム番
号を付与する画像符号化回路と、入力された音声信号を
Ａ／Ｄ変換してデジタル音声データを得る音声Ａ／Ｄコ
ンバータと、フレームカウンタでカウントして得られた
画像データのフレーム番号と同一の番号をフレームカウ
ンタでカウントされた画像データと同時に入力されたデ
ジタル音声データに付与する番号付与回路と、番号付与
回路からの音声データを符号化する音声符号化回路と、
画像符号化回路によって符号化された画像符号データか
ら画像のフレーム番号を検出するフレーム番号検出回路
と、音声符号化回路によって符号化された音声符号デー
タから番号付与回路によって付与された番号をフレーム
番号の検出と同時に検出する番号検出回路と、フレーム
番号検出回路で検出されたフレーム番号と番号検出回路
で検出された番号との差分値を算出する送信遅延制御回
路、算出された差分値に基づいて設定された遅延時間だ
け前記音声符号化回路からの音声符号データを遅延させ
る送信遅延メモリと、画像符号化回路と送信遅延メモリ
とからそれぞれ出力される画像符号データと音声符号デ
ータとを多重化して通信網へ送信する多重化回路とを有
することにより、画像と音声の符号化処理の遅延時間の
ずれ（差分値）を補正することができるので、画像符号
化回路と音声符号化回路からそれぞれ出力される画像と
音声の符号データとの同期を正確に取ることが可能な画
像通信装置を実現することができる。

【００３６】また、通信網から受信したデータを画像符
号データと音声符号データとに分離する分離回路と、分
離回路から出力された画像符号データを復号化して画像
データを出力する画像復号化回路と、画像復号化回路か
らの画像データをアナログ画像信号に変換する画像Ｄ／
Ａコンバータと、分離回路から出力された音声符号デー
タを復号化して音声データを出力する音声復号化回路
と、画像復号化回路からの画像データに予め付与された
画像のフレーム番号を検出するフレーム番号検出回路
と、音声復号化回路からの音声データに予め付与された
番号を検出する番号検出回路と、フレーム番号検出回路
で検出されたフレーム番号と前記番号検出回路で検出さ
れた番号との差分値を算出する受信遅延制御回路と、算
出された差分値に基づいて設定された遅延時間だけ音声
復号化回路からの音声データを遅延させる受信遅延メモ
リと、受信遅延メモリから出力される音声データをアナ
ログ音声信号に変換する音声Ｄ／Ａコンバータとを有す
ることにより、画像と音声の復号化処理の遅延時間のず
れ及び送信段階における遅延時間のずれを補正すること
ができるので、画像復号化回路と音声復号化回路からそ
れぞれ出力される画像と音声との同期を正確に取ること
が可能な画像通信装置を実現することができる。

【００３７】さらに、画像通信装置を上記２つの発明に
係る画像通信装置から成るとすることにより、上記２つ
の発明の効果を共に生じる画像通信装置を実現すること
ができる。

【００３８】さらに、入力された画像信号をＡ／Ｄ変換
する画像Ａ／Ｄ変換ステップと、Ａ／Ｄコンバータから
の画像データのフレーム同期信号をカウントしてフレー
ム番号を得るフレームカウントステップと、画像データ
を符号化して画像符号データを得ると共に画像符号デー
タにフレーム番号を付与する画像符号化ステップと、入
力された音声信号をＡ／Ｄ変換してデジタル音声データ
を得る音声Ａ／Ｄ変換ステップと、フレームカウントス
テップでカウントして得られた画像データのフレーム番
号と同一の番号をフレームカウントステップでカウント
された画像データと同時に入力されたデジタル音声デー
タに付与する番号付与ステップと、番号付与ステップで
番号が付与された音声データを符号化する音声符号化ス
テップと、画像符号化ステップで符号化された画像符号
データから画像のフレーム番号を検出するフレーム番号
検出ステップと、音声符号化ステップによって符号化さ
れた音声符号データから番号付与ステップで付与された
番号をフレーム番号の検出と同時に検出する番号検出ス
テップと、フレーム番号検出ステップで検出されたフレ
ーム番号と番号検出ステップで検出された番号との差分
値を算出する送信遅延制御ステップと、算出された差分
値に基づいて設定された遅延時間だけ音声符号化ステッ
プで符号化された音声符号データを遅延させる送信遅延
ステップと、画像符号化ステップで符号化された画像符
号データと送信遅延ステップで遅延された音声符号デー
タとを多重化して通信網へ送信する多重化ステップとを
有することにより、画像と音声の符号化処理の遅延時間
のずれ（差分値）を補正することができるので、出力画
像符号データと出力音声符号データとの同期を正確に取
ることが可能な画像通信方法を実現することができる。

【００３９】さらに、通信網から受信したデータを画像
符号データと音声符号データとに分離する分離ステップ
と、分離された画像符号データを復号化して画像データ
を出力する画像復号化ステップと、画像復号化ステップ
で復号化された画像データをアナログ画像信号に変換す
る画像Ｄ／Ａ変換ステップと、分離された音声符号デー
タを復号化して音声データを出力する音声復号化ステッ
プと、画像復号化ステップで復号化された画像データに
予め付与された画像のフレーム番号を検出するフレーム
番号検出ステップと、音声復号化ステップで復号化され
た音声データに予め付与された番号を検出する番号検出
ステップと、フレーム番号検出ステップで検出されたフ
レーム番号と番号検出ステップで検出された番号との差
分値を算出する受信遅延制御ステップと、算出された差
分値に基づいて設定された遅延時間だけ音声復号化ステ
ップで復号化された音声データを遅延させる受信遅延ス
テップと、受信遅延ステップで遅延された音声データを
アナログ音声信号に変換する音声Ｄ／Ａ変換ステップと
を有することにより、画像と音声の復号化処理の遅延時
間のずれ及び送信段階における遅延時間のずれを補正す
ることができるので、出力画像信号と出力音声信号との
同期を正確に取ることが可能な画像通信方法を実現する
ことができる。

【００４０】さらに、画像通信方法を上記２つの方法発
明に係る画像通信方法から成るとすることにより、上記
２つの方法発明の効果を共に生じる画像通信方法を実現
することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る画像通信装置を示すブ
ロック図

【図２】フレーム同期信号を示すタイミング等を示す図

【図３】第２の実施例に係る画像通信装置を示すブロッ
ク図

【図４】第３の実施例に係る画像通信装置を示すブロッ
ク図

【図５】従来の画像通信装置の送信装置を示すブロック
図

【図６】従来の画像通信装置の受信装置を示すブロック
図

【符号の説明】

Ａ 送信装置 Ｂ 受信装置 １６ 画像Ａ／Ｄコンバータ １７ フレームカウンタ １８ 画像符号化回路 １９ 音声Ａ／Ｄコンバータ ２０ 番号付与回路 ２１ 音声符号化回路 ２２ 送信遅延メモリ ２３ 多重化回路 ２４ フレーム番号検出回路 ２５ 番号検出回路 ２６ 送信遅延制御回路 ２７ 分離回路 ２８ 画像復号化回路 ２９ 画像Ｄ／Ａコンバータ ３０ 音声復号化回路 ３１ 受信遅延メモリ ３２ 音声Ｄ／Ａコンバータ ３３ 番号検出回路 ３４ フレーム番号検出回路 ３５ 受信遅延制御回路 ３６ カメラ ３７ マイク ３８ モニタ ３９ スピーカ ４０ 回線回路 ４１ 操作部 ４２ 制御部

Claims (6)

【特許請求の範囲】
1. 【請求項１】入力された画像信号をＡ／Ｄ変換する画像
   Ａ／Ｄコンバータと、前記画像Ａ／Ｄコンバータからの
   画像データのフレーム同期信号をカウントしてフレーム
   番号を得るフレームカウンタと、前記画像Ａ／Ｄコンバ
   ータからの画像データを符号化して画像符号データを得
   ると共に画像符号データに前記フレーム番号を付与する
   画像符号化回路と、入力された音声信号をＡ／Ｄ変換し
   てデジタル音声データを得る音声Ａ／Ｄコンバータと、
   前記フレームカウンタでカウントして得られた画像デー
   タのフレーム番号と同一の番号を前記フレームカウンタ
   でカウントされた画像データと同時に入力された前記デ
   ジタル音声データに付与する番号付与回路と、前記番号
   付与回路からの音声データを符号化する音声符号化回路
   と、前記画像符号化回路によって符号化された画像符号
   データから画像のフレーム番号を検出するフレーム番号
   検出回路と、前記音声符号化回路によって符号化された
   音声符号データから前記番号付与回路によって付与され
   た番号を前記フレーム番号の検出と同時に検出する番号
   検出回路と、前記フレーム番号検出回路で検出されたフ
   レーム番号と前記番号検出回路で検出された番号との差
   分値を算出する送信遅延制御回路、前記算出された差分
   値に基づいて設定された遅延時間だけ前記音声符号化回
   路からの音声符号データを遅延させる送信遅延メモリ
   と、前記画像符号化回路と前記送信遅延メモリとからそ
   れぞれ出力される画像符号データと音声符号データとを
   多重化して通信網へ送信する多重化回路とを有すること
   を特徴とする画像通信装置。
2. 【請求項２】通信網から受信したデータを画像符号デー
   タと音声符号データとに分離する分離回路と、前記分離
   回路から出力された画像符号データを復号化して画像デ
   ータを出力する画像復号化回路と、前記画像復号化回路
   からの画像データをアナログ画像信号に変換する画像Ｄ
   ／Ａコンバータと、前記分離回路から出力された音声符
   号データを復号化して音声データを出力する音声復号化
   回路と、前記画像復号化回路からの画像データに予め付
   与された画像のフレーム番号を検出するフレーム番号検
   出回路と、前記音声復号化回路からの音声データに予め
   付与された番号を検出する番号検出回路と、前記フレー
   ム番号検出回路で検出されたフレーム番号と前記番号検
   出回路で検出された番号との差分値を算出する受信遅延
   制御回路と、前記算出された差分値に基づいて設定され
   た遅延時間だけ前記音声復号化回路からの音声データを
   遅延させる受信遅延メモリと、前記受信遅延メモリから
   出力される音声データをアナログ音声信号に変換する音
   声Ｄ／Ａコンバータとを有することを特徴とする画像通
   信装置。
3. 【請求項３】請求項１記載の画像通信装置と請求項２記
   載の画像通信装置とから成ることを特徴とする画像通信
   装置。
4. 【請求項４】入力された画像信号をＡ／Ｄ変換して画像
   データを得る画像Ａ／Ｄ変換ステップと、前記画像デー
   タのフレーム同期信号をカウントしてフレーム番号を得
   るフレームカウントステップと、前記画像データを符号
   化して画像符号データを得ると共に画像符号データに前
   記フレーム番号を付与する画像符号化ステップと、入力
   された音声信号をＡ／Ｄ変換してデジタル音声データを
   得る音声Ａ／Ｄ変換ステップと、前記フレームカウント
   ステップでカウントして得られた画像データのフレーム
   番号と同一の番号を前記フレームカウントステップでカ
   ウントされた画像データと同時に入力された前記デジタ
   ル音声データに付与する番号付与ステップと、前記番号
   付与ステップで番号が付与された音声データを符号化す
   る音声符号化ステップと、前記画像符号化ステップで符
   号化された画像符号データから画像のフレーム番号を検
   出するフレーム番号検出ステップと、前記音声符号化ス
   テップによって符号化された音声符号データから前記番
   号付与ステップで付与された番号を前記フレーム番号の
   検出と同時に検出する番号検出ステップと、前記フレー
   ム番号検出ステップで検出されたフレーム番号と前記番
   号検出ステップで検出された番号との差分値を算出する
   送信遅延制御ステップと、前記算出された差分値に基づ
   いて設定された遅延時間だけ前記音声符号化ステップで
   符号化された音声符号データを遅延させる送信遅延ステ
   ップと、前記画像符号化ステップで符号化された画像符
   号データと前記送信遅延ステップで遅延された音声符号
   データとを多重化して通信網へ送信する多重化ステップ
   とを有することを特徴とする画像通信方法。
5. 【請求項５】通信網から受信したデータを画像符号デー
   タと音声符号データとに分離する分離ステップと、前記
   分離された画像符号データを復号化して画像データを出
   力する画像復号化ステップと、前記画像復号化ステップ
   で復号化された画像データをアナログ画像信号に変換す
   る画像Ｄ／Ａ変換ステップと、前記分離された音声符号
   データを復号化して音声データを出力する音声復号化ス
   テップと、前記画像復号化ステップで復号化された画像
   データに予め付与された画像のフレーム番号を検出する
   フレーム番号検出ステップと、前記音声復号化ステップ
   で復号化された音声データに予め付与された番号を検出
   する番号検出ステップと、前記フレーム番号検出ステッ
   プで検出されたフレーム番号と前記番号検出ステップで
   検出された番号との差分値を算出する受信遅延制御ステ
   ップと、前記算出された差分値に基づいて設定された遅
   延時間だけ前記音声復号化ステップで復号化された音声
   データを遅延させる受信遅延ステップと、前記受信遅延
   ステップで遅延された音声データをアナログ音声信号に
   変換する音声Ｄ／Ａ変換ステップとを有することを特徴
   とする画像通信方法。
6. 【請求項６】請求項４記載の画像通信方法と請求項５記
   載の画像通信方法とから成ることを特徴とする画像通信
   方法。