JP3927606B2 - 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は画像通信装置及びシステムに関し、例えば、通信回線を介して画像データ等の送受信を行う画像通信装置及びシステムに関する。
【０００２】
【従来の技術】
従来のアナログの電話回線の場合、例えば電話は音声のみ伝送可能であり、ファクシミリ装置等の画像通信装置においても低速でしか画像データを伝送できなかった。
【０００３】
しかし、近年の通信技術や半導体技術、光技術の進歩にともない、デジタル回線が整備され、高速で大容量のデータの伝送が可能になった。
【０００４】
特に、デジタル伝送の特徴としては、伝送による品質低下がなく同レベルの品質が保たれること、伝送データのメディアの特性に応じた伝送路を必要とせず、メディアの統合が図れること等があり、複合メディア端末間の伝送が可能になった。よって、従来の音声のみを伝送していた電話機に加え、映像をも同時に伝送可能な電話端末機、いわゆるＴＶ電話装置が出現している。
【０００５】
こうした状況の中、異なる複合端末間においても相互通信が可能になるよう、ＣＣＩＴＴ（国際電信電話諮問委員会）等による国際標準化が進められており、デジタル回線を用いたテレビ電話、テレビ会議システム等のＡＶ(Audio Visual)サービスとしてのＡＶサービス用のサービス規定、プロトコル規定、マルチメディア多重化フレーム構成規定がＣＣＩＴＴ勧告（または草案）Ｈ．３２０，Ｈ．２４２，Ｈ．２２１等として発表されている。
【０００６】
Ｈ．２２１では、６４Ｋｂｐｓから１９２０ＫｂｐｓまでのＡＶサービスにおけるフレーム構成及び端末能力の交換や通信モードのＦＡＳ(Frame Alignment Signal) 、ＢＡＳ(Bit Allocation Signal) の符号割当が定義されている。また、Ｈ．２４２ではＢＡＳを用いたＡＶ端末間での能力交換及び通信モード切り替えなどのプロトコルが定義され、Ｈ３２０ではＡＶサービス全般のシステム概要が定義されている。
【０００７】
上記勧告（または勧告草案）においては、エンドツーエンドの物理コネクションの設定及びインチャネルでのＦＡＳによる同期確立後、インチャネルでＢＡＳを用いた端末能力の交換シーケンス、通信モードの指定によるモード切り替えシーケンスなどの手順により端末間で画像，音声，データなどのマルチメディア通信を行うための方法が規定されている。
【０００８】
但し、各端末において自己の端末能力を状況に応じて変化させたり、変換された能力の範囲内でどの通信モードを用いるかは規定の範囲外である。
【０００９】
画像、音声及びデータを同時に通信するマルチメディア通信における各メディアの情報転送速度は、音声情報は音声符号化方式を指定することで決定され、データ情報は、その使用の有無、使用する場合の転送速度を指定することにより決定され、設定した通信路全体の情報転送速度から、音声情報の転送速度とデータ情報の転送速度を引いた残りが画像情報の転送速度となる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来のＴＶ電話装置によれば、符号化するための送信画像フォーマットが規定されているために、例えば用途に応じて画像フォーマットを変更することができない。
【００１１】
例えば、ＩＴＵ−ＴＳ（旧ＣＣＩＴＴ）のＨ．２６１勧告に対しては、ＣＩＦ（Common Intermediate Format）とＱＣＩＦ（Quarter CIF ）の２種類の規定フォーマットしかないために、通常の画質と更に高精細な画質との２種類の解像度の切り替えのみしか行えず、最適な解像度に可変に設定することができないという問題がある。
【００１２】
また、送信したい画像の入力画像フォーマットと規定フォーマットが合わない時に、入力画像フォーマットを規定フォーマットの大きさに合わせるために入力画像フォーマットを拡大あるいは縮小したり、受信した規定フォーマットと出力画像のフォーマットが合わない時に、規定フォーマットを出力画像フォーマットに合わせるために、規定画像フォーマットを拡大あるいは縮小せねばならない。よって、無駄な変倍処理を必要としたり、変倍処理に伴って画質の低下を引き起こしてしまう等の問題がある。
【００１３】
例えば、静止画像に動画像をはめ込んで画面を表示する形式で送受信を行う場合には、送信側ではまず静止画像を規定のフォーマットで送信し、次いで動画像を規定のフォーマットで送信する。即ち、２フレームの送信を行い、受信側では受信した動画像フレームの画像を縮小変倍して、先に受信した静止画像にはめ込む処理を行うことにより、１フレーム分の画像を生成していた。
【００１４】
従って本発明は上述した課題を解決するために、画像フォーマットが固定であっても、柔軟に画像を分割して任意のサイズで動画像を、更に効率良く送受信可能な画像通信装置及びシステムの提供を目的とする。
【００１５】
【課題を解決するための手段】
本発明は上述した目的を達成するために、以下の構成を備える。
【００１６】
即ち、本発明の画像通信装置は、１画面中の画像が送信される第１の所要領域と、動画像領域として前記第１の所要領域中の所望の第２の所要領域とを指定する領域指定手段と、前記領域指定手段による指定に基づいて前記第２の所要領域の動画像と、前記第２の所要領域を除く前記第１の所要領域の静止画像とを組み合わせる組み合せ手段と、前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第１の所要領域の領域位置情報および前記第１の所要領域内の動画像の領域の位置を示す前記第２の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有することを特徴とする。
【００１８】
更に、符号化された画像データと、前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報とを受信する受信手段と、前記受信手段により受信した画像データを復号する復号手段と、前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報に基づいて、前記第２の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを有することを特徴とする。
【００１９】
例えば、前記符号化手段は画像データをブロック単位で符号化し、前記領域指定手段は前記ブロック単位で領域を指定することを特徴とする。
【００２０】
例えば、前記組み合せ手段は前記領域指定手段により少なくとも２領域が指定された場合に、それぞれ異なる動画像を組み合わせることを特徴とする。
【００２１】
例えば、前記静止画像は前記動画像の一部であることを特徴とする。
【００２３】
例えば、前記符号化手段はフレーム間差分による符号化を行うことを特徴とする。
【００２４】
更に、音声処理を行う音声処理部と、前記音声処理部で処理された音声データを符号化する音声符号化部と、前記音声符号化部で符号化された音声データを送信する音声送信手段とを有することを特徴とする。
【００２５】
また、本発明の画像通信システムにおいて、第１の画像通信装置は、１画面中の画像が送信される第１の所要領域と、動画像領域として前記第１の所要領域中の所望の第２の所要領域とを指定する領域指定手段と、前記領域指定手段による指定に基づいて前記第２の所要領域の動画像と、前記第２の所要領域を除く前記第１の所要領域の静止画像とを組み合わせる組み合せ手段と、前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第１の所要領域の領域位置情報および前記第１の所要領域内の動画像の領域の位置を示す前記第２の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有し、第２の画像通信装置は、前記符号化された画像データと、前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報とを受信する受信手段と、前記受信手段により受信した画像データを復号する復号手段と、前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報に基づいて、前記第２の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを有することを特徴とする。
【００２６】
【作用】
以上の構成において、更に効率良く符号化して送信することが可能となる。また、受信した複数の画像を抽出して選択表示あるいは同時表示することが可能となるという特有の作用効果が得られる。
【００２７】
【実施例】
以下、本発明に係る一実施例について、図面を参照して詳細に説明する。
【００２８】
図１は本実施例のＴＶ電話装置の構成を示すブロック図である。図１において、１はマイク、２はスピーカ、３はシステム制御部１４の指示により、音量レベル調整のための利得調整機能、音声入出力手段としてマイク１とスピーカ２を使用した時にエコーを消去するためのエコーキャンセル機能、ダイヤルトーン，呼出トーン，ビジートーン，着信音などのトーン生成機能等をもつ音声処理部、４はシステム制御部１４の指示により、６４ｋｂｐｓＰＣＭ（Ａ−ｌａｗ）、６４ｋｂｐｓＰＣＭ（μ−ｌａｗ）、７ｋＨｚオーディオ（ＳＢ−ＡＤＰＣＭ）、３２ｋｂｐｓＡＤＰＣＭ，１６ｋｂｐｓ（たとえば、ＡＰＣ−ＡＢ）８ｋｂｐｓなどの音声符号化／復号化アルゴリズムにしたがって、送信音声信号をＡ／Ｄ変換し符号化する機能、受信音声信号を復号化してＤ／Ａ変換する機能をもつ音声コーデック部、５は標準装備されており人物等を撮像するカメラ、６はカメラ５よりの入力画像や相手装置からの受信画像、及びシステム制御部１４からの画像を表示するモニタ、７は各種画像編集処理を行う画像処理部、８は送信画像編集部、９は受信画像編集部である。尚、送信画像編集部８の詳細構成は後述する図２に、受信画像編集部９の詳細構成は後述する図３に示す。１８は領域判別部であり、画像処理部７において後述する各種画像領域を判別するための領域情報を作成、又は解読する。
【００２９】
また、図１において１０はシステム制御部１４内の特定画像管理テーブルに基づいて、画像に挿入するテキストデータやグラフィックデータをビットマップデータに変換し、画像処理部７に転送する特定画像生成部、１１は送信画像を符号化する機能、受信画像を復号化する機能をもつ画像コーデック部である。画像コーデック部１１は、大容量の画像の生データに対して動き補償，コマ落とし，フレーム間予測及びフレーム間補償，ＤＣＴ変換，ベクトル量子化変換などの種々の手法によって帯域圧縮を行い、画像データがデジタル回線で伝送可能となるように小容量化している。尚、現在ＩＳＤＮ回線の基本インターフェースは６４ｋｂｐｓであるが、この伝送速度で伝送可能な画像の符号化方式としては、ＩＴＵ−ＴＳ勧告のＨ．２６１がある。
【００３０】
図１において１２は音声コーデック部４からの音声データ、画像コーデック部１１からの画像データ、システム制御部１４からのＢＡＳを送信フレーム単位に多重化するとともに、受信フレームを構成単位である各メディアに分離し、各部に通知する多重分離部であり、ＣＣＩＴＴ勧告としてＨ．２２１がある。
【００３１】
また、１３はＩＳＤＮユーザ網インターフェースに従って回線を制御する回線インターフェース、１４はＣＰＵ，ＲＯＭ，ＲＡＭ，補助記憶装置，キャラクタジェネレータ，画像信号生成回路などを備え、装置の各部の状態を監視し、装置全体の制御，状態に応じた操作／表示画面作成およびアプリケーションプログラムの実行などを行うシステム制御部、１５は送信画像編集部８と受信画像編集部９における画像メモリのアドレス指定を管理する領域指定管理テーブル、１６は特定画像データを管理する特定画像管理テーブル、１７は本装置の制御をするために操作者が領域指定情報や制御情報入力に使用するキーボード，タッチパネル等よりなる操作部である。本実施例における各領域指定情報は予め操作者により操作パネル１７から入力されており、領域指定管理テーブル１５に格納されている。
【００３２】
以下、図２を参照して、送信画像編集部８について詳細に説明する。図２は送信画像編集部８の詳細構成を示すブロック図である。
【００３３】
図２において、２１は画像データを入力してコンポジット信号であればＹＣ分離し、更にＣ信号については復調してＣｒ，Ｃｂ信号に分離し、ＲＧＢ信号が必要であれば色変換する機能を有する入力処理部、２２は入力画像データの画像フォーマットを必要な画像フォーマットに変倍する変倍処理部、２３は同期を取るために画像データを一時的に蓄積しておくバッファ、２４は送信画像処理部３５の指示に従って、メモリ２７に書き込む静止画像を設定する静止画像設定部、２５は入力された画像データと、静止画像設定部２４からの静止画像データと、画像制御部３５からの特定画像データとのうち、どのデータを画像メモリ２７に書き込むかを選択する選択部である。尚、静止画像設定部２４は送信画像制御部３５の指示に従って各種静止画像を格納するメモリをその内部に有しており、画像メモリ２７から画像データを静止画像として取り込むことも可能である。
【００３４】
また、２６は画像メモリ２７への書き込みアドレスを発生し、かつ選択部２５を制御するメモリライト制御部、２７は画像メモリ、２８，２９，３０はメモリライト制御部２６に対して、画像メモリ２７への領域指定とその領域でどのデータの選択をするかを設定する領域指定部ａ，ｂ，ｃ、３１は画像メモリ２７からの読み出しアドレス信号を発生するメモリリード制御部、３２，３３，３４はメモリリード制御部３１に対して、画像メモリ２７への領域指定とその領域で画像コーデック部１１へ転送する画像の領域を設定する領域指定部ｄ，ｅ，ｆ、３５は特定画像データや静止画像データの設定や、メモリライト制御部２６とメモリリード制御部３１への領域指定データを、各領域指定部２８〜３０，３２〜３４に設定する送信画像制御部である。
【００３５】
以下、図３を参照して、受信画像編集部９について詳細に説明する。図３は受信画像編集部９の詳細構成を示すブロック図である。
【００３６】
図３において、４１は画像メモリ４５への書き込みアドレス信号を発生するメモリライト制御部、４２，４３，４４はメモリライト制御部４１に対して、画像メモリ４５への領域指定を設定する領域指定部ａ，ｂ，ｃ、４５は画像メモリ、４６は画像メモリ４５からの読み出しアドレス信号を発生するメモリリード制御部、４７，４８，４９はメモリリード制御部４６に対して、画像メモリ４５への領域指定を設定する領域指定部ｄ，ｅ，ｆ、５０は画像フォーマットを必要な画像フォーマットに変倍する変倍処理部、５１は変倍処理部５０からの画像データと受信画像制御部５４からの特定画像データとを合成する合成部、５２は受信画像制御部５４からの指示により、合成部５１に対してその合成の切り替えタイミングを制御するオーバーアレイコントローラ、５３は合成部５１から出力された画像データをデジタル信号からアナログ信号に変換するＤＡＣ(Digital Analog Converter)、５４は特定画像データの出力やメモリライト制御部４１とメモリリード制御部４２への領域指定データを各領域指定部４２〜４４，４７〜４９に設定する、あるいは、オーバーアレイコントローラ５２へのオーバーアレイ切り替え制御を設定する受信画像制御部である。
【００３７】
以上説明した構成により、図１に示すカメラ５から入力された符号化前の画像に対して、送信画像編集部８で送信画像領域に入力された画像をはめ込むのはもちろんのこと、送信領域の一部または全部に静止画像データや送信画像制御部３５で生成された特定画像データをはめ込むことができる。
【００３８】
また、受信した後に画像コーデック部１１で復号化された画像に対して、受信画像編集部９で受信画像領域から任意に領域を選択し、その画像の一部または全部を抽出し、受信画像制御部５４で生成した特定画像データと上記画像とを重ねてモニタ６に表示することが可能となる。
【００３９】
尚、上述した図２に示す送信画像制御部３５及び図３に示す受信画像制御部５４とは、図１に示すシステム制御部１４によって制御されており、システム制御部１４内の領域指定管理テーブル１５の内容に従って、それぞれの画像メモリ２７，４５へのアクセスを制御する。
【００４０】
また、送信画像編集部８において合成された送信画像内の各領域情報、及び受信画像編集部９において受信された受信画像内の各領域情報は、図１に示す領域判別部１８において管理され、送信画像制御部３５及び受信画像制御部５４にその制御を委ねる。また、領域判別部１８において生成された領域情報は、符号化された画像データの送受信に先だって各ＴＶ電話機間で送受信される。
【００４１】
以下、上述した送信画像へのデータはめ込み処理や、受信画像の重ね処理の具体例を図４に示し、説明する。
【００４２】
図４の（ａ）は、送信画像制御部３５から例えば領域指定部ａ２８に対して、４角を（ｘ2，ｙ2），（ｘ2，ｙ3），（ｘ3，ｙ2），（ｘ3，ｙ3）で示される領域を指定し、その領域を動画像領域と定めた例を示す。この場合メモリライト制御部２６は、画像メモリ２７へのアクセスがその領域に達した場合には選択部２５をバッファ２３からの入力画像に切り替えて、画像メモリ２７にその入力画像、即ち動画像の対応するデータを書き込む。更に、図４の（ａ）では、送信画像制御部３５から例えば他の領域指定部ｂ２９に対して、（ｘ0，ｙ0），（ｘ0，ｙ1 ），（ｘ1，ｙ0），（ｘ1，ｙ1）で示される領域を指定し、その領域内を静止画像領域と定めた例も同時に示す。メモリライト制御部２６は画像メモリ２７へのアクセスがその領域に達した場合には、選択部２５を静止画像設定部２４からの静止画像データに切り替えて、画像メモリ２７にその静止画像データの対応するデータを書き込む。尚、領域指定部２８〜３０は互いに重なって使用されることがなければ、どちらを使用するようにしてもよい。
【００４３】
図４の（ｂ）は、図４の（ａ）で示される画像に対して更に送信画像制御部３５から発生される特定画像データをはめ込んだ例を示す。この特定画像データの領域指定は、上述した例と同様にまず領域指定部２８〜３０のどれか一つに対して領域の指定を行い、メモリライト制御部２６はその領域に達した場合に、特定画像データの対応するデータを画像メモリ２７に書き込む。
【００４４】
上述したようにして送信画像編集部８において生成された画像データは、画像コーデック部１１に転送される。
【００４５】
次に、図５を参照して、本実施例における領域指定の方法について説明する。図５は本実施例における各種の領域指定方法を示す図である。
【００４６】
図５の（ａ）は、カメラ５から２人の人物の映像が入力されている場合に、２人のメインとなる画像部分のみをそれぞれ動画像として画像メモリ２７に取り込み、それ以外の部分は、静止画像データを取り込んだ例を示す。この場合には、動画像として送信する必要のない部分には画像コーデック部１１で符号化データが発生しないようにし、領域指定した重要な２箇所の画像データのみに符号化データを割り当てるようにして、画像データの転送効率を向上させることができる。また、この２つの動画像領域を全く独立した画像として扱うことにより、１つのカメラ５からマルチの画像入力が可能となる。
【００４７】
図５の（ｂ）は、例えばカメラ５をａ，ｂ，ｃの複数台備え、画像入力をａ，ｂ，ｃで順次切り替えながら画像メモリ２７に書き込むことにより、マルチ画像入力を実現している例を示す。
【００４８】
この場合のマルチ画像の入力方法としては、同期信号を送信画像制御部３５で発生して各カメラａ〜ｃに送出し、各カメラａ〜ｃはその同期に合わせて入力画像を送信画像編集部８に転送し、送信画像編集部８で各カメラａ〜ｃの画像データを順に切り替えながら画像メモリ２７に書き込む方法と、各カメラａ〜ｃの入力画像をすべて同時かつ非同期に受信し、バッファ２３で一担バッファリングして、送信画像制御部３５で発生した同期に合わせて各カメラａ〜ｃの入力画像を順に画像メモリ２７に書き込む方法とがある。
【００４９】
その画像の書き込み領域の指定は上述した方法と同様に、各カメラａ〜ｃ毎に領域指定部２８〜２９のいずれかにその領域を設定し、処理が設定された領域に達した場合に、その領域を指定されたカメラからの入力画像を画像メモリ２７に書き込む。こうすることにより、複数のカメラからの入力をひとつの画像メモリに書き込むことが可能となり、また残りの不要部分は特定画像データや静止画像データを書き込むことにより、符号化の割り当てを必要部分に集中させて画像データの転送効率を向上させることができる。
【００５０】
図５の（ｃ）は、静止画像を送信画像フォーマットの全領域に指定し、その一部にカメラ５から入力された動画像を領域指定してはめ込んだ場合の例を示す。
【００５１】
図５の（ｃ）において、静止画像はカメラ５からの入力画像の一部が、静止画像設定部２４において取り出されて設定されている。また、新規に生成した静止画像を全領域に指定することももちろん可能である。
【００５２】
この場合も、静止画像として扱う領域分のデータは一度送信してしまうとその後は動画像としての差分データが発生しなくなるため、送信画像の符号化が動画像部分のみに集中して、画像データの転送効率が向上する。
【００５３】
以下、図１に示す画像コーデック部１１における符号化処理について図６を参照して説明する。図６はコーデック部１１における符号化処理を行う詳細構成を示すブロック図である。
【００５４】
図６において、６０は符号化処理を行う符号化処理部、６１はシステム制御部１４からの指示に従って、符号化処理部６０を構成する各部への制御をしたり、必要な情報の生成を行う符号化制御部、６２は符号化対象となる画像フレームを間引くことにより発生符号量を抑制するコマ落し処理部、６３は前フレームと現フレームの同一のマクロブロック（以下、ＭＢ）についてフレーム間の平均二乗誤差やフレーム内の分散等を算出して、符号化対象を前フレームと現フレームの画像の差分値（ＩＮＴＥＲ）とするか又は現フレームの原画像値ＩＮＴＲＡとするかを判別するＩＮＴＥＲ／ＩＮＴＲＡ判別処理部、６４は対象となる現フレームのブロックが前フレームのある範囲内をサーチしてパターンマッチングするかどうか、つまり動き補償（ＭＣ）するか否かを判別するＭＣ判別部、６５はＭＣ判別部６４の判別結果によって動き補償の有無と動きベクトル（方向，大きさ）を指示することにより、ＭＣ制御を行うＭＣ制御部、６６はＩＮＴＥＲ／ＩＮＴＲＡ判別部６３の判別結果によりＩＮＴＥＲ／ＩＮＴＲＡ処理を行うＩＮＴＥＲ／ＩＮＴＲＡ処理部、６７は動き補償した後にフィルタ処理を行うフィルタ処理部、６８は同一のＭＢに対してＩＮＴＥＲのフレームが続くと受信側で量子化誤差が累積する、あるいは伝送エラーなどによる複合画像の乱れが生じた場合に復旧できない等の問題が生じるために、ある期間でＩＮＴＲＡフレームを発生させてリフレッシュを行うためのリフレッシュ周期カウンタ、６９は量子化した際のデータの発生効率をよくするためにしきい値を制御し、ある値以下のデータは０値としてデータを発生しないようにする量子化しきい値制御部、７０は送信バッファ８１のデータ蓄積量に応じて量子化ステップサイズを制御する量子化ステップサイズ制御部、７１は送信バッファ８１の蓄積量を検出する送信量検出部、７２はフレームヘッダ，ＧＯＢ（Group of Block）ヘッダ，ＭＢヘッダを生成するヘッダ情報生成部である。
【００５５】
７３はフレームメモリ、７４，７５はＩＮＴＥＲ／ＩＮＴＲＡ処理を選択するスイッチ、７６はＩＮＴＥＲ処理の際の前フレームと現フレームとの差分をとる減算器、７７は直交変換により空間領域から周波数領域に変換するＤＣＴ変換（不可逆符号化）部、７８は量子化器、７９は発生したデータを可変長符号化するＶＬＣ（可逆符号化）部、８０は多重化部、８１は送信バッファ、８２は誤り訂正フレームを生成するＢＣＨ部、８３は逆量子化器、８４は逆ＤＣＴ変換部、８５は前フレームと現フレームとを加算する加算器、８６，８７は読みだしフレームと書込みフレームとを交互に切換えるスイッチ、８８，８９はフレームメモリ、９０はスイッチ８６，８７とフレームメモリ８８，８９を制御するＦＭ制御部、９１は前フレームをサーチして現フレームとのパターンマッチングを検出する動き補償部、９２，９３はフィルタ処理部９４のＯＮ／ＯＦＦを選択するスイッチ、９４はフィルタ処理部、９５はＦＩＦＯメモリ９６へのデータの入力をＯＮ／ＯＦＦするスイッチ、９６はＦＩＦＯメモリである。
【００５６】
尚、図６において、実線は画像信号の入出力を、破線は制御信号の入出力方向を示す
次に、上述した図６に示す構成により符号化処理を施される１画面（１フレーム）の画像データの構成について、図７を参照して詳細に説明する。図７の（ａ）に、１画面の画像フォーマット例を示す。尚、以下、Ａ画素×ＢラインをＡ×Ｂで表わす。
【００５７】
ＩＴＵ−ＴＳ勧告Ｈ．２６１においては、取り扱うビデオ信号としては、ＮＴＳＣ，ＰＡＬ，デジタルテレビ（ＨＤＴＶ）規格等の異なった複数の規格が存在するため、お互いに通信ができるように世界共通のビデオ信号フォーマットを採用している。
【００５８】
これをＣＩＦと称し、標本数が輝度Ｙは３５２×２８８、色差Ｃｒ，Ｃｂは１７６×１４４で規定されている。
【００５９】
標本点（サンプリング点）については、図７の（ｂ）に示すように、色差（Ｃｒ，Ｃｂ）は、輝度４地点（Ｙ１，Ｙ２，Ｙ３，Ｙ４）の等距離にある点と定められている。
【００６０】
更に、ＣＩＦを水平、垂直共に１／２とした１／４のフォーマットをＱＣＩＦと称し、標本数が輝度Ｙは１７６×１４４、色差Ｃｒ，Ｃｂは、８８×７２で定義されている。
【００６１】
図７に示すように、上記ＣＩＦ，ＱＣＩＦの各フォーマットは、ＧＯＢフォーマット複数個で構成され、ＧＯＢフォーマットはＭＢフォーマット３３個で構成される。更に、ＭＢフォーマットはＹ１，Ｙ２，Ｙ３，Ｙ４の４個の８×８の輝度ブロックと、８×８の色差ブロックＣｒ，Ｃｂの合計６ブロックで構成されており、階層構造になっている。
【００６２】
図７に示す画像データの階層構造により、符号化をＭＢ単位で行うことが可能となる。
【００６３】
ＧＯＢは、その標本数を輝度Ｙが１７６×４８、色差Ｃｒ，Ｃｂが８８×２４に定義され、ＣＩＦの１／１２，ＱＣＩＦの１／３に相当する。また、ＣＩＦがＧＯＢ１〜ＧＯＢ１２で構成されるとすると、ＱＣＩＦはＧＯＢ１，ＧＯＢ３，ＧＯＢ５で構成される。
【００６４】
符号化された画像データは図６に示す多重化部８０において多重化され、多重化フレーム構成となる。以下、符号化された画像データのフレーム構成を図８に示す。尚、図８においては説明の都合上、フレームヘッダ（ＦＨ）を付加したまま説明を行う。
【００６５】
図８において、上段はＧＯＢによるフレーム構成を示している。１フレームのデータの先頭にＦＨが付加され、１フレームの画面を１２分割した１ブロックをＧＯＢとして、ＧＯＢ１からＧＯＢ１２までが順次伝送される。
【００６６】
フレームを構成する各ＧＯＢは、図８の下段に示すように分割される。図８の下段は、上段で示すＦＨ及びＧＯＢの詳細構成を示している。
【００６７】
ＦＨは、図６で示したヘッダ情報生成部７２において生成され、後述するＰＳＣ，ＴＲ，ＰＴＹＰＥで構成されている。ＰＳＣはフレーム開始符号あり、２０ビットの“００００ ００００ ００００ ０００１ ００００”である。ＴＲはフレーム番号で、５ビットの“１”から“３０”までの値を使用する。ＰＴＹＰＥはタイプ情報で６ビットで、スプリット・スクリーン指示情報，書画カメラ指示情報，画面凍結解除，情報源フォーマット指示情報（ＣＩＦ，ＱＣＩＦ）が含まれている。
【００６８】
また、ＧＯＢヘッダもヘッダ情報生成部７２において生成され、後述するＧＢＳＣ，ＧＮ，ＧＱＵＡＮＴで構成されている。ＧＢＳＣはＧＯＢ開始符号であり、１６ビットの“００００ ００００ ００００ ０００１”である。ＧＮはＧＯＢ番号で、４ビットの“１”から“１２”までの値を使用する。ＧＮが“０”である場合には、ＦＨのＰＳＣとして使用されているので、ＦＨのＰＳＣとＧＯＢのＧＢＳＣ＋ＧＮは、共に２０ビットの連続した値と見なすことができる。また、ＧＱＵＡＮＴは量子化特性情報で、図６に示す量子化ステップサイズ制御部７０において決定された５ビットの量子化ステップサイズ情報Ｑを含む。
【００６９】
ＭＢヘッダもヘッダ情報生成部７２において生成され、後述するＭＢＡ，ＭＴＹＰＥ，ＭＱＵＡＮＴ，ＭＶＤ，ＣＢＰで構成されている。ＭＢＡはＭＢの位置を表すマクロブロックアドレスであり、１ＧＯＢを構成する３３個のＭＢのうちの先頭ＭＢのみが絶対値で、以降のＭＢにおいては、その差分の可変長符号である。ＭＴＹＰＥはＭＢのタイプ情報であり、ＩＮＴＲＡ（フレーム内符号化）、ＩＮＴＥＲ（フレーム間差分符号化）、ＭＣ（動き補償付きフレーム間差分符号化）、ＦＩＬ（フィルタ）等、そのＭＢのデータに施した処理タイプを示す。ＭＱＵＡＮＴは量子化特性情報であり、上述したＧＱＵＡＮＴと同じ情報を持つ。ＭＶＤは動きベクトル情報Ｖである。ＣＢＰは差分値が有意である有意ブロックパターンであり、ＭＢを構成する４個のＹブロックとＣｒ，Ｃｂのうち、有効とする画素ブロックの番号を情報として含む。尚、ＣＢＰにおいて、ＭＢを構成するブロックのうちＹには１から４まで、Ｃｂには５、Ｃｒには６の番号が割当てられている。
【００７０】
ＭＢヘッダの後には、圧縮符号化した画像データＴＣＯＥＦＦが続く。ＴＣＯＥＦＦには、上述したように、Ｙ４個及びＣｒ，Ｃｂのうち、ＣＢＰにおいて有意ブロックとして指定された画素ブロックが圧縮されて入っている。そして画素ブロックの終端には、ＥＯＢが付加されている。
【００７１】
上述したように符号化された画像データは、ＢＣＨ８２において誤り訂正フレームビットが付加されて、誤り訂正フレームとして実際に回線上に伝送される。この誤り訂正フレームの構成について、図９を参照して説明する。
【００７２】
図９において、１フレームは、誤り訂正の有無を示す誤り訂正フレームビットＳｎが１ビット、動画像データであるか否かを示すフィル識別子Ｆｉが１ビット、ＢＣＨ符号化が施された画像データが４９２ビット、誤り訂正パリティが１８ビットの５１２ビットで構成されている。更に、８フレームで１マルチフレームを構成している。
【００７３】
以上説明した画像の圧縮方法は、ＩＴＵ―ＴＳのＨ．２６１として勧告化されており、この勧告に準拠していれば、同勧告に準拠した他のＴＶ電話との相互通信が可能となる。
【００７４】
以下、本実施例における符号化方法について簡単に説明する。本実施例では、以下に挙げる方法を組み合わせることにより、効率的な符号化を行っている。
【００７５】
▲１▼自然界の映像には画素間の相関が強いことや、周波数成分が低周波に集中し、高周波は小さいこと等を利用して、フレーム内のデータを８×８のブロックとし、２次元ＤＣＴ変換するフレーム内符号化方法。
【００７６】
▲２▼前フレームと現フレームの同位置の画像ブロックにおいて両者の相関が強い時にフレーム間の差分を取り、その差分値に対して８×８のブロックを２次元ＤＣＴ変換するフレーム間符号化方法。
【００７７】
▲３▼前フレームから現フレームへ類似した画像ブロックが相対的に隣接移動した場合に、これを検知してその画像ブロックの移動量と移動方向の情報を送るのみで画像データそのものを送らずに済ませることで発生データ量を減らす動き補償。
【００７８】
▲４▼ＤＣＴ変換後の各周波数ごとの係数値が低周波領域では値が発生するが、高周波領域では値が発生しにくくゼロ値が続くことを利用したゼロランレングス符号化方法。
【００７９】
▲５▼データの発生量に応じてデータの量子化ステップ幅を変更することでデータの発生量を調整する量子化方法。
【００８０】
▲６▼発生頻度の高いデータパターンに対しては短い符号値を、発生頻度の低いデータパターンに対しては長い符号値を割当てることで、トータル的に発生したデータ量よりも少ないデータ量に変換する可変長符号化方法。
【００８１】
▲７▼フレームをスキップして、画像データそのものを落してしまう駒落し方法。
【００８２】
以上説明した複数の符号化方法を効果的に使用して画像データを圧縮し、低レートの通信においても動画像を通信可能としている。
【００８３】
また、本実施例においては、図４の（ｂ）に示した動画像データと特定画像データと静止画像データの各指定領域の境界を、符号化する最小単位（８×８）のブロックの境界にあわせる。従って、符号化されるブロック毎に上記の各種データの領域指定を行なうことが可能となる。また、動画像データの符号化と、特定画像データを含む静止画像データの符号化とを、上述したようにＭＢヘッダ内のＭＴＹＰＥ等の情報によりブロック単位に明確に分けて行うことができるため、画像に応じた最適な符号化が可能となる。
【００８４】
また、静止画像の場合には、初めの１フレームをＩＮＴＲＡモードで送信し、後続のフレームはＩＮＴＥＲモードで送信することにより、数フレーム目には差分値が発生しなくなり、最終的にはそのブロックはデータを送る必要がなくなる。したがって、非常に効率の良い符号化が可能となる。
【００８５】
以下、図１０を参照して本実施例のＴＶ電話機を用いた画像通信システムについて説明する。図１０は、本実施例の画像通信システムにおける送信端末と受信端末間（ＴＶ電話機間）の画像データ、及びその画像データの有効領域を指定する指定領域情報の一例を模式的に示した図である。図１０においては、本実施例におけるＴＶ電話機を送信端末及び受信端末の２台用意し、その間における画像通信の様子を示している。
【００８６】
図１０の（ａ）は、画像データを送信する送信端末において、領域判別部１８で指定領域情報を作成して、受信端末に転送する例を示す。まず、送信端末が符号化する指定領域を、（ｘ0，ｙ0）と（ｘ1，ｙ1）を結んだ線分を対角線にもつ四角形（以下、［（ｘ0， ｙ0），（ｘ1，ｙ1）］と表記する）として設定し、その指定領域に特定画像データ又は静止画像データを書き込む。次にその符号化する指定領域内で、動画像をはめ込む指定領域を［（ｘ2，ｙ2），（ｘ3，ｙ3）］として設定し、その指定領域に、カメラから入力した動画像データをはめ込む。
【００８７】
送信端末では、以上のようにして生成された指定領域［（ｘ0，ｙ0），（ｘ1，ｙ1）］の画像データを符号化して、まず指定領域［（ｘ0，ｙ0），（ｘ1，ｙ1）］及び［（ｘ2，ｙ2），（ｘ3，ｙ3）］の領域情報を送信し、次いでその符号化された画像データを送信する。
【００８８】
受信端末では、送信端末から送信された指定領域情報と符号化された画像データとを受信して画像データを復号化してメモリに書き込み、受信した指定領域情報から動画像の指定領域を認識する。そして、動画像領域のみをモニタに表示したい場合には、その指定領域［（ｘ2，ｙ2），（ｘ3，ｙ3）］から動画像データを抽出して、モニタに表示する。尚、モニタに表示する際のモニタ上における指定領域は、受信端末側で自由に設定することがもちろん可能である。
【００８９】
次に、図１０の（ｂ）に、受信端末が指定領域情報を作成して送信端末に転送する例を示す。まず、受信端末が符号化すべき指定領域［（ｘ0，ｙ0），（ｘ1，ｙ1）］を設定し、その指定領域に特定画像データ又は静止画像データを書き込む。次に、その符号化する指定領域内で、動画像をはめ込む指定領域［（ｘ2，ｙ2），（ｘ3，ｙ3）］を設定する。そして、指定領域［（ｘ0，ｙ0），（ｘ1，ｙ1）］，［（ｘ2，ｙ2），（ｘ3，ｙ3）］の指定領域情報を送信端末側に送信する。
【００９０】
送信端末は、受信端末から送られた指定領域情報を受信してメモリに書き込む。送信端末はその指定領域情報に基づいて、符号化する指定領域［（ｘ0，ｙ0），（ｘ1，ｙ1）］を設定し、その指定領域に特定画像データ又は静止画像データを書き込む。そして、その符号化する指定領域内で動画像をはめ込む指定領域［（ｘ2，ｙ2），（ｘ3，ｙ3）］を設定し、その指定領域に、カメラから入力した動画像データをはめ込む。送信端末では、このようにして生成された指定領域［（ｘ0，ｙ0），（ｘ1，ｙ1）］の画像データを符号化し、符号化された画像データのみを受信端末へ送信する。
【００９１】
そして受信端末は符号化された画像データを受信し、復号化してメモリに書き込み、自ら作成した指定領域情報から動画像の指定領域を認識する。そしてその動画像領域のみをモニタに表示したい場合には、指定領域［（ｘ2，ｙ2），（ｘ3，ｙ3）］から動画像データを抽出して、モニタに表示する。尚、モニタに表示する際のモニタ上における指定領域は、受信端末側で自由に設定することがもちろん可能である。
【００９２】
尚、上述したような動画像の指定領域は、図１に示すシステム制御部１４内の領域指定管理テーブル１５に書き込まれることにより、管理される。
【００９３】
以上説明したように、本実施例のＴＶ電話機を用いた画像通信システムにおいては、符号化の際の画像フォーマットが固定であっても、その画像サイズより小さな任意のサイズで動画像を符号化して送信することが可能であり、同様に受信してモニタに表示することが可能である。
【００９４】
尚、本実施例においては図１に示すように音声情報と画像情報とが処理可能なＴＶ電話機を例にして説明を行ったが、本発明はこのようなＴＶ電話機に限定されるものではなく、動画像を通信する装置及び方法及びシステムであれば、何でもよい。
【００９５】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【００９６】
【発明の効果】
以上説明したように本発明によれば、符号化の際の画像フォーマットが固定であっても、その画像サイズより小さなサイズに最小の画像ブロックを単位として動画像をはめ込み、それ以外の領域には静止画像を埋め込んでという様に、動画像と静止画像とを組み合わせて符号化することができる。更に、符号化データを送信し、受信側ではその動画像領域のみを抜き取ってモニタに表示することで、任意のサイズで動画像を符号化して送信することが可能となる。従って、用途や状況に応じて画像サイズを変化させて、最適な符号化処理を実行させることが可能となり、最適な画質で画像通信が行えるという特有の効果が得られる。
【００９７】
また、静止画像の差分値データについてはいずれ収束してなくなってしまうため、符号化の対象が動画像領域に集中し、動画像の転送効率が向上するという効果も得られる。
【００９８】
また、静止画像領域に動画像領域を含ませることにより、静止画像に動画像をはめ込んで表示した画像を送信することも可能であり、操作者の利便性が飛躍的に向上する。
【００９９】
また、受信側で生成した静止画像に送信側から送信された動画像をはめ込んで表示する際に、受信側から動画像をはめ込む位置を指定し、送信側がその指定された位置に動画像をはめ込んで送信することにより、受信側でははめ込み処理と動画像の変倍処理を行う必要がなくなるため、画像通信システムが経済的に構築でき、かつ画質も良好な状態で得られるという効果がある。
【０１００】
【図面の簡単な説明】
【図１】本発明に係る一実施例のＴＶ電話機のブロック構成図である。
【図２】本実施例における送信画像編集部の詳細構成を示すブロック図である。
【図３】本実施例における受信画像編集部の詳細構成を示すブロック図である。
【図４】本実施例における送信画像へのデータはめ込み処理や受信画像の重ね処理を説明するための図である。
【図５】本実施例における領域指定方法を説明するための図である。
【図６】本実施例における画像コーデック部の詳細構成を示すブロック図である。
【図７】本実施例における画像フォーマットを示す図である。
【図８】本実施例における画像データの多重化フレーム構成を示す図である。
【図９】本実施例における誤り訂正フレーム同期を示す図である。
【図１０】本実施例における通信方法の例を示す図である。
【符号の説明】
１ マイク
２ スピーカ
３ 音声処理部
４ 音声コーデック部
５ カメラ
６ モニタ
７ 画像処理部
８ 送信画像編集部
９ 受信画像編集部
１０ 特定画像生成部
１１ 画像コーデック部
１２ 多重分離部
１３ 回線インターフェース部
１４ システム制御部
１５ 領域指定管理テーブル
１６ 特定画像管理テーブル
１７ 操作部

Claims (13)

1. １画面中の画像が送信される第１の所要領域と、動画像領域として前記第１の所要領域中の所望の第２の所要領域とを指定する領域指定手段と、
   前記領域指定手段による指定に基づいて前記第２の所要領域の動画像と、前記第２の所要領域を除く前記第１の所要領域の静止画像とを組み合わせる組み合せ手段と、
   前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、
   前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第１の所要領域の領域位置情報および前記第１の所要領域内の動画像の領域の位置を示す前記第２の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有することを特徴とする画像通信装置。
2. 符号化された画像データと、前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報とを受信する受信手段と、
   前記受信手段により受信した画像データを復号する復号手段と、
   前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報に基づいて、前記第２の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを更に有することを特徴とする請求項１記載の画像通信装置。
3. 前記符号化手段は画像データをブロック単位で符号化し、前記領域指定手段は前記ブロック単位で領域を指定することを特徴とする請求項１記載の画像通信装置。
4. 前記組み合せ手段は前記領域指定手段により少なくとも２領域が指定された場合に、それぞれ異なる動画像を組み合わせることを特徴とする請求項１記載の画像通信装置。
5. 前記静止画像は前記動画像の一部であることを特徴とする請求項１記載の画像通信装置。
6. 前記符号化手段はフレーム間差分による符号化を行うことを特徴とする請求項１記載の画像通信装置。
7. 音声処理を行う音声処理部と、
   前記音声処理部で処理された音声データを符号化する音声符号化部と、
   前記音声符号化部で符号化された音声データを送信する音声送信手段とを更に有することを特徴とする請求項２記載の画像通信装置。
8. 第１の画像通信装置は、
   １画面中の画像が送信される第１の所要領域と、動画像領域として前記第１の所要領域中の所望の第２の所要領域とを指定する領域指定手段と、
   前記領域指定手段による指定に基づいて前記第２の所要領域の動画像と、前記第２の所要領域を除く前記第１の所要領域の静止画像とを組み合わせる組み合せ手段と、
   前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、
   前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第１の所要領域の領域位置情報および前記第１の所要領域内の動画像の領域の位置を示す前記第２の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有し、
   第２の画像通信装置は、
   前記符号化された画像データと、前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報とを受信する受信手段と、
   前記受信手段により受信した画像データを復号する復号手段と、
   前記第１の所要領域の領域位置情報および前記第２の所要領域の領域位置情報に基づいて、前記第２の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを有することを特徴とする画像通信システム。
9. 前記符号化手段は画像データをブロック単位で符号化し、前記領域指定手段は前記ブロック単位で領域を指定することを特徴とする請求項８記載の画像通信システム。
10. 前記組み合せ手段は前記領域指定手段により少なくとも２領域が指定された場合に、それぞれ異なる動画像を組み合わせることを特徴とする請求項８記載の画像通信システム。
11. 前記静止画像は前記動画像の一部であることを特徴とする請求項８記載の画像通信システム。
12. 前記符号化手段はフレーム間差分による符号化を行うことを特徴とする請求項８記載の画像通信システム。
13. 前記第１の画像通信装置は、
    音声データを入力して音声処理をおこなう音声入力部と、
    前記音声入力部で入力された音声データを符号化する音声符号化部と、
    前記音声符号化部で符号化された音声データを送信する音声送信手段とを更に有し、
    前記第２の画像通信装置は、
    前記音声符号化部で符号化された音声データを受信する音声受信手段と、
    前記音声受信手段で受信した音声データを復号する音声復号部と、
    前記音声復号部で復号された音声データを処理して出力する音声出力部とを更に有することを特徴とする請求項８記載の画像通信システム。

Images