JP3927606B2 - 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 - Google Patents
画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 Download PDFInfo
- Publication number
- JP3927606B2 JP3927606B2 JP17921394A JP17921394A JP3927606B2 JP 3927606 B2 JP3927606 B2 JP 3927606B2 JP 17921394 A JP17921394 A JP 17921394A JP 17921394 A JP17921394 A JP 17921394A JP 3927606 B2 JP3927606 B2 JP 3927606B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- unit
- voice
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【産業上の利用分野】
本発明は画像通信装置及びシステムに関し、例えば、通信回線を介して画像データ等の送受信を行う画像通信装置及びシステムに関する。
【0002】
【従来の技術】
従来のアナログの電話回線の場合、例えば電話は音声のみ伝送可能であり、ファクシミリ装置等の画像通信装置においても低速でしか画像データを伝送できなかった。
【0003】
しかし、近年の通信技術や半導体技術、光技術の進歩にともない、デジタル回線が整備され、高速で大容量のデータの伝送が可能になった。
【0004】
特に、デジタル伝送の特徴としては、伝送による品質低下がなく同レベルの品質が保たれること、伝送データのメディアの特性に応じた伝送路を必要とせず、メディアの統合が図れること等があり、複合メディア端末間の伝送が可能になった。よって、従来の音声のみを伝送していた電話機に加え、映像をも同時に伝送可能な電話端末機、いわゆるTV電話装置が出現している。
【0005】
こうした状況の中、異なる複合端末間においても相互通信が可能になるよう、CCITT(国際電信電話諮問委員会)等による国際標準化が進められており、デジタル回線を用いたテレビ電話、テレビ会議システム等のAV(Audio Visual)サービスとしてのAVサービス用のサービス規定、プロトコル規定、マルチメディア多重化フレーム構成規定がCCITT勧告(または草案)H.320,H.242,H.221等として発表されている。
【0006】
H.221では、64Kbpsから1920KbpsまでのAVサービスにおけるフレーム構成及び端末能力の交換や通信モードのFAS(Frame Alignment Signal) 、BAS(Bit Allocation Signal) の符号割当が定義されている。また、H.242ではBASを用いたAV端末間での能力交換及び通信モード切り替えなどのプロトコルが定義され、H320ではAVサービス全般のシステム概要が定義されている。
【0007】
上記勧告(または勧告草案)においては、エンドツーエンドの物理コネクションの設定及びインチャネルでのFASによる同期確立後、インチャネルでBASを用いた端末能力の交換シーケンス、通信モードの指定によるモード切り替えシーケンスなどの手順により端末間で画像,音声,データなどのマルチメディア通信を行うための方法が規定されている。
【0008】
但し、各端末において自己の端末能力を状況に応じて変化させたり、変換された能力の範囲内でどの通信モードを用いるかは規定の範囲外である。
【0009】
画像、音声及びデータを同時に通信するマルチメディア通信における各メディアの情報転送速度は、音声情報は音声符号化方式を指定することで決定され、データ情報は、その使用の有無、使用する場合の転送速度を指定することにより決定され、設定した通信路全体の情報転送速度から、音声情報の転送速度とデータ情報の転送速度を引いた残りが画像情報の転送速度となる。
【0010】
【発明が解決しようとする課題】
しかしながら、上述した従来のTV電話装置によれば、符号化するための送信画像フォーマットが規定されているために、例えば用途に応じて画像フォーマットを変更することができない。
【0011】
例えば、ITU−TS(旧CCITT)のH.261勧告に対しては、CIF(Common Intermediate Format)とQCIF(Quarter CIF )の2種類の規定フォーマットしかないために、通常の画質と更に高精細な画質との2種類の解像度の切り替えのみしか行えず、最適な解像度に可変に設定することができないという問題がある。
【0012】
また、送信したい画像の入力画像フォーマットと規定フォーマットが合わない時に、入力画像フォーマットを規定フォーマットの大きさに合わせるために入力画像フォーマットを拡大あるいは縮小したり、受信した規定フォーマットと出力画像のフォーマットが合わない時に、規定フォーマットを出力画像フォーマットに合わせるために、規定画像フォーマットを拡大あるいは縮小せねばならない。よって、無駄な変倍処理を必要としたり、変倍処理に伴って画質の低下を引き起こしてしまう等の問題がある。
【0013】
例えば、静止画像に動画像をはめ込んで画面を表示する形式で送受信を行う場合には、送信側ではまず静止画像を規定のフォーマットで送信し、次いで動画像を規定のフォーマットで送信する。即ち、2フレームの送信を行い、受信側では受信した動画像フレームの画像を縮小変倍して、先に受信した静止画像にはめ込む処理を行うことにより、1フレーム分の画像を生成していた。
【0014】
従って本発明は上述した課題を解決するために、画像フォーマットが固定であっても、柔軟に画像を分割して任意のサイズで動画像を、更に効率良く送受信可能な画像通信装置及びシステムの提供を目的とする。
【0015】
【課題を解決するための手段】
本発明は上述した目的を達成するために、以下の構成を備える。
【0016】
即ち、本発明の画像通信装置は、1画面中の画像が送信される第1の所要領域と、動画像領域として前記第1の所要領域中の所望の第2の所要領域とを指定する領域指定手段と、前記領域指定手段による指定に基づいて前記第2の所要領域の動画像と、前記第2の所要領域を除く前記第1の所要領域の静止画像とを組み合わせる組み合せ手段と、前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第1の所要領域の領域位置情報および前記第1の所要領域内の動画像の領域の位置を示す前記第2の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有することを特徴とする。
【0018】
更に、符号化された画像データと、前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報とを受信する受信手段と、前記受信手段により受信した画像データを復号する復号手段と、前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報に基づいて、前記第2の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを有することを特徴とする。
【0019】
例えば、前記符号化手段は画像データをブロック単位で符号化し、前記領域指定手段は前記ブロック単位で領域を指定することを特徴とする。
【0020】
例えば、前記組み合せ手段は前記領域指定手段により少なくとも2領域が指定された場合に、それぞれ異なる動画像を組み合わせることを特徴とする。
【0021】
例えば、前記静止画像は前記動画像の一部であることを特徴とする。
【0023】
例えば、前記符号化手段はフレーム間差分による符号化を行うことを特徴とする。
【0024】
更に、音声処理を行う音声処理部と、前記音声処理部で処理された音声データを符号化する音声符号化部と、前記音声符号化部で符号化された音声データを送信する音声送信手段とを有することを特徴とする。
【0025】
また、本発明の画像通信システムにおいて、第1の画像通信装置は、1画面中の画像が送信される第1の所要領域と、動画像領域として前記第1の所要領域中の所望の第2の所要領域とを指定する領域指定手段と、前記領域指定手段による指定に基づいて前記第2の所要領域の動画像と、前記第2の所要領域を除く前記第1の所要領域の静止画像とを組み合わせる組み合せ手段と、前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第1の所要領域の領域位置情報および前記第1の所要領域内の動画像の領域の位置を示す前記第2の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有し、第2の画像通信装置は、前記符号化された画像データと、前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報とを受信する受信手段と、前記受信手段により受信した画像データを復号する復号手段と、前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報に基づいて、前記第2の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを有することを特徴とする。
【0026】
【作用】
以上の構成において、更に効率良く符号化して送信することが可能となる。また、受信した複数の画像を抽出して選択表示あるいは同時表示することが可能となるという特有の作用効果が得られる。
【0027】
【実施例】
以下、本発明に係る一実施例について、図面を参照して詳細に説明する。
【0028】
図1は本実施例のTV電話装置の構成を示すブロック図である。図1において、1はマイク、2はスピーカ、3はシステム制御部14の指示により、音量レベル調整のための利得調整機能、音声入出力手段としてマイク1とスピーカ2を使用した時にエコーを消去するためのエコーキャンセル機能、ダイヤルトーン,呼出トーン,ビジートーン,着信音などのトーン生成機能等をもつ音声処理部、4はシステム制御部14の指示により、64kbpsPCM(A−law)、64kbpsPCM(μ−law)、7kHzオーディオ(SB−ADPCM)、32kbpsADPCM,16kbps(たとえば、APC−AB)8kbpsなどの音声符号化/復号化アルゴリズムにしたがって、送信音声信号をA/D変換し符号化する機能、受信音声信号を復号化してD/A変換する機能をもつ音声コーデック部、5は標準装備されており人物等を撮像するカメラ、6はカメラ5よりの入力画像や相手装置からの受信画像、及びシステム制御部14からの画像を表示するモニタ、7は各種画像編集処理を行う画像処理部、8は送信画像編集部、9は受信画像編集部である。尚、送信画像編集部8の詳細構成は後述する図2に、受信画像編集部9の詳細構成は後述する図3に示す。18は領域判別部であり、画像処理部7において後述する各種画像領域を判別するための領域情報を作成、又は解読する。
【0029】
また、図1において10はシステム制御部14内の特定画像管理テーブルに基づいて、画像に挿入するテキストデータやグラフィックデータをビットマップデータに変換し、画像処理部7に転送する特定画像生成部、11は送信画像を符号化する機能、受信画像を復号化する機能をもつ画像コーデック部である。画像コーデック部11は、大容量の画像の生データに対して動き補償,コマ落とし,フレーム間予測及びフレーム間補償,DCT変換,ベクトル量子化変換などの種々の手法によって帯域圧縮を行い、画像データがデジタル回線で伝送可能となるように小容量化している。尚、現在ISDN回線の基本インターフェースは64kbpsであるが、この伝送速度で伝送可能な画像の符号化方式としては、ITU−TS勧告のH.261がある。
【0030】
図1において12は音声コーデック部4からの音声データ、画像コーデック部11からの画像データ、システム制御部14からのBASを送信フレーム単位に多重化するとともに、受信フレームを構成単位である各メディアに分離し、各部に通知する多重分離部であり、CCITT勧告としてH.221がある。
【0031】
また、13はISDNユーザ網インターフェースに従って回線を制御する回線インターフェース、14はCPU,ROM,RAM,補助記憶装置,キャラクタジェネレータ,画像信号生成回路などを備え、装置の各部の状態を監視し、装置全体の制御,状態に応じた操作/表示画面作成およびアプリケーションプログラムの実行などを行うシステム制御部、15は送信画像編集部8と受信画像編集部9における画像メモリのアドレス指定を管理する領域指定管理テーブル、16は特定画像データを管理する特定画像管理テーブル、17は本装置の制御をするために操作者が領域指定情報や制御情報入力に使用するキーボード,タッチパネル等よりなる操作部である。本実施例における各領域指定情報は予め操作者により操作パネル17から入力されており、領域指定管理テーブル15に格納されている。
【0032】
以下、図2を参照して、送信画像編集部8について詳細に説明する。図2は送信画像編集部8の詳細構成を示すブロック図である。
【0033】
図2において、21は画像データを入力してコンポジット信号であればYC分離し、更にC信号については復調してCr,Cb信号に分離し、RGB信号が必要であれば色変換する機能を有する入力処理部、22は入力画像データの画像フォーマットを必要な画像フォーマットに変倍する変倍処理部、23は同期を取るために画像データを一時的に蓄積しておくバッファ、24は送信画像処理部35の指示に従って、メモリ27に書き込む静止画像を設定する静止画像設定部、25は入力された画像データと、静止画像設定部24からの静止画像データと、画像制御部35からの特定画像データとのうち、どのデータを画像メモリ27に書き込むかを選択する選択部である。尚、静止画像設定部24は送信画像制御部35の指示に従って各種静止画像を格納するメモリをその内部に有しており、画像メモリ27から画像データを静止画像として取り込むことも可能である。
【0034】
また、26は画像メモリ27への書き込みアドレスを発生し、かつ選択部25を制御するメモリライト制御部、27は画像メモリ、28,29,30はメモリライト制御部26に対して、画像メモリ27への領域指定とその領域でどのデータの選択をするかを設定する領域指定部a,b,c、31は画像メモリ27からの読み出しアドレス信号を発生するメモリリード制御部、32,33,34はメモリリード制御部31に対して、画像メモリ27への領域指定とその領域で画像コーデック部11へ転送する画像の領域を設定する領域指定部d,e,f、35は特定画像データや静止画像データの設定や、メモリライト制御部26とメモリリード制御部31への領域指定データを、各領域指定部28〜30,32〜34に設定する送信画像制御部である。
【0035】
以下、図3を参照して、受信画像編集部9について詳細に説明する。図3は受信画像編集部9の詳細構成を示すブロック図である。
【0036】
図3において、41は画像メモリ45への書き込みアドレス信号を発生するメモリライト制御部、42,43,44はメモリライト制御部41に対して、画像メモリ45への領域指定を設定する領域指定部a,b,c、45は画像メモリ、46は画像メモリ45からの読み出しアドレス信号を発生するメモリリード制御部、47,48,49はメモリリード制御部46に対して、画像メモリ45への領域指定を設定する領域指定部d,e,f、50は画像フォーマットを必要な画像フォーマットに変倍する変倍処理部、51は変倍処理部50からの画像データと受信画像制御部54からの特定画像データとを合成する合成部、52は受信画像制御部54からの指示により、合成部51に対してその合成の切り替えタイミングを制御するオーバーアレイコントローラ、53は合成部51から出力された画像データをデジタル信号からアナログ信号に変換するDAC(Digital Analog Converter)、54は特定画像データの出力やメモリライト制御部41とメモリリード制御部42への領域指定データを各領域指定部42〜44,47〜49に設定する、あるいは、オーバーアレイコントローラ52へのオーバーアレイ切り替え制御を設定する受信画像制御部である。
【0037】
以上説明した構成により、図1に示すカメラ5から入力された符号化前の画像に対して、送信画像編集部8で送信画像領域に入力された画像をはめ込むのはもちろんのこと、送信領域の一部または全部に静止画像データや送信画像制御部35で生成された特定画像データをはめ込むことができる。
【0038】
また、受信した後に画像コーデック部11で復号化された画像に対して、受信画像編集部9で受信画像領域から任意に領域を選択し、その画像の一部または全部を抽出し、受信画像制御部54で生成した特定画像データと上記画像とを重ねてモニタ6に表示することが可能となる。
【0039】
尚、上述した図2に示す送信画像制御部35及び図3に示す受信画像制御部54とは、図1に示すシステム制御部14によって制御されており、システム制御部14内の領域指定管理テーブル15の内容に従って、それぞれの画像メモリ27,45へのアクセスを制御する。
【0040】
また、送信画像編集部8において合成された送信画像内の各領域情報、及び受信画像編集部9において受信された受信画像内の各領域情報は、図1に示す領域判別部18において管理され、送信画像制御部35及び受信画像制御部54にその制御を委ねる。また、領域判別部18において生成された領域情報は、符号化された画像データの送受信に先だって各TV電話機間で送受信される。
【0041】
以下、上述した送信画像へのデータはめ込み処理や、受信画像の重ね処理の具体例を図4に示し、説明する。
【0042】
図4の(a)は、送信画像制御部35から例えば領域指定部a28に対して、4角を(x2,y2),(x2,y3),(x3,y2),(x3,y3)で示される領域を指定し、その領域を動画像領域と定めた例を示す。この場合メモリライト制御部26は、画像メモリ27へのアクセスがその領域に達した場合には選択部25をバッファ23からの入力画像に切り替えて、画像メモリ27にその入力画像、即ち動画像の対応するデータを書き込む。更に、図4の(a)では、送信画像制御部35から例えば他の領域指定部b29に対して、(x0,y0),(x0,y1 ),(x1,y0),(x1,y1)で示される領域を指定し、その領域内を静止画像領域と定めた例も同時に示す。メモリライト制御部26は画像メモリ27へのアクセスがその領域に達した場合には、選択部25を静止画像設定部24からの静止画像データに切り替えて、画像メモリ27にその静止画像データの対応するデータを書き込む。尚、領域指定部28〜30は互いに重なって使用されることがなければ、どちらを使用するようにしてもよい。
【0043】
図4の(b)は、図4の(a)で示される画像に対して更に送信画像制御部35から発生される特定画像データをはめ込んだ例を示す。この特定画像データの領域指定は、上述した例と同様にまず領域指定部28〜30のどれか一つに対して領域の指定を行い、メモリライト制御部26はその領域に達した場合に、特定画像データの対応するデータを画像メモリ27に書き込む。
【0044】
上述したようにして送信画像編集部8において生成された画像データは、画像コーデック部11に転送される。
【0045】
次に、図5を参照して、本実施例における領域指定の方法について説明する。図5は本実施例における各種の領域指定方法を示す図である。
【0046】
図5の(a)は、カメラ5から2人の人物の映像が入力されている場合に、2人のメインとなる画像部分のみをそれぞれ動画像として画像メモリ27に取り込み、それ以外の部分は、静止画像データを取り込んだ例を示す。この場合には、動画像として送信する必要のない部分には画像コーデック部11で符号化データが発生しないようにし、領域指定した重要な2箇所の画像データのみに符号化データを割り当てるようにして、画像データの転送効率を向上させることができる。また、この2つの動画像領域を全く独立した画像として扱うことにより、1つのカメラ5からマルチの画像入力が可能となる。
【0047】
図5の(b)は、例えばカメラ5をa,b,cの複数台備え、画像入力をa,b,cで順次切り替えながら画像メモリ27に書き込むことにより、マルチ画像入力を実現している例を示す。
【0048】
この場合のマルチ画像の入力方法としては、同期信号を送信画像制御部35で発生して各カメラa〜cに送出し、各カメラa〜cはその同期に合わせて入力画像を送信画像編集部8に転送し、送信画像編集部8で各カメラa〜cの画像データを順に切り替えながら画像メモリ27に書き込む方法と、各カメラa〜cの入力画像をすべて同時かつ非同期に受信し、バッファ23で一担バッファリングして、送信画像制御部35で発生した同期に合わせて各カメラa〜cの入力画像を順に画像メモリ27に書き込む方法とがある。
【0049】
その画像の書き込み領域の指定は上述した方法と同様に、各カメラa〜c毎に領域指定部28〜29のいずれかにその領域を設定し、処理が設定された領域に達した場合に、その領域を指定されたカメラからの入力画像を画像メモリ27に書き込む。こうすることにより、複数のカメラからの入力をひとつの画像メモリに書き込むことが可能となり、また残りの不要部分は特定画像データや静止画像データを書き込むことにより、符号化の割り当てを必要部分に集中させて画像データの転送効率を向上させることができる。
【0050】
図5の(c)は、静止画像を送信画像フォーマットの全領域に指定し、その一部にカメラ5から入力された動画像を領域指定してはめ込んだ場合の例を示す。
【0051】
図5の(c)において、静止画像はカメラ5からの入力画像の一部が、静止画像設定部24において取り出されて設定されている。また、新規に生成した静止画像を全領域に指定することももちろん可能である。
【0052】
この場合も、静止画像として扱う領域分のデータは一度送信してしまうとその後は動画像としての差分データが発生しなくなるため、送信画像の符号化が動画像部分のみに集中して、画像データの転送効率が向上する。
【0053】
以下、図1に示す画像コーデック部11における符号化処理について図6を参照して説明する。図6はコーデック部11における符号化処理を行う詳細構成を示すブロック図である。
【0054】
図6において、60は符号化処理を行う符号化処理部、61はシステム制御部14からの指示に従って、符号化処理部60を構成する各部への制御をしたり、必要な情報の生成を行う符号化制御部、62は符号化対象となる画像フレームを間引くことにより発生符号量を抑制するコマ落し処理部、63は前フレームと現フレームの同一のマクロブロック(以下、MB)についてフレーム間の平均二乗誤差やフレーム内の分散等を算出して、符号化対象を前フレームと現フレームの画像の差分値(INTER)とするか又は現フレームの原画像値INTRAとするかを判別するINTER/INTRA判別処理部、64は対象となる現フレームのブロックが前フレームのある範囲内をサーチしてパターンマッチングするかどうか、つまり動き補償(MC)するか否かを判別するMC判別部、65はMC判別部64の判別結果によって動き補償の有無と動きベクトル(方向,大きさ)を指示することにより、MC制御を行うMC制御部、66はINTER/INTRA判別部63の判別結果によりINTER/INTRA処理を行うINTER/INTRA処理部、67は動き補償した後にフィルタ処理を行うフィルタ処理部、68は同一のMBに対してINTERのフレームが続くと受信側で量子化誤差が累積する、あるいは伝送エラーなどによる複合画像の乱れが生じた場合に復旧できない等の問題が生じるために、ある期間でINTRAフレームを発生させてリフレッシュを行うためのリフレッシュ周期カウンタ、69は量子化した際のデータの発生効率をよくするためにしきい値を制御し、ある値以下のデータは0値としてデータを発生しないようにする量子化しきい値制御部、70は送信バッファ81のデータ蓄積量に応じて量子化ステップサイズを制御する量子化ステップサイズ制御部、71は送信バッファ81の蓄積量を検出する送信量検出部、72はフレームヘッダ,GOB(Group of Block)ヘッダ,MBヘッダを生成するヘッダ情報生成部である。
【0055】
73はフレームメモリ、74,75はINTER/INTRA処理を選択するスイッチ、76はINTER処理の際の前フレームと現フレームとの差分をとる減算器、77は直交変換により空間領域から周波数領域に変換するDCT変換(不可逆符号化)部、78は量子化器、79は発生したデータを可変長符号化するVLC(可逆符号化)部、80は多重化部、81は送信バッファ、82は誤り訂正フレームを生成するBCH部、83は逆量子化器、84は逆DCT変換部、85は前フレームと現フレームとを加算する加算器、86,87は読みだしフレームと書込みフレームとを交互に切換えるスイッチ、88,89はフレームメモリ、90はスイッチ86,87とフレームメモリ88,89を制御するFM制御部、91は前フレームをサーチして現フレームとのパターンマッチングを検出する動き補償部、92,93はフィルタ処理部94のON/OFFを選択するスイッチ、94はフィルタ処理部、95はFIFOメモリ96へのデータの入力をON/OFFするスイッチ、96はFIFOメモリである。
【0056】
尚、図6において、実線は画像信号の入出力を、破線は制御信号の入出力方向を示す
次に、上述した図6に示す構成により符号化処理を施される1画面(1フレーム)の画像データの構成について、図7を参照して詳細に説明する。図7の(a)に、1画面の画像フォーマット例を示す。尚、以下、A画素×BラインをA×Bで表わす。
【0057】
ITU−TS勧告H.261においては、取り扱うビデオ信号としては、NTSC,PAL,デジタルテレビ(HDTV)規格等の異なった複数の規格が存在するため、お互いに通信ができるように世界共通のビデオ信号フォーマットを採用している。
【0058】
これをCIFと称し、標本数が輝度Yは352×288、色差Cr,Cbは176×144で規定されている。
【0059】
標本点(サンプリング点)については、図7の(b)に示すように、色差(Cr,Cb)は、輝度4地点(Y1,Y2,Y3,Y4)の等距離にある点と定められている。
【0060】
更に、CIFを水平、垂直共に1/2とした1/4のフォーマットをQCIFと称し、標本数が輝度Yは176×144、色差Cr,Cbは、88×72で定義されている。
【0061】
図7に示すように、上記CIF,QCIFの各フォーマットは、GOBフォーマット複数個で構成され、GOBフォーマットはMBフォーマット33個で構成される。更に、MBフォーマットはY1,Y2,Y3,Y4の4個の8×8の輝度ブロックと、8×8の色差ブロックCr,Cbの合計6ブロックで構成されており、階層構造になっている。
【0062】
図7に示す画像データの階層構造により、符号化をMB単位で行うことが可能となる。
【0063】
GOBは、その標本数を輝度Yが176×48、色差Cr,Cbが88×24に定義され、CIFの1/12,QCIFの1/3に相当する。また、CIFがGOB1〜GOB12で構成されるとすると、QCIFはGOB1,GOB3,GOB5で構成される。
【0064】
符号化された画像データは図6に示す多重化部80において多重化され、多重化フレーム構成となる。以下、符号化された画像データのフレーム構成を図8に示す。尚、図8においては説明の都合上、フレームヘッダ(FH)を付加したまま説明を行う。
【0065】
図8において、上段はGOBによるフレーム構成を示している。1フレームのデータの先頭にFHが付加され、1フレームの画面を12分割した1ブロックをGOBとして、GOB1からGOB12までが順次伝送される。
【0066】
フレームを構成する各GOBは、図8の下段に示すように分割される。図8の下段は、上段で示すFH及びGOBの詳細構成を示している。
【0067】
FHは、図6で示したヘッダ情報生成部72において生成され、後述するPSC,TR,PTYPEで構成されている。PSCはフレーム開始符号あり、20ビットの“0000 0000 0000 0001 0000”である。TRはフレーム番号で、5ビットの“1”から“30”までの値を使用する。PTYPEはタイプ情報で6ビットで、スプリット・スクリーン指示情報,書画カメラ指示情報,画面凍結解除,情報源フォーマット指示情報(CIF,QCIF)が含まれている。
【0068】
また、GOBヘッダもヘッダ情報生成部72において生成され、後述するGBSC,GN,GQUANTで構成されている。GBSCはGOB開始符号であり、16ビットの“0000 0000 0000 0001”である。GNはGOB番号で、4ビットの“1”から“12”までの値を使用する。GNが“0”である場合には、FHのPSCとして使用されているので、FHのPSCとGOBのGBSC+GNは、共に20ビットの連続した値と見なすことができる。また、GQUANTは量子化特性情報で、図6に示す量子化ステップサイズ制御部70において決定された5ビットの量子化ステップサイズ情報Qを含む。
【0069】
MBヘッダもヘッダ情報生成部72において生成され、後述するMBA,MTYPE,MQUANT,MVD,CBPで構成されている。MBAはMBの位置を表すマクロブロックアドレスであり、1GOBを構成する33個のMBのうちの先頭MBのみが絶対値で、以降のMBにおいては、その差分の可変長符号である。MTYPEはMBのタイプ情報であり、INTRA(フレーム内符号化)、INTER(フレーム間差分符号化)、MC(動き補償付きフレーム間差分符号化)、FIL(フィルタ)等、そのMBのデータに施した処理タイプを示す。MQUANTは量子化特性情報であり、上述したGQUANTと同じ情報を持つ。MVDは動きベクトル情報Vである。CBPは差分値が有意である有意ブロックパターンであり、MBを構成する4個のYブロックとCr,Cbのうち、有効とする画素ブロックの番号を情報として含む。尚、CBPにおいて、MBを構成するブロックのうちYには1から4まで、Cbには5、Crには6の番号が割当てられている。
【0070】
MBヘッダの後には、圧縮符号化した画像データTCOEFFが続く。TCOEFFには、上述したように、Y4個及びCr,Cbのうち、CBPにおいて有意ブロックとして指定された画素ブロックが圧縮されて入っている。そして画素ブロックの終端には、EOBが付加されている。
【0071】
上述したように符号化された画像データは、BCH82において誤り訂正フレームビットが付加されて、誤り訂正フレームとして実際に回線上に伝送される。この誤り訂正フレームの構成について、図9を参照して説明する。
【0072】
図9において、1フレームは、誤り訂正の有無を示す誤り訂正フレームビットSnが1ビット、動画像データであるか否かを示すフィル識別子Fiが1ビット、BCH符号化が施された画像データが492ビット、誤り訂正パリティが18ビットの512ビットで構成されている。更に、8フレームで1マルチフレームを構成している。
【0073】
以上説明した画像の圧縮方法は、ITU―TSのH.261として勧告化されており、この勧告に準拠していれば、同勧告に準拠した他のTV電話との相互通信が可能となる。
【0074】
以下、本実施例における符号化方法について簡単に説明する。本実施例では、以下に挙げる方法を組み合わせることにより、効率的な符号化を行っている。
【0075】
▲1▼自然界の映像には画素間の相関が強いことや、周波数成分が低周波に集中し、高周波は小さいこと等を利用して、フレーム内のデータを8×8のブロックとし、2次元DCT変換するフレーム内符号化方法。
【0076】
▲2▼前フレームと現フレームの同位置の画像ブロックにおいて両者の相関が強い時にフレーム間の差分を取り、その差分値に対して8×8のブロックを2次元DCT変換するフレーム間符号化方法。
【0077】
▲3▼前フレームから現フレームへ類似した画像ブロックが相対的に隣接移動した場合に、これを検知してその画像ブロックの移動量と移動方向の情報を送るのみで画像データそのものを送らずに済ませることで発生データ量を減らす動き補償。
【0078】
▲4▼DCT変換後の各周波数ごとの係数値が低周波領域では値が発生するが、高周波領域では値が発生しにくくゼロ値が続くことを利用したゼロランレングス符号化方法。
【0079】
▲5▼データの発生量に応じてデータの量子化ステップ幅を変更することでデータの発生量を調整する量子化方法。
【0080】
▲6▼発生頻度の高いデータパターンに対しては短い符号値を、発生頻度の低いデータパターンに対しては長い符号値を割当てることで、トータル的に発生したデータ量よりも少ないデータ量に変換する可変長符号化方法。
【0081】
▲7▼フレームをスキップして、画像データそのものを落してしまう駒落し方法。
【0082】
以上説明した複数の符号化方法を効果的に使用して画像データを圧縮し、低レートの通信においても動画像を通信可能としている。
【0083】
また、本実施例においては、図4の(b)に示した動画像データと特定画像データと静止画像データの各指定領域の境界を、符号化する最小単位(8×8)のブロックの境界にあわせる。従って、符号化されるブロック毎に上記の各種データの領域指定を行なうことが可能となる。また、動画像データの符号化と、特定画像データを含む静止画像データの符号化とを、上述したようにMBヘッダ内のMTYPE等の情報によりブロック単位に明確に分けて行うことができるため、画像に応じた最適な符号化が可能となる。
【0084】
また、静止画像の場合には、初めの1フレームをINTRAモードで送信し、後続のフレームはINTERモードで送信することにより、数フレーム目には差分値が発生しなくなり、最終的にはそのブロックはデータを送る必要がなくなる。したがって、非常に効率の良い符号化が可能となる。
【0085】
以下、図10を参照して本実施例のTV電話機を用いた画像通信システムについて説明する。図10は、本実施例の画像通信システムにおける送信端末と受信端末間(TV電話機間)の画像データ、及びその画像データの有効領域を指定する指定領域情報の一例を模式的に示した図である。図10においては、本実施例におけるTV電話機を送信端末及び受信端末の2台用意し、その間における画像通信の様子を示している。
【0086】
図10の(a)は、画像データを送信する送信端末において、領域判別部18で指定領域情報を作成して、受信端末に転送する例を示す。まず、送信端末が符号化する指定領域を、(x0,y0)と(x1,y1)を結んだ線分を対角線にもつ四角形(以下、[(x0, y0),(x1,y1)]と表記する)として設定し、その指定領域に特定画像データ又は静止画像データを書き込む。次にその符号化する指定領域内で、動画像をはめ込む指定領域を[(x2,y2),(x3,y3)]として設定し、その指定領域に、カメラから入力した動画像データをはめ込む。
【0087】
送信端末では、以上のようにして生成された指定領域[(x0,y0),(x1,y1)]の画像データを符号化して、まず指定領域[(x0,y0),(x1,y1)]及び[(x2,y2),(x3,y3)]の領域情報を送信し、次いでその符号化された画像データを送信する。
【0088】
受信端末では、送信端末から送信された指定領域情報と符号化された画像データとを受信して画像データを復号化してメモリに書き込み、受信した指定領域情報から動画像の指定領域を認識する。そして、動画像領域のみをモニタに表示したい場合には、その指定領域[(x2,y2),(x3,y3)]から動画像データを抽出して、モニタに表示する。尚、モニタに表示する際のモニタ上における指定領域は、受信端末側で自由に設定することがもちろん可能である。
【0089】
次に、図10の(b)に、受信端末が指定領域情報を作成して送信端末に転送する例を示す。まず、受信端末が符号化すべき指定領域[(x0,y0),(x1,y1)]を設定し、その指定領域に特定画像データ又は静止画像データを書き込む。次に、その符号化する指定領域内で、動画像をはめ込む指定領域[(x2,y2),(x3,y3)]を設定する。そして、指定領域[(x0,y0),(x1,y1)],[(x2,y2),(x3,y3)]の指定領域情報を送信端末側に送信する。
【0090】
送信端末は、受信端末から送られた指定領域情報を受信してメモリに書き込む。送信端末はその指定領域情報に基づいて、符号化する指定領域[(x0,y0),(x1,y1)]を設定し、その指定領域に特定画像データ又は静止画像データを書き込む。そして、その符号化する指定領域内で動画像をはめ込む指定領域[(x2,y2),(x3,y3)]を設定し、その指定領域に、カメラから入力した動画像データをはめ込む。送信端末では、このようにして生成された指定領域[(x0,y0),(x1,y1)]の画像データを符号化し、符号化された画像データのみを受信端末へ送信する。
【0091】
そして受信端末は符号化された画像データを受信し、復号化してメモリに書き込み、自ら作成した指定領域情報から動画像の指定領域を認識する。そしてその動画像領域のみをモニタに表示したい場合には、指定領域[(x2,y2),(x3,y3)]から動画像データを抽出して、モニタに表示する。尚、モニタに表示する際のモニタ上における指定領域は、受信端末側で自由に設定することがもちろん可能である。
【0092】
尚、上述したような動画像の指定領域は、図1に示すシステム制御部14内の領域指定管理テーブル15に書き込まれることにより、管理される。
【0093】
以上説明したように、本実施例のTV電話機を用いた画像通信システムにおいては、符号化の際の画像フォーマットが固定であっても、その画像サイズより小さな任意のサイズで動画像を符号化して送信することが可能であり、同様に受信してモニタに表示することが可能である。
【0094】
尚、本実施例においては図1に示すように音声情報と画像情報とが処理可能なTV電話機を例にして説明を行ったが、本発明はこのようなTV電話機に限定されるものではなく、動画像を通信する装置及び方法及びシステムであれば、何でもよい。
【0095】
尚、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【0096】
【発明の効果】
以上説明したように本発明によれば、符号化の際の画像フォーマットが固定であっても、その画像サイズより小さなサイズに最小の画像ブロックを単位として動画像をはめ込み、それ以外の領域には静止画像を埋め込んでという様に、動画像と静止画像とを組み合わせて符号化することができる。更に、符号化データを送信し、受信側ではその動画像領域のみを抜き取ってモニタに表示することで、任意のサイズで動画像を符号化して送信することが可能となる。従って、用途や状況に応じて画像サイズを変化させて、最適な符号化処理を実行させることが可能となり、最適な画質で画像通信が行えるという特有の効果が得られる。
【0097】
また、静止画像の差分値データについてはいずれ収束してなくなってしまうため、符号化の対象が動画像領域に集中し、動画像の転送効率が向上するという効果も得られる。
【0098】
また、静止画像領域に動画像領域を含ませることにより、静止画像に動画像をはめ込んで表示した画像を送信することも可能であり、操作者の利便性が飛躍的に向上する。
【0099】
また、受信側で生成した静止画像に送信側から送信された動画像をはめ込んで表示する際に、受信側から動画像をはめ込む位置を指定し、送信側がその指定された位置に動画像をはめ込んで送信することにより、受信側でははめ込み処理と動画像の変倍処理を行う必要がなくなるため、画像通信システムが経済的に構築でき、かつ画質も良好な状態で得られるという効果がある。
【0100】
【図面の簡単な説明】
【図1】本発明に係る一実施例のTV電話機のブロック構成図である。
【図2】本実施例における送信画像編集部の詳細構成を示すブロック図である。
【図3】本実施例における受信画像編集部の詳細構成を示すブロック図である。
【図4】本実施例における送信画像へのデータはめ込み処理や受信画像の重ね処理を説明するための図である。
【図5】本実施例における領域指定方法を説明するための図である。
【図6】本実施例における画像コーデック部の詳細構成を示すブロック図である。
【図7】本実施例における画像フォーマットを示す図である。
【図8】本実施例における画像データの多重化フレーム構成を示す図である。
【図9】本実施例における誤り訂正フレーム同期を示す図である。
【図10】本実施例における通信方法の例を示す図である。
【符号の説明】
1 マイク
2 スピーカ
3 音声処理部
4 音声コーデック部
5 カメラ
6 モニタ
7 画像処理部
8 送信画像編集部
9 受信画像編集部
10 特定画像生成部
11 画像コーデック部
12 多重分離部
13 回線インターフェース部
14 システム制御部
15 領域指定管理テーブル
16 特定画像管理テーブル
17 操作部
Claims (13)
- 1画面中の画像が送信される第1の所要領域と、動画像領域として前記第1の所要領域中の所望の第2の所要領域とを指定する領域指定手段と、
前記領域指定手段による指定に基づいて前記第2の所要領域の動画像と、前記第2の所要領域を除く前記第1の所要領域の静止画像とを組み合わせる組み合せ手段と、
前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、
前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第1の所要領域の領域位置情報および前記第1の所要領域内の動画像の領域の位置を示す前記第2の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有することを特徴とする画像通信装置。 - 符号化された画像データと、前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報とを受信する受信手段と、
前記受信手段により受信した画像データを復号する復号手段と、
前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報に基づいて、前記第2の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを更に有することを特徴とする請求項1記載の画像通信装置。 - 前記符号化手段は画像データをブロック単位で符号化し、前記領域指定手段は前記ブロック単位で領域を指定することを特徴とする請求項1記載の画像通信装置。
- 前記組み合せ手段は前記領域指定手段により少なくとも2領域が指定された場合に、それぞれ異なる動画像を組み合わせることを特徴とする請求項1記載の画像通信装置。
- 前記静止画像は前記動画像の一部であることを特徴とする請求項1記載の画像通信装置。
- 前記符号化手段はフレーム間差分による符号化を行うことを特徴とする請求項1記載の画像通信装置。
- 音声処理を行う音声処理部と、
前記音声処理部で処理された音声データを符号化する音声符号化部と、
前記音声符号化部で符号化された音声データを送信する音声送信手段とを更に有することを特徴とする請求項2記載の画像通信装置。 - 第1の画像通信装置は、
1画面中の画像が送信される第1の所要領域と、動画像領域として前記第1の所要領域中の所望の第2の所要領域とを指定する領域指定手段と、
前記領域指定手段による指定に基づいて前記第2の所要領域の動画像と、前記第2の所要領域を除く前記第1の所要領域の静止画像とを組み合わせる組み合せ手段と、
前記組み合せ手段により組み合わされた画像データを符号化する符号化手段と、
前記符号化手段によって符号化された画像データと、前記領域指定手段によって指定された前記第1の所要領域の領域位置情報および前記第1の所要領域内の動画像の領域の位置を示す前記第2の所要領域の領域位置情報とを他の画像通信装置に送信する送信手段とを有し、
第2の画像通信装置は、
前記符号化された画像データと、前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報とを受信する受信手段と、
前記受信手段により受信した画像データを復号する復号手段と、
前記第1の所要領域の領域位置情報および前記第2の所要領域の領域位置情報に基づいて、前記第2の所要領域の動画像を表示処理するために、前記復号手段により復号された画像データから動画像を抽出する抽出手段とを有することを特徴とする画像通信システム。 - 前記符号化手段は画像データをブロック単位で符号化し、前記領域指定手段は前記ブロック単位で領域を指定することを特徴とする請求項8記載の画像通信システム。
- 前記組み合せ手段は前記領域指定手段により少なくとも2領域が指定された場合に、それぞれ異なる動画像を組み合わせることを特徴とする請求項8記載の画像通信システム。
- 前記静止画像は前記動画像の一部であることを特徴とする請求項8記載の画像通信システム。
- 前記符号化手段はフレーム間差分による符号化を行うことを特徴とする請求項8記載の画像通信システム。
- 前記第1の画像通信装置は、
音声データを入力して音声処理をおこなう音声入力部と、
前記音声入力部で入力された音声データを符号化する音声符号化部と、
前記音声符号化部で符号化された音声データを送信する音声送信手段とを更に有し、
前記第2の画像通信装置は、
前記音声符号化部で符号化された音声データを受信する音声受信手段と、
前記音声受信手段で受信した音声データを復号する音声復号部と、
前記音声復号部で復号された音声データを処理して出力する音声出力部とを更に有することを特徴とする請求項8記載の画像通信システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17921394A JP3927606B2 (ja) | 1994-07-29 | 1994-07-29 | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 |
US08/507,983 US6313863B1 (en) | 1994-07-29 | 1995-07-27 | Image communication apparatus and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17921394A JP3927606B2 (ja) | 1994-07-29 | 1994-07-29 | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0846973A JPH0846973A (ja) | 1996-02-16 |
JP3927606B2 true JP3927606B2 (ja) | 2007-06-13 |
Family
ID=16061917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17921394A Expired - Fee Related JP3927606B2 (ja) | 1994-07-29 | 1994-07-29 | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3927606B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3584787B2 (ja) * | 1999-07-01 | 2004-11-04 | 松下電器産業株式会社 | マルチメディアデータ再生/送出装置 |
WO2008123217A1 (ja) * | 2007-03-29 | 2008-10-16 | Sharp Kabushiki Kaisha | 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置 |
KR101433157B1 (ko) | 2007-10-26 | 2014-08-22 | 삼성전자주식회사 | 휴대 단말기 및 그 이미지 전송 방법 |
KR20110036479A (ko) | 2009-10-01 | 2011-04-07 | 삼성전자주식회사 | 이동통신 시스템에서 harq 피드백을 처리하는 방법 및 장치 |
-
1994
- 1994-07-29 JP JP17921394A patent/JP3927606B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0846973A (ja) | 1996-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6313863B1 (en) | Image communication apparatus and system | |
JPH11234654A (ja) | 多画面合成方法及び多画面合成装置 | |
JPH07162830A (ja) | テレビ会議通信装置の制御方法 | |
EP0805600A2 (en) | Compressed video text overlay | |
WO2005079068A1 (en) | Arrangement and method for generating continuous presence images | |
US5953505A (en) | Communication apparatus and method for reading out stored function information in response to identifying information | |
US5691767A (en) | Video conferencing system with high resolution still image capability | |
JPH11234644A (ja) | 多地点会議システム | |
US5903734A (en) | Multimedia information communication apparatus which stores received information in an encoded state | |
US5675393A (en) | Image processing apparatus with generating unit for generating image data and decoding unit for decoding image data | |
US6560280B1 (en) | Video transmission system | |
JP3927606B2 (ja) | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 | |
JPH06125539A (ja) | 画像符号化装置 | |
JPH07203434A (ja) | 画像送信装置 | |
JPH11234639A (ja) | テレビ電話装置 | |
JPH07162831A (ja) | テレビ会議通信装置の制御方法 | |
JPH09205628A (ja) | 画像情報伝送装置 | |
JPH10285588A (ja) | 画像通信端末装置および画像通信方法 | |
JPH0846928A (ja) | 画像符号化前処理装置 | |
JPH0846792A (ja) | 画像通信装置及びシステム | |
JPH11239331A (ja) | 多地点通信システム | |
JP3521986B2 (ja) | 動画符号化装置 | |
JP3437191B2 (ja) | 端末装置及び端末装置の制御方法 | |
JPH0723377A (ja) | 画像送信装置 | |
JPH1028260A (ja) | 映像データ伝送方法および多地点テレビ会議装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050318 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050518 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050524 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070305 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |