JP3957903B2

JP3957903B2 - 画像通信システム

Info

Publication number: JP3957903B2
Application number: JP33901198A
Authority: JP
Inventors: 敬西; 雅人野中; 敏久中井
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1998-11-30
Filing date: 1998-11-30
Publication date: 2007-08-15
Anticipated expiration: 2018-11-30
Also published as: JP2000165827A

Description

【０００１】
【発明の属する技術分野】
本発明は画像通信システムに係り、とくに伝送誤りのある伝送路を介して誤り検出再送訂正方式の適用される画像通信装置の送信部と画像通信装置の受信部との間で符号化された動画像データを伝送するに好適な画像通信システムに関するものである。
【０００２】
【従来の技術】
送信した情報（データ）の波形は、一般的にはデータ伝送回線を伝わる間にガウス雑音、減衰ひずみ、群遅延ひずみ、位相ジッタおよびインパルス性の雑音などによって崩れる。これによりビット誤りが発生する。したがってデータ伝送においては、送信した情報が受信側に誤って到着することがある。このため、データ伝送においては、受信した情報の誤りを検出し、これを正しい情報に訂正するための誤り制御が行なわれている。この誤り制御には、一般的には、誤り検出再送訂正方式(ARQ:Automatic Repeat Request)が使用される。
【０００３】
この誤り検出再送訂正方式では、送信側は送信データに冗長ビット、たとえばCRC(Cyclic Redundancy Check)符号を付加して受信側に送り、受信側はこの冗長ビットを検査して誤りがあるか否かを検出し、誤りがあることがわかると、伝送系で誤りが発生したものとみなして、そのデータを捨ててもう一度送信することを要求する再送要求信号を送信側に送り、送信側は再送要求を受けた送信データに冗長ビットを付加して再度受信側に送るものである。
【０００４】
このような誤り検出再送訂正方式を適用して動画像データを送受信する動画像データ伝送装置には、たとえば特開平8-294123号公報に開示されるものがある。この動画像データ伝送装置では、画像情報量削減のために符号化が行なわれている。この符号化には、フレーム内符号化、フレーム間符号化および双方向予測符号化が用いられる。
【０００５】
これら符号化について説明すると、フレーム内符号化は個々のフレーム内の情報だけで符号化を行なうものであり、フレーム間符号化は連続するフレーム間において過去のフレームからその動きだけをブロック（たとえば16×16画素）ごとに抽出して動きベクトルを算出し、これを符号化するものであり、順逆両方向からの双方向予測符号化は前のフレームと後のフレームとの両者から現行フレームを符号化するものである。
【０００６】
この文献の特許請求の範囲請求項２に記載される方法について説明すると、送信側装置は１フレーム（１画面）ごとにこれら符号化方式のいずれかで符号化した符号化データを記憶し、この記憶した符号化データを読み出し、この読み出した符号化データにそのフレームの符号化種別を示す情報（符号化タイプ）および誤り制御のための情報（冗長ビット）を付加して受信側装置に送り、受信側装置は符号化タイプにて示されるフレーム内符号化データを受信した場合であってその冗長ビットにより伝送誤りがあることを検出した場合に、そのフレーム内符号化データの再送要求を送信側装置に送り、送信側装置は再送要求を受けたフレーム内符号化データを再度受信側装置に送るものである。
【０００７】
つまり、この文献に記載される動画像データ伝送装置は、フレーム内符号化されたデータに誤りが発生した場合にのみ再送要求が行なわれるものである。
【０００８】
また図５には、動画像データを送受信するシステムにおける従来の受信側装置の受信部の構成例が示されている。この装置の動作を説明する。
【０００９】
この装置は多重化ビット列入力端子502 を有し、この入力端子502 にはこの例では、図示しない送信側装置から所定のバイト数からなるパケット長にてパケット化された画像パケットおよび音声パケットの時分割多重化された信号が供給され、この信号は多重化ビット列受信バッファ回路504 に送られる。
【００１０】
なおこの例では、画像パケットは同期信号、画像パケットであることを示す識別情報、画像データ、CRC 符号の順に多重化され、また音声パケットも同様に、同期信号、音声パケットであることを示す識別情報、音声データ、CRC 符号の順に多重化される。
【００１１】
そして、１フレームの画像信号は複数の上述の画像パケットで構成され、この１フレームの画像信号のフォーマットにはこの例では、１フレームの符号化データ、符号化データの符号化タイプ、フレ−ムのシーケンス番号（SN：Sequence Number ）などが多重化される。この多重化されたデータが画像パケットの画像データの位置に多重化される。
【００１２】
受信バッファ回路504 は少なくとも上述のパケット長におけるビット数分を記憶する容量を有する記憶回路から構成され、この記憶回路は順次送られてくる画像または音声パケットのデータを一時記憶するとともに、この一時記憶したデータを読み出してシステム多重復号器506 に送る。
【００１３】
システム多重復号器506 は画像・音声パケット分離回路を有し、この分離回路は、順次送られてくるパケットのヘッダ部分に多重化される画像か音声かの属性を識別するための上述の識別情報を参照し、画像パケットなのか音声パケットなのかを識別し、画像パケットと音声パケットを分離して出力する。分離音声パケットは、図示しない信号線に出力され、分離画像パケットは符号化タイプ検出部508 、待機バッファ回路510 およびセレクタ回路512 に出力される。
【００１４】
システム多重復号器506 はまた上述のシーケンス番号を検出する回路を有し、この回路で検出したシーケンス番号は再送要求判断部320 に送られる。システム多重復号器506 はさらに、上述のCRC 符号を検査する回路を有し、この回路で検査された結果のデータが再送要求判断部520 に送られる。この場合、検査結果のデータとしては正常受信を示すデータと異常受信（エラー）を示すデータとがある。
【００１５】
符号化タイプ検出部508 はシステム多重復号器506 から送られる分離された画像パケットの中から符号化タイプを検出し、再送要求判断部520 に送る。この例では、この場合、検出される符号化タイプには、フレーム内符号化タイプと、フレーム間符号化タイプと、双方向予測符号化タイプの３種類がある。
【００１６】
待機バッファ回路510 は少なくとも１フレーム分の画像信号を含む複数の画像パケットのビット数分を記憶する容量を持つ記憶回路から構成され、この記憶回路はシステム多重復号器506 から送られる画像パケットのデータを一時記憶するとともに、この一時記憶されたデータを読み出してセレクタ回路512 に送る。
【００１７】
セレクタ回路512 は再送要求判断部520 から送られる制御信号に基づいてシステム多重復号器506 の出力を動画像復号部514 の入力に接続し、または待機バッファ回路510 の出力を動画像復号部514 の入力に接続する切替回路である。
【００１８】
動画像復号部514 はセレクタ回路512 から送られる各フレームの符号化タイプの情報を参照しながら符号化された画像データを復号する回路である。復号された画像データは画像信号出力端子516 に送られる。
【００１９】
再送要求判断部520 は前に少し触れたように、符号化タイプ検出部508 から符号化タイプの情報を受信するとともに、システム多重復号器506 からシーケンス番号およびCRC 符号の検査よる結果のデータを受信する。
【００２０】
再送要求判断部520 は受信したCRC 符号の検査よる結果のデータが正常受信を示すデータなのか、またはエラーを示すデータなのかを判定する判定回路と、この判定回路によりエラーを示すデータであると判定された場合に受信した符号化タイプの情報が何のタイプであるかを判断する判断回路と、この判断回路によりフレーム内符号化タイプであると判断された場合に送る再送要求信号を生成するするとともに、受信したシーケンス番号とこの生成した再送要求信号を再送要求信号出力端子518 を介して送信側の装置に送る再送信号生成回路と、これら回路の出力信号に基づいてセレクタ回路512 に送る制御信号を生成する制御信号生成回路とから構成される。
【００２１】
つまり、図５の装置の場合も、フレーム内符号化されたデータに誤りが発生した場合にのみシーケンス番号とともに再送要求が行なわれるものである。
【００２２】
【発明が解決しようとする課題】
上述したように装置の受信部において符号化タイプを判定して再送要求する方式では、符号化タイプの情報そのものに誤りがある場合には、本当に送られてきた符号化タイプが何であるのかがわからないという問題があった。つまり、たとえば送ったフレーム内符号化タイプが誤ってフレーム間符号化タイプになった場合には、再送要求が出されないという問題があり、またたとえば送ったフレーム間符号化タイプが誤ってフレーム内符号化タイプになった場合には、再送要求が出されるという問題があった。
【００２３】
このように装置の受信部において符号化タイプを検出し、この検出に基づいて再送要求を出したり出さなかったりする機能を設けることは、その受信部の回路構成を複雑にし、ハードウエア規模を大きくするという問題があった。これは受信専用装置の場合に特に問題になる。
【００２４】
本発明は、このような従来技術の欠点を解消し、伝送誤りを検出して再送要求を行なう回路構成を簡単にしてハードウエア規模を小さくすることのできる画像通信装置の受信部と、この装置の受信部から再送要求を受けた場合に、送った符号化データがフレーム内符号化データである場合にのみ確実に再送信することのできる画像通信装置の送信部とからなる画像通信システムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明によれば、送信側画像通信装置の送信部が伝送路を介して受信側画像通信装置の受信部と接続され、送信部は受信部に動画像を送り、受信部は受信した動画像について送信部に応答を返送する画像通信システムにおいて、送信部は、順次到来する動画像の複数のフレームのそれぞれについて、フレーム内符号化方式または符号化方式以外の符号化方式を予め決めた順に適用して符号化し、これによって１フレームの符号化データを生成し、符号化に適用した符号化方式を示す符号化タイプのデータを生成し、１フレームの符号化データおよび符号化タイプのデータを含むデータを１フレーム分の第１の画像データとして出力する動画像符号化手段と、第１の入力ポートに第２の画像データを受け、第２の入力ポートに第１の画像データを受けて記憶し、記憶された第１の画像データを読み出してなるビット列または前記受けた第２の画像データのビット列のいずれかを選択し、この選択された第１または第２の画像データのビット列を所定の長さに分割し、この分割された第１または第２の画像データに対応する誤り検出のための符号化データを生成し、この分割された第１または第２の画像データおよび誤り検出のための符号化データを含む画像パケットを形成し、画像パケットを受信部へ向けて送信する多重符号化手段と、第１の画像データ、または少なくともフレーム内符号化方式を示す符号化タイプのデータ値とは異なる所定の値「０」を１フレーム分有する第３の画像データを記憶する記憶手段と、多重符号化手段から受信部への送信に供した第１の画像データが入力されると、この入力された第１の画像データに含まれる前記符号化タイプのデータを調査し、この符号化タイプのデータがフレーム内符号化方式を示すものであれば第１の画像データを、またフレーム内符号化方式を示すものでなければ第３の画像データを記憶手段に記憶させるデータ格納判断手段と、受信部から返送された前記応答が再送要求信号であるとわかると、記憶手段に記憶された第１の画像データに対応する前記符号化タイプのデータを調査し、この符号化タイプのデータがフレーム内符号化方式を示すものであれば記憶手段から第１の画像データを読み出して第２の画像データとして第１の入力ポートに送る再送処理手段とを有し、多重符号化手段は、第１の入力ポートに再送処理手段から第２の画像データを受けると第２の画像データを選択し、この選択した第２の画像データを画像パケットに形成し、この形成した画像パケットを受信部に再送し、受信部は、多重符号化手段から画像パケットを受信すると、この受信した画像パケットに含まれる前記誤り検出のための符号化データを検査し、この検査により前記受信した画像パケットのデータに誤りがあると判断すると、再送要求信号を生成し、この生成した再送要求信号を前記応答として再送処理手段に送る誤り検出手段を有する。
【００２６】
この場合、データ格納判断手段は、前記符号化タイプのデータがフレーム内符号化方式を示すものでないときは、第３の画像データを記憶させる指示信号を記憶手段に与え、記憶手段は、この指示信号に応動して第３の画像データを生成して記憶するようにしてもよい。データ格納判断手段はまた、前記符号化タイプのデータがフレーム内符号化方式を示すものでないときは、第３の画像データを生成して記憶手段に記憶させるようにしてもよい。
【００２７】
【発明の実施の形態】
次に、添付図面を参照して本発明による画像通信システムの実施例を詳細に説明する。
【００２８】
図１には本発明の画像通信システムにおける画像通信装置の送信部の第１の実施例の機能ブロックが示されている。図１を参照すると、この送信部は画像信号入力端子10、動画像符号化部12、システム多重符号化器14、多重化ビット列出力端子16、再送要求信号入力端子18、再送処理部20およびバッファ回路22から構成されている。
【００２９】
図１の送信部は、図示しない受信側の画像通信装置装置の受信部からの再送要求信号を再送要求信号入力端子18で受けると、再送処理部20はバッファ回路22に記憶される１フレームの符号化データの符号化タイプを参照し、参照の結果、フレーム内符号化タイプであればそれに記憶される１フレームの符号化データを読み出し、システム多重符号化器14および多重化ビット列出力端子16を介して受信側装置の受信部に再送信するものである。
【００３０】
画像信号入力端子10にはたとえば図示しないテレビジョンカメラからの動画像の映像（画像）信号が入力される。動画像符号化部12の入力は画像信号入力端子10と信号線102 で接続され、動画像符号化部12は入力102 から入力するアナログの画像信号を対応するデジタルの画像信号に変換し、変換した１フレームの画像信号データをフレーム内符号化方式、フレーム間符号化方式および双方向予測符号化方式のいずれかの方式にて符号化し、符号化した符号化データを含む１フレームの画像信号データを信号線104 を介してシステム多重符号化器14に送る。
【００３１】
ここで、動画像符号化部12から順次出力されるフレームごとの符号化データについて説明すると、たとえば符号化部12に最初に入力した１フレームの画像信号データについてはフレーム内符号化方式を適用してフレーム内符号化データを出力し、次に入力した２番目の１フレームの画像信号データについては双方向予測符号化方式を適用して双方向予測符号化データを出力し、次に入力した３番目の１フレームの画像信号データについてはフレーム間符号化方式を適用してフレーム間符号化データを出力するように、出力される符号化方式の順序は予め決めておくのでよい。
【００３２】
また動画像符号化部12から順次出力される１フレームの画像信号データの中には上述の１フレームの符号化データの他に、この符号化部12にて生成したその符号化データの符号化タイプ、そのフレ−ムのシーケンス番号などが含まれているのでよい。
【００３３】
なお、この例では、動画像符号化部12から出力される符号化データの方式はフレーム内符号化方式と、フレーム間符号化方式と、双方向予測符号化方式の３種類であるが、フレーム内符号化方式と、フレーム間符号化方式の２種類でもよいし、またフレーム内符号化方式と、フレーム間符号化方式および双方向予測符号化方式以外の符号化方式の数種類でもよい。
【００３４】
システム多重符号化器14は、入力104 から順次入力する１フレーム分の画像信号データを記憶する記憶回路を有する。この記憶回路は記憶された１フレーム分の画像信号データを読み出し信号線110 を介してバッファ回路22に送る。
【００３５】
またこの記憶回路は後述するように再送要求により再送処理部20が信号線106 を介してバッファ回路22に記憶される１フレーム分の画像信号データをシステム多重符号化器14に送る場合があるが、その間、動画像符号化部12から出力される１フレームの画像信号データを記憶する容量を有している。この記憶回路はまた後述するように、音声パケットの多重化が行なわれている間に動画像符号化部12から出力される１フレームの画像信号データを記憶する容量も有している。
【００３６】
システム多重符号化器14はまた画像パケット化回路を有し、画像パケット化回路は、上述の記憶回路から読み出される１フレーム分の画像信号データまたは再送要求により入力106 から入力する１フレーム分の画像信号データを適当なビットまたはバイト長のストリームに分割して画像パケットを生成する。詳細には、この画像パケットの中には上述の分割されてなる画像信号データの他に、画像パケット化回路にて生成した同期信号、画像パケットであることを示す識別情報、CRC 符号などが上述したような多重化位置に含まれているのでよい。
【００３７】
システム多重符号化器14はまたパケット多重化回路を有し、パケット多重化回路は上述の画像パケット化回路から送られる画像パケットと図示しない信号線から入力する音声パケットを適当に時分割多重化する回路である。この多重化回路から出力されたパケットは、信号線108 および多重化ビット列出力端子16を介して受信側装置に送られる。
【００３８】
システム多重符号化器14はまた伝送制御回路を有し、伝送制御回路はたとえば送信要求信号および送信終了信号などを形成する回路を有し、形成した送信要求信号はパケットの送信に先立って、また送信終了信号はデータ送信終了後に信号線108 および多重化ビット列出力端子16を介して受信側装置に送られる。伝送制御回路はまた、受信側装置から入力端子18および信号線116 を介して送られる再送要求信号を含む様々な応答信号や信号線106 を介して送られるデータや制御信号を受信し、受信した応答信号やデータや制御信号に基づいて各部を制御する制御信号を形成する制御機能部も有している。
【００３９】
バッファ回路22は、入力110 から入力する少なくとも１フレーム分の画像信号データを記憶する容量を持つ記憶回路を有する。この記憶回路は入力110 から入力す１フレーム分の画像信号データを記憶する。この記憶回路に記憶されたデータは再送処理部20から制御線112 を介して送られる読み出し制御信号に基づいて読み出される。この読み出されたデータは信号線114 を介して再送処理部20に送られる。
【００４０】
前に少し触れたように、再送要求信号入力端子18には図示しない受信側装置からの再送要求信号を含む様々な応答信号が入力される。再送処理部20の入力は再送要求信号入力端子18と信号線116 で接続され、再送処理部20は入力116 から入力する応答信号のうちの再送要求信号を検出する検出回路を有する。再送処理部20はまた、この検出回路から再送要求信号を検出したことを示す信号を受け、この信号に応動してバッファ回路22に記憶されるデータを読み出すための読み出し制御信号を生成する読み出し制御信号生成回路を有する。この回路により生成された読み出し制御信号は制御線112 を介してバッファ回路22に送られる。
【００４１】
再送処理部20の入力114 には、上述の読み出し制御信号によりバッファ回路22から読み出された１フレーム分の画像信号データが入力される。再送処理部20はまた、入力114 から入力する１フレームの画像信号データの中に含まれている符号化タイプを抽出し、抽出した符号化タイプがどのタイプの符号化タイプであるかを調査し、この調査によりフレーム内符号化タイプであれば上述の読み出し制御信号生成回路に読み出し制御信号を生成してバッファ回路22に送るための指示信号を形成し、またフレーム内符号化タイプ以外のフレーム間符号化タイプまたは双方向予測符号化タイプであれば信号線106 に送る再送しないことを指示する信号を形成する制御回路を有する。
【００４２】
再送処理部20の制御回路はまた、再送のためにこの回路の指示により再度バッファ回路22から読み出され入力114 から入力した１フレームの画像信号データを信号線106 に送る回路も備えている。そして、信号線106 を介して入力する信号が画像信号データであるとシステム多重符号化器14の制御機能部が判断した場合、この制御機能部は、信号線106 を介して入力した１フレーム分の画像信号データを再送するための制御信号を各部に送る。これにより、直前に送った１フレームの画像信号データと同じものが分割されパケット化されて受信側装置に送られる。
【００４３】
また信号線106 を介して入力する信号が再送しないことを指示する信号であるとシステム多重符号化器14の制御機能部が判断した場合、この制御機能部はシステム多重符号化器14の記憶回路に記憶され読み出し待ちになっている１フレーム分の画像信号データをその記憶回路から読み出させる指示を行なう。この指示により読み出されてきた１フレーム分の画像信号データは正常動作のときと同じようにシステム多重符号化器14の画像パケット化回路およびバッファ回路22に送られる。したがって多重化ビット列出力端子16から出力される１フレームの画像信号データのシーケンス番号は直前に送った１フレームの画像信号データのシーケンス番号の次の番号である。
【００４４】
なお、システム多重符号化器14の伝送制御回路の制御機能部は入力106 から入力する信号がない場合は、入力116 から入力する応答信号に基づいて、システム多重符号化器14の記憶回路に順次記憶される１フレームの画像信号データの順次読み出しの指示を行なう。
【００４５】
まず、図２に示すデータ伝送における正常動作シーケンスを用い、図１における第１の実施例の動作を説明する。
【００４６】
システム多重符号化器14の伝送制御回路は、データの送信に先だって送信要求信号を生成し、受信側装置の受信部に送る。受信部はこれを受けると、受信ＯＫなので送信応答信号を送信側装置に送る。この送信応答信号は送信側の再送要求信号入力端子18および信号線116 を介してシステム多重符号化器14の伝送制御回路に送られる。この送信要求、送信応答の授受により送信側装置と受信側装置間のデータリンクが確立する。
【００４７】
システム多重符号化器14の伝送制御回路は送信応答信号を受信すると、システム多重符号化器14の記憶回路に送信開始信号＃１を送る。記憶回路は送信開始信号＃１を受信すると、１フレ−ム分の符号化データおよびその符号化タイプを含む１フレーム分の画像信号データをシステム多重符号化器14の画像パケット化回路およびバッファ回路22に送る。この最初のフレームではフレーム間符号化などは使用できないのでフレーム内符号化データである。
【００４８】
バッファ回路22は受け取った１フレーム分の画像信号データを記憶する。画像パケット化回路は受け取った１フレーム分の画像信号データを適当なビットまたはバイト長のストリームに分割し、分割した画像信号データにCRC 符号の付加された画像パケットを生成し、受信側装置の受信部に送る。
【００４９】
受信側装置の受信部は、順次受信する画像パケットの伝送誤りの有無を順次検出することで、最終的に受信した１フレーム分の画像信号データに伝送誤りがあったか否かを判断する。図２の場合は正常動作としているので、受信側装置の受信部は、この受信結果が正常であると判定し、この判定に基づく正常受信を示す応答信号＃１を送信側のシステム多重符号化器14の伝送制御回路に送る。
【００５０】
上述からわかるように、画像通信装置の受信部における再送要求信号を送信側に送りか否かを決定するための機能としては、この例ではCRC 符号を検査して誤りがあるか否かを検出する機能さえあればよい。したがって従来よりも、画像通信装置の受信部の構成を簡単にしてハードウエア規模を小さくできる。
【００５１】
システム多重符号化器14の伝送制御回路は応答信号＃１を受信すると、システム多重符号化器14の記憶回路に送信開始信号＃２を送る。２番目の送信開始信号＃２から以降の動作も最初の送信開始信号＃１に基づいて行なわれる動作と基本的には同じである。
【００５２】
すなわち、記憶回路は１フレ−ム分の符号化データおよびその符号化タイプを含む１フレーム分の画像信号データをバッファ回路22およびシステム多重符号化器14の画像パケット化回路に送る。但し伝送される符号化データはこの例ではフレーム間符号化データまたは双方向予測符号化データである。
【００５３】
バッファ回路22は、受け取った１フレーム分のフレーム間符号化データまたは双方向予測符号化データの含まれる画像信号データを記憶する。画像パケット化回路は受け取った１フレーム分のフレーム間符号化データまたは双方向予測符号化データの含まれる画像信号データを適当なビットまたはバイト長のストリームに分割し、分割した画像信号データにCRC 符号の付加された画像パケットを生成し、受信側装置に送る。
【００５４】
次に、図３に示すデータ伝送における異常動作シーケンスを用い、図１における第１の実施例の動作を説明する。
【００５５】
送信要求、送信応答の授受により送信側装置と受信側装置間のデータリンクが確立する。確立するとシステム多重符号化器14の伝送制御回路からシステム多重符号化器14の記憶回路に送信開始信号＃１が送られる。送信開始信号＃１を受信した記憶回路は１フレ−ム分のフレーム内符号化データおよびその符号化タイプを含む１フレーム分の画像信号データをバッファ回路22およびシステム多重符号化器14の画像パケット化回路に送る。バッファ回路22は送られてきた１フレーム分の画像信号データを記憶し、画像パケット化回路は送られてきた１フレーム分の画像信号データを適当なビットまたはバイト長のストリームに分割し、分割した画像信号データにCRC 符号の付加された画像パケットを生成し、受信側装置の受信部に送る。ここまでは、図２に示す正常動作シーケンスと同じである。
【００５６】
受信側装置の受信部は、順次受信する画像パケットの伝送誤りの有無を順次検出することで、最終的に受信した１フレーム分の画像信号データに伝送誤りがあったか否かを判断する。図３の場合は異常動作としているので、受信側装置の受信部は、この受信結果が異常であると判定し、この判定に基づく異常受信を示す応答信号である再送要求信号＃１を送信側のシステム多重符号化器14の再送処理部20に送る。
【００５７】
再送処理部20の検出回路は送られてきた信号が再送要求信号であることを検出し、この検出信号を再送処理部20の読み出し制御信号生成回路に送る。読み出し制御信号生成回路は検出信号を受けると、読み出し制御信号を生成し、生成した読み出し制御信号をバッファ回路22に送る。
【００５８】
これによりバッファ回路22から読み出された１フレーム分の画像信号データが再送処理部20の制御回路に送られる。制御回路は送られてきた１フレーム分の画像信号データの中に含まれている符号化タイプを抽出し、抽出した符号化タイプがどのタイプの符号化タイプであるかを調査し、この調査によりフレーム内符号化タイプであれば読み出し制御信号を生成してバッファ回路22に送るための指示信号を上述した再送処理部20の読み出し制御信号生成回路に送る。またこの調査によりフレーム内符号化タイプ以外のフレーム間符号化タイプまたは双方向予測符号化タイプであれば再送しないことを指示する信号を信号線106 に送る。
【００５９】
この場合、調査による符号化タイプはフレーム内符号化タイプであるので、再送処理部20の制御回路は、バッファ回路22から読み出された１フレームの画像信号データを信号線106 を介してシステム多重符号化器14の伝送制御回路に送る。伝送制御回路は信号線106 を介して入力した信号が画像信号データであるので、再送データであると判断し、これを送るための制御信号を各部に送る。これにより直前に送った１フレームの画像信号データと同じものが分割されパケット化されて受信側装置の受信部に送られる。
【００６０】
このような第１の実施例によれば、バッファ回路22にはたえず、画像通信装置の送信部から送出したばかりの１フレーム分の画像信号データが記憶される。そして、送出したばかりの１フレーム分の画像信号データに対し受信側装置の受信部から再送要求があると、再送処理部20はバッファ回路22に記憶される１フレーム分の画像信号データの符号化タイプを調査する。この調査においてフレーム内符号化タイプであればバッファ回路22に記憶される１フレーム分の画像信号データを送信し、またフレーム内符号化タイプでなければ次に送信を予定していた１フレーム分の画像信号データを送信する。このように受信部の簡単な回路により再送要求があっても、送信した符号化タイプがフレーム内符号化タイプのときのみ確実に、再送信できるという効果がある。
【００６１】
図４には本発明の画像通信システムにおける画像通信装置の送信部の第２の実施例の機能ブロックが示されている。図４を参照すると、この送信部は画像信号入力端子10、動画像符号化部12、システム多重符号化器14、多重化ビット列出力端子16、再送要求信号入力端子18、再送処理部20、データ格納判断部30およびバッファ回路32から構成されている。
【００６２】
上述からわかるように、図４において、図１と異なるところは、データ格納判断部30が追加された点と、図１のバッファ回路22が図４ではバッファ回路32に変更された点と、図１ではシステム多重符号化器14の記憶回路が信号線110 を介してバッファ回路22と接続されているが図４ではシステム多重符号化器14の記憶回路が信号線110 を介してデータ格納判断部30と接続され、データ格納判断部30が信号線130 を介してバッファ回路32と接続されている点である。なお、図４において、図１と対応する部分には同じ符号を付して示し、重複説明を省略する。
【００６３】
データ格納判断部30は、システム多重符号化器14の記憶回路から送られる１フレーム分の画像信号データにおける符号化データの符号化タイプが何であるかを判定し、この判定によりフレーム内符号化タイプであると判定した場合は、この送られてきた１フレーム分の画像信号データをバッファ回路32に送り、フレーム内符号化タイプでないと判定した場合は、バッファ回路32の記憶回路の記憶領域にこの例では「０」のデータを記憶するよう指示をする指示信号をバッファ回路32に送る。
【００６４】
バッファ回路32については、送られてきた１フレーム分の画像信号データを記憶する点では図１のバッファ回路22と同じである。図１のバッファ回路22と異なるところは、上述の指示信号が送られてきた場合であり、この場合は、バッファ回路32の記憶回路の記憶領域にこの例では「０」のデータを記憶させる機能を有していることである。すなわち、デリート機能を有する。
【００６５】
つまり、画像通信装置の送信部から送出したばかりのフレーム内符号化タイプのみ１フレーム分の画像信号データをバッファ回路32に記憶し、次にくるフレーム内符号化タイプ以外については、「０」のデータをバッファ回路32に記憶する理由は、受信側装置の受信部から再送要求があった場合に、確実にフレーム内符号化タイプの１フレーム分の画像信号データを再送するためである。
【００６６】
詳細には、画像通信装置の送信部からフレーム内符号化タイプ以外のタイプの１フレーム分の画像信号データを送出した場合に、バッファ回路32の記憶回路のデータを「０」にしない場合には、次のフレーム内符号化タイプがくるまで前のフレーム内符号化タイプのデータがバッファ回路32の記憶回路に記憶されたままになる。この状態において、画像通信装置の送信部から送出したばかりのデータがフレーム内符号化タイプ以外のデータであり、このとき受信側装置の受信部から再送要求があった場合には、バッファ回路32の記憶回路に記憶されたフレーム内符号化タイプのデータを再送することになる。つまりこのような再送を避けるためにデータを「０」にしている。
【００６７】
なおこの例では、データ格納判断部30がフレーム内符号化タイプでないと判定した場合に、バッファ回路32に「０」のデータを記憶するよう指示をする指示信号を送る方式としたが、データ格納判断部30がフレーム内符号化タイプでないと判定した場合に、バッファ回路32に「０」のデータを送る方式としてもよい。またこの場合において、フレーム内符号化タイプであると判定した後であって最初のフレーム内符号化タイプでないと判定した場合に「０」のデータを送り、その後、フレーム内符号化タイプであると判定するまでの間、フレーム内符号化タイプでないと判定しても「０」のデータを送らない方式でもよい。これらの方式の場合は、バッファ回路32の機能は図１のバッファ回路22の機能と同じでよい。
【００６８】
またなお、この例ではフレーム内符号化タイプでないと判定する度に指示信号を送る方式としたが、フレーム内符号化タイプであると判定した後であって最初のフレーム内符号化タイプでないと判定した場合に指示信号を送り、その後、フレーム内符号化タイプであると判定するまでの間、フレーム内符号化タイプでないと判定しても指示信号を送らない方式でもよい。なおまた、この例では、記憶するデータを「０」のデータとしたがフレーム内符号化タイプのデータと区別できればどのような符号のデータでもよい。
【００６９】
まず、図２に示すデータ伝送における正常動作シーケンスを用い、図４における第２の実施例の動作を説明する。
【００７０】
システム多重符号化器14の伝送制御回路は、データの送信に先だって送信要求信号を生成し、受信側装置の受信部に送る。受信部はこれを受けると、受信ＯＫなので送信応答信号を送信側装置に送る。この送信応答信号は送信側の再送要求信号入力端子18および信号線116 を介してシステム多重符号化器14の伝送制御回路に送られる。この送信要求、送信応答の授受により送信側装置と受信側装置間のデータリンクが確立する。
【００７１】
システム多重符号化器14の伝送制御回路は送信応答信号を受信すると、システム多重符号化器14の記憶回路に送信開始信号＃１を送る。記憶回路は送信開始信号＃１を受信すると、１フレ−ム分の符号化データおよびその符号化タイプを含む１フレーム分の画像信号データをシステム多重符号化器14の画像パケット化回路およびデータ格納判断部30に送る。この最初のフレームではフレーム間符号化などは使用できないのでフレーム内符号化データである。
【００７２】
データ格納判断部30は送られてきた１フレーム分の画像信号データにおける符号化データの符号化タイプが何であるかを判定する。判定結果は、この場合、フレーム内符号化タイプであるので、送られてきた１フレーム分の画像信号データをバッファ回路32に送る。
【００７３】
バッファ回路32は受け取った１フレーム分の画像信号データを記憶する。画像パケット化回路は受け取った１フレーム分の画像信号データを適当なビットまたはバイト長のストリームに分割し、分割した画像信号データにCRC 符号の付加された画像パケットを生成し、受信側装置の受信部に送る。
【００７４】
受信側装置の受信部は、順次受信する画像パケットの伝送誤りの有無を順次検出することで、最終的に受信した１フレーム分の画像信号データに伝送誤りがあったか否かを判断する。図２の場合は正常動作としているので、受信側装置の受信部は、この受信結果が正常であると判定し、この判定に基づく正常受信を示す応答信号＃１を送信側のシステム多重符号化器14の伝送制御回路に送る。
【００７５】
システム多重符号化器14の伝送制御回路は応答信号＃１を受信すると、システム多重符号化器14の記憶回路に送信開始信号＃２を送る。記憶回路は１フレ−ム分の符号化データおよびその符号化タイプを含む１フレーム分の画像信号データをデータ格納判断部30およびシステム多重符号化器14の画像パケット化回路に送る。但し伝送される符号化データはこの例ではフレーム間符号化データまたは双方向予測符号化データである。
【００７６】
データ格納判断部30は送られてきた１フレーム分の画像信号データにおける符号化データの符号化タイプが何であるかを判定する。判定結果は、この場合、フレーム内符号化タイプでないので、バッファ回路32の記憶回路の記憶領域にこの例では「０」のデータを記憶するよう指示をする指示信号をバッファ回路32に送る。
【００７７】
バッファ回路32はその記憶回路の記憶領域にこの例では「０」のデータを記憶する。画像パケット化回路は受け取った１フレーム分のフレーム間符号化データまたは双方向予測符号化データの含まれる画像信号データを適当なビットまたはバイト長のストリームに分割し、分割した画像信号データにCRC 符号の付加された画像パケットを生成し、受信側装置に送る。
【００７８】
次に、図３に示すデータ伝送における異常動作シーケンスを用い、図４における第２の実施例の動作を説明する。
【００７９】
送信要求、送信応答の授受により送信側装置と受信側装置間のデータリンクが確立する。確立するとシステム多重符号化器14の伝送制御回路からシステム多重符号化器14の記憶回路に送信開始信号＃１が送られる。送信開始信号＃１を受信した記憶回路は１フレ−ム分のフレーム内符号化データおよびその符号化タイプを含む１フレーム分の画像信号データをデータ格納判断部30およびシステム多重符号化器14の画像パケット化回路に送る。
【００８０】
データ格納判断部30は、送られてきた１フレーム分の画像信号データにおける符号化データの符号化タイプが何であるかを判定する。判定結果は、この場合、フレーム内符号化タイプであるので、送られてきた１フレーム分の画像信号データをバッファ回路32に送る。バッファ回路32は、受け取った１フレーム分の画像信号データを記憶する。画像パケット化回路は受け取った１フレーム分の画像信号データを適当なビットまたはバイト長のストリームに分割し、分割した画像信号データにCRC 符号の付加された画像パケットを生成し、受信側装置の受信部に送る。ここまでは正常動作シーケンスと同じである。
【００８１】
受信側装置の受信部は、順次受信する画像パケットの伝送誤りの有無を順次検出することで、最終的に受信した１フレーム分の画像信号データに伝送誤りがあったか否かを判断する。図３の場合は異常動作としているので、受信側装置の受信部は、この受信結果が異常であると判定し、この判定に基づく異常受信を示す応答信号である再送要求信号＃１を送信側のシステム多重符号化器14の再送処理部20に送る。
【００８２】
再送処理部20の検出回路は送られてきた信号が再送要求信号であることを検出し、この検出信号を再送処理部20の読み出し制御信号生成回路に送る。読み出し制御信号生成回路は検出信号を受けると、読み出し制御信号を生成し、生成した読み出し制御信号をバッファ回路32に送る。
【００８３】
これによりバッファ回路32から読み出された１フレーム分の画像信号データが再送処理部20の制御回路に送られる。制御回路は送られてきた１フレーム分の画像信号データの中に含まれている符号化タイプを抽出し、抽出した符号化タイプがどのタイプの符号化タイプであるかを調査し、この調査によりフレーム内符号化タイプであれば読み出し制御信号を生成してバッファ回路32に送るための指示信号を上述した再送処理部20の読み出し制御信号生成回路に送る。またこの調査によりフレーム内符号化タイプ以外のフレーム間符号化タイプまたは双方向予測符号化タイプであれば再送しないことを指示する信号を信号線106 に送る。
【００８４】
この場合、調査による符号化タイプはフレーム内符号化タイプであるので、再送処理部20の制御回路は、バッファ回路32から読み出された１フレームの画像信号データを信号線106 を介してシステム多重符号化器14の伝送制御回路に送る。伝送制御回路は信号線106 を介して入力した信号が画像信号データであるので、再送データであると判断し、これを送るための制御信号を各部に送る。これにより直前に送った１フレームの画像信号データと同じものが分割されパケット化されて受信側装置の受信部に送られる。
【００８５】
このような第２の実施例によれば、バッファ回路32には、画像通信装置の送信部から送出したばかりのデータがフレーム内符号化タイプのデータであればその１フレーム分の画像信号データが記憶され、それ以外ものであれば「０」のデータが記憶される。そして、送出したばかりの１フレーム分の画像信号データに対し受信側装置の受信部から再送要求があると、再送処理部20はバッファ回路32に記憶される１フレーム分の画像信号データの符号化タイプを調査する。この調査においてフレーム内符号化タイプであればバッファ回路32に記憶される１フレーム分の画像信号データを送信し、またフレーム内符号化タイプでなければ次に送信を予定していた１フレーム分の画像信号データを送信する。このように受信部の簡単な回路により再送要求があっても、送信した符号化タイプがフレーム内符号化タイプのときのみ確実に、再送信できるという効果がある。
【００８６】
なお、これらの実施例は一方向に動画像を送る画像通信システムであるが、本発明による送信部および受信部を備えた画像通信装置をたとえば２点間に設置して、双方向に動画像を送る画像通信システムでもよい。
【００８７】
【発明の効果】
このように本発明によれば、送信部においては、記憶手段は多重符号化手段の送信制御により受信部に送信したばかりの画像パケットに応じたこの多重符号化手段にて記憶され読み出された１フレーム分の画像データを受信して記憶し、再送処理手段は受信部から送られてくる応答が再送要求信号であるとわかると、記憶手段に記憶される１フレーム分の画像データの中に含まれる符号化タイプのデータを調査し、このデータがフレーム内符号化方式を示すものであれば記憶手段に記憶される１フレーム分の画像データを読み出して第１の入力ポートに送り、多重符号化手段は第１の入力ポートに再送処理手段から１フレーム分の画像データが送られてくるとこの画像データを選択し、選択した画像データに基づく画像パケットを形成し、形成した画像パケットを受信部に再送する。このように送信部は、再送要求があった場合に、送ったばかりの画像データの符号化タイプがフレーム内符号化方式であるときのみ効果的に再送することができる。
【００８８】
またこのように本発明によれば、送信部においては、データ格納判断手段は多重符号化手段の送信制御により受信部に送信したばかりの画像パケットに応じたこの多重符号化手段にて記憶され読み出された１フレーム分の画像データを受信し、受信した１フレーム分の画像データの中に含まれる符号化タイプのデータを調査し、このデータがフレーム内符号化方式を示すものであれば受信した１フレーム分の画像データを出力し、またフレーム内符号化方式を示すものでなければ少なくともフレーム内符号化方式を示す符号化タイプのデータ値と異なる所定の値の画像データを記憶するよう指示するための指示信号を生成して出力し、記憶手段はデータ格納判断手段から１フレーム分の画像データが送られてきた場合にはこの画像データを記憶し、また指示信号が送られてきた場合には所定の値の画像データを生成して記憶し、再送処理手段は受信部から送られてくる応答が再送要求信号であるとわかると、記憶手段に記憶される１フレーム分の画像データの中に含まれる符号化タイプのデータを調査し、このデータがフレーム内符号化方式を示すものであれば記憶手段に記憶される１フレーム分の画像データを読み出して第１の入力ポートに送り、多重符号化手段は第１の入力ポートに再送処理手段から１フレーム分の画像データが送られてくるとこの画像データを選択し、選択した画像データに基づく画像パケットを形成し、形成した画像パケットを受信部に再送する。この場合も送信部は、再送要求があった場合に、送ったばかりの画像データの符号化タイプがフレーム内符号化方式であるときのみ効果的に再送することができる。
【００８９】
またこのように本発明によれば、送信部においては、データ格納判断手段は多重符号化手段の送信制御により受信部に送信したばかりの画像パケットに応じたこの多重符号化手段にて記憶され読み出された１フレーム分の画像データを受信し、受信した１フレーム分の画像データの中に含まれる符号化タイプのデータを調査し、このデータがフレーム内符号化方式を示すものであれば受信した１フレーム分の画像データを出力し、またフレーム内符号化方式を示すものでなければ少なくともフレーム内符号化方式を示す符号化タイプのデータ値と異なる所定の値の画像データを生成して出力し、記憶手段はデータ格納判断手段から１フレーム分の画像データが送られてきた場合にはこの画像データを記憶し、また所定の値の画像データが送られてきた場合にはこの所定の値の画像データを記憶し、再送処理手段は受信部から送られてくる応答が再送要求信号であるとわかると、記憶手段に記憶される１フレーム分の画像データの中に含まれる符号化タイプのデータを調査し、このデータがフレーム内符号化方式を示すものであれば記憶手段に記憶される１フレーム分の画像データを読み出して第１の入力ポートに送り、多重符号化手段は第１の入力ポートに再送処理手段から１フレーム分の画像データが送られてくるとこの画像データを選択し、選択した画像データに基づく画像パケットを形成し、形成した画像パケットを受信部に再送する。この場合もまた送信部は、再送要求があった場合に、送ったばかりの画像データの符号化タイプがフレーム内符号化方式であるときのみ効果的に再送することができる。
【００９０】
またこのように本発明によれば、上述の送信部に対する受信部おいては、多重符号化手段から送信される画像パケットを受信し、受信した画像パケットに付加される誤り検出のための符号化データを検査し、この検査により受信した画像パケットのデータに誤りがあると判断した場合には応答として再送要求信号を生成し、この生成した再送要求信号を再送処理手段に送る誤り検出手段を有する。このようにこの誤り検出手段の機能は従来の誤り検出機能に比べ少ないのでハードウエア規模を小さくできる。したがって受信部のハードウエア規模を効果的に小さくすることができる。
【図面の簡単な説明】
【図１】本発明の画像通信システムにおける画像通信装置の送信部の第１の実施例の機能ブロック図である。
【図２】図１および図４における実施例の正常動作シーケンスの例を示す図である。
【図３】図１および図４における実施例の異常動作シーケンスの例を示す図である。
【図４】本発明の画像通信システムにおける画像通信装置の送信部の第２の実施例の機能ブロック図である。
【図５】従来の画像通信システムにおける画像通信装置の受信部の一例の機能ブロック図である。
【符号の説明】
12 動画像符号化部
14 システム多重符号化器
20 再送処理部
22、32 バッファ回路
30 データ格納判断部
504 多重化ビット列受信バッファ回路
506 システム多重復号器
508 符号化タイプ検出部
510 待機バッファ回路
512 セレクタ回路
514 動画像復号部
520 再送要求判断部

Claims

送信側画像通信装置の送信部が伝送路を介して受信側画像通信装置の受信部と接続され、該送信部は該受信部に動画像を送り、該受信部は受信した動画像について該送信部に応答を返送する画像通信システムにおいて、
前記送信部は、
順次到来する動画像の複数のフレームのそれぞれについて、フレーム内符号化方式または該符号化方式以外の符号化方式を予め決めた順に適用して符号化し、これによって１フレームの符号化データを生成し、該符号化に適用した符号化方式を示す符号化タイプのデータを生成し、該１フレームの符号化データおよび該符号化タイプのデータを含むデータを１フレーム分の第１の画像データとして出力する動画像符号化手段と、
第１の入力ポートに第２の画像データを受け、第２の入力ポートに第１の画像データを受けて記憶し、該記憶された第１の画像データを読み出してなるビット列または前記受けた第２の画像データのビット列のいずれかを選択し、該選択された第１または第２の画像データのビット列を所定の長さに分割し、該分割された第１または第２の画像データに対応する誤り検出のための符号化データを生成し、該分割された第１または第２の画像データおよび該誤り検出のための符号化データを含む画像パケットを形成し、該画像パケットを前記受信部へ向けて送信する多重符号化手段と、
第１の画像データ、または少なくともフレーム内符号化方式を示す符号化タイプのデータ値とは異なる所定の値「０」を１フレーム分有する第３の画像データを記憶する記憶手段と、
前記多重符号化手段から前記受信部への送信に供した第１の画像データが入力されると、該入力された第１の画像データに含まれる前記符号化タイプのデータを調査し、該符号化タイプのデータがフレーム内符号化方式を示すものであれば第１の画像データを、またフレーム内符号化方式を示すものでなければ第３の画像データを前記記憶手段に記憶させるデータ格納判断手段と、
前記受信部から返送された前記応答が再送要求信号であるとわかると、該記憶手段に記憶された第１の画像データに対応する前記符号化タイプのデータを調査し、該符号化タイプのデータがフレーム内符号化方式を示すものであれば該記憶手段から第１の画像データを読み出して第２の画像データとして前記第１の入力ポートに送る再送処理手段とを有し、
前記多重符号化手段は、第１の入力ポートに該再送処理手段から第２の画像データを受けると第２の画像データを選択し、該選択した第２の画像データを前記画像パケットに形成し、該形成した画像パケットを前記受信部に再送し、
前記受信部は、前記多重符号化手段から画像パケットを受信すると、該受信した画像パケットに含まれる前記誤り検出のための符号化データを検査し、該検査により該受信した画像パケットのデータに誤りがあると判断すると、前記再送要求信号を生成し、該生成した再送要求信号を前記応答として前記再送処理手段に送る誤り検出手段を有することを特徴とする画像通信システム。
請求項１に記載の画像通信システムにおいて、前記データ格納判断手段は、前記符号化タイプのデータがフレーム内符号化方式を示すものでないときは、第３の画像データを記憶させる指示信号を前記記憶手段に与え、
前記記憶手段は、該指示信号に応動して第３の画像データを生成して記憶することを特徴とする画像通信システム。
請求項１に記載の画像通信システムにおいて、前記データ格納判断手段は、前記符号化タイプのデータがフレーム内符号化方式を示すものでないときは、第３の画像データを生成して前記記憶手段に記憶させることを特徴とする画像通信システム。
請求項１に記載の画像通信システムにおいて、前記フレーム内符号化方式以外の符号化方式は、フレーム間符号化方式および双方向予測符号化方式のうちの少なくともいずれかであることを特徴とする画像通信システム。
請求項１に記載の画像通信システムにおいて、前記再送処理手段によって前記再送要求信号についての前記符号化タイプのデータがフレーム内符号化方式以外の符号化方式を示すと判断されると、前記多重符号化手段は、第２の入力ポートを選択することを特徴とする画像通信システム。