JP4237869B2 - 画像伝送装置 - Google Patents
画像伝送装置 Download PDFInfo
- Publication number
- JP4237869B2 JP4237869B2 JP13645999A JP13645999A JP4237869B2 JP 4237869 B2 JP4237869 B2 JP 4237869B2 JP 13645999 A JP13645999 A JP 13645999A JP 13645999 A JP13645999 A JP 13645999A JP 4237869 B2 JP4237869 B2 JP 4237869B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- code
- transmission
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Facsimiles In General (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は画像を符号化し、作成した符号を伝送し、受信した符号を復号する画像伝送装置に関し、特に画像の符号化開始から復号が終了するまでの遅延時間が短い画像伝送装置に関する。
【0002】
【従来の技術】
従来、特許公開平4−319866として画像伝送装置が知られている。これは複数の画像を符号化して伝送する際に、複数の画像の符号を一旦格納手段に格納しておき一括して伝送することにより、伝送を開始してから伝送を終了するまでの時間つまり回線の使用時間を節約するものであった。これは使用する回線が高速であって、符号化に要する時間よりも伝送に要する時間の方が短い場合に、高速回線網を有効に使用できる画像伝送装置であった。
【0003】
また従来、特許公開平5−83694として画像情報セル化方法が知られており図9にその実施例のブロック図を示す。これは非同期転送モード(ATM)の通信網において、符号量の大きな一枚の画像を複数のセルに分割して伝送する際に生じる問題を解決した。つまり各セルは非同期転送モードの通信網へ送信されると、到着するまでの遅延時間が一定せず、セルが到着する順番は送信した順番と異なることがあったり、さらに各セルごとに伝送によって混入した誤りを訂正したり、セル廃棄対策処理を行うと、使用可能なセルが画像復号装置に到着するまでの時間がまちまちになってしまう。このように、一定の順番で符号が並んでいることを前提とする画像復号装置においてはセルの到着を待つ時間が無駄になる。そこで、従来の方法では画像の受信開始から復号終了までの時間が長くなってしまうという問題を解決した。この画像情報セル化方法によれば、1画面の画像情報をほぼ等分割して得られる複数のグループに区分し、各グループ単位に再生を開始できるような制御情報を付加し、これをセルに分割して非同期転送モードの通信網へと送信する。これによって受信側では1画像全部の画像情報の到着を待たずに、各グループ単位に再生を実行することができ、再生時の遅延時間を削減できた。また送信側においても、1画像分の符号化が終了するのを待たずに各グループごとに送信を開始できるため、符号化と送信を1画像単位で行う場合よりも時間を分散させて送信を行うことができ、バースト性が改善された。
【0004】
【発明が解決しようとする課題】
しかし、TV電話のように画像を撮影しながら、符号化し、伝送し、受信した符号を復号し、画面に再生する画像伝送装置においては、符号化側で撮影してから復号側で再生されるまでの遅延時間を短くすることが重要である。この点従来の複数の画像を一括して伝送する画像符号化装置では、蓄積によって遅延の大きな画像が発生することが問題になる。
【0005】
また連続して画像を伝送し続けるTV電話においては、画像符号化復号器が符号を発生させ再生する時間は回線の伝送時間と同程度かむしろ短い方が好ましい。なぜなら伝送時間が短い高速な通信回線は使用料金が高価なため、高速な回線を待たせるよりは、使用料金のかからない画像符号化復号器を待たせておくほうが合理的だからである。限られた枚数の画像を高速な回線を使って短時間で伝送することを目的とした従来の画像伝送装置はTV電話のような用途には適当ではない。
【0006】
また従来の画像情報セル化方法は、非同期転送モードにおいて発生する問題を解決するが、これは非同期転送モードの通信網にしか適用できないという問題がある。既存の通信網でデータ通信を行う場合、例えば電話回線でモデムを使用する場合や、PHSとPIAFSデータ通信カードや、PIAFS対応ターミナルアダプタ(TAP)を使用してデータ通信を行う場合には利用できなかった。これらの通信路においては誤ったフレームを再送することはあっても、一部のセルの到着が著しく遅延するということはない。このため回線の誤り率によってデータ伝送の実効速度が若干変動することはあるが、送信した順番で受信データが得られるように伝送プロトコルが制御を行っている。この伝送プロトコルを使用してTV電話や画像伝送装置を構成することができ、この場合、画像を撮影し、1枚の画像を符号化し、音声符号と多重化し、送受信し、多重化データを分離し、画像を復号し、表示するという一連の処理が実行される。このとき1枚を符号化し、符号化が完了した1枚の符号を送受信し、受信の完了した1枚の符号を復号するという動作では、遅延時間が長くなるという問題があった。
【0007】
また画像復号器が一度に処理する符号量にはその復号器の動作手順に応じて一定の単位があり、通常はその復号単位分の符号の受信が完了してから画像復号器の動作を開始する。この単位は画像一枚分であるか、または従来の画像情報セル化方法においては画面を区分したグループが単位であった。前記遅延時間の発生原因の一つは、この復号単位の受信が完了するまでは復号を開始できないということにある。
【0008】
このため復号単位が小さいほど画像の符号化開始から再生されるまでの遅延時間が短くなるが、画像をグループに分割するためには、グループごとに再生を可能にするための制御情報を付加し、可変長である符号にバイト境界を設けるため意味のないビットをグループの符号の終わりに付加する必要があり、伝送に伴ってデータ量が増加してしまうという問題があった。画像符号化復号器によっては符号の構造上バイト境界が存在する場合があり、これを利用してグループ分割を行えば意味のないビットの付加を避けることができるが、例えば静止画像符号化標準であるJPEGにおいては、1画面を1回のスキャンで符号化するブロックインターリーブされたフォーマットが一般的なため構造上のバイト境界は存在しない。ただしJPEGにおいて挿入することが許されているリスタートマーカを使用すれば、そのマーカの位置でバイト境界が得られる。しかしこの場合も端数ビットをそろえるために意味のないビットを付加しているために今度は画像符号そのものが増加してしまうという問題があった。
【0009】
【課題を解決するための手段】
上記の問題を解決するために、請求項1記載の画像伝送装置は、画像を符号化する画像符号化部と、前記画像符号化部が出力する画像符号を記憶する第一の記憶部と、前記第一の記憶部に記憶された前記画像符号を通信路を通じて送信する送信部と、前記送信部が送信する前記画像符号を通信路を通じて受信する受信部と、前記受信部が受信した前記画像符号を記憶する第二の記憶部と、前記画像符号の全てが前記受信部によって受信される前に、前記画像の所定の区分を復号するために必要な前記画像符号の部分である復号単位を前記第二の記憶部から読み出して該所定の区分ごとに復号する画像復号部と、を備える画像伝送装置において、前記画像符号化部は、出力した前記画像符号における前記復号単位に属する最後のバイトである最終バイトの位置を前記送信部へ通知し、前記送信部は、前記第一の記憶部に記憶した画像符号を送信する際に該画像符号の部分を取り出して伝送単位とし、前記最終バイトの位置をもとに前記伝送単位に含まれる前記最終バイトの個数を表す制御符号と前記伝送単位である画像符号とを伝送フレームに多重化して送信し、前記受信部が前記伝送フレームを受信すると、前記第二の記憶部は前記伝送フレームから分離した前記伝送単位である画像符号を記憶し、前記画像復号部は、前記伝送フレームに含まれる前記制御符号で通知された前記個数分の前記復号単位である画像符号を前記第二の記憶部から読み出して前記画像の所定の区分の画像符号を復号する、ことを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図1は本発明の好適な実施の形態を示すブロック図である。図2は画像符号化部1の動作の手順を示すフローチャートであり、図3は送信部3の動作の手順を示すフローチャートであり、図4は受信部5の動作の手順を示すフローチャートであり、図5は画像復号部7の動作の手順を示すフローチャートである。
【0012】
画像符号化部1は静止画像符号化の国際標準であるJPEGのベースライン方式に従った符号を作成する。画像データは輝度成分と二つの色差成分からなり、色差成分は縦横両方向にサブサンプルされており、JPEGの符号化単位であるMCU(Minimum Coded Unit)は4つの輝度ブロックと2つの色差ブロックの計6個のブロックから構成されている。複数のMCUが画像の横幅を覆うような単位を1ブロックラインと呼ぶことにすると、1画像中には複数個のブロックラインが存在し、符号は画像の上部のブロックラインから下部のブロックラインへと順に生成され伝送される。図6に画像をブロックラインに区分した図を示す。この図においてブロックライン21は先頭のブロックラインであり、ブロックライン22は最後のブロックラインである。画像は7個のブロックラインに区分されている。画像復号部7はブロックラインを復号すると、一旦復号処理を中断して次のブロックラインの復号処理が可能かどうか、符号が届いているかどうかを判定する。このため復号単位は1ブロックラインの復号を保証するバイト境界を持つ符号の部分のことであると定義する。また1つのブロックラインの中には複数個のMCUが存在し、画像の左に位置するMCUから右に位置するMCUへと順に符号化される。ただし画像フォーマットは固定であり、JPEGヘッダは符号化側と復号側との間の共通の知識となるので伝送しない。通信速度が低い場合はJPEGヘッダの伝送を省略することにより画像のフレームレートが改善されるからである。
【0013】
画像符号化部1は画像の符号化の指示を受けると、図2の処理S01において画像データのキャプチャと、符号化器の初期化、カウンタの初期化を行う。次に判定処理S02において符号化すべき復号単位があるかカウンタを調べる。もしもはやその画像に対して符号化すべき復号単位がなければ処理を終える。まだ符号化すべきであれば、処理S03において符号化を1復号単位分実行する。生成した符号は第一の記憶部2に記憶させる。
【0014】
1ブロックラインの符号化を終えると、そのブロックラインが属する復号単位の最終バイトが第一の記憶部2において位置するアドレスを送信部3へ通知し、送信部3の判定に利用できるようにする。このアドレスは画像の最後である場合とそうでない場合で求める動作を変える。判定処理S04において、その復号単位が画像の途中であると判定された場合はこのアドレスは1ブロックラインの符号化を終えたときの画像符号化部1の出力ポインタが指しているアドレスであり、処理S05においてこのアドレスを送信部3へ通知し記憶させる。判定処理S04においてその復号単位が画像の途中ではないと判定された場合には、JPEG符号の最後としてEOI(End of image)マーカ33(図7参照)を出力しているので、画像符号化部1の出力ポインタが指しているアドレスから1引いたアドレスが復号単位の最終バイトのアドレスとなり、これを処理S06において求め送信部3へ通知し記憶させる。
【0015】
次に処理S07において送信部3に対して1ブロックライン分の符号化が終了したことを通知し、送信を許可する。さらに復号単位を数えるカウンタをインクリメントする。その後判定処理S02へ戻り、1枚の画像を符号化し終えたかどうかを判定する。送信部3は定期的に呼ばれる割り込みハンドラの中から送信すべき画像符号があるかどうかを調べており、送信許可を発見するとその符号の送信を実行する。
【0016】
ただし送信許可が通知された直後において、そのブロックラインの符号を含む最終バイトは多くの場合未だ第一の記憶部2に出力されておらず、画像符号化部1が留保しているため、最終バイトをただちに送信することはできない。符号境界とバイト境界が偶然に一致した場合はこの最終バイトが出力されるが、JPEG符号は可変長符号を使用しているため多くの場合は符号境界とバイト境界は一致しない。この場合、画像符号化器1がこの最終バイトを第一の記憶部2に記憶させるのは、次の復号単位の符号化が始まって符号が生成され、この最終バイトが符号で満たされたときであるか、または1画像の符号化を終了してEOIマーカ33を出力する場合である。つまり、処理S05において復号単位の最終バイトのアドレスは通知されていても、その値はまだ出力されていないことが多いのである。このため送信部3はある復号単位について送信許可を受けて送信を開始するが、その復号単位の最終バイトを送信する際には、それが第一の記憶部2に出力されているかどうかを判定しなければならない。
【0017】
この判定処理を単純化するために、ブロックラインに対応する復号単位の最終バイトデータは、画像の最後であればEOIマーカ33の最終バイトと定義し、画像の最後でない場合は次のブロックラインの先頭の符号が含まれているバイトと定義する。この定義によって、送信部3が復号単位の最終バイトデータを送信する際には、画像の最後であるか、または次の復号単位の送信許可が通知されていることを条件とすればよい。つまり送信許可の通知を受けると送信部3はその復号単位の送信を開始するが、伝送単位36(図8参照)の中に復号単位の最終バイトが格納されるときは、画像の最後であれば送信し、さもなければ次の復号単位の送信許可が通知されるまで待つことにする。
【0018】
図7には画像符号のブロックライン境界と復号単位境界の違いを示す。図の左側が符号の先頭であり、図の右側が符号の終端であり、符号の最後にはEOIマーカ33が存在している。この図はある一つの画像符号について、上側にブロックラインの符号の境界を示し、下側には復号単位の境界を示したものである。一枚の画像には7個のブロックラインがあったため符号をブロックラインごとに区分すると、ブロックライン31に代表されるような7個のブロックラインで区分される。一方、復号単位で区分するとブロックライン32で代表されるような7個のブロックラインで区分される。どちらの場合も符号の最後にはEOIマーカ33が含まれている。なお符号の先頭にはJPEGヘッダは添付されていない。JPEG符号は可変長符号であるためにブロックラインの符号はバイト境界を持つとは限らないが、復号単位の境界はバイト境界に一致させる。このため図7に示すように復号単位境界は少なくともブロックライン境界以降であることが必要である。なぜなら復号単位のデータの受信が完了した時点で受信した符号に対して復号処理を開始した場合に、ブロックラインの復号が完了することを保証するためである。そして上に述べた定義によれば、ブロックライン境界と復号単位境界が一致することは画像の先頭と終端を除いてありえず、復号単位の最終バイトには次のブロックラインの符号が必ず含まれる。
【0019】
図8には伝送フレームの構造を示す。伝送フレーム37にはヘッダ34、音声符号35、画像符号36が多重化されており、画像符号36のことをここでは画像符号の伝送単位36と呼ぶことにする。ヘッダ34は1バイトであり、音声符号35と画像符号の伝送単位36は所定のバイトサイズである。伝送フレーム37のサイズや、多重化されている各データのサイズはあらかじめ定められており、送信側と受信側との共通の知識となっており、音声符号35の長さを一時的に変化させる必要がある場合でも、ヘッダ34の中にその旨を示すフラグを立てるだけで受信側は対応できる。
【0020】
ヘッダ34は制御符号と伝送フレームの構造に関するフラグなどから構成される1バイトのデータである。ヘッダ34の中にある伝送フレームの構造に関するフラグは、その伝送フレーム37の種別、画像符号を格納しているかどうか、端末間でやり取りするコマンドデータを多重化しているかどうかといったフラグであり、受信側ではこのフラグに応じて伝送フレーム37に含まれているデータの種別と各データの長さを判定する。
【0021】
伝送フレーム37のバイトサイズは送信処理が効率的に実行できるような単位に設定することが好ましく、これは送信部のハードウエアや伝送制御プロトコルに応じて選択する必要がある。伝送制御プロトコルは、送信要求のあったデータを小さなフレームに区分して、フレームごとに誤り訂正符号や伝送制御用の情報を付加して送信し、誤りが検出されたフレームに対しては再送要求を返信する。送信部3が作成する伝送フレームはこのフレームにおいてユーザーが使用可能な長さとするか、その整数倍とするのが効率的であり好ましい。
【0022】
送信部3は伝送フレーム37を組み立てて送信処理を起動し、伝送制御プロトコルが送信処理を受け付けると誤り無く、通信網4を介して受信部5へ伝送することを保証する。
【0023】
この方法では符号境界とバイト境界を一致させるために意味の無いビットを追加したり削除する必要はなく、伝送するデータの増加が避けられる。また復号単位を復号するために特別な情報を添付する必要はなく、余計な処理も必要ない。画像符号が生成され、その符号データを順に伝送し、それを受信した側では復号単位ごとに復号するだけであって、復号部が復号動作を開始するタイミングを制御符号によって制御すればよいのである。制御符号はその画像符号の伝送単位36の中に復号単位の最終バイトデータが何個含まれているかを表すもので、含まれていない場合は0を、含まれている場合はその個数を通知する。制御符号はヘッダ34の中に格納され、伝送フレーム37として多重化され伝送される。受信側では制御符号によって通知された数の復号単位の復号が可能になるため、画像復号部7へ開始を通知する。
【0024】
上に述べた復号単位の最終バイトデータの定義と送信可能性の判定処理は一例であって、別の方法であってもかまわない。復号単位は受信側において画像復号部がその単位を支障無く復号でき、復号したら一旦停止して次の復号単位が受信されているか判定するためのものであり、この動作が実現できるならば上の例と異なる定義をすることも可能である。
【0025】
図3は送信部3の動作の手順を示すフローチャートである。この処理はタイマー割込みもしくは音声符号化完了割込みのような定期的に呼ばれる割込みハンドラの中で呼び出される。この処理が呼び出されたときには送信するべき音声符号が出来上がっており、さらにこの処理を呼び出す前に送信デバイスが送信可能であるか調べ、送信可能なときにのみ図3の処理が呼び出されるものとする。このためこの処理が呼び出されるたときには必ず音声符号の送信が可能であり、処理S11において音声符号を送信フレーム37の中の音声符号領域35へ転写する。
【0026】
次に判定処理S12において、伝送単位36のサイズ分の送信可能な画像符号があるか判定する。ない場合には処理S13において、ヘッダ34の中に画像が含まれていないことを示すフラグを立てて、送信フレームの送信を開始しリターンする。これは音声符号35を多重化している場合には音声が途切れないように定期的に送信を行う必要があるからであるが、音声符号35を多重化していない場合には必ずしも送信を継続する必要はなく、次のブロックラインの送信許可が通知されるまで送信を休むことも可能である。
【0027】
伝送単位36のサイズ分の送信可能な画像符号がある場合には処理S14において画像符号を伝送フレーム37の画像符号の伝送単位36の中へ転写する。次に処理S15でこの伝送単位36の中に含まれる復号単位の最終バイトの数を数え、ヘッダ34の中の制御符号として格納する。伝送フレーム37が組み立てられると処理S16において送信を開始する。
【0028】
判定処理S12において判定する際、画像符号の伝送単位36の中に復号単位の最終バイトデータが含まれる場合は、次の復号単位の送信許可が通知されているかを調べ、通知がまだ到着していなければこの送信フレームには画像を格納せず、処理S13へ進んで画像なしのフレームを送信する。送信許可通知が到着していれば最終バイトデータも送信可能と判定し、続けて伝送単位36のサイズに達するまで画像符号を格納できるか調べる。ただし、画像の最後のバイト33が格納される場合には、以後伝送単位36に空き領域があったとしても画像符号を格納せず、次の画像の符号は次の伝送フレームの伝送単位36の先頭から格納するものとする。このように画像符号の先頭を必ず伝送単位36の先頭から格納することにし、画像の最後のバイト33以降のデータは無効なデータとすることによって、誤りが混入した場合でも次の画像が正常に再生される確率を高くすることができる。
【0029】
制御符号を伝送するために何ビットを割り当てればよいかは次のように決定できる。伝送単位36の中に格納されうる画像データの最大のバイト数をN とし、1個の復号単位を符号化した際に発生しうる最小の画像符号量をB バイトとする。画像符号の最小量はJPEGの場合ハフマンテーブルの指定の仕方によって変わるが、あるハフマンテーブルによれば1個のMCUを符号化するには最低4 バイトを消費する。1ブロックラインにm 個のMCUが存在するならば1復号単位を符号化するには最低B=4mバイトが必要である。さて、N バイトの伝送単位36に格納されうる最終バイトデータの個数の最大値をM 個とすると、M=1+(N-1)/B である。ここで割り算は整数の割り算であり余りは切り捨てる。この式の意味は、伝送単位36の最初の1バイトにおいて最終バイトに達することがあるためこれを考慮し、残りの(N-1) バイトで何個の復号単位を伝送できるかを求めたものである。このM を符号として表現できるだけのビット数を制御符号のビット数として割り当てておく必要がある。例えば伝送単位36のバイト数N が50であり、1復号単位の符号量の最小バイト数B が24であればM=3 であり、制御符号に2bitを割り当てれば十分である。このように本発明は伝送における遅延時間を短くするのが目的であり復号単位を小さくしておいた方が遅延時間を短くできる。このため変数B が小さな値になるが、伝送単位36ごとに多重化される制御符号による伝送データの増加は必要最小限のものであり、復号単位の最終バイトの位置をバイト数で通知するよりも多くの場合で効率的である。特に復号単位当たりに実際に発生する符号量が小さい場合において有利である。
【0030】
処理S16で送信を実行した後、判定処理S17では画像1枚分の符号を送信し終えたか判定する。未だ画像1枚分の符号を送信し終えていない場合はこの処理をリターンする。画像1枚分の符号を送信し終えた場合は、処理S18において使用していたカウンタ及びポインタのリセットを行い、第一の記憶部2の中の画像が蓄積されていた領域が空いたことを通知する。その後この処理をリターンする。
【0031】
送信部3と受信部5は通信網4を介して通信路を開いており、送信部3が送信した伝送フレーム37は通信網4を介して受信部5へ達する。送信部3と受信部5の間では伝送制御プロトコルが動作しており、受信部5から出力されるデータには誤りがないことが保証されている。
【0032】
図4は受信部5の動作の手順を示すフローチャートである。図4の処理は受信データが到着したことを通知する割込みハンドラの中から呼び出される。しかも受信データは必ずしも伝送フレーム37のサイズごとに到着するとは限らないので、サイズに満たない場合はデータを一時バッファに蓄え、伝送フレーム37のサイズ分のデータがそろったら図4の処理を呼ぶものとする。
【0033】
受信部5は伝送フレーム37を受信すると、処理S21において音声符号35を音声再生部へ配送する。次に判定処理S22において、ヘッダ34の中の伝送フレームの構造に関するフラグを調べ画像符号の伝送単位36が有効であるか判定する。画像符号が有効でない場合は処理をせずにリターンする。画像符号の伝送単位36が有効ならば処理S23において第二の記憶部6へ画像符号の伝送単位36を転写する。画像符号は伝送単位36ごとに受信され、第二の記憶部6の中に蓄積されていく。
【0034】
次に判定処理S24においてヘッダ34の中の制御符号が0であるかを調べる。制御符号は復号単位の最終バイトデータの存在個数を表しており、0でなければその個数分の復号単位を復号することができ、処理S25において制御符号で通知された個数分の復号を行うように画像復号部7へ通知を行う。制御符号が0であればそのまま判定処理S26へ進む。
【0035】
判定処理S26において、現在の画像にまだ復号するべき復号単位が残っているかを判定する。まだ復号が必要ならばリターンし、もう復号するべき復号単位が残っていない場合は処理S27において次の画像を受信して復号するための準備を行う。この準備は第二の記憶部6の中に画像符号を蓄積するためのバッファを確保し、そのアドレスを蓄積先を記憶しているポインタにセットし、復号単位を数えるカウンタをリセットすることなどである。
【0036】
データ通信によって画像符号を伝送するスピードが画像復号部7が復号するスピードよりも速い場合、第二の記憶部6の中に復号を待つ符号が蓄積されてゆき、蓄積のためのバッファがなくなる場合があるが、この場合は受信データの引き取りを拒否するか、データを引き取るが復号せずにその次の画像の先頭の符号まで捨てることができる。引取りを拒否した場合、伝送制御プロトコルがフロー制御を働かせるため、送信側で送信が一時的にできなくなる。一方データを引き取って捨てる場合、伝送はされたが表示されない画像が発生することになるが、復号待ちの画像符号の蓄積による遅延時間を解消して表示画像のリアルタイム性を回復するというメリットがある。
【0037】
図5は画像復号部7の動作の手順を示すフローチャートである。画像復号部7は画像通信の開始時には休止中の状態であり、復号単位が受信され復号通知が到着すると起動される。復号通知は、復号するべき復号単位の数だけ復号待ちの待ち行列の数を増加させ、画像復号部7が休止中ならば休止中のフラグをクリアし図5の処理を起動する。画像復号部7が休止中でなければ復号処理は順次進行するのでそのままでよい。画像復号部7は画像符号化部1が符号化したJPEG符号を復号する。ただし処理は復号単位ごとに実行される。ここでは復号単位は1ブロックライン分の符号を含んでいるように定義されており、1ブロックラインを復号するごとに画像復号部7は一時処理を中断し、次の復号単位が復号可能であるかを判定する。復号可能であるかどうかは受信部5が制御符号に基づいて復号通知を発生させたときに復号待ちの待ち行列を増加させているので、待ち行列の中で待っている復号単位の数によって判定する。
【0038】
図5の処理が起動されると、処理S31において復号待ちの待ち行列があるか判定する。待ち行列がない場合は処理S32において休止中を表すフラグを立ててリターンし、休止する。待ち行列がある場合には処理S33へ進む。
【0039】
処理S33では復号待ちの待ち行列の数を1だけ減少させる。次に処理S34において復号単位を復号する。次に判定処理S35において画像が未完成であるか判定する。未完成であってまだ復号すべき復号単位がある場合には判定処理S31へ戻る。画像が未完成でない、つまり画像の復号が完成した場合には処理S36において画像を表示装置上に表示させ、第二の記憶部6における次に復号すべき符号バッファのアドレスをセットして画像復号部7を再初期化する。そして判定処理S31へ戻る。
【0040】
このようにして送信側でセットした制御符号は受信側においては画像復号器7の実行許可を指示しており、画像復号器7は復号単位を復号するごとに、画像が完成したか判定し、さらに次の復号単位の復号を開始してよいかどうかを判定する。
【0041】
【発明の効果】
本発明の画像伝送装置によれば次のような効果が得られる。送信側で画像の符号化を開始してから受信側で画像の復号が終了するまでの遅延時間を短くすることができる。1枚の画像の画像符号を複数の小さな復号単位に分けて伝送する際に、意味の無いビットを付加したり、復号単位ごとに復号するための制御情報を付加することがなく、伝送に伴うデータの不要な増加を抑制することができる。
【図面の簡単な説明】
【図1】 本発明による画像伝送装置のブロック図。
【図2】 本発明の画像伝送装置の画像符号化部の動作を表すフローチャート。
【図3】 本発明の画像伝送装置の送信部の動作を表すフローチャート。
【図4】 本発明の画像伝送装置の受信部の動作を表すフローチャート。
【図5】 本発明の画像伝送装置の画像復号部の動作を表すフローチャート。
【図6】 画像をブロックラインに区分した様子を示す図。
【図7】 画像符号のブロックライン境界と復号単位境界の違いを示す図。
【図8】 伝送フレームにおける多重化構造を示す図。
【図9】 従来の画像伝送装置のブロック図。
【符号の説明】
1 画像符号化部
2 第一の記憶部
3 送信部
4 通信網
5 受信部
6 第二の記憶部
7 画像復号部
21、22 ブロックライン
31 1個のブロックラインの符号
32 1個の復号単位
33 EOIマーカ
34 ヘッダ
35 音声符号
36 画像符号の復号単位
37 伝送フレーム
81 画像情報
82 高能率符号化器
83 グループバッファ
84 グループ用冗長符号生成器
85 セル分割部
86 セル組立送出器・セルバッファ
87 セル
88 同期タイミング発生器
89 セル分割組立情報生成器
Claims (1)
- 画像を符号化する画像符号化部と、
前記画像符号化部が出力する画像符号を記憶する第一の記憶部と、
前記第一の記憶部に記憶された前記画像符号を通信路を通じて送信する送信部と、
前記送信部が送信する前記画像符号を通信路を通じて受信する受信部と、
前記受信部が受信した前記画像符号を記憶する第二の記憶部と、
前記画像符号の全てが前記受信部によって受信される前に、前記画像の所定の区分を復号するために必要な前記画像符号の部分である復号単位を前記第二の記憶部から読み出して該所定の区分ごとに復号する画像復号部と、
を備える画像伝送装置において、
前記画像符号化部は、出力した前記画像符号における前記復号単位に属する最後のバイトである最終バイトの位置を前記送信部へ通知し、
前記送信部は、前記第一の記憶部に記憶した画像符号を送信する際に該画像符号の部分を取り出して伝送単位とし、前記最終バイトの位置をもとに前記伝送単位に含まれる前記最終バイトの個数を表す制御符号と前記伝送単位である画像符号とを伝送フレームに多重化して送信し、
前記受信部が前記伝送フレームを受信すると、前記第二の記憶部は前記伝送フレームから分離した前記伝送単位である画像符号を記憶し、
前記画像復号部は、前記伝送フレームに含まれる前記制御符号で通知された前記個数分の前記復号単位である画像符号を前記第二の記憶部から読み出して前記画像の所定の区分の画像符号を復号する、
ことを特徴とする画像伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13645999A JP4237869B2 (ja) | 1999-05-17 | 1999-05-17 | 画像伝送装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13645999A JP4237869B2 (ja) | 1999-05-17 | 1999-05-17 | 画像伝送装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000332931A JP2000332931A (ja) | 2000-11-30 |
JP4237869B2 true JP4237869B2 (ja) | 2009-03-11 |
Family
ID=15175618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13645999A Expired - Fee Related JP4237869B2 (ja) | 1999-05-17 | 1999-05-17 | 画像伝送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4237869B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002315002A (ja) * | 2001-04-13 | 2002-10-25 | Mitsubishi Heavy Ind Ltd | 画像データ取得システムおよびjpeg圧縮画像データ送信方法 |
-
1999
- 1999-05-17 JP JP13645999A patent/JP4237869B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000332931A (ja) | 2000-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5864554A (en) | Multi-port network adapter | |
US7298760B2 (en) | System and method for processing audio and video data in a wireless handset | |
US8281351B2 (en) | System, method, and computer readable medium rapid channel change | |
US5742599A (en) | Method and system for supporting constant bit rate encoded MPEG-2 transport over local ATM networks | |
JP4712238B2 (ja) | 映像信号符号化装置、映像信号送信装置、および映像信号符号化方法 | |
EP0701376A2 (en) | Method of and apparatus for video bitstream transmission over packet networks | |
JPH06178016A (ja) | 画像通信システム | |
JPH08256329A (ja) | Mpeg1規格により符号化された音声映像信号ストリームの多重化方法 | |
US7031259B1 (en) | Method and system for scheduling a transmission of compressible and non-compressible packets | |
EP0660580A2 (en) | Image-information format control device | |
JP4237869B2 (ja) | 画像伝送装置 | |
US6233324B1 (en) | Method and arrangement for transmitting audio signals between communication terminal equipment | |
US5900906A (en) | Image communication apparatus having automatic answering and recording function | |
US6466546B1 (en) | Communication apparatus for multiplexing and communicating a plurality of types of data, communication system, and control method therefor | |
JP4491918B2 (ja) | データ配信装置及び方法、データ配信システム | |
WO1998010557A1 (en) | Transmitter, receiver, transmission system, sending method, receiving method, and transmitting method | |
JP3045788B2 (ja) | 画像情報パケット化方法 | |
JP2000307637A (ja) | マルチメディア端末装置及び網間接続装置 | |
US20020015409A1 (en) | Broadband Ethernet video data transmission | |
JPH07312600A (ja) | データ伝送方法、送信装置および受信装置 | |
JPH08172410A (ja) | 時分割多重通信方式及びその装置 | |
JP2000138918A (ja) | 映像データベース | |
JP3356370B2 (ja) | データ伝送装置 | |
JPH07115633A (ja) | テレビ電話装置 | |
JP2002111780A (ja) | 画像送信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070817 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081219 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131226 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |