JP2004166096A - 画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法 - Google Patents
画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法 Download PDFInfo
- Publication number
- JP2004166096A JP2004166096A JP2002331597A JP2002331597A JP2004166096A JP 2004166096 A JP2004166096 A JP 2004166096A JP 2002331597 A JP2002331597 A JP 2002331597A JP 2002331597 A JP2002331597 A JP 2002331597A JP 2004166096 A JP2004166096 A JP 2004166096A
- Authority
- JP
- Japan
- Prior art keywords
- image
- code
- range
- predetermined range
- code string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生しても、画像をまったく再生できないような致命的な不具合を防止し、しかも処理の負担が過大なものとならないようにする。
【解決手段】符号列変換部２１は、画像データをＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００方式で圧縮符号化した符号列を対象に、その符号列の所定の範囲、例えば、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域については当該範囲内で符号の配列を並べ替え、その範囲以外については並べ替えを行なわないことにより、新たな符号列に変換する。この変換後の符号列は、ネットワークを介して送信される。
【選択図】 図１０
【解決手段】符号列変換部２１は、画像データをＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００方式で圧縮符号化した符号列を対象に、その符号列の所定の範囲、例えば、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域については当該範囲内で符号の配列を並べ替え、その範囲以外については並べ替えを行なわないことにより、新たな符号列に変換する。この変換後の符号列は、ネットワークを介して送信される。
【選択図】 図１０
Description
【０００１】
【発明の属する技術分野】
本発明は、画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法に関する。
【０００２】
【従来の技術】
特許文献１には、動画像データの通信において、動画像データを受信した際に、欠けているデータフレームの優先度が閾値よりも高ければ、再送する技術について開示されている。
【０００３】
【特許文献１】特開２００１−２７４８６１公報
【発明が解決しようとする課題】
画像データを通信している際に、時間的に連続して通信エラーとなるバーストモードが発生することがある。このようなバーストモードが発生し、画像データが伝達されない場合、特に通信エラーにかかるのが画像データの重要部分であった場合には、その画像を全く利用できなくなってしまう。このような通信エラーが生じたときにはデータの再送等を要求するしかない。
【０００４】
そこで、このようなバーストモードに対応するために、画像データのデータの順番を組替えて、危険性を分散させることが考えられる。
【０００５】
しかしながら、画像データ全体を組替えるのでは、その組換え処理の負担が大きく、また、送信後に元のデータに戻す処理の負担も過大なものとなってしまうという不具合がある。
【０００６】
本発明の目的は、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生しても、画像をまったく再生できないような致命的な不具合を防止し、しかも処理の負担が過大なものとならないようにすることである。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、ネットワークと接続されている通信インターフェイスと、画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶する記憶装置と、前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、と備えている画像送信装置である。
【０００８】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【０００９】
請求項２に記載の発明は、ネットワークと接続されている通信インターフェイスと、画像データを圧縮符号化した符号列を記憶している記憶装置と、その所定の範囲については当該範囲内で符号の配列を並べ替え、前記範囲以外については前記並べ替えを行なわないことにより、前記符号列を新たな符号列に変換する符号列変換手段と、前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、を備えている画像送信装置である。
【００１０】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の画像送信装置において、前記圧縮符号化の方式はＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００である。
【００１２】
したがって、ＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００で圧縮符号化された符号を並べ替えて、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１３】
請求項４に記載の発明は、請求項３に記載の画像送信装置において、前記所定範囲は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域である。
【００１４】
したがって、画像の重要な領域であるＲＯＩ領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１５】
請求項５に記載の発明は、請求項３に記載の画像送信装置において、前記所定範囲は、前記符号列をその送信側でプログレッシブに再生するときは、プログレッシブオーダに応じて選択する。
【００１６】
したがって、プログレッシブオーダに応じた符号列の重要な領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１７】
請求項６に記載の発明は、請求項５に記載の画像送信装置において、前記所定範囲は、前記プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときは、前記符号列の先頭側の一定の範囲である。
【００１８】
したがって、プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときに、符号列の重要な領域となる符号列の先頭側の一定の範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１９】
請求項７に記載の発明は、請求項５に記載の画像送信装置において、前記所定範囲は、前記プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データの範囲である。
【００２０】
したがって、プログレッシブオーダがコンポーネントプログレッシブであるとき、符号列の重要な領域となる輝度データの範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００２１】
請求項８に記載の発明は、画像データを圧縮符号化した符号列を受信する受信手段と、この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換手段と、を備えている画像受信装置である。
【００２２】
したがって、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【００２３】
請求項９に記載の発明は、請求項１〜７の何れかの一に記載の画像送信装置と、この画像送信装置とネットワークを介して接続され当該画像送信装置が送信する符号列を受信する請求項８に記載の画像受信装置と、を備えているネットワークシステムである。
【００２４】
したがって、請求項１〜７の何れかの一に記載の発明及び請求項８に記載の発明と同様の作用、効果を奏することができる。
【００２５】
請求項１０に記載の発明は、請求項１〜８の何れかの一に記載の発明の前記各手段をコンピュータに実行させるコンピュータに読取り可能なプログラムである。
【００２６】
したがって、コンピュータ上で動作することにより、請求項１〜８の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００２７】
請求項１１に記載の発明は、請求項１０に記載のプログラムを記憶している記憶媒体である。
【００２８】
したがって、記憶しているプログラムにより請求項１０に記載の発明と同様の作用、効果を奏することができる。
【００２９】
請求項１２に記載の発明は、画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶装置に記憶されているものを、ネットワークと接続されている通信インターフェイス前記ネットワークを介して送信する、画像送信方法である。
【００３０】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【００３１】
請求項１３に記載の発明は、画像データを圧縮符号化した符号列を受信する受信工程と、この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換工程と、を備えている画像受信方法である。
【００３２】
したがって、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【００３３】
【発明の実施の形態】
［ＪＰＥＧ２０００アルゴリズムの概要］
まず、本発明の実施の形態における前提技術となるＪＰＥＧ２０００アルゴリズムの概要について説明する。
【００３４】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための説明図である。ＪＰＥＧ２０００のアルゴリズムは、色空間変換・逆変換部１１１、２次元ウェーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００３５】
図２に示すように、カラー画像は、一般に、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）１２１，１２２，１２３によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００３６】
画像データの符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換・逆変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００３７】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（１３１））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（１３２）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（１３３）に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次、同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（１３４）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。さらに、図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、斜線で表してある。例えば、デコンポジション・レベル数を３とした時、斜線で示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００３８】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化・逆量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行なう際の基本単位となる。
【００３９】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行なうことができる。図６には、その手順を簡単に示した。この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５×３）フィルタでウェーブレット変換を行ない、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０，１，２，３は、各々、１，３，１の３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００４０】
エントロピー符号化・復号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行なう。図４には、コード・ストリームの構造を簡単に示した。図４に示すように、コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【００４１】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行ない、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１１１によって元の表色系のデータに変換される。
【００４２】
［発明の実施の形態］
本発明の一実施の形態について説明する。
【００４３】
図７は、本実施の形態１のネットワークシステム１０を示すブロック図である。図７に示すように、本ネットワークシステム１０は、動画の画像データをＭｏｔｉｏｎ ＪＰＥＧ２０００等のアルゴリズムで圧縮符号化した符号列をインターネットなどのネットワーク３を介して送信するサーバ１と、このサーバ１から符号列を受信するクライアント２からなる。
【００４４】
図８は、サーバ１、クライアント２の電気的な接続を示すブロック図である。図８に示すように、サーバ１、クライアント２は、それぞれ本発明の画像送信装置、画像受信装置を実施するもので、各種演算を行ないサーバ１（またはクライアント２）の各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭやＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００４５】
バス１３には、所定のインターフェイスを介して、記憶装置となるハードディスクなどの磁気記憶装置１４と、マウスやキーボードなどで構成される入力装置１５と、ＬＣＤやＣＲＴなどの表示装置１６と、光ディスクなどの本発明の記憶媒体を実施する記憶媒体１７を読取る記憶媒体読取装置１８と、ネットワーク３と通信を行なう通信装置となる所定の通信インターフェイス１９とが接続されている。なお、記憶媒体１７としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００４６】
磁気記憶装置１４には、本発明のプログラムを実施する画像送信プログラム（または画像受信プログラム）が記憶されている。一般的には、この画像送信プログラム（または画像受信プログラム）は、このプログラムを記憶している記憶媒体１７から記憶媒体読取装置１８により読取ることでサーバ１（またはクライアント２）にインストールするが、ネットワーク３からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりサーバ１、クライアント２は動作可能な状態となる。この画像送信プログラム、画像受信プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００４７】
次に、サーバ１が画像送信プログラムに基づいて行なう処理について説明する。図９は、かかる処理のフローチャートである。図９に示すように、サーバ１は、画像送信プログラムにより、クライアント２から画像の送信の要求を受付けたときは（ステップＳ１のＹ）、磁気記憶装置１４に記憶されている符号列を後述のように並べ替えた別の符号列に変換し（符号列変換手段）（ステップＳ２）、この並べ替え後の符号列をクライアント２に送信する（送信手段）（ステップＳ３）。また、ステップＳ２の処理を省略し、予め並べ替えてある符号列をそのままクライアント２に送信するようにしてもよい。
【００４８】
磁気記憶装置１４に記憶されている符号列は、動画や静止画の画像データを、例えば、ＪＰＥＧ２０００アルゴリズム、あるいは、Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズムに従って圧縮符号化した符号列である（以下では、このような圧縮方式を前提として説明する）。
【００４９】
図１０は、ステップＳ２の符号列の並べ替えにかかる機能ブロック図である。すなわち、サーバ１は、画像送信プログラムに基づくＣＰＵ１１の処理、あるいは、所定の符号列変換回路が実行する処理により、符号列変換部２１を実現している。この符号列変換部２１は、画像読込部２２、ヘッダ・符号データ分割処理部２３、ヘッダ処理部２４、符号データ合成部２５及び並替指定部２６からなる。
【００５０】
まず、画像読込部２２は、磁気記憶装置１４に記憶されている符号列ａを読み込む。並替指定部２６は、この符号列ａのどの部分を並べ替えるが、どのように並べ替えるかを指定する。すなわち、この指定は、符号列ａの所定の範囲内の符号を並べ替えの対象とし、その範囲内で符号を所定の手順で並べ替える（これらの詳細については後述する）。画像読込部２２で読み込まれた符号列ａは、ヘッダ・符号データ分割処理部２３で、ヘッダ部分と、符号部分とに分割される。そして、ヘッダ処理部２４で、前述の並べ替えがなされるように新たなタイルパートヘッダなどのヘッダ情報が生成される。そして、符号データ合成部２５が符号部分を並べ替えて、これに新たに生成されたヘッダ情報と合成し、符号の並べ替え後の新たな符号列ｂを生成して出力する。この符号列ｂがステップＳ３でクライアント２に送信されることになる。なお、符号列ｂのヘッダ情報には、符号列ａのどの範囲をどのように並べ替えたかの情報を記録しておくことができる。
【００５１】
符号列変換部２１で行なう符号列ａの並べ替えは、符号列ａのヘッダ情報から符号列ａの所定範囲のデータの範囲を判断し、その範囲内で符号を並べ替えるものである。
【００５２】
この場合の所定範囲とは、符号列ａの中の重要部分である。具体的には、まず、通常画像の中央部にあるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域に該当するタイルが考えられる（その範囲はヘッダ情報から明らかになる）。
【００５３】
また、符号列ｂをクライアント２側でプログレッシブに再生するときは、プログレッシブオーダに応じて所定範囲を選択することもできる。具体的には、プログレッシブオーダが画像又は解像度プログレッシブであるときは、符号列ａの先頭側に重要なデータが含まれるため、この符号列ａの先頭側の所定範囲とすることができる。また、プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データが重要となるため、輝度データの範囲のみを所定範囲とすることができる（これらの範囲もヘッダ情報から明らかになる）。
【００５４】
次に、前記のような所定範囲内で符号をどのように並べ替えるかについて具体例を示す。図１１は、この符号列ｂの所定範囲内の符号の並びを概念的に示した説明図である。図１１において、符号３１で示す“○”はそれぞれが単一の符号である。符号列ｂ中で符号の並ぶ順序は、図１１に矢印で示すように左から右である。そして、図１１の例では符号３２〜３５の４列の符号列が示されているが、これは上の符号列ほど先頭に位置している。本実施の形態のような並べ替えを行なわないで符号列ｂを直接送信するときは、この符号の順番どおりに送信される。すなわち１番上の列３２の符号列から右方向に各符号３１が順番に選択されて送信される。
【００５５】
これに対して、本実施の形態では、例えば、１番上の列３２の先頭の符号３１を選び、次に第２列３３の第２番目の符号３１を選び、次に第３列３４の第３番目の符号３１を選び、…というように順次符号を選択する（矢印４１）。符号データ群の最後の列３５まで処理すると、最初の列３２に戻り、最初から４番目の符号３１を選ぶ。次に第２列３３の第５番目の符号３１を選び、次に第３列３４の第６番目の符号３１を選び、…というように順次選んで行く（矢印４２）。
【００５６】
このように、符号３１を二つとばしで各列３２〜３５の各符号を選択したら、今度は、１番上の列３２の２番目の符号３１を選び、次に第２列３３の第３番目の符号３１を選び、次に第４列３４の第３番目の符号３１を選び、…というように順次符号を選択していく。次に、１番上の列３２の３番目の符号３１を選び、次に第２列３３の第４番目の符号３１を選び、次に第５列３４の第３番目の符号３１を選び、…というように順次符号を選択していく。このような処理を実行すれば、一定のルールに従って所定範囲内の符号３１を並べ替えることができる。もちろん、この並べ替えの手順は一例であり、これ以外にも様々な手順で符号３１を並べえ変えることができる。この並べ替えにより、符号列ｂは、その所定範囲においては、本来のＪＰＥＧ２０００、Ｍｏｔｉｏｎ ＪＰＥＧ２０００の規格に従った並びとは異なる配列で符号が並んでいて、その所定範囲以外は本来のＪＰＥＧ２０００、あるいは、Ｍｏｔｉｏｎ ＪＰＥＧ２０００の規格に従った並びで符号が並んでいる。よって、符号列ｂにおいて、所定範囲内の符号については元の並びに戻さないと、画像データを伸張することができない。
【００５７】
図１２は、符号列ｂを受信するクライアント２が行なう処理のフローチャートである。図１２に示すように、クライアント２では、所定範囲内で符号を並べ替えた符号列ｂを受信すると（受信手段、受信工程）（ステップＳ１１のＹ）、受信した符号列ｂの所定範囲内の符号については、符号の並びを元に戻す処理を行なう（変換手段、変換工程）（ステップＳ１２）。そして、その符号の並びを元通りとした符号列（符号列ａ）については、磁気記憶装置１４に保存する（ステップＳ１３）。よって、この符号列ａの画像を利用したいときは、磁気記憶装置１４から呼び出して伸張すればよい。
【００５８】
ステップＳ１２の処理には、サーバ１で用いたのと同様の符号列変換部２１（図１０参照）を用いることができる。すなわち、画像読込部２２は、磁気記憶装置１４に記憶されている符号列ｂを読み込む。並替指定部２６は、この符号列ｂのどの部分を並べ替えるか、どのように並べ替えるかを指定する。すなわち、符号列ｂにおいて符号が並べ替えられている所定範囲は、ヘッダ情報から読取ってもよいし、クライアント２、サーバ１間で所定範囲が一義的に定まっているときは、ヘッダ情報によらずに所定範囲を判断することができる。その所定範囲において符号をどのように並べ替えて元に戻すかも、サーバ１で行われた並べ替えの手順をヘッダ情報から読取ってもよいし、クライアント２、サーバ１間で所定範囲が一義的に定まっているときは（例えば、図１１を参照して説明したようなアルゴリズムで並べ替えるということが一義的に定まっているような場合）、ヘッダ情報によらずに判断することができる。
【００５９】
画像読込部２２で読み込まれた符号列ｂは、ヘッダ・符号データ分割処理部２３で、ヘッダ部分と、符号部分とに分割される。そして、ヘッダ処理部２４で、前述の並べ替えがなされるように新たなタイルパートヘッダなどのヘッダ情報が生成される。そして、符号データ合成部２５が符号部分を並べ替えて、これに新たに生成されたヘッダ情報と合成し、符号の並べ替え後の新たな符号列、すなわち元の符号列ａを生成して出力する。
【００６０】
【発明の効果】
請求項１，２，１２に記載の発明は、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【００６１】
請求項３に記載の発明は、請求項１又は２に記載の発明において、ＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００で圧縮符号化された符号を並べ替えて、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６２】
請求項４に記載の発明は、請求項３に記載の発明において、画像の重要な領域であるＲＯＩ領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６３】
請求項５に記載の発明は、請求項３に記載の発明において、プログレッシブオーダに応じた符号列の重要な領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６４】
請求項６に記載の発明は、請求項５に記載の発明において、プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときに、符号列の重要な領域となる符号列の先頭側の一定の範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６５】
請求項７に記載の発明は、請求項５に記載の発明において、プログレッシブオーダがコンポーネントプログレッシブであるとき、符号列の重要な領域となる輝度データの範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６６】
請求項８，１３に記載の発明は、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【００６７】
請求項９に記載の発明は、請求項１〜７の何れかの一に記載の発明及び請求項８に記載の発明と同様の作用、効果を奏することができる。
【００６８】
請求項１０に記載の発明は、コンピュータ上で動作することにより、請求項１〜８の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００６９】
請求項１１に記載の発明は、記憶しているプログラムにより請求項１０に記載の発明と同様の作用、効果を奏することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明するための説明図である。
【図２】カラー画像の各コンポーネントについて説明するための説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す説明図である。
【図４】コード・ストリームの構造の説明図である。
【図５】一つのプレシンクトが空間的に一致した３つの矩形領域からなっていることの説明図である。
【図６】係数値をビットプレーン単位に分解し、画素あるいはコード・ブロック毎にビットプレーンに順位付けを行なうことの説明図である。
【図７】本発明の実施の形態におけるネットワークシステムの概略構成のブロック図である。
【図８】サーバ、クライアントの電気的な接続のブロック図である。
【図９】サーバが行なう処理のフローチャートである。
【図１０】サーバ、クライアントの機能ブロック図である。
【図１１】符号の並べ替えの一例を示す説明図である。
【図１２】クライアントが行なう処理のフローチャートである。
【符号の説明】
ａ，ｂ 符号列
１ 画像送信装置
２ 画像受信装置
３ ネットワーク
１４ 記憶装置
１７ 記憶媒体
１０ ネットワークシステム
３１ 符号
【発明の属する技術分野】
本発明は、画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法に関する。
【０００２】
【従来の技術】
特許文献１には、動画像データの通信において、動画像データを受信した際に、欠けているデータフレームの優先度が閾値よりも高ければ、再送する技術について開示されている。
【０００３】
【特許文献１】特開２００１−２７４８６１公報
【発明が解決しようとする課題】
画像データを通信している際に、時間的に連続して通信エラーとなるバーストモードが発生することがある。このようなバーストモードが発生し、画像データが伝達されない場合、特に通信エラーにかかるのが画像データの重要部分であった場合には、その画像を全く利用できなくなってしまう。このような通信エラーが生じたときにはデータの再送等を要求するしかない。
【０００４】
そこで、このようなバーストモードに対応するために、画像データのデータの順番を組替えて、危険性を分散させることが考えられる。
【０００５】
しかしながら、画像データ全体を組替えるのでは、その組換え処理の負担が大きく、また、送信後に元のデータに戻す処理の負担も過大なものとなってしまうという不具合がある。
【０００６】
本発明の目的は、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生しても、画像をまったく再生できないような致命的な不具合を防止し、しかも処理の負担が過大なものとならないようにすることである。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、ネットワークと接続されている通信インターフェイスと、画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶する記憶装置と、前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、と備えている画像送信装置である。
【０００８】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【０００９】
請求項２に記載の発明は、ネットワークと接続されている通信インターフェイスと、画像データを圧縮符号化した符号列を記憶している記憶装置と、その所定の範囲については当該範囲内で符号の配列を並べ替え、前記範囲以外については前記並べ替えを行なわないことにより、前記符号列を新たな符号列に変換する符号列変換手段と、前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、を備えている画像送信装置である。
【００１０】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の画像送信装置において、前記圧縮符号化の方式はＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００である。
【００１２】
したがって、ＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００で圧縮符号化された符号を並べ替えて、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１３】
請求項４に記載の発明は、請求項３に記載の画像送信装置において、前記所定範囲は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域である。
【００１４】
したがって、画像の重要な領域であるＲＯＩ領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１５】
請求項５に記載の発明は、請求項３に記載の画像送信装置において、前記所定範囲は、前記符号列をその送信側でプログレッシブに再生するときは、プログレッシブオーダに応じて選択する。
【００１６】
したがって、プログレッシブオーダに応じた符号列の重要な領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１７】
請求項６に記載の発明は、請求項５に記載の画像送信装置において、前記所定範囲は、前記プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときは、前記符号列の先頭側の一定の範囲である。
【００１８】
したがって、プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときに、符号列の重要な領域となる符号列の先頭側の一定の範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００１９】
請求項７に記載の発明は、請求項５に記載の画像送信装置において、前記所定範囲は、前記プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データの範囲である。
【００２０】
したがって、プログレッシブオーダがコンポーネントプログレッシブであるとき、符号列の重要な領域となる輝度データの範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００２１】
請求項８に記載の発明は、画像データを圧縮符号化した符号列を受信する受信手段と、この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換手段と、を備えている画像受信装置である。
【００２２】
したがって、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【００２３】
請求項９に記載の発明は、請求項１〜７の何れかの一に記載の画像送信装置と、この画像送信装置とネットワークを介して接続され当該画像送信装置が送信する符号列を受信する請求項８に記載の画像受信装置と、を備えているネットワークシステムである。
【００２４】
したがって、請求項１〜７の何れかの一に記載の発明及び請求項８に記載の発明と同様の作用、効果を奏することができる。
【００２５】
請求項１０に記載の発明は、請求項１〜８の何れかの一に記載の発明の前記各手段をコンピュータに実行させるコンピュータに読取り可能なプログラムである。
【００２６】
したがって、コンピュータ上で動作することにより、請求項１〜８の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００２７】
請求項１１に記載の発明は、請求項１０に記載のプログラムを記憶している記憶媒体である。
【００２８】
したがって、記憶しているプログラムにより請求項１０に記載の発明と同様の作用、効果を奏することができる。
【００２９】
請求項１２に記載の発明は、画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶装置に記憶されているものを、ネットワークと接続されている通信インターフェイス前記ネットワークを介して送信する、画像送信方法である。
【００３０】
したがって、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【００３１】
請求項１３に記載の発明は、画像データを圧縮符号化した符号列を受信する受信工程と、この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換工程と、を備えている画像受信方法である。
【００３２】
したがって、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【００３３】
【発明の実施の形態】
［ＪＰＥＧ２０００アルゴリズムの概要］
まず、本発明の実施の形態における前提技術となるＪＰＥＧ２０００アルゴリズムの概要について説明する。
【００３４】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための説明図である。ＪＰＥＧ２０００のアルゴリズムは、色空間変換・逆変換部１１１、２次元ウェーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００３５】
図２に示すように、カラー画像は、一般に、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）１２１，１２２，１２３によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００３６】
画像データの符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換・逆変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００３７】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（１３１））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（１３２）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（１３３）に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次、同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（１３４）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。さらに、図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、斜線で表してある。例えば、デコンポジション・レベル数を３とした時、斜線で示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００３８】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化・逆量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行なう際の基本単位となる。
【００３９】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行なうことができる。図６には、その手順を簡単に示した。この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５×３）フィルタでウェーブレット変換を行ない、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０，１，２，３は、各々、１，３，１の３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００４０】
エントロピー符号化・復号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行なう。図４には、コード・ストリームの構造を簡単に示した。図４に示すように、コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【００４１】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行ない、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１１１によって元の表色系のデータに変換される。
【００４２】
［発明の実施の形態］
本発明の一実施の形態について説明する。
【００４３】
図７は、本実施の形態１のネットワークシステム１０を示すブロック図である。図７に示すように、本ネットワークシステム１０は、動画の画像データをＭｏｔｉｏｎ ＪＰＥＧ２０００等のアルゴリズムで圧縮符号化した符号列をインターネットなどのネットワーク３を介して送信するサーバ１と、このサーバ１から符号列を受信するクライアント２からなる。
【００４４】
図８は、サーバ１、クライアント２の電気的な接続を示すブロック図である。図８に示すように、サーバ１、クライアント２は、それぞれ本発明の画像送信装置、画像受信装置を実施するもので、各種演算を行ないサーバ１（またはクライアント２）の各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭやＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００４５】
バス１３には、所定のインターフェイスを介して、記憶装置となるハードディスクなどの磁気記憶装置１４と、マウスやキーボードなどで構成される入力装置１５と、ＬＣＤやＣＲＴなどの表示装置１６と、光ディスクなどの本発明の記憶媒体を実施する記憶媒体１７を読取る記憶媒体読取装置１８と、ネットワーク３と通信を行なう通信装置となる所定の通信インターフェイス１９とが接続されている。なお、記憶媒体１７としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００４６】
磁気記憶装置１４には、本発明のプログラムを実施する画像送信プログラム（または画像受信プログラム）が記憶されている。一般的には、この画像送信プログラム（または画像受信プログラム）は、このプログラムを記憶している記憶媒体１７から記憶媒体読取装置１８により読取ることでサーバ１（またはクライアント２）にインストールするが、ネットワーク３からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりサーバ１、クライアント２は動作可能な状態となる。この画像送信プログラム、画像受信プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００４７】
次に、サーバ１が画像送信プログラムに基づいて行なう処理について説明する。図９は、かかる処理のフローチャートである。図９に示すように、サーバ１は、画像送信プログラムにより、クライアント２から画像の送信の要求を受付けたときは（ステップＳ１のＹ）、磁気記憶装置１４に記憶されている符号列を後述のように並べ替えた別の符号列に変換し（符号列変換手段）（ステップＳ２）、この並べ替え後の符号列をクライアント２に送信する（送信手段）（ステップＳ３）。また、ステップＳ２の処理を省略し、予め並べ替えてある符号列をそのままクライアント２に送信するようにしてもよい。
【００４８】
磁気記憶装置１４に記憶されている符号列は、動画や静止画の画像データを、例えば、ＪＰＥＧ２０００アルゴリズム、あるいは、Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズムに従って圧縮符号化した符号列である（以下では、このような圧縮方式を前提として説明する）。
【００４９】
図１０は、ステップＳ２の符号列の並べ替えにかかる機能ブロック図である。すなわち、サーバ１は、画像送信プログラムに基づくＣＰＵ１１の処理、あるいは、所定の符号列変換回路が実行する処理により、符号列変換部２１を実現している。この符号列変換部２１は、画像読込部２２、ヘッダ・符号データ分割処理部２３、ヘッダ処理部２４、符号データ合成部２５及び並替指定部２６からなる。
【００５０】
まず、画像読込部２２は、磁気記憶装置１４に記憶されている符号列ａを読み込む。並替指定部２６は、この符号列ａのどの部分を並べ替えるが、どのように並べ替えるかを指定する。すなわち、この指定は、符号列ａの所定の範囲内の符号を並べ替えの対象とし、その範囲内で符号を所定の手順で並べ替える（これらの詳細については後述する）。画像読込部２２で読み込まれた符号列ａは、ヘッダ・符号データ分割処理部２３で、ヘッダ部分と、符号部分とに分割される。そして、ヘッダ処理部２４で、前述の並べ替えがなされるように新たなタイルパートヘッダなどのヘッダ情報が生成される。そして、符号データ合成部２５が符号部分を並べ替えて、これに新たに生成されたヘッダ情報と合成し、符号の並べ替え後の新たな符号列ｂを生成して出力する。この符号列ｂがステップＳ３でクライアント２に送信されることになる。なお、符号列ｂのヘッダ情報には、符号列ａのどの範囲をどのように並べ替えたかの情報を記録しておくことができる。
【００５１】
符号列変換部２１で行なう符号列ａの並べ替えは、符号列ａのヘッダ情報から符号列ａの所定範囲のデータの範囲を判断し、その範囲内で符号を並べ替えるものである。
【００５２】
この場合の所定範囲とは、符号列ａの中の重要部分である。具体的には、まず、通常画像の中央部にあるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域に該当するタイルが考えられる（その範囲はヘッダ情報から明らかになる）。
【００５３】
また、符号列ｂをクライアント２側でプログレッシブに再生するときは、プログレッシブオーダに応じて所定範囲を選択することもできる。具体的には、プログレッシブオーダが画像又は解像度プログレッシブであるときは、符号列ａの先頭側に重要なデータが含まれるため、この符号列ａの先頭側の所定範囲とすることができる。また、プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データが重要となるため、輝度データの範囲のみを所定範囲とすることができる（これらの範囲もヘッダ情報から明らかになる）。
【００５４】
次に、前記のような所定範囲内で符号をどのように並べ替えるかについて具体例を示す。図１１は、この符号列ｂの所定範囲内の符号の並びを概念的に示した説明図である。図１１において、符号３１で示す“○”はそれぞれが単一の符号である。符号列ｂ中で符号の並ぶ順序は、図１１に矢印で示すように左から右である。そして、図１１の例では符号３２〜３５の４列の符号列が示されているが、これは上の符号列ほど先頭に位置している。本実施の形態のような並べ替えを行なわないで符号列ｂを直接送信するときは、この符号の順番どおりに送信される。すなわち１番上の列３２の符号列から右方向に各符号３１が順番に選択されて送信される。
【００５５】
これに対して、本実施の形態では、例えば、１番上の列３２の先頭の符号３１を選び、次に第２列３３の第２番目の符号３１を選び、次に第３列３４の第３番目の符号３１を選び、…というように順次符号を選択する（矢印４１）。符号データ群の最後の列３５まで処理すると、最初の列３２に戻り、最初から４番目の符号３１を選ぶ。次に第２列３３の第５番目の符号３１を選び、次に第３列３４の第６番目の符号３１を選び、…というように順次選んで行く（矢印４２）。
【００５６】
このように、符号３１を二つとばしで各列３２〜３５の各符号を選択したら、今度は、１番上の列３２の２番目の符号３１を選び、次に第２列３３の第３番目の符号３１を選び、次に第４列３４の第３番目の符号３１を選び、…というように順次符号を選択していく。次に、１番上の列３２の３番目の符号３１を選び、次に第２列３３の第４番目の符号３１を選び、次に第５列３４の第３番目の符号３１を選び、…というように順次符号を選択していく。このような処理を実行すれば、一定のルールに従って所定範囲内の符号３１を並べ替えることができる。もちろん、この並べ替えの手順は一例であり、これ以外にも様々な手順で符号３１を並べえ変えることができる。この並べ替えにより、符号列ｂは、その所定範囲においては、本来のＪＰＥＧ２０００、Ｍｏｔｉｏｎ ＪＰＥＧ２０００の規格に従った並びとは異なる配列で符号が並んでいて、その所定範囲以外は本来のＪＰＥＧ２０００、あるいは、Ｍｏｔｉｏｎ ＪＰＥＧ２０００の規格に従った並びで符号が並んでいる。よって、符号列ｂにおいて、所定範囲内の符号については元の並びに戻さないと、画像データを伸張することができない。
【００５７】
図１２は、符号列ｂを受信するクライアント２が行なう処理のフローチャートである。図１２に示すように、クライアント２では、所定範囲内で符号を並べ替えた符号列ｂを受信すると（受信手段、受信工程）（ステップＳ１１のＹ）、受信した符号列ｂの所定範囲内の符号については、符号の並びを元に戻す処理を行なう（変換手段、変換工程）（ステップＳ１２）。そして、その符号の並びを元通りとした符号列（符号列ａ）については、磁気記憶装置１４に保存する（ステップＳ１３）。よって、この符号列ａの画像を利用したいときは、磁気記憶装置１４から呼び出して伸張すればよい。
【００５８】
ステップＳ１２の処理には、サーバ１で用いたのと同様の符号列変換部２１（図１０参照）を用いることができる。すなわち、画像読込部２２は、磁気記憶装置１４に記憶されている符号列ｂを読み込む。並替指定部２６は、この符号列ｂのどの部分を並べ替えるか、どのように並べ替えるかを指定する。すなわち、符号列ｂにおいて符号が並べ替えられている所定範囲は、ヘッダ情報から読取ってもよいし、クライアント２、サーバ１間で所定範囲が一義的に定まっているときは、ヘッダ情報によらずに所定範囲を判断することができる。その所定範囲において符号をどのように並べ替えて元に戻すかも、サーバ１で行われた並べ替えの手順をヘッダ情報から読取ってもよいし、クライアント２、サーバ１間で所定範囲が一義的に定まっているときは（例えば、図１１を参照して説明したようなアルゴリズムで並べ替えるということが一義的に定まっているような場合）、ヘッダ情報によらずに判断することができる。
【００５９】
画像読込部２２で読み込まれた符号列ｂは、ヘッダ・符号データ分割処理部２３で、ヘッダ部分と、符号部分とに分割される。そして、ヘッダ処理部２４で、前述の並べ替えがなされるように新たなタイルパートヘッダなどのヘッダ情報が生成される。そして、符号データ合成部２５が符号部分を並べ替えて、これに新たに生成されたヘッダ情報と合成し、符号の並べ替え後の新たな符号列、すなわち元の符号列ａを生成して出力する。
【００６０】
【発明の効果】
請求項１，２，１２に記載の発明は、画像データを通信している際に時間的に連続して通信エラーとなるバーストモードが発生して、連続した画像データが伝達されない場合であっても、その元の画像の符号の所定範囲の重要部分は分散して送信しているので、通信エラーになることなく受信されている部分的な符号を用いることができ、画像をまったく再生できないような致命的な不具合を防止することができる。しかも、符号の並べ替えは符号列の所定範囲だけに行なうので、符号の並べ替え処理の負担が過大なものとなることはない。
【００６１】
請求項３に記載の発明は、請求項１又は２に記載の発明において、ＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００で圧縮符号化された符号を並べ替えて、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６２】
請求項４に記載の発明は、請求項３に記載の発明において、画像の重要な領域であるＲＯＩ領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６３】
請求項５に記載の発明は、請求項３に記載の発明において、プログレッシブオーダに応じた符号列の重要な領域を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６４】
請求項６に記載の発明は、請求項５に記載の発明において、プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときに、符号列の重要な領域となる符号列の先頭側の一定の範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６５】
請求項７に記載の発明は、請求項５に記載の発明において、プログレッシブオーダがコンポーネントプログレッシブであるとき、符号列の重要な領域となる輝度データの範囲を分散して送信し、符号の並べ替え処理の負担が過大になることなく、画像をまったく再生できないような致命的な不具合を防止することができる。
【００６６】
請求項８，１３に記載の発明は、受信した符号列を元の符号列に並べ替えて、画像の再生を行なうことができる。
【００６７】
請求項９に記載の発明は、請求項１〜７の何れかの一に記載の発明及び請求項８に記載の発明と同様の作用、効果を奏することができる。
【００６８】
請求項１０に記載の発明は、コンピュータ上で動作することにより、請求項１〜８の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００６９】
請求項１１に記載の発明は、記憶しているプログラムにより請求項１０に記載の発明と同様の作用、効果を奏することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明するための説明図である。
【図２】カラー画像の各コンポーネントについて説明するための説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す説明図である。
【図４】コード・ストリームの構造の説明図である。
【図５】一つのプレシンクトが空間的に一致した３つの矩形領域からなっていることの説明図である。
【図６】係数値をビットプレーン単位に分解し、画素あるいはコード・ブロック毎にビットプレーンに順位付けを行なうことの説明図である。
【図７】本発明の実施の形態におけるネットワークシステムの概略構成のブロック図である。
【図８】サーバ、クライアントの電気的な接続のブロック図である。
【図９】サーバが行なう処理のフローチャートである。
【図１０】サーバ、クライアントの機能ブロック図である。
【図１１】符号の並べ替えの一例を示す説明図である。
【図１２】クライアントが行なう処理のフローチャートである。
【符号の説明】
ａ，ｂ 符号列
１ 画像送信装置
２ 画像受信装置
３ ネットワーク
１４ 記憶装置
１７ 記憶媒体
１０ ネットワークシステム
３１ 符号
Claims (13)
- ネットワークと接続されている通信インターフェイスと、
画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶する記憶装置と、
前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、
を備えている画像送信装置。 - ネットワークと接続されている通信インターフェイスと、
画像データを圧縮符号化した符号列を記憶している記憶装置と、
その所定の範囲については当該範囲内で符号の配列を並べ替え、前記範囲以外については前記並べ替えを行なわないことにより、前記符号列を新たな符号列に変換する符号列変換手段と、
前記符号列を前記通信インターフェイスにより前記ネットワークを介して送信する送信手段と、
を備えている画像送信装置。 - 前記圧縮符号化の方式はＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００である、請求項１又は２に記載の画像送信装置。
- 前記所定範囲は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域である、請求項３に記載の画像送信装置。
- 前記所定範囲は、前記符号列をその送信側でプログレッシブに再生するときは、プログレッシブオーダに応じて選択する、請求項３に記載の画像送信装置。
- 前記所定範囲は、前記プログレッシブオーダが画像プログレッシブ又は解像度プログレッシブであるときは、前記符号列の先頭側の一定の範囲である、請求項５に記載の画像送信装置。
- 前記所定範囲は、前記プログレッシブオーダがコンポーネントプログレッシブであるときは、輝度データの範囲である、請求項５に記載の画像送信装置。
- 画像データを圧縮符号化した符号列を受信する受信手段と、
この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換手段と、
を備えている画像受信装置。 - 請求項１〜７の何れかの一に記載の画像送信装置と、
この画像送信装置とネットワークを介して接続され当該画像送信装置が送信する符号列を受信する請求項８に記載の画像受信装置と、
を備えているネットワークシステム。 - 請求項１〜８の何れかの一に記載の発明の前記各手段をコンピュータに実行させるコンピュータに読取り可能なプログラム。
- 請求項１０に記載のプログラムを記憶している記憶媒体。
- 画像データを圧縮符号化した符号列であって、所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているものを記憶装置に記憶されているものを、ネットワークと接続されている通信インターフェイス前記ネットワークを介して送信する、画像送信方法。
- 画像データを圧縮符号化した符号列を受信する受信工程と、
この受信した符号列がその所定の範囲については当該範囲内で前記圧縮符号化の規格とは異なる符号の配列に並べ替えられていて、前記範囲以外については前記規格の配列に並べられているときは、その符号を並べ替えて元の符号列に変換する変換工程と、
を備えている画像受信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331597A JP2004166096A (ja) | 2002-11-15 | 2002-11-15 | 画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002331597A JP2004166096A (ja) | 2002-11-15 | 2002-11-15 | 画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004166096A true JP2004166096A (ja) | 2004-06-10 |
Family
ID=32808918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002331597A Pending JP2004166096A (ja) | 2002-11-15 | 2002-11-15 | 画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004166096A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008143156A1 (ja) * | 2007-05-17 | 2008-11-27 | Sony Corporation | 符号化装置および符号化方法、並びに復号装置および復号方法 |
| JP2009278609A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 情報処理装置および方法 |
| US8422553B2 (en) | 2007-05-17 | 2013-04-16 | Sony Corporation | Information processing device and method |
-
2002
- 2002-11-15 JP JP2002331597A patent/JP2004166096A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008143156A1 (ja) * | 2007-05-17 | 2008-11-27 | Sony Corporation | 符号化装置および符号化方法、並びに復号装置および復号方法 |
| WO2008143157A1 (ja) * | 2007-05-17 | 2008-11-27 | Sony Corporation | 情報処理装置および方法 |
| US8260068B2 (en) | 2007-05-17 | 2012-09-04 | Sony Corporation | Encoding and decoding device and associated methodology for obtaining a decoded image with low delay |
| JP5152598B2 (ja) * | 2007-05-17 | 2013-02-27 | ソニー株式会社 | 符号化装置および符号化方法、並びに復号装置および復号方法 |
| US8422553B2 (en) | 2007-05-17 | 2013-04-16 | Sony Corporation | Information processing device and method |
| US8503809B2 (en) | 2007-05-17 | 2013-08-06 | Sony Corporation | Information processing apparatus and method to entropy code upon processing of predetermined number of precincts |
| JP2009278609A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 情報処理装置および方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3922919B2 (ja) | 静止画像伸長装置及び静止画像伸長方法 | |
| JP2004254298A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JP3952459B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
| JP2004242290A (ja) | 画像処理装置および画像処理方法、画像編集処理システム、画像処理プログラム及び記憶媒体 | |
| JP2004186871A (ja) | 画像処理装置、撮像装置、プログラム及び記憶媒体 | |
| JPWO2004064405A1 (ja) | 符号化方法及び復号化方法及び符号化装置及び復号化装置 | |
| JP2004166096A (ja) | 画像送信装置、画像受信装置、ネットワークシステム、プログラム、記憶媒体、画像送信方法及び画像受信方法 | |
| JP2007014002A (ja) | 画像処理装置、画像処理用プログラム及び記録媒体 | |
| JP4812071B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP3986398B2 (ja) | 画像受信装置及び画像受信方法 | |
| JP2006086579A (ja) | 画像処理装置、プログラム、及び記憶媒体 | |
| JP3891424B2 (ja) | 画像処理装置 | |
| JP4059399B2 (ja) | 画像処理装置、画像処理システム、画像出力制御方法、プログラム、及び、記録媒体 | |
| JP2004112566A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体 | |
| JP4124436B2 (ja) | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 | |
| JP3989801B2 (ja) | 画像処理装置、画像処理用プログラム及び記憶媒体 | |
| JP4021307B2 (ja) | 画像受信装置、画像再生装置、ネットワークシステム、プログラム、記憶媒体及び画像受信方法 | |
| JP2004166132A (ja) | 画像送信装置、ネットワークシステム、プログラム及び記憶媒体 | |
| JP4034236B2 (ja) | 特定変換係数優先符号化装置、特定変換係数優先符号化復号システム及び特定変換係数優先符号化方法 | |
| JP3993033B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体 | |
| JP4280752B2 (ja) | コンピュータ等の画像処理装置、画像処理用プログラム及び記憶媒体 | |
| JP2004166156A (ja) | 画像送信装置、ネットワークシステム、プログラム及び記憶媒体 | |
| JP4629424B2 (ja) | 画像配信システム、サーバ装置、クライアント装置、キャッシュ制御方法、プログラム及び情報記録媒体 | |
| JP2004236226A (ja) | 画像伸長方法、画像伸長装置、プログラム及び記憶媒体 | |
| JP3891425B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041007 |