JPWO2020079900A1 - 符号化装置、符号化方法、復号装置 - Google Patents

Abstract

符号化装置が、処理対象の画像データに対する符号化処理を行う符号化処理部と、処理対象の画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、レート制御エリア以外よりもビットレートが高くなるように符号化処理を制御する制御部とを備えるようにする。

Description

本技術は符号化装置、符号化方法、復号装置に関し、特に１つの画像を複数の領域に分割して符号化を行う場合の技術に関する。

一つの画像を複数の領域に分割して符号化を行い、それらを復号してつなぎ合わせて表示させる技術が知られている。そのような画像表示システムでは、分割境界が表示画像上で目立ってしまうことがある。
その問題を避けるため、マルチプロジェクション環境下では、下記特許文献１，２のように、画像を分割する際に重なり合う部分を作り、表示するときには隣接する画像の重なり合う部分に対してグラデーションをかけてブレンディングすることで、分割境界を見せなくする手法が知られている。

特開２００４−１４７１４３号公報 特開２０１７−１１６９５０号公報

しかしながら、１つの画素に表示する情報を複数の入力から得てブレンディングするような手法が使えないタイリング型ディスプレイのような表示デバイスにおいては、特許文献１，２のような手法を用いることができない。
また、分割された画像全体をビットレートが上がるように符号化を行えば、復号し、つなぎ合わせた画像を表示するときの分割境界を見えにくくすることはできるが、画像全体のビットレートが上がるためにファイルサイズの増加や計算コストの増加を招いてしまう。
そこで本技術は分割境界が表示画像上で目立つことを防止しつつデータ量を過大にしない手法を提案する。

本技術に係る符号化装置は、処理対象の画像データに対する符号化処理を行う符号化処理部と、前記処理対象の画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、前記レート制御エリア以外よりもビットレートが高くなるように符号化処理を制御する制御部と、を備える。
レート制御エリアは、１枚の画像を分割した際の分割境界の近傍の領域として設定されるものである。このレート制御エリアを構成するデータについては画像内の他のエリアよりも情報量が多くなるようにする。

上記した本技術に係る符号化装置においては、前記符号化処理部は圧縮符号化処理を行い、前記制御部は、前記レート制御エリアについては、前記レート制御エリア以外に対する圧縮符号化処理の圧縮率よりも低い圧縮率での圧縮符号化処理を指示することが考えられる。
即ち分割境界の近傍のレート制御エリアのデータは、低い圧縮率で圧縮処理されることでビットレートが高くなるようにする。

上記した本技術に係る符号化装置においては、前記制御部は、前記処理対象の画像データの分割境界に基づいて前記レート制御エリアを設定する処理を行うことが考えられる。
即ちレート制御エリアの設定は制御部が行うようにする。

上記した本技術に係る符号化装置においては、前記制御部は、前記処理対象の画像データの分割境界を設定し、分割境界に基づいて前記レート制御エリアを設定し、前記レート制御エリアについては前記レート制御エリア以外よりもビットレートが高くなるように指示して前記処理対象の画像データに対する符号化処理を前記符号化処理部に実行させることが考えられる。
即ち分割境界を設定してレート制御エリアを設定した上で、レート制御エリアを指示して符号化処理を実行させる。

上記した本技術に係る符号化装置においては、前記制御部は、前記符号化処理が行われた画像データを、設定した分割境界で分割された複数の画像データとして扱われるように制御することが考えられる。
即ち元の画像データ全体で圧縮処理がされた後に、分割された複数の画像データが記憶されたり送信されたりするように制御する。

上記した本技術に係る符号化装置においては、前記制御部は、前記処理対象の画像データの分割境界を設定し、分割境界に基づいて画像データを分割し、分割領域毎に前記レート制御エリアを設定して符号化処理を前記符号化処理部に実行させることが考えられる。
即ち分割境界を設定して領域を分割したうえで、それぞれの分割領域についてレート制御エリアを設定し、その分割領域毎にレート制御エリアを指示して符号化処理が実行されるようにする。

上記した本技術に係る符号化装置においては、複数の画素データから成るブロックを符号化処理単位としたときに、前記レート制御エリアには、少なくとも分割境界に接するブロックが含まれることが考えられる。
即ち少なくとも分割境界に接するブロックはレート制御エリアとして、それらのブロックはビットレートが高くなるようにする。
なお「分割境界に接する」とは、ブロックの一辺が分割境界を形成している状態をいう。即ち分割境界に接するブロックとは、分割領域内の外縁のブロックであり、かつ隣接する他の分割領域が存在するブロックを指す。

上記した本技術に係る符号化装置においては、複数の画素データから成るブロックを符号化処理単位としたときに、前記レート制御エリアには、分割境界に接するブロックの行から連続する複数ブロック行、又は分割境界に接するブロックの列から連続する複数ブロック列が含まれることが考えられる。
即ち少なくとも分割境界に接するブロックの行又は列から複数の行又は列にわたる範囲がレート制御エリアとされ、それらのブロックはビットレートが高くなるようにする。

上記した本技術に係る符号化装置においては、複数の画素データから成るブロックを符号化処理単位としたときに、前記制御部は、前記レート制御エリア内で、第１の圧縮率の圧縮符号化が行われるブロックと、第２の圧縮率の圧縮符号化が行われるブロックが生じるように制御することが考えられる。
レート制御エリアに該当するブロックにおいて、異なる圧縮率による圧縮符号化が指示されるブロックが存在するようにする。

上記した本技術に係る符号化装置においては、複数の画素データから成るブロックを符号化処理単位としたときに、前記制御部は、前記レート制御エリアに該当するブロックを可変設定することが考えられる。
即ちレート制御エリアの設定を固定的に行うのではなく、所定のアルゴリズムによりレート制御エリアが可変設定されるようにする。

上記した本技術に係る符号化装置においては、前記制御部は、前記レート制御エリアについて前記符号化処理部に指示する圧縮率を可変設定することが考えられる。
即ちレート制御エリアの圧縮率の設定を固定的に行うのではなく、所定のアルゴリズムにより可変設定されるようにする。

上記した本技術に係る符号化装置においては、分割境界が処理対象の画像データの水平方向と垂直方向に存在する場合に、複数の画素データから成るブロックを符号化処理単位としたときに、前記レート制御エリアにおける、水平方向の分割境界に沿ったブロック行の数と、垂直方向の分割境界に沿ったブロック列の数とが異なるように、前記レート制御エリアが設定されることが考えられる。
即ちレート制御エリアを構成するブロック行の数とブロック列の数が異なるようにされ、レート制御エリアの水平方向と垂直方向の範囲が異なるようにする。

上記した本技術に係る符号化装置においては、分割境界が処理対象の画像データの水平方向と垂直方向に存在する場合に、複数の画素データから成るブロックを符号化処理単位としたときに、前記制御部は、前記レート制御エリアにおける、水平方向の分割境界に沿ったブロックについて前記符号化処理部に指示する圧縮率と、垂直方向の分割境界に沿ったブロックについて前記符号化処理部に指示する圧縮率とを異なるようにすることが考えられる。
即ちレート制御エリアを構成するブロックのうち、水平行のブロックと垂直列のブロックとで圧縮率が異なるようにする。

本技術に係る符号化方法は、処理対象の画像データについて、当該画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、前記レート制御エリア以外よりもビットレートが高くなるように符号化処理をおこなう。
これによりレート制御エリアを構成するデータについては画像内の他のエリアよりも情報量が多くなるようにする。

本技術に係る復号装置は、一の画像を形成する複数の分割領域となる複数の画像データであって、それぞれが、分割された際の分割境界の近傍に設定されたレート制御エリアについては前記レート制御エリア以外よりもビットレートが高くなるように符号化処理が施された複数の画像データに対応して復号を行う複数の復号処理部と、複数の前記復号処理部により復号された複数の画像データを合成して一の画像を構成する画像データとして表示を実行させる表示制御部と、を備える。
これによりレート制御エリアにおいてビットレートが高くされた分割領域の画像データが復号され、さらに分割境界でつなぎ合わされるように合成されて表示される。

本技術の実施の形態の符号化処理を行う画像処理装置のブロック図である。 実施の形態の圧縮エンコーダのブロック図である。 実施の形態の処理対象の画像と分割領域の説明図である。 実施の形態の復号処理を行う画像処理装置のブロック図である。 第１の実施の形態のレート制御エリアの説明図である。 第１の実施の形態の符号化処理のフローチャートである。 第２の実施の形態の符号化処理のフローチャートである。 第３の実施の形態のレート制御エリアの説明図である。 第４の実施の形態のレート制御エリアの説明図である。 第５の実施の形態のレート制御エリアの説明図である。 第６の実施の形態のレート制御エリアの説明図である。 第７の実施の形態のレート制御エリアの説明図である。 第８の実施の形態のレート制御エリアの説明図である。 第９の実施の形態のレート制御エリアの説明図である。 実施の形態の分割領域の他の例の説明図である。

以下、実施の形態を次の順序で説明する。
＜１．符号化処理を行う画像処理装置の構成＞
＜２．復号処理を行う画像処理装置の構成＞
＜３．第１の実施の形態の符号化処理＞
＜４．第２の実施の形態の符号化処理＞
＜５．第３から第９の実施の形態のレート制御エリア＞
＜６．まとめ及び変形例＞

＜１．符号化処理を行う画像処理装置の構成＞
図１は画像データの符号化処理を行う画像処理装置１の構成を示している。画像処理装置１は例えば符号化装置１０、記憶部１３、通信部１４、操作部１５、画像ソース１６を有する。この例では符号化装置１０は圧縮エンコーダ１１とコントローラ１２で構成されるものとしている。

画像ソース１６は符号化処理の処理対象とする画像データＩＤＴ（動画又は静止画）を符号化装置１０に供給する部位を示している。例えば画像処理装置１内において画像データＩＤＴを記憶する記憶装置が画像ソース１６の一例となる。また外部装置からの有線又は無線により送信されてくる画像データの受信装置も画像ソース１６の一例となる。さらに、例えばメモリカード、光ディスク、磁気テープなどの記憶媒体から画像データＩＤＴを読み出す再生装置や、ＨＤＤ（Hard Disk Drive）なども画像ソース１６の一例となる。

画像ソース１６からの画像データＩＤＴは圧縮エンコーダ１１に供給され、圧縮エンコーダ１１において画像圧縮符号化が行われる。
圧縮エンコーダ１１の具体例としては各種考えられるが、例えばＪＰＥＧ２０００規格の圧縮符号化を行う場合の圧縮エンコーダ１１の構成例を図２に示す。

圧縮エンコーダ１１では、入力された画像データＩＤＴはウェーブレット変換部３１でウェーブレット変換され、量子化部３２での量子化処理を介してＥＢＣＯＴ（Embedded Block Coding with Optimal Truncation）３３に入力される。ＥＢＣＯＴ３３はビットプレーン符号化器３５，算術符号化器３６としての構成を有する。この構成により、ウェーブレット変換されたデータは、量子化されてからＥＢＣＯＴ３３でエントロピー符号化を行うことになる。即ちＥＢＣＯＴ３３では、ウェーブレット変換係数上に定義された矩形領域であるコードブロック単位で符号化が行われる。各コードブロックはビットプレーン符号化器３５でビットプレーンに分解され、係数ビットモデリング処理によって、３つの符号化パスに分類される。そしてそれぞれの符号化パスについて算術符号化器３６で圧縮処理が行われる。

ここで、圧縮エンコーダ１１にはレートコントローラ３４としての構成を備え、レートコントローラ３４によって量子化部３２及びＥＢＣＯＴ３３が制御されることで、圧縮処理のデータ単位毎に圧縮率を設定することができる。
レートコントローラ３４に対してコントローラ１２により、レート制御エリアの情報や圧縮率が指示されることで、レートコントローラ３４がそれに応じて圧縮率を量子化部３２及びＥＢＣＯＴ３３に指示し、必要な圧縮処理が実行されることになる。
なお以上はあくまで圧縮エンコーダ１１の一例であり、例えばＭＰＥＧ４、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ、ＪＰＥＧなど他の圧縮方式を採用する場合の構成は異なる。

例えばこのような圧縮エンコーダ１１により圧縮符号化された圧縮画像データｃＩＤＴは、図１の記憶部１３に供給されて記憶媒体に記憶される。
或いは圧縮エンコーダ１１により圧縮符号化された圧縮画像データｃＩＤＴは、通信部１４により外部機器に送信することもできる。

記録部１３の形態は多様に考えられる。例えば記録部１３は、画像処理装置１に内蔵されるフラッシュメモリでもよいし、着脱可能なメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また本体部２に内蔵されている形態としてＨＤＤなどとして実現されることもある。

通信部１４は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行うもので、例えば外部の表示装置、記録装置、再生装置等の間で画像データの通信を行う。また通信部１４は、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末、クラウドサーバ等との間で各種データの送受信を行うようにしてもよい。

コントローラ１２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで圧縮符号化処理を制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、各種の処理パラメータや、各種動作のためのプログラム等の記憶に用いられる。

このコントローラ１２は、例えば画像データＩＤＴの分割設定、画像データＩＤＴにおけるレート制御エリアの設定、圧縮エンコーダ１１に対するレート制御エリアや圧縮率の指示などを行う場合がある。
これらの制御に基づいて、後述のように、画像データＩＤＴにおけるレート制御エリアについては、レート制御エリア以外よりもビットレートが高くなるようにする圧縮符号化処理が行われる。
レート制御エリアとは、画像データを複数の領域に分割する際に分割境界の近傍となる領域であり、例えば固定的に決められていてもよいし、コントローラ１２が設定してもよい。レート制御エリアの具体例は後述する。

例えばコントローラ１２は、画像ソース１６の画像データＩＤＴを取得し、解析し、画像データＩＤＴの解析結果に応じて画像データＩＤＴの分割設定、画像データＩＤＴにおけるレート制御エリアの設定、圧縮エンコーダ１１に対するレート制御エリアや圧縮率の指示などを行うことが想定される。

操作部１５は画像処理装置１を使用するユーザの操作を入力するための操作デバイスを総括して示している。例えばキーボード、マウス、キースイッチ、タッチパネル、音声入力部、遠隔操作部などである。これらの操作デバイスによりユーザは各種操作入力を行うことができ、コントローラ１２は操作に応じた処理を実行することができる。
例えば画像データＩＤＴの分割領域の指示、符号化処理のモード選択（例えばレート制御エリアの設定方式の選択、圧縮率の選択など）をユーザが行うことも想定される。コントローラ１２はこれらのユーザ操作に応じて、画像データＩＤＴの分割設定、画像データＩＤＴにおけるレート制御エリアの設定、圧縮エンコーダ１１に対するレート制御エリアや圧縮率の指示などを行うことも想定される。

本実施の形態では、例えば一枚の静止画もしくは動画としての画像を形成する画像データＩＤＴを圧縮符号化するのであるが、記憶部１３又は通信部１４で処理される段階では、複数の分割領域に分割した画像データとして扱われるものとしている。
例えば図１の画像データＩＤＴは４つの分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４に分割されるようにし、これらの分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４に対応する圧縮画像データｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４が記憶部１３で記憶されたり、通信部１４から外部機器に送信される。

図３Ａは一枚の画像を構成する画像データＩＤＴの例を示している。
例えばこの画像データは８Ｋ×４Ｋとして、水平方向に８Ｋ（７６８０画素）、垂直方向に４Ｋ（３８４０画素）で構成されるとする。
このときに、破線で示す分割境界ｄｖにより、４つの分割領域に分割する。分割した４つの分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４の画像を図３Ｂに示している。これらの分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４は、それぞれの４Ｋ×２Ｋとして、水平方向に４Ｋ（３８４０画素）、垂直方向に２Ｋ（１９２０画素）で構成されることになる。

例えばこのように４Ｋ×２Ｋの分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４について圧縮符号化された圧縮画像データｃＩＤＴ（ｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）を生成することで、復号時には普及している４Ｋ×２Ｋ対応のデコーダを用いることができる。換言すれば、例えばより大画面を構成する画像データについて、その時点で一般的な画像に対応するデコーダ（普及しているデコーダ）を用いることができる点で、分割する利点がある。

＜２．復号処理を行う画像処理装置の構成＞
以上の画像処理装置１で圧縮符号化された圧縮画像データｃＩＤＴ（例えば４つの圧縮画像データｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）を入力して、画像表示のために復号する画像処理装置２の構成例を図４Ａに示す。

画像処理装置２は、復号装置２０、表示部２６、画像ソース２７を有する。この例では復号装置２０は４つのデコーダ２１，２２，２３，２４と表示コントローラ２５で構成されるものとしている。

画像ソース２７は復号処理の処理対象とする圧縮画像データｃＩＤＴを復号装置２０に供給する部位を示している。例えば画像処理装置２内において圧縮画像データｃＩＤＴを記憶する記憶装置が画像ソース２７の一例となる。また外部装置からの有線又は無線により送信されてくる画像データの受信装置も画像ソース２７の一例となる。さらに、例えばメモリカード、光ディスク、磁気テープなどの記憶媒体から画像データＩＤＴを読み出す再生装置や、ＨＤＤ（Hard Disk Drive）なども画像ソース２７の一例となる。
この画像ソース２７は、例えば４つに分割された圧縮画像データｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４を、それぞれ４つのデコーダ２１，２２，２３，２４に並列に供給する。

上記のように分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４が４Ｋ×２Ｋの画像データである場合、デコーダ２１，２２，２３，２４は、それぞれ４Ｋ×２Ｋに対応するデコーダであり、例えばＪＰＥＧ２０００規格に対応する復号を行うものとされる。もちろんこれは一例であり、符号化に対応した復号器とされることは当然である。
デコーダ２１，２２，２３，２４によっては、それぞれが圧縮画像データｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４に１：１で対応して伸長復号を行って、復号結果としての分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４が得られる。
これらの分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４は、表示コントローラ２５に供給される。

表示コントローラ２５では、分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４を合成して元の画像データＩＤＴを生成し、その画像データＩＤＴに基づいて表示部２６の表示駆動を行う。
これにより表示部２６には、図４Ｂに示すように分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４がつなぎ合わされて合成された元の画像データＩＤＴの画像が表示される。

表示部２６は、例えばＬＥＤ等の自発光素子を画素として用いた表示デバイスが想定される。もちろんＬＥＤに限らず、有機ＥＬ素子を用いたディスプレイ等、他の表示デバイスでもよい。
さらにはこれらの自発光表示デバイスであって、タイリングディスプレイと呼ばれるような、所定の画素単位のユニットをタイル状に並べて画面を構成するディスプレイデバイスが想定される。
そして特には本実施の形態では、表示デバイスとしては、画像のつなぎ目部分においてプロジェクタで行われるようなオーバラップ表示を行うことがない表示デバイスを想定している。

＜３．第１の実施の形態の符号化処理＞
以上のように画像処理装置１（符号化装置１０）では、元の画像データＩＤＴを分割して、分割領域毎の圧縮画像データｃＩＤＴ（ｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）を生成する。
また画像処理装置２（復号装置２０）は、圧縮画像データｃＩＤＴ（ｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）をそれぞれ復号し、合成して表示させるようにする。
これにより、例えば８Ｋ×４Ｋのような大画像について、例えば４Ｋ×２Ｋのデコーダを用いて再生系を形成することができる。
しかしこの場合、画像のつなぎ目部分（即ち分割境界ｄｖの部分）が目立ってしまい、画像品質が低下するということが発生する場合がある。

これは圧縮符号化によりビットレートを低下させるときに、圧縮率を上げビットレートを低くする程圧縮誤差が増えること、及び分割境界ｄｖの近辺では一方の画像の分割領域における誤差と他方の分割領域における誤差が相乗して、画像上で差異が大きく生じてしまうことによると考えられる。
特に、輝度や色の変化の多い複雑な画像よりも、輝度や色の起伏の少ない画像（例えば図３のような庭園の砂の画像や、海や空の画像など）では、つなぎ目がより目立ちやすくなってしまう。

そこで本実施の形態では、分割境界ｄｖの近傍となるレート制御エリアについては、レート制御エリア以外よりもビットレートが高くなるように符号化処理を行うようにする。
図５にレート制御エリアの例を示す。
図５は、分割境界ｄｖで分割した分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４を示している。
線で区切られた一マスがブロックＢＫである。ブロックＢＫは、圧縮処理の単位であり、例えば８×８ピクセルとされる。これは一例で、圧縮処理の単位としてのブロックＢＫは２×２ピクセル、４×４ピクセル、１６×１６ピクセルなどとされてもよい。

なお図の煩雑化を避けるため「ＢＫ」の文字は一部にのみ示している。
また図の見やすさを考慮して、分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４を離間させて示しているが、これは図３Ａ、図３Ｂを参照してわかるように、元の画像データＩＤＴで考えれば、斜線を付したブロック同士は隣接するブロック同士となり、そのブロックＢＫの境界線が分割境界ｄｖとなる。

ここで斜線を付したブロックＢＫの範囲をレート制御エリアとする。
この図５の例の場合、水平方向の分割境界ｄｖに沿った上下の各１行のブロックＢＫ、及び垂直方向の分割境界ｄｖに沿った左右の各１列のブロックＢＫの範囲がレート制御エリアとされる。
説明上、レート制御エリア以外は「通常処理エリア」と呼ぶ。斜線部を付していないブロックＢＫの範囲が通常処理エリアである。
また以下の説明では「行」又は「列」はブロックＢＫの水平方向の並び、又は垂直方区の並びを指すものとする。

そしてこの場合、通常処理エリアについては圧縮率ＲＮで圧縮符号化を行い、レート制御エリアでは圧縮率Ｒ１で圧縮符号化を行うものとする。ＲＮ＞Ｒ１である。
圧縮率ＲＮは、本来、画像全体に適用しようとする圧縮率と考えてもよい。
つまり通常処理エリアは圧縮率ＲＮで圧縮符号化することで、ある程度ビットレートを抑えることが圧縮の目的となるが、レート制御エリアについては圧縮率ＲＮに比較して低い圧縮率Ｒ１で圧縮符号化することでビットレートを通常処理エリアより高くする。
これにより分割境界ｄｖでは圧縮誤差が抑制されるようにする。分割境界ｄｖに接するレート制御エリアの各ブロックＢＫにおいて圧縮誤差が抑制されることで、合成されて表示される際に、誤差が重なってつなぎ目が目立つようなことを解消するものである。

圧縮エンコーダ１１にこのような符号化処理を実行させるコントローラ１２の処理例を図６に示す。なお図６では各ステップの右側に画像データの状態を模式的に示している。
コントローラ１２はステップＳ１０１で処理対象の画像データＩＤＴを特定する。即ち画像ソース１６から圧縮エンコーダ１１に転送する画像データＩＤＴを特定する。

ステップＳ１０２でコントローラ１２は、処理対象とした画像データＩＤＴについて分割設定を行う。即ち分割境界ｄｖを設定し、いくつかの分割領域に分けられるようにする。

ステップＳ１０３でコントローラ１２は、分割境界ｄｖを基準にレート制御エリアＲＣＡ（斜線部）を設定する。例えば図５のように分割境界ｄｖに接する１行、１列のブロックの範囲をレート制御エリアＲＣＡとする。

ステップＳ１０４でコントローラ１２は、画像データＩＤＴについて圧縮エンコーダ１１に圧縮符号化を実行させる。このときコントローラ１２は、圧縮エンコーダ１１にレート制御エリアＲＣＡに該当するブロックＢＫを通知するとともに、通常処理エリアのブロックＢＫについては圧縮率ＲＮで圧縮符号化を行い、レート制御エリアＲＣＡに該当するブロックＢＫについては、圧縮率Ｒ１で圧縮符号化を行うように圧縮エンコーダ１１に指示する。圧縮エンコーダ１１では、例えばレートコントローラ３４がこの指示を受け、量子化部３２及びＥＢＣＯＴ３３において、ブロック毎に指示に応じた圧縮率の圧縮符号化が実行されるようにする。

圧縮符号化が行われたら、ステップＳ１０５でコントローラ１２は、分割境界ｄｖで画像分割し、分割された各画像の圧縮画像データｃＩＤＴ（例えば圧縮画像データｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）を、記憶部１３で記憶されるようにし、或いは通信部１４により外部機器に送信されるように制御する。
以上により、レート制御エリアＲＣＡにおいてビットレートが高くされた圧縮画像データｃＩＤＴが得られる。

このような圧縮画像データｃＩＤＴは、例えば図４の構成の画像処理装置２で復号されて合成され、元の画像データＩＤＴの画像が表示される。このとき分割境界ｄｖでつなぎ目が目立つことが解消されている。

＜４．第２の実施の形態の符号化処理＞
第２の実施の形態としてのコントローラ１２の処理例を図７に示す。図７でも各ステップの右側に画像データの状態を模式的に示している。

コントローラ１２はステップＳ１０１で処理対象の画像データＩＤＴを特定する。
そしてステップＳ１０２でコントローラ１２は、処理対象とした画像データＩＤＴについて分割設定を行う。即ち分割境界ｄｖを設定し、いくつかの分割領域に分けられるようにする。以上は図６と同様である。

次にコントローラ１２はステップＳ１１０で画像分割を行う。即ちコントローラ１２は分割境界ｄｖに基づいて画像データＩＤＴを分割し、各分割領域についての分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４を形成する。
ステップＳ１１１でコントローラ１２は分割境界ｄｖを基準にレート制御エリアＲＣＡ（斜線部）を設定する。
この場合、すでに分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４に分けているので、これら分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４のそれぞれについて、例えば図５のように分割境界ｄｖに接する１行、１列のブロックＢＫの範囲をレート制御エリアＲＣＡとする。

ステップＳ１１２でコントローラ１２は、分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４について、順次、圧縮エンコーダ１１に圧縮符号化を実行させる。このときコントローラ１２は、各分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４毎にレート制御エリアＲＣＡを通知するとともに、通常処理エリアのブロックＢＫについては圧縮率ＲＮで圧縮符号化を行い、レート制御エリアＲＣＡに該当するブロックＢＫについては、圧縮率Ｒ１で圧縮符号化を行うように圧縮エンコーダ１１に指示する。
さらにコントローラ１２は、圧縮エンコーダ１１に、圧縮処理の完了に応じて圧縮画像データｃＩＤＴ（ｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）を、記憶部１３又は通信部１４に転送するように指示する。

圧縮エンコーダ１１内ではレートコントローラ３４の制御により、例えば分割画像データＰＰ１を圧縮する場合は、その分割画像データＰＰ１についてのレート制御エリアＲＣＡのブロックＢＫについて圧縮率が低くなるような圧縮処理を行うことになる。そして圧縮画像データｃＰＰ１を記憶部１３に転送して記憶させる。或いは通信部１４に転送して外部機器に送信させる。
このような処理を順次分割画像データＰＰ２，ＰＰ３，ＰＰ４にも行っていく。

以上により、レート制御エリアＲＣＡにおいてビットレートが高くされた圧縮画像データｃＩＤＴ（ｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）が得られる。
このような圧縮画像データｃＩＤＴは、例えば図４の構成の画像処理装置２で復号されて合成され、元の画像データＩＤＴの画像が表示される。このとき分割境界ｄｖでつなぎ目が目立つことが解消されている。

＜５．第３から第９の実施の形態のレート制御エリア＞
以下、第３から第８の実施の形態としては、レート制御エリアの設定例を挙げる。なお各図は、図５と同様に分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４に離した状態で、斜線を付したブロックＢＫの範囲としてレート制御エリアを示している。

第３の実施の形態のレート制御エリアを図８に示す。
図８は水平方向の分割境界ｄｖに接するブロックの行（ブロックＢＫの水平方向の並び）から連続する複数ブロック行（この場合は上下各２行）、及び垂直方向の分割境界ｄｖに接するブロックの列（ブロックＢＫの垂直方向の並び）から連続する複数ブロック列（この場合は左右各２列）の範囲がレート制御エリアとされた例である。つまり各分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４において分割境界ｄｖ側の２行２列の範囲がレート制御エリアとなる。
なお元の画像データＩＤＴで見れば分割境界ｄｖを挟む４行４列の範囲がレート制御エリアとなるが、以下の説明では分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４の単位で考えて、図８の例は「２行２列」と表現して説明する。

この図８の２行２列のように分割境界ｄｖからみて複数行、複数列の範囲にレート制御エリアを設定してもよい。もちろん２行２列というのは一例で、３行３列、４行４列、或いはそれ以上の行数・列数も考えられる。

そしてこのように複数行、複数列のレート制御エリアは、通常処理エリアよりも低い圧縮率Ｒ１で圧縮符号化が行われて、ビットレートが通常処理エリアよりも高くされる。
レート制御エリアを広くすることは、つなぎ目のめだちの解消に有効となる。

第４の実施の形態のレート制御エリアを図９に示す。
図９でも、水平方向の分割境界ｄｖに接するブロックの行から連続する複数ブロック行（この場合は上下各２行）、及び垂直方向の分割境界ｄｖに接するブロックの列から連続する複数ブロック列（この場合は左右各２列）の範囲がレート制御エリアとされている。
但し、レート制御エリア内でも圧縮率が異なる領域を設定する。
例えば分割境界ｄｖに接するブロックＢＫは、圧縮率Ｒ１の領域とし、分割境界ｄｖに接しない、分割境界ｄｖからみて２行目又は２列目のブロックＢＫは、圧縮率Ｒ２の領域としている。この場合、ＲＮ＞Ｒ２＞Ｒ１である。

つまり分割境界ｄｖに最も近いブロックＢＫは高ビットレートとし、分割境界ｄｖから離れるに従ってビットレートが低くなっていくようにする。
この図９では圧縮率Ｒ１、Ｒ２の２段階に圧縮率が設定される例としたが、３段階、４段階というように圧縮率が設定され、より多段階で分割境界ｄｖから離れるに従ってビットレートが低くなっていくようにすることもできる。
例えば６行６列のブロックをレート制御エリアとし、２行２列づつ、分割境界ｄｖから離れるに従って圧縮率をＲ１，Ｒ２，Ｒ３（但しＲＮ＞Ｒ３＞Ｒ２＞Ｒ１）と徐々に高くするようにしてもよい。
このように分割境界ｄｖに最も近いブロックの圧縮率Ｒ１と、通常処理エリアの圧縮率ＲＮの間における、圧縮率の変化幅、段階数、各圧縮率の行数／列数は多様に考えられる。

結局この第４の実施の形態の場合、ビットレートが分割境界ｄｖに向かうにつれて徐々に高くなるようにするものであるが、これも画像のつなぎ目を目立たせないようにすることに有効である。
もちろんコントローラ１２は、このようにレート制御エリア内でも異なる圧縮率を設定する場合は、圧縮エンコーダ１１に対して、レート制御エリアに関する情報として、圧縮率Ｒ１，Ｒ２・・・と、圧縮率Ｒ１のブロックＢＫ、圧縮率Ｒ２のブロックＢＫ・・・を指示することになる。

第５の実施の形態のレート制御エリアを図１０Ａ、図１０Ｂに示す。
これは、レート制御エリアを例えば図１０Ａ、図１０Ｂのように分割境界ｄｖから１行１列とする（或いは複数行複数列でもよい）が、適用する圧縮率を切り換える例である。
例えば図１０Ａはレート制御エリアのブロックＢＫについて圧縮率Ｒ１としているが、図１０Ｂは同じレート制御エリアのブロックＢＫについて圧縮率Ｒ２としている。

このようにコントローラ１２は、レート制御エリアの設定は変更しないが、レート制御エリアに適用する圧縮率を変更するようにする。

例えば画像データＩＤＴの画像内容に応じて圧縮率を可変設定することが考えられる。
先に述べたように、輝度や色の変化として起伏の少ない画像ほど、つなぎ目が目立ちやすいという傾向がある。そこで、コントローラ１２は画像データＩＤＴを解析し、特に分割境界ｄｖの周辺の輝度や色の変化傾向を判定する。そして変化の大きい画像のときは、元々あまりつなぎ目は目立たないため図１０Ｂのように比較的高い圧縮率Ｒ２（ビットレート低め）とするが、変化の少ないなめらかな画像のときは、つなぎ目が目立つため図１０Ａのように低い圧縮率Ｒ１（ビットレート高め）とするなどが考えられる。

また要求されるデータサイズに応じてレート制御エリアの圧縮率を可変設定してもよい。なるべくデータサイズを小さくすることが要求される場合は、図１０Ｂのように比較的高い圧縮率Ｒ２（ビットレート低め）を選択するなどである。

またコントローラ１２はユーザ操作に応じてレート制御エリアの圧縮率を選択することも考えられる。例えばユーザは、つなぎ目のめだちの解消か、データ量の縮小かという点で望ましい方を指示する。それに応じてコントローラ１２が圧縮率を選択するようにする。

なお、レート制御エリアに関しては圧縮率Ｒ１、Ｒ２の２段階だけではなく、３段階以上で可変設定されるようにしてもよい。

第６の実施の形態のレート制御エリアを図１１Ａ、図１１Ｂに示す。
これは、レート制御エリアの範囲を例えば図１１Ａ、図１１Ｂのように切り換える例である。図１１Ａは分割境界ｄｖから１行１列をレート制御エリアとしている。一方図１１Ｂは分割境界ｄｖから２行２列をレート制御エリアとしている。
この場合も、例えば画像データＩＤＴの画像解析結果やユーザ操作に応じて、コントローラ１２がレート制御エリアの範囲を可変設定するものとする。
図１１Ｂのほうが、図１１Ａよりもつなぎ目のめだちの解消に有利である一方、図１１Ａのほうが、図１１Ｂよりもデータ量削減の点で有利である。

なお、レート制御エリアについて１行１列と２行２列を選択するものとしたが、これは一例である。例えば２行２列と５行５列を選択するような例も考えられる。
また、より多段階でレート制御エリアの範囲の選択ができるようにしてもよい。例えば２行２列と５行５列と７行７列を選択できるようにするなどである。
もちろん特に選択可能な行列数を限定せずに、画像解析やユーザ入力等に応じて、適切な行数、列数でレート制御エリアが設定されるようにしてもよい。
またレート制御エリアとしての範囲は、例えば画像内容に応じて変えることも望ましい。例えば分割境界ｄｖの付近における、なめらかな画像内容の範囲に応じて、行数や列数を設定するということが考えられる。

第７の実施の形態のレート制御エリアを図１２Ａ、図１２Ｂに示す。これは第５，第６の実施の形態の考え方を合わせたものである。
レート制御エリアの範囲を例えば図１２Ａ、図１２Ｂのように切り換える例であるが、図１２Ａは分割境界ｄｖから１行１列をレート制御エリアとし、圧縮率Ｒ１とする例である。一方図１２Ｂは分割境界ｄｖから２行２列をレート制御エリアとし、圧縮率をＲ２とする例である。
例えば画像データＩＤＴの画像解析結果やユーザ操作に応じて、コントローラ１２がレート制御エリアの範囲及び圧縮率を可変設定するものとする。
これにより画像内容や処理の目的に沿った圧縮符号化が可能となる。

第８の実施の形態のレート制御エリアを図１３Ａ、図１３Ｂに示す。
これもレート制御エリアの範囲を例えば図１３Ａ、図１３Ｂのように切り換える例であるが、図１３Ａは水平方区の分割境界ｄｖから２行と垂直方向の分割境界ｄｖから１列をレート制御エリアとしている。一方、図１３Ｂは水平方区の分割境界ｄｖから１行と垂直方向の分割境界ｄｖから２列をレート制御エリアとしている。
つまり、水平方向と垂直方向でのレート制御エリアの範囲を可変するものである。

例えば水平方向のつなぎ目が目立つ画像の場合は図１３Ａが有効である。そしてこの場合、レート制御エリアの列数については少なくすることでデータ量削減に寄与する。
また垂直方向のつなぎ目が目立つ画像の場合は図１３Ｂが有効である。そしてこの場合、レート制御エリアの行数については少なくすることでデータ量削減に寄与する。

このように画像内容によって、水平方向、垂直方向のどちらでつなぎ目解消のためのレート制御エリアを広く採るかを可変することで、つなぎ目のめだちの解消とともに、データ量削減に寄与できる。
なお、更にこの考え方を進めて、レート制御エリアは水平方向の分割境界ｄｖに沿ったブロック行のみとしたり、逆に垂直方向の分割境界ｄｖに沿ったブロック列のみとしたりすることも考えられる。

第９の実施の形態のレート制御エリアを図１４Ａ、図１４Ｂに示す。
これはレート制御エリアの圧縮率を切り換える例である。図１４Ａは水平方区の分割境界ｄｖに沿ったブロックＢＫは圧縮率Ｒ２、垂直方向の分割境界ｄｖに沿ったブロックＢＫは圧縮率Ｒ１としている。
図１４Ｂは水平方区の分割境界ｄｖに沿ったブロックＢＫは圧縮率Ｒ１、垂直方向の分割境界ｄｖに沿ったブロックＢＫは圧縮率Ｒ２としている。
なお、いずれの場合も、水平、垂直の分割境界ｄｖの両方に沿うことになる角部のブロックＢＫは、圧縮率Ｒ１、Ｒ２のいずれもが考えられるが、接続点が集中することから、低い圧縮率Ｒ１としてビットレートを高くしておくとよい。

この場合、例えば水平方向のつなぎ目が目立つ画像の場合は図１４Ｂが有効で、垂直方向のつなぎ目が目立つ画像の場合は図１４Ａが有効である。それぞれの場合に他方の圧縮率を上げる（ビットレートを下げる）ことでデータ量削減に寄与する。

なお、図１３Ａ、図１３Ｂの考え方と、図１４Ａ、図１４Ｂの考え方を合わせたものも考えられる。即ち、図１３Ａ、図１３Ｂのように水平垂直方向の行数、列数を切り換えるとともに、圧縮率も水平方向のブロック行と垂直方向のブロック列とで切り換えるものとする。例えばレート制御エリアを、ある場合は、２行１列で行の圧縮率Ｒ１、列の圧縮率Ｒ２とし、他のある場合は、１行２列で行の圧縮率Ｒ２、列の圧縮率Ｒ１とするなどである。もちろん、より多段階に切り換えられるようにしてもよい。

以上、各種の実施の形態のレート制御エリアや、それらの変形例に言及してきたが、レート制御エリアの設定例は更に各種考えられる。図５，図８，図９，図１０Ａ，図１０Ｂ，図１１Ａ，図１１Ｂ，図１２Ａ，図１２Ｂ，図１３Ａ，図１３Ｂ，図１４Ａ，図１４Ｂの各例のうちの複数の例の組み合わせも各種想定される。
画像内容やユーザ入力等に応じてレート制御エリアの設定や圧縮率を切り換える場合も、これら各例が適用できる。
さらに以上の各例では、分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４のそれぞれにおいて同様に（同様の規則で）レート制御エリアが設定される例としたが、互いにレート制御エリアの範囲や圧縮率が異なるようにしてもよい。
例えば分割画像データＰＰ１では、レート制御エリアが１行１列に設定され、分割画像データＰＰ３ではレート制御エリアが２行１列に設定されるなどである。
或いは分割画像データＰＰ１では、レート制御エリアが１行１列で圧縮率Ｒ１に設定され、分割画像データＰＰ３ではレート制御エリアが２行１列で圧縮率Ｒ２に設定されるなども考えられる。

また以上の実施の形態では、例えば図３Ａ、図３Ｂのように元の画像データＩＤＴを４分割する場合で述べたが、分割の数や分割境界ｄｖの位置は多様に考えられる。
例えば図１５は、１０Ｋ×４Ｋのサイズの画像データを例示している。
これを分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４，ＰＰ５，ＰＰ６に分割する分割境界ｄｖを設定する。この場合、分割画像データＰＰ１，ＰＰ２，ＰＰ４，ＰＰ５は４Ｋ×２Ｋの画像データとなり、分割画像データＰＰ３，ＰＰ６は２Ｋ×２Ｋの画像データとなる。このような分割を行う場合も、斜線部で示すレート制御エリアＲＣＡを設定し、その範囲では圧縮率を低くしてビットレートが高くなるようにすることで、復号して表示をする際につなぎ目の目立ちを解消させることができる。

＜６．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
実施の形態の符号化装置１０は、処理対象の画像データに対する符号化処理を行う圧縮エンコーダ１１（符号化処理部）と、処理対象の画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、レート制御エリア以外（通常処理エリア）よりもビットレートが高くなるように符号化処理を制御するコントローラ１２（制御部）とを備えている。
これによりレート制御エリアを構成するデータについては画像内の通常処理エリアよりも情報量が多くなる。画像を分割された状態で圧縮符号化が行われている画像を、復号してつなぎ合わせると、その境界部分で画像の継ぎ目が目立つことがあるが、分割境界ｄｖの近傍のレート制御エリアについてビットレートを上げておくことで、継ぎ目が目立つことを防止できる。これにより画像を分割してエンコード、デコードする画像処理系において高品位な画像を表示させることができるようになる。
特にＬＥＤディスプレイのような自発光型表示デバイスでの大画面表示において好適である。

実施の形態の符号化装置１０は、圧縮エンコーダ１１で圧縮符号化処理を行うが、コントローラ１２は、レート制御エリアについては通常処理エリアに対する圧縮率よりも低い圧縮率での圧縮符号化処理を指示するようにしている。
即ち分割境界の近傍のレート制御エリアのデータは、低い圧縮率で圧縮処理されることでビットレートが高くなるようにする。
通常処理エリアに関しては比較的高い圧縮率ＲＮで圧縮を行い、レート制御エリアについては比較的低い圧縮率Ｒ１やＲ２で圧縮を行う。これにより圧縮後のデータ量としてレート制御エリアでは画像データのビットレートが高くなる。
ビットレートが低いと圧縮誤差が目立つことになり、分割境界近傍では誤差が広がることで継ぎ目が見えてしまう現象が発生する。そこで圧縮率を下げてデータ量を多くし、圧縮誤差を低減する。これにより復号・合成後の表示画像においてつなぎ目が目立つという現象を回避できる。
なお実施の形態ではコントローラ１２が図６又は図７のような制御処理を行うとしたが、圧縮エンコーダ１１内で、例えばレートコントローラ３４が当該処理を行うものとしてもよい。

第１，第２の実施の形態として示した処理（図６，図７参照）では、コントローラ１２は、処理対象の画像データの分割境界に基づいてレート制御エリアを設定する処理を行うものとした（Ｓ１０３，Ｓ１１１）。
例えばレート制御エリアは、分割境界ｄｖからｘ行数又はｙ列数のブロックまでなどとして規則的に設定してもよいし、ユーザ操作や画像内容に応じて可変設定してもよい。コントローラ１２の処理としてレート制御エリアを設定することで柔軟な処理設定が可能となる。
なお、レート制御エリアは画像サイズやブロックＢＫのサイズなどに応じて固定的に設定されるようにしてもよい。

第１の実施の形態では、コントローラ１２は処理対象の画像データの分割境界ｄｖを設定し（図６のＳ１０２）、分割境界に基づいてレート制御エリアを設定し（Ｓ１０３）、レート制御エリアについては通常処理エリアよりもビットレートが高くなるように指示して処理対象の画像データＩＤＴに対する符号化処理を圧縮エンコーダ１１に実行させる（Ｓ１０４）ようにした。
即ち分割境界ｄｖを設定してレート制御エリアを設定した上で、レート制御エリアを指示して符号化処理を実行させる。これによりレート制御エリアで圧縮率を異ならせるような圧縮符号化が実行される。
この場合、元の画像データに対して、任意に領域分割することができるため、復号系、表示系の装置や回路構成に応じた分割境界設定が可能となり、その場合に適切にレート制御エリアを設定することができる。

また第１の実施の形態では、コントローラ１２は、符号化処理が行われた画像データを、設定した分割境界で分割された複数の画像データとして扱われるように制御する例を述べた（図６のＳ１０５）。
即ち元の画像データＩＤＴ全体で圧縮処理がされた後に、分割された複数の圧縮画像データｃＩＤＴ（例えば圧縮画像データｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）が記憶されたり送信されたりするように制御する。
これにより復号時に接合される複数の分割領域の圧縮画像データｃＩＤＴが用意される。その圧縮画像データｃＩＤＴはそれぞれ接合する境界付近の画像データが高いビットレートとなっていることになる。

第２の実施の形態では、コントローラ１２は、処理対象の画像データＩＤＴの分割境界ｄｖを設定し（図７のＳ１０２）、分割境界に基づいて画像データを分割し（Ｓ１１０）、分割領域毎にレート制御エリアを設定して（Ｓ１１１）、符号化処理を圧縮エンコーダ１１に実行させる（Ｓ１１２）例を述べた。
このような処理でも、レート制御エリアで圧縮率が異なるような圧縮符号化が実行される。そしてこの場合も、元の画像データに対して、任意に領域分割することができるため、復号系、表示系の装置や回路構成に応じた分割境界設定が可能となり、その場合に適切にレート制御エリアを設定することができる。

第１、第３から第９の実施の形態では、複数の画素データから成るブロックＢＫを符号化処理単位としたときに、レート制御エリアには、少なくとも分割境界に接するブロックＢＫが含まれるものとした。即ち一辺が分割境界を形成しているブロックＢＫの行又は列が、レート制御エリアに含まれる。
例えば図５，図８，図９，図１０Ａ，図１０Ｂ，図１１Ａ，図１１Ｂ，図１２Ａ，図１２Ｂ，図１３Ａ，図１３Ｂ，図１４Ａ，図１４Ｂのいずれの例も分割境界ｄｖに接するブロックＢＫ（斜線部）はレート制御エリアとしている。このように少なくとも分割境界に接するブロックＢＫがレート制御エリアに含まれ、高ビットレートとされることで、復号後の表示の際のつなぎ目の目立ちの防止に有効となる。
なお、図５のようにビットレートを高くするレート制御エリアを最小限とすればデータ量の削減に適している。

第３、第４、第６、第７、第８の実施の形態では、レート制御エリアには、分割境界に接するブロックの行から連続する複数ブロック行、又は分割境界に接するブロックの列から連続する複数ブロック列が含まれる場合を示した。
即ち少なくとも分割境界に接するブロックの行又は列から複数の行又は列にわたってレート制御エリアとされ、それらのブロックはビットレートが高くなる場合があるものとする。例えば図８，図９，図１１Ｂ，図１２Ｂ，図１３Ａ，図１３Ｂの例は、分割境界ｄｖに接するブロックＢＫ（斜線部）の行又は列から連続する複数の行又は列がレート制御エリアとしている。このよう分割境界に近いある程度の範囲をレート制御エリアとしてビットレートを高くすることで、復号後の表示の際のつなぎ目の目立ちの防止に有効となる。

第４、第９の実施の形態では、コントローラ１２が、レート制御エリア内で、圧縮率Ｒ１の圧縮符号化が行われるブロックＢＫと、圧縮率Ｒ２の圧縮符号化が行われるブロックＢＫが生じるように制御する例を述べた（図９、図１４Ａ、図１４Ｂ参照）。
即ちレート制御エリアに該当するブロックＢＫにおいて、異なる圧縮率による圧縮符号化が指示されるブロックＢＫが存在するようにする。
これにより例えば図９のように分割境界に向かって段階的にビットレートが高くなっていくような圧縮符号化が行われる。これも復号後の表示の際のつなぎ目の目立ちの防止に有効となる。
或いは図１４Ａ、図１４Ｂのように垂直方向と水平方向のブロックで圧縮率が異なることで、画像に応じた適応的な圧縮符号化が行われる。これにより高画質化とデータ量削減の要望に対応できる場合がある。

第６、第７、第８の実施の形態では、コントローラ１２は、レート制御エリアに該当するブロックを可変設定する例を述べた。
即ちレート制御エリアの設定を固定的に行うのではなく、所定のアルゴリズムによりレート制御エリアが可変設定されるようにする。
例えば図１１Ａと図１１Ｂ、又は図１２Ａと図１２Ｂ、又は図１３Ａと図１３Ｂで説明した例のように、レート制御エリアとなるブロックＢＫの設定が、画像内容の解析結果に応じて可変されたり、或いはユーザ操作に応じて可変されるようにする。これにより状況に応じて適応的にレート制御エリアが設定されて圧縮符号化が行われる。
画像内容によっては、あまりレート制御エリアを広くしなくてもつなぎ目が目立たない場合もある。そのような画像については図１１Ａのようにレート制御エリアとなる行や列を少なくすれば、データ量削減の点で望ましいこととなる。一方、つなぎ目が目立ちやすい画像については、図１１Ｂのようにレート制御エリアとなる行や列を多くすることで、つなぎ目が目立つことの解消に有効である。
また水平方向、垂直方向で画像の特徴が異なる場合、図１２Ａと図１２Ｂ、又は図１３Ａと図１３Ｂのような可変設定も有効となる。

第５、第７、第９の実施の形態では、コントローラ１２は、レート制御エリアについて圧縮エンコーダ１１に指示する圧縮率を可変設定する例を述べた。
即ちレート制御エリアの圧縮率の設定を固定的に行うのではなく、所定のアルゴリズムにより可変設定されるようにする。
例えば図１０Ａと図１０Ｂで説明した例のように、レート制御エリアの圧縮率が、画像内容の解析結果に応じて可変されたり、或いはユーザ操作に応じて可変されるようにする。これにより状況に応じて適応的に圧縮率が選択されて圧縮符号化が行われる。
画像内容によっては、あまり圧縮率を下げなくてもつなぎ目が目立たない場合もある。そのような画像についてはレート制御エリアの圧縮率を高めにすることでデータ量削減の点で望ましいこととなる。一方、つなぎ目が目立ちやすい画像については、レート制御エリアの圧縮率を低くしデータ量を増やすことで、つなぎ目が目立つことの解消に有効である。図１２Ａと図１２Ｂの場合も同様である。
また水平方向、垂直方向で画像の特徴が異なる場合、図１３Ａと図１３Ｂのような圧縮率の可変設定も有効となる。

第８の実施の形態では、分割境界ｄｖが処理対象の画像データＩＤＴの水平方向と垂直方向に存在する場合に、レート制御エリアにおける、水平方向の分割境界に沿ったブロックＢＫの行の数と、垂直方向の分割境界に沿ったブロックＢＫの列の数とが異なるように、前記レート制御エリアが設定される例を述べた。
即ちレート制御エリアを構成するブロック行数とブロック列数が異なるようにされ、レート制御エリアの水平方向と垂直方向のサイズが異なるようにする。
例えば図１３Ａのようにレート制御エリアを構成するブロックの行数が、ブロックの列数より多くすることで、水平方向のつなぎ目のめだちの解消に有利である。特に垂直方向のつなぎ目が目立たない場合には列数を少なくすることでデータ量削減に適している。
逆に図１３Ｂのようにレート制御エリアを構成するブロックの列数が、ブロックの行数より多くすることで、垂直方向のつなぎ目のめだちの解消に有利である。特に水平方向のつなぎ目が目立たない場合には行数を少なくすることでデータ量削減に適している。

第９の実施の形態では、分割境界が処理対象の画像データの水平方向と垂直方向に存在する場合に、レート制御エリアにおける、水平方向の分割境界に沿ったブロックについて圧縮エンコーダ１１に指示する圧縮率と、垂直方向の分割境界に沿ったブロックについて圧縮エンコーダ１１に指示する圧縮率とを異なるようにする例を述べた。
即ちレート制御エリアを構成するブロックＢＫのうち、水平行のブロックＢＫと垂直列のブロックＢＫとで圧縮率が異なるようにする。
例えば図１４Ａのように列方向に並ぶブロックＢＫについて圧縮率Ｒ１、行方向に並ぶブロックＢＫについて圧縮率Ｒ２とする。これは垂直方向のつなぎ目のめだちの解消に有利である。また水平方向のつなぎ目が目立たない場合には行方向に並ぶブロックＢＫについて、圧縮率Ｒ１より高い圧縮率Ｒ２とすることで、データ量削減に適している。
または図１４Ｂのように行方向に並ぶブロックＢＫについて圧縮率Ｒ１、列方向に並ぶブロックＢＫについて圧縮率Ｒ２とする。これは水平方向のつなぎ目のめだちの解消に有利である。また垂直方向のつなぎ目が目立たない場合には列方向に並ぶブロックＢＫについて、圧縮率Ｒ１より高い圧縮率Ｒ２とすることで、データ量削減に適している。
なお、図１３Ａ、図１３Ｂの考え方と図１４Ａ、図１４Ｂの考え方を合わせて、列方向と行方向のブロックで、分割境界ｄｖに沿った列数と行数が異なるようにするとともに、それぞれで圧縮率が異なるようにすることにも言及した。このようにレート制御エリアと圧縮率の両方を可変設定することによれば、より画像に適した圧縮符号化を行うようにすることもできる。

実施の形態の復号装置２０は、一の画像を形成する複数の分割領域となる複数の画像データとして圧縮画像データｃＩＤＴ（例えばｃＰＰ１，ｃＰＰ２，ｃＰＰ３，ｃＰＰ４）が入力される。それぞれは、分割された際の分割境界ｄｖの近傍に設定されたレート制御エリアについては通常処理エリアよりもビットレートが高くなるように符号化処理が施されたものである。これに対応して復号を行う複数のデコーダ（復号処理部）２１，２２，２３，２４を備えている。また復号装置２０は、複数のデコーダ２１，２２，２３，２４により復号された複数の画像データ（例えば分割画像データＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４）を合成して一の画像を構成する画像データとして表示を実行させる表示コントローラ（表示制御部）２５を備えている。
これによりレート制御エリアにおいてビットレートが高くされた分割領域の画像データが復号され、さらに分割境界でつなぎ合わされるように合成されて表示される。そしてこの場合に、つなぎ目の目立たない高品位な画像を表示させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
処理対象の画像データに対する符号化処理を行う符号化処理部と、
前記処理対象の画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、前記レート制御エリア以外よりもビットレートが高くなるように符号化処理を制御する制御部と、を備えた
符号化装置。
（２）
前記符号化処理部は圧縮符号化処理を行い、
前記制御部は、前記レート制御エリアについては、前記レート制御エリア以外に対する圧縮符号化処理の圧縮率よりも低い圧縮率での圧縮符号化処理を指示する
上記（１）に記載の符号化装置。
（３）
前記制御部は、前記処理対象の画像データの分割境界に基づいて前記レート制御エリアを設定する処理を行う
上記（１）又は（２）に記載の符号化装置。
（４）
前記制御部は、前記処理対象の画像データの分割境界を設定し、分割境界に基づいて前記レート制御エリアを設定し、
前記レート制御エリアについては前記レート制御エリア以外よりもビットレートが高くなるように指示して前記処理対象の画像データに対する符号化処理を前記符号化処理部に実行させる
上記（１）から（３）のいずれかに記載の符号化装置。
（５）
前記制御部は、前記符号化処理が行われた画像データを、設定した分割境界で分割された複数の画像データとして扱われるように制御する
上記（４）に記載の符号化装置。
（６）
前記制御部は、前記処理対象の画像データの分割境界を設定し、分割境界に基づいて画像データを分割し、分割領域毎に前記レート制御エリアを設定して符号化処理を前記符号化処理部に実行させる
上記（１）から（３）のいずれかに記載の符号化装置。
（７）
複数の画素データから成るブロックを符号化処理単位としたときに、
前記レート制御エリアには、少なくとも分割境界に接するブロックが含まれる
上記（１）から（６）のいずれかに記載の符号化装置。
（８）
複数の画素データから成るブロックを符号化処理単位としたときに、
前記レート制御エリアには、分割境界に接するブロックの行から連続する複数ブロック行、又は分割境界に接するブロックの列から連続する複数ブロック列が含まれる
上記（１）から（６）のいずれかに記載の符号化装置。
（９）
複数の画素データから成るブロックを符号化処理単位としたときに、
前記制御部は、前記レート制御エリア内で、第１の圧縮率の圧縮符号化が行われるブロックと、第２の圧縮率の圧縮符号化が行われるブロックが生じるように制御する
上記（１）から（８）のいずれかに記載の符号化装置。
（１０）
複数の画素データから成るブロックを符号化処理単位としたときに、
前記制御部は、前記レート制御エリアに該当するブロックを可変設定する
上記（１）から（９）のいずれかに記載の符号化装置。
（１１）
前記制御部は、前記レート制御エリアについて前記符号化処理部に指示する圧縮率を可変設定する
上記（１）から（１０）のいずれかに記載の符号化装置。
（１２）
分割境界が処理対象の画像データの水平方向と垂直方向に存在する場合に、
複数の画素データから成るブロックを符号化処理単位としたときに、
前記レート制御エリアにおける、水平方向の分割境界に沿ったブロック行の数と、垂直方向の分割境界に沿ったブロック列の数とが異なるように、前記レート制御エリアが設定される
上記（１）から（１１）のいずれかに記載の符号化装置。
（１３）
分割境界が処理対象の画像データの水平方向と垂直方向に存在する場合に、
複数の画素データから成るブロックを符号化処理単位としたときに、
前記制御部は、前記レート制御エリアにおける、水平方向の分割境界に沿ったブロックについて前記符号化処理部に指示する圧縮率と、垂直方向の分割境界に沿ったブロックについて前記符号化処理部に指示する圧縮率とを異なるようにする
上記（１）から（１２）のいずれかに記載の符号化装置。
（１４）
処理対象の画像データについて、当該画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、前記レート制御エリア以外よりもビットレートが高くなるように符号化処理をおこなう
符号化方法。
（１５）
一の画像を形成する複数の分割領域となる複数の画像データであって、それぞれが、分割された際の分割境界の近傍に設定されたレート制御エリアについては前記レート制御エリア以外よりもビットレートが高くなるように符号化処理が施された複数の画像データに対応して復号を行う複数の復号処理部と、
複数の前記復号処理部により復号された複数の画像データを合成して一の画像を構成する画像データとして表示を実行させる表示制御部と、を備えた
復号装置。

１，２ 画像処理装置、１０ 符号化装置、１１ 圧縮エンコーダ、１２ コントローラ、１３ 記憶部、１４ 通信部、１５ 操作部、１６ 画像ソース、２０ 復号装置、２１，２２，２３，２４ デコーダ、２５ 表示コントローラ、２６ 表示部、２７ 画像ソース

Claims (15)

1. 処理対象の画像データに対する符号化処理を行う符号化処理部と、
   前記処理対象の画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、前記レート制御エリア以外よりもビットレートが高くなるように符号化処理を制御する制御部と、を備えた
   符号化装置。
2. 前記符号化処理部は圧縮符号化処理を行い、
   前記制御部は、前記レート制御エリアについては、前記レート制御エリア以外に対する圧縮符号化処理の圧縮率よりも低い圧縮率での圧縮符号化処理を指示する
   請求項１に記載の符号化装置。
3. 前記制御部は、前記処理対象の画像データの分割境界に基づいて前記レート制御エリアを設定する処理を行う
   請求項１に記載の符号化装置。
4. 前記制御部は、前記処理対象の画像データの分割境界を設定し、分割境界に基づいて前記レート制御エリアを設定し、
   前記レート制御エリアについては前記レート制御エリア以外よりもビットレートが高くなるように指示して前記処理対象の画像データに対する符号化処理を前記符号化処理部に実行させる
   請求項１に記載の符号化装置。
5. 前記制御部は、前記符号化処理が行われた画像データを、設定した分割境界で分割された複数の画像データとして扱われるように制御する
   請求項４に記載の符号化装置。
6. 前記制御部は、前記処理対象の画像データの分割境界を設定し、分割境界に基づいて画像データを分割し、分割領域毎に前記レート制御エリアを設定して符号化処理を前記符号化処理部に実行させる
   請求項１に記載の符号化装置。
7. 複数の画素データから成るブロックを符号化処理単位としたときに、
   前記レート制御エリアには、少なくとも分割境界に接するブロックが含まれる
   請求項１に記載の符号化装置。
8. 複数の画素データから成るブロックを符号化処理単位としたときに、
   前記レート制御エリアには、分割境界に接するブロックの行から連続する複数ブロック行、又は分割境界に接するブロックの列から連続する複数ブロック列が含まれる
   請求項１に記載の符号化装置。
9. 複数の画素データから成るブロックを符号化処理単位としたときに、
   前記制御部は、前記レート制御エリア内で、第１の圧縮率の圧縮符号化が行われるブロックと、第２の圧縮率の圧縮符号化が行われるブロックが生じるように制御する
   請求項１に記載の符号化装置。
10. 複数の画素データから成るブロックを符号化処理単位としたときに、
    前記制御部は、前記レート制御エリアに該当するブロックを可変設定する
    請求項１に記載の符号化装置。
11. 前記制御部は、前記レート制御エリアについて前記符号化処理部に指示する圧縮率を可変設定する
    請求項１に記載の符号化装置。
12. 分割境界が処理対象の画像データの水平方向と垂直方向に存在する場合に、
    複数の画素データから成るブロックを符号化処理単位としたときに、
    前記レート制御エリアにおける、水平方向の分割境界に沿ったブロック行の数と、垂直方向の分割境界に沿ったブロック列の数とが異なるように、前記レート制御エリアが設定される
    請求項１に記載の符号化装置。
13. 分割境界が処理対象の画像データの水平方向と垂直方向に存在する場合に、
    複数の画素データから成るブロックを符号化処理単位としたときに、
    前記制御部は、前記レート制御エリアにおける、水平方向の分割境界に沿ったブロックについて前記符号化処理部に指示する圧縮率と、垂直方向の分割境界に沿ったブロックについて前記符号化処理部に指示する圧縮率とを異なるようにする
    請求項１に記載の符号化装置。
14. 処理対象の画像データについて、当該画像データを複数の領域に分割する際に分割境界の近傍となるレート制御エリアについては、前記レート制御エリア以外よりもビットレートが高くなるように符号化処理をおこなう
    符号化方法。
15. 一の画像を形成する複数の分割領域となる複数の画像データであって、それぞれが、分割された際の分割境界の近傍に設定されたレート制御エリアについては前記レート制御エリア以外よりもビットレートが高くなるように符号化処理が施された複数の画像データに対応して復号を行う複数の復号処理部と、
    複数の前記復号処理部により復号された複数の画像データを合成して一の画像を構成する画像データとして表示を実行させる表示制御部と、を備えた
    復号装置。

Images