JP4055994B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP4055994B2 JP4055994B2 JP2003030046A JP2003030046A JP4055994B2 JP 4055994 B2 JP4055994 B2 JP 4055994B2 JP 2003030046 A JP2003030046 A JP 2003030046A JP 2003030046 A JP2003030046 A JP 2003030046A JP 4055994 B2 JP4055994 B2 JP 4055994B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reduction
- evaluation
- size
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【発明の属する技術分野】
本発明は、画像表示手段に表示される画像の縮小処理に係り、特に、画像の性質に応じて縮小処理の縮小条件を自動的に調整する技術に関する。
【0002】
【従来の技術】
CRTディスプレイなどに表示されることを想定した画像を、例えば携帯情報端末(PDA)などの画素数の少ない表示デバイスに表示する際に、表示デバイスの表示領域kサイズに合わせて、画像を自動的に縮小する技術や、縦横回転と横方向縮小を行う技術が知られている(例えば特許文献1及び2参照)。
【0003】
画像は蓄積又は伝送に先立って圧縮されることが多い。静止画像の圧縮にはJPEGが、動画像の圧縮にはMPEGが広く利用されているが、これに代わる圧縮方式としてJPEG2000(ISO/IEC FCD 15444−1)と、その拡張方式Motion−JPEG2000(ISO/IEC FCD 15444−3)が注目されている(例えば非特許文献1参照)。Motion−JPEG2000では、時間的に連続した複数の静止画像それぞれをフレームとして動画像を扱うが、個々のフレームはJPEG2000により圧縮される。
【0004】
【特許文献1】
特開2001−228857号公報
【特許文献2】
特開2002−108755号公報
【非特許文献1】
野水泰之、「次世代画像符号化方式 JPEG2000」、
株式会社トリケップス、2001年2月13日
【0005】
【発明が解決しようとする課題】
前記従来技術のように表示領域のサイズに合わせて画像を自動的に縮小した場合に、画像の内容によっては縮小による弊害が大きい。例えば、紙文書を撮影した写真画像は、全体を表示できるように縮小されると、画像中の文字が潰れ判読不可能になることがある。
【0006】
本発明の目的は、このような画像縮小に伴う不都合を回避するための手段を提供することにある。
【0007】
【課題を解決するための手段】
前記目的を達成するため、請求項1に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理装置であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価手段と、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定手段とを有し、
前記評価手段は、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が、全符号量の所定割合を越える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【0008】
また、請求項2に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理装置であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価手段と、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定手段とを有し、
前記評価手段は、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【0009】
また、請求項3に係る発明は、請求項1又は2に係る発明の画像処理装置において、 JPEG2000 準拠の画像の符号化データの伸長処理の段階で前記縮小処理が行われることを特徴とする。
【0010】
また、請求項4に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理方法であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価ステップと、
前記評価ステップの評価結果に基づいて前記縮小処理の縮小条件を決定する決定ステップとを有し、
前記評価ステップは、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が、全符号量の所定割合を越える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【0011】
また、請求項5に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理方法であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価ステップと、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定ステップとを有し、
前記評価ステップは、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【0012】
また、請求項6に係る発明は、請求項4又は5に係る発明の画像処理方法において、 JPEG2000 準拠の画像の符号化データの伸長処理の段階で前記縮小処理が行われることを特徴とする。
【0019】
【発明の実施の形態】
以下の説明の理解を容易にするため、JPEG2000について概説する。図6は、JPEG2000の圧縮/伸長のアルゴリズムを説明するためのブロック図である。
【0020】
JPEG2000では、圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域(タイル)に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を1つのタイルとして処理することも可能である。各コンポーネントの各タイル画像は、色空間変換/逆変換部1で、圧縮率の向上を目的として、RGBデータやCMYデータからYCrCbデータへの色空間変換を施される。この色空間変換が省かれる場合もある。色空間変換後のタイル画像は、ウェーブレット変換/逆変換部2により2次元のウェーブレット変換(離散ウェーブレット変換)を施されサブバンドに分解される。
【0021】
図7はデコンポジション回数(レベル数)が3の場合のウェーブレット変換の説明図である。図7(a)に示すタイル画像(デコンポジションレベル0)に対する2次元ウェーブレット変換により、図7(b)に示すような1LL,1HL,1LH,1HHの各サブバンドに分割される。1LLサブバンド係数に対し2次元ウェーブレット変換が適用されることにより、図7(c)に示すように2LL,2HL,2LH,2HHのサブバンドに分割される。2LLサブバンド係数に対し2次元ウェーブレット変換が適用されることにより、図7(d)に示すように3LL,3HL,3LH,3HHのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図7(d)の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【0022】
このような低周波成分(LLサブバンド係数)の再帰的分割(オクターブ分割)により得られたウェーブレット係数は、量子化/逆量子化部3によってサブバンド毎に量子化される。JPEG2000ではロスレス(可逆)圧縮とロッシー(非可逆)圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に1であり、この段階では量子化されない。
【0023】
量子化後の各サブバンド係数は、エントロピー符号化/復号化部4でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び2値算術符号化からなるEBCOT(Embedded Block Coding with Optimized Truncation)と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【0024】
タグ処理部5において、エントロピー符号化/復号化部4で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。JPEG2000では、符号順序制御に関して、解像度レベル、位置(プレシンクト)、レイヤ、コンポーネント(色成分)の組み合わせによる5種類のプログレッション順序が定義されている。
【0025】
このようにして生成されるJPEG2000の符号化データ(圧縮画像データ)のフォーマットを図8に示す。図8に見られるように、符号化データはその始まりを示すSOCマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、SOTマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、SODマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ(Tile Data)で構成される。最後のタイルデータの後に、終了を示すEOCマーカと呼ばれるタグが置かれる。
【0026】
図9にメインヘッダの構成を示す。SIZ,COD,QCDの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図10にタイルヘッダの構成を示す。(a)はタイルデータの先頭に付加されるヘッダであり、(b)はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
【0027】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部5で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化/復号化部4によってエントロピー復号化される。復号化されたウェーブレット係数は量子化/逆量子化部3で逆量子化されたのち、ウェーブレット変換/逆変換部2で2次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換/逆変換部1で逆色変換処理を施されてRGBなどのコンポーネントから構成されるタイル画像に戻される。
【0028】
JPEG2000においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮されるが、分割領域として前記のタイルとコードブロックのほかにプレシンクトがあり、画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。
【0029】
プレシンクトに含まれる全てのコードブロックの符号の一部(例えば最上位から3ビット目までの3枚のビットプレーンの符号)を取り出して集めたものがパケットである。符号が空(から)のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図8の各タイルに関するSOD以下の部分がパケットの集合である。全てのプレシンクト(つまり、全てのコードブロック、全てのサブバンド)のパケットを集めると、画像全域の符号の一部(例えば、画像全域のウェーブレット係数の最上位のビットプレーンから3枚目までのビットプレーンの符号)ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【0030】
JPEG2000においてはLRCP、RLCP、RPCL、PCRL、CPRLの5つのプログレッション順序が規定されている。ここで、Lはレイヤ、Rは解像度レベル、Cはコンポーネント、Pはプリシンクト(位置)である。
【0031】
RLCPプログレッションの場合、R,L,C,Pの順にネストされた次のようなforループ
という順で、パケットのハンドリングがなされる。したがって、伸長時に、解像度レベル数をより少ない値に設定するならば、その解像度レベル数までのパケットだけをハンドリングさせ、符号化データを解像度の観点から部分的に伸長することができる(解像度スケーラビリティがある)。
【0032】
具体例を示せば、画像サイズ=100×100画素(タイル分割なし)、レイヤ数=2、解像度レベル数=3(レベル0〜2)、コンポーネント数=3、プリシンクトサイズ=32×32の場合における36個のパケットは、図11のような順に解釈される。この例で、解像度レベル数=2にセットするならば、図中の「終了」の段階、すなわち解像度レベル0と1のパケットを伸長した段階で伸長動作を終了させることができる。
【0033】
なお、パケットは、本体であるパケットデータ(符号)にパケットヘッダを付加した構造である。パケットヘッダには、パケットデータの長さなどの情報が含まれる。
【0034】
図1は、本発明の画像処理方法及び装置の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、画像の圧縮データ(符号化データ)又は非圧縮データを取り込む手段として、無線又は有線ネットワークとのインターフェースである通信インターフェース部100、外部機器とのインターフェースである外部インターフェース部102、各種メモリカード106の読み取りのための媒体インターフェース部104を有する。この画像処理装置は、具体的には例えば、携帯情報端末(PDA)や携帯電話器などの通信と画像表示の機能を有する機器であるが、本発明と直接関係のない構成については図示されていない。
【0035】
この画像処理装置を構成する要素の機能、例えば、伸長処理部110、表示画像処理部112、評価部116、縮小条件決定部118、制御部122の機能は、ハードウェアとして実現することも可能であるが、プログラムにより実現することも可能である。この画像処理装置において実行される画像処理手順(後述)を、携帯情報端末や携帯電話器に組み込まれたマイクロコンピュータや、パソコンなどの汎用コンピュータで実行させるためのプログラム、及び、同プログラムが記録された各種の記録(記憶)媒体も本発明に包含される。
【0036】
この画像処理装置は、画像の符号化データの伸長処理のための伸長処理部110、表示画像の縮小処理などを行う表示画像処理部112、画像の高周波成分の強度を評価する評価部116、その評価結果に基づいて画像の縮小条件を決定するための縮小条件決定部118、画像データを画面表示するための画像表示部114、画像データなどの記憶域や処理のための作業記憶域を提供する記憶部108、上に述べた各部の動作の制御や処理手順の制御を行う制御部122、ユーザが各種の指定や画像表示部114の表示画像のスクロール指示などを入力するための操作部120を備える。伸長処理部110は、圧縮された画像データを扱う場合には画像の縮小処理にも利用される。
【0037】
まず、通信インターフェース部100、外部インターフェース部102又は媒体インターフェース部104より、画像の符号化データを取り込み、その画像を画像表示部114に表示する動作について説明する。ここで、画像の符号化データはJPEG2000フォーマットのRLCPプログレッションの符号化データで、そのデコンポジション回数が3であるものとして説明する。図2は処理の流れを示すフローチャートである。
【0038】
画像の符号化データは、記憶部108にバッファ記憶された後、制御部122の制御により伸長処理部110に入力される(ステップS100)。伸長処理部110は、前述のJPEG2000のアルゴリズムにより符号化データの伸長処理を行う手段であるが、メインヘッダの内容を解析し、SIZマーカセグメントに記述されている画像サイズ、メインヘッダのPPMマーカセグメントに記述されているパケット長情報、メインヘッダのCODマーカセグメントに記述されているデコンポジション回数を抽出して記憶部108の所定記憶域に書き込む。なお、メインヘッダにPPMマーカセグメントが存在しない場合には、タイルヘッダのPPTマーカセグメントに記述されているパケット長情報が抽出される。メインヘッダ、タイルヘッダのいずれにも集約パケットヘッダが含まれていない場合には、タイルデータ中の各パケットのパケットヘッダよりパケット長情報が抽出される。
【0039】
制御部122は、記憶部108の前記所定記憶域を参照し、画像サイズと表示領域サイズを比較することにより処理の流れを制御する(ステップS102)。ここで、表示領域サイズとは、画像表示部114の画面上の画像が表示される領域のサイズであり、操作部120より予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【0040】
画像サイズが表示領域サイズ以下ならば、制御部122は、伸長処理部110で符号化データを最高解像度レベルまで伸長処理させ、表示画像処理部112には縮小処理を行わせない(ステップS114)。すなわち、縮小処理は抑止される。換言すれば、縮小倍率は1とされる。したがって、元の画像サイズと同じサイズの画像データが再生される。そして、この画像データをそのまま画像表示部114へ出力させ、画像表示部114の画像表示領域に画像を元のサイズで表示させる(ステップS116)。
【0041】
画像サイズが表示領域サイズより大きい場合、制御部122は、選択されたモードに応じて処理の流れを切り替える(ステップS104)。選択可能なモードとして非縮小モード、強制縮小モード、自動縮小モードがあり、ユーザは操作部120よりモードを選択することができる。
【0042】
非縮小モードが選択されている場合には、ステップS114の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【0043】
強制縮小モードが選択されている場合、制御部122からの指示に応じて、縮小条件決定部118は、記憶部108の前記所定記憶域を参照し、画像サイズと表示領域サイズとから縮小条件、すなわち伸長処理部110で伸長すべき解像度レベルと表示画像処理112での縮小倍率とを決定する(ステップS110)。例えば、表示領域サイズが解像度レベル1での画像サイズより大きく解像度レベル2での画像サイズより小さい場合には、解像度レベル2までの伸長と、解像度レベル2での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、制御部122は、決定した解像度レベルまでの伸長処理を伸長処理部110に実行させ、決定した倍率の縮小処理を表示画像処理部122で実行させ(ステップS112)、処理後の画像データを画像表示装置114へ出力させ表示させる(ステップS116)。
【0044】
自動縮小モードが選択されている場合、制御部122からの指示により、評価部116は画像の高周波成分の強度を評価するために、記憶部108の前記所定記憶域に記憶されているパケット長情報からサブバンド毎の符号量を計算し、図3に示すようなサブバンド符号量の分布を求める。そして、その分布が図3の(a),(b),(c)のいずれのパターンに該当するか調べることにより高周波成分の強度を「強」、「中間的」、「弱」の3段階で評価する(ステップS106)。
【0045】
図3はサブバンド符号量を解像度レベル毎に表したヒストグラムである。この例ではデコンポジション回数が3であるので、解像度レベル0のサブバンド符号量(3LLサブバンドの符号量)、解像度レベル1のサブバンド符号量(3HL,3LH,3HHサブバンド符号量)、解像度レベル2のサブバンド符号量(2HL,2LH,2HHサブバンド符号量)、解像度レベル3のサブバンド符号量(3HL,3LH,3HHサブバンド符号量)の分布が求められる。デコンポジション回数が異なる場合には、そのデコンポジション回数に対応した解像度レベル毎のサブバンド符号量が求められる。ただし、解像度レベルによってサブバンドの面積が異なるため、各解像度レベルのサブバンド符号量は単位面積当たりに換算された値である。各サブバンド符号量は対応した周波数成分量と略比例する関係があり、解像度レベル0のサブバンド符号量は最も低い周波数成分の量を反映し、解像度レベル3のサブバンド符号量は最も高い周波数成分の量を反映している。すなわち、図3のヒストグラムは、4つの周波数帯域に分けた画像の周波数分布と見ることができる。
【0046】
このように、この実施の形態においては、JPEG2000フォーマットの符号化データのメインヘッダ又はタイルヘッダ中の集約パケットヘッダあるいは各パケットのパケットヘッダに含まれるパケット長情報を参照することにより、簡単かつ高速に画像の周波数分布を取得している。また、後述のように、オクターブ分割の2次元ウェーブレット変換によるサブバンド符号量は、解像度レベル毎の画像サイズと表示領域サイズとの関係を高周波成分強度の評価に利用できる利点もある。
【0047】
次に、制御部122からの指示により、縮小条件決定部118は、評価部116の評価結果に基づいて縮小条件を決定する(ステップS108)。基本的には、高周波成分が強い画像では縮小による弊害が大きいため縮小しないか、縮小倍率を小さくするような縮小条件を決定し、高周波成分が弱い場合には表示領域サイズまで縮小するような縮小条件を決定する。さらに、高周波成分の強度が中間的な場合には、中間的なサイズまで縮小するような縮小条件を決定する。図3を参照して、より具体的に説明する。
【0048】
一実施例によれば、評価部116は、解像度レベル0の側からサブバンド符号量を加算していき、その値が全符号量(単位面積当たりに換算されたサブバンド符号量の総和)の例えば50%を越えるサブバンドを求める。図3では、網掛けされたサブバンドの符号量の合計が全符号量の50%を越えたことを示している。そして、50%を越えたサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、高周波成分の強度を評価する。
【0049】
図3(a)に示す例のように、符号量が50%を越えた解像度レベル(この例ではレベル0)での画像サイズが表示領域サイズより小さいケースでは、評価部116は高周波成分の強度を「弱」と評価する。
【0050】
このように評価された場合には、縮小条件決定部118は、表示領域サイズまで縮小するように縮小条件を決定する。すなわち、符号量が50%を越えた解像度レベルの1つ上の解像度レベル(この例ではレベル1)までの伸長処理を伸長処理部110で実行させ、それにより再生された画像データを表示画像処理部112でアスペクト比を変えずに表示領域サイズまで縮小させる、という縮小条件とする。高周波成分が弱い画像は、大きな縮小倍率で縮小しても、文字画像の場合のような大きな悪影響は生じにくい。
【0051】
図3(c)に示す例のように、符号量が50%を越えた解像度レベル(この例ではレベル3)での画像サイズが表示領域サイズより相当に大きいケースでは、評価部116は高周波成分の強度を「強」と評価する。
【0052】
このように評価された場合、縮小による弊害が大きいため、縮小条件決定部118は、伸長処理部110で最高解像度レベルまでの伸長処理を行わせ、表示画像処理部112では縮小処理を行わせない、という縮小条件に決定する。つまり、縮小は行われないことになる。紙文書の写真画像などは、高周波成分の強度が「強」と評価され縮小されないため、文字の潰れにより判読できなくなるような不都合は回避される。なお、高周波成分が「強」と評価された場合に、縮小処理を抑止するのではなく、縮小による悪影響が問題とならない程度の低い縮小倍率となる縮小条件を決定してもよく、この態様も本発明に包含される。
【0053】
図3(b)に示す例のように、符号量が50%を越えた解像度レベル(この例ではレベル2)での画像サイズは表示領域サイズより大きいが、その差がそれほど大きくないケースでは、評価部116は、高周波成分の強度を「中間的」と評価する。
【0054】
この場合、縮小条件決定部118は、中間的なサイズまで縮小するように縮小条件を決定する。例えば、最大解像度レベルより低レベルで、表示領域サイズより画像サイズが大きい解像度レベル(この例ではレベル2)までの伸長処理を伸長処理部110で行わせ、表示画像処理部112では縮小させない、という縮小条件とする。
【0055】
なお、評価部116において、最高解像度レベルの側からサブバンド符号量を加算し、その値が全符号量の例えば50%を越えるサブバンドを求め、そのサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、同様の評価を行ってもよい。このような態様も本発明に当然に包含される。
【0056】
また、評価部116において、高周波成分の強度を「強」と「非強」の2段階で評価し、「非強」と評価された場合に縮小条件決定部118で表示領域サイズまで縮小するような縮小条件を決定することも可能であり、かかる態様も本発明に含まれる。
【0057】
別の実施例によれば、評価部116において、最高解像度レベルの側から、サブバンド符号量を閾値Thと比較し、符号量が閾値Thを最初に越えた解像度レベルでの画像サイズと表示領域サイズとを比較することにより、前記実施例と同様な評価を行う。つまり、サブバンド符号量が閾値Thを越えた解像度レベルのなかで最も高い解像度レベルでの画像サイズと表示領域サイズとの比較によって、高周波成分の強度を評価する。閾値Thは、全符号量(単位面積当たりに換算されたサブバンド符号量の総和)に応じて適応的に決定されるのが好ましい。
【0058】
以上のようにして縮小条件が決定されると、制御部122は、決定された解像度レベルまでの伸長処理を伸長処理部110に実行させ、決定された縮小倍率の縮小処理を表示画像処理部122で実行させ(ステップS112)、処理後の画像データを画像表示装置114へ出力させ表示させる(ステップS116)。
【0059】
ここまでは、理解を容易にするためRLCPプログレッションの符号化データとして説明したが、他のプログレッションの符号化データであっても伸長処理部110の伸長処理の段階での縮小処理が可能である。JPEG2000の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているので、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能であるからである。
【0060】
なお、強制縮小モード又は自動縮小モードにおいて、常に符号化データを最高解像度レベルまで伸長し、必要な倍率の縮小処理を表示画像処理部112のみで実施させることも可能であり、このような態様も本発明に包含される。ただし、必要に応じて縮小処理段階でも縮小を行う態様は、伸長処理部110と表示画像処理部112における処理時間の短縮効果がある。また、評価処理ステップS106は、符号化データが入力された直後から実行を開始させてもよい。
【0061】
次に、通信インターフェース部100、外部インターフェース部102又は媒体インターフェース部104より、非圧縮の画像データを取り込み、その画像を画像表示部114に表示する処理について説明する。図4は処理の流れを示すフローチャートである。
【0062】
画像データは記憶部108にバッファ記憶される(ステップS100)。この時に、制御部122は画像データの画像サイズを取得して記憶部108の所定記憶域に書き込む。
【0063】
制御部122は、入力した画像データの画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する(ステップS202)。前述のように、表示領域サイズは操作部120より予め指定されるが、指定されないときはデフォルトのサイズが用いられる。
【0064】
画像サイズが表示領域サイズ以下ならば、制御部122は、入力した画像データをそのまま画像表示部114へ出力させ、画像表示部114の画像表示領域に画像を元のサイズで表示させる(ステップS214)。
【0065】
画像サイズが表示領域サイズより大きい場合、制御部122は予め選択されたモードに応じて処理の流れを切り替える(ステップS204)。前述のように非縮小モード、強制縮小モード又は自動縮小モードを操作部120より指定することができる。
【0066】
非縮小モードが選択されている場合には、ステップS214の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【0067】
強制縮小モードが選択されている場合、制御部122からの指示に応じて、縮小条件決定部118は、記憶部108の前記所定記憶域を参照し、画像サイズと表示領域サイズとから、アスペクト比を変えることなく画像を表示領域サイズへ縮小するための倍率を決定する。そして、制御部122は、決定した倍率の縮小処理を表示画像処理部122で実行させ(ステップS212)、処理後の画像データを画像表示装置114へ出力させ表示させる(ステップS214)。
【0068】
自動縮小モードが選択されている場合、制御部122からの指示により、評価部116は画像の高周波成分の強度を評価し(ステップS206)、その結果に基づいて縮小条件決定部118で表示画像処理部112における縮小倍率を決定する(ステップS208)。そして、決定された縮小倍率による入力画像データの縮小処理が表示画像処理部112で実行され(ステップS212)、処理後の画像データが画像表示部114へ出力され表示される(ステップS214)。
【0069】
一実施例によれば、評価部116において、入力画像データ、又は、入力画像データの画素を間引いた画像データに対して、図7に関連して説明したような2次元の離散ウェーブレット変換を行う。そして、各解像度レベル毎に、サブバンド係数の絶対値の総和を計算し、その値を単位面積当たりの値に換算する。この値は、各解像度レベルに対応した周波数成分の量と略比例する関係があるため、図3と同様のヒストグラムが得られる。このヒストグラムに基づいて、図2のステップS106と同様の評価を行う。この評価結果に基づいて、縮小条件決定部118は、図2のステップS108と同様な考え方で縮小倍率を決定する。例えば、高周波成分の強度が「弱」と評価された場合には、表示領域サイズまで縮小する縮小倍率を決定し、高周波成分の強度が「中間的」と評価された場合には表示領域サイズよりやや大きなサイズまで縮小する縮小倍率を決定し、高周波成分の強度が「強」と評価された場合には、縮小倍率を1とする(縮小しない)。
【0070】
なお、評価部116において、離散コサイン変換、フーリエ変換あるいは単純な帯域フィルタなどを利用して、入力画像データの周波数分布を求め、その分布から高周波成分の強度を評価してもよい。このような態様も本発明に包含される。要は入力画像の高周波成分の強度を評価できればよい。また、評価ステップS206わ、画像データが入力された直後から実行させるようにしてもよい。
【0071】
図5は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、静止画像又は動画像を撮影する電子カメラ装置である。
【0072】
図5において、300は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。301はCCD型又はMOS型のイメージャであり、撮像光学系300により結像される光学像を色分解してから光量に応じた電気信号に変換する。302はイメージャ301の出力信号をサンプリングしてデジタル信号に変換するCDS・A/D変換部であり、相関二重サンプリング(CDS)回路とA/D変換回路からなる。
【0073】
303は画像プロセッサであり、例えばプログラム(マイクロコード)で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ303は、CDS・A/D変換部302より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ301、CDS・A/D変換部302、表示部304を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部304は例えば液晶表示装置であり、モニタリング画像(スルー画像)や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【0074】
以上に説明した撮像光学系300、イメージャ301、CDS・A/D変換部302及び画像プロセッサ303は、静止画像又は動画像を撮影するための撮像手段を構成している。
【0075】
圧縮/伸長処理部320は、JPEG2000のアルゴリズムによる圧縮処理と伸長処理を行うための手段である。媒体インターフェース部312は、各種メモリカードなどの記録(記憶)媒体313に対する情報の書き込み/読み出しを行う手段である。314は有線又は無線の伝送路あるいはネットワークを通じ、外部の機器と接続するための外部インターフェース部である。
【0076】
システムコントローラ306は、マイクロコンピュータからなり、操作部307から入力されるユーザの操作情報や画像プロセッサ303から与えられる情報などに応答して、撮像光学系300のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ303、圧縮/伸長処理部320、媒体インターフェース部312などの制御を行う。305はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ303やシステムコントローラ306、圧縮/伸長処理部320、媒体インターフェース部312などの作業記憶域として利用される。
【0077】
図示されていないが、図1中の評価部116と縮小条件決定部118の機能があり、これはシステムコントローラ306又は画像プロセッサ303で動作するプログラムにより実現される。また、画像プロセッサ303は、図1中の表示画像処理部112の機能も有する。以下、これらの機能のための手段を評価手段(116)、縮小条件決定手段(118)、表示画像処理手段(112)と記す。これら手段をハードウェアとして設けてもよく、そのような態様も本発明に包含されることは当然である。また、圧縮/伸長処理部320もシステムコントローラ306又は画像プロセッサ303で動作するプログラムにより実現するとも可能であり、このような態様も本発明に包含される。
【0078】
動作は次の通りである。操作部307の撮影ボタンが押下されると、システムコントローラ306より撮影指示が画像プロセッサ303に与えられ、画像プロセッサ303は静止画像撮影又は動画像撮影の条件でイメージャ301を駆動する。撮影された画像のデータは画像プロセッサ303を経由してメモリ305に一時的に記憶される。そして、この画像データは、予め指定された又はデフォルトの圧縮率で圧縮/伸長処理部308でJPEG2000のアルゴリズムにより圧縮され、その符号化データは媒体インターフェース部312により記録媒体313に記録される。
【0079】
この電子カメラ装置は、外部インターフェース部314を介し接続されたディスプレイ装置、携帯情報端末、携帯電話器などの画像表示画面を持つ外部機器、又は、表示部304に、その表示領域サイズに応じたサイズで記録画像を表示させることができる。この場合の動作を、図2のフローチャートを援用して説明する。
【0080】
システムコントローラ306の制御により、記録媒体313に記録された画像の符号化データが媒体インターフェース部312によってメモリ305に読み出される(ステップS100)。読み出される画像の選択は、例えば、表示部304に表示されたサムネイルを操作部307から指定することにより行われる。圧縮/伸長処理部320は、その符号化データのヘッダ情報を解析し、メインヘッダのSIZマーカセグメントに含まれる画像サイズ、メインヘッダのPPMマーカセグメント又はタイルヘッダのPPTマーカセグメントに含まれるパケット長情報、メインヘッダのCODマーカセグメントに含まれるデコンポジション回数を抽出してメモリ305の所定記憶域に書き込む。なお、PPMマーカセグメントもPPTマーカセグメントも存在しない場合には、タイルデータ中の各パケットのヘッダよりパケット長情報を抽出する。
【0081】
システムコントローラ306は、メモリ305の前記所定記憶域を参照し、そこに記憶されている画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する(ステップS102)。ここで、表示領域サイズとは、画像が表示される外部機器又は表示部304の画面又は画面上の領域のサイズであり、操作部307又は外部機器から予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【0082】
画像サイズが表示領域サイズ以下ならば、システムコントローラ306は、圧縮/伸長処理部320において符号化データを最高解像度レベルまで伸長処理させ(ステップS114)、再生された画像データを外部インターフェース部314より外部機器へ出力させる(ステップS116)。すなわち、元のサイズの画像が外部機器又は表示部304の表示領域に表示される。
【0083】
画像サイズが表示領域サイズより大きい場合、システムコントローラ306は操作部307又は外部機器より予め選択されたモードに応じて処理の流れを切り替える(ステップS104)。
【0084】
非縮小モードが選択されている場合には、ステップS114の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【0085】
強制縮小モードが選択されている場合、縮小条件決定手段(118)によって、画像サイズと表示領域サイズとから縮小条件、すなわち圧縮/伸長処理部320で伸長すべき解像度レベルと、表示画像処理手段(112)による縮小倍率とを決定する(ステップS110)。例えば、表示領域サイズが解像度レベル1での画像サイズより大きく解像度レベル2での画像サイズより小さい場合には、解像度レベル2までの伸長と、解像度レベル2での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、決定された解像度レベルまでの伸長処理が圧縮/伸長処理部320で実行され、再生された画像データに対し、決定された倍率の縮小処理が表示画像処理手段(122)で実行され(ステップS112)、処理後の画像データが外部インターフェース部314を介し外部機器へ出力され、又は表示部304へ出力される(ステップS116)。
【0086】
自動縮小モードが選択されている場合、評価手段(116)により画像の高周波成分の強度が評価され(ステップS106)、その評価結果に基づいて縮小条件決定手段(118)で縮小条件が決定される(ステップS108)。評価と縮小条件決定は図1の画像処理装置に関して説明した通りであるので説明を繰り返さない。そして、決定された解像度レベルまでの伸長処理が伸長処理部320で実行され、再生された画像データに対する決定された倍率の縮小処理が表示画像処理手段(122)で実行され(ステップS112)、処理後の画像データが外部機器又は表示部304へ出力される(ステップS116)。
【0087】
なお、圧縮された画像データとしてJPEG2000フォーマットの符号化データを前提として説明したが、本発明は、JPEG2000以外の圧縮方式で圧縮された画像データを扱う同様の画像処理装置に対しても本発明を適用し得ることは明らかである。空間解像度スケーラビリティを有する符号化データならば、前述のような伸長処理段階での縮小も可能である。
【0088】
【発明の効果】
以上に説明したように、本発明の画像処理装置又は画像処理方法によれば、画像の高周波成分の強度に基づいて縮小条件を自動的に調整することができるため、紙文書の写真画像などの高周波成分の強い画像については縮小処理を抑止し又は縮小倍率を下げることにより、縮小処理による弊害を回避し、その一方で、高周波成分が強くない縮小による悪影響の少ない画像については表示領域サイズなどへ縮小することができる。また、JPEG2000フォーマットの符号化データに関しては、サブバンド符号量の分布を利用することにより、簡単な処理で高周波成分の強度を的確に評価することができる。また、画像の符号化データを伸長して表示する場合に、符号化データの伸長処理の段階で縮小処理を行うことにより処理を効率化することができる。また、本発明のプログラム又は記録媒体によれば、パソコンなどの汎用コンピュータや各種機器に組み込まれたマイクロコンピュータなどを利用し、画像の縮小処理の縮小条件を画像の性質に応じて自動的に最適化することができる、等々の効果を得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態を説明するためのブロック図である。
【図2】画像の圧縮データを取り込み画像を表示する動作を説明するためフローチャートである。
【図3】サブバンド符号量分布に基づいた高周波成分の強度の評価方法及び縮小条件の決定方法の説明図である。
【図4】加増の非圧縮データを取り込み画像を表示する動作を説明するためのフローチャートである。
【図5】本発明の別の実施の形態を説明するためのブロック図である。
【図6】JPEG2000の圧縮/伸長アルゴリズムを説明するためのブロック図である。
【図7】2次元ウェーブレット変換の説明図である。
【図8】JPEG2000の符号化データのフォーマットを示す図である。
【図9】メインヘッダの説明図である。
【図10】タイルヘッダの説明図である。
【図11】RLCPプログレッションの符号化データにおけるパケットのハンドリングを説明するための図である。
【符号の説明】
110 伸長処理部
112 表示画像処理部
114 画像表示部
116 評価部
118 縮小条件決定部
304 表示部
320 圧縮/伸長処理部
Claims (6)
- 画像表示手段に表示される画像の縮小処理を行う画像処理装置であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価手段と、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定手段とを有し、
前記評価手段は、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が、全符号量の所定割合を越える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする画像処理装置。 - 画像表示手段に表示される画像の縮小処理を行う画像処理装置であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価手段と、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定手段とを有し、
前記評価手段は、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする画像処理装置。 - 請求項1又は2に記載の画像処理装置において、 JPEG2000 準拠の画像の符号化データの伸長処理の段階で前記縮小処理が行われることを特徴とする画像処理装置。
- 画像表示手段に表示される画像の縮小処理を行う画像処理方法であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価ステップと、
前記評価ステップの評価結果に基づいて前記縮小処理の縮小条件を決定する決定ステップとを有し、
前記評価ステップは、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が、全符号量の所定割合を越える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする画像処理方法。 - 画像表示手段に表示される画像の縮小処理を行う画像処理方法であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価ステップと、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定ステップとを有し、
前記評価ステップは、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする画像処理方法。 - 請求項4又は5に記載の画像処理方法において、 JPEG2000 準拠の画像の符号化データの伸長処理の段階で前記縮小処理が行われることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003030046A JP4055994B2 (ja) | 2003-02-06 | 2003-02-06 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003030046A JP4055994B2 (ja) | 2003-02-06 | 2003-02-06 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004242107A JP2004242107A (ja) | 2004-08-26 |
JP4055994B2 true JP4055994B2 (ja) | 2008-03-05 |
Family
ID=32957041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003030046A Expired - Fee Related JP4055994B2 (ja) | 2003-02-06 | 2003-02-06 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4055994B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4789192B2 (ja) * | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
CN113129344B (zh) * | 2019-12-31 | 2024-06-25 | 无锡祥生医疗科技股份有限公司 | 分辨率自适应方法、超声设备及存储介质 |
-
2003
- 2003-02-06 JP JP2003030046A patent/JP4055994B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004242107A (ja) | 2004-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
KR100971834B1 (ko) | 화상 부호화 방법 및 장치 | |
JP3928859B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2008533787A (ja) | 圧縮済領域における静止画像を処理するための方法、コンピュータプログラムプロダクト、および装置 | |
JP2004128583A (ja) | 撮像装置、画像処理方法、プログラム及び記録媒体 | |
US20040146205A1 (en) | Digital video compression | |
JP2004112760A (ja) | 画像記録装置及び画像データ選択方法 | |
US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2009302638A (ja) | 情報処理装置および方法 | |
JP2004254133A (ja) | 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体 | |
JP2004186871A (ja) | 画像処理装置、撮像装置、プログラム及び記憶媒体 | |
JP4532518B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
JP3966460B2 (ja) | 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体 | |
JP4129913B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006129248A (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
JP4749508B2 (ja) | 画像復号方法 | |
JP3888622B2 (ja) | 画像記録装置、画像記録方法、プログラム及び情報記録媒体 | |
JP3897253B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 | |
JP4667424B2 (ja) | 画像復号装置 | |
JP4667423B2 (ja) | 画像復号装置 | |
Chebil et al. | Pre-compression rate allocation for JPEG2000 encoders in power constrained devices | |
JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5244841B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4055994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |