JP2005062964A - Image processing system, image detection processing method, program, and storage medium - Google Patents
Image processing system, image detection processing method, program, and storage medium Download PDFInfo
- Publication number
- JP2005062964A JP2005062964A JP2003207743A JP2003207743A JP2005062964A JP 2005062964 A JP2005062964 A JP 2005062964A JP 2003207743 A JP2003207743 A JP 2003207743A JP 2003207743 A JP2003207743 A JP 2003207743A JP 2005062964 A JP2005062964 A JP 2005062964A
- Authority
- JP
- Japan
- Prior art keywords
- image
- group
- spatial frequency
- determined
- partial pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、直交変換処理により圧縮画像データを復号可能な画像処理装置、画像検出処理方法、プログラム及び記録媒体に関するものである。
【0002】
【従来の技術】
従来、Jpegファイル形式で保存された撮影画像データに注目画像が存在するか否かを検出する手法として、青空領域を検出する方法としては、画像全体を設定した特定領域ごとに分解して、その領域ごとの空間周波数特性を算出し、その結果と色相にて判定する方法が知られている。また、空を検出する技術が特許文献1に開示されている。
【0003】
【特許文献1】特開2001−195591号公報
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来例の方法では、画像全体を特定領域ごとの空間周波数を計算することで、膨大な計算処理能力を必要とした。最近普及している400万画素程度のデジタルカメラが最近普及しており、このようなデジタルカメラから出力される画像サイズの大きい画像データにつきパーソナルコンピュータで処理を実行した場合でも、大きな時間的ストレスが与えることになる。まして、最近製品が発売されている、デジタルカメラの記憶メディアを直接組み入れ印刷するダイレクト・フォト・プリンタなどの組み込み式の機器においては上記処理を実行することは実質上、使用が困難であった。
【0005】
従って、本発明の目的は、画像検出処理に係る負荷を低減し、例えばダイレクト・フォト・プリンタ等の処理能力の低い装置でも注目画像の検出処理を実行可能とすることにある。
【0006】
【課題を解決するための手段】
斯かる目的を達成するために、本発明の画像処理装置は、直交変換処理により圧縮画像データを復号可能な画像処理装置であって、前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定する判定手段と、前記判定手段により前記注目画像の定義に合致する範囲に適合すると判定された部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化するグループ生成手段と、前記グループ生成手段により生成された各グループの空間周波数特性を算出する算出手段と、前記算出手段により算出された空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記各グループ夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定する認定手段とを有することを特徴とする。
【0007】
また、本発明の画像処理装置は、直交変換処理により圧縮画像データを復号可能な画像処理装置であって、前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定する第1の判定手段と、前記第1の判定手段により前記注目画像の定義に合致する範囲に適合すると判定された部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化するグループ生成手段と、前記グループ生成手段により生成された第1のグループ群夫々の空間周波数特性を算出する第1の算出手段と、前記第1の算出手段により算出された空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを、前記第1のグループ群夫々について判定する第2の判定手段と、前記第2の判定手段により空間周波数特性が前記予め設定される前記注目画像の空間周波数特性の適正範囲に適合すると判定された第2のグループ群夫々の全画像に占める面積比率を算出する第2の算出手段と、前記第2の算出手段により算出された面積比率が所定の面積比率を上回るか否かを前記第2のグループ群夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定する認定手段とを有することを特徴とする。
【0008】
また、本発明の画像処理装置は、直交変換処理により圧縮画像データを復号可能な画像処理装置であって、前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定する第1の判定手段と、前記第1の判定手段により前記注目画像の定義に合致する範囲に適合すると判定された部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化するグループ生成手段と、前記グループ生成手段により生成された第1のグループ群夫々の全画像に占める面積比率を算出する第1の算出手段と、前記全画像に占める面積比率が所定の面積比率を上回るか否かを前記第1のグループ群夫々について判定する第2の判定手段と、前記第2の判定手段により前記全画像に占める面積比率が前記所定の面積比率を上回ると判定された第2のグループ群の夫々について、グループの最外郭に属する部分画素領域を除く領域の空間周波数特性を算出する第2の算出手段と、前記第2の算出手段により算出された空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記第2のグループ群の夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定する認定手段とを有することを特徴とする。
【0009】
また、本発明の画像検出処理方法は、直交変換処理により圧縮画像データを復号可能な画像処理装置による画像検出処理方法であって、前記画像処理装置は、前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定し、前記注目画像の定義に合致する範囲に適合すると判定した部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化し、前記グループ化により生成した各グループの空間周波数特性を算出するとともに、算出した空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記各グループ夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定することを特徴とする。
【0010】
また、本発明の画像検出処理方法は、直交変換処理により圧縮画像データを復号可能な画像処理装置による画像検出処理方法であって、前記画像処理装置は、前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定し、前記注目画像の定義に合致する範囲に適合すると判定した部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化し、前記グループ化により生成した第1のグループ群夫々の空間周波数特性を算出するとともに、算出した空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを、前記第1のグループ群夫々について判定し、空間周波数特性が前記予め設定される前記注目画像の空間周波数特性の適正範囲に適合すると判定した第2のグループ群夫々の全画像に占める面積比率を算出するとともに、算出した面積比率が所定の面積比率を上回るか否かを前記第2のグループ群夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定することを特徴とする。
【0011】
また、本発明の画像検出処理方法は、直交変換処理により圧縮画像データを復号可能な画像処理装置による画像検出処理方法であって、前記画像処理装置は、前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定し、前記注目画像の定義に合致する範囲に適合すると判定した部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化し、前記グループ化により生成した第1のグループ群夫々の全画像に占める面積比率を算出するとともに、前記全画像に占める面積比率が所定の面積比率を上回るか否かを前記第1のグループ群夫々について判定し、前記全画像に占める面積比率が前記所定の面積比率を上回ると判定した第2のグループ群の夫々について、グループの最外郭に属する部分画素領域を除く領域の空間周波数特性を算出するとともに、算出した空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記第2のグループ群の夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定することを特徴とする。
【0012】
また、本発明のプログラムは、前記画像検出処理方法をコンピュータに実行させることを特徴とする。さらに、本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【0013】
【発明の実施の形態】
一般的なデジタルカメラのデータ圧縮記録形式であるJpeg File形式の画像データを印刷する際、非圧縮データへ復元する前に、ブロック(8*8画素)ごとに輝度、色度ベースのDCT(離散コサイン変換)されたデータも取得し、その空間周波数特性などとブロックの配置及びその画像に占める比率により対象となりうる青空の有無とその領域を検出する。こうすることで、高度な計算をすることなく画像データブロックごとの交流成分情報等を取得し、その特性を利用して画像中の青空領域の検出が可能となる。
【0014】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
<第1の実施形態>
現在、最も一般的な画像圧縮ファイルの“Jpeg file”の情報省略と符号化・復号化について、説明する。
まず符号化であるが、通常、デジタルカメラやデジタルビデオなどでは、静止画をJpeg ファイルにて保存することが一般的になっている。この場合、入力機器の受光素子であるCCDなどの入った信号をA/D変換後、フレームメモリに取り込み、RGBもしくはCMYフィルタの情報を輝度と色度情報に変換する。その後、8*8(64個)正方画素ブロックに分割する。
【0015】
図3の▲1▼は輝度データのビットマップを8*8ブロックに分割した例を示した図である。▲2▼においては0〜255の画素値をレベルシフトして−128〜127の信号に変換する。▲3▼においては、DCT(離散コサイン変換)によりDCT係数を求める。▲4▼は、視覚特性を考慮した高周波成分の省略を大きくした量子化テーブルを示した図であり、このテーブルを用いて上記▲3▼の結果であるDCT係数に対して量子化を行う。▲5▼が量子化を行った結果である。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。
【0016】
次に、復号化においては、符号化の逆の工程を行う。
つまり、符号化信号を復号して、量子化DCT係数の値に復号する。そのために、符号化信号に量子化テーブルの該当する値夫々を乗ずることでDCT係数を得る。その後、逆DCTを行うことでレベルシフトした画像が復元され、更に逆レベルシフトの値128を加算することで各ブロックの画像が復号される。
【0017】
上記説明では、輝度情報と色度情報に分割したデータを合成しRGB画像に変換することを省略したが、符号化における流れとしては図2に示すように、カラー画像を輝度成分(Y)と2つの色度成分(Cb、Cr)に変換し、その各々を符号化して合成することで、圧縮画像を生成している。
【0018】
以上のような、圧縮画像データファイルであるJpeg画像を、プリントする方法としては、入力機器からの画像データをUSBや記憶メディアによって、PCに取り込んで画像を展開し、必要に応じて画像補正を加えた後プリンタへデータを送る場合や、入力機器からの画像データを直接プリンタへ入力し、プリンタの中で画像を解凍し、必要に応じて画像補正を加えた後印刷を行うなど、幾種類かの選択肢がある。
【0019】
いずれにしても良好な画像をプリントする為には、撮影画像データが、良質な撮影画像か補正が必要な画像かを判断し、忠実に印刷すべき良質な画像と、補正を行うことにより良質な画像に近付けた後に印刷を行うものとをより分ける必要がある。
【0020】
良好な画像とは、下記のようなことが考えられる。
1)ホワイトバランスが良好である。
2)コントラストが適切である。
3)必要な部分の諧調が割り当てられている。つまり、露出設定が良好である。
4)彩度が適正である。
5)銀塩写真のような仕上がりである。
6)人物など注目される画像が中心に補正されている。
【0021】
現在市販のPCプリンタやPCを経由しないダイレクトプリンタなどにおいても1)〜5)の項目においては程度の差も有るが行われている。ただし、その方法は設定した定義の元に、すべての画像に対して同じ処理定数を用いることが多く、それにより、各々の画像シーンに特化した定数変更の自由度がないために画像補正の効果を最大限に引き出すことが出来なかった。
【0022】
また、6)の注目画像に対する補正が行われていないのは、その検出に多大な処理が必要であることと、その方法が確立されていないことにより、特に処理能力のひ弱なダイレクトプリンタなどにおいては実施が難しいとされているが、本実施形態はこれを解決するものである。
【0023】
注目画像の対象としては、人物の肌や青空などが本発明の対象候補となり得るが、以下では青空領域の検出の場合についてのみ説明するが、同様に、人物肌の検出を行うことも可能である。
【0024】
補正への反映手段としては、Jpeg画像ファイルから注目画像の存在の検出と、その検出した画像に対する補正の必要の確認を経て、全体画像補正へ受け渡す方法となる。
【0025】
図1は、Jpegファイルを解凍する過程とその際に取得する情報について表したブロック図である。
JpegファイルをRGBのビットマップデータへ変換する過程においては、まずエントロピー復号化部12が符号テーブル11を用いてエントロピー復号を行い、次に、逆量子化部14が量子化テーブル13を用いて逆量子化を行った後、データとして記憶する。そして、この逆量子化されたデータは、ブロック単位のデータとして周波数変換されたものであり、このデータを画像周波数特性を得る為のデータとして取得する。その後、逆DCT部15が逆DCT処理と逆レベルシフトを行いYcc−RGB変換することで、通常のRGBビットマップデータに展開される。
【0026】
図4は、撮影画像データの中に画像補正を行う為に有効なレベルの青空領域の存在判定処理と、青空領域が存在する場合の対象領域指定処理の流れを示したフローチャートである。
【0027】
撮影画像データとして図11に示すような画像サンプル1を想定して検出過程を説明する。画像サンプル1は200万画素のデジタルカメラで撮影されたもので、UXGA(1600*1200)サイズの画像である。
【0028】
S401においては、図1で説明したJpegファイルの解凍過程で、画像ファイル全体領域に対する8*8ブロック単位でのDCT特性データを取得する。
【0029】
S402においては、画像ファイル全体領域に対して、画像圧縮単位である8*8ブロックごとの色度情報と輝度情報を取得し、予め設定している注目画像の定義に合致する色度もしくは色度比率範囲及び輝度範囲に適合するか否かを、8*8ブロックごとに判定し、適合ブロックを記憶する。
【0030】
色度情報の取得及び生成方法は、下記のいずれかの方法を利用することが考えられる。注目画像の特性により、より有効な方式を選択可能である。
【0031】
図8は、本実施形態で用いている色度検出ポイントを図示したものである。8*8ブロック全体の平均色度による判定である。このブロック内の平均色度の求め方としては、8*8ブロック全ての画素値の平均値を取る方法の他に、解凍中の逆DCTを行う前の色度データ(Cb,Cr)の中のDC成分から求めることも可能である。この方式の利点としては、ブロック全体の色調にて判定できるので、検出点の少ないものに比べて高い精度が期待できる。
【0032】
図7は、8*8ブロック四隅の画素の色度において、その全てが色度範囲に入っているかを確認し、全てが範囲に入っている時は、そのブロックを適合色度と判定している。図7においては上段の左から2番目と下段の左から1,2,3ブロックが該当する。上段の一番左のブロックは4ポイントのうち左上の色度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外と判定される。同じように上段の右側1,2ブロックと下段の一番右のブロックが範囲外となる。図9の例は、図7の例と同じ考えではあるが、全体画像における検出間隔を等分化する為のものである。
【0033】
また、輝度成分と色度成分の関係について説明する。
図23は、デジタルカメラでいろいろなシーンの青空領域を含む画像データ中の青空領域の色度比率をグラフ化したものである。
横軸は、赤の色度比率で、下記式Fにて算出したものである。
赤の色度比率=R/(R+G+B)・・・(式F)
縦軸は、緑の色度比率で、下記式Gにて算出したものである。
緑の色度比率=G/(R+G+B)・・・(式G)
【0034】
これだけでもかなり広い範囲の色度比率になりうることがわかる。この各データにおいて、輝度範囲を区切って表したものが以下の図である。図24は、輝度範囲を256段階中0〜139の範囲に入るもののみをグラフに表したものである。図25は、輝度範囲を256段階中140〜179の範囲に入るもののみをグラフに表したものである。図26は、輝度範囲を256段階中180〜199の範囲に入るもののみをグラフに表したものである。図27は、輝度範囲を256段階中200〜155の範囲に入るもののみをグラフに表したものである。
【0035】
上図24〜図27に示す分布から、輝度範囲を制限することにより色度比率範囲が狭くなっていることがわかる。この特性を利用することにより、輝度に依存しない色度比率範囲を対象とするより、より注目画像の検出精度を上げることが可能になる。
【0036】
この特性より算出した輝度と色度比率範囲の適正設定範囲として図28にて指定した範囲を本実施形態では使用する。ただし、輝度に依存しない色度比率範囲を設定しても、ある程度精度は落ちるが問題はない。
【0037】
S403においては、S402において記憶された適合ブロックが存在するか否かを判定する。ここで、適合ブロックが存在しない場合は、画像の中に注目画像が存在しない判定となり注目画像がない旨の判定情報をセットして、検出処理は終了する。また、適合ブロックが存在する場合は次のステップへ進む。
【0038】
図11の画像に対して、判定を行った結果を図12に示す。適合ブロック領域と判定された部分と非適合ブロック領域と判定した部分とを色分けして示している。
【0039】
S404においては、全ての適合ブロックにおいて、そのブロックの8方向(上下、左右、斜め)に適合ブロックが隣接しているか判定し、隣接するブロックが存在する場合は、更にそのブロックの隣接ブロックを検索して、グループを形成する。形成したグループにおいては、形成したブロック数の多い順にグループ番号をふる。一番大きいもの(含まれるブロック数が多いもの)がグループ1となる。
【0040】
図12のグループとしては、ほぼ画像上部の全領域を占める部分であるグループ1と電信柱で分けられた画像右上の上下2グループの合計3グループが候補グループとして形成される。
【0041】
S405においては、グループ単位で、S401で取得した各ブロックのDCTデータの平均値を算出する。DCT特性の出し方として、JpegにおけるDCT特性のAC成分63個の各々を算出することで、最大の空間周波数情報を得ることもできるが、処理の簡単化と必要な特性との関係で、本実施形態においては、63個の周波数成分に対して、周波数成分が低い方から10個分づつまとめて6個の特性と残りの3個(61〜63)の特性を算出して、63個の周波数成分を7グループの周波数成分特性として判定用データを作成する。
【0042】
S406においては、予め設定してある注目画像ごとの空間周波数特性の適正範囲にS405ステップで算出した各候補グループの空間周波数特性が適合するか比較判定を行う。ここで、適合する候補グループが存在しない場合は、画像の中に注目画像が存在しない判定となり注目画像がない判定情報をセットして、検出処理は終了する。また、適合する候補グループが存在する場合は次のステップへ進む。
【0043】
予め設定してある注目画像ごとの空間周波数特性の適正範囲は、画像サイズにより周波数特性が変わるので、サイズごとに特性が設定されるべきであり、基準画像に対して算術的に設定されたものを用いてもかまわない。
【0044】
S407においては、S406で適合した候補グループを注目画像と認定し、その領域情報を含む各種情報をセットして、終了する。ここで、画像における青空領域の検出を、高品位な画像補正につなげる実施例としては、下記のようなものがある。
1)青空領域の特性を反映した画像補正
2)青空領域の特性を解析し利用した上下判定
【0045】
<第2の実施形態>
先の第1の実施形態と同じ構成で、撮影画像データの中に画像補正を行う為に有効なレベルの青空領域の存在判定と存在する場合の対象領域指定を行う判定制御を図5のようにしたものである。
【0046】
図5について説明する。S501においては、図1で説明したJpegファイルの解凍過程で、画像ファイル全体領域に対する8*8ブロック単位でのDCT特性データを取得する。
【0047】
S502においては、画像ファイル全体領域に対して、画像圧縮単位である8*8ブロックごとの色度情報と輝度情報を取得し、予め設定している注目画像の定義に合致する色度もしくは色度比率範囲及び輝度範囲に適合するか、8*8ブロックごとに判定し、適合ブロックを記憶する。
【0048】
S503においては、S502において記憶された適合ブロックが存在するか否かを判定する。ここで、適合ブロックが存在しない場合は、画像の中に注目画像が存在しない判定となり注目画像がない旨の判定情報をセットして、検出処理は終了する。また、適合ブロックが存在する場合は次のステップへ進む。
【0049】
S504においては、全ての適合ブロックにおいて、そのブロックの8方向(上下、左右、斜め)に適合ブロックが隣接しているか判定し、隣接するブロックが存在する場合は、更にそのブロックの隣接ブロックを検索して、グループを形成する。形成したグループにおいては、形成したブロック数の多い順にグループ番号をふる。一番大きいもの(含まれるブロック数が多いもの)がグループ1となる。
【0050】
S505においては、グループ単位で、S501で取得した各ブロックのDCTデータの平均値を算出する。DCT特性の出し方として、JpegにおけるDCT特性のAC成分63個の各々を算出することで、最大の空間周波数情報を得ることもできるが、処理の簡単化と必要な特性との関係で、本実施例においては、63個の周波数成分に対して、周波数成分が低い方から10個分づつまとめて6個の特性と残りの3個(61〜63)の特性を算出して、63個の周波数成分を7グループの周波数成分特性として判定用データを作成する。
【0051】
S506においては、予め設定してある注目画像ごとの空間周波数特性の適正範囲にS505ステップで算出した各候補グループの空間周波数特性が適合するか比較判定を行う。ここで、適合する候補グループが存在しない場合は、画像の中に注目画像が存在しない判定となり注目画像がない判定情報をセットして、検出処理は終了する。また、適合する候補グループが存在する場合は次のステップへ進む。
【0052】
予め設定してある注目画像ごとの空間周波数特性の適正範囲は、画像サイズにより周波数特性が変わるので、サイズごとに特性が設定されるべきであり、基準画像に対して算術的に設定されたものを用いてもかまわない。
【0053】
S507においては、S506にて適合と判定した候補グループの全画像に対する面積比率を算出する。S508おいては、画像全体に占める各候補グループの面積比率を予め設定している認定基準面積比率より大きいか判定を行い、小さい場合は、その候補グループは注目画像としては小さ過ぎると判定する。サイズの大きい候補グループ1より各候補グループを順次判定する。候補グループ1が判定基準を満たさない場合は、画像の中に注目画像が存在しない判定となり注目画像がない判定情報をセットして、検出処理は終了する。また、適合する候補グループが存在する場合は次のステップへ進む。
【0054】
S509においては、S508で適合した候補グループを注目画像と認定し、その領域情報を含む各種情報をセットして、終了する。
【0055】
本実施形態は、上記第1の実施形態より処理は多くなるが、画像全体における面積比率という判定を設けたことにより画像全体から見るとほとんど影響を与えないような小さな領域しかない青空や誤検出を防ぐ性能が向上している。
【0056】
<第3の実施形態>
先の第1の実施形態と同じ構成で、撮影画像データの中に画像補正を行う為に有効なレベルの青空領域の存在判定と存在する場合の対象領域指定を行う判定制御を図6のようにしたものである。
【0057】
図6について説明する。S601においては、図1で説明したJpegファイルの解凍過程で、画像ファイル全体領域に対する8*8ブロック単位でのDCT特性データを取得する。
【0058】
S602においては、画像ファイル全体領域に対して、画像圧縮単位である8*8ブロックごとの色度情報と輝度情報を取得し、予め設定している注目画像の定義に合致する色度もしくは色度比率範囲及び輝度範囲に適合するか、8*8ブロックごとに判定し、適合ブロックを記憶する。
【0059】
S603においては、S602において記憶された適合ブロックが存在するか否かを判定する。ここで、適合ブロックが存在しない場合は、画像の中に注目画像が存在しない判定となり注目画像がない旨の判定情報をセットして、検出処理は終了する。また、適合ブロックが存在する場合は次のステップへ進む。
【0060】
S604においては、全ての適合ブロックにおいて、そのブロックの8方向(上下、左右、斜め)に適合ブロックが隣接しているか判定し、隣接するブロックが存在する場合は、更にそのブロックの隣接ブロックを検索して、グループを形成する。形成したグループにおいては、形成したブロック数の多い順にグループ番号をふる。一番大きいもの(含まれるブロック数が多いもの)がグループ1となる。
【0061】
S605においては、S604にて適合と判定した候補グループの全画像に対する面積比率を算出する。S606においては、画像全体に占める各候補グループの面積比率を予め設定している認定基準面積比率より大きいか判定を行い、小さい場合は、その候補グループは注目画像としては小さ過ぎると判定する。サイズの大きい候補グループ1より判定を行い候補グループ1が判定基準を満たさない場合は、画像の中に注目画像が存在しない判定となり注目画像がない旨の判定情報をセットして、検出処理は終了する。また、適合する候補グループが存在する場合は次のステップへ進む。
【0062】
S607においては、面積率を算出した候補グループにおける最外郭部分の8*8ブロックを外したものの中で空間周波数成分特性の平均値を算出する。これは、DCT特性を判定する時に、青空の空間周波数特性は高周波成分をあまり含まないことが考えられるが、検出した候補グループにおける最外郭部分の8*8ブロックにおいては、他の領域との境界という特性上、空間周波数成分の高周波成分を多く含む可能性があり、そのために判定を間違える可能性があることが考えられるので、候補グループにおける空間周波数成分を算出する際は、候補グループにおける最外郭の8*8ブロックを空間周波数特性の算出対象から外すことで、検出する注目画像の空間周波数特性をより精度高く検出することが可能となる。
【0063】
図11の画像サンプル1に対して、この場合の作業を入れたものが、図13となる。図13の1301の部分が候補グループ1の最外郭部分の8*8ブロックである。また、図13の1302の部分が候補グループ2の最外郭部分となり、その下の1303の部部が候補グループ3の最外郭部分となる。
【0064】
S608においては、予め設定してある注目画像ごとの空間周波数特性の適正範囲にS607ステップで算出した各候補グループの空間周波数特性が適合するか比較判定を行う。ここで、適合する候補グループが存在しない場合は、画像の中に注目画像が存在しない判定となり注目画像がない旨の判定情報をセットして、検出処理は終了する。また、適合する候補グループが存在する場合は次のステップへ進む。
【0065】
予め設定してある注目画像ごとの空間周波数特性の適正範囲は、画像サイズにより周波数特性が変わるので、サイズごとに特性が設定されるべきであり、基準画像に対して算術的に設定されたものを用いてもかまわない。
【0066】
S609においては、S608で適合した候補グループを注目画像と認定し、その領域情報を含む各種情報をセットして、終了する。
【0067】
<第4の実施形態>
上記第1〜第3の実施形態の手法で、撮影画像ファイルの中に、青空領域の有無とその領域の指定を含む各種情報を取り出すことができると、その情報より、より高度な情報を得ることができる。具体的には、天地の判定を得る方法について説明を行う。
【0068】
本実施形態を説明するための画像サンプル2を図15に示す。画像サンプル2は130万画素のデジタルカメラで撮影されたもので、SXGA(1280*1024)サイズの画像である。
【0069】
この画像に対して、先の第3の実施形態による適合色度で検出した結果のブロック分布は図18のようになる。グループとしては中央部を含む最も面積が大きい候補グループ1と画像の右中央付近の鉄条網で囲われた部分の候補グループ2が存在する。
【0070】
これに空間周波数特性の最終判定を行ったものが図14になる。候補グループ2は鉄条網の網の部分により空間周波数の高周波成分が高くなり、青空の定義である適応範囲から外れてしまったので、青空と認定されなかったものである。従って候補グループ1が青空として領域が認識されている。
【0071】
上記検出領域に対して上空から地上近辺までの空間を28にスライスして、上空から“Top1”〜“Top28”まで分類し、その輝度及びRGBの値(各8ビット)を取り出したものを図16に示す。
【0072】
グラフの横軸は、左の上空部“Top1”から右の地上近辺の“Top28”まで28段階に区切られ、縦軸は8ビット表現の256階調の目盛りをふってある。
【0073】
輝度及びRGB各値の変移としては、上空部の青系の彩度は高く、地上に近づくにつれて相対的に赤の比率が上昇し青から白の方向へ色相が変化していることがわかる。
【0074】
また、図17は、同じ青空のシーンを5社(A,B,C,D,E社)のデジタルカメラで撮影したものの青空領域における色度分布を解析した結果をグラフ化したものである。横軸は、左の上空部“Top1”から右の地上近辺の“Top5”まで5段階に区切られ、縦軸は、赤と緑の色度比率及び輝度値(0〜255)を1000で除算したものを表している。これにおいても、先の図16の結果と同じ傾向がうかがえる。従って、色度比率を用いても、赤色などの変移を見ることでも上下判定が可能である。また、色度の変化の変移に基づいても同様の上下判定を実行することが可能である。このような色度分布の変移傾向は、ほぼ普遍であり、青空領域における色度分布を解析することで地上における上下を判定することが可能である。
【0075】
色度分布の解析方法について図15の画像から青空領域検出をした結果の図14を基に説明する。
Jpeg画像展開した時の元画像の水平方向(H方向)と垂直方向(V方向)について色度分布解析を行う。デジタルカメラでの撮影では、画像を縦長方向もしくは横長方向にして行われるものが多く、斜め方向についての解析まで行うと処理が煩雑になるので本実施形態においては上記図14で示された2方向の分布解析を行う。ただし、精度を上げるために2方向より多い解析を行っても良い。
【0076】
上記2方向への解析手法を図10のフローチャートに示す。S1001としては、候補グループ1におけるブロックが水平方向に最大数並ぶラインを検出する。S1002としては、S1001にて検出した水平方向(H方向)の最大ラインの連続ブロックを水平方向に5グループ化して、基準側(左側)からG1(H1),G2(H2),G3(H3),G4(H4),G5(H5)として、そのグループ内における赤の値の平均値を算出する。
【0077】
図14では、最大160ブロックのところ140ブロックの連続するラインが検出された。これを5グループにする為、横方向に28個の連続としたグループを作成し、グループにおける赤の値の平均値を求める。
【0078】
S1003としては、候補グループ1におけるブロックが垂直方向に最大数並ぶライン検出する。S1004としては、S1003にて検出した垂直方向(V方向)の最大ラインの連続ブロックを水平方向に5グループ化して、基準側(左側)からG1(V1),G2(V2),G3(V3),G4(V4),G5(V5)として、そのグループ内における赤の値の平均値を算出する。
【0079】
図14では、最大128ブロックのところ85ブロックの連続するラインが検出された。これを5グループにする為、縦方向に17個の連続としたグループを作成し、グループにおける赤の値の平均値を求める。
【0080】
図19は、上記グループ化したものの算出値の結果をグラフ化したものである。横軸は左の方からグループ1(G1)で右はグループ5(G5)である。縦軸はグループ内の赤の平均値である。水平(H)と垂直(V)について表している。
【0081】
S1005としては、下記(式A)のように水平方向の“G1(H1)”と“G5(H5)”の差の絶対値を求めΔHとして保存する。
|H1−H5|=ΔH・・・(式A)
【0082】
S1006としては、下記(式B)のように水平方向の“G1(V1)”と“G5(V5)”の差の絶対値を求めΔVとして保存する。
|V1−V5|=ΔV・・・(式B)
【0083】
図21に、水平方向での色度分布解析処理であるフローチャートを示す。S2101としては、下記(式C)の条件2に合致しているか算出する。
H1≦H2<H3<H4、もしくは、H2>H3>H4≧H5・・・(式C)
【0084】
S2102としては、S2102の条件2を満足しているか判定する。条件2を満足しない場合は、画像検索方向に色度分布変化が存在しない判定となり、S2109において水平判定情報“Hset”に0をセットして、検出処理は終了する。また、条件2を満足する場合は次へ進む。
【0085】
S2103としては、下記(式D)を算出する。色度差が一番大きく出るグループ5(H5)とグループ1(H1)の値の差を求める。
ΔH‘=H5−H1・・・(式D)
【0086】
S2104としては、S2103の結果として、正負の符号を判定する。判定が正の場合は“H1”の方が赤の値が小さいので、グループ1が上空である可能性があるということがわかる。反対に判定が負の場合は“H5”の方が赤の値が小さいので、グループ5が上空である可能性があるということがわかる。
【0087】
S2105としては、上記結果より仮の水平方向の上指定であるHtopへ“H1”をセットする。その後S2107へ進む。S2106としては、上記結果より仮の水平方向の上指定であるHtopへ“H5”をセットする。その後S2107へ進む。
【0088】
S2107としては、ステップS1005にて算出された、色度差が一番大きく出るグループ5(H5)とグループ1(H1)の値の差の絶対値を読み出す。
【0089】
S2108としては、“ΔH”の値が30以上であるかを判定する。これは、値の変化の絶対量が、上下判定する判断基準となる設定値以上の差があるかを判定するものである。従って、基準値を超えた場合は、上下判定が認められる色度分布差があると判断する。ここで、Yesの場合はS2110へ、Noの場合はS2109へ進む。S2110としては、“Hset”に1をセットする。S2109としては、“Hset”に0をセットする。
【0090】
次に第2の方向である垂直方向(V方向)での色度分布解析処理であるフローチャートを図20に示す。図21に示すフローチャートの動作は、図20のフローチャートに示す動作と基本的に同じなので、説明は省略する。
【0091】
図21と図20のフローチャートの結果を受けて図22のフローチャートに示す処理を実行する。図22のフローチャートに示す動作について説明する。
【0092】
S2201においては、垂直方向における上下判定が認められる色度分布差があるかの判定である“Vset”の値を判別している。“1(ある)”の場合はS2202へ移行し、“0(ない)”場合はS2203へ移行する。
【0093】
S2202においては、水平方向における上下判定が認められる色度分布差があるかの判定である“Hset”の値を判別している。“1(ある)”の場合は,垂直水平両方向に色度分布の差が認められるので少なくとも2方向の内のどちらが上下か判定が出来ない為S2204へ移行する。“0(ない)”場合は、垂直方向の分布特性のみが条件を満たすので、上下判定が可能と判断し、垂直方向におけるどちらが上かを判定する為にS2205へ移行する。
【0094】
S2205においては、仮の垂直方向の上指定である“Vtop”の値がV1かどうかを判定する。V1の場合はS2206へ、V1でない場合はS2207へ移行する。
【0095】
S2206においては、画像における上下方向が垂直方向で上はV1側であることが確定し、Topとして最終的にV1をセットして終了する。
【0096】
S2207においては、画像における上下方向が垂直方向で上はV1側であることが確定し、Topとして最終的にV5をセットして終了する。
【0097】
S2203においては、水平方向における上下判定が認められる色度分布差があるかの判定である“Hset”の値を判別している。“0(ない)”の場合は,垂直水平両方向に色度分布の差が認められないので上下か判定が出来ない為S2204へ移行する。“1(ある)”場合は、水平方向の分布特性のみが条件を満たすので、上下判定が可能と判断し、水平方向におけるどちらが上かを判定する為にS2208へ移行する。
【0098】
S2204においては、青空検出領域の色度分布解析の結果として、上下判定が不可能であったことになる。判定不能をセットして終了する。
【0099】
S2208においては、仮の水平方向の上指定である“Htop”の値がH1かどうかを判定する。H1の場合はS2209へ、H1でない場合はS2210へ移行する。
【0100】
S2209においては、画像における上下方向が水平方向で上はH1側であることが確定し、Topとして最終的にH1をセットして終了する。
【0101】
S2210においては、画像における上下方向が水平方向で上はH5側であることが確定し、Topとして最終的にH5をセットして終了する。
【0102】
以上のように、上記実施形態によれば、青空領域の色度分布を解析することで画像の上下判定を行うことが可能となり、デジタルカメラから直接プリントする場合などのように、PCと比べ処理能力が低い組み込み式の機器においても製品として使用可能な範囲の処理で、印刷する圧縮画像ファイルに高度な補正処理を行うための一手段として画像中に青空領域の検出を行うことが可能となる。
【0103】
また、従来は、撮影画像を自動編集してアルバムなどの自動レイアウトアプリケーションで使用する場合、対象画像の上下が判定できず、レイアウトした画像が横向きや逆立ちして配置されてしまう問題があったが、上記実施形態によれば、検出された領域における色度分布を解析することで、画像の上下判定を行うことが可能となる。
【0104】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【0105】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0106】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0107】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0108】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0109】
【発明の効果】
本発明によれば、複数の部分画素領域により構成されるグループ毎に空間周波数特性を算出し、それらの空間周波数特性が注目画像の空間周波数特性の適正範囲に適合するか否かに応じて、注目画像に属するグループを検出するように構成したので、画像全体を空間周波数特性の算出対象とした従来技術と比べ画像検出処理に係る負荷が低減し、例えばダイレクト・フォト・プリンタ等の処理能力の低い装置でも注目画像の検出が可能となる。
【図面の簡単な説明】
【図1】Jpeg画像解凍時に必要なデータを取得する流れを示す概念図である。
【図2】画像データをJpeg形式へ変換する処理過程の流れを示す概念図である。
【図3】Jpegの画像圧縮単位である8*8Blockを例にしたJpeg形式へ変換する処理過程を示す図である。
【図4】本発明の第1の実施形態に係る青空検出処理を示したフローチャートである。
【図5】本発明の第2の実施例に係る青空検出処理を示したフローチャートである。
【図6】本発明の第3の実施形態に係る青空検出処理を示したフローチャートである。
【図7】Jpeg file画像圧縮単位である8*8Blockにおける、色度検出方法を説明するための図である。
【図8】Jpeg file画像圧縮単位である8*8BlockでのDC成分を利用した色度検出方法を説明するための図である。
【図9】3ビット間引きを利用して検出をした場合の8*8Blockにおける検出状況を示した図である。
【図10】本発明の第4の実施形態に係る検出した青空領域を利用した画像上下判定処理を示したフローチャートである。
【図11】青空検出の対象になる画像サンプルを示した図である。
【図12】図11のサンプル画像に対して、青空検出の方法として色度比率と輝度情報のみで検出した結果を示した図である。
【図13】図11のサンプル画像1に対して、青空検出の方法として、部分画素領域に対して隣接するものをグループとして設定した場合に検出した領域と、その領域の最外郭の部分画素領域を検出した時の検出結果を示した図である。
【図14】図15の画像サンプルより青空領域を検出した結果を示した図である。
【図15】青空検出後の上下判定処理を説明する為の画像サンプルを示した図である。
【図16】青空検出後の上下判定処理判定のための色度比率変化の根拠となる実データを示した図ある。
【図17】デジタルカメラ各社の製品にて青空を撮影した実データ(輝度と色度比率)を領域分布として示した図である。
【図18】図15の画像サンプル2より(8*8)ブロックの適正検出を行った結果を示した図である。
【図19】検出された領域におけるV(垂直方向)/H(水平方向)検出連続ブロックを5グループ化した時の例を示した図である。
【図20】検出された青空領域を利用した画像上下判定処理を示したフローチャートである。
【図21】検出された青空領域を利用した画像上下判定処理を示したフローチャートである。
【図22】検出された青空領域を利用した画像上下判定処理を示したフローチャートである。
【図23】青空領域を含む撮影画像データ中の青空領域の色度比率をグラフ化して示した図である。
【図24】青空領域を含む撮影画像データ中の青空領域における輝度範囲が0〜139の範囲に入るもののみの色度比率をグラフとして表した図である。
【図25】青空領域を含む撮影画像データ中の青空領域における輝度範囲が140〜179の範囲に入るもののみの色度比率をグラフとして表した図である。
【図26】青空領域を含む撮影画像データ中の青空領域における輝度範囲が180〜199の範囲に入るもののみの色度比率をグラフとして表した図である。
【図27】青空領域を含む撮影画像データ中の青空領域における輝度範囲が200〜255の範囲に入るもののみの色度比率をグラフとして表した図である。
【図28】青空領域を指定する為の輝度範囲と色度比率範囲の関係を表した図である。
【符号の説明】
11 符号テーブル
12 エントロピー復号化部
13 量子化テーブル
14 逆量子化部
15 逆DCT部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image detection processing method, a program, and a recording medium that can decode compressed image data by orthogonal transform processing.
[0002]
[Prior art]
Conventionally, as a method for detecting whether or not an image of interest exists in captured image data stored in the Jpeg file format, as a method for detecting a blue sky region, the entire image is decomposed for each specific region set, A method is known in which the spatial frequency characteristics for each region are calculated, and the determination is made based on the result and hue. Also,
[0003]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2001-195591
[0004]
[Problems to be solved by the invention]
However, the above-described conventional method requires enormous calculation processing capability by calculating the spatial frequency for each specific region of the entire image. Recently, a digital camera having about 4 million pixels that has been widely used has recently been widely used, and even if processing is performed on a personal computer for image data having a large image size output from such a digital camera, there is a large time stress. Will give. In addition, it is practically difficult to execute the above-described processing in a built-in device such as a direct photo printer that directly incorporates and prints a storage medium of a digital camera that has recently been released.
[0005]
Accordingly, an object of the present invention is to reduce the load related to the image detection process, and to enable the target image detection process to be executed even by an apparatus having a low processing capability such as a direct photo printer.
[0006]
[Means for Solving the Problems]
In order to achieve such an object, the image processing apparatus of the present invention is an image processing apparatus capable of decoding compressed image data by orthogonal transform processing, and each of the partial pixel areas which are compression units of the compressed image data. A determination unit that determines whether or not the acquired chromaticity information and luminance information match a range that matches a definition of the target image that is set in advance, and the determination unit determines whether the target image Among the partial pixel regions determined to be in conformity with the definition, a group generation unit that groups adjacent pixel regions and a spatial frequency characteristic of each group generated by the group generation unit are calculated. The calculation means and the spatial frequency characteristic calculated by the calculation means are adapted to an appropriate range of the spatial frequency characteristics of the image of interest set in advance. The whether determined for people each group respectively, and having a certification means for certifying groups that belong to the target image in accordance with the determination result.
[0007]
The image processing apparatus of the present invention is an image processing apparatus capable of decoding compressed image data by orthogonal transform processing, and includes chromaticity information acquired for each of the partial pixel areas that are compression units of the compressed image data, and A first determination unit that determines, for each of the partial pixel areas, whether the luminance information matches a range that matches a predetermined definition of the target image, and the definition of the target image by the first determination unit Among the partial pixel regions determined to be in conformity with the range matching with the group generation means for grouping adjacent partial pixel areas, and the spatial frequency characteristics of each of the first group groups generated by the group generation means And a suitable range of the spatial frequency characteristics of the image of interest in which the spatial frequency characteristics calculated by the first calculation means are preset. 2nd determining means for determining whether each of the first group groups is suitable, and appropriate spatial frequency characteristics of the image of interest whose spatial frequency characteristics are preset by the second determining means A second calculation means for calculating an area ratio of all the second group groups determined to be compatible with the range, and whether the area ratio calculated by the second calculation means exceeds a predetermined area ratio; It is characterized by determining whether each of the second group group determines whether or not and certifying means for certifying a group belonging to the image of interest according to the determination result.
[0008]
The image processing apparatus of the present invention is an image processing apparatus capable of decoding compressed image data by orthogonal transform processing, and includes chromaticity information acquired for each of the partial pixel areas that are compression units of the compressed image data, and A first determination unit that determines, for each of the partial pixel areas, whether the luminance information matches a range that matches a predetermined definition of the target image, and the definition of the target image by the first determination unit Among the partial pixel areas determined to match the range that matches the group generation means for grouping the adjacent partial pixel areas with each other and the first group group generated by the group generation means First calculation means for calculating the area ratio occupied and whether or not the area ratio occupied by all the images exceeds a predetermined area ratio are determined for each of the first group groups. And a portion belonging to the outermost group of each of the second group group determined by the second determination unit and the second group group determined by the second determination unit that the area ratio of the entire image exceeds the predetermined area ratio A second calculating means for calculating a spatial frequency characteristic of an area excluding the pixel area, and the spatial frequency characteristic calculated by the second calculating means is adapted to an appropriate range of the spatial frequency characteristic of the target image set in advance; Whether or not each of the second group group is determined, and a recognition unit that recognizes a group belonging to the target image according to the determination result.
[0009]
The image detection processing method of the present invention is an image detection processing method by an image processing device capable of decoding compressed image data by orthogonal transform processing, wherein the image processing device is a unit of compression of the compressed image data. Whether or not the chromaticity information and luminance information acquired for each of the pixel areas matches a range that matches the definition of the target image set in advance is determined for each of the partial pixel areas, and the target image is defined Among the partial pixel areas determined to match the matching range, adjacent partial pixel areas are grouped together, and the spatial frequency characteristics of each group generated by the grouping are calculated, and the calculated spatial frequency characteristics are preset. Each group is determined whether or not it fits within an appropriate range of the spatial frequency characteristics of the target image to be processed, and the determination result is Characterized in that it authorized the group belonging to the target image Te.
[0010]
The image detection processing method of the present invention is an image detection processing method by an image processing device capable of decoding compressed image data by orthogonal transform processing, wherein the image processing device is a unit of compression of the compressed image data. Whether or not the chromaticity information and luminance information acquired for each of the pixel areas matches a range that matches the definition of the target image set in advance is determined for each of the partial pixel areas, and the target image is defined Among the partial pixel regions determined to match the matching range, the adjacent partial pixel regions are grouped, and the spatial frequency characteristics of the first group group generated by the grouping are calculated, and the calculated spatial frequency It is determined for each of the first group groups whether or not the characteristics are suitable for an appropriate range of the spatial frequency characteristics of the image of interest set in advance. The area ratio of the second group group that has been determined to have a spatial frequency characteristic suitable for the preset appropriate range of the spatial frequency characteristic of the image of interest is calculated, and the calculated area ratio is a predetermined area. Whether or not the ratio exceeds the ratio is determined for each of the second group groups, and the group belonging to the target image is identified according to the determination result.
[0011]
The image detection processing method of the present invention is an image detection processing method by an image processing device capable of decoding compressed image data by orthogonal transform processing, wherein the image processing device is a unit of compression of the compressed image data. Whether or not the chromaticity information and luminance information acquired for each of the pixel areas matches a range that matches the definition of the target image set in advance is determined for each of the partial pixel areas, and the target image is defined Among the partial pixel areas determined to match the matching range, adjacent partial pixel areas are grouped together, and the area ratio of the first group group generated by the grouping to the total image is calculated, and It is determined for each of the first group groups whether the area ratio of all images exceeds a predetermined area ratio, and the area ratio of all images is For each of the second group groups determined to exceed the predetermined area ratio, the spatial frequency characteristic of the area excluding the partial pixel area belonging to the outermost outline of the group is calculated, and the calculated spatial frequency characteristic is preset. It is determined for each of the second group groups whether or not the appropriate range of the spatial frequency characteristics of the target image is satisfied, and a group belonging to the target image is identified according to the determination result.
[0012]
A program according to the present invention causes a computer to execute the image detection processing method. Furthermore, the computer-readable recording medium of the present invention is characterized in that the program is recorded.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
When printing image data in JPEG File format, which is a data compression recording format of a general digital camera, before restoring to uncompressed data, luminance and chromaticity based DCT (discrete) for each block (8 * 8 pixels) Cosine transformed data is also acquired, and the presence and area of a blue sky that can be targeted are detected based on the spatial frequency characteristics, the arrangement of blocks, and the ratio of the blocks to the image. By doing this, it is possible to acquire AC component information and the like for each image data block without performing advanced calculations, and to detect a blue sky region in the image using the characteristics.
[0014]
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.
<First Embodiment>
Now, description will be given of information omission and encoding / decoding of “Jpeg file” of the most common image compression file.
First, encoding is generally performed in digital cameras, digital videos, and the like, in which still images are stored as JPEG files. In this case, a signal containing a CCD, which is a light receiving element of the input device, is A / D converted and then taken into a frame memory to convert RGB or CMY filter information into luminance and chromaticity information. Then, it is divided into 8 * 8 (64) square pixel blocks.
[0015]
(1) in FIG. 3 is a diagram showing an example in which the luminance data bitmap is divided into 8 * 8 blocks. In {circle around (2)}, the pixel value of 0 to 255 is level-shifted and converted to a signal of −128 to 127. In (3), a DCT coefficient is obtained by DCT (discrete cosine transform). (4) is a diagram showing a quantization table in which omission of high-frequency components in consideration of visual characteristics is increased. Using this table, quantization is performed on the DCT coefficient resulting from (3) above. (5) is the result of quantization. This value is entropy encoded and expressed by a Huffman code to generate compressed data that is an encoded signal.
[0016]
Next, in decoding, the reverse process of encoding is performed.
That is, the encoded signal is decoded and decoded into a quantized DCT coefficient value. For this purpose, the DCT coefficient is obtained by multiplying the encoded signal by each corresponding value in the quantization table. Thereafter, the image subjected to the level shift is restored by performing inverse DCT, and the image of each block is decoded by adding the value 128 of the inverse level shift.
[0017]
In the above description, it is omitted to combine the data divided into luminance information and chromaticity information and convert it into an RGB image. However, as shown in FIG. 2, the color image is converted into a luminance component (Y) as shown in FIG. The image is converted into two chromaticity components (Cb, Cr), and each of them is encoded and combined to generate a compressed image.
[0018]
As a method for printing a JPEG image as a compressed image data file as described above, the image data from the input device is loaded into a PC by USB or storage medium, the image is developed, and image correction is performed as necessary. Various types, such as sending data to the printer after adding it, or inputting the image data from the input device directly into the printer, decompressing the image in the printer, performing image correction as necessary, and printing There are options.
[0019]
In any case, in order to print a good image, it is judged whether the photographed image data is a good photographed image or an image that needs to be corrected, and a good image to be printed faithfully and a good quality by performing correction. There is a need to separate what is printed after getting close to the correct image.
[0020]
The following can be considered as a good image.
1) White balance is good.
2) The contrast is appropriate.
3) The tone of the necessary part is assigned. That is, the exposure setting is good.
4) The saturation is appropriate.
5) The finish looks like a silver halide photograph.
6) The image of interest such as a person is corrected mainly.
[0021]
Even in commercially available PC printers and direct printers that do not go through a PC, the items 1) to 5) are performed to some extent. However, the method often uses the same processing constant for all images based on the definition that has been set, and there is no degree of freedom to change the constants specific to each image scene. The effect could not be maximized.
[0022]
In addition, the correction of the image of interest in 6) is not performed because a large amount of processing is necessary for the detection and the method has not been established. However, the present embodiment solves this problem.
[0023]
As the target of the target image, human skin, blue sky, and the like can be candidates for the present invention, but only the case of detecting the blue sky region will be described below, but it is also possible to detect human skin similarly. is there.
[0024]
As a means for reflecting the correction, a method of passing to the whole image correction is performed after detecting the presence of the image of interest from the Jpeg image file and confirming the necessity of correction for the detected image.
[0025]
FIG. 1 is a block diagram showing a process of decompressing a Jpeg file and information acquired at that time.
In the process of converting a Jpeg file into RGB bitmap data, the
[0026]
FIG. 4 is a flowchart showing the flow of the blue sky area existence determination process at a level effective for performing image correction in the captured image data, and the target area designation process when the blue sky area exists.
[0027]
A detection process will be described assuming that an
[0028]
In step S401, DCT characteristic data in units of 8 * 8 blocks with respect to the entire image file area is acquired in the decompression process of the JPEG file described with reference to FIG.
[0029]
In S402, chromaticity information and luminance information for each 8 * 8 block, which is an image compression unit, are acquired for the entire area of the image file, and the chromaticity or chromaticity matching the preset definition of the target image is acquired. It is determined for each 8 * 8 block whether or not the ratio range and the luminance range are matched, and the matched block is stored.
[0030]
It is conceivable to use one of the following methods as a method for acquiring and generating chromaticity information. A more effective method can be selected depending on the characteristics of the image of interest.
[0031]
FIG. 8 illustrates the chromaticity detection points used in this embodiment. The determination is based on the average chromaticity of the entire 8 * 8 block. As a method for obtaining the average chromaticity in this block, in addition to the method of taking the average value of the pixel values of all 8 * 8 blocks, the chromaticity data (Cb, Cr) before performing the inverse DCT during decompression is included. It is also possible to obtain from the DC component. As an advantage of this method, since the determination can be made based on the color tone of the entire block, higher accuracy can be expected compared with the case where there are few detection points.
[0032]
FIG. 7 shows whether the chromaticity of the pixels at the four corners of the 8 * 8 block is all within the chromaticity range, and if all are within the range, the block is determined to be the appropriate chromaticity. Yes. In FIG. 7, the second block from the left in the upper row and the 1, 2, and 3 blocks from the left row in the lower row correspond. In the upper leftmost block, the chromaticity at the upper left of the four points is determined to be a non-skin color pixel, and therefore a block including this is determined to be outside the skin color range. Similarly, the
[0033]
The relationship between the luminance component and the chromaticity component will be described.
FIG. 23 is a graph showing the chromaticity ratio of the blue sky region in the image data including the blue sky region of various scenes with the digital camera.
The horizontal axis is the chromaticity ratio of red and is calculated by the following formula F.
Red chromaticity ratio = R / (R + G + B) (Formula F)
The vertical axis represents the chromaticity ratio of green and is calculated by the following formula G.
Green chromaticity ratio = G / (R + G + B) (Formula G)
[0034]
It can be seen that this alone can result in a fairly wide chromaticity ratio. In each of these data, the following diagram shows the luminance range divided. FIG. 24 is a graph showing only the luminance range within the range of 0 to 139 in 256 steps. FIG. 25 is a graph showing only the luminance range within the range of 140 to 179 in 256 stages. FIG. 26 is a graph showing only the luminance range within the range of 180 to 199 in 256 steps. FIG. 27 is a graph showing only the luminance range within the range of 200 to 155 in 256 stages.
[0035]
It can be seen from the distributions shown in FIGS. 24 to 27 that the chromaticity ratio range is narrowed by limiting the luminance range. By using this characteristic, it is possible to further increase the detection accuracy of the target image, rather than targeting the luminance-dependent chromaticity ratio range.
[0036]
In this embodiment, the range specified in FIG. 28 is used as an appropriate setting range of the luminance and chromaticity ratio range calculated from this characteristic. However, even if a chromaticity ratio range that does not depend on luminance is set, the accuracy is reduced to some extent, but there is no problem.
[0037]
In S403, it is determined whether or not there is a matching block stored in S402. Here, when there is no matching block, it is determined that there is no image of interest in the image, and determination information indicating that there is no image of interest is set, and the detection process ends. If there is a matching block, the process proceeds to the next step.
[0038]
FIG. 12 shows the result of the determination performed on the image in FIG. A portion determined to be a conforming block region and a portion determined to be a non-conforming block region are shown in different colors.
[0039]
In S404, it is determined whether or not all conforming blocks are adjacent to the corresponding block in the eight directions (vertical, left and right, diagonal). If there are adjacent blocks, further search is performed for the adjacent blocks of the block. And form a group. In the formed group, group numbers are assigned in descending order of the number of formed blocks. The largest one (the one with the largest number of blocks included) is
[0040]
As a group in FIG. 12, a total of three groups, that is, a
[0041]
In S405, the average value of the DCT data of each block acquired in S401 is calculated for each group. As a method for obtaining the DCT characteristic, the maximum spatial frequency information can be obtained by calculating each of the 63 AC components of the DCT characteristic in Jpeg. In the embodiment, with respect to 63 frequency components, 6 characteristics and the remaining 3 (61 to 63) characteristics are calculated for 10 frequency components from the lowest frequency component, and 63 characteristics are calculated. Judgment data is created with the frequency component as the frequency component characteristics of seven groups.
[0042]
In S406, it is determined whether the spatial frequency characteristics of each candidate group calculated in step S405 are suitable for the appropriate range of the spatial frequency characteristics for each target image set in advance. Here, when there is no suitable candidate group, it is determined that the image of interest does not exist in the image, and determination information indicating that there is no image of interest is set, and the detection process ends. If there is a suitable candidate group, the process proceeds to the next step.
[0043]
The appropriate range of the spatial frequency characteristics for each image of interest that has been set in advance, since the frequency characteristics vary depending on the image size, the characteristics should be set for each size, and are set arithmetically with respect to the reference image May be used.
[0044]
In S407, the candidate group matched in S406 is recognized as the target image, and various information including the area information is set, and the process ends. Here, examples of connecting the detection of the blue sky region in the image to high-quality image correction include the following.
1) Image correction reflecting the characteristics of the blue sky region
2) Up / down judgment by analyzing and utilizing the characteristics of the blue sky region
[0045]
<Second Embodiment>
FIG. 5 shows determination control for determining the presence of a blue sky region at a level effective for performing image correction in the captured image data and specifying the target region when it exists in the same configuration as the first embodiment. It is a thing.
[0046]
FIG. 5 will be described. In step S501, DCT characteristic data in units of 8 * 8 blocks for the entire image file area is acquired in the process of decompressing the Jpeg file described with reference to FIG.
[0047]
In S502, chromaticity information and luminance information for each 8 * 8 block, which is an image compression unit, are acquired for the entire area of the image file, and the chromaticity or chromaticity that matches the preset definition of the target image is acquired. It is determined for each 8 * 8 block whether it matches the ratio range and the luminance range, and the matching block is stored.
[0048]
In S503, it is determined whether or not there is a matching block stored in S502. Here, when there is no matching block, it is determined that there is no image of interest in the image, and determination information indicating that there is no image of interest is set, and the detection process ends. If there is a matching block, the process proceeds to the next step.
[0049]
In S504, it is determined in all the matching blocks whether the matching block is adjacent in the eight directions (up, down, left, right, diagonal). If there is an adjacent block, the adjacent block of the block is further searched. And form a group. In the formed group, group numbers are assigned in descending order of the number of formed blocks. The largest one (the one with the largest number of blocks included) is
[0050]
In S505, the average value of the DCT data of each block acquired in S501 is calculated for each group. As a method for obtaining the DCT characteristic, the maximum spatial frequency information can be obtained by calculating each of the 63 AC components of the DCT characteristic in Jpeg. In the embodiment, for the 63 frequency components, 10 characteristics from the lowest frequency component are collectively calculated and 6 characteristics and the remaining 3 (61 to 63) characteristics are calculated. Judgment data is created with the frequency component as the frequency component characteristics of seven groups.
[0051]
In S506, it is determined whether or not the spatial frequency characteristics of each candidate group calculated in step S505 are suitable for the appropriate range of the spatial frequency characteristics for each target image set in advance. Here, when there is no suitable candidate group, it is determined that the image of interest does not exist in the image, and determination information indicating that there is no image of interest is set, and the detection process ends. If there is a suitable candidate group, the process proceeds to the next step.
[0052]
The appropriate range of the spatial frequency characteristics for each image of interest that has been set in advance, since the frequency characteristics vary depending on the image size, the characteristics should be set for each size, and are set arithmetically with respect to the reference image May be used.
[0053]
In S507, the area ratio of all the images of the candidate group determined to be suitable in S506 is calculated. In step S508, it is determined whether the area ratio of each candidate group in the entire image is larger than a preset authorized reference area ratio. If the area ratio is smaller, it is determined that the candidate group is too small as a target image. Each candidate group is sequentially determined from
[0054]
In S509, the candidate group matched in S508 is recognized as the target image, and various information including the area information is set, and the process is terminated.
[0055]
Although this embodiment requires more processing than the first embodiment, the determination of the area ratio in the entire image provides a blue sky or false detection that has only a small area that has little effect when viewed from the entire image. The performance to prevent is improved.
[0056]
<Third Embodiment>
FIG. 6 shows determination control for determining the presence of a blue sky region at a level effective for performing image correction in the captured image data and specifying the target region when it exists in the same configuration as in the first embodiment. It is a thing.
[0057]
FIG. 6 will be described. In step S601, DCT characteristic data in units of 8 * 8 blocks with respect to the entire area of the image file is acquired in the JPEG file decompression process described with reference to FIG.
[0058]
In S602, chromaticity information and luminance information for each 8 * 8 block, which is an image compression unit, are acquired for the entire area of the image file, and the chromaticity or chromaticity matching the preset definition of the target image is acquired. It is determined for each 8 * 8 block whether it matches the ratio range and the luminance range, and the matching block is stored.
[0059]
In S603, it is determined whether or not there is a matching block stored in S602. Here, when there is no matching block, it is determined that there is no image of interest in the image, and determination information indicating that there is no image of interest is set, and the detection process ends. If there is a matching block, the process proceeds to the next step.
[0060]
In S604, it is determined whether or not the matching blocks are adjacent in all the matching blocks in the eight directions (up, down, left and right, diagonal). If there are adjacent blocks, further search is performed for the neighboring blocks of the block. And form a group. In the formed group, group numbers are assigned in descending order of the number of formed blocks. The largest one (the one with the largest number of blocks included) is
[0061]
In S605, the area ratio of the candidate group determined to be suitable in S604 with respect to all images is calculated. In step S606, it is determined whether the area ratio of each candidate group in the entire image is larger than a preset authorized reference area ratio. If the area ratio is smaller, it is determined that the candidate group is too small as a target image. If the
[0062]
In S607, the average value of the spatial frequency component characteristics is calculated from the 8 * 8 blocks in the outermost portion of the candidate group for which the area ratio has been calculated. This is because when the DCT characteristic is determined, the spatial frequency characteristic of the blue sky may not contain much high-frequency components, but the 8 * 8 block in the outermost part of the detected candidate group has a boundary with other regions. Therefore, when calculating the spatial frequency component in the candidate group, there is a possibility that it contains a lot of high-frequency components of the spatial frequency component. By removing the 8 * 8 block from the calculation target of the spatial frequency characteristics, it becomes possible to detect the spatial frequency characteristics of the target image to be detected with higher accuracy.
[0063]
FIG. 13 shows the
[0064]
In S608, a determination is made as to whether or not the spatial frequency characteristics of each candidate group calculated in step S607 are suitable for the appropriate range of the spatial frequency characteristics for each target image set in advance. Here, when there is no suitable candidate group, it is determined that there is no image of interest in the image, and determination information indicating that there is no image of interest is set, and the detection process ends. If there is a suitable candidate group, the process proceeds to the next step.
[0065]
The appropriate range of the spatial frequency characteristics for each image of interest that has been set in advance, since the frequency characteristics vary depending on the image size, the characteristics should be set for each size, and are set arithmetically with respect to the reference image May be used.
[0066]
In step S609, the candidate group matched in step S608 is recognized as the target image, and various information including the area information is set, and the process ends.
[0067]
<Fourth Embodiment>
If various information including the presence / absence of a blue sky region and designation of the region can be extracted from the photographed image file by the method of the first to third embodiments, more advanced information is obtained from the information. be able to. Specifically, a method for obtaining the top / bottom determination will be described.
[0068]
An
[0069]
FIG. 18 shows a block distribution as a result of detecting this image with the matching chromaticity according to the third embodiment. As a group, there are a
[0070]
FIG. 14 shows the final determination of the spatial frequency characteristics.
[0071]
The above-mentioned detection area is obtained by slicing the space from the sky to the vicinity of the ground into 28, classifying from “Top1” to “Top28” from the sky, and extracting the luminance and RGB values (8 bits each). 16 shows.
[0072]
The horizontal axis of the graph is divided into 28 steps from the upper left “Top1” to the right “Top28” near the ground, and the vertical axis has a scale of 256 gradations expressed in 8 bits.
[0073]
As the transition of each value of luminance and RGB, the blue saturation in the sky is high, and it can be seen that the ratio of red increases relatively toward the ground and the hue changes from blue to white.
[0074]
FIG. 17 is a graph showing the results of analyzing the chromaticity distribution in the blue sky region of the same blue sky scene taken by digital cameras of five companies (A, B, C, D, E). The horizontal axis is divided into 5 steps from the top left “Top1” to the right “Top5” near the ground. The vertical axis divides the red and green chromaticity ratio and luminance value (0 to 255) by 1000. Represents what you did. Even in this case, the same tendency as the result of FIG. 16 can be seen. Therefore, the up / down determination can be performed by using the chromaticity ratio or by looking at the transition of red or the like. The same up / down determination can also be executed based on the change in the chromaticity change. Such transition tendency of the chromaticity distribution is almost universal, and it is possible to determine the upper and lower sides on the ground by analyzing the chromaticity distribution in the blue sky region.
[0075]
A chromaticity distribution analysis method will be described with reference to FIG. 14 showing a result of detecting a blue sky region from the image of FIG.
Chromaticity distribution analysis is performed in the horizontal direction (H direction) and vertical direction (V direction) of the original image when the Jpeg image is developed. In many cases, photographing with a digital camera is performed in a portrait or landscape orientation, and the processing becomes complicated if analysis in an oblique direction is performed. In this embodiment, the two directions shown in FIG. Perform a distribution analysis. However, more analyzes than two directions may be performed in order to increase accuracy.
[0076]
The analysis method in the two directions is shown in the flowchart of FIG. In S1001, a line in which the maximum number of blocks in the
[0077]
In FIG. 14, a continuous line of 140 blocks was detected at a maximum of 160 blocks. In order to make this into five groups, a group of 28 consecutive in the horizontal direction is created, and an average value of red values in the group is obtained.
[0078]
In S1003, a line in which the maximum number of blocks in the
[0079]
In FIG. 14, a continuous line of 85 blocks was detected for a maximum of 128 blocks. In order to make this into 5 groups, 17 groups are created in the vertical direction, and the average value of red values in the group is obtained.
[0080]
FIG. 19 is a graph of the calculated values of the grouped items. The horizontal axis is group 1 (G1) from the left, and group 5 (G5) is on the right. The vertical axis is the average value of red in the group. The horizontal (H) and vertical (V) are shown.
[0081]
As S1005, the absolute value of the difference between “G1 (H1)” and “G5 (H5)” in the horizontal direction is calculated and stored as ΔH, as shown in the following (formula A).
| H1-H5 | = ΔH (formula A)
[0082]
As S1006, the absolute value of the difference between “G1 (V1)” and “G5 (V5)” in the horizontal direction is calculated and stored as ΔV as shown below (Formula B).
| V1-V5 | = ΔV (Formula B)
[0083]
FIG. 21 is a flowchart showing the chromaticity distribution analysis process in the horizontal direction. As S2101, it is calculated whether the
H1 ≦ H2 <H3 <H4 or H2>H3> H4 ≧ H5 (Formula C)
[0084]
In S2102, it is determined whether the
[0085]
As S2103, the following (formula D) is calculated. The difference between the values of group 5 (H5) and group 1 (H1) where the chromaticity difference is the largest is obtained.
ΔH ′ = H5−H1 (formula D)
[0086]
As S2104, a positive or negative sign is determined as a result of S2103. If the determination is positive, “H1” has a smaller red value, and it can be seen that
[0087]
In step S2105, “H1” is set to Htop, which is the temporary designation in the horizontal direction based on the above result. Thereafter, the process proceeds to S2107. As S2106, “H5” is set to Htop which is the temporary designation in the horizontal direction from the above result. Thereafter, the process proceeds to S2107.
[0088]
As S2107, the absolute value of the difference between the values of group 5 (H5) and group 1 (H1) where the largest chromaticity difference is calculated is read in step S1005.
[0089]
In S2108, it is determined whether the value of “ΔH” is 30 or more. This is to determine whether or not the absolute amount of the change in value has a difference greater than or equal to a set value serving as a determination criterion for up / down determination. Therefore, when the reference value is exceeded, it is determined that there is a chromaticity distribution difference in which the up / down determination is permitted. Here, if Yes, the process proceeds to S2110, and if No, the process proceeds to S2109. As S2110, 1 is set to “Hset”. As S2109, 0 is set to “Hset”.
[0090]
Next, FIG. 20 is a flowchart showing a chromaticity distribution analysis process in the vertical direction (V direction) which is the second direction. The operation of the flowchart shown in FIG. 21 is basically the same as the operation shown in the flowchart of FIG.
[0091]
The processing shown in the flowchart of FIG. 22 is executed in response to the results of the flowcharts of FIGS. The operation shown in the flowchart of FIG. 22 will be described.
[0092]
In S2201, the value of “Vset”, which is a determination as to whether or not there is a chromaticity distribution difference that allows vertical determination in the vertical direction, is determined. If “1 (present)”, the process proceeds to S2202, and if “0 (not present)”, the process proceeds to S2203.
[0093]
In S2202, the value of “Hset”, which is a determination as to whether or not there is a chromaticity distribution difference in which the vertical determination in the horizontal direction is recognized, is determined. In the case of “1 (present)”, since a difference in chromaticity distribution is recognized in both the vertical and horizontal directions, it is not possible to determine which of at least two directions is up or down, and the process proceeds to S2204. In the case of “0 (not present)”, since only the distribution characteristic in the vertical direction satisfies the condition, it is determined that the up / down determination is possible, and the process proceeds to S2205 to determine which is in the vertical direction.
[0094]
In S2205, it is determined whether or not the value of “Vtop”, which is a temporary designation in the vertical direction, is V1. If it is V1, the process proceeds to S2206. If it is not V1, the process proceeds to S2207.
[0095]
In S2206, it is determined that the vertical direction in the image is the vertical direction and the upper side is the V1 side, and finally V1 is set as Top and the process ends.
[0096]
In S2207, it is determined that the vertical direction in the image is the vertical direction and the upper side is the V1 side, and finally V5 is set as Top and the process ends.
[0097]
In S2203, the value of “Hset”, which is a determination as to whether or not there is a chromaticity distribution difference in which vertical determination in the horizontal direction is recognized, is determined. In the case of “0 (not present)”, since there is no difference in chromaticity distribution in both the vertical and horizontal directions, it is not possible to determine whether it is up or down. In the case of “1 (present)”, since only the distribution characteristic in the horizontal direction satisfies the condition, it is determined that the up / down determination is possible, and the process proceeds to S2208 to determine which is in the horizontal direction.
[0098]
In S2204, as a result of the chromaticity distribution analysis of the blue sky detection area, the up / down determination is impossible. Set indeterminate and exit.
[0099]
In S2208, it is determined whether or not the value of “Htop”, which is a temporary designation in the horizontal direction, is H1. If it is H1, the process proceeds to S2209, and if it is not H1, the process proceeds to S2210.
[0100]
In S2209, it is determined that the vertical direction in the image is the horizontal direction and the top is the H1 side, and finally H1 is set as Top and the process ends.
[0101]
In S2210, it is determined that the vertical direction in the image is the horizontal direction and the upper side is the H5 side, and finally H5 is set as Top and the process ends.
[0102]
As described above, according to the above-described embodiment, it is possible to determine the top / bottom of an image by analyzing the chromaticity distribution of the blue sky region, and compared with a PC, such as when directly printing from a digital camera. It is possible to detect a blue sky region in an image as a means for performing advanced correction processing on a compressed image file to be printed by processing within a range that can be used as a product even in a built-in device with low capability. .
[0103]
Conventionally, when automatically editing a shot image and using it in an automatic layout application such as an album, there is a problem that the top and bottom of the target image cannot be determined, and the laid out image is placed sideways or upside down. According to the above-described embodiment, it is possible to determine the up / down direction of the image by analyzing the chromaticity distribution in the detected region.
[0104]
Another object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.
[0105]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.
[0106]
As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0107]
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (basic system or operating system) running on the computer based on the instruction of the program code. Needless to say, a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0108]
Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0109]
【The invention's effect】
According to the present invention, the spatial frequency characteristics are calculated for each group composed of a plurality of partial pixel regions, and whether or not those spatial frequency characteristics are suitable for the appropriate range of the spatial frequency characteristics of the image of interest, Since it is configured to detect a group belonging to the image of interest, the load related to the image detection processing is reduced compared to the conventional technology in which the entire image is subjected to calculation of the spatial frequency characteristics, and the processing capability of, for example, a direct photo printer is reduced The target image can be detected even with a low device.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram illustrating a flow of acquiring data necessary for decompressing a Jpeg image.
FIG. 2 is a conceptual diagram showing a flow of a process for converting image data into a Jpeg format.
FIG. 3 is a diagram showing a process of conversion into Jpeg format taking 8 * 8 Block, which is a Jpeg image compression unit, as an example;
FIG. 4 is a flowchart showing a blue sky detection process according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing blue sky detection processing according to a second embodiment of the present invention.
FIG. 6 is a flowchart showing a blue sky detection process according to the third embodiment of the present invention.
FIG. 7 is a diagram for explaining a chromaticity detection method in 8 * 8 Block, which is a Jpeg file image compression unit.
FIG. 8 is a diagram for explaining a chromaticity detection method using a DC component in 8 * 8 Block which is a Jpeg file image compression unit.
FIG. 9 is a diagram illustrating a detection state in 8 * 8 Block when detection is performed using 3-bit decimation.
FIG. 10 is a flowchart showing image up / down determination processing using a detected blue sky region according to the fourth embodiment of the present invention.
FIG. 11 is a diagram illustrating an image sample that is a target of blue sky detection.
12 is a diagram showing a result of detecting only the chromaticity ratio and the luminance information as a blue sky detection method for the sample image of FIG. 11. FIG.
13 shows an area detected when a group adjacent to the partial pixel area is set as a blue sky detection method for the
14 is a diagram showing a result of detecting a blue sky region from the image sample of FIG.
FIG. 15 is a diagram showing an image sample for explaining an up / down determination process after detection of a blue sky;
FIG. 16 is a diagram showing actual data that is a basis for a change in chromaticity ratio for determining the up / down determination process after the blue sky is detected.
FIG. 17 is a diagram showing real data (luminance and chromaticity ratio) obtained by photographing a blue sky with products of digital camera companies as a region distribution.
18 is a diagram showing a result of appropriate detection of (8 * 8) blocks from
FIG. 19 is a diagram showing an example when V (vertical direction) / H (horizontal direction) detected consecutive blocks in a detected area are grouped into five groups;
FIG. 20 is a flowchart showing an image up / down determination process using a detected blue sky region;
FIG. 21 is a flowchart showing image up / down determination processing using a detected blue sky region;
FIG. 22 is a flowchart showing an image up / down determination process using a detected blue sky region;
FIG. 23 is a graph showing the chromaticity ratio of the blue sky region in the captured image data including the blue sky region.
FIG. 24 is a diagram showing, as a graph, the chromaticity ratio of only those in which the luminance range in the blue sky region in the captured image data including the blue sky region falls within the range of 0 to 139.
FIG. 25 is a graph showing the chromaticity ratio of only those whose luminance range in the blue sky region in the captured image data including the blue sky region falls within the range of 140 to 179.
FIG. 26 is a graph showing the chromaticity ratio of only those in which the luminance range in the blue sky region in the captured image data including the blue sky region falls within the range of 180 to 199.
FIG. 27 is a graph showing the chromaticity ratio of only those in which the luminance range in the blue sky region in the captured image data including the blue sky region falls within the range of 200 to 255.
FIG. 28 is a diagram illustrating a relationship between a luminance range and a chromaticity ratio range for designating a blue sky region.
[Explanation of symbols]
11 Code table
12 Entropy decoding unit
13 Quantization table
14 Inverse quantization part
15 Reverse DCT section
Claims (12)
前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定する判定手段と、
前記判定手段により前記注目画像の定義に合致する範囲に適合すると判定された部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化するグループ生成手段と、
前記グループ生成手段により生成された各グループの空間周波数特性を算出する算出手段と、
前記算出手段により算出された空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記各グループ夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定する認定手段とを有することを特徴とする画像処理装置。An image processing apparatus capable of decoding compressed image data by orthogonal transform processing,
Whether or not the chromaticity information and the luminance information acquired for each of the partial pixel areas, which are compression units of the compressed image data, conform to a range that matches a predetermined definition of the target image, Determining means for determining
Group generating means for grouping adjacent partial pixel areas among the partial pixel areas determined by the determining means to match the range matching the definition of the target image;
Calculating means for calculating the spatial frequency characteristics of each group generated by the group generating means;
It is determined for each of the groups whether or not the spatial frequency characteristic calculated by the calculation unit is matched with a preset appropriate range of the spatial frequency characteristic of the target image, and the target image is determined according to the determination result. An image processing apparatus comprising: a recognition unit that identifies a group to which the image belongs.
前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定する第1の判定手段と、
前記第1の判定手段により前記注目画像の定義に合致する範囲に適合すると判定された部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化するグループ生成手段と、
前記グループ生成手段により生成された第1のグループ群夫々の空間周波数特性を算出する第1の算出手段と、
前記第1の算出手段により算出された空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを、前記第1のグループ群夫々について判定する第2の判定手段と、
前記第2の判定手段により空間周波数特性が前記予め設定される前記注目画像の空間周波数特性の適正範囲に適合すると判定された第2のグループ群夫々の全画像に占める面積比率を算出する第2の算出手段と、
前記第2の算出手段により算出された面積比率が所定の面積比率を上回るか否かを前記第2のグループ群夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定する認定手段とを有することを特徴とする画像処理装置。An image processing apparatus capable of decoding compressed image data by orthogonal transform processing,
Whether or not the chromaticity information and the luminance information acquired for each of the partial pixel areas, which are compression units of the compressed image data, conform to a range that matches a predetermined definition of the target image, First determining means for determining
Group generating means for grouping adjacent partial pixel areas among the partial pixel areas determined by the first determination means to match the range matching the definition of the target image;
First calculation means for calculating a spatial frequency characteristic of each of the first group groups generated by the group generation means;
Second determination for determining whether or not the spatial frequency characteristic calculated by the first calculation means is suitable for a preset appropriate range of the spatial frequency characteristic of the target image. Means,
A second calculating unit that calculates an area ratio of the second group group determined by the second determination unit to occupy an appropriate range of the spatial frequency characteristic of the image of interest set in advance in the entire image; Means for calculating
Certification for determining whether each of the second group groups determines whether the area ratio calculated by the second calculation means exceeds a predetermined area ratio, and certifying the group belonging to the target image according to the determination result And an image processing apparatus.
前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定する第1の判定手段と、
前記第1の判定手段により前記注目画像の定義に合致する範囲に適合すると判定された部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化するグループ生成手段と、
前記グループ生成手段により生成された第1のグループ群夫々の全画像に占める面積比率を算出する第1の算出手段と、
前記全画像に占める面積比率が所定の面積比率を上回るか否かを前記第1のグループ群夫々について判定する第2の判定手段と、
前記第2の判定手段により前記全画像に占める面積比率が前記所定の面積比率を上回ると判定された第2のグループ群の夫々について、グループの最外郭に属する部分画素領域を除く領域の空間周波数特性を算出する第2の算出手段と、
前記第2の算出手段により算出された空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記第2のグループ群の夫々について判定し、前記判定結果に応じて前記注目画像に属するグループを認定する認定手段とを有することを特徴とする画像処理装置。An image processing apparatus capable of decoding compressed image data by orthogonal transform processing,
Whether or not the chromaticity information and the luminance information acquired for each of the partial pixel areas, which are compression units of the compressed image data, conform to a range that matches a predetermined definition of the target image, First determining means for determining
Group generating means for grouping adjacent partial pixel areas among the partial pixel areas determined by the first determination means to match the range matching the definition of the target image;
First calculation means for calculating an area ratio of each of the first group groups generated by the group generation means in all images;
A second determination unit that determines, for each of the first group groups, whether or not an area ratio of the entire image exceeds a predetermined area ratio;
The spatial frequency of the region excluding the partial pixel region belonging to the outermost group of the group for each of the second group groups determined by the second determination means that the area ratio of the entire image exceeds the predetermined area ratio A second calculating means for calculating the characteristics;
It is determined for each of the second group whether or not the spatial frequency characteristic calculated by the second calculation means is matched with a preset appropriate range of the spatial frequency characteristic of the image of interest, and the determination result An image processing apparatus comprising: an authenticating unit that authorizes a group belonging to the target image according to
前記解析手段による解析結果に基づいて、前記圧縮画像データから復号される画像データの上下判定を行う判定手段とを更に有することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。Analyzing means for analyzing a chromaticity distribution on at least one of the groups certified as belonging to the target image by the certification means;
4. The image according to claim 1, further comprising: a determination unit configured to determine whether the image data decoded from the compressed image data is up-down based on an analysis result by the analysis unit. 5. Processing equipment.
前記画像処理装置は、
前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定し、
前記注目画像の定義に合致する範囲に適合すると判定した部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化し、
前記グループ化により生成した各グループの空間周波数特性を算出するとともに、算出した空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記各グループ夫々について判定し、
前記判定結果に応じて前記注目画像に属するグループを認定することを特徴とする画像検出処理方法。An image detection processing method by an image processing apparatus capable of decoding compressed image data by orthogonal transform processing,
The image processing apparatus includes:
Whether or not the chromaticity information and the luminance information acquired for each of the partial pixel areas, which are compression units of the compressed image data, conform to a range that matches a predetermined definition of the target image, Judgment about
Among the partial pixel areas determined to conform to the range that matches the definition of the image of interest, grouping adjacent partial pixel areas,
The spatial frequency characteristic of each group generated by the grouping is calculated, and it is determined for each group whether or not the calculated spatial frequency characteristic matches a preset appropriate range of the spatial frequency characteristic of the target image. And
An image detection processing method, wherein a group belonging to the image of interest is recognized according to the determination result.
前記画像処理装置は、
前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定し、
前記注目画像の定義に合致する範囲に適合すると判定した部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化し、
前記グループ化により生成した第1のグループ群夫々の空間周波数特性を算出するとともに、算出した空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを、前記第1のグループ群夫々について判定し、
空間周波数特性が前記予め設定される前記注目画像の空間周波数特性の適正範囲に適合すると判定した第2のグループ群夫々の全画像に占める面積比率を算出するとともに、算出した面積比率が所定の面積比率を上回るか否かを前記第2のグループ群夫々について判定し、
前記判定結果に応じて前記注目画像に属するグループを認定することを特徴とする画像検出処理方法。An image detection processing method by an image processing apparatus capable of decoding compressed image data by orthogonal transform processing,
The image processing apparatus includes:
Whether or not the chromaticity information and the luminance information acquired for each of the partial pixel areas, which are compression units of the compressed image data, conform to a range that matches a predetermined definition of the target image, Judgment about
Among the partial pixel areas determined to conform to the range that matches the definition of the image of interest, grouping adjacent partial pixel areas,
While calculating the spatial frequency characteristics of each first group generated by the grouping, whether or not the calculated spatial frequency characteristics are suitable for the appropriate range of the spatial frequency characteristics of the image of interest set in advance, Determine for each of the first group,
The area ratio of the second group group that has been determined to have a spatial frequency characteristic suitable for the preset appropriate range of the spatial frequency characteristic of the image of interest is calculated, and the calculated area ratio is a predetermined area. Determining whether or not the ratio is exceeded for each of the second group of groups,
An image detection processing method, wherein a group belonging to the image of interest is recognized according to the determination result.
前記画像処理装置は、
前記圧縮画像データの圧縮単位である部分画素領域の夫々について取得された色度情報及び輝度情報が予め設定される注目画像の定義に合致する範囲に適合するか否かを、前記各部分画素領域について判定し、
前記注目画像の定義に合致する範囲に適合すると判定した部分画素領域のうち、互いに隣接する部分画素領域同士をグループ化し、
前記グループ化により生成した第1のグループ群夫々の全画像に占める面積比率を算出するとともに、前記全画像に占める面積比率が所定の面積比率を上回るか否かを前記第1のグループ群夫々について判定し、
前記全画像に占める面積比率が前記所定の面積比率を上回ると判定した第2のグループ群の夫々について、グループの最外郭に属する部分画素領域を除く領域の空間周波数特性を算出するとともに、算出した空間周波数特性が予め設定される前記注目画像の空間周波数特性の適正範囲に適合するか否かを前記第2のグループ群の夫々について判定し、
前記判定結果に応じて前記注目画像に属するグループを認定することを特徴とする画像検出処理方法。An image detection processing method by an image processing apparatus capable of decoding compressed image data by orthogonal transform processing,
The image processing apparatus includes:
Whether or not the chromaticity information and the luminance information acquired for each of the partial pixel areas, which are compression units of the compressed image data, conform to a range that matches a predetermined definition of the target image, Judgment about
Among the partial pixel areas determined to conform to the range that matches the definition of the image of interest, grouping adjacent partial pixel areas,
For each of the first group groups, the area ratio of the first group group generated by the grouping is calculated for the entire image, and whether the area ratio of the first group group exceeds a predetermined area ratio is determined for each of the first group groups. Judgment,
For each of the second group groups determined that the area ratio of the entire image exceeds the predetermined area ratio, the spatial frequency characteristics of the area excluding the partial pixel area belonging to the outermost group of the group were calculated and calculated. It is determined for each of the second groups whether or not the spatial frequency characteristics are matched with an appropriate range of the spatial frequency characteristics of the image of interest set in advance.
An image detection processing method, wherein a group belonging to the image of interest is recognized according to the determination result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003207743A JP2005062964A (en) | 2003-08-18 | 2003-08-18 | Image processing system, image detection processing method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003207743A JP2005062964A (en) | 2003-08-18 | 2003-08-18 | Image processing system, image detection processing method, program, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005062964A true JP2005062964A (en) | 2005-03-10 |
Family
ID=34364100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003207743A Pending JP2005062964A (en) | 2003-08-18 | 2003-08-18 | Image processing system, image detection processing method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005062964A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8331693B2 (en) | 2007-10-29 | 2012-12-11 | Sony Corporation | Information encoding apparatus and method, information retrieval apparatus and method, information retrieval system and method, and program |
-
2003
- 2003-08-18 JP JP2003207743A patent/JP2005062964A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8331693B2 (en) | 2007-10-29 | 2012-12-11 | Sony Corporation | Information encoding apparatus and method, information retrieval apparatus and method, information retrieval system and method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kee et al. | Digital image authentication from JPEG headers | |
JP4176114B2 (en) | Image compression apparatus, image reading apparatus including the same, image processing apparatus including the image compression apparatus, image forming apparatus including the same, and image compression processing method | |
US7542615B2 (en) | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof | |
JP4115460B2 (en) | Image processing apparatus and method, and computer program and recording medium | |
JP4979655B2 (en) | Image coding apparatus and control method thereof | |
US20060044576A1 (en) | Apparatus for image processing | |
KR100611705B1 (en) | Image encoding device, image encoding method, and image processing device | |
JP2004201290A (en) | Image processing method, image processing device, image processing program, and record medium | |
JP4822396B2 (en) | Image enhancement device | |
KR20190133363A (en) | Method and apparatus for verifying integrity of image based on watermark | |
CN106717006B (en) | Method for selecting a compression algorithm according to the type of image | |
JP3222780B2 (en) | Image compression device | |
US8463057B2 (en) | Image encoding apparatus and control method therefor | |
JP2005062964A (en) | Image processing system, image detection processing method, program, and storage medium | |
JP3977291B2 (en) | Image reproduction method and image processing apparatus | |
US6445870B1 (en) | Image compression and expansion device | |
JP2003224868A (en) | Image compression apparatus, image compression method, image compression program, and image expansion program | |
US8213713B2 (en) | Image processing apparatus and computer readable medium | |
JP4078136B2 (en) | Image recognition method, image recognition apparatus, and computer program | |
JP4006276B2 (en) | Image recognition method, image recognition apparatus, and computer program | |
JP3645689B2 (en) | Image compression apparatus and quantization table creation apparatus | |
Singh | Recent Patents on Image Compression- A Survey | |
JP2004343207A (en) | Image processing apparatus, image processing method, image processing program, recording medium for recording image processing program, and image forming apparatus provided with image processing apparatus | |
JP4926128B2 (en) | Image processing apparatus, image reading apparatus, image forming apparatus, computer program, recording medium, and image processing method | |
JP4078135B2 (en) | Image recognition method, image recognition apparatus, and computer program |