JP2016511875A - 画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体 - Google Patents

画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2016511875A
JP2016511875A JP2015555587A JP2015555587A JP2016511875A JP 2016511875 A JP2016511875 A JP 2016511875A JP 2015555587 A JP2015555587 A JP 2015555587A JP 2015555587 A JP2015555587 A JP 2015555587A JP 2016511875 A JP2016511875 A JP 2016511875A
Authority
JP
Japan
Prior art keywords
image
rectangular frame
pixel
value
information amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015555587A
Other languages
English (en)
Inventor
リン ワン
リン ワン
キセン ジャン
キセン ジャン
ボー ジャン
ボー ジャン
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2016511875A publication Critical patent/JP2016511875A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • H04N1/3875Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明は画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体を提供し、通信分野に属する。上記方法は、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップと、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するステップと、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するステップと、を含む。上記装置は、フィルタモジュールと、検索モジュールと、切り取りモジュールと、を備える。【選択図】図1

Description

本願は、出願番号が201310743545.7であって、出願日が2013年12月30日である中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張し、その内容全体は本願に援用される。
本発明は通信分野に関し、特に画像サムネイルの生成方法、装置、及び端末に関する。
近年、携帯デバイスの自写、連写等の技術の実現に伴って、携帯デバイスにおける個人アルバムの容量も急速に大きくなっている。通常、個人アルバムでは、記憶された画像に対してサムネイルを生成し、ユーザによりプレビューしたり参照することができるように、サムネイルをプレビューモードにする。現在、比較的一般的な画像サムネイルの生成方法は、直接に画像の中間部分を切り取り、切り取った中間部分に対して該当する収縮・拡大処理を行うことにより、この画像のサムネイルを生成するものである。この方法の利点は効率が非常に高い点にある。
しかし、上記方法では、画像の空間位置情報のみを考えており、画像のコンテンツ情報は全く考えておらず、生成されたサムネイルがオリジナル画像のコンテンツ情報を十分に表現できない場合もある。例えば、1枚の画像における人物位置が相対的に偏った場合、画像の中間部分のみを切り取った場合、生成されたサムネイルには当該人物の一部分しか含まれていない可能性があり、オリジナル画像コンテンツ情報の表現上の精度が悪くなっている。
本発明は、上記に鑑みて、サムネイルのオリジナル画像コンテンツ情報の表現上の精度を向上させるための画像サムネイルの生成方法及び装置を提供する。その技術方案は下記の通りである。
本発明の第1の態様は、画像サムネイルの生成方法を提供し、当該画像サムネイルの生成方法は、
画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するステップと、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するステップと、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するステップと、を含む。
ここで、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得するステップを含む。
ここで、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出するステップと、
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出するステップと、
予め設定された長方形枠を用いて上記画像にスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得するステップと、を含む。
ここで、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記ステップは、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出するステップと、
上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得するステップとを含み、
上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
予め上記画像の中心点と各画素の座標に基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する上記ステップは、
注目モデルである
を用いて、上記画像の中の各画素の空間位置注目値を算出するステップを含み、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出する上記ステップは、
情報量分布モデルである
を用いて、上記画像の中の各画素の情報量分布値を算出するステップを含み、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得する上記ステップは、
オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップを含み、
選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記ステップは、
選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成するステップを含む。
本発明の第2の態様は、画像サムネイルの生成装置を提供し、当該画像サムネイルの生成装置は、
画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するフィルタモジュールと、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する検索モジュールと、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する切り取りモジュールと、を含む。
ここで、上記検索モジュールは、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行う検索ユニットと、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得する算出ユニットと、を含む。
ここで、上記検索モジュールは、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行う検索ユニットと、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出し、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出し、上記検索ユニットによりスライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する算出ユニットと、を含む。
ここで、上記算出ユニットは、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出し、上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する情報量分布値算出サブユニットを含み、
上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、上記算出ユニットは、
注目モデルである
を用いて、上記画像の中の各画素の空間位置注目値を算出する空間位置注目値算出サブユニットを含む、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
ここで、上記算出ユニットは、
情報量分布モデルである
を用いて、上記画像の中の各画素の情報量分布値を算出する情報量分布値算出サブユニットを含み、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、オリジナル画像を圧縮する圧縮モジュールをさらに含み、
上記フィルタモジュールは、上記圧縮モジュールによって圧縮された画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、
上記切り取りモジュールは、選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成する。
本発明の第3の態様は、
メモリ、及び
メモリに記憶され、且つ一つ又は一つ以上のプロセッサにより実行される一つ又は一つ以上のプログラムを含み、
上記一つ又は一つ以上のプログラムは、
画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するための操作と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するための操作と、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するための操作と、を実行するための指令を含む。
本発明にかかる技術方案によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知習慣により一層合わせる、という有益な技術効果をもたらした。
以上の統括な記述と以下の細部記述は、ただ例示的なものであり、本発明を制限するものではないと、理解するべきである。
本発明の実施例における技術方案をより一層明確に説明するために、以下、実施例の記述に必要な図面について簡単に説明を行い、明らかなのは、以下の記述における図面はただ本発明のいくつかの実施例に過ぎず、本技術分野の当業者にとって、これらの図面に基づき創造的労働を実施しない状況で他の図面も獲得できることである。
本発明の実施例1にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例2にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例3にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例3にかかるサムネイルの生成過程を示す例示的な模式図である。 本発明の実施例4にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例4にかかる核関数を示す例示的な模式図である。 本発明の実施例5にかかる画像サムネイルの生成装置を示す一つの例示的な構成図である。 本発明の実施例5にかかる画像サムネイルの生成装置を示すもう一つの例示的な構成図である。 本発明の実施例6にかかる端末を示す例示的な構成図である。
上記図面によって本発明の明確な実施例を例示し、以下にさらに詳しく記述する。これらの図面と文字記述は本発明の旨の範囲を何らの形態によって制限するものではなく、特定の実施例を参照することによって、本技術分野の当業者に本発明の概念を理解させるためのものである。
以下、本発明の目的、技術方案及び利点をさらに明確にするために、以下、図面を参照しながら本発明の実施例をさらに詳しく説明する。
実施例1
図1を参照し、本実施例は画像サムネイルの生成方法を提供し、当該方法は下記のステップを含む。
ステップ101において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
本実施例において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する方法は、画像に対してラプラス・エッジフィルタ演算子、ソーベル・エッジフィルタ演算子、Robert・エッジ演算子、Prewitt・エッジ演算子、又はLOG・エッジ演算子を利用してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する方法を含んでもよい。
本実施例において、エッジ強度値が比較的に相近い画素について、それらの色の差異性が大きくないと考えられ、エッジ強度値が大きく相違する画素について、それらの色の差異性が大きいと考えられ、従って、エッジ強度値がある程度で画像のコンテンツ情報を反映していると考えられる。
ステップ102において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索が行われる各々の位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する。
ただし、予め設定された長方形枠は、当該画像より小さいいずれのサイズの長方形枠を用いてあってもよい。例えば、一つの場合において、長方形枠は、短辺が画像の短辺と等しくて、長辺が画像の長辺より小さいものである。もう一つの場合において、長方形枠は、短辺が画像の短辺より小さくて、長辺が画像の長辺と等しいものである。さらにもう一つの場合において、長方形枠は、短辺が画像の短辺より小さくて、かつ長辺が画像の長辺より小さいものである。長方形枠について、本実施例では具体的に制限しない。
長方形枠を用いて画像に対して行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれらについて具体的に制限しなく、例えば、ただ横方向におけるスライド検索、或いはただ縦方向におけるスライド検索、或いは45°方向に沿った検索、等が挙げられる。
ステップ103において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する。
本実施例において、生成されたサムネイルのサイズについて制限しなく、例えば、1600×1200の画像等にしてもよい。ここで、切り取った画像を圧縮し、その後、圧縮した画像をサムネイルにしてもよく、本実施例ではこれについて具体的に制限しない。
本実施例において、スライド検索が行われる各位置における長方形枠に対して、その長方形枠の中の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
スライド検索が行われる各位置における長方形枠に対して、その長方形枠の中のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得するステップを含んでもよい。
本実施例において、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索が行われる各位置における長方形枠に対して、その長方形枠の中の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出するステップと、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索が行われる各位置における長方形枠に対して、予めエッジ強度値と空間位置注目値に基づいて作成された情報量分布モデルを用いて、当該長方形枠内の各画素の情報量分布値を算出し、当該長方形枠の中の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得するステップとを、を含んでもよい。
本実施例において、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記ステップは、
予め選定した核関数を用いて当該画像の中の各画素に対応する重みを算出するステップと、当該長方形枠内の各画素の情報量分布値と、対応する重みをそれぞれ乗算した後、加算することにより、当該長方形枠の情報量分布値を取得するステップとを含んでもよい。ここで、当該核関数は、画素から画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
本実施例において、予め当該画像の中心点と各画素の座標に基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する上記ステップは、
以下のような注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
本実施例において、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該長方形枠内の各画素の情報量分布値を算出する上記ステップは、
以下のような情報量分布モデルを用いて、当該長方形枠内の各画素の情報量分布値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
本実施例において、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じであってもよい。これにより、切り取ることにより得られたサムネイルに可能な限り多くのコンテンツを含めることができる。
演算効率を向上させるために、上記の方法では、フィルタ処理を行う前に上記画像に対して圧縮処理を行うことにより解像度のより低い画像を取得し、その後、フィルタ処理等の続けるステップを実行してもよいし、情報量分布値が最大である長方形枠を選定した後、当該長方形枠の位置を対応するオリジナル画像における位置に変換して、オリジナル画像から切り取りをすれば良い。ここで、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する上記ステップは、オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップを含んでもよい。
これに対応して、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記ステップは、選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成するステップを含む。
例えば、1600×1200の1枚の画像を、先ず、400×400の画像に圧縮し、その後、当該400×400の画像から長方形枠を選定し、選定が終了した後、当該長方形枠に対応した領域を1600×1200画像における対応領域に変換し、その後に切り取り及び圧縮を行えば、サムネイルが得られた。このような形態によれば、処理速度を極めて向上し、時間が節約され、リアルタイム性の要求が充分に満たされた。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索が行われる各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知習慣により一層合わせた。
実施例2
図2を参照すると、本実施例は画像サムネイルの生成方法を提供し、当該方法は下記のステップを含む。
ステップ201において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
画像に対してのフィルタ処理は多種のフィルタ演算子によって実現でき、詳しくは実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ202において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得する。
ここで、上記長方形枠のサイズは、必要に応じて設定すればよいし、当該画像のサイズよりも小さければよい。画像に対して長方形枠を用いて行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれについて具体的に制限しなく、実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
例えば、スライド検索の各位置における長方形枠について、下式によって計算することができる。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、E(i,j)は当該画素のエッジ強度値を示し、Iは当該長方形枠の情報量分布値を示す。)
ここで、当該長方形枠内の各画素の情報量分布値が当該点のエッジ強度値に等しいと考えられ、従って、当該長方形枠内の各画素のエッジ強度値の合計が、当該長方形枠内の各画素の情報量分布値の合計であり、これによって当該長方形枠の情報量分布値を取得することができる。
ステップ203において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより当該画像のサムネイルを生成する。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成し、エッジ強度値に基づいてサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルに画像における重要なコンテンツ及び著しいコンテンツを含めることが可能となり、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知習慣により一層合わせるようになる。
実施例3
図3aを参照すると、本実施例は画像サムネイルの生成方法を提供し、当該方法は下記のステップを含む。
ステップ301において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
画像に対してのフィルタ処理は多種のフィルタ演算子によって実現でき、詳しくは実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
また、計算の利便性から、エッジ強度値に対して正規化処理を行うことにより、0〜255範囲内の数値を取得した後、演算を行ってもよい。
ステップ302において、予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する。
ただし、当該ステップは、
以下のような注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
本実施例において、係数σの数値は、必要に応じて予め設定すればよく、例えば、画像の長さと幅のうちの最小値を選択し、その後、当該最小値の1/4を当該係数の数値とする等としてもよいし、本実施例ではこれについて具体的に制限しない。
ステップ303において、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する。
ただし、当該ステップは、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ステップ304において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する。
ここで、上記長方形枠のサイズは、必要に応じて設定してもよく、当該画像のサイズよりも小さければよい。一実施形態において、当該長方形枠は正方形であって、辺の長さが当該画像の短辺の長さと同じであってよく、これにより、切り取ることにより得られたサムネイルに可能な限り多くのコンテンツを含めることができる。もちろん、その他の実施形態を採用してもよいし、本実施例ではこれについて具体的に制限しない。
画像に対して長方形枠を用いて行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれについて具体的に制限しなく、実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ305において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する。
図3bは本実施例にかかるサムネイルの生成過程を示す模式図である。図面の中で、(1)は、オリジナル画像である。(2)は、オリジナル画像に対してラプラス・エッジフィルタ演算子によってフィルタ処理を行って得られた画像であり、ここでは、画像における各画素のエッジ強度値にたいしてさらに正規化処理を行い、処理後の数値の範囲が0〜255である。(3)は、予め作成された注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出した結果であり、ここでは、明るい部分であるほど、ユーザの注目度が高い部分、即ちユーザの興味が高い領域を示し、暗い部分であるほど、ユーザの注目度が低い部分を示す。(4)は、予め作成された情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出した結果であり、ここでは、各情報量分布値に対しても正規化処理を行って、処理後の数値の範囲が0〜255である。当該結果から分かれるように、エッジ強度値及び空間位置注目値を組み合わせることにより、情報量分布値の高い画素の全てが画像に表示され、このため、最大の情報量分布値に従って長方形枠を選定することにより、さらに精確なサムネイルを生成することができる。生成したサムネイルは、画像の中央部分のみを選定することと比べて、オリジナル画像コンテンツ情報をより一層精確に反映させる。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め作成された注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、予め作成された情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出し、それらを加算することにより当該長方形枠の情報量分布値を取得し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、エッジ強度値及び空間位置注目値に基づいたサムネイル生成が実現され、サムネイルは、画像における重要なコンテンツ及び著しいコンテンツを含むものだけでなく、画像コンテンツ情報の位置も考慮して得られたものであり、サムネイルによるオリジナル画像コンテンツ情報の表示の精度が極めて向上され、人の認知習慣により一層合わせた。また、上記アルゴリズムによると、上記方法のリアルタイム性も確保され、サムネイルを効率よく生成する効果も達成することができ、一般的には、サイズが1600×1200の画像については、おおよそ40〜50msの時間内でサムネイルを生成でき、サイズが100×100の画像については、おおよそ10ms程度でサムネイルを生成でき、携帯デバイス等のリアルタイム性への要求を全く満たすことができる。
実施例4
図4aを参照すると、本実施例は画像サムネイルの生成方法を提供し、当該方法は下記のステップを含む。
ステップ401において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
画像に対してのフィルタ処理は多種のフィルタ演算子によって実現でき、詳しくは実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ402において、予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する。
当該注目モデルについては、実施例3における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ403において、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する。
当該情報量分布モデルについては、実施例3における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ404において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行う。
ここで、上記長方形枠のサイズは必要に応じて設定してもよく、当該画像のサイズよりも小さければよい。一実施形態において、当該長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じであってよく、これにより、切り取ることにより得られたサムネイルに可能な限り多くのコンテンツを含めることができる。もちろん、その他の実施形態を採用してもよいし、本実施例ではこれについて具体的に制限しない。
画像に対して長方形枠を用いて行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれについて具体的に制限しなく、実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ405において、スライド検索の各位置における長方形枠に対して、予め選定した核関数を用いて、当該長方形枠内の各画素に対応する重みを算出し、当該長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する。
当該核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。これに対応して、当該核関数は、画素の画像中心点までの距離が大きければ大きいほど、小さい重みを当該画素に付与する。
本実施例において、核関数は多種の形態により実現でき、通常、中間が***し、両辺が低い関数形態である。核関数を、最大重みが最小重みの2〜3倍となり、かつ最小重みが0でないもの等に設定できるが、もちろん、その他の形態を採用してもよい。例えば、核関数として、正弦関数又は上昇してから下降するような2本の直線等の関数形態を選定でき、本実施例ではこれについて具体的に制限しない。
図4bは、本実施例にかかる核関数を示す模式図である。ここで、長方形枠が正方形であることを例とし、かつ当該正方形の辺の長さがオリジナル画像の短辺の長さに等しい。オリジナル画像の横方向を長辺、縦方向を短辺として説明を行う。スライド検索を行うときに、長方形枠を用いて水平方向に沿ってスライド検索を行い、垂直方向に沿ってはスライドしない。図面の中で、核関数の横座標は画像における各画素の横座標を示し、核関数の縦座標は各画素に対して選定した重みを示す。図面から分かれるように、当該核関数は、画像の中心の付近の画素に大きい重みを付与し、画像の両辺にある画素には小さい重みを付与することにより、長方形枠の情報量分布値を算出し、その後、切り取りを行い、これにより、画像における情報量が最大で一番著しい領域をできる限りサムネイルの中央に配置することを確保した。
ステップ406において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出し、核関数を用いて当該画像の中の各画素に対応する重みを算出し、当該長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、エッジ強度値及び空間位置注目値に基づいたサムネイル生成が実現され、サムネイルは、画像における重要なコンテンツ及び著しいコンテンツを含むものだけでなく、画像コンテンツ情報の位置も考慮されて得られたものであり、サムネイルによるオリジナル画像コンテンツ情報の表示の精度が極めて向上され、人の認知習慣により一層合わせた。さらに、長方形枠の情報量分布値を計算するときに、核関数を用いて各画素に対応する重みを算出し、重みと結合して計算し、当該核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与するため、算出した長方形枠の情報量分布値は、ユーザが画像中心に対してより一層高い注目度を持つという特徴にあわせており、かつ、画像における情報量が最大で一番著しい領域をできる限りサムネイルの中央に配置して、サムネイルが画像の重点部分をもっとも反映することができるようにしたので、ユーザのニーズに充分に満たした。また、上記のアルゴリズムによると、上記方法のリアルタイム性も確保され、サムネイルを効率よく生成する効果も達成することができ、携帯デバイス等のデバイスにおけるリアルタイム性の要求に合わせている。
実施例5
図5aを参照すると、本実施例は画像サムネイルの生成装置を提供し、当該装置は、
画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得するフィルタモジュール501と、
予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する検索モジュール502と、
情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する切り取りモジュール503と、を含む。
ここで、検索モジュール502は、
予め設定された長方形枠を用いて当該画像に対してスライド検索を行う検索ユニットと、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得する算出ユニットと、を含んでもよい。
あるいは、図5bを参照すると、検索モジュール502は、
予め設定された長方形枠を用いて当該画像に対してスライド検索を行う検索ユニット502aと、
予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出し、予めエッジ強度値と空間位置注目値に基づいて作成された情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出し、検索ユニット502aによりスライド検索の各位置における長方形枠について、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する、算出ユニット502bと、を含んでもよい。
ここで、上記算出ユニット502bは、
予め選定した核関数を用いて当該長方形枠内の各画素に対応する重みを算出し、当該長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する情報量分布値算出サブユニットを含んでもよい。ここで、当該核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、上記算出ユニット502bは、
以下のような注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する空間位置注目値算出サブユニットを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
ここで、上記算出ユニット502bは、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する情報量分布値算出サブユニットを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
本実施例において、上記長方形枠は正方形であって、辺の長さが当該画像の短辺の長さと同じである。
本実施例において、上記装置は、
オリジナル画像を圧縮する圧縮モジュールをさらに含んでもよく、
上記フィルタモジュールは、上記圧縮モジュールによって圧縮された画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、
上記切り取りモジュールは、選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成する。
本実施例にかかる上記装置は端末に適用でき、当該端末は、携帯電話、タブレットPC等を含むが、これらに限らない。上記装置は、上記の方法の実施例のいずれか一つが提供する方法を実行でき、詳しい経過は、方法実施例における記述を参照することができ、ここで、その具体的な説明は省略する。
本実施例にかかる上記装置によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知習慣により一層合わせた。
実施例6
図6を参照すると、本実施例は端末600を提供し、この端末600は、通信ユニット610、不揮発性の読取可能である記憶媒体を一つ又は一つ以上含むメモリ620、入力ユニット630、表示ユニット640、センサー650、オーディオ回路660、WiFi(wireless fidelity、ワイヤレス・フィディリティー)モジュール670、処理コアを一つ又は一つ以上有するプロセッサ680、及び電源190等の部品を含んでもよい。
当業者は、図6に示される端末の構成は端末に対する制限ではなく、当該端末が、図示した部品より多い数、又は少ない数の部品を備えてもよく、或いは、幾つかの部品の組み合わせ、又は異なる部品配置を有してもよい、ことを理解すべきである。
ここで、通信ユニット610は、情報の送受信又は通話中において、信号を受信及び送信するためのものであり、当該通信ユニット610は、RF(Radio Frequency、無線周波)回路、ルーター、モデム等のネットワーク通信装置であってもよい。特に、通信ユニット610がRF回路である場合、基地局からの下り情報を受信した後、一つ、或いは一つ以上のプロセッサ680に渡して処理させる。また、上りデータを基地局に送信する。一般的に、通信ユニットとしてのRF回路は、アンテナ、少なくとも一つのアンプ、チューナー、一つ又は複数の発振器、加入者識別モジュール(SIM)カード、送受信機、カプラー、LNA(Low Noise Amplifier、ローノイズアンプ)、デュプレクサ等を含むが、これらに限らない。なお、通信ユニット610は、無線通信でネットワーク、及び他の装置と通信することができる。上記無線通信として、GSM(Global System of Mobile communication、全球移動通信システム)(登録商標)、GPRS(General Packet Radio Service、汎用パケット無線サービス)、CDMA(Code Division Multiple Access、符号分割多元接続)、WCDMA(Wideband Code Division Multiple Access、広帯域符号分割多元接続)(登録商標)、LTE(Long Term Evolution、ロングタームエボリューション)、電子メール、SMS(Short Messaging Service、ショートメッセージサービス)等を含む任意の通信規格又はプロトコルを利用してもよいが、これらに限らない。メモリ620は、ソフトウェアプログラム及びモジュールを格納するためのものであり、プロセッサ680は、メモリ620に格納されたソフトウェアプログラム及びモジュールを実行することで、各種機能のアプリ及びデータ処理を実施する。メモリ620には、主に、プログラム格納領域とデータ格納領域を有し、プログラム格納領域には、OS、少なくとも一つの機能を実行するアプリ(例えば、音声再生機能、画像再生機能等)等が格納される。データ格納領域には、端末600の使用により作成されたデータ(例えば、オーディオデータ、電話帳等)等が格納される。また、メモリ620は、高速RAM(Random Access Memory)を含んでもよく、さらに、例えば少なくとも一つの磁気ディスクメモリ、フラッシュメモリ等の不揮発性メモリ、或いは他の揮発性のSSD(solid state drive)メモリを含んでもよい。また、メモリ620は、プロセッサ680及び入力ユニット630がメモリ620にアクセスできるように、メモリ制御器をさらに含んでもよい。
入力ユニット630は、数字或いはキャラクター情報の入力の受け付け、及び、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、光学ボールやトラックボールにより信号入力を発生させるためのものである。入力ユニット630は、選択的に、タッチセンシティブ表面630a及び他の入力装置630bを含んでもよい。タッチセンシティブ表面630aは、タッチパネルやタッチパッドとも呼ばれ、ユーザがその表面上や付近に対するタッチ操作(例えば、ユーザが指やタッチペン等の任意の適した物や付属品を使用して、タッチセンシティブ表面630a上やタッチセンシティブ表面630a付近に対して行う操作)を収集するとともに、予め設定されたプログラムにしたがって、関連する接続装置を駆動する。タッチセンシティブ表面630aは、選択的に、タッチ検出手段及びタッチ制御器の2つの部分を含んでもよい。ここで、タッチ検出手段は、ユーザのタッチ位置を検出するとともに、タッチ操作による信号を検出して、タッチ制御器に送信する。タッチ制御器は、タッチ検出手段からタッチ情報を受信し、当該情報を接触点座標に変換してプロセッサ680に送信するとともに、プロセッサ680からのコマンドを受信して実行する。なお、抵抗式、容量式、赤外線式及び表面弾性波式等の様々な方式によりタッチセンシティブ表面630aを実現することができる。入力ユニット630は、タッチセンシティブ表面630aに加えて、他の入力装置630bをさらに含んでもよい。他の入力装置630bは、選択的に、物理的なキーボード、ファンクションキー(例えば、ボリュームボタン、スイッチボタン等)、トラックボール、マウス、ジョイスティック等の中の一つ又は複数を含んでもよいが、これらに限らない。
表示ユニット640は、ユーザが入力した情報やユーザに提供する情報、及び端末600の各種のグラフィカル・ユーザー・インターフェース(GUI)を表示するためのものであり、これらのグラフィカル・ユーザー・インターフェースは、図形、テキスト、アイコン、ビデオ及びそれらの任意の組合せで構成されることができる。表示ユニット640は表示パネル640aを含んでもよく、表示パネル640aは、選択的に、LCD(Liquid Crystal Display、液晶ディスプレイ)、OLED(Organic Light−Emitting Diode、有機発光ダイオード)等の形態で構成されてもよい。さらに、タッチセンシティブ表面630aは、表示パネル640aを覆うように設けられ、タッチセンシティブ表面630aがその表面又は付近に対するタッチ操作を検出すると、その検出結果をプロセッサ680に転送してタッチイベントのタイプを確認させ、その後、プロセッサ680は、タッチイベントのタイプに基づいて、表示パネル640a上に対応する視覚的出力を提供するように構成されてもよい。図6において、タッチセンシティブ表面630aと表示パネル640aとが2つの独立した部品として出力及び入力の機能を実現するように構成されているが、タッチセンシティブ表面630aと表示パネル640aとを集積構成して出力及び入力の機能を実現する実施例もあり得る。
端末600は、さらに、例えば光センサー、運動センサー及び他のセンサー等の、少なくとも一つのセンサー650を含んでもよい。光センサーは、選択的に環境光センサーと近接センサーを含んでもよく、環境光センサーは、環境光の明るさに基づいて、表示パネル640aの輝度を調整することができ、近接センサーは、端末600が耳元まで移動すると、表示パネル640a及び/又はバックライトをオフすることができる。運動センサーの一種としての重力加速度センサーは、各方向(一般的には、3軸)における加速度の大きさを検出することができ、静止の状態では、重力の大きさ及びその方向を検出することができるので、携帯電話の姿勢を認識するアプリ(例えば、画面の横縦向きの切り替え、ゲーム、磁力計の姿勢校正)、振動認識に関する機能(例えば、歩数計、パーカッション)等に使用される。端末600には、さらに、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサー等のほかのセンサーが備えられるが、ここで、その具体的な説明は省略する。
オーディオ回路660、スピーカ660a、マイク660bは、ユーザと端末600との間のオーディオインタフェースを提供する。オーディオ回路660は、受信したオーディオデータから変換された電気信号をスピーカ660aに転送し、スピーカ660aにより音声信号に変換して出力する。一方、マイク660bは、収集した音声信号を電気信号に変換し、オーディオ回路660が当該電気信号を受信した後オーディオデータに変換し、オーディオデータをプロセッサ680に転送して処理してから、RF回路610を介して例えば他の端末に転送するか、或いはオーディオデータをメモリ620に送信して更に処理を行うようにする。オーディオ回路660は、端末600が外部のイヤホンと通信できるように、イヤホン挿入孔を含んでもよい。
当該端末は、無線通信を実現するために、無線通信ユニット670を備えてもよく、当該無線通信ユニット670は、WiFiモジュールであってもよい。WiFiは近距離無線通信技術に属し、ユーザに無線のブロードバンドインターネットアクセスを提供するので、ユーザは、端末600の無線通信ユニット670を利用して、電子メールの送受信、ウェブの閲覧、ストリーミングメディアのアクセス等を行なうことができる。図6において、無線通信ユニット670を示しているが、当該無線通信ユニット670は、端末600にとって不可欠な構成ではなく、本発明の趣旨を変更しない範囲内で必要に応じて省略することができる、ことが理解されるべきである。
プロセッサ680は、端末600の制御センターであり、各種のインタフェース及び回路を介して携帯電話全体の各部と接続され、メモリ620内に格納されたソフトウェアプログラム及び/又はモジュールを実行又は作動させるとともに、メモリ620内に格納されたデータを呼び出すことによって、端末600の各種機能の実行及びデータの処理を実現することで、携帯電話全体をコントロールする。プロセッサ680は、選択的に、一つ又は複数の処理コアを含んでもよい。一実施例で、プロセッサ680はアプリプロセッサとモデムプロセッサを集積して構成されてもよく、ここで、アプリプロセッサは、主に、OS、ユーザインタフェース、及びアプリ等を処理し、モデムプロセッサは、主に、無線通信を処理する。また、上記モデムプロセッサがプロセッサ680に集積されなくてもよい、ことが理解されるべきである。
端末600は、さらに、各部に電力を供給する電源690(例えば、バッテリー)を含み、一実施例において、当該電源は、電源管理システムを介してプロセッサ680にロジック的に接続されることにより、電源管理システムを介して充電・放電管理、及び電力管理等の機能を実現することができる。電源690は、さらに、6つ或いは一つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源コンバータ又はインバータ、電源状態インジケータ等の任意のアセンブリを含んでもよい。
端末600は、図示してはないが、カメラ、ブルートゥースモジュール等をさらに含んでもよいが、ここで、その具体的な説明は省略する。
以上、図6を参照して端末600の選択的な構成を説明しており、上記一つ又は複数のモジュールは、上記メモリに記憶され、上記一つ又は複数のプロセッサにより実行されるように配置されており、上記一つ又は複数のモジュールは、
画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する機能と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する機能と、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する機能と、を有する。
ここで、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記機能は、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得する機能を含む。
ここで、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記機能は、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する機能と、
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデを用いて、上記画像の中の各画素の情報量分布値を算出する機能と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する機能と、を含む。
ここで、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記機能は、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出する機能と、
上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する機能とを含む。
ここで、上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する上記機能は、
以下のような注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する機能を含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は上記画像の中心点を示し、σは予め設定した係数である。
ここで、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する上記機能は、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する機能を含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する上記機能は、
オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する機能を含む。
選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記機能は、
選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成する機能を含む。
本実施例にかかる上記端末は、上記方法実施例のいずれか一つが提供する方法を実行でき、詳しい経過は、方法実施例における記述を参照することができ、ここで、その具体的な説明は省略する。
本実施例にかかる上記端末によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成したので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知習慣により一層合わせた。
実施例7
本実施例は不揮発性の読取可能である記憶媒体を提供し、当該記憶媒体には一つ又は複数のプログラム(programs)が記憶され、当該一つ又は複数のプログラムがデバイスにアプリケーションされるときに、当該デバイスは、
画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップの命令と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するステップの命令と、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するステップの命令(instructions)と、を実行するようにすることが可能となる。
ここで、スライド検索の各位置における長方形枠に対して、その長方形枠の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップの命令は、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得するステップの命令を含む。
ここで、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップの命令は、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出するステップの命令と、
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデを用いて、上記画像の中の各画素の情報量分布値を算出するステップの命令と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得するステップの命令と、を含む。
ここで、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記ステップの命令は、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出するステップの命令と、
上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得するステップの命令とを含む。
ここで、上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する上記ステップの命令は、
以下のような注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出するステップの命令を含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は上記画像の中心点を示し、σは予め設定した係数である。
ここで、予めエッジ強度値と空間位置注目値に基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する上記ステップの命令は、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出するステップを含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する上記ステップの命令は、
オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップの命令を含む。
選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記ステップの命令は、
選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成するステップを含む。
本実施例にかかる上記不揮発性の読取可能である記憶媒体によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成したので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知習慣により一層合わせた。
当業者は、ハードウェアによって上記実施例を実現するステップの全体又はその一部を実行してもよいし、プログラムにより関連するハードウェアを指定して実行するようにしてもよいし、上記プログラムを不揮発性の読取可能である記憶媒体に記憶させてもよいし、以上に言及した記憶媒体としては、リードオンリーメモリ、磁気ディスク又は光ディスク等が挙げられると、理解するべきである。
上述の内容は本発明の比較的適切な実施例に過ぎず、本発明を制限するものではなく、本発明の旨及び原則内で行う如何なる修正、同等の置換、改善等は本発明の保護範囲内に含まれる。

本発明は通信分野に関し、特に画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体に関する。
近年、携帯デバイスの自写、連写等の技術の実現に伴って、携帯デバイスにおける個人アルバムの容量も急速に大きくなっている。通常、個人アルバムでは、記憶された画像に対してサムネイルを生成し、ユーザによりプレビューしたり参照することができるように、サムネイルをプレビューモードにする。現在、比較的一般的な画像サムネイルの生成方法は、直接に画像の中間部分を切り取り、切り取った中間部分に対して該当する収縮・拡大処理を行うことにより、この画像のサムネイルを生成するものである。この方法の利点は効率が非常に高い点にある。
しかし、上記方法では、画像の空間位置情報のみを考えており、画像のコンテンツ情報は全く考えておらず、生成されたサムネイルがオリジナル画像のコンテンツ情報を十分に表現できない場合もある。例えば、1枚の画像における人物位置が相対的に偏った場合、画像の中間部分のみを切り取った場合、生成されたサムネイルには当該人物の一部分しか含まれていない可能性があり、オリジナル画像コンテンツ情報の表現上の精度が悪くなっている。
本発明は、上記に鑑みて、サムネイルのオリジナル画像コンテンツ情報の表現上の精度を向上させるための画像サムネイルの生成方法及び装置を提供する。その技術方案は下記の通りである。
本発明の第1の態様は、画像サムネイルの生成方法を提供し、当該画像サムネイルの生成方法は、
画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するステップと、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するステップと、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するステップと、を含む。
ここで、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得するステップを含む。
ここで、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出するステップと、
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出するステップと、
予め設定された長方形枠を用いて上記画像にスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得するステップと、を含む。
ここで、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記ステップは、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出するステップと、
上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得するステップとを含み、
上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
予め上記画像の中心点と各画素の座標に基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する上記ステップは、
注目モデルである
を用いて、上記画像の中の各画素の空間位置注目値を算出するステップを含み、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出する上記ステップは、
情報量分布モデルである
を用いて、上記画像の中の各画素の情報量分布値を算出するステップを含み、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得する上記ステップは、
オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップを含み、
選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記ステップは、
選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成するステップを含む。
本発明の第2の態様は、画像サムネイルの生成装置を提供し、当該画像サムネイルの生成装置は、
画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するフィルタモジュールと、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する検索モジュールと、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する切り取りモジュールと、を含む。
ここで、上記検索モジュールは、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行う検索ユニットと、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得する算出ユニットと、を含む。
ここで、上記検索モジュールは、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行う検索ユニットと、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出し、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出し、上記検索ユニットによりスライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する算出ユニットと、を含む。
ここで、上記算出ユニットは、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出し、上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する情報量分布値算出サブユニットを含み、
上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、上記算出ユニットは、
注目モデルである
を用いて、上記画像の中の各画素の空間位置注目値を算出する空間位置注目値算出サブユニットを含む、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
ここで、上記算出ユニットは、
情報量分布モデルである
を用いて、上記画像の中の各画素の情報量分布値を算出する情報量分布値算出サブユニットを含み、
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、オリジナル画像を圧縮する圧縮モジュールをさらに含み、
上記フィルタモジュールは、上記圧縮モジュールによって圧縮された画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、
上記切り取りモジュールは、選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成する。
本発明の第3の態様は、
メモリ、及び
メモリに記憶され、且つ一つ又は一つ以上のプロセッサにより実行される一つ又は一つ以上のプログラムを含み、
上記一つ又は一つ以上のプログラムは、
画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するための操作と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するための操作と、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するための操作と、を実行するための指令を含む。
本発明の第4の態様は、本発明は、プロセッサに実行されることにより、上記画像サムネイルの生成方法を実現するプログラムを提供する。
本発明の第5の態様は、本発明は、上記プログラムが記録された記録媒体を提供する。
本発明にかかる方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知状態により一層合わせる、という有益な技術効果をもたらすことができる
以上の統括な記述と以下の細部記述は、ただ例示的なものであり、本発明を制限するものではないと、理解するべきである。
本発明の実施例における方法をより一層明確に説明するために、以下、実施例の記述に必要な図面について簡単に説明を行う以下の記述における図面は本発明のいくつかの実施例に過ぎず、本技術分野の当業者にとって、これらの図面に基づき創造的労働を実施しない状況で他の図面も獲得できることは明らかである。
本発明の実施例1にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例2にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例3にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例3にかかるサムネイルの生成過程を示す例示的な模式図である。 本発明の実施例4にかかる画像サムネイルの生成方法を示す例示的なフローチャートである。 本発明の実施例4にかかる核関数を示す例示的な模式図である。 本発明の実施例5にかかる画像サムネイルの生成装置を示す一つの例示的な構成図である。 本発明の実施例5にかかる画像サムネイルの生成装置を示すもう一つの例示的な構成図である。 本発明の実施例6にかかる端末を示す例示的な構成図である。
上記図面によって本発明の明確な実施例を例示し、以下にさらに詳しく記述する。これらの図面と文字記述は本発明の旨の範囲を何らの形態によって制限するものではなく、特定の実施例を参照することによって、本技術分野の当業者に本発明の概念を理解させるためのものである。
以下、本発明の目的、実施方法及び利点をさらに明確にするために、以下、図面を参照しながら本発明の実施例をさらに詳しく説明する。
実施例1
図1を参照し、本実施例は画像サムネイルの生成方法を提供する。当該方法は下記のステップを含む。
ステップ101において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
本実施例において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する方法は、画像に対してラプラス・エッジフィルタ演算子、ソーベル・エッジフィルタ演算子、Robert・エッジ演算子、Prewitt・エッジ演算子、又はLOG・エッジ演算子を利用してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する方法を含んでもよい。
本実施例において、エッジ強度値が比較的に相近い画素について、それらの色の差異性が大きくないと考えられ、エッジ強度値が大きく相違する画素について、それらの色の差異性が大きいと考えられ、従って、エッジ強度値がある程度で画像のコンテンツ情報を反映していると考えられる。
ステップ102において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索が行われる各々の位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する。
ただし、予め設定された長方形枠は、当該画像より小さいいずれのサイズの長方形枠を用いてあってもよい。例えば、一つの場合において、長方形枠は、短辺が画像の短辺と等しくて、長辺が画像の長辺より小さいものである。もう一つの場合において、長方形枠は、短辺が画像の短辺より小さくて、長辺が画像の長辺と等しいものである。さらにもう一つの場合において、長方形枠は、短辺が画像の短辺より小さくて、かつ長辺が画像の長辺より小さいものである。長方形枠について、本実施例では具体的に制限しない。
長方形枠を用いて画像に対して行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれらについて具体的制限はない。例えば、ただ横方向におけるスライド検索、或いはただ縦方向におけるスライド検索、或いは45°方向に沿った検索、等が挙げられる。
ステップ103において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する。
本実施例において、生成されたサムネイルのサイズについて制限はなく、例えば、1600×1200の画像等にしてもよい。ここで、切り取った画像を圧縮し、その後、圧縮した画像をサムネイルにしてもよく、本実施例ではこれについて具体的に制限しない。
本実施例において、スライド検索が行われる各位置における長方形枠に対して、その長方形枠の中の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
スライド検索が行われる各位置における長方形枠に対して、その長方形枠の中のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得するステップを含んでもよい。
本実施例において、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索が行われる各位置における長方形枠に対して、その長方形枠の中の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出するステップと、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索が行われる各位置における長方形枠に対して、予めエッジ強度値と空間位置注目値に基づいて作成された情報量分布モデルを用いて、当該長方形枠内の各画素の情報量分布値を算出し、当該長方形枠の中の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得するステップとを、を含んでもよい。
本実施例において、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記ステップは、
予め選定した核関数を用いて当該画像の中の各画素に対応する重みを算出するステップと、当該長方形枠内の各画素の情報量分布値と、対応する重みをそれぞれ乗算した後、加算することにより、当該長方形枠の情報量分布値を取得するステップとを含んでもよい。ここで、当該核関数は、画素から画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
本実施例において、予め当該画像の中心点と各画素の座標に基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する上記ステップは、
以下のような注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
本実施例において、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該長方形枠内の各画素の情報量分布値を算出する上記ステップは、
以下のような情報量分布モデルを用いて、当該長方形枠内の各画素の情報量分布値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
本実施例において、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じであってもよい。これにより、切り取ることにより得られたサムネイルに可能な限り多くのコンテンツを含めることができる。
演算効率を向上させるために、上記の方法では、フィルタ処理を行う前に上記画像に対して圧縮処理を行うことにより解像度のより低い画像を取得し、その後、フィルタ処理等の続けるステップを実行してもよいし、情報量分布値が最大である長方形枠を選定した後、当該長方形枠の位置を対応するオリジナル画像における位置に変換して、オリジナル画像から切り取りをすれば良い。ここで、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する上記ステップは、オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップを含んでもよい。
これに対応して、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記ステップは、選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成するステップを含む。
例えば、1600×1200の1枚の画像を、先ず、400×400の画像に圧縮し、その後、当該400×400の画像から長方形枠を選定し、選定が終了した後、当該長方形枠に対応した領域を1600×1200画像における対応領域に変換し、その後に切り取り及び圧縮を行えば、サムネイルが得られ。このような形態によれば、処理速度を極めて向上し、時間が節約され、リアルタイム性の要求充分に満たすことができる。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索が行われる各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知状態により一層合わせることができる
実施例2
図2を参照すると、本実施例は画像サムネイルの生成方法を提供し、当該方法は下記のステップを含む。
ステップ201において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
画像に対してのフィルタ処理は多種のフィルタ演算子によって実現でき、詳しくは実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ202において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得する。
ここで、上記長方形枠のサイズは、必要に応じて設定すればよいし、当該画像のサイズよりも小さければよい。画像に対して長方形枠を用いて行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれについて具体的に制限しなく、実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
例えば、スライド検索の各位置における長方形枠について、下式によって計算することができる。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、E(i,j)は当該画素のエッジ強度値を示し、Iは当該長方形枠の情報量分布値を示す。)
ここで、当該長方形枠内の各画素の情報量分布値が当該点のエッジ強度値に等しいと考えられ、従って、当該長方形枠内の各画素のエッジ強度値の合計が、当該長方形枠内の各画素の情報量分布値の合計であり、これによって当該長方形枠の情報量分布値を取得することができる。
ステップ203において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより当該画像のサムネイルを生成する。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成し、エッジ強度値に基づいてサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルに画像における重要なコンテンツ及び著しいコンテンツを含めることが可能となり、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知状態により一層合わせるようになる。
実施例3
図3aを参照すると、本実施例は画像サムネイルの生成方法を提供し、当該方法は下記のステップを含む。
ステップ301において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
画像に対してのフィルタ処理は多種のフィルタ演算子によって実現でき、詳しくは実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
また、計算の利便性から、エッジ強度値に対して正規化処理を行うことにより、0〜255範囲内の数値を取得した後、演算を行ってもよい。
ステップ302において、予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する。
ただし、当該ステップは、
以下のような注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
本実施例において、係数σの数値は、必要に応じて予め設定すればよく、例えば、画像の長さと幅のうちの最小値を選択し、その後、当該最小値の1/4を当該係数の数値とする等としてもよいし、本実施例ではこれについて具体的に制限しない。
ステップ303において、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する。
ただし、当該ステップは、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出するステップを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ステップ304において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する。
ここで、上記長方形枠のサイズは、必要に応じて設定してもよく、当該画像のサイズよりも小さければよい。一実施形態において、当該長方形枠は正方形であって、辺の長さが当該画像の短辺の長さと同じであってよく、これにより、切り取ることにより得られたサムネイルに可能な限り多くのコンテンツを含めることができる。もちろん、その他の実施形態を採用してもよいし、本実施例ではこれについて具体的に制限しない。
画像に対して長方形枠を用いて行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれについて具体的に制限しなく、実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ305において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する。
図3bは本実施例にかかるサムネイルの生成過程を示す模式図である。図面の中で、(1)は、オリジナル画像である。(2)は、オリジナル画像に対してラプラス・エッジフィルタ演算子によってフィルタ処理を行って得られた画像であり、ここでは、画像における各画素のエッジ強度値にたいしてさらに正規化処理を行い、処理後の数値の範囲が0〜255である。(3)は、予め作成された注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出した結果であり、ここでは、明るい部分であるほど、ユーザの注目度が高い部分、即ちユーザの興味が高い領域を示し、暗い部分であるほど、ユーザの注目度が低い部分を示す。(4)は、予め作成された情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出した結果であり、ここでは、各情報量分布値に対しても正規化処理を行って、処理後の数値の範囲が0〜255である。当該結果から分かれるように、エッジ強度値及び空間位置注目値を組み合わせることにより、情報量分布値の高い画素の全てが画像に表示され、このため、最大の情報量分布値に従って長方形枠を選定することにより、さらに精確なサムネイルを生成することができる。生成したサムネイルは、画像の中央部分のみを選定することと比べて、オリジナル画像コンテンツ情報をより一層精確に反映させる。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め作成された注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、予め作成された情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出し、それらを加算することにより当該長方形枠の情報量分布値を取得し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、エッジ強度値及び空間位置注目値に基づいたサムネイル生成が実現され、サムネイルは、画像における重要なコンテンツ及び著しいコンテンツを含むものだけでなく、画像コンテンツ情報の位置も考慮して得られたものであり、サムネイルによるオリジナル画像コンテンツ情報の表示の精度が極めて向上され、人の認知状態により一層合わせることができる。また、上記アルゴリズムによると、上記方法のリアルタイム性も確保され、サムネイルを効率よく生成する効果も達成することができ、一般的には、サイズが1600×1200の画像については、おおよそ40〜50msの時間内でサムネイルを生成でき、サイズが100×100の画像については、おおよそ10ms程度でサムネイルを生成でき、携帯デバイス等のリアルタイム性への要求を全く満たすことができる。
実施例4
図4aを参照すると、本実施例は画像サムネイルの生成方法を提供し、当該方法は下記のステップを含む。
ステップ401において、画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得する。
画像に対してのフィルタ処理は多種のフィルタ演算子によって実現でき、詳しくは実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ402において、予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する。
当該注目モデルについては、実施例3における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ403において、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する。
当該情報量分布モデルについては、実施例3における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ404において、予め設定された長方形枠を用いて当該画像に対してスライド検索を行う。
ここで、上記長方形枠のサイズは必要に応じて設定してもよく、当該画像のサイズよりも小さければよい。一実施形態において、当該長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じであってよく、これにより、切り取ることにより得られたサムネイルに可能な限り多くのコンテンツを含めることができる。もちろん、その他の実施形態を採用してもよいし、本実施例ではこれについて具体的に制限しない。
画像に対して長方形枠を用いて行うスライド検索は、いずれの方向に沿うスライド検索であってもよく、本実施例ではこれについて具体的に制限しなく、実施例1における記述を参照することができ、ここで、その具体的な説明は省略する。
ステップ405において、スライド検索の各位置における長方形枠に対して、予め選定した核関数を用いて、当該長方形枠内の各画素に対応する重みを算出し、当該長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する。
当該核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。これに対応して、当該核関数は、画素の画像中心点までの距離が大きければ大きいほど、小さい重みを当該画素に付与する。
本実施例において、核関数は多種の形態により実現でき、通常、中間が***し、両辺が低い関数形態である。核関数を、最大重みが最小重みの2〜3倍となり、かつ最小重みが0でないもの等に設定できるが、もちろん、その他の形態を採用してもよい。例えば、核関数として、正弦関数又は上昇してから下降するような2本の直線等の関数形態を選定でき、本実施例ではこれについて具体的に制限しない。
図4bは、本実施例にかかる核関数を示す模式図である。ここで、長方形枠が正方形であることを例とし、かつ当該正方形の辺の長さがオリジナル画像の短辺の長さに等しい。オリジナル画像の横方向を長辺、縦方向を短辺として説明を行う。スライド検索を行うときに、長方形枠を用いて水平方向に沿ってスライド検索を行い、垂直方向に沿ってはスライドしない。図面の中で、核関数の横座標は画像における各画素の横座標を示し、核関数の縦座標は各画素に対して選定した重みを示す。図面から分かれるように、当該核関数は、画像の中心の付近の画素に大きい重みを付与し、画像の両辺にある画素には小さい重みを付与することにより、長方形枠の情報量分布値を算出し、その後、切り取りを行い、これにより、画像における情報量が最大で一番著しい領域をできる限りサムネイルの中央に配置することを確保した。
ステップ406において、情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する。
本実施例にかかる上記方法によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出し、核関数を用いて当該画像の中の各画素に対応する重みを算出し、当該長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、エッジ強度値及び空間位置注目値に基づいたサムネイル生成が実現され、サムネイルは、画像における重要なコンテンツ及び著しいコンテンツを含むものだけでなく、画像コンテンツ情報の位置も考慮されて得られたものであり、サムネイルによるオリジナル画像コンテンツ情報の表示の精度が極めて向上され、人の認知状態により一層合わせることができる。さらに、長方形枠の情報量分布値を計算するときに、核関数を用いて各画素に対応する重みを算出し、重みと結合して計算し、当該核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与するため、算出した長方形枠の情報量分布値は、ユーザが画像中心に対してより一層高い注目度を持つという特徴にあわせており、かつ、画像における情報量が最大で一番著しい領域をできる限りサムネイルの中央に配置して、サムネイルが画像の重点部分をもっとも反映することができるようにしたので、ユーザのニーズに充分に満たした。また、上記のアルゴリズムによると、上記方法のリアルタイム性も確保され、サムネイルを効率よく生成する効果も達成することができ、携帯デバイス等のデバイスにおけるリアルタイム性の要求に合わせている。
実施例5
図5aを参照すると、本実施例は画像サムネイルの生成装置を提供し、当該装置は、
画像に対してフィルタ処理を行うことにより当該画像の中の各画素のエッジ強度値を取得するフィルタモジュール501と、
予め設定された長方形枠を用いて当該画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する検索モジュール502と、
情報量分布値が最大である長方形枠を選定し、選定した当該長方形枠に対応する画像コンテンツを切り取ることにより、当該画像のサムネイルを生成する切り取りモジュール503と、を含む。
ここで、検索モジュール502は、
予め設定された長方形枠を用いて当該画像に対してスライド検索を行う検索ユニットと、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得する算出ユニットと、を含んでもよい。
あるいは、図5bを参照すると、検索モジュール502は、
予め設定された長方形枠を用いて当該画像に対してスライド検索を行う検索ユニット502aと、
予め当該画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて当該画像の中の各画素の空間位置注目値を算出し、予めエッジ強度値と空間位置注目値に基づいて作成された情報量分布モデルを用いて当該画像の中の各画素の情報量分布値を算出し、検索ユニット502aによりスライド検索の各位置における長方形枠について、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する、算出ユニット502bと、を含んでもよい。
ここで、上記算出ユニット502bは、
予め選定した核関数を用いて当該長方形枠内の各画素に対応する重みを算出し、当該長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する情報量分布値算出サブユニットを含んでもよい。ここで、当該核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、上記算出ユニット502bは、
以下のような注目モデルを用いて、当該画像の中の各画素の空間位置注目値を算出する空間位置注目値算出サブユニットを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である。
ここで、上記算出ユニット502bは、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する情報量分布値算出サブユニットを含んでもよい。
ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
本実施例において、上記長方形枠は正方形であって、辺の長さが当該画像の短辺の長さと同じである。
本実施例において、上記装置は、
オリジナル画像を圧縮する圧縮モジュールをさらに含んでもよく、
上記フィルタモジュールは、上記圧縮モジュールによって圧縮された画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、
上記切り取りモジュールは、選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成する。
本実施例にかかる上記装置は端末に適用でき、当該端末は、携帯電話、タブレットPC等を含むが、これらに限らない。上記装置は、上記の方法の実施例のいずれか一つが提供する方法を実行でき、詳しい経過は、方法実施例における記述を参照することができ、ここで、その具体的な説明は省略する。
本実施例にかかる上記装置によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知状態により一層合わせることができる
実施例6
図6を参照すると、本実施例は端末600を提供し、この端末600は、通信ユニット610、不揮発性の読取可能である記憶媒体を一つ又は一つ以上含むメモリ620、入力ユニット630、表示ユニット640、センサー650、オーディオ回路660、WiFi(wireless fidelity、ワイヤレス・フィディリティー(登録商標))モジュール670、処理コアを一つ又は一つ以上有するプロセッサ680、及び電源190等の部品を含んでもよい。
当業者は、図6に示される端末の構成は端末に対する制限ではなく、当該端末が、図示した部品より多い数、又は少ない数の部品を備えてもよく、或いは、幾つかの部品の組み合わせ、又は異なる部品配置を有してもよいことを理解すべきである。
ここで、通信ユニット610は、情報の送受信又は通話中において、信号を受信及び送信するためのものであり、当該通信ユニット610は、RF(Radio Frequency、無線周波)回路、ルーター、モデム等のネットワーク通信装置であってもよい。特に、通信ユニット610がRF回路である場合、基地局からの下り情報を受信した後、一つ、或いは一つ以上のプロセッサ680に渡して処理させる。また、上りデータを基地局に送信する。一般的に、通信ユニットとしてのRF回路は、アンテナ、少なくとも一つのアンプ、チューナー、一つ又は複数の発振器、加入者識別モジュール(SIM)カード、送受信機、カプラー、LNA(Low Noise Amplifier、ローノイズアンプ)、デュプレクサ等を含むが、これらに限らない。なお、通信ユニット610は、無線通信でネットワーク、及び他の装置と通信することができる。上記無線通信として、GSM(Global System of Mobile communication、全球移動通信システム)(登録商標)、GPRS(General Packet Radio Service、汎用パケット無線サービス)、CDMA(Code Division Multiple Access、符号分割多元接続)、WCDMA(Wideband Code Division Multiple Access、広帯域符号分割多元接続)(登録商標)、LTE(Long Term Evolution、ロングタームエボリューション)、電子メール、SMS(Short Messaging Service、ショートメッセージサービス)等を含む任意の通信規格又はプロトコルを利用してもよいが、これらに限らない。メモリ620は、ソフトウェアプログラム及びモジュールを格納するためのものであり、プロセッサ680は、メモリ620に格納されたソフトウェアプログラム及びモジュールを実行することで、各種機能のアプリ及びデータ処理を実施する。メモリ620には、主に、プログラム格納領域とデータ格納領域を有し、プログラム格納領域には、OS、少なくとも一つの機能を実行するアプリ(例えば、音声再生機能、画像再生機能等)等が格納される。データ格納領域には、端末600の使用により作成されたデータ(例えば、オーディオデータ、電話帳等)等が格納される。また、メモリ620は、高速RAM(Random Access Memory)を含んでもよく、さらに、例えば少なくとも一つの磁気ディスクメモリ、フラッシュメモリ等の不揮発性メモリ、或いは他の揮発性のSSD(solid state drive)メモリを含んでもよい。また、メモリ620は、プロセッサ680及び入力ユニット630がメモリ620にアクセスできるように、メモリ制御器をさらに含んでもよい。
入力ユニット630は、数字或いはキャラクター情報の入力の受け付け、及び、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、光学ボールやトラックボールにより信号入力を発生させるためのものである。入力ユニット630は、選択的に、タッチセンシティブ表面630a及び他の入力装置630bを含んでもよい。タッチセンシティブ表面630aは、タッチパネルやタッチパッドとも呼ばれ、ユーザがその表面上や付近に対するタッチ操作(例えば、ユーザが指やタッチペン等の任意の適した物や付属品を使用して、タッチセンシティブ表面630a上やタッチセンシティブ表面630a付近に対して行う操作)を収集するとともに、予め設定されたプログラムにしたがって、関連する接続装置を駆動する。タッチセンシティブ表面630aは、選択的に、タッチ検出手段及びタッチ制御器の2つの部分を含んでもよい。ここで、タッチ検出手段は、ユーザのタッチ位置を検出するとともに、タッチ操作による信号を検出して、タッチ制御器に送信する。タッチ制御器は、タッチ検出手段からタッチ情報を受信し、当該情報を接触点座標に変換してプロセッサ680に送信するとともに、プロセッサ680からのコマンドを受信して実行する。なお、抵抗式、容量式、赤外線式及び表面弾性波式等の様々な方式によりタッチセンシティブ表面630aを実現することができる。入力ユニット630は、タッチセンシティブ表面630aに加えて、他の入力装置630bをさらに含んでもよい。他の入力装置630bは、選択的に、物理的なキーボード、ファンクションキー(例えば、ボリュームボタン、スイッチボタン等)、トラックボール、マウス、ジョイスティック等の中の一つ又は複数を含んでもよいが、これらに限らない。
表示ユニット640は、ユーザが入力した情報やユーザに提供する情報、及び端末600の各種のグラフィカル・ユーザー・インターフェース(GUI)を表示するためのものであり、これらのグラフィカル・ユーザー・インターフェースは、図形、テキスト、アイコン、ビデオ及びそれらの任意の組合せで構成されることができる。表示ユニット640は表示パネル640aを含んでもよく、表示パネル640aは、選択的に、LCD(Liquid Crystal Display、液晶ディスプレイ)、OLED(Organic Light−Emitting Diode、有機発光ダイオード)等の形態で構成されてもよい。さらに、タッチセンシティブ表面630aは、表示パネル640aを覆うように設けられ、タッチセンシティブ表面630aがその表面又は付近に対するタッチ操作を検出すると、その検出結果をプロセッサ680に転送してタッチイベントのタイプを確認させ、その後、プロセッサ680は、タッチイベントのタイプに基づいて、表示パネル640a上に対応する視覚的出力を提供するように構成されてもよい。図6において、タッチセンシティブ表面630aと表示パネル640aとが2つの独立した部品として出力及び入力の機能を実現するように構成されているが、タッチセンシティブ表面630aと表示パネル640aとを集積構成して出力及び入力の機能を実現する実施例もあり得る。
端末600は、さらに、例えば光センサー、運動センサー及び他のセンサー等の、少なくとも一つのセンサー650を含んでもよい。光センサーは、選択的に環境光センサーと近接センサーを含んでもよく、環境光センサーは、環境光の明るさに基づいて、表示パネル640aの輝度を調整することができ、近接センサーは、端末600が耳元まで移動すると、表示パネル640a及び/又はバックライトをオフすることができる。運動センサーの一種としての重力加速度センサーは、各方向(一般的には、3軸)における加速度の大きさを検出することができ、静止の状態では、重力の大きさ及びその方向を検出することができるので、携帯電話の姿勢を認識するアプリ(例えば、画面の横縦向きの切り替え、ゲーム、磁力計の姿勢校正)、振動認識に関する機能(例えば、歩数計、パーカッション)等に使用される。端末600には、さらに、ジャイロスコープ、気圧計、湿度計、温度計、赤外線センサー等のほかのセンサーが備えられるが、ここで、その具体的な説明は省略する。
オーディオ回路660、スピーカ660a、マイク660bは、ユーザと端末600との間のオーディオインタフェースを提供する。オーディオ回路660は、受信したオーディオデータから変換された電気信号をスピーカ660aに転送し、スピーカ660aにより音声信号に変換して出力する。一方、マイク660bは、収集した音声信号を電気信号に変換し、オーディオ回路660が当該電気信号を受信した後オーディオデータに変換し、オーディオデータをプロセッサ680に転送して処理してから、RF回路610を介して例えば他の端末に転送するか、或いはオーディオデータをメモリ620に送信して更に処理を行うようにする。オーディオ回路660は、端末600が外部のイヤホンと通信できるように、イヤホン挿入孔を含んでもよい。
当該端末は、無線通信を実現するために、無線通信ユニット670を備えてもよく、当該無線通信ユニット670は、WiFiモジュールであってもよい。WiFiは近距離無線通信技術に属し、ユーザに無線のブロードバンドインターネットアクセスを提供するので、ユーザは、端末600の無線通信ユニット670を利用して、電子メールの送受信、ウェブの閲覧、ストリーミングメディアのアクセス等を行なうことができる。図6において、無線通信ユニット670を示しているが、当該無線通信ユニット670は、端末600にとって不可欠な構成ではなく、本発明の趣旨を変更しない範囲内で必要に応じて省略することができることが理解されるべきである。
プロセッサ680は、端末600の制御センターであり、各種のインタフェース及び回路を介して携帯電話全体の各部と接続され、メモリ620内に格納されたソフトウェアプログラム及び/又はモジュールを実行又は作動させるとともに、メモリ620内に格納されたデータを呼び出すことによって、端末600の各種機能の実行及びデータの処理を実現することで、携帯電話全体をコントロールする。プロセッサ680は、選択的に、一つ又は複数の処理コアを含んでもよい。一実施例で、プロセッサ680はアプリプロセッサとモデムプロセッサを集積して構成されてもよく、ここで、アプリプロセッサは、主に、OS、ユーザインタフェース、及びアプリ等を処理し、モデムプロセッサは、主に、無線通信を処理する。また、上記モデムプロセッサがプロセッサ680に集積されなくてもよいことが理解されるべきである。
端末600は、さらに、各部に電力を供給する電源690(例えば、バッテリー)を含み、一実施例において、当該電源は、電源管理システムを介してプロセッサ680にロジック的に接続されることにより、電源管理システムを介して充電・放電管理、及び電力管理等の機能を実現することができる。電源690は、さらに、6つ或いは一つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源コンバータ又はインバータ、電源状態インジケータ等の任意のアセンブリを含んでもよい。
端末600は、図示してはないが、カメラ、ブルートゥースモジュール等をさらに含んでもよいが、ここで、その具体的な説明は省略する。
以上、図6を参照して端末600の選択的な構成を説明しており、上記一つ又は複数のモジュールは、上記メモリに記憶され、上記一つ又は複数のプロセッサにより実行されるように配置されており、上記一つ又は複数のモジュールは、
画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する機能と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する機能と、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する機能と、を有する。
ここで、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記機能は、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得する機能を含む。
ここで、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記機能は、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する機能と、
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデを用いて、上記画像の中の各画素の情報量分布値を算出する機能と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する機能と、を含む。
ここで、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記機能は、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出する機能と、
上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する機能とを含む。
ここで、上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する上記機能は、
以下のような注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する機能を含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は上記画像の中心点を示し、σは予め設定した係数である。
ここで、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する上記機能は、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する機能を含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する上記機能は、
オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する機能を含む。
選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記機能は、
選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成する機能を含む。
本実施例にかかる上記端末は、上記方法実施例のいずれか一つが提供する方法を実行でき、詳しい経過は、方法実施例における記述を参照することができ、ここで、その具体的な説明は省略する。
本実施例にかかる上記端末によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成したので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知状態により一層合わせることができる
実施例7
本実施例は不揮発性の読取可能である記憶媒体を提供し、当該記憶媒体には一つ又は複数のプログラム(programs)が記憶され、当該一つ又は複数のプログラムがデバイスにアプリケーションされるときに、当該デバイスは、
画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップの命令と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するステップの命令と、
情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するステップの命令(instructions)と、を実行するようにすることが可能となる。
ここで、スライド検索の各位置における長方形枠に対して、その長方形枠の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップの命令は、
スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより、当該長方形枠の情報量分布値を取得するステップの命令を含む。
ここで、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップの命令は、
予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出するステップの命令と、
予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデを用いて、上記画像の中の各画素の情報量分布値を算出するステップの命令と、
予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得するステップの命令と、を含む。
ここで、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記ステップの命令は、
予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出するステップの命令と、
上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得するステップの命令とを含む。
ここで、上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する。
ここで、予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する上記ステップの命令は、
以下のような注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出するステップの命令を含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は上記画像の中心点を示し、σは予め設定した係数である。
ここで、予めエッジ強度値と空間位置注目値に基づいて作成された情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出する上記ステップの命令は、
以下のような情報量分布モデルを用いて、当該画像の中の各画素の情報量分布値を算出するステップを含む。
ここで、(i,j)は上記画像の中のいずれか1つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す。
ここで、上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである。
ここで、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得する上記ステップの命令は、
オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップの命令を含む。
選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記ステップの命令は、
選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成するステップを含む。
本実施例にかかる上記不揮発性の読取可能である記憶媒体によれば、画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出し、情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成したので、画像のコンテンツ情報に基づいたサムネイル生成が実現され、サムネイルのオリジナル画像コンテンツ情報表示上の精度が向上され、人の認知状態により一層合わせることができる
当分野の普通の技術者は、ハードウェアによって上記実施例を実現するステップの全体又はその一部を実行してもよいし、プログラムにより関連するハードウェアを指定して実行するようにしてもよいし、上記プログラムを不揮発性の読取可能である記憶媒体に記憶させてもよいし、以上に言及した記憶媒体としては、リードオンリーメモリ、磁気ディスク又は光ディスク等が挙げられると、理解するべきである。
上述の内容は本発明の比較的適切な実施例に過ぎず、本発明を制限するものではなく、本発明の旨及び原則内で行う如何なる修正、同等の置換、改善等は本発明の保護範囲内に含まれる。
本願は、出願番号が201310743545.7であって、出願日が2013年12月30日である中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張し、その内容全体は本願に援用される。

Claims (17)

  1. 画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するステップと、
    予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するステップと、
    情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するステップと、を含む
    ことを特徴とする画像サムネイルの生成方法。
  2. スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
    スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得するステップを含む
    ことを特徴とする請求項1に記載の画像サムネイルの生成方法。
  3. 予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する上記ステップは、
    予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出するステップと、
    予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出するステップと、
    予め設定された長方形枠を用いて上記画像にスライド検索を行い、スライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得するステップと、を含む
    ことを特徴とする請求項1に記載の画像サムネイルの生成方法。
  4. 当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する上記ステップは、
    予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出するステップと、
    上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得するステップとを含み、
    上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する
    ことを特徴とする請求項3に記載の画像サムネイルの生成方法。
  5. 予め上記画像の中心点と各画素の座標に基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出する上記ステップは、
    注目モデルである
    を用いて、上記画像の中の各画素の空間位置注目値を算出するステップを含み、
    ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である
    ことを特徴とする請求項3に記載の画像サムネイルの生成方法。
  6. 予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出する上記ステップは、
    情報量分布モデルである
    を用いて、上記画像の中の各画素の情報量分布値を算出するステップを含み、
    ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す
    ことを特徴とする請求項3に記載の画像サムネイルの生成方法。
  7. 上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである
    ことを特徴とする請求項1乃至6のいずれか一項に記載の画像サムネイルの生成方法。
  8. 画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得する上記ステップは、
    オリジナル画像を圧縮し、圧縮した画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得するステップを含み、
    選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する上記ステップは、
    選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成するステップを含む
    ことを特徴とする請求項1乃至6のいずれか一項に記載の画像サムネイルの生成方法。
  9. 画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するフィルタモジュールと、
    予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出する検索モジュールと、
    情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成する切り取りモジュールと、を含む
    ことを特徴とする画像サムネイルの生成装置。
  10. 上記検索モジュールは、
    予め設定された長方形枠を用いて上記画像に対してスライド検索を行う検索ユニットと、
    スライド検索の各位置における長方形枠に対して、その長方形枠内のすべての画素のエッジ強度値を加算することにより当該長方形枠の情報量分布値を取得する算出ユニットと、を含む
    ことを特徴とする請求項9に記載の画像サムネイルの生成装置。
  11. 上記検索モジュールは、
    予め設定された長方形枠を用いて上記画像に対してスライド検索を行う検索ユニットと、
    予め上記画像の中心点と各画素の座標とに基づいて作成された注目モデルを用いて、上記画像の中の各画素の空間位置注目値を算出し、予めエッジ強度値と空間位置注目値とに基づいて作成された情報量分布モデルを用いて、上記画像の中の各画素の情報量分布値を算出し、上記検索ユニットによりスライド検索の各位置における長方形枠に対して、当該長方形枠内の各画素の情報量分布値を加算することにより当該長方形枠の情報量分布値を取得する算出ユニットと、を含む
    ことを特徴とする請求項9に記載の画像サムネイルの生成装置。
  12. 上記算出ユニットは、
    予め選定した核関数を用いて上記長方形枠内の各画素に対応する重みを算出し、上記長方形枠内の各画素の情報量分布値と、対応する重みとをそれぞれ乗算した後に加算することにより、当該長方形枠の情報量分布値を取得する情報量分布値算出サブユニットを含み、
    上記核関数は、画素の画像中心点までの距離が小さければ小さいほど、大きい重みを当該画素に付与する
    ことを特徴とする請求項11に記載の画像サムネイルの生成装置。
  13. 上記算出ユニットは、
    注目モデルである
    を用いて、上記画像の中の各画素の空間位置注目値を算出する空間位置注目値算出サブユニットを含む、
    ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、P(i,j)は当該画素の空間位置注目値を示し、(X,Y)は当該画像の中心点を示し、σは予め設定した係数である
    ことを特徴とする請求項11に記載の画像サムネイルの生成装置。
  14. 上記算出ユニットは、
    情報量分布モデルである
    を用いて、上記画像の中の各画素の情報量分布値を算出する情報量分布値算出サブユニットを含み、
    ここで、(i,j)は当該画像の中のいずれか一つの画素を示し、I(i,j)は当該画素の情報量分布値を示し、E(i,j)は当該画素のエッジ強度値を示し、P(i,j)は当該画素の空間位置注目値を示す
    ことを特徴とする請求項11に記載の画像サムネイルの生成装置。
  15. 上記長方形枠は正方形であって、辺の長さが上記画像の短辺の長さと同じである
    ことを特徴とする請求項9乃至14のいずれか一項に記載の画像サムネイルの生成装置。
  16. オリジナル画像を圧縮する圧縮モジュールをさらに含み、
    上記フィルタモジュールは、上記圧縮モジュールによって圧縮された画像に対してフィルタ処理を行うことにより上記画像の中の各画素のエッジ強度値を取得し、
    上記切り取りモジュールは、選定した上記長方形枠を上記オリジナル画像における長方形枠へと対応させ、上記オリジナル画像における長方形枠内の画像コンテンツを切り取ることにより上記オリジナル画像のサムネイルを生成する
    ことを特徴とする請求項9乃至14のいずれか一項に記載の画像サムネイルの生成装置。
  17. メモリ、及び
    メモリに記憶され、且つ一つ又は一つ以上のプロセッサにより実行される一つ又は一つ以上のプログラムを含み、
    上記一つ又は一つ以上のプログラムは、
    画像に対してフィルタ処理を行うことにより、上記画像の中の各画素のエッジ強度値を取得するための操作と、
    予め設定された長方形枠を用いて上記画像に対してスライド検索を行い、スライド検索の各位置における長方形枠に対して、その長方形枠内の画素のエッジ強度値に基づいて当該長方形枠の情報量分布値を算出するための操作と、
    情報量分布値が最大である長方形枠を選定し、選定した上記長方形枠に対応する画像コンテンツを切り取ることにより上記画像のサムネイルを生成するための操作と、
    を実行するための指令を含むことを特徴とする端末。
JP2015555587A 2013-12-30 2014-05-15 画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体 Pending JP2016511875A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310743545.7A CN103714161B (zh) 2013-12-30 2013-12-30 图像缩略图的生成方法、装置和终端
CN201310743545.7 2013-12-30
PCT/CN2014/077610 WO2015100913A1 (zh) 2013-12-30 2014-05-15 图像缩略图的生成方法、装置和终端

Publications (1)

Publication Number Publication Date
JP2016511875A true JP2016511875A (ja) 2016-04-21

Family

ID=50407136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015555587A Pending JP2016511875A (ja) 2013-12-30 2014-05-15 画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体

Country Status (8)

Country Link
EP (1) EP2890105B1 (ja)
JP (1) JP2016511875A (ja)
KR (1) KR20150088970A (ja)
CN (1) CN103714161B (ja)
BR (1) BR112014018578A8 (ja)
MX (1) MX347781B (ja)
RU (1) RU2615679C2 (ja)
WO (1) WO2015100913A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714161B (zh) * 2013-12-30 2017-06-16 小米科技有限责任公司 图像缩略图的生成方法、装置和终端
US9727972B2 (en) 2013-12-30 2017-08-08 Xiaomi Inc. Method and terminal for generating thumbnail of image
CN103903223B (zh) * 2014-04-24 2017-03-01 厦门美图之家科技有限公司 一种基于图像显著性检测的获取缩略图的方法
CN104461280A (zh) * 2014-11-03 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104346772B (zh) * 2014-11-06 2018-06-05 杭州华为数字技术有限公司 缩略图制作方法和装置
CN105426047B (zh) * 2015-11-17 2018-09-18 小米科技有限责任公司 缩略图展示方法和装置
CN106126108B (zh) * 2016-06-30 2019-04-12 维沃移动通信有限公司 一种缩略图的生成方法及移动终端
US10284861B2 (en) * 2016-12-09 2019-05-07 Advanced Micro Devices, Inc. Concurrent image compression and thumbnail generation
CN110134651B (zh) * 2019-05-09 2021-10-26 北京金山安全软件有限公司 信息文件的处理方法、装置、电子设备和存储介质
CN111563495B (zh) * 2020-05-09 2023-10-27 北京奇艺世纪科技有限公司 一种图像中字符的识别方法、装置及电子设备
CN112037127A (zh) * 2020-07-27 2020-12-04 浙江大华技术股份有限公司 视频监控的隐私遮挡方法及装置、存储介质、电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295776A (ja) * 2003-03-28 2004-10-21 Minolta Co Ltd 画像認識装置および画像認識プログラム
JP2010193154A (ja) * 2009-02-18 2010-09-02 Mitsubishi Electric Corp 画像処理装置および画像処理方法
JP2013102396A (ja) * 2011-11-09 2013-05-23 Rakuten Inc 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207055A (ja) * 2006-02-03 2007-08-16 Seiko Epson Corp 画像処理装置、プログラム、情報記憶媒体及び画像処理方法
RU2400815C2 (ru) * 2006-10-09 2010-09-27 Самсунг Электроникс Ко., Лтд. Способ повышения качества цифрового фотоизображения
US8213741B2 (en) * 2008-12-19 2012-07-03 Texas Instruments Incorporated Method to generate thumbnails for digital images
JP2013168902A (ja) * 2012-02-17 2013-08-29 Seiko Epson Corp 画像処理装置、表示装置および画像処理方法
CN103714161B (zh) * 2013-12-30 2017-06-16 小米科技有限责任公司 图像缩略图的生成方法、装置和终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295776A (ja) * 2003-03-28 2004-10-21 Minolta Co Ltd 画像認識装置および画像認識プログラム
JP2010193154A (ja) * 2009-02-18 2010-09-02 Mitsubishi Electric Corp 画像処理装置および画像処理方法
JP2013102396A (ja) * 2011-11-09 2013-05-23 Rakuten Inc 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016013302; 木村 雅之、外2名: '"注目度に基づく画像からの興味領域抽出"' 映像情報メディア学会技術報告 Vol.30, No.9, 20060127, pp.35-39, (社)映像情報メディア学会 *

Also Published As

Publication number Publication date
MX347781B (es) 2017-05-12
CN103714161A (zh) 2014-04-09
EP2890105A1 (en) 2015-07-01
BR112014018578A8 (pt) 2017-07-11
RU2615679C2 (ru) 2017-04-06
EP2890105B1 (en) 2017-03-15
KR20150088970A (ko) 2015-08-04
MX2014009069A (es) 2015-10-30
WO2015100913A1 (zh) 2015-07-09
RU2015123209A (ru) 2017-01-10
BR112014018578A2 (ja) 2017-06-20
CN103714161B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
JP2016511875A (ja) 画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体
CN107977144B (zh) 一种截屏处理方法及移动终端
US20170187566A1 (en) Alerting Method and Mobile Terminal
EP3454255A1 (en) Facial recognition method and related product
CN108762954A (zh) 一种对象分享方法及移动终端
US9760998B2 (en) Video processing method and apparatus
CN105975190B (zh) 一种图形界面的处理方法、装置及***
CN105989572B (zh) 图片处理方法及装置
CN107749046B (zh) 一种图像处理方法及移动终端
CN106959761A (zh) 一种终端拍照方法、装置及终端
CN110795007A (zh) 一种获取截图信息的方法及装置
CN108898552A (zh) 图片拼接方法、双屏终端及计算机可读存储介质
CN109062634A (zh) 一种应用启动方法及移动终端
CN105635553B (zh) 一种图像拍摄方法和装置
CN110413363B (zh) 一种截图方法及终端设备
CN107045418A (zh) 一种信息输入的方法、装置、计算机装置及存储介质
CN105513098B (zh) 一种图像处理的方法和装置
CN109669656A (zh) 一种信息显示方法及终端设备
CN109542307A (zh) 一种图像处理方法、设备和计算机可读存储介质
CN112835493B (zh) 截屏显示方法、装置和终端设备
CN110719361B (zh) 信息发送方法、移动终端和存储介质
CN110083205B (zh) 页面切换方法、可穿戴设备和计算机可读存储介质
CN105630315A (zh) 调节数量的方法和装置
CN103079047B (zh) 一种参数调整的方法及终端
US9727972B2 (en) Method and terminal for generating thumbnail of image

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160701

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160726