JP2015094973A - Image processor, image processing method, image processing program, and recording medium - Google Patents
Image processor, image processing method, image processing program, and recording medium Download PDFInfo
- Publication number
- JP2015094973A JP2015094973A JP2013232193A JP2013232193A JP2015094973A JP 2015094973 A JP2015094973 A JP 2015094973A JP 2013232193 A JP2013232193 A JP 2013232193A JP 2013232193 A JP2013232193 A JP 2013232193A JP 2015094973 A JP2015094973 A JP 2015094973A
- Authority
- JP
- Japan
- Prior art keywords
- local feature
- difference vector
- representative
- feature
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数の画像データに対して画像修正処理を行う場合に画像の統一感を向上させるのに好適な画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体に関する。 The present invention relates to an image processing apparatus, an image processing method, an image processing program, and a recording medium that are suitable for improving image uniformity when image correction processing is performed on a plurality of image data.
近年、デジタルカメラの普及により、撮影される画像の数が以前に比べて非常に増加しており、それに伴い撮影した画像を修正するための工数も大きく増加している。また、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などでは、複数画像での統一感や同じような色調についての再現性が求められている。
このような複数画像での統一感を自動的な画像修正処理によって得るための従来技術としては以下の特許文献が報告されている。
In recent years, with the spread of digital cameras, the number of images to be photographed has increased significantly compared to before, and the man-hours for correcting the photographed images have also greatly increased. Further, in mail-order sales, website catalogs, restaurant menus, advertisements, etc., there is a demand for reproducibility with a sense of unity and similar colors in a plurality of images.
The following patent documents have been reported as conventional techniques for obtaining such a sense of unity of images by automatic image correction processing.
特許文献１に、主要被写体の幾何特徴量から統一感のある画像修正処理を行う技術が開示されている。
詳しくは、特許文献１には、複数の画像をまとめて出力する場合に、統計的手法を用いて複数の画像における主要被写体、背景を自動的に修正し、見栄えの良いレイアウト出力を提供する目的で、複数のデジタル画像を画像入力部により入力し、入力された複数のデジタル画像の各々から主要被写体の幾何特徴量を処理基準決定機能により認識し、認識された各々の幾何特徴量から、複数のデジタル画像を構成する各々の画像の主要被写体に対して幾何的に一定の統一が図られるように画像処理機能により補正を施し、画像出力部から出力する技術が開示されている。
また、特許文献２には、代表色から色調を統一する技術が開示されている。さらに、特許文献３には、顔領域を検出して統一感のある画像修正処理を行う技術が開示されている。
しかし、今までの主要被写体の幾何特徴量、代表色、顔領域情報などにより自動的に統一感のある画像修正処理を行う技術では、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対して用いた場合、十分な統一感が得られないといった問題があった。
Specifically, in
Patent Document 2 discloses a technique for unifying the color tone from the representative color. Further,
However, until now, with the technology that performs image correction processing with a sense of unity automatically based on the geometric feature quantities, representative colors, face area information, etc. of main subjects, it is possible to use mail order sales, website catalogs, restaurant menus, advertisements, etc. When used for a plurality of images to be used, there is a problem that a sufficient sense of unity cannot be obtained.
しかし、特許文献１乃至３に記載された技術にあっては、上述した通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対して用いた場合、十分な統一感が得られないという問題は解消できていない。
そこで、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対しても、画像修正処理の統一感を向上させることが切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、画像修正処理の統一感を向上させるのに適切な特徴ベクトルを求めることが可能な画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体を提供することにある。
However, the techniques described in
Thus, there is an urgent need to improve the uniformity of image correction processing even for a plurality of images used in mail-order sales, website catalogs, restaurant menus, advertisements, and the like.
The present invention has been made in view of the above, and as an object thereof is an image processing apparatus, an image processing method, and an image processing program capable of obtaining a feature vector suitable for improving the uniformity of image correction processing. And providing a recording medium.
請求項１記載の発明は、上記課題を解決するため、画像データから前記画像データの特徴となる１つの特徴ベクトルを求める特徴ベクトル化手段を備える画像処理装置であって、前記特徴ベクトル化手段は、画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出手段と、複数の前記局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成手段と、前記局所特徴量算出手段により算出された処理対象となる１つの前記局所特徴量に最も近い前記代表局所特徴量を選択する最近傍代表局所特徴量選択手段と、前記最近傍代表局所特徴量選択手段により選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出手段と、前記差分ベクトル和算出手段により求められた前記差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化手段と、を備え、前記正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求めることを特徴とする。
In order to solve the above-mentioned problem, an invention according to
本発明によれば、画像修正処理の統一感を向上させるのに適切な特徴ベクトルを求めることができる。 According to the present invention, it is possible to obtain a feature vector suitable for improving the sense of unity of image correction processing.
本発明の実施形態について説明する。
本発明は、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用するような複数画像に対してのグループ化の精度を高め、グループ毎の画像修正処理の統一感を向上させる処理に際して、以下の特徴を有する。
要するに、予め学習フェーズにおいて、訓練用画像データからから複数の局所領域における局所特徴量を算出し、算出した局所特徴量から複数個の代表局所特徴量を作成し、訓練用画像データの局所特徴量に対して最も近い代表局所特徴量を選択する。次いで、その代表局所特徴量と局所特徴量との差分ベクトルを算出し、この差分ベクトルを代表局所特徴量毎に和を取る処理を対象となる全ての局所特徴量に対して行い、和を取った差分ベクトルの長さを１に正規化する。次いで、その正規化した代表局所特徴量毎の差分ベクトルを並べて訓練用画像データに対する１個の特徴ベクトルとし、この特徴ベクトルと画像修正処理との対応関係を示す対応関係情報を学習しておく。
An embodiment of the present invention will be described.
The present invention increases the accuracy of grouping of a plurality of images used for mail order, website catalogs, restaurant menus, advertisements, etc., and improves the uniformity of image correction processing for each group. , Has the following characteristics.
In short, in the learning phase, local feature quantities in a plurality of local regions are calculated from training image data in advance, a plurality of representative local feature quantities are created from the calculated local feature quantities, and local feature quantities of the training image data are created. The nearest representative local feature is selected for. Next, a difference vector between the representative local feature quantity and the local feature quantity is calculated, and a process of summing the difference vector for each representative local feature quantity is performed on all the local feature quantities, and the sum is obtained. The length of the difference vector is normalized to 1. Next, the normalized difference vectors for each representative local feature amount are arranged to form one feature vector for the training image data, and correspondence information indicating the correspondence between the feature vector and the image correction processing is learned.
例えば、空の青さを修正する場合に、旅行パンフレットでは空をより青くするが、会社説明のパンフレットではあまり青くしない等、使用する画像の特徴により修正内容が異なるので、このような画像の特徴ベクトルと画像修正処理との関係を学習しておく。
次に運用フェーズにおいては、対象画像（通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告で使用する画像など）の特徴ベクトル化を行い、上記学習フェーズで学習した関係を用いて画像修正処理条件を決定し、画像修正処理を行う。
上記のような特徴ベクトル化の方法と画像修正処理との関係の学習により、従来技術よりも画像特徴と画像修正処理との対応関係を示す対応関係情報をより高精度に表現できることが特徴になっている。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
For example, when correcting the blueness of the sky, the content of the correction differs depending on the characteristics of the image used, such as making the sky more blue in the travel brochure but not so blue in the brochure explaining the company. Learn the relationship between vectors and image correction processing.
Next, in the operation phase, feature vectorization of target images (such as mail-order sales, website catalogs, restaurant menus, and images used in advertisements) is performed, and image correction processing conditions using the relationship learned in the learning phase. And image correction processing is performed.
By learning the relationship between the feature vectorization method and the image correction processing as described above, it is possible to express the correspondence information indicating the correspondence between the image feature and the image correction processing with higher accuracy than in the prior art. ing.
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
まず、図１を参照して、本発明の実施形態に係わる画像処理装置による処理概要について説明する。
図１（ａ）は画像処理装置の処理対象となる、通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告などで使用する大量の画像を示し、図１（ｂ）はそれらの画像を特徴ベクトル化しておき、特徴ベクトルによるグループ化を示す。図１（ｃ）はグループ化後の各グループを示し、図１（ｄ）はその特徴ベクトルを用いて画像処理条件を決定することを示す。図１（ｅ）は画像処理条件毎に画像修正処理を行うことにより、グループ毎に統一感のある画像修正処理を行うことの概要を示したものである。
First, with reference to FIG. 1, an outline of processing by the image processing apparatus according to the embodiment of the present invention will be described.
FIG. 1A shows a large number of images used in mail order, website catalogs, restaurant menus, advertisements, etc., which are processed by the image processing apparatus, and FIG. 1B shows those images as feature vectors. And grouping by feature vectors. FIG. 1C shows each group after grouping, and FIG. 1D shows that an image processing condition is determined using the feature vector. FIG. 1E shows an outline of performing image correction processing with a sense of unity for each group by performing image correction processing for each image processing condition.
次に、図２を参照して、本発明の実施形態に係わる画像処理装置のブロック構成について説明する。
データ入力部２は、例えばファイル入力装置などであり、外部から画像データを読み込む。記憶部３は、例えばメモリなどであり、データ（例えば、訓練画像データ、対象画像データ、局所特徴量、代表局所特徴量、差分ベクトル、特徴ベクトル、グループ分類データ、グループ化パラメータ等）を保持する。
制御部４は、画像処理装置全体を制御する。詳しくは、制御部４は、内部にＲＯＭ、ＲＡＭ及びＣＰＵを有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラムを読み出し、データ収集処理を実行する。
Next, a block configuration of the image processing apparatus according to the embodiment of the present invention will be described with reference to FIG.
The data input unit 2 is a file input device, for example, and reads image data from the outside. The
The control unit 4 controls the entire image processing apparatus. Specifically, the control unit 4 includes a ROM, a RAM, and a CPU inside, reads the operating system OS from the ROM, expands it on the RAM, starts the OS, reads the program from the ROM under the OS management, and stores data Execute the collection process.
画像処理装置１は、画像処理機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、システムまたは装置に供給する。そのシステムまたは装置のコンピュータ（または、ＣＰＵ、ＭＰＵ、ＤＳＰ）が記録媒体に格納されたプログラムコードを読み出して実行する。
この場合、記録媒体から読み出されたプログラムコード自体が前述した画像処理装置１の機能を実現する。プログラムコードを供給するための記録媒体としては、ＦＤ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体がある。
The
In this case, the program code itself read from the recording medium realizes the function of the
特徴ベクトル化部５は、画像データから該画像データの検出対象となる領域の特徴となる１つの特徴ベクトルを算出する。詳しくは、特徴ベクトル化部５は、局所特徴量算出部５ａ、代表局所特徴量作成部５ｂ、最近傍代表局所特徴量選択部５ｃ、差分ベクトル和算出部５ｄ、差分ベクトル正規化部５ｅからなる。
局所特徴量算出部５ａは、一般的によく知られているＳＵＲＦ法（SURF: Speeded-Uｐ Robust Features）やＳＩＦＴ法（ＳＩＦＴ：Scale Invariant Feature Transformation）などを用いて、画像データから代表される局所特徴量を算出する。
The feature vectorization unit 5 calculates one feature vector that is a feature of a region that is a detection target of the image data from the image data. Specifically, the feature vectorization unit 5 includes a local feature
The local feature
ここでは、スケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transformation）法を用いて特徴点抽出及び特徴量抽出を行なう際の方法について説明する。
この特徴点抽出処理においては、まず、画像データに含まれるノイズを取り除き、安定した特徴点を得るために、画像データにガウスフィルタを適用して平均化処理を行う。そして、ある周波数以上の成分をカットする処理を行う。また、ガウスフィルタを適用した画像の二次微分を算出し、その極値を特徴点候補とする。さらに、ノイズに由来する特徴点を取り除くために、極値の絶対値が所定の閾値以上の点のみを特徴点として採用する。なお、特徴点候補を得るために二次微分を算出しているのは、均一な領域ではなく、変化があるエッジ部を画像から抽出するためである。また、撮影において斜めから光源照射がなされたときにおいて、一定の傾きで変化する領域が画像に生ずることがあるが、このような領域を特徴点候補としないためである。二次微分の算出は、具体的には、静脈画像とガウス導関数の畳み込み積分により行われる。また、これにより特徴点の位置座標が取得される。
Here, a method for performing feature point extraction and feature amount extraction using a scale invariant feature transformation (SIFT) method will be described.
In this feature point extraction process, first, an averaging process is performed by applying a Gaussian filter to the image data in order to remove noise contained in the image data and obtain stable feature points. And the process which cuts the component more than a certain frequency is performed. Further, the second derivative of the image to which the Gaussian filter is applied is calculated, and the extreme value is set as a feature point candidate. Furthermore, in order to remove feature points derived from noise, only points whose absolute value of the extreme value is equal to or greater than a predetermined threshold are adopted as feature points. The reason why the second derivative is calculated in order to obtain the feature point candidates is to extract an edge portion having a change from the image, not a uniform region. In addition, when light source irradiation is performed obliquely during photographing, a region that changes with a certain inclination may appear in the image, but such a region is not used as a feature point candidate. Specifically, the calculation of the second derivative is performed by convolution integration of a vein image and a Gaussian derivative. This also acquires the position coordinates of the feature points.
代表局所特徴量作成部５ｂは、算出された局所特徴量からｋ個の代表局所特徴量を作成する部分であり、作成方法としては、例えば、局所特徴量からＫ−ｍｅａｎｓ法で作成してもよいし、より計算量を減らすためにランダムにｋ個選択するという方法でもよい。
最近傍代表局所特徴量選択部５ｃは、処理対象となる１個の局所特徴量に最も近い代表局所特徴量を選択するものである。
差分ベクトル和算出部５ｄは、選択された代表局所特徴量と局所特徴量との差分ベクトルを求め、その差分ベクトルの代表局所特徴量毎の和として差分ベクトル和を求める。
差分ベクトル正規化部５ｅは、差分ベクトル和を当該差分ベクトル和の長さで割って正規化し、正規化差分ベクトル和を出力する。
The representative local feature
The nearest neighbor representative local feature
The difference vector
The difference
関係学習部６は、特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習するものである。学習の方法としては一般的な機械学習のアルゴリズムを用いればよく、例えば、多変量解析、線形回帰、ニューラルネット、Support vector machine（ＳＶＭ）、ＡｄａＢｏｏｓｔなどを用いることができる。
関係学習部６は、上記複数のアルゴリズムを用いて夫々に学習した特徴ベクトルと画像修正処理の対応関係を示す対応関係値のうちいずれかの値が閾値を超えていたら行が変わったと判定することにしている。しかし、これらを予め学習したサポートベクターマシンＳＶＭ（Support vector machine）やニューラルネットワークのような認識器へストロークＡを入力して行が変わったかどうか判定してもよい。
The
The
なお、サポートベクターマシンＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。訓練サンプルから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で線形入力素子のパラメータを学習する。
一方、ニューラルネットワーク（Neural network：神経回路網）は、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般を指す。
このように、関係学習部６は、サポートベクターマシン又はニューラルネットワークを用いて、特徴ベクトル化部５により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習することで、高精度かつ高速にグループ化を行うことができる。
Note that the support vector machine SVM is a method of configuring a two-class pattern classifier using linear input elements. The parameters of the linear input element are learned from the training sample based on the criterion (hyperplane separation theorem) for obtaining a margin maximizing hyperplane that maximizes the distance to each data point.
On the other hand, a neural network (Neural network) is a mathematical model that aims to express some characteristics found in brain functions by computer simulation. It refers to all models in which an artificial neuron (node) that forms a network by synaptic connections has a problem-solving ability by changing the synaptic connection strength through learning.
As described above, the
画像処理条件決定部７は、グループ毎の画像処理条件を決定するものであり、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正条件を決定する。
画像処理条件決定部７は、複数の修正内容を示す修正内容候補情報をモニタに表示することでユーザに提示する。
これにより、自動的に選択された修正内容をユーザが変更できるようになる。
画像修正部８は、前記決定した画像処理条件で画像修正処理を行うものであり、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正を行う。
The image processing
The image processing
As a result, the user can change the automatically selected correction content.
The image correction unit 8 performs image correction processing under the determined image processing conditions. For example, the image correction unit 8 corrects color tone, brightness, contrast, sharpness, resolution, and the like.
次に、図３を参照して、本発明の実施形態に係わる画像処理装置の処理の流れについて説明する。
本実施形態の処理では、学習フェーズと運用フェーズに分かれている。
まず、学習フェーズの処理について説明する。
学習フェーズにおいて、データ入力部２は、訓練画像データとグループ分類データをファイル等から読み込む（ステップＳ１）。
特徴ベクトル化部５は、訓練画像データを特徴ベクトル化する（ステップＳ２）。
なお、特徴ベクトル化の方法については、後にさらに詳しく説明する。
関係学習部６は、特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習する（ステップＳ３）。
Next, with reference to FIG. 3, the flow of processing of the image processing apparatus according to the embodiment of the present invention will be described.
In the process of this embodiment, it is divided into a learning phase and an operation phase.
First, the learning phase process will be described.
In the learning phase, the data input unit 2 reads training image data and group classification data from a file or the like (step S1).
The feature vectorization unit 5 converts the training image data into a feature vector (step S2).
Note that the feature vectorization method will be described in more detail later.
The
学習の方法としては、一般的な機械学習のアルゴリズムを用いればよく、例えば、多変量解析、線形回帰、ニューラルネット、Support vector machine（ＳＶＭ）、ＡｄａＢｏｏｓｔなどを用いることができる。また、学習した特徴ベクトルと画像修正処理の対応関係を示す対応関係情報は記憶部３に保持し、後に運用フェーズで利用する。この結果、表１に示すようにグループ分けを行うことができる。
As a learning method, a general machine learning algorithm may be used. For example, multivariate analysis, linear regression, neural network, Support vector machine (SVM), AdaBoost, or the like can be used. Also, correspondence information indicating the correspondence between the learned feature vector and the image correction processing is held in the
多変量解析手法としては、例えば、特許４２６６５８４号の段落［００４０］から［００４４］に記載されているように、特異値分解により多変量解析を行うことができる。なお、特許４２６６５８４号の記載では「テキストデータ特徴ベクトル」となっているがテキストデータに限らず一般的な特徴ベクトルについて同様の処理が可能である。 As a multivariate analysis method, for example, as described in paragraphs [0040] to [0044] of Japanese Patent No. 4266584, multivariate analysis can be performed by singular value decomposition. In the description of Japanese Patent No. 4266584, “text data feature vector” is used, but not only text data but also a general feature vector can be processed in the same way.
線形回帰手法としては、例えば、特許４０１２８９１号の段落［００２７］から［００３４］に記載されているように、線形モデル式での観測データの誤差の二乗和が最小なるように求めればよい。なお、特許４０１２８９１号の記載では「接触角データ」を対象としているが、線形回帰はそれに限らず一般的なデータについて同様の処理が可能である。また、参考文献として、「パターン認識と機械学習 上」（丸善出版）の第３章を参照してもよい。
As a linear regression method, for example, as described in paragraphs [0027] to [0034] of Japanese Patent No. 4012891, the square sum of errors of observation data in a linear model equation may be obtained to be minimum. In the description of Japanese Patent No. 4012891, “contact angle data” is targeted, but linear regression is not limited to this, and similar processing can be performed for general data. As a reference document,
ニューラルネットとしては、例えば、特開平０５−３４６９１５号に記載されている。詳しくは、入出力のサンプル｛（ｘｉ，ｙｉ）｝に対して、入力ベクトルのなす空間と出力ベクトルのなす空間との直和空間上の任意の確率密度Ｐｗ（ｘ，ｙ）を、確率密度獲得部により学習によって推定し獲得する。この場合、確率密度Ｐｗ（ｘ，ｙ）は、予め学習パラメータｗをもっており、確率密度獲得部の確率密度算出部では、入出力のサンプル｛ｘｉ，ｙｉ｝が得られる確率Ｌ（ｗ）を算出する。確率密度推定部では、算出された確率Ｌ（ｗ）に最尤推定法を適用して直和空間上の確率密度Ｐｗ（ｘ，ｙ）を推定する。学習による推定がなされた結果の確率密度Ｐｗ（ｘ，ｙ）に基づき入出力関係を推定することができる。なお、本発明では、入力は「特徴ベクトル」、出力は「画像修正内容」としてその関係を学習すればよい。
その他に、特許３６１８００７号に記載の方法を用いてもよい。
また、参考文献として、「パターン認識と機械学習 上」（丸善出版）の第５章を参照してもよい。
The neural network is described in, for example, Japanese Patent Laid-Open No. 05-346915. Specifically, for an input / output sample {(xi, yi)}, an arbitrary probability density Pw (x, y) in a direct sum space of a space formed by an input vector and a space formed by an output vector is expressed as a probability density. Estimated and acquired by learning by the acquisition unit. In this case, the probability density Pw (x, y) has a learning parameter w in advance, and the probability density calculation unit of the probability density acquisition unit calculates the probability L (w) for obtaining the input / output sample {xi, yi}. To do. The probability density estimation unit estimates the probability density Pw (x, y) in the direct sum space by applying the maximum likelihood estimation method to the calculated probability L (w). The input / output relationship can be estimated based on the probability density Pw (x, y) as a result of the estimation by learning. In the present invention, the relationship may be learned with the input being “feature vector” and the output being “image correction content”.
In addition, the method described in Japanese Patent No. 3618007 may be used.
As a reference, Chapter 5 of “On Pattern Recognition and Machine Learning” (Maruzen Publishing) may be referred to.
Support vector machine（ＳＶＭ）手法としては、例えば、特許５１５７８４８号の段落［００４４］から［００５５］に記載されている。詳しくは、分類したい二つのベクトル群の境界位置に存在するベクトル（Support Vector）を見つけて、Support Vectorと超平面との距離が最大となるように超平面を設定することにより分類の学習が行われる。本発明では、同じ「画像修正」に対応する「特徴ベクトル」を１つのベクトル群とし、その他の「画像修正」に対応する「特徴ベクトル」をもう一つのベクトル群とすることにより、「特徴ベクトル」と「画像修正」の関係を学習できる。 The Support vector machine (SVM) technique is described in paragraphs [0044] to [0055] of Japanese Patent No. 5157848, for example. Specifically, classification is learned by finding a vector (Support Vector) that exists at the boundary between the two vector groups to be classified and setting the hyperplane so that the distance between the Support Vector and the hyperplane is maximized. Is called. In the present invention, the “feature vector” corresponding to the same “image correction” is set as one vector group, and the “feature vector” corresponding to the other “image correction” is set as another vector group. ”And“ image correction ”can be learned.
ＡｄａＢｏｏｓｔ手法としては、例えば、特許５１５７８４８号の段落［００６０］から［００７１］に記載されている。詳しくは、複数の弱識別器の結果の重み付き多数決を採ることで高精度な判定結果を得ることができる。また、特許５１５７８４８号にも記載されているように、ＡｄａＢｏｏｓｔ手法もＳＶＭ手法と同様に分類学習に用いることができる。このため、本発明では、同じ「画像修正」に対応する「特徴ベクトル」を１つのベクトル群とし、その他の「画像修正」に対応する「特徴ベクトル」をもう一つのベクトル群とすることにより、「特徴ベクトル」と「画像修正」の関係を学習できる。 The AdaBoost method is described, for example, in paragraphs [0060] to [0071] of Japanese Patent No. 5157848. Specifically, a highly accurate determination result can be obtained by taking a weighted majority vote of the results of a plurality of weak classifiers. As described in Japanese Patent No. 5157848, the AdaBoost method can also be used for classification learning in the same manner as the SVM method. Therefore, in the present invention, the “feature vector” corresponding to the same “image correction” is set as one vector group, and the “feature vector” corresponding to the other “image correction” is set as another vector group, The relationship between “feature vector” and “image correction” can be learned.
次に、運用フェーズの処理について説明する。
運用フェーズにおいて、まず、データ入力部２は、入力画像データをファイル等から読み込む（ステップＳ４）。
次いで、特徴ベクトル化部５は、入力画像データを特徴ベクトル化する（ステップＳ５）。
特徴ベクトル化の方法については、学習フェーズと同様に後にさらに詳しく説明する。
画像処理条件決定部７は、学習フェーズで学習した特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を記憶部３から読み出ておく（ステップＳ６）。画像処理条件決定部７は、対応関係情報を利用して特徴ベクトル化部５により求められた特徴ベクトルに対応する画像処理条件を決定する（ステップＳ７）。
Next, processing in the operation phase will be described.
In the operation phase, first, the data input unit 2 reads input image data from a file or the like (step S4).
Next, the feature vectorization unit 5 converts the input image data into a feature vector (step S5).
The feature vectorization method will be described in more detail later as in the learning phase.
The image processing
次いで、画像処理条件決定部７は、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正条件を決定する。
ここで、図７にグループ毎の画像処理条件の例を示す。
図７には、シーン認識の対象となるグループ、検出対象、修正目標（画像処理条件）、最終生成物を示している。修正目標においては、最終的に色調、明るさ、コントラスト、シャープネス、解像度などの修正条件を決定する。
例えば、一番上の「ファッション」のグループでは、人物や共通背景や共通アイテムを検出対象とし、人物の色調の画像処理条件については肌調子を規準に整えるように決定し、共通背景については共通物の色味、調子を揃えるように決定する。「ファッション」のグループでは、通販カタログや広告や雑誌を最終生成物として想定している。
また、５番目の「夜景」のグループでは、コントラストの画像処理条件をメリハリが付くように高めに決定する。さらに、６番目の「ホテルの部屋」のグループでは、明るさの画像処理条件を暗部が潰れないように決定する。
このように、画像処理条件決定部７では、図７に示すように、シーン認識の対象となるグループ毎に画像処理条件となる修正目標が決定される。
次いで、画像修正部８は、決定した画像処理条件で画像修正処理を行う（ステップＳ８）。画像修正部８は、例えば、色調、明るさ、コントラスト、シャープネス、解像度などの修正を行う。この結果、図７に示すように、画像修正処理を行った最終生成物の画像が生成される。
Next, the image processing
FIG. 7 shows an example of image processing conditions for each group.
FIG. 7 shows a group that is a scene recognition target, a detection target, a correction target (image processing conditions), and a final product. In the correction target, finally, correction conditions such as color tone, brightness, contrast, sharpness, and resolution are determined.
For example, in the top “fashion” group, people, common backgrounds, and common items are targeted for detection, and the image processing conditions for the person's color tone are determined based on the skin tone, and the common background is common. Decide to match the color and tone of the objects. The “fashion” group assumes mail order catalogs, advertisements and magazines as the final product.
In the fifth “night scene” group, the contrast image processing conditions are determined to be higher so that they are sharper. Further, in the sixth “hotel room” group, the image processing condition for brightness is determined so that the dark portion is not crushed.
As described above, the image processing
Next, the image correction unit 8 performs image correction processing under the determined image processing conditions (step S8). The image correction unit 8 corrects, for example, color tone, brightness, contrast, sharpness, resolution, and the like. As a result, as shown in FIG. 7, an image of the final product subjected to the image correction process is generated.
次に、図４を参照して、本発明の実施形態に係わる画像処理装置の学習フェーズでの特徴ベクトル化の処理の流れを説明する。
まず、局所特徴量算出部５ａは、訓練画像データから複数の局所領域における局所特徴量を算出する（ステップＳ１１）。局所特徴量の算出には、例えば公知のＳＵＲＦ法やＳＩＦＴ法等が利用できる。
Next, with reference to FIG. 4, the flow of feature vectorization processing in the learning phase of the image processing apparatus according to the embodiment of the present invention will be described.
First, the local feature
ＳＩＦＴ法としては、例えば、特開２０１３−０７７２９６号公報の段落［００３２］から［００４４］に記載されている。詳しくは、バンドパスフィルタによりスケール検出を行い、フィルタで検出された値が、周囲（互いに隣接する画素、互いに隣接するスケール）で極値（極小値、極大値）になっている画素をキーポイントとして検出する。キーポイントのうち過検出となった部分を削除することによりキーポイントのローカライズを行い、画像データの回転をロバストにするためにオリエンテーションを算出する。画像データをオリエンテーションの方向に回転してから特徴ベクトルを算出することにより、局所特徴量を求めることができる。
これにより、画像データからＳＩＦＴ法を用いて局所特徴量を算出することで、高精度かつ高速に局所特徴量を算出することができる。
The SIFT method is described, for example, in paragraphs [0032] to [0044] of JP2013-077796A. Specifically, scale detection is performed using a bandpass filter, and key points are pixels in which the values detected by the filter are extreme values (minimum value, maximum value) in the surrounding area (pixels adjacent to each other, scales adjacent to each other). Detect as. The key points are localized by deleting the over-detected portion of the key points, and the orientation is calculated to make the rotation of the image data robust. The local feature amount can be obtained by calculating the feature vector after rotating the image data in the orientation direction.
Accordingly, the local feature amount can be calculated with high accuracy and high speed by calculating the local feature amount from the image data using the SIFT method.
ＳＵＲＦ法としては、例えば、特開２０１３−０７６９８６号公報の段落［００４７］から［００５８］に記載されている。詳しくは、各解像度でヘシアン（ヘッセ行列）を計算し、その行列式が最も大きくなる解像度を主解像度として選択し、該解像度のグラディエントを、当該位置でのグラディエントとして用いることで局所特徴量を求めることができる。
これにより、ＳＵＲＦ法を用いて特徴点抽出処理及び特徴量抽出処理を行なうことで、高精度かつ高速に局所特徴量が算出できるという効果がある。
The SURF method is described, for example, in paragraphs [0047] to [0058] of JP2013-076986. Specifically, a Hessian (Hessian matrix) is calculated at each resolution, a resolution with the largest determinant is selected as a main resolution, and a gradient of the resolution is used as a gradient at the position to obtain a local feature amount. be able to.
Thereby, there is an effect that the local feature quantity can be calculated with high accuracy and high speed by performing the feature point extraction process and the feature quantity extraction process using the SURF method.
次いで、代表局所特徴量作成部５ｂは、算出された局所特徴量からｋ個の代表局所特徴量を作成する（ステップＳ１２）。
次いで、代表局所特徴量の作成方法としては、例えば、局所特徴量からＫ−ｍｅａｎｓ法で作成してもよいし、より計算量を減らすためにランダムにｋ個選択するという方法でもよい。
ここで、訓練画像毎に以下の処理を行う。
Next, the representative local feature
Next, as a method for creating a representative local feature value, for example, a K-means method may be used to create a local feature value, or k methods may be selected at random in order to reduce the calculation amount.
Here, the following processing is performed for each training image.
Ｋ−平均法は、一般には以下のような流れで実装される。データの数をｎ、クラスタの数をＫとしておく。
各データｘｉ（ｉ＝１…ｎ）に対してランダムにクラスタを割り振る。
［２］割り振ったデータをもとに各クラスタの中心Ｖｊ（ｊ＝１…Ｋ）を計算する。計算は通常割り当てられたデータの各要素の算術平均が使用される。
［３］各ｘｉと各Ｖｊとの距離を求め、ｘｉを最も近い中心のクラスタに割り当て直す。
［４］上記の処理で全てのｘｉのクラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した一定の閾値を下回った場合に、収束したと判断して処理を終了する。そうでない場合は新しく割り振られたクラスタからＶｊを再計算して上記の処理を繰り返す。
このように、局所特徴量からＫ−ｍｅａｎｓ法を用いてｋ個の代表局所特徴量を作成することで、高精度に代表局所特徴量を作成することができる。
The K-means method is generally implemented in the following flow. Let n be the number of data and K be the number of clusters.
A cluster is randomly assigned to each data x i (i = 1... N).
[2] The center V j (j = 1... K) of each cluster is calculated based on the allocated data. The calculation usually uses the arithmetic average of each element of the allocated data.
[3] Find the distance between each x i and each V j and reassign x i to the nearest central cluster.
[4] In the case when the above-described processing assignment cluster all x i in did not change, or the change amount is below a certain threshold value set in advance, and ends the processing determined to have converged. Otherwise, V j is recalculated from the newly allocated cluster and the above process is repeated.
Thus, by creating k representative local feature values from the local feature values using the K-means method, the representative local feature values can be created with high accuracy.
差分ベクトル和算出部５ｄは、代表局所特徴量毎の差分ベクトル和を０に初期化しておく（ステップＳ１３）。
次いで、処理対象の１枚の画像に含まれる各局所特徴量について以下の処理を行う（ステップＳ１４）。なお、局所特徴量は一般的にベクトルで表現されており、ベクトル間の距離はベクトルとベクトルの差の長さで計算可能である。
次いで、最近傍代表局所特徴量選択部５ｃは、処理対象の１個の局所特徴量に最も近いベクトル間の距離を有する局所特徴量を代表局所特徴量として選択する（ステップＳ１５）。
次いで、差分ベクトル和算出部５ｄは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める（ステップＳ１６）。
次いで、差分ベクトル和算出部５ｄは、差分ベクトルを代表局所特徴量毎の和に加算して差分ベクトル和を求める（ステップＳ１７）。
次いで、処理対象画像に含まれる全ての局所特徴量について処理が完了したか否かを判定し、まだ処理すべき局所特徴量が残っていればステップＳ１４に戻って処理を続行し、完了していればステップＳ９に進む（ステップＳ１８）。
The difference vector
Next, the following processing is performed for each local feature amount included in one image to be processed (step S14). Note that the local feature amount is generally expressed by a vector, and the distance between the vectors can be calculated by the length of the difference between the vectors.
Next, the nearest representative local feature
Next, the difference vector
Next, the difference vector
Next, it is determined whether or not the processing has been completed for all the local feature amounts included in the processing target image. If there are still local feature amounts to be processed, the process returns to step S14 to continue the processing. If so, the process proceeds to step S9 (step S18).
次いで、差分ベクトル正規化部５ｅは、差分ベクトル和を当該差分ベクトル和の長さで除算して正規化し、正規化差分ベクトル和を出力する（ステップＳ１９）。
次いで、特徴ベクトル化部５は、各代表局所特徴量に対する正規化差分ベクトル和を夫々に並べて対象画像についての１個の特徴ベクトルとする（ステップＳ２０）。
全ての訓練画像について処理が完了したか否かを判定し、まだ処理すべき画像が残っていればステップＳ１３に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する（ステップＳ２１）。
Next, the difference
Next, the feature vectorization unit 5 arranges the normalized difference vector sums for the representative local feature amounts, respectively, to form one feature vector for the target image (step S20).
It is determined whether or not the processing has been completed for all the training images. If there are still images to be processed, the process returns to step S13 to continue the processing, and if completed, the feature vectorization processing is terminated ( Step S21).
次に、図５を参照して、本発明の実施形態に係わる画像処理装置による運用フェーズでの特徴ベクトル化の処理の流れについて説明する。
まず、局所特徴量算出部５ａは、入力画像データから複数の局所領域における局所特徴量を算出する（ステップＳ３１）。局所特徴量としては、例えばＳＵＲＦ法やＳＩＦＴ法等が利用できる。
次いで、データ入力部２は、学習フェーズで作成したｋ個の代表局所特徴量を読み込む（ステップＳ２３）。代表局所特徴量の読み込みは、例えば、ファイル等の外部記憶装置から読み込んでもよいし、記憶部３の内部メモリ等から読み込んでもよい。
次いで、差分ベクトル和算出部５ｄは、代表局所特徴量毎の差分ベクトル和を０に初期化しておく（ステップＳ３３）。
次いで、処理対象の１枚の画像に含まれる各局所特徴量について以下の処理を行う（ステップＳ３４）。なお、局所特徴量は一般的にベクトルで表現されており、ベクトル間の距離はベクトルとベクトルの差の長さで計算可能である。
Next, with reference to FIG. 5, the flow of feature vectorization processing in the operation phase by the image processing apparatus according to the embodiment of the present invention will be described.
First, the local feature
Next, the data input unit 2 reads k representative local feature values created in the learning phase (step S23). For example, the representative local feature value may be read from an external storage device such as a file, or may be read from an internal memory of the
Next, the difference vector
Next, the following processing is performed for each local feature amount included in one image to be processed (step S34). Note that the local feature amount is generally expressed by a vector, and the distance between the vectors can be calculated by the length of the difference between the vectors.
次いで、最近傍代表局所特徴量選択部５ｃは、処理対象の１個の局所特徴量に最も近いベクトル間の距離を有する局所特徴量を代表局所特徴量として選択する（ステップＳ３５）。
次いで、差分ベクトル和算出部５ｄは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める（ステップＳ３６）。
次いで、差分ベクトル和算出部５ｄは、差分ベクトルを代表局所特徴量毎の和に加算することで差分ベクトル和を求める（ステップＳ３７）。
次いで、処理対象画像に含まれる全ての局所特徴量について処理が完了したか否かを判定し、まだ処理すべき局所特徴量が残っていればステップＳ３４に戻って処理を続行し、完了していればステップＳ３９に進む（ステップＳ３８）。
次いで、差分ベクトル正規化部５ｅは、差分ベクトル和を当該差分ベクトル和の長さで除算して正規化し、正規化差分ベクトル和を出力する（ステップＳ３９）。
次いで、特徴ベクトル化部５は、各代表局所特徴量に対する正規化差分ベクトル和を並べて対象画像の１個の特徴ベクトルとする（ステップＳ４０）。
次いで、全ての訓練画像について処理が完了したか否かを判定し、まだ処理すべき画像が残っていればステップＳ３３に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する（ステップＳ４１）。
Next, the nearest representative local feature
Next, the difference vector
Next, the difference vector
Next, it is determined whether or not the processing has been completed for all the local feature values included in the processing target image. If there are still local feature values to be processed, the process returns to step S34 to continue the processing. If so, the process proceeds to step S39 (step S38).
Next, the difference
Next, the feature vectorization unit 5 arranges the normalized difference vector sums for the respective representative local feature amounts to form one feature vector of the target image (step S40).
Next, it is determined whether or not the processing has been completed for all the training images. If there are still images to be processed, the process returns to step S33 to continue the processing, and if completed, the feature vectorization processing ends. (Step S41).
次に、図６を参照して、本発明の実施形態に係わる画像処理装置による特徴ベクトルの算出処理について説明する。
図６（Ａ）は、学習フェーズにおける処理の流れを示す。ここで、局所特徴量算出部５ａは、訓練画像（ａ）から局所特徴量算出処理（ｂ）を行うことにより複数の局所領域における局所特徴量（ｃ）を算出する。
次いで、代表局所特徴量作成部５ｂは、局所特徴量（ｃ）から代表局所特徴量作成処理（ｄ）を行うことによりｋ個の代表局所特徴量（ｅ）を生成する。
図６（Ｂ）は、学習フェーズまたは運用フェーズにおける処理の流れを示す。ここで、局所特徴量算出部５ａは、訓練画像または入力画像（ａ）から局所特徴量算出処理（ｂ）を行うことにより複数の局所領域における局所特徴量（ｃ）を算出する。
次いで、差分ベクトル和算出部５ｄは、各局所特徴量（ｄ）について、最も近い代表局所特徴量との差分ベクトルを求めて和（ｅ）を取る。次いで、差分ベクトル正規化部５ｅは、差分ベクトル和（ｅ）を該差分ベクトル和の長さで除算して正規化（ｆ）し、正規化差分ベクトル和を出力する。各代表局所特徴量に対する正規化差分ベクトル和（ｇ）を並べて（ｈ）対象画像の１個の特徴ベクトル（ｉ）を生成する。
Next, feature vector calculation processing by the image processing apparatus according to the embodiment of the present invention will be described with reference to FIG.
FIG. 6A shows the flow of processing in the learning phase. Here, the local feature-
Next, the representative local feature
FIG. 6B shows the flow of processing in the learning phase or the operation phase. Here, the local feature-
Next, the difference vector
予め学習フェーズにおいて、訓練用画像データから局所特徴量を算出し、算出した局所特徴量から複数個の代表局所特徴量を作成し、訓練用画像データの局所特徴量に対して最も近い代表局所特徴量を選択する。次いで、その代表局所特徴量と局所特徴量との差分ベクトルを算出し、この差分ベクトルを代表局所特徴量毎に和を取る処理を対象となる全ての局所特徴量に対して行い、和を取った差分ベクトルを長さを１に正規化する。次いで、その正規化した代表局所特徴量毎の差分ベクトルを並べて訓練用画像データに対する１個の特徴ベクトルとし、この特徴ベクトルと画像修正処理との関係を学習しておく。
例えば、空の青さを修正する場合に、旅行パンフレットでは空をより青くするが、会社説明のパンフレットではあまり青くしない等、画像の特徴により修正内容が異なる。このような場合に、画像データの１つの特徴ベクトルと画像修正処理との対応関係を示す対応関係情報を学習しておく。
次に、運用フェーズにおいては、対象画像（通信販売やＷｅｂサイトのカタログ、飲食店メニュー、広告で使用する画像など）についての特徴ベクトル化を行って特徴ベクトルを求める。次いで、学習しておいた対応関係情報から当該特徴ベクトルに対応する画像修正処理条件を決定し、決定された画像修正処理条件に従って画像修正処理を行う。
In the learning phase, local feature amounts are calculated from the training image data, a plurality of representative local feature amounts are created from the calculated local feature amounts, and the representative local feature closest to the local feature amount of the training image data is created. Select the amount. Next, a difference vector between the representative local feature quantity and the local feature quantity is calculated, and a process of summing the difference vector for each representative local feature quantity is performed on all the local feature quantities, and the sum is obtained. Normalize the difference vector to
For example, when correcting the blueness of the sky, the contents of the correction differ depending on the characteristics of the image, such as making the sky more blue in the travel brochure but not so blue in the brochure explaining the company. In such a case, correspondence information indicating the correspondence between one feature vector of image data and image correction processing is learned.
Next, in the operation phase, feature vectors are obtained for target images (such as mail-order sales, website catalogs, restaurant menus, and images used in advertisements) to obtain feature vectors. Next, an image correction processing condition corresponding to the feature vector is determined from the learned correspondence information, and an image correction process is performed according to the determined image correction processing condition.
本実施形態によれば、画像データから画像データの特徴となる１つの特徴ベクトルを求める特徴ベクトル化部５（特徴ベクトル化手段）を備える画像処理装置であって、特徴ベクトル化部５（特徴ベクトル化手段）は、画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出部５ａ（局所特徴量算出手段）と、複数の局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成部５ｂ（代表局所特徴量作成手段）と、局所特徴量算出部５ａ（局所特徴量算出手段）により算出された処理対象となる１つの局所特徴量に最も近い代表局所特徴量を選択する最近傍代表局所特徴量選択部５ｃ（最近傍代表局所特徴量選択手段）と、最近傍代表局所特徴量選択部５ｃ（最近傍代表局所特徴量選択手段）により選択された当該代表局所特徴量と処理対象となる１つの局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出部５ｄ（差分ベクトル和算出手段）と、差分ベクトル和算出部５ｄ（差分ベクトル和算出手段）により求められた差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化部５ｅ（差分ベクトル正規化手段）と、を備え、正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求める。
これにより、画像データから複数の局所領域における局所特徴量を算出し、複数の局所特徴量から代表となる複数の代表局所特徴量を作成し、算出された処理対象となる１つの局所特徴量に最も近い代表局所特徴量を選択すると、選択された当該代表局所特徴量と処理対象となる１つの局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求め、求められた差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求めておき、正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求める。
この結果、画像修正処理の統一感を向上させるのに適切な特徴ベクトルを求めることができる。
According to the present embodiment, the image processing apparatus includes the feature vectorization unit 5 (feature vectorization unit) that obtains one feature vector that is the feature of the image data from the image data, and includes the feature vectorization unit 5 (feature vector). A local feature
As a result, local feature amounts in a plurality of local regions are calculated from the image data, a plurality of representative local feature amounts that are representatives are created from the plurality of local feature amounts, and a single local feature amount to be processed is calculated. When the nearest representative local feature is selected, a difference vector sum for each representative local feature is obtained based on the selected representative local feature and one local feature to be processed. Based on the normalized difference vector sum, one feature vector for the image data to be processed is obtained based on the normalized difference vector sum normalized.
As a result, it is possible to obtain an appropriate feature vector for improving the sense of unity of the image correction process.
本実施形態によれば、学習フェーズと運用フェーズを備え、学習フェーズにおいて、特徴ベクトル化部５（特徴ベクトル化手段）により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習する関係学習部６（関係学習手段）と、運用フェーズにおいて、特徴ベクトル化部５（特徴ベクトル化手段）により求められた特徴ベクトルに基づいて、対応関係情報から画像処理条件を決定する画像処理条件決定部７（画像処理条件決定手段）と、画像処理条件決定部７（画像処理条件決定手段）により決定された画像処理条件に従って画像データを処理対象として画像修正を行う画像修正部８（画像修正手段）と、を備えている。
これにより、特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習しておき、運用フェーズにおいて、求められた特徴ベクトルに基づいて、対応関係情報から画像処理条件を決定し、決定された画像処理条件に従って画像データを処理対象として画像修正を行うことでき、特徴ベクトルと画像修正処理との関係を学習することにより、従来技術よりも画像特徴と画像修正処理との対応関係を示す対応関係情報をより高精度に表現できることができる。この結果、画像修正処理の統一感を向上させることができる。
According to the present embodiment, a learning phase and an operation phase are provided, and in the learning phase, correspondence information indicating the correspondence between the feature vector obtained by the feature vectorization unit 5 (feature vectorization means) and the image correction processing is learned. Image processing condition for determining the image processing condition from the correspondence information based on the relationship learning unit 6 (relation learning unit) and the feature vector obtained by the feature vectorization unit 5 (feature vectorization unit) in the operation phase A determination unit 7 (image processing condition determination unit) and an image correction unit 8 (image correction unit) that corrects the image data as a processing target according to the image processing condition determined by the image processing condition determination unit 7 (image processing condition determination unit) Means).
Thereby, correspondence information indicating the correspondence between the feature vector and the image correction process is learned, and in the operation phase, the image processing condition is determined from the correspondence information based on the obtained feature vector. Image correction can be performed using image data as the processing target according to the image processing conditions, and by learning the relationship between the feature vector and the image correction processing, the correspondence relationship indicating the correspondence between the image feature and the image correction processing compared to the prior art Information can be expressed with higher accuracy. As a result, it is possible to improve the sense of unity of the image correction process.
本実施形態によれば、局所特徴量算出部５ａ（局所特徴量算出手段）は、画像データからＳＵＲＦ法又はＳＩＦＴ法を用いて局所特徴量を算出する。
これにより、高精度かつ高速に局所特徴量を算出することができる。
本実施形態によれば、差分ベクトル和算出部５ｄ（差分ベクトル和算出手段）は、最近傍代表局所特徴量選択部５ｃ（最近傍代表局所特徴量選択手段）により選択された当該代表局所特徴量と処理対象となる１つの局所特徴量との差分ベクトルを求め、当該差分ベクトルを当該代表局所特徴量毎の差分ベクトル和に加算することで代表局所特徴量毎の差分ベクトル和を求める。
これにより、選択された当該代表局所特徴量と処理対象となる１つの局所特徴量との差分ベクトルを求め、当該差分ベクトルを当該代表局所特徴量毎の差分ベクトル和に加算することで代表局所特徴量毎の差分ベクトル和を求めることができる。
According to the present embodiment, the local feature
Thereby, the local feature amount can be calculated with high accuracy and high speed.
According to the present embodiment, the difference vector
Accordingly, a difference vector between the selected representative local feature value and one local feature value to be processed is obtained, and the difference vector is added to the difference vector sum for each representative local feature value, thereby representing the representative local feature. The difference vector sum for each quantity can be obtained.
本実施形態によれば、画像処理条件決定部７（画像処理条件決定手段）は、複数の修正内容についての修正内容候補情報をモニタに提示する（提示手段）と、修正内容候補情報への選択操作をマウスから入力する（選択操作入力手段）と、を備える。
これにより、自動的に選択された修正内容をユーザが変更できるようになる。
本実施形態によれば、代表局所特徴量作成部５ｄ（代表局所特徴量作成手段）は、局所特徴量からＫ−ｍｅａｎｓ法を用いてｋ個の代表局所特徴量を作成する。
これにより、高精度に代表局所特徴量を作成することができる。
本実施形態によれば、関係学習部６（関係学習手段）は、特徴ベクトル化部５（特徴ベクトル化手段）により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を、サポートベクターマシン又はニューラルネットワークを用いて学習する。
これにより、高精度かつ高速にグループ化を行うことができる。
According to this embodiment, the image processing condition determination unit 7 (image processing condition determination means) presents correction content candidate information for a plurality of correction contents on the monitor (presentation means), and selects the correction content candidate information. Inputting an operation from a mouse (selection operation input means).
As a result, the user can change the automatically selected correction content.
According to the present embodiment, the representative local feature
Thereby, a representative local feature can be created with high accuracy.
According to the present embodiment, the relationship learning unit 6 (relation learning unit) supports the correspondence information indicating the correspondence between the feature vector obtained by the feature vectorization unit 5 (feature vectorization unit) and the image correction process. Learning using a vector machine or a neural network.
Thereby, grouping can be performed with high accuracy and high speed.
１…画像処理装置、２…データ入力部、３…記憶部、４…制御部、５…特徴ベクトル化部、５ａ…局所特徴量算出部、５ｂ…代表局所特徴量作成部、５ｃ…最近傍代表局所特徴量選択部、５ｄ…差分ベクトル和算出部、５ｅ…差分ベクトル正規化部、６…関係学習部、７…画像処理条件決定部、８…画像修正部
DESCRIPTION OF
Claims (10)
前記特徴ベクトル化手段は、
画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出手段と、
複数の前記局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成手段と、
前記局所特徴量算出手段により算出された処理対象となる１つの前記局所特徴量に最も近い前記代表局所特徴量を選択する最近傍代表局所特徴量選択手段と、
前記最近傍代表局所特徴量選択手段により選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出手段と、
前記差分ベクトル和算出手段により求められた前記差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化手段と、を備え、
前記正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求めることを特徴とする画像処理装置。 An image processing apparatus comprising feature vectorization means for obtaining one feature vector that is a feature of the image data from image data,
The feature vectorization means includes:
Local feature amount calculating means for calculating local feature amounts in a plurality of local regions from image data;
Representative local feature quantity creating means for creating a plurality of representative local feature quantities that are representative from a plurality of the local feature quantities;
Nearest neighbor representative local feature quantity selecting means for selecting the representative local feature quantity closest to the one local feature quantity to be processed calculated by the local feature quantity calculating means;
Difference vector sum calculation means for obtaining a difference vector sum for each representative local feature quantity based on the representative local feature quantity selected by the nearest representative local feature quantity selection means and one local feature quantity to be processed;
Difference vector normalization means for obtaining a normalized difference vector sum normalized based on the difference vector sum obtained by the difference vector sum calculation means,
An image processing apparatus, wherein one feature vector for image data to be processed is obtained based on the normalized difference vector sum.
前記学習フェーズにおいて、前記特徴ベクトル化手段により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を学習する関係学習手段と、
前記運用フェーズにおいて、前記特徴ベクトル化手段により求められた特徴ベクトルに基づいて、前記対応関係情報から画像処理条件を決定する画像処理条件決定手段と、
前記画像処理条件決定手段により決定された画像処理条件に従って前記画像データを処理対象として画像修正を行う画像修正手段と、を備えたことを特徴とする請求項１記載の画像処理装置。 It has a learning phase and an operation phase.
In the learning phase, relationship learning means for learning correspondence information indicating the correspondence between the feature vector obtained by the feature vectorization means and image correction processing;
In the operation phase, an image processing condition determining unit that determines an image processing condition from the correspondence information based on the feature vector obtained by the feature vector converting unit;
The image processing apparatus according to claim 1, further comprising: an image correcting unit that corrects an image using the image data as a processing target according to the image processing condition determined by the image processing condition determining unit.
前記画像データからＳＵＲＦ法又はＳＩＦＴ法を用いて局所特徴量を算出することを特徴とする請求項１記載の画像処理装置。 The local feature quantity calculating means includes:
The image processing apparatus according to claim 1, wherein a local feature amount is calculated from the image data using a SURF method or a SIFT method.
前記最近傍代表局所特徴量選択手段により選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量との差分ベクトルを求め、当該差分ベクトルを当該代表局所特徴量毎の差分ベクトル和に加算することで代表局所特徴量毎の差分ベクトル和を求めることを特徴とする請求項１記載の画像処理装置。 The difference vector sum calculation means includes:
A difference vector between the representative local feature quantity selected by the nearest representative local feature quantity selection unit and one local feature quantity to be processed is obtained, and the difference vector is summed with the difference vector for each representative local feature quantity. The image processing apparatus according to claim 1, wherein a difference vector sum for each representative local feature is obtained by adding to.
複数の修正内容についての修正内容候補情報を提示する提示手段と、
前記修正内容候補情報への選択操作を入力する選択操作入力手段と、を備えたことを特徴とする請求項２記載の画像処理装置。 The image processing condition determining means includes
A presenting means for presenting correction content candidate information for a plurality of correction content;
The image processing apparatus according to claim 2, further comprising a selection operation input unit that inputs a selection operation to the correction content candidate information.
前記局所特徴量からＫ−ｍｅａｎｓ法を用いてｋ個の代表局所特徴量を作成することを特徴とする請求項１記載の画像処理装置。 The representative local feature amount creating means includes:
The image processing apparatus according to claim 1, wherein k representative local feature values are created from the local feature values using a K-means method.
前記特徴ベクトル化手段により求められた特徴ベクトルと画像修正処理の対応関係を示す対応関係情報を、サポートベクターマシン又はニューラルネットワークを用いて学習することを特徴とする請求項２記載の画像処理装置。 The relationship learning means includes
The image processing apparatus according to claim 2, wherein correspondence information indicating a correspondence relationship between the feature vector obtained by the feature vectorization unit and the image correction processing is learned using a support vector machine or a neural network.
前記特徴ベクトル化ステップは、
画像データから複数の局所領域における局所特徴量を算出する局所特徴量算出ステップと、
複数の前記局所特徴量から代表となる複数の代表局所特徴量を作成する代表局所特徴量作成ステップと、
前記局所特徴量算出ステップにより算出された処理対象となる１つの前記局所特徴量に最も近い前記代表局所特徴量を選択する最近傍代表局所特徴量選択ステップと、
前記最近傍代表局所特徴量選択ステップにより選択された当該代表局所特徴量と処理対象となる１つの前記局所特徴量に基づいて代表局所特徴量毎の差分ベクトル和を求める差分ベクトル和算出ステップと、
前記差分ベクトル和算出ステップにより求められた前記差分ベクトル和に基づいて正規化した正規化差分ベクトル和を求める差分ベクトル正規化ステップと、を備え、
前記正規化差分ベクトル和に基づいて処理対象となる画像データについての１つの特徴ベクトルを求めることを特徴とする画像処理方法。 An image processing apparatus comprising a feature vectorization step for obtaining one feature vector as a feature of the image data from image data,
The feature vectorization step includes:
A local feature amount calculating step for calculating local feature amounts in a plurality of local regions from image data;
A representative local feature creation step of creating a plurality of representative local features that are representative from the plurality of local features;
The nearest representative local feature quantity selecting step for selecting the representative local feature quantity closest to the one local feature quantity to be processed calculated by the local feature quantity calculating step;
A difference vector sum calculation step for obtaining a difference vector sum for each representative local feature amount based on the representative local feature amount selected in the nearest representative local feature amount selection step and one local feature amount to be processed;
A difference vector normalizing step for obtaining a normalized difference vector sum normalized based on the difference vector sum obtained by the difference vector sum calculating step,
An image processing method, comprising: obtaining one feature vector for image data to be processed based on the normalized difference vector sum.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013232193A JP2015094973A (en) | 2013-11-08 | 2013-11-08 | Image processor, image processing method, image processing program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013232193A JP2015094973A (en) | 2013-11-08 | 2013-11-08 | Image processor, image processing method, image processing program, and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015094973A true JP2015094973A (en) | 2015-05-18 |
Family
ID=53197361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013232193A Pending JP2015094973A (en) | 2013-11-08 | 2013-11-08 | Image processor, image processing method, image processing program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015094973A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018522339A (en) * | 2015-06-05 | 2018-08-09 | 北京京東尚科信息技術有限公司Ｂｅｉｊｉｎｇ Ｊｉｎｇｄｏｎｇ Ｓｈａｎｇｋｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | Personalized search device and method based on product image features |
| JP2018195107A (en) * | 2017-05-18 | 2018-12-06 | ファナック株式会社 | Image processing system |
| JP2020102182A (en) * | 2018-12-21 | 2020-07-02 | 株式会社リコー | Image processing apparatus, image processing system, image processing method, and program |
| JPWO2020213145A1 (en) * | 2019-04-18 | 2020-10-22 | ||
| CN112861997A (en) * | 2021-03-15 | 2021-05-28 | 北京小米移动软件有限公司 | Information processing method and device, storage medium and electronic equipment |
-
2013
- 2013-11-08 JP JP2013232193A patent/JP2015094973A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018522339A (en) * | 2015-06-05 | 2018-08-09 | 北京京東尚科信息技術有限公司Ｂｅｉｊｉｎｇ Ｊｉｎｇｄｏｎｇ Ｓｈａｎｇｋｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | Personalized search device and method based on product image features |
| JP2018195107A (en) * | 2017-05-18 | 2018-12-06 | ファナック株式会社 | Image processing system |
| US10430650B2 (en) | 2017-05-18 | 2019-10-01 | Fanuc Corporation | Image processing system |
| JP2020102182A (en) * | 2018-12-21 | 2020-07-02 | 株式会社リコー | Image processing apparatus, image processing system, image processing method, and program |
| JP7346915B2 (en) | 2018-12-21 | 2023-09-20 | 株式会社リコー | Image processing system and image processing method |
| JPWO2020213145A1 (en) * | 2019-04-18 | 2020-10-22 | ||
| JP7162734B2 (en) | 2019-04-18 | 2022-10-28 | 株式会社日立ハイテク | Charged particle beam device |
| US11928801B2 (en) | 2019-04-18 | 2024-03-12 | Hitachi High-Tech Corporation | Charged particle beam apparatus |
| CN112861997A (en) * | 2021-03-15 | 2021-05-28 | 北京小米移动软件有限公司 | Information processing method and device, storage medium and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10346951B2 (en) | Image cropping suggestion using multiple saliency maps | |
| US20200015575A1 (en) | Systems and Methods for Virtual Facial Makeup Removal and Simulation, Fast Facial Detection and Landmark Tracking, Reduction in Input Video Lag and Shaking, and a Method for Recommending Makeup | |
| US9530071B2 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
| US7995805B2 (en) | Image matching apparatus, image matching method, computer program and computer-readable storage medium | |
| US9363499B2 (en) | Method, electronic device and medium for adjusting depth values | |
| US9275277B2 (en) | Using a combination of 2D and 3D image data to determine hand features information | |
| JP6639123B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2020522807A (en) | System and method for guiding a user to take a selfie | |
| JP6544900B2 (en) | Object identification device, object identification method and program | |
| CN110852160A (en) | Image-based biometric identification system and computer-implemented method | |
| JP2017004480A (en) | Conspicuity information acquisition device and conspicuity information acquisition method | |
| JP2021101384A (en) | Image processing apparatus, image processing method and program | |
| US20160104054A1 (en) | Saliency Map Computation | |
| JP2013125322A (en) | Learning device, program and learning method | |
| WO2019026104A1 (en) | Information processing device, information processing program, and information processing method | |
| CN111008935B (en) | Face image enhancement method, device, system and storage medium | |
| JP6351243B2 (en) | Image processing apparatus and image processing method | |
| JP2015094973A (en) | Image processor, image processing method, image processing program, and recording medium | |
| JP2014149678A (en) | Makeup support apparatus, makeup support system, makeup support method and makeup support program | |
| US20200334862A1 (en) | Moving image generation apparatus, moving image generation method, and non-transitory recording medium | |
| JP6589144B2 (en) | Posture estimation method and posture estimation apparatus | |
| JP2021503139A (en) | Image processing equipment, image processing method and image processing program | |
| US20190065890A1 (en) | System and method for plant leaf identification | |
| CN113436735A (en) | Body weight index prediction method, device and storage medium based on face structure measurement | |
| Mahapatra | Retinal image quality classification using neurobiological models of the human visual system |