JP6934240B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP6934240B2 JP6934240B2 JP2017038725A JP2017038725A JP6934240B2 JP 6934240 B2 JP6934240 B2 JP 6934240B2 JP 2017038725 A JP2017038725 A JP 2017038725A JP 2017038725 A JP2017038725 A JP 2017038725A JP 6934240 B2 JP6934240 B2 JP 6934240B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- initial estimation
- space
- vector
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing apparatus.
従来より、撮像機器として分類されるデジタルカメラ、デジタルビデオカメラ、カメラ付き通信端末（携帯電話、スマートフォン、タブレット等）等においては、撮影された画像に対して色再現補正処理が施されている。
即ち、一般的には、ＣＭＯＳイメージセンサ等の撮像素子で得られた画像データに、イメージシグナルプロセッサー（ＩＳＰ）を含んだシステムオンチップ（ＳｏＣ）等の半導体を用いて、自動露出補正、自動ホワイトバランス、自動フォーカス、シェーディング補正等の画像処理が行われる。
Conventionally, in digital cameras, digital video cameras, communication terminals with cameras (mobile phones, smartphones, tablets, etc.) classified as imaging devices, color reproduction correction processing is performed on captured images.
That is, in general, automatic exposure compensation and automatic whitening are performed by using a semiconductor such as a system-on-chip (SoC) including an image signal processor (ISP) in the image data obtained by an image sensor such as a CMOS image sensor. Image processing such as balance, automatic focus, and shading correction is performed.
ここで、イメージシグナルプロセッサーを含むシステムオンチップでは、画像データに対して、色再現性を向上させるための色調整処理等の各種画像処理が行われる。このため、その前段である撮像素子で受光した画像データの補正は、色再現性を大きく左右され、画像処理装置および画像処理方法において重要な役割を果たすことになる。 Here, in the system-on-chip including the image signal processor, various image processes such as color adjustment processing for improving the color reproducibility are performed on the image data. Therefore, correction of the image data received by the image sensor which is a previous stage is largely color reproducibility, will play an important role in the image processing apparatus and image processing method.
また、撮像素子が受ける光は様々な外的要因を受けて決定される。例えば、建物の外で撮影されるシーンでは、天候や時間、建物の影のような暗い状態等の様々な外的要因に影響される。また、例えば、建物の中で撮影されるシーンにおいては、照明器具の種類や明るさ等の様々な外的要因に影響される。そのため、ＣＣＤセンサやＣＭＯＳイメージセンサ等の撮像素子で得られた画像データから、撮影されているシーンにおいて、影響している外的要因の種類（例えば、環境光の種類）を特定し、特定された夫々の外的要因（例えば、環境光が太陽光か、蛍光灯か等）に対応した色補正を施すことが必要となる。 Further, the light received by the image sensor is determined by receiving various external factors. For example, a scene shot outside a building is affected by various external factors such as weather, time, and dark conditions such as shadows of the building. Further, for example, in a scene photographed in a building, it is affected by various external factors such as the type and brightness of lighting equipment. Therefore, from the image data obtained by an image sensor such as a CCD sensor or a CMOS image sensor, the type of external factor affecting the scene being photographed (for example, the type of ambient light) is specified and specified. It is necessary to perform color correction corresponding to each external factor (for example, whether the ambient light is sunlight or a fluorescent lamp).
この点、機械学習等を用いて、撮影されているシーンにおける、環境光の種類を特定するための技術が提案されている（例えば、特許文献１、特許文献２参照）。
In this regard, techniques for specifying the type of ambient light in the scene being photographed by using machine learning or the like have been proposed (see, for example,
しかしながら、特許文献１および特許文献２を含む従来の技術では、機械学習を用いる具体的な手段などが明示されておらず、技術的に実現が困難な内容との指摘があった。
他方、従来、「所定の色」に基づいて環境光の種類を特定するための手法が知られている。撮影されたシーンの光源として、複数の環境光が存在していると仮定すると、当該「所定の色」は、各環境光から照射された光によって当該環境光に近似した色として存在していることになる。
また、例えば、物体に照射された光は、当該物体表面の状態、材質、光沢、反射等、あらゆる状況によって常に一定の色を保つことは困難である。そのため、撮影された画像データは、必ずしも特定の色の環境光のみで構成されている訳ではなく、所定の色から環境光の種類を特定することは困難である。
さらに、入力された画像データに合わせて画像処理の組み合わせや方法を変更することを可能とする技術も存在する。しかし、入力される画像データは無限に存在するものであり、現実的な使用が困難なことは容易に想像できる。
However, it has been pointed out that in the conventional techniques including
On the other hand, conventionally, a method for specifying the type of ambient light based on a "predetermined color" has been known. Assuming that a plurality of ambient lights exist as the light source of the captured scene, the "predetermined color" exists as a color close to the ambient light by the light emitted from each ambient light. It will be.
Further, for example, it is difficult for the light irradiated to an object to always maintain a constant color depending on all conditions such as the state, material, gloss, and reflection of the surface of the object. Therefore, the captured image data is not necessarily composed of only ambient light of a specific color, and it is difficult to specify the type of ambient light from a predetermined color.
Furthermore, technology that makes it possible to change the combination and method of image processing according to the input image data is also present. However, the input image data exists infinitely, and it is easy to imagine that it is difficult to use it practically.
本発明は、このような状況に鑑みてなされたものであり、機械学習によって得られた分類カテゴリを用いて、より最適色補正係数（ＷＢＧａｉｎ：Ｗｈｉｔｅ Ｂａｌａｎｃｅ Ｇａｉｎ）を設定することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to set a more optimum color correction coefficient (WBGain: White Balance Gain) by using a classification category obtained by machine learning.
上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する第１取得手段と、
前記第１取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリに分類する分類手段と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適ＷＢＧａｉｎを取得する第２取得手段と、
を備える。
これにより、機械学習によって得られた分類カテゴリを用いて、より最適ＷＢＧａｉｎを設定することができる。
In order to achieve the above object, the image processing apparatus of one aspect of the present invention is
A first acquisition means for acquiring a predetermined light source estimation vector on the feature space by acquiring a predetermined parameter from the predetermined image data and mapping a value based on the parameter onto the predetermined feature space.
A classification means for classifying the light source estimation vector acquired by the first acquisition means into a category on the feature space of the light source estimation vector by a pre-machine-learned classifier.
A second acquisition means for acquiring the optimum WBGain from the data of a predetermined frame in the image data based on the light source estimation vector and the category classified by the classification means.
To be equipped.
This makes it possible to set a more optimal WBGain using the classification category obtained by machine learning.
本発明によれば、機械学習によって得られた分類カテゴリを用いて、より最適ＷＢＧａｉｎを設定することができる。 According to the present invention, a more optimal WBGain can be set by using the classification category obtained by machine learning.
以下、本発明の一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
画像処理装置１は、センサベイヤデータ取得部２と、イメージパイプ３と、出力画像データ出力部４とを備えている。
FIG. 1 is a block diagram showing a configuration of an image processing device according to an embodiment of the present invention.
The
センサベイヤデータ取得部２は、図示せぬ撮像装置により撮像された動画像を構成する各フレームのデータの夫々を、センサベイヤデータの形態で順次取得して、イメージパイプ３に出力する。 The sensor bayer data acquisition unit 2 sequentially acquires each of the data of each frame constituting the moving image captured by the imaging device (not shown) in the form of sensor bayer data, and outputs the data to the image pipe 3.
イメージパイプ３は、各フレームのデータに対して各種画像処理を施すべく、シェーディング補正処理部５と、ホワイトバランス処理部６と、色補間処理部７と、色再現ゲイン処理部８と、ガンマ処理部９と、色空間変換処理部１０とを備えている。
The image pipe 3 includes a shading
シェーディング補正処理部５は、センサベイヤデータ取得部２から供給されたフレームのデータ（センサベイヤデータ）に対して、シェーディング補正処理を施す。シェーディング補正処理が施されたフレームのデータは、ホワイトバランス処理部６に供給される。
The shading
ホワイトバランス処理部６は、シェーディング補正処理部５から供給されたフレームのデータに対して、ホワイトバランス処理を施す。ホワイトバランス処理が施されたフレームのデータは、色補間処理部７に供給される。
The white
色補間処理部７は、ホワイトバランス処理部６から供給されたフレームのデータに対して、色補間処理を施す。色補間処理が施されたフレームのデータは、色再現ゲイン処理部８に供給される。
The color
色再現ゲイン処理部８は、色補間処理部７から供給されたフレームのデータに対して、色再現ゲイン処理を施す。色再現ゲイン処理が施されたフレームのデータは、ガンマ処理部９に供給される。
The color reproduction gain processing unit 8 performs color reproduction gain processing on the frame data supplied from the color
ガンマ処理部９は、色再現ゲイン処理部８から供給されたフレームのデータに対して、ガンマ処理を施す。ガンマ処理が施されたフレームのデータは、色空間変換処理部１０に供給される。 The gamma processing unit 9 performs gamma processing on the frame data supplied from the color reproduction gain processing unit 8. The data of the frame subjected to the gamma processing is supplied to the color space conversion processing unit 10.
色空間変換処理部１０は、ガンマ処理部９から供給されたフレームのデータに対して、色空間変換処理を施す。色空間変換処理が施されたフレームのデータは、出力画像データ出力部４に供給される。 The color space conversion processing unit 10 performs color space conversion processing on the frame data supplied from the gamma processing unit 9. The frame data that has undergone the color space conversion process is supplied to the output image data output unit 4.
出力画像データ出力部４は、イメージパイプ３から順次出力される各フレームのデータの夫々を、出力画像のデータとして、後述する図示せぬ回路に出力する。 The output image data output unit 4 outputs each of the data of each frame sequentially output from the image pipe 3 as output image data to a circuit (not shown) described later.
図２は、図１の画像処理装置１のうち、主にホワイトバランス処理部６の機能的構成の詳細を示す機能ブロック図である。
FIG. 2 is a functional block diagram showing details of the functional configuration of the white
ホワイトバランス処理部６においては、ＲＧＢ算出部６１と、初期推定部６２と、特徴空間写像部６３と、光源判定部６４と、ホワイトバランス補正部６５と、補正データ出力部６６とが機能する。
ＲＧＢ算出部６１乃至補正データ出力部６６の各機能等の詳細については、図３以降のフローチャート等を参照して画像処理装置１の処理を説明する際に合わせて説明する。
In the white
Details of each function and the like of the
光源判定部６４においては、教示データ記憶部６４１と、機械学習部６４２と、関連パラメータ記憶部６４３と、光源識別部６４４とが機能する。
教示データ記憶部６４１は、複数の画像データと当該各画像の夫々を撮影したシーンの光源のカテゴリ番号とからなる教示データを記憶している。
機械学習部６４２は、教示データ記憶部６４１に記憶された教示データに基づいて、各画像データから抽出した特徴ベクトルから光源のカテゴリを判定するための基準を機械学習し、学習した判定基準（分類器）を関連パラメータ記憶部６４３に記憶する。なお、機械学習の方法としては、例えば、ＳＶＭ（サポート・ベクター・マシーン）等を採用することができる。
光源識別部６４４は、後述のフレームのデータから特徴空間写像部６３によって特徴空間上に写像され光源判定部６４に供給された初期推定ベクトルを、関連パラメータ記憶部６４３に記憶された分類器を用いてカテゴリ分類し、当該フレームを撮影したシーンの一つ以上の光源のカテゴリ、及び当該一つ以上の光源のカテゴリと前記初期推定ベクトルとの特徴空間上での距離等のデータをホワイトバランス補正部６５に出力する。
In the light
The teaching
The
The light
次に、図３を参照して、画像処理装置１のホワイトバランス処理部６が実行するホワイトバランス処理について説明する。
ここで、「ホワイトバランス処理」とは、各フレームが撮影されたシーンの光源を判定して、各フレームのデータに対してホワイトバランス補正を施していく一連の処理をいう。
Next, the white balance processing executed by the white
Here, the "white balance process" refers to a series of processes in which the light source of the scene in which each frame is shot is determined and the white balance correction is performed on the data of each frame.
図３は、画像処理装置１のホワイトバランス処理部６により実行されるホワイトバランス処理を説明するフローチャートである。
FIG. 3 is a flowchart illustrating white balance processing executed by the white
ホワイトバランス処理は、シェーディング補正処理部５からホワイトバランス処理部６にシェーディング補正処理済のフレームの画素群のデータ（以下、「フレームのデータ」と呼ぶ）が供給される毎にその都度実行される。なお、Ｓｔａｔｉｓｔｉｃｓデータとは、フレームのデータと同一のデータである。
The white balance processing is executed each time the shading
ステップＳ１１において、ＲＧＢ算出部６１は、フレームのデータにおける（Ｒ値，Ｇ値，Ｂ値）を三つのチャンネルとして算出し、初期推定部６２に供給する。
In step S11, the
ステップＳ１２において、初期推定部６２は、ステップＳ１１で算出された（Ｒ値，Ｇ値，Ｂ値）の夫々について最大値を抽出する。なお、この（Ｒ値，Ｇ値，Ｂ値）の夫々の最大値は、光源色の初期推定値（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）として特徴空間写像部６３に供給される。
In step S12, the
ステップＳ１３において、特徴空間写像部６３は、ステップＳ１２で抽出された光源色の初期推定値（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）を特徴空間に写像して、得られた特徴ベクトルを光源判定部６４に供給する。なお、本実施形態では、特徴空間は（Ｒ／Ｇ，Ｂ／Ｇ）の二次元空間として説明を行う。
前記特徴空間上の特徴ベクトル（Ｒ／Ｇ，Ｂ／Ｇ）とは、即ち、Ｇで正規化された光源色の値であるが、この逆数が所定光源の最適ホワイトバランスゲインとして用いられる場合には、以下では「最適ＷＢＧａｉｎ」と省略表記する。また、ステップＳ１２で抽出された初期推定値（Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘ）を特徴空間に写像した特徴ベクトル（Ｒｍａｘ／Ｇｍａｘ，Ｂｍａｘ／Ｇｍａｘ）を、以下では「初期推定ベクトル」と呼ぶ。
In step S13, the feature
The feature vector (R / G, B / G) on the feature space is, that is, the value of the light source color normalized by G, but when the reciprocal of this is used as the optimum white balance gain of a predetermined light source. Is abbreviated as "optimal WB Gain" below. Further, the feature vector (Rmax / Gmax, Bmax / Gmax) obtained by mapping the initial estimated value (Rmax, Gmax, Bmax) extracted in step S12 to the feature space is hereinafter referred to as an “initial estimated vector”.
ステップＳ１４において、光源判定部６４は、ステップＳ１３で特徴空間に写像された初期推定ベクトルの分類される光源の種類を判定する。
即ち、ステップＳ１４において、光源判定部６４は、初期推定ベクトルが分類される一つ以上の光源カテゴリを、分類器に基づいて判定する。なお、この分類器は、予め機械学習した関連パラメータが格納された各種関連パラメータと共に、関連パラメータ記憶部６４３に格納されている。
In step S14, the light
That is, in step S14, the light
ステップＳ１５において、ステップＳ１５において、ホワイトバランス補正部６５はステップＳ１４で光源判定部６４により判定された光源のカテゴリに基づいて、各光源のホワイトバランス補正のために予め準備された図示せぬＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）を用いて、フレームのデータに対して最適なホワイトバランス補正を行う。なお、複数の光源カテゴリに近いと判定された場合のホワイトバランス補正については、図１０を参照して後述する。
In step S15, in step S15, the white
ステップＳ１６において、補正データ出力部６６は、ステップＳ１５で導出されたホワイトバランス補正された画像データを、画像処理装置１における後続段である色補間処理部７に供給する。
In step S16, the correction
図４は、所定の光源から取得された複数の教示データから特徴空間上に写像して得られた初期推定ベクトルの分布イメージを示す図である。 FIG. 4 is a diagram showing a distribution image of an initial estimation vector obtained by mapping on a feature space from a plurality of teaching data acquired from a predetermined light source.
図４において、Ａ〜Ｅの記号は、複数の教示データから得られた初期推定ベクトルが分類されるカテゴリの番号を示している。
即ち、任意に選択したカテゴリの光源のもとで撮像した教示データが、夫々のカテゴリに分類されて、クラスタ化されているのである。
図４の例では、カテゴリＡに分類される光源（以下、「Ａ光源」と呼ぶ）は、太陽光であるとする。つまり、Ａ光源に分類されるクラスタとは、太陽光のもとで撮像された教示データが分類されて、クラスタ化されたものである。
ここで、同様にカテゴリＢ〜Ｅに分類される光源については、Ａ光源と同様に、Ｂ光源〜Ｅ光源と呼ぶ。
このようにして算出された分類器の出力イメージについて、引き続き、図５を用いて説明を行う。なお、本実施形態において撮像されたシーンの各フレームのデータは、上記Ａ〜Ｅの単独あるいは複数の光源が含まれる可能性がある。
In FIG. 4, the symbols A to E indicate the category numbers in which the initial estimation vectors obtained from the plurality of teaching data are classified.
That is, the teaching data captured under the light source of an arbitrarily selected category is classified into each category and clustered.
In the example of FIG. 4, it is assumed that the light source classified into category A (hereinafter referred to as "A light source") is sunlight. That is, the cluster classified as the A light source is a cluster in which the teaching data captured under sunlight is classified and clustered.
Here, the light sources that are similarly classified into categories B to E are referred to as B light sources to E light sources as in the A light source.
The output image of the classifier calculated in this way will be continuously described with reference to FIG. The data of each frame of the scene captured in the present embodiment may include a single light source or a plurality of light sources A to E.
図５は、本実施形態に係る特徴空間において、複数の教示データの機械学習によって得られた分類器の出力イメージを示す図である。
なお、Ａ〜Ｅの記号は、図４と同様に、複数の教示データから得られた初期推定ベクトルが分類されるカテゴリの番号を示している。
FIG. 5 is a diagram showing an output image of a classifier obtained by machine learning of a plurality of teaching data in the feature space according to the present embodiment.
The symbols A to E indicate the category numbers in which the initial estimation vectors obtained from the plurality of teaching data are classified, as in FIG.
図５の例では、教示データの機械学習によって、Ａ〜Ｅの光源を表す各クラスタの境界が画定されている。
即ち、前述の機械学習によって、Ａ〜Ｅの光源を表す各クラスタの境界を確定することができ、各クラスタの分類を容易に実現することができる。
本実施形態における、分類器とは、このように機械学習によって、各種光源（Ａ〜Ｅ）の光源を表す各クラスタの境界を確定する機能を有している。この分類器を用いることで、後述するように、容易に最適ＷＢＧａｉｎを算出することができるのである。
次に、このようにして算出された分類器を用いて、実際に入力された所定のフレームデータから算出された初期推定光源のＷＢＧａｉｎの取得方法について、以降の図面を用いて説明していく。
In the example of FIG. 5, the boundaries of each cluster representing the light sources A to E are defined by machine learning of the teaching data.
That is, by the above-mentioned machine learning, the boundary of each cluster representing the light sources A to E can be determined, and the classification of each cluster can be easily realized.
The classifier in the present embodiment has a function of determining the boundary of each cluster representing the light sources of various light sources (A to E) by machine learning in this way. By using this classifier, the optimum WBGain can be easily calculated as described later.
Next, using the classifier calculated in this way, a method of acquiring the WBGain of the initial estimation light source calculated from the predetermined frame data actually input will be described with reference to the following drawings.
図６は、本実施形態に係る特徴空間において、所定のフレームのデータから算出された初期推定ベクトルを示す図である。 FIG. 6 is a diagram showing an initial estimation vector calculated from data of a predetermined frame in the feature space according to the present embodiment.
図６の例では、当該フレームのデータから算出された初期推定ベクトルＨがＡ光源のカテゴリ範囲内に存在している。
この新たに算出された初期推定ベクトルＨのＷＢＧａｉｎの取得方法について、引き続き、図７を用いて説明していく。
In the example of FIG. 6, the initial estimation vector H calculated from the data of the frame exists within the category range of the A light source.
The method of acquiring the newly calculated WBGain of the initial estimation vector H will be continuously described with reference to FIG. 7.
即ち、図７は、本実施形態に係る特徴空間において、Ａ〜Ｅの各カテゴリに分類された光源の最適ＷＢＧａｉｎを説明するためのイメージ図である。 That is, FIG. 7 is an image diagram for explaining the optimum WBGain of the light sources classified into each category of A to E in the feature space according to the present embodiment.
図７の例では、Ａ光源に分類された初期推定ベクトルＨについて、最適ＷＢＧａｉｎを設定する場合の例を示している。
ここで、分類器によって分けられた各カテゴリに区分された空間に分布する初期推定ベクトルは、前述の通り、様々な要因で各カテゴリの最適ＷＢＧａｉｎから外れている可能性がある。そのため、初期推定ベクトルＨをそのまま用いてホワイトバランス補正を行うことは望ましくない。
したがって、図７の例では初期推定ベクトルＨは、Ａ光源に分類される特徴空間内に存在しているため、当該初期推定ベクトルの代わりに、前述の機械学習により設定されたＡ光源の最適ＷＢＧａｉｎを設定する。
In the example of FIG. 7, an example in which the optimum WBGain is set for the initial estimation vector H classified as the A light source is shown.
Here, as described above, the initial estimation vector distributed in the space divided into each category divided by the classifier may deviate from the optimum WBGain of each category due to various factors. Therefore, it is not desirable to perform white balance correction using the initial estimation vector H as it is.
Therefore, in the example of FIG. 7, since the initial estimation vector H exists in the feature space classified as the A light source, the optimum WBGain of the A light source set by the above-mentioned machine learning is used instead of the initial estimation vector. To set.
図８は、本実施形態に係る特徴空間において、特殊カテゴリが存在するイメージ図である。 FIG. 8 is an image diagram in which a special category exists in the feature space according to the present embodiment.
図８の例では、Ｃ光源のカテゴリの空間内に、新しく一定の分布を持つ特殊カテゴリが存在している場合が示されている。
即ち、複数のフレームのデータが入力されていくと、上述のＡ〜Ｅの何れのカテゴリにも分類が困難な特徴空間内の所定の領域に新たなクラスタを作る場合がある。
このような場合に、フレームのデータが蓄積された結果として生成された新たなクラスタを特殊カテゴリとして呼び、別の光源として識別することができる。そこで、初期推定ベクトルが、この特殊カテゴリに分類される場合について、図９を用いて、引き続き説明を行う。
In the example of FIG. 8, a case where a special category having a new constant distribution exists in the space of the category of the C light source is shown.
That is, when data of a plurality of frames is input, a new cluster may be formed in a predetermined area in the feature space, which is difficult to classify into any of the above-mentioned categories A to E.
In such a case, the new cluster generated as a result of accumulating the frame data can be called as a special category and can be identified as another light source. Therefore, the case where the initial estimation vector is classified into this special category will be continuously described with reference to FIG.
図９は、本実施形態に係る特徴空間において、特殊カテゴリに対応した最適ＷＢＧａｉｎを説明するためのイメージ図である。 FIG. 9 is an image diagram for explaining the optimum WBGain corresponding to the special category in the feature space according to the present embodiment.
図９を見ると、初期推定ベクトルは、図８で新しく設定された特殊カテゴリに分類されている。このような特殊カテゴリが設定された場合、その特殊カテゴリに対して、前述の機械学習によって再び新たな分類器が算出される。そして、その特殊カテゴリに対応した最適ＷＢＧａｉｎが別途設定される。
即ち、図９の例では、初期推定ベクトルは、ここで別途設定された特殊カテゴリに対応した最適ＷＢＧａｉｎが、初期推定ベクトルの最適ＷＢＧａｉｎとして設定される。
Looking at FIG. 9, the initial estimation vectors are classified into the special categories newly set in FIG. When such a special category is set, a new classifier is calculated again for the special category by the above-mentioned machine learning. Then, the optimum WBGain corresponding to the special category is set separately.
That is, in the example of FIG. 9, as the initial estimation vector, the optimum WBGain corresponding to the special category separately set here is set as the optimum WBGain of the initial estimation vector.
図１０は、本実施形態に係る特徴空間において、初期推定ベクトルがＢ光源とＣ光源の重複分布範囲内にある場合を説明するためのイメージ図である。 FIG. 10 is an image diagram for explaining a case where the initial estimation vector is within the overlapping distribution range of the B light source and the C light source in the feature space according to the present embodiment.
図１０を見ると、例えば、初期推定ベクトルは、Ｂ光源とＣ光源の重複分布範囲内に存在している。
このような場合、まず、光源識別部６４４は、初期推定ベクトルと各光源の最適ＷＢＧａｉｎとをアルゴリズムから類似度を算出する。そして、その類似度に基づいて、初期推定ベクトルがＢ光源に分類されるのか、あるいはＣ光源に分類されるのか、が選択される。
図１０の例では、光源識別部６４４は、類似度の算出結果として、初期推定ベクトルをＣ光源の最適ＷＢＧａｉｎとして選択している。
Looking at FIG. 10, for example, the initial estimation vector exists within the overlapping distribution range of the B light source and the C light source.
In such a case, first, the light
In the example of FIG. 10, the light
以上本発明の画像処理装置の一実施形態について説明したが、本発明は上述した本実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果の列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。 Although one embodiment of the image processing apparatus of the present invention has been described above, the present invention is not limited to the above-described embodiment. Further, the effects described in the present embodiment are merely a list of the most suitable effects arising from the present invention, and the effects according to the present invention are not limited to those described in the present embodiment.
例えば、上述の本実施形態では、機械学習の方法としては、ＳＶＭを用いると説明を行ったが、機械学習の方法は、これに特に限定されない。
さらに、例えば、この機械学習は、ホワイトバランス処理の実行前に完了することを前提として説明を行ったが、これに特に限定されない。即ち、ホワイトバランス処理を実行する際に、並列して機械学習を行うことも可能である。
For example, in the above-described embodiment, it has been described that SVM is used as the machine learning method, but the machine learning method is not particularly limited to this.
Further, for example, the machine learning has been described on the assumption that it is completed before the execution of the white balance process, but the present invention is not particularly limited thereto. That is, it is also possible to perform machine learning in parallel when executing the white balance process.
例えば、上述の本実施形態では、初期推定部６２が（Ｒ，Ｇ，Ｂ）の各チャンネルの最大値（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）を抽出すると記述したが、これに特に制限されない。
例えば、（Ｒ値，Ｇ値，Ｂ値）を（Ｙ値，Ｕ値，Ｖ値）に変換して、その最大値を抽出してもよい。
さらに例えば、（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）を抽出せず、各チャンネルの平均値（Ｒａｖｅ値,Ｇａｖｅ値,Ｂａｖｅ値）を抽出してもよい。
For example, in the above-described embodiment, it is described that the
For example, (R value, G value, B value) may be converted into (Y value, U value, V value) and the maximum value thereof may be extracted.
Further, for example, the average value (Rave value, Gave value, Bave value) of each channel may be extracted without extracting (Rmax value, Gmax value, Bmax value).
例えば、上述の本実施形態では、特徴空間写像部６３が（Ｒ／Ｇ，Ｂ／Ｇ）二次元空間を特徴空間として写像すると記述したが、これに特に制限されない。例えば、さらに多くの特徴量を追加して、多次元の特徴空間として写像してもよい。
For example, in the above-described embodiment, it is described that the feature
例えば、図１０の例では、光源識別部６４４は、類似度の概念を用いて、初期推定ベクトルの分類を選択するものとして説明を行ったが、類似度の概念をどのように定義するか、また、どのように初期推定ベクトルの分類を選択するのかは、自由に決定することができる。
例えば、算出した類似度によって重み付けしたＢ光源とＣ光源の最適ＷＢＧａｉｎの平均値を用いて、初期推定ベクトルの最適ＷＢＧａｉｎを選択してもよい。
For example, in the example of FIG. 10, the light
For example, the optimum WBGain of the initial estimation vector may be selected by using the average value of the optimum WBGains of the B light source and the C light source weighted by the calculated similarity.
また、図１に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。 Further, the hardware configuration shown in FIG. 1 is merely an example for achieving the object of the present invention, and is not particularly limited.
また、図２に示すブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がホワイトバランス処理部６に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図２の例に限定されない。
さらに、機能ブロックの存在場所も、図２に限定されず、任意でよい。
そして、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェアとの組み合わせで構成してもよい。
Further, the block diagram shown in FIG. 2 is merely an example and is not particularly limited. That is, it suffices if the white
Further, the location of the functional block is not limited to FIG. 2, and may be arbitrary.
Then, one functional block may be configured by the hardware alone or in combination with the software.
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the steps for describing a program recorded on a recording medium are not necessarily processed in chronological order, but also in parallel or individually, even if they are not necessarily processed in chronological order. It also includes the processing to be executed.
以上まとめると、本発明が適用される画像処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される画像処理装置（例えば図１の画像処理装置１）は、
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する取得手段（例えば図２の初期推定部６２や特徴空間写像部６３）と、
前記第１取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリを分類する分類手段（例えば図２の光源識別部６４４）と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適ＷＢＧａｉｎを取得し、ＷＢ補正を行う補正手段（例えば図２のホワイトバランス補正部６５）と、
を備えていれば足りる。
Summarizing the above, the image processing apparatus to which the present invention is applied only needs to have the following configuration, and various various embodiments can be taken.
That is, the image processing apparatus to which the present invention is applied (for example, the
Acquisition means for acquiring a predetermined light source estimation vector on the feature space by acquiring a predetermined parameter from predetermined image data and mapping a value based on the parameter onto a predetermined feature space (for example, FIG. 2). With the
The light source estimation vector acquired by the first acquisition means is classified into categories on the feature space of the light source estimation vector by a pre-machine-learned classifier (for example, the light
Based on the light source estimation vector and the category classified by the classification means, the correction means (for example, the white balance correction unit of FIG. 2) obtains the optimum WBGain from the data of a predetermined frame in the image data and performs WB correction. 65) and
It is enough if you have.
これにより、撮影されたシーンの中に複数の光源が環境光として存在していた場合でも、予め機械学習して得られた分類器を用いて、フレームのデータから取得された特徴ベクトルをカテゴリ分類して光源を特定することで、より容易に最適ＷＢＧａｉｎを取得することができる。
そのため、フレームのデータから推定された光源色に基づいて、（直接）ホワイトバランス補正を行う従来の技術と比較して、より容易に最適ホワイトバランス補正を行うことが可能となる。
As a result, even if multiple light sources exist as ambient light in the captured scene, the feature vector acquired from the frame data is categorized using a classifier obtained by machine learning in advance. By specifying the light source, the optimum WBGain can be obtained more easily.
Therefore, it is possible to more easily perform the optimum white balance correction as compared with the conventional technique of performing the (direct) white balance correction based on the light source color estimated from the frame data.
１・・・画像処理装置
２・・・センサベイヤデータ取得部
３・・・イメージパイプ
４・・・出力画像データ出力部
５・・・シェーディング補正処理部
６・・・ホワイトバランス処理部
７・・・色補間処理部
８・・・色再現ゲイン処理部
９・・・ガンマ処理部
１０・・・色空間変換処理部
６１・・・ＲＧＢ算出部
６２・・・初期推定部
６３・・・特徴空間写像部
６４・・・光源判定部
６５・・・ホワイトバランス補正部
６６・・・補正データ出力部
６４１・・・教示データ記憶部
６４２・・・機械学習部
６４３・・・関連パラメータ記憶部
６４４・・・光源識別部
1 ... Image processing device 2 ... Sensor bayer data acquisition unit 3 ... Image pipe 4 ... Output image
Claims (4)
前記特徴空間が既存の光源の種類毎に境界線で区分された複数の区分空間のうち、前記特徴空間に写像された前記初期推定ベクトルが属する区分空間を所定の分類器を用いて判定する判定手段と、
前記判定手段により判定された前記区分空間において予め設定されている最適ＷＢＧａｉｎを、前記初期推定ベクトルの代わりに前記画像データのホワイトバランス処理に用いるものとして設定する設定手段と、
を備え、
前記所定の分類器は、
予め撮像された複数の画像の画像データと、当該複数の画像の夫々が撮影されたシーンの前記既存の光源の種類を示すカテゴリ番号と、からなる教示データに基づいて、各画像データから抽出された特徴ベクトルから前記既存の光源の種類を判定するための基準が機械学習された結果得られたものであって、
前記特徴空間において前記既存の光源の種類毎の境界線を確定できるものである、
画像処理装置。 A mapping means that maps the initial estimation vector of the light source estimated to be used for imaging from the image data captured under a predetermined light source into the feature space.
The feature space of the plurality of segmented space that is partitioned by the boundary lines for each type of existing light sources, determines the division space in which the initial estimate vector is mapped into the feature space belongs by using a predetermined classifier Judgment means and
A setting means for setting an optimum WBGain preset in the division space determined by the determination means to be used for white balance processing of the image data instead of the initial estimation vector.
Equipped with a,
The predetermined classifier is
Extracted from each image data based on teaching data consisting of image data of a plurality of images captured in advance and a category number indicating the type of the existing light source of the scene in which each of the plurality of images was captured. The criteria for determining the type of the existing light source from the feature vector was obtained as a result of machine learning.
In the feature space, the boundary line for each type of the existing light source can be determined.
Image processing device.
前記初期推定ベクトルが属する区分空間と隣接する他の区分空間の夫々の最適ＷＢＧａｉｎと前記初期推定ベクトルとの類似度に基づいて、前記最適ＷＢＧａｉｎを設定する、
請求項１に記載の画像処理装置。 The setting means is
The optimum WBGain is set based on the similarity between the optimum WBGain of each of the compartmentalized spaces to which the initial estimation vector belongs and the other compartmentalized spaces adjacent to the initial estimation vector and the initial estimation vector.
The image processing apparatus according to claim 1.
請求項１又は２に記載の画像処理装置。 When the position in the division space to which the initial estimation vector belongs and the position of the optimum WBGain in the division space are separated by a certain distance or more, a new classifier is generated by the machine learning.
The image processing apparatus according to claim 1 or 2.
所定光源の下で撮像された画像データから、撮像に使用されたものとして推定される光源の初期推定ベクトルを特徴空間に写像する写像手段と、
前記特徴空間が既存の光源の種類毎に境界線で区分された複数の区分空間のうち、前記特徴空間に写像された前記初期推定ベクトルが属する区分空間を所定の分類器を用いて判定する判定手段と、
前記判定手段により判定された前記区分空間において予め設定されている最適ＷＢＧａｉｎを、前記初期推定ベクトルの代わりに前記画像データのホワイトバランス処理に用いるものとして設定する設定手段、
として機能させるプログラムであって、
前記所定の分類器は、
予め撮像された複数の画像の画像データと、当該複数の画像の夫々が撮影されたシーンの前記既存の光源の種類を示すカテゴリ番号と、からなる教示データに基づいて、各画像データから抽出された特徴ベクトルから前記既存の光源の種類を判定するための基準が機械学習された結果得られたものであって、
前記特徴空間において前記既存の光源の種類毎の境界線を確定できるものである、
プログラム。 The computer that controls the image processing device,
A mapping means that maps the initial estimation vector of the light source estimated to be used for imaging from the image data captured under a predetermined light source into the feature space.
The feature space of the plurality of segmented space that is partitioned by the boundary lines for each type of existing light sources, determines the division space in which the initial estimate vector is mapped into the feature space belongs by using a predetermined classifier Judgment means and
A setting means for setting an optimum WBGain preset in the division space determined by the determination means to be used for white balance processing of the image data instead of the initial estimation vector.
It is a program that functions as
The predetermined classifier is
Extracted from each image data based on teaching data consisting of image data of a plurality of images captured in advance and a category number indicating the type of the existing light source of the scene in which each of the plurality of images was captured. The criteria for determining the type of the existing light source from the feature vector was obtained as a result of machine learning.
In the feature space, the boundary line for each type of the existing light source can be determined.
program.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017038725A JP6934240B2 (en) | 2017-03-01 | 2017-03-01 | Image processing device |
| JP2021132352A JP7152065B2 (en) | 2017-03-01 | 2021-08-16 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017038725A JP6934240B2 (en) | 2017-03-01 | 2017-03-01 | Image processing device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021132352A Division JP7152065B2 (en) | 2017-03-01 | 2021-08-16 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018148281A JP2018148281A (en) | 2018-09-20 |
| JP6934240B2 true JP6934240B2 (en) | 2021-09-15 |
Family
ID=63590040
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017038725A Active JP6934240B2 (en) | 2017-03-01 | 2017-03-01 | Image processing device |
| JP2021132352A Active JP7152065B2 (en) | 2017-03-01 | 2021-08-16 | Image processing device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021132352A Active JP7152065B2 (en) | 2017-03-01 | 2021-08-16 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6934240B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6696095B1 (en) * | 2018-11-07 | 2020-05-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Image processing device, imaging device, image processing method, and program |
| WO2020142871A1 (en) * | 2019-01-07 | 2020-07-16 | 华为技术有限公司 | White balance processing method and device for image |
| WO2021199366A1 (en) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | Information processing device, method, program, and model |
| KR20220166592A (en) * | 2021-06-10 | 2022-12-19 | 삼성전자주식회사 | Electronic device including camera module and method operating the electronic device |
| CN115529448B (en) * | 2022-03-10 | 2023-07-11 | 荣耀终端有限公司 | Image processing method and related device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3849834B2 (en) * | 1999-02-02 | 2006-11-22 | 富士写真フイルム株式会社 | Auto white balance control method |
| JP4158592B2 (en) * | 2003-04-25 | 2008-10-01 | 富士フイルム株式会社 | Auto white balance adjustment method and camera to which this method is applied |
| JP2006254336A (en) * | 2005-03-14 | 2006-09-21 | Fuji Photo Film Co Ltd | White balance correction method and apparatus |
| US7912279B2 (en) * | 2006-10-26 | 2011-03-22 | Qualcomm Incorporated | Automatic white balance statistics collection |
| JP5092612B2 (en) * | 2007-08-03 | 2012-12-05 | 株式会社ニコン | Color imaging device |
| JP5023874B2 (en) * | 2007-08-06 | 2012-09-12 | 株式会社ニコン | Color imaging device |
| JP2013168723A (en) * | 2012-02-14 | 2013-08-29 | Nikon Corp | Image processing device, imaging device, image processing program, and image processing method |
| JP6561479B2 (en) * | 2015-01-28 | 2019-08-21 | 株式会社シグマ | Imaging device capable of color shading correction |
-
2017
- 2017-03-01 JP JP2017038725A patent/JP6934240B2/en active Active
-
2021
- 2021-08-16 JP JP2021132352A patent/JP7152065B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018148281A (en) | 2018-09-20 |
| JP2021180527A (en) | 2021-11-18 |
| JP7152065B2 (en) | 2022-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7152065B2 (en) | Image processing device | |
| US11849224B2 (en) | Global tone mapping | |
| US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
| KR102356372B1 (en) | White balance processing method, electronic device and computer readable storage medium | |
| US20170064179A1 (en) | Method and Apparatus for Auto Exposure Value Detection for High Dynamic Range Imaging | |
| US20180315166A1 (en) | Depth assisted auto white balance | |
| JP2009159496A (en) | White balance control device, imaging apparatus using the same, and white balance control method | |
| JP2005167956A (en) | Digital auto white balancing device | |
| KR101756548B1 (en) | Methods for awb(automatic white balance) compensation and apparatuses using the same | |
| US20130083237A1 (en) | Imaging apparatus, imaging method, and program | |
| KR20110016505A (en) | Color adjustment | |
| JP2016540440A (en) | Picture processing method and apparatus | |
| US11889202B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US11457189B2 (en) | Device for and method of correcting white balance of image | |
| US20180288336A1 (en) | Image processing apparatus | |
| WO2013114803A1 (en) | Image processing device, image processing method therefor, computer program, and image processing system | |
| JP6632724B2 (en) | Device and method for reducing exposure time set for high dynamic range video / imaging | |
| US20150312487A1 (en) | Image processor and method for controlling the same | |
| US9113120B2 (en) | Apparatus and a method for processing a moving image, and a non-transitory computer readable medium thereof | |
| KR20120122574A (en) | Apparatus and mdthod for processing image in a digital camera | |
| JP2009004966A (en) | Imaging apparatus | |
| KR102389284B1 (en) | Method and device for image inpainting based on artificial intelligence | |
| US20190052803A1 (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium | |
| WO2022067761A1 (en) | Image processing method and apparatus, capturing device, movable platform, and computer readable storage medium | |
| WO2013114802A1 (en) | Image processing device, image processing method therefor, computer program, and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6934240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |