JP2015092643A - Image processing device, image processing method thereof, computer program and image processing system - Google Patents
Image processing device, image processing method thereof, computer program and image processing system Download PDFInfo
- Publication number
- JP2015092643A JP2015092643A JP2012016586A JP2012016586A JP2015092643A JP 2015092643 A JP2015092643 A JP 2015092643A JP 2012016586 A JP2012016586 A JP 2012016586A JP 2012016586 A JP2012016586 A JP 2012016586A JP 2015092643 A JP2015092643 A JP 2015092643A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- pixels
- information
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、例えば、撮影した画像を基に入力画像を補正する技術分野に関する。 The present invention relates to a technical field for correcting an input image based on a photographed image, for example.
近年、例えば、企業や公共施設などで、カメラを用いて、人物や物体をモニタすることにより、これら被写体および、その周辺に生じる変化を監視するシステムが増えつつある。 In recent years, for example, in companies and public facilities, a system for monitoring a person and an object by using a camera to monitor changes in these objects and their surroundings is increasing.
また、商業施設などでも、例えば、小売店に来店する人物の服装色などの傾向を把握することにより、マーケティングに活かすような試みもある。 Also, in commercial facilities, for example, there are attempts to make use of marketing by grasping trends such as clothes colors of people who visit retail stores.
係るモニタリングシステムのカメラは、屋外や屋内の多様な場所に設置されることにより、その被写体の色合い（いわゆる色味）は、例えば、強い日差しや、照明などの光により、画像が白っぽくなったり、薄暮、曇天、あるいは節電に伴う照明の低減により、画像が黒っぽくなったりする。さらには、色味は、上述した環境光が変化する中で、多様に変化する。 The camera of such a monitoring system is installed in various places indoors and outdoors, so that the color of the subject (so-called color) becomes whitish due to, for example, strong sunlight or light such as lighting, Due to twilight, cloudy weather, or power saving due to power saving, the image becomes dark. Furthermore, the color changes in various ways while the ambient light changes.
また、設置するカメラが複数台の場合は、カメラ自身の分光感度特性や、レンズ特性などの個体差の影響を受けることによって、その撮影画像の色味も多様となる可能性がある。 In addition, when a plurality of cameras are installed, there is a possibility that the color of the captured image may be varied due to the influence of individual differences such as the spectral sensitivity characteristics and lens characteristics of the cameras themselves.
したがって、上述したように、被写体を監視したり、色を認識したりするためには、天候や、照明などの環境光や、カメラの光学特性などの影響で変化した被写体の色の情報を正確に抽出するとともに、入力画像の画素の色味が、なるべく広い色空間をとるように適切に補正する必要がある。 Therefore, as described above, in order to monitor a subject or recognize a color, accurate information on the color of the subject that has changed due to the influence of weather, ambient light such as lighting, or the optical characteristics of the camera is accurate. In addition, it is necessary to appropriately correct the color tone of the pixels of the input image so as to take as wide a color space as possible.
そこで、画像の色味補正技術としては、カラーチャートを用いた色補正手法がよく知られている。カラーチャートは、理想的な特定光源下において、色の値を計測した複数のパッチ（理想色の標本）からなる。これらのパッチの色の値（理想色の画素値）は公開されている。 Therefore, a color correction technique using a color chart is well known as an image color correction technique. The color chart includes a plurality of patches (ideal color samples) whose color values are measured under an ideal specific light source. The color values of these patches (ideal color pixel values) are publicly available.
ここで、画素値とは、画素が有する、濃淡を表す階調、および色情報である色調を離散的な数で表した値と定義する。階調を用いるか、色調を用いるかは、用いる色空間による。 Here, the pixel value is defined as a value represented by a discrete number of gradations representing shades and color tones as color information. Whether to use gradation or tone depends on the color space to be used.
これにより、任意の撮影環境下で、カラーチャートを撮影し、その際に測定された各パッチの画素値を、上述の理想色の画素値に近づけることによって、理想的な特定光源下で撮影した画像に近い画像を得ることができる。 As a result, a color chart was photographed under an arbitrary photographing environment, and the pixel value of each patch measured at that time was photographed under an ideal specific light source by approaching the pixel value of the ideal color described above. An image close to the image can be obtained.
その際に、理想色の画素値に近づけるような色補正パラメタを推定するとともに、その色補正パラメタを基にして得られる色補正関数を、入力画像の領域全体に適用することで、色補正された画像を得ることができる。 At that time, the color correction parameter that approximates the pixel value of the ideal color is estimated, and the color correction function obtained based on the color correction parameter is applied to the entire area of the input image, so that the color correction is performed. Images can be obtained.
ここで、特許文献１に記載の技術は、監視カメラで予め撮影した背景画像に基いて、入力画像の色を補正する技術を開示する。
Here, the technique described in
具体的には、設置者は、初期設定時に、背景画像の画素のいくつかの色をカラーチャートで校正しておき、それ以外の色は、補完することにより、近づけたい背景画像の画素の位置と、画素値とを、参照テーブルに保存する。 Specifically, at the time of initial setting, the installer calibrates some colors of the background image pixels with a color chart, and other colors are supplemented so that the positions of the background image pixels to be approximated are complemented. And the pixel value are stored in a reference table.
次に、特許文献１に記載の技術は、実際の入力画像の中から前景画像を除いて、背景画像を抽出するとともに、その画像中の画素値を時系列に調べ、ヒストグラムを作成する。そのヒストグラムの区画毎にもっとも頻度が高い画素の値を背景領域候補とする。
Next, the technique described in
次に、上述の背景領域候補は、動物体であるか否かをフレーム間で差分を取ることにより、判定するとともに、動物体ではない場合は、背景領域として抽出する。 Next, whether or not the above-described background region candidate is a moving object is determined by taking a difference between frames, and if it is not a moving object, it is extracted as a background region.
次に、特許文献１に記載の技術は、初期設定時に作成した、カラーチャートによって色を補正した背景画像の画素の位置と画素値を保持する参照テーブル内の、対応する位置の画素の画素値と、上述の手段によって実際の入力画像から抽出した背景領域の画素の画素値とを比較し、比較の結果、両者が異なった場合、色補正パラメタを更新する。
Next, the technique disclosed in
しかしながら、特許文献１に記載の技術は、画像中の画素値を時系列に調べることによって、ヒストグラムを作成する際に、そのヒストグラムのもっとも頻度が高い画素の値を背景領域候補とするので、それを基に補正した画像の色は、偏る可能性がある。
However, the technique described in
また、画素値が飽和する場合や、画素値が不安定になるエッジ成分がある場合、あるいは色補正に用いる背景画素の数の偏りが発生する場合に、求めた色補正用の参照テーブルでの色補正は、うまくいかない可能性がある。 Also, when the pixel value is saturated, when there is an edge component that makes the pixel value unstable, or when the number of background pixels used for color correction is biased, the obtained color correction reference table Color correction may not work.
上述した関連する技術では、基準となる背景画像の支配的な色に偏った色補正となる可能性がある。 In the related technique described above, there is a possibility that the color correction is biased toward the dominant color of the reference background image.
また、画像が白っぽく（いわゆる、白とび）なる、画素値が飽和したりする場合や、黒っぽく（いわゆる、黒つぶれ）なる、画素値が不足したりする場合や、画素値が不安定になるエッジ成分などがある場合などで、色補正がうまくいかない可能性がある。 Also, when the image becomes whitish (so-called whiteout), when the pixel value is saturated, when it becomes blackish (so-called blackout), when the pixel value is insufficient, or when the pixel value becomes unstable Color correction may not be successful if there are components.
即ち、色をバランスよくするためには、基準となる画像の画素から、万遍なく選んで、入力画像の画素の色を補正する必要があるとともに、その際に、色補正をうまく行うには、入力画像から上述したような不安定な画素を除いて、色補正に適した背景画像を対象にした補正を考慮する必要がある。 In other words, in order to achieve a good color balance, it is necessary to select the pixel of the reference image uniformly and correct the color of the pixel of the input image. Therefore, it is necessary to consider correction for a background image suitable for color correction by removing the unstable pixels as described above from the input image.
本発明の主たる目的は、上述した課題を解決するために、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置等を提供することにある。 In order to solve the above-described problems, a main object of the present invention is to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
本発明は、上述した課題の解決を目的としてなされた。即ち、本発明に係る画像処理装置は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。 The present invention has been made for the purpose of solving the above-described problems. That is, the image processing apparatus according to the present invention classifies pixels constituting a reference image obtained by color-correcting a background image in advance using a color sample into a plurality of sections according to the pixel values of the pixels, and the classified sections. A color which is a pixel obtained by selecting a predetermined number of pixels for each pixel and excluding from the pixels constituting the input image pixels in which a plurality of types of instability factors included in the pixels constituting the input image respectively exceed a predetermined threshold For a correction candidate pixel, a color correction coefficient corresponding to the position of the selected pixel, which approximates the pixel value of the pixel including the background image to be processed and constituting the input image to the pixel value of the selected pixel is obtained. It is characterized by.
また、同目的を達成する本発明の他の見地である画像処理方法は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、
該画素の画素値に応じて、複数の区画に分類し、
該分類した区画毎に、所定の個数の画素を選択するとともに、
入力画像を構成する画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。
In addition, an image processing method according to another aspect of the present invention that achieves the same object includes a pixel that constitutes a reference image obtained by performing color correction on a background image in advance using a color sample,
According to the pixel value of the pixel, it is classified into a plurality of sections,
A predetermined number of pixels are selected for each classified section, and
The selection is made for color correction candidate pixels, which are pixels obtained by excluding, from the pixels constituting the input image, pixels in which plural types of instability factors included in the pixels constituting the input image each exceed a predetermined threshold value A color correction coefficient for obtaining a pixel value of a pixel that includes the background image to be processed and that constitutes the input image corresponding to the position of the selected pixel is approximated to the pixel value of the selected pixel.
なお、同目的は、上記構成を有する画像処理装置、並びに対応する方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読取り可能な記憶媒体によっても達成される。 This object can also be achieved by a computer program that implements the image processing apparatus having the above-described configuration and the corresponding method by a computer, and a computer-readable storage medium that stores the computer program. .
さらに、同目的を解決する本発明の更なる他の見地である画像処理システムは、通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、上記構成を有することを特徴とし、求めた色補正係数を基に、色補正関数を用いて前記入力画像の色を補正し、補正した画像を通信ネットワークを通して送信し、モニタリング現場でその画像を表示するシステムによって達成される。 Furthermore, an image processing system that is another aspect of the present invention that solves the same object includes the image processing apparatus that is connected to each other through a communication network and that includes an information processing apparatus installed at a camera installation site. The image processing apparatus includes another information processing apparatus that remotely monitors an image transmitted from the image processing apparatus, and the image processing apparatus has the above-described configuration, and performs color correction based on the obtained color correction coefficient This is achieved by a system that corrects the color of the input image using a function, transmits the corrected image through a communication network, and displays the image at a monitoring site.
本発明によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置等を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
以下、本発明を実施する形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜第１の実施形態＞
本発明の第１の実施形態の構成について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の概要を示すブロック図である。
<First Embodiment>
The configuration of the first embodiment of the present invention will be described. FIG. 1 is a block diagram showing an outline of an image processing apparatus according to the first embodiment of the present invention.
本実施形態の画像処理装置１０の構成は、制御部１と、補正部２とからなる。
The configuration of the image processing apparatus 10 according to the present embodiment includes a
制御部１は、補正部２に接続する。制御部１は、入力画像１２に応じて、色補正係数１５を出力するとともに、その色補正係数１５を補正部２に渡す。
The
また、補正部２は、入力画像１２および色補正係数１５を入力するのに応じて、色補正結果画像１３を出力する。
The
なお、前処理部３は、予め、背景画像１１を撮影しておき、基準画像１４を制御部１に出力する。
Note that the
ここで、基準画像１４とは、前処理部３によって、背景画像１１を、色見本(不図示、以下同様)を用いて色補正した画像である。
Here, the reference image 14 is an image in which the background image 11 is color-corrected by the
また、背景画像１１とは、本画像処理装置１０によって撮影する入力画像１２を構成する背景領域である。 The background image 11 is a background region that constitutes the input image 12 photographed by the image processing apparatus 10.
また、色見本とは、例えば、色の標本を配列した板状の物体である。色見本は、特定照明環境下で、既知の値、つまり理想色の画素値を有する。 The color sample is, for example, a plate-like object in which color samples are arranged. The color sample has a known value, that is, a pixel value of an ideal color under a specific lighting environment.
また、色補正係数１５とは、入力画像１２をなす画素の画素値を、対応する位置にある基準画像１４をなす画素の画素値に近づける際に用いる係数である。
The
本実施形態の画像処理装置の動作について説明する。 The operation of the image processing apparatus of this embodiment will be described.
本画像処理装置１０の設置者は、本画像処理装置１０を設置する際に、前処理部３を用いて、任意の時刻の照明環境のもとで撮影した背景画像１１を、同じ条件で撮影した色見本を基準にして、色を補正することにより、基準画像１４を作成する。
When installing the image processing apparatus 10, the installer of the image processing apparatus 10 uses the
次に、制御部１は、前処理部３から、入手する基準画像１４をなす画素の画素値に応じて、複数の区画（不図示、以下同様）に分類する。
Next, the
次に、制御部１は、上述した複数の区画に分類した基準画像１４をなす画素を、分類した区画毎に、所定の個数ずつの画素を選択する。
Next, the
ここで、制御部１は、基準画像１４をなす画素の画素値に応じて分類した区画毎に、それぞれ決まった数の画素をランダムに選択するので、その選択した画素の座標を、実画像に写像すると、まったくランダムな座標となり、つまり分散されて選択されることになる。
Here, since the
なお、その区画の画素値の数が少なくて、決まった数に満たない場合は、予め決めた最低限の数の範囲で選択すればよい。 When the number of pixel values in the section is small and less than the predetermined number, it may be selected within a predetermined minimum number of ranges.
次に、制御部１は、前記選択した画素に対応する位置の、処理対象の背景画像を含む入力画像１２の画素の画素値を、選択した画素の画素値に近づけるように補正する色補正係数１５を求めるとともに、補正部２へ出力する。
Next, the
次に、補正部２は、その色補正係数１５を基にして、色補正関数（不図示、以下同様）を用いて入力画像１２を補正することにより、色補正結果画像１３を得る。
Next, the
なお、制御部１は、入力画像１２が含む、たとえば、カメラの撮像回路などからのノイズを含む画素や、画素値が飽和した画素もしくは、画素値が不足した画素などの不必要な画素を、予め入力画像１２から、図示していない除去部により除去してもよい。
The
すなわち、本実施形態に係る画像処理装置１０によれば、前処理部３が出力する、背景画像１１を基にした基準画像１４をなす画素を、その画素値に応じて分類した区画毎に、所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像１２の画素を色補正するための色補正係数１５を算出する。
That is, according to the image processing apparatus 10 according to the present embodiment, the pixels forming the reference image 14 based on the background image 11 output by the
その求めた色補正係数１５を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像１２に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。
By applying the color correction function using the obtained
言い換えると、本実施形態の画像処理装置１０は、多様な照明環境で撮影した入力画像１２を、予め基準画像１４をなす画素を分類した区画毎から、所定の個数の画素を選ぶことにより、対応する入力画像１２の画素を分散するように選ぶことができる。 In other words, the image processing apparatus 10 according to the present embodiment can cope with the input image 12 captured in various lighting environments by selecting a predetermined number of pixels from each section in which the pixels forming the reference image 14 are classified in advance. The pixels of the input image 12 to be selected can be selected to be distributed.
その選んだ基準画像１４をなす画素の画素値に近づけるように入力画像１２の色を補正するので、撮影した背景画像１１の色が偏っていたとしても、基準画像１４に近い色味を再現することができる。 Since the color of the input image 12 is corrected so as to be close to the pixel value of the pixel constituting the selected reference image 14, even if the color of the photographed background image 11 is biased, the color close to the reference image 14 is reproduced. be able to.
つまり、本実施形態に係る画像処理装置によれば、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供することができる。 That is, according to the image processing apparatus according to the present embodiment, it is possible to provide an image processing apparatus that reproduces a wide range of colors using various colors of the reference image based on the background image.
以上、本発明の第１の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。 The first embodiment of the present invention has been described above by taking the configuration and operation described above as examples. However, the present invention is not necessarily limited to the configuration and operation.
＜第２の実施形態＞
次に、第１の実施形態を基本とする本発明の第２の実施形態について図を参照して、詳細に説明する。図２Ａおよび図２Ｂは、第２の実施形態に係る画像処理装置の概要を示すブロック図である。図２Ａに示す本画像処理装置１００の構成は、分類画素抽出部１０１、色補正パラメタ算出部１０３を有する。
<Second Embodiment>
Next, a second embodiment of the present invention based on the first embodiment will be described in detail with reference to the drawings. 2A and 2B are block diagrams illustrating an overview of an image processing apparatus according to the second embodiment. The configuration of the
分類画素抽出部１０１は、色補正パラメタ算出部１０３に接続する。また、色補正パラメタ算出部１０３は、色補正部１０４に接続する。
The classified
また、図２Ｂに示す本画像処理装置１００の構成では、図２Ａに対して、色補正用画素候補抽出部１０２を追加している。そして色補正用画素候補抽出部１０２は、色補正パラメタ算出部１０３に接続する。
In the configuration of the
ここで、図１に示す、第１の実施形態に係る画像処理装置の概要を示すブロック図と対比すると、分類画素抽出部１０１、色補正用画素候補抽出部１０２および色補正パラメタ算出部１０３は、第１の実施形態における制御部１に対応する。
Here, when compared with the block diagram showing the outline of the image processing apparatus according to the first embodiment shown in FIG. 1, the classified
また、色補正部１０４は、第１の実施形態における補正部２に対応する。
The
さらに、基準色画像情報１１０を出力する前処理部３は、図１に示す、第１の実施形態における概略ブロック図の点線で囲んだ前処理部３に対応する。
Furthermore, the
ここで、図２Ａおよび図２Ｂに示す、基準色画像情報１１０（これを、基準画像と呼ぶこともできる）は、入力画像１２０を色補正する際の基準となる色の情報である。
Here, the reference color image information 110 (which can also be referred to as a reference image) shown in FIGS. 2A and 2B is information on a color that is a reference when the
これは、本画像処理装置の設置現場において、前処理部３で、背景画像と同じ条件のもとで撮影したカラーチャート（不図示、以下同様。これを色見本と呼ぶこともできる）を用いて、その背景画像をあらかじめ色補正することによって生成する、図示していない理想的な画像の画素を、その画素の座標と画素値で表した情報である。
This is done by using a color chart (not shown, the same applies hereinafter. This can also be called a color sample) taken by the
以下、本実施形態を構成する主要部分である前処理部３、分類画素抽出部１０１、色補正用画素候補抽出部１０２、および色補正パラメタ算出部１０３ならびに色補正部１０４について順次、説明する。
Hereinafter, the
まず、図３を用いて、前処理部３について、その構成および接続を説明する。
First, the configuration and connection of the
図３は、本発明の第２の実施形態に係る画像処理装置に適用可能な前処理部３の詳細を示すブロック図である。
FIG. 3 is a block diagram showing details of the
前処理部３は、ノイズ、画素値飽和および不足画素除去部２０１、カラーチャートによる色補正パラメタ算出部２０２、色補正部２０３、基準色画像情報抽出部２０４、エッジ算出部２１５、エッジヒストグラム算出部２０９、理想画像エッジヒストグラム情報蓄積部２０５とからなる。
The
背景画像２１０、カラーチャート画像２２０は、ノイズ、画素値飽和および不足画素除去部２０１に接続する。
The
ノイズ、画素値飽和および不足画素除去部２０１は、カラーチャートによる色補正パラメタ算出部２０２および色補正部２０３に接続する。
The noise, pixel value saturation and deficient
色補正部２０３は、カラーチャートによる色補正パラメタ算出部２０２からの色補正パラメタ２７０を受けるとともに、基準色画像情報抽出部２０４、およびエッジ算出部２１５に接続する。
The
エッジ算出部２１５は、エッジヒストグラム算出部２０９に接続する。エッジヒストグラム算出部２０９は、理想画像エッジヒストグラム情報蓄積部２０５に接続する。
The
次に、同じく図３を用いて、前処理部３の動作について説明する。
Next, the operation of the
基準色画像情報１１０の算出には、任意の時刻の照明環境のもとで、運用の際のアングルで撮影した背景画像２１０と、それと同じ条件で撮影した、カラーチャート画像２２０を用いる。
For the calculation of the reference
カラーチャート画像２２０は、特定光源下で調べた、理想的な画素値があらかじめ分かっている、特定の色からなる領域であるパッチを複数枚含むカラーチャートを撮影することにより得る。
The
なお、カメラの撮像回路などによって生ずる不要なごま塩状の点や、画像の輪郭部に生じる、ぎざぎざ状の模様（いわゆる、ジャギー。以下、同様）などのノイズ、画素値飽和（いわゆる、白とび。以下、同様）や画素値不足（いわゆる、黒つぶれ。以下、同様）などの画素をノイズ、画素値飽和および不足画素除去部２０１で除去する。これらの不要な画素の具体的な除去方法については、後述する。
It should be noted that noise such as unwanted sesame salt-like points generated by an image pickup circuit of a camera or a jagged pattern (so-called jaggy, the same applies hereinafter) generated in the image outline, pixel value saturation (so-called overexposed). The same applies to the following, and pixels having a pixel value shortage (so-called blackening, the same applies hereinafter) are removed by noise, pixel value saturation and the deficient
その後、カラーチャートによる色補正パラメタ算出部２０２は、カラーチャート画像２２０を手動もしくは、自動で識別することにより、カラーチャートの各パッチの色の値を抽出する。
After that, the color correction
そして、カラーチャートによる色補正パラメタ算出部２０２は、抽出した各パッチの画素値を、各パッチの理想的な画素値に近づけるような、色補正関数に与える色補正パラメタ２７０を求めるとともに出力する。
Then, the color correction
色補正部２０３は、カラーチャートを撮影したのと同じ条件で撮影した背景画像２１０を、上記で求めた色補正パラメタ２７０を適用して生成した、図示していない色補正関数で色補正することにより、理想画像２８０を求める。
The
そして、基準色画像情報抽出部２０４は、理想画像２８０の画素の座標とその画素値を示す基準色画像情報１１０を出力する。
Then, the reference color image
すなわち、背景画像２１０を、カラーチャート画像２２０を用いて色補正した、理想画像２８０は、基準色画像情報１１０を有する基準画像の基となる画像ということができる。
That is, the ideal image 280 obtained by color-correcting the
ここで、色補正関数は、たとえば、線形変換や非線形変換を用いてもよい。 Here, the color correction function may use, for example, linear conversion or non-linear conversion.
また、色補正パラメタ２７０は、カラーチャートによる色補正パラメタ算出部２０２で、上述の色補正関数を有する色補正行列、もしくは色補正テーブルによって与えられる。しかし、これらの変換方法に限定するわけではなく、他の方法を用いて変換してもよい。
The
また、色補正パラメタや、色補正関数は、撮影現場環境や、予め実験に基いて、確認された適切な変換方法と、それに基く適切なパラメタおよび関数とを用いる。 The color correction parameter and the color correction function use an appropriate conversion method and an appropriate parameter and function based on it, based on the shooting site environment and experiments in advance.
ここで、理想画像２８０は、さらに、エッジ算出部２１５によって図示していない理想画像のエッジ情報を抽出する。そして、エッジヒストグラム算出部２０９は、図示していない理想画像のエッジ情報を基に、エッジの強度と方向を示すエッジヒストグラムに分類するとともに、理想画像エッジヒストグラム情報２９５として抽出する。
Here, from the ideal image 280, edge information of the ideal image (not shown) is further extracted by the
得られた理想画像エッジヒストグラム情報２９５は、理想画像エッジヒストグラム情報蓄積部２０５に蓄積する。また、理想画像エッジヒストグラム情報蓄積部２０５のエッジヒストグラム情報は、後述する第４の実施形態で、入力画像１２０と、理想画像２８０のエッジヒストグラムの相関を抽出する、相関抽出部１２１３で用いる。
The obtained ideal image
なお、上述した撮影現場環境での初期設置の際の、前処理部３に示す背景画像２１０、カラーチャート画像２２０の画像の取り込みは、図示していない、カメラの切替え回路を用いて、通常運用の際に用いるカメラを切替えて使うものとする。
Note that the image of the
次に、ノイズ、画素値飽和および不足画素除去部２０１の動作について説明する。
Next, the operation of the noise, pixel value saturation and insufficient
背景画像２１０や、カラーチャート画像２２０に存在する、たとえば、カメラの撮像回路などからの、ごま塩状の点や、輪郭部分のぎざぎざ状の模様などのノイズを除去する例としては、画像の平滑化処理などがあるが、この方法に限定するものではなく、上述のようなノイズが除去できれば、他の手法を用いてもかまわない。
As an example of removing noises such as sesame salt-like dots and jagged patterns in outlines, which are present in the
また、画素値飽和、画素値不足の画素の除去方法については、ノイズ、画素値飽和および不足画素除去部２０１で、入力した背景画像２１０およびカラーチャート画像２２０の画素の画素値が、飽和している画素、あるいは不足している画素を検出し、その画素を予め除去する。
Also, regarding the pixel value saturation and pixel value deficient pixel removal method, the pixel values of the
ここで、飽和した画素とは、画素値がダイナミックレンジの最大値を有する画素のことであり、つまり、実空間上での値は、その最大値を超えていた可能性がある画素のことを指しており、有意な情報を有さない除去されるべき画素である。 Here, a saturated pixel is a pixel whose pixel value has the maximum value in the dynamic range, that is, a pixel whose value in real space may have exceeded the maximum value. A pixel to be removed that does not have significant information.
たとえば、ＲＧＢ（すなわち、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）色空間の場合で、各Ｒ、Ｇ、Ｂの値は、０〜２５５を取る際に、Ｒ、Ｇ、Ｂの要素の値のいずれかが２５５を超える画素は、画素値（つまりその要素の輝度値。以下、同様）を記録できず、画素の情報が飽和した可能性がある。反対に画素値が０の場合は、その画素値がない（不足している）ことを示す。 For example, in the case of an RGB (that is, Red, Green, Blue) color space, when each R, G, B value takes 0-255, any of the R, G, B element values is 255. The pixel value exceeding the pixel value (that is, the luminance value of the element; hereinafter the same) may not be recorded, and the pixel information may be saturated. On the contrary, when the pixel value is 0, it indicates that the pixel value does not exist (is insufficient).
そのため、以下の数式１に示すように、ある色空間の画素（座標と画素値との組）が、閾値Ｔｈ１から、Ｔｈ２の範囲に含まれる画素のみ、画素情報が飽和していない有意な情報の画素として抽出する。
Therefore, as shown in
ここで、ｃは、色空間における色の要素（例えば、ＲＧＢ色空間の場合、Ｒ、またはＧ、またはＢ)であり、ｘｙはその画素の座標を指す。 Here, c is a color element in the color space (for example, R, G, or B in the RGB color space), and xy indicates the coordinates of the pixel.
Ｔｈ１（ｃ）＜画素（ｘ、ｙ、ｃ）＜Ｔｈ２（ｃ） ・・・・・・（式１）、
たとえば、色空間が、ＲＧＢ空間の場合で、取り得る値のレンジが０〜２５５の場合、Ｔｈ１（ｃ）は、０より少し大きめの値、一方、Ｔｈ２（ｃ）は、２５５より少し小さめの値を設定するとよい。このように、実際のＲＧＢ色空間のダイナミックレンジよりも少し内側の値に閾値を設定するのは、ノイズなどによる画素値の変動要因を考慮するものである。
Th1 (c) <pixel (x, y, c) <Th2 (c) (Equation 1),
For example, when the color space is RGB space and the range of possible values is 0 to 255, Th1 (c) is a value slightly larger than 0, while Th2 (c) is slightly smaller than 255. A value should be set. As described above, the threshold value is set to a value slightly inside the dynamic range of the actual RGB color space in consideration of the variation factor of the pixel value due to noise or the like.
つまり、Ｒ、Ｇ、Ｂのいずれかの色で、たとえば、１１〜２４４の値をとる場合は、Ｔh１（ｃ）＝１０、Ｔh２（ｃ）＝２４５となり、式１により、その座標の色が取る画素値の範囲は、１０＜画素（ｘ、ｙ、ｃ）＜２４５となる。なお、この値は例であり、この値に限定しているわけではない。 In other words, when any of R, G, and B takes a value of 11 to 244, for example, Th1 (c) = 10 and Th2 (c) = 245. The range of pixel values to be taken is 10 <pixel (x, y, c) <245. This value is an example, and the value is not limited to this value.
また、画素値飽和、画素値不足の画素の除去は、上述の方法に限定するものではなく、予め画素値飽和、画素値不足の画素を除去できれば、他の手法を用いてもかまわない。 The removal of pixels with pixel value saturation and insufficient pixel values is not limited to the above-described method, and other methods may be used as long as pixels with pixel value saturation and insufficient pixel values can be removed in advance.
上述したような手法で、ノイズ、画素値飽和および画素値不足画素を除去することによって、背景画像情報２５０およびカラーチャート画像情報２６０を得る。
The
引き続き、図２Ａおよび図２Ｂに示す本実施形態の分類画素抽出部１０１の動作について説明する。
Next, the operation of the classified
分類画素抽出部１０１は、基準色画像情報１１０の画素値に応じて、画素をカテゴリ、すなわち区画毎に分類するとともに、各画素を、座標と画素値とからなる組として保持する。
The classified
そして、色補正パラメタ算出部１０３から入手した座標情報１４０と一致する分類画素抽出部１０１に保持された画素の座標と画素値とを、分類画素情報１５０として出力する。
Then, the pixel coordinates and the pixel values held in the classified
画素の画素値による分類方法としては、画素値がたとえばＲＧＢ色空間で表現される場合、ＲＧＢ空間をＲ、Ｇ、Ｂの各要素がとる値に応じて、一定の間隔で分割した領域のそれぞれの区画に、画素を分類する。即ち、画素は、それぞれの区画内に、ヒストグラムのような分類で仕分けられる。 As a classification method based on pixel values of pixels, when the pixel values are expressed in, for example, an RGB color space, each of the regions obtained by dividing the RGB space at regular intervals according to the values taken by the R, G, and B elements. The pixels are classified into the sections. That is, the pixels are sorted in each section by a classification like a histogram.
ただし、区画に分類する際の色空間や、分類方法は、必ずしも上述の方法に限定するものではなく、ＹＵＶ（ここで、Ｙは輝度信号、Ｕは青色成分の差分信号、Ｖは赤色成分の差分信号）などの他の色空間を用いて画素を分類してもよい。また、分類手法として、k-means法などのクラスタリング手法を用いて分類したクラスタを用いて動的にカテゴリを設定してもよいし、その他の分類手法を用いてもよい。 However, the color space and the classification method for classifying into sections are not necessarily limited to the above-described methods. YUV (where Y is a luminance signal, U is a difference signal of a blue component, and V is a red component) The pixels may be classified using another color space such as a difference signal. Moreover, as a classification method, a category may be set dynamically using a cluster classified using a clustering method such as the k-means method, or another classification method may be used.
引き続き、図２Ｂに示す本実施形態の色補正用画素候補抽出部１０２の動作について、図４を用いてさらに詳細に説明する。図４は、本発明の第２の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図の例である。
Next, the operation of the color correction pixel
色補正用画素候補抽出部１０２は、例えば、カメラの撮像回路などからのノイズが少なく、画素値が飽和、もしくは不足している画素を除いて、かつ、人物や物体などの前景物体がない画素は、色補正パラメタ情報１７０を算出する際に、誤差を抑えることができる安定的な画素と考え、その特徴を持つ画素を抽出することを目的とする。
The pixel
図４に示す、色補正用画素候補抽出部１０２の構成、接続について説明する。
The configuration and connection of the color correction pixel
色補正用画素候補抽出部１０２は、背景モデル記憶装置１２１４、情報飽和画素抽出部１２０１、背景モデル差分抽出部１２０２、画素変動値算出部１２０３、安定画素判定部１２０４から成る。
The color correction pixel
情報飽和画素抽出部１２０１は、画素変動値算出部１２０３、安定画素判定部１２０４に接続する。
The information saturated
また、背景モデル差分抽出部１２０２は、背景モデル記憶装置１２１４、画素変動値算出部１２０３、および安定画素判定１２０４に接続する。
The background model
次に、色補正用画素候補抽出部１０２の動作について説明する。
Next, the operation of the color correction pixel
図４に示す、色補正用画素候補抽出部１０２は、以下の３つの不安定な画素を除去することにより、安定な画素であり、色補正の候補となる、色補正用画素候補情報１６０を出力することを目的とする。
The color correction pixel
まず、情報飽和画素抽出部１２０１は、入力画像１２０を構成する背景領域の画素の画素値が飽和、もしくは不足している画素があれば、情報飽和画素を抽出し、情報飽和画素情報１２３０として安定画素判定部１２０４に出力する。
First, the information saturation
情報飽和画素の抽出手法については、図３にあるノイズ、画素値飽和および不足画素除去部２０１の画素値不足、画素値飽和除去と同じ機能を採用することができるので、本実施形態における説明は省略する。
Since the information saturation pixel extraction method can employ the same functions as the noise, pixel value saturation and pixel value deficiency and pixel value saturation removal of the pixel
次に、背景モデル差分抽出部１２０２は、入力画像１２０と、背景モデル記憶装置１２１４に蓄積された背景を示す背景モデル情報１２１０との差を算出し、この差分を背景モデル差分情報１２４０として、画素変動値算出部１２０３と、安定画素判定部１２０４に出力する。
Next, the background model
つまり、背景モデル差分抽出部１２０２は、入力画像１２０の背景領域と、背景モデル記憶装置１２１４が初期値として保持する背景モデル情報１２１０の座標とが、一致する入力画像１２０の画素との画素値差分に応じて、画素が背景であるか否かを、判定した判定結果と、その座標とを保持するとともに、背景モデル差分情報１２４０を算出する。
That is, the background model
また、背景差分モデル抽出部１２０２は、背景モデル画像が変化すれば、背景モデル記憶装置１２１４に蓄積された、背景モデルを背景モデル更新情報１２２０により更新する。
In addition, when the background model image changes, the background difference
なお、背景モデル情報１２１０による背景領域抽出の一例としては、入力画像と背景モデル画像の差分による背景領域抽出手法で求めた背景領域の画素値で判定する方法がある。
As an example of background area extraction based on the
また、背景モデル画像の更新方法の一例としては、上述のような方法で判定したのちに、背景モデル画像の画素値の重みづけ平均した結果を背景モデル画像の画素として更新する手法がある。 Further, as an example of a method for updating the background model image, there is a method of updating the result of weighted averaging of the pixel values of the background model image as the pixels of the background model image after the determination by the method as described above.
ただし、本発明は、背景画像か否かの判定方法や、背景画像が変化した場合の背景モデルの更新方法は、上述した手法に限定しているわけではなく、その他の背景領域を判定する手法と、背景モデル画像の更新方法の組み合わせでもかまわない。 However, according to the present invention, the method for determining whether or not the image is a background image and the method for updating the background model when the background image changes are not limited to the above-described methods, and a method for determining other background regions. Or a combination of background model image update methods.
さらに、画素変動値算出部１２０３は、情報飽和画素抽出部１２０１から出力する情報飽和画素情報１２３０と、背景モデル差分抽出部１２０２から出力する背景モデル差分情報１２４０とによって予め、それぞれ所定の閾値を越える画素を、入力画像１２０から除く。
Further, the pixel variation
そして、画素変動値算出部１２０３は、上記の不要な画素を除去したそれ以外の画素で構成する入力画像１２０の画素の座標と画素値を、所定の時間記録し、その記録した画素値の時間に対する変化を示す変動値を求める。
Then, the pixel variation
画素変動値算出部１２０３は、求めた変動値が、所定の値未満である画素を座標とともに記録した画素変動値情報１２５０を算出する。
The pixel variation
画素値の変動値算出手法としては、例えば分散などがあるが、この手法に限定しているわけではなく、その他の変動を示す指標でもよい。 The variation calculation method of the pixel value includes, for example, dispersion, but is not limited to this method, and may be an index indicating other variation.
つまり、画素変動値算出部１２０３は、情報飽和画素情報１２３０の画素値が飽和していない画素で、かつ、背景モデル差分情報１２４０の背景領域と判定された画素の座標と一致する、入力画像１２０の各画素の画素値を所定の時間、記録するとともに、その画素値の変動を示す数値（変動値）を算出する。
That is, the pixel variation
なお、所定の時間、画素値を記録する際に、ある画素が情報飽和画素情報１２３０、背景モデル差分情報１２４０のどちらかに含まれる画素として、除かれる頻度が高い場合、変動値の算出に用いる記録される画素数が少なくなる。 When a pixel value is recorded for a predetermined time, if a pixel is frequently excluded as a pixel included in either the information saturated pixel information 1230 or the background model difference information 1240, it is used to calculate a variation value. The number of recorded pixels is reduced.
そのため、記録される画素数が所定の個数以下の場合、その画素の変動値は算出しない。 Therefore, when the number of recorded pixels is equal to or less than the predetermined number, the variation value of the pixel is not calculated.
そして、各画素の座標と変動値、また、変動値を算出しない座標を、画素変動値情報１２５０として安定画素判定部１２０４に出力する。
Then, the coordinates and variation values of each pixel and the coordinates for which the variation values are not calculated are output to the stable
各画素値の変動値を示すには、所定の時間内の入力画像における各画素値の時間に対する変化を示す分散が利用できるが、この手法に限定するわけではなく、分散以外の変動値を算出する手法を用いても構わない。 In order to indicate the variation value of each pixel value, a variance indicating the change of each pixel value with respect to time in the input image within a predetermined time can be used, but this is not limited to this method, and a variation value other than the variance is calculated. You may use the technique to do.
次に、安定画素判定部１２０４は、情報飽和画素情報１２３０が有する画素の画素値が、飽和していないか、もしくは不足していない画素、または背景モデル差分情報１２４０が有する画素の判定が背景である画素、または画素変動値情報１２５０の変動値が所定の値以下の画素を、安定画素として抽出し、その座標と画素値を色補正用画素候補情報１６０として、色補正パラメタ算出部１０３に出力する。
Next, the stable
引き続き、本実施形態に示す色補正パラメタ算出部１０３および色補正部１０４の動作について、図２Ｂと、図５を用いて詳細に説明する。
Next, operations of the color correction
まず、図２Ｂに示す色補正パラメタ算出部１０３では、色補正用画素候補抽出部１０２の色補正用画素候補情報１６０、入力画像１２０、分類画素抽出部１０１の分類画素情報１５０を基に、色補正パラメタ情報１７０を算出する。
First, in the color correction
具体的には、色補正パラメタ算出部１０３は、分類画素情報１５０で、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を選択するとともに、その選択した座標に対応する、色補正用画素候補情報１６０に含まれる色補正に用いることが可能である画素の座標を抽出する。
Specifically, the color correction
その際に、選択する座標は、後述する座標情報１４０を用いて特定する。
At this time, the coordinates to be selected are specified using coordinate
もし、所定の個数を抽出できる画素が無い区画が存在する場合は、予め決めた、上述の所定の個数より少ない最低数以上の画素数があれば、その区画の画素を最低数以上抽出する。 If there is a partition having no pixels from which a predetermined number can be extracted, if there is a predetermined minimum number of pixels smaller than the predetermined number, the minimum number of pixels in the partition is extracted.
ここで、最低数とは、画像内の領域が非常に小さく、色補正に用いるには画素数が少ないと判断するために用いる値である。 Here, the minimum number is a value used for determining that the area in the image is very small and that the number of pixels is small for use in color correction.
続いて、色補正パラメタ算出部１０３は、図示していない、後段の色補正関数に与える色補正パラメタ情報１７０を算出するとともに、色補正部１０４に出力する。
Subsequently, the color correction
色補正部１０４では、色補正パラメタ算出部１０３から得た色補正パラメタ情報１７０を設定した、図示していない色補正関数を用いて入力画像１２０の領域の色補正を行うとともに、色補正結果画像１３０として出力する。
The
なお、色補正パラメタ算出方法は、図３に示す前処理部３で、カラーチャートによる色補正パラメタ算出部２０３で、色補正パラメタ２７０を算出する方法と同様であるので、本実施形態での説明は省略する。
The color correction parameter calculation method is the same as the method for calculating the
引き続き、本実施形態に示す色補正パラメタ算出部１０３の動作について、図５を用いて、さらに詳しく説明する。
Subsequently, the operation of the color correction
図５は、本発明の第２の実施形態に係る画像処理装置の色補正パラメタ算出部の詳細を示すブロック図である。 FIG. 5 is a block diagram showing details of the color correction parameter calculation unit of the image processing apparatus according to the second embodiment of the present invention.
色補正パラメタ算出部１０３は、色補正パラメタ推定用画素情報選択部４０１と色補正パラメタ算出部４０２からなる。色補正パラメタ推定用画素情報選択部４０１は、色補正用パラメタ算出部４０２に接続する。
The color correction
色補正パラメタ推定用画素情報選択部４０１は、分類画素情報１５０にある、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を座標情報１４０で指定することにより選択するとともに、対応する安定画素の座標である、色補正用画素候補情報１６０の画素を選択し、その選択した座標と画素値とを選択画素情報４１０として、色補正用パラメタ算出部４０２に渡す。
The color correction parameter estimation pixel
色補正用パラメタ推定用画素選択部４０１での画素の選択手法の別の例として、あらかじめ入力画像１２０を構成する画素に対して、ブロック（たとえば、入力画像に対して、横方向がＭ画素、縦方向がＮ画素）で分割した際のサイズを色補正用パラメタ推定用画素選択部４０１に設定しておく。
As another example of the pixel selection method in the color correction parameter estimation
そして各ブロックの範囲毎に、画素値によって分類した区画内で、かつ、安定な画素をランダムに抽出する方法がある。 There is a method of randomly extracting stable pixels within a section classified by pixel values for each block range.
また、他の例としては、画像上のランダムな座標を設定し、その座標から所定の範囲に含まれる各区画の画素で、かつ、安定な画素を抽出する方法などが考えられる。 Another example is a method in which random coordinates on an image are set, and stable pixels are extracted from the pixels in each section included in a predetermined range.
ただし、本発明は、色補正の対象である色補正用候補画素の選択方法を、上述した手法に限定しているわけではなく、分類した各区画の画素を選択することにより、対応する実画像の座標を分散するように選択できる手法であれば、その他の手法でもかまわない。 However, the present invention does not limit the method for selecting candidate pixels for color correction to be subjected to color correction to the above-described method, and the corresponding actual image can be selected by selecting the classified pixels in each section. Any other method may be used as long as it can be selected so as to distribute the coordinates.
各区画の画素を所定の個数分を集めることができない場合、その区画に含まれる画素は、色補正には利用せず、選択画素情報４１０として出力しない。 When a predetermined number of pixels in each section cannot be collected, the pixels included in the section are not used for color correction and are not output as the selected pixel information 410.
色補正用パラメタ算出部４０２は、選択画素情報４１０の画素とその画素と同一座標にある入力画像１２０の画素値を用いて、色補正関数の色補正パラメタを算出し、色補正パラメタ情報１７０として色補正部１０４に出力する。
The color correction
なお、図２Ａおよび図２Ｂに示す色補正部１０４は、色補正パラメタ情報１７０を用いる図示していない色補正関数として、前処理部３で述べたのと同様に、たとえば線形変換や、非線形変換などの関数を用いる。また、色補正パラメタはそれらの関数に対応したものであればよい。しかしこれらの手法に限定しているわけではなく、他の手法を用いてもかまわない。
2A and 2B is a color correction function (not shown) that uses the color
次に、以上に述べた本実施形態の構成、接続、動作について、図２Ａおよび図２Ｂ、図３、図４、図５およびフローチャートを用いて説明する。 Next, the configuration, connection, and operation of the above-described embodiment will be described with reference to FIGS. 2A and 2B, FIGS. 3, 4, 5, and a flowchart.
図６は、本発明の第２の実施形態に係る画像処理装置の制御フローを示すフローチャートである。 FIG. 6 is a flowchart showing a control flow of the image processing apparatus according to the second embodiment of the present invention.
まず始めに、図３に示す、本実施形態の画像処理装置１００の前処理部３は、背景を撮影した画像と、それと同じ撮影条件（つまり、同じ時刻および同じ撮影アングル）で、カラーチャートを撮影した画像を用意する。
First, the
そして、図３に示す、カラーチャートによる色補正パラメタ算出部２０２は、撮影したカラーチャート画像２２０の画素値と、その公開されている理想的な画素値を比較することにより、色補正関数に与える色補正パラメタ２７０を算出する。
Then, the color correction
そして、図３に示す、色補正部２０３は、背景画像２１０から、ノイズや画素値が飽和した画素もしくは不足する画素を除いたあとの、背景画像情報２５０と、色補正パラメタ２７０を用いて、理想画像２８０を出力することにより、背景画像２１０をあらかじめ色補正しておく。
Then, the
なお、この作業は、本画像処理装置１００の設置者が、現場に本画像処理装置１００を設置する際に、手動もしくは自動により行う初期設定である。
This work is an initial setting that is manually or automatically performed when the installer of the
そして、図３に示す、基準色画像情報抽出部２０４は、理想画像２８０の画素の座標と画素値を、基準色画像情報１１０として出力する（ステップＳ１００１）。
Then, the reference color image
次に、図２Ａおよび図２Ｂに示す分類画素抽出部１０１は、基準色画像情報１１０に含まれる画素を画素値に応じて、複数の区画に分類する。その分類結果を分類画素情報１５０として出力する（ステップＳ１００２）。
Next, the classified
基準色画像情報１１０の分類方法は、本実施形態で述べた分類画素抽出部１０１の画素の分類方法を用いる。
As the classification method of the reference
次に、図４に示す、情報飽和画素抽出部１２０１は、情報飽和画素を、入力画像１２０の画素から抽出するとともに、情報飽和画素情報１２３０を出力する（ステップＳ１００３）。
Next, the information saturation
なお、情報飽和画素には、画素値が飽和した画素の他に、画素値が、照明の明るさが不足することにより不足した画素も含む。 Note that the information saturation pixel includes not only a pixel whose pixel value is saturated but also a pixel whose pixel value is insufficient due to insufficient illumination brightness.
次に、図４に示す背景モデル差分抽出部１２０２は、入力画像１２０の背景領域と、背景モデル記憶装置１２１４に記憶した背景モデル情報１２１０の座標が一致する入力画像１２０の画素との画素値差分に応じて、その画素が、背景であるか否かを判定する。
Next, the background model
背景モデル差分抽出部１２０２は、その判定結果と、その座標を背景モデル差分情報１２４０として出力する。（ステップＳ１００４）。
The background model
次に、図４に示す画素変動値算出部１２０３は、ステップＳ１００３で求めた情報飽和画素および、ステップＳ１００４で求めた背景モデル差分情報１２４０の背景領域ではないと判定する画素の座標を除いた、入力画像１２０の各画素の座標と画素値を所定の時間記録する。
Next, the pixel variation
そして、画素変動値算出部１２０３は、その記録した画素値の時間変化を示す変動値を求め、その変動値が所定の値未満である画素を、座標と画素値とともに、記録した画素変動値情報１２５０を抽出するとともに出力する（ステップＳ１００５）。
Then, the pixel fluctuation
次に、図４に示す、色補正用画素候補抽出部１０２の安定画素抽出部１２０４は、ステップ１００３の情報飽和画素情報１２３０の画素と、ステップＳ１００４の背景モデル差分情報１２４０にある背景画像ではないと判定する画素と、ステップＳ１００５の画素変動値情報１２５０の変動値が所定の値以下の画素とを除去する。
Next, the stable
そして、色補正用画素候補抽出部１０２の安定画素抽出部１２０４は、その画素の座標と画素値を、色補正用画素候補情報１６０として抽出するとともに出力する（ステップＳ１００６）。
Then, the stable
次に、図５に示す、色補正パラメタ算出部１０３の色補正パラメタ推定用画素情報選択部４０１は、ステップＳ１００２にて、図２Ａおよび図２Ｂに示す、分類画素抽出部１０１が、出力する分類画素情報１５０の分類した各区画のそれぞれから、所定の個数の画素を、座標情報１４０を指定することによって、選択するとともに、その選択した画素の位置に対応する、色補正用画素候補情報１６０の画素を選択する。
Next, the color correction parameter estimation pixel
その選択した画素を選択画素情報４１０として、色補正用パラメタ算出部４０２に出力する（ステップＳ１００７）。
The selected pixel is output to the color correction
次に、図５に示す、色補正パラメタ算出部１０３の、色補正用パラメタ算出部４０２は、ステップＳ１００７にて抽出した選択画素情報４１０の画素と、その座標に対応する入力画像１２０の画素値を基に、色補正関数に与える色補正パラメタ情報１７０を算出するとともに出力する（ステップＳ１００８）。
Next, the color correction
最後に、図２Ａおよび図２Ｂに示す色補正部１０４は、色補正パラメタ情報１７０を設定した、図示していない色補正関数に入力画像１２０を与え、入力画像１２０の領域を色補正するとともに、色補正した画像の座標と画素値とからなる色補正結果画像１３０を出力する（ステップＳ１００９）。
Finally, the
なお、入力画像１２０の画素に、不要な画素である、画素値が飽和するかもしくは不足する画素、入力画像１２０と、その背景領域の差分から背景領域ではないと判断する画素、および、入力画像１２０からそれらを除いた画素の単位時間あたりの変動値が所定の閾値を越える画素がなければ、予め入力画像１２０から除去する必要はなく、そのまま入力画像１２０を対象として色補正パラメタを算出してもよい。
Note that the pixel of the
その場合、図６に示す、ステップＳ１００３乃至ステップＳ１００６は省略することができる。 In that case, steps S1003 to S1006 shown in FIG. 6 can be omitted.
また、図２Ｂに示す、色補正用画素候補抽出部１０２の図４に示す、情報飽和画素抽出部１２０１、背景モデル差分抽出部１２０２、画素変動値算出部１２０３、安定画素判定部１２０４は、用いない。また、それにともなって、図５に示す、色補正用画素候補情報１６０は用いない。つまり、図２Ａに示す構成を用いてもよい。
Further, the information saturation
すなわち、本実施形態に係る画像処理装置によれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。 That is, according to the image processing apparatus according to the present embodiment, the reference color image information that is the coordinates and pixel values of the pixels of the reference image obtained by color-correcting the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section, and a color correction coefficient for correcting the color of the corresponding pixel of the input image is calculated based on the selected pixels.
そして、本実施形態に係る画像処理装置によれば、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。 Then, according to the image processing apparatus according to the present embodiment, by applying the color correction function using the obtained color correction coefficient to the input image including the background image to be processed, the A wide range of colors can be corrected, and the effect of improving the color reproducibility can be achieved.
また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデルと入力画像の画素の画素値の差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素とを、予め入力画素から除いてから、上述の色補正を行うことにより、多様な時刻の照明環境で撮影した入力画像であっても、より基準画像に近い色味を再現することができる。 At that time, the information saturation pixel, which is an unnecessary pixel included in the corresponding pixel of the input image, a pixel having a large difference in pixel value between the background model and the pixel of the input image, and the above-mentioned per unit time An input image taken in various lighting environments by performing the above-described color correction after previously removing a pixel having a large variation value of the remaining pixel from which the pixel is removed from the input image, from the input pixel. However, it is possible to reproduce a color closer to the reference image.
言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。 In other words, the image processing apparatus according to the present embodiment selects a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments. In addition to selecting the pixels to be dispersed, a color correction parameter is calculated so that the pixels obtained by excluding unnecessary pixels from the input image are brought close to the pixels of the selected reference image.
その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。 Since the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces the color close to the reference image, which is less biased to the color of the background image and less affected by external light. be able to.
つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することができる。 That is, according to the image processing apparatus according to the present embodiment, it is possible to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
以上、本発明の第２の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。 As described above, the configuration and operation described above have been described as examples of the second embodiment of the present invention, but the present invention is not necessarily limited to such configuration and operation.
＜第３の実施形態＞
次に、第２の実施形態を基本とした変形例である、第３の実施形態について説明する。
<Third Embodiment>
Next, a third embodiment, which is a modification based on the second embodiment, will be described.
図７は、本発明の第３の実施形態に係る画像処理装置に適用可能な色補正用画素候補抽出部を示すブロック図である。 FIG. 7 is a block diagram showing a color correction pixel candidate extraction unit applicable to the image processing apparatus according to the third embodiment of the present invention.
本実施形態では、第２の実施形態の図２Ｂに示す色補正用画素候補抽出部１０２に、予め除去すべき不安定な画素を除去するための処理として、照明が変動することにより画素値が変動しやすい、たとえば画像の輪郭部分を抽出するエッジ算出部１２０５と、背景画像の前面に重なる、たとえば前景画像を抽出する前景物体検出部１２０６を加えた点が異なる。
In the present embodiment, as a process for removing unstable pixels to be removed in advance in the color correction pixel
ここで、前景物体とは、入力画像の中で、背景画像より前面に存在する人や物などの物体と定義する。 Here, the foreground object is defined as an object such as a person or object existing in front of the background image in the input image.
このため、以下の説明においては、本実施形態の応用例に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２の実施形態と同様な構成についての重複する説明は省略する。 For this reason, in the following description, it demonstrates in detail focusing on the characteristic part which concerns on the application example of this embodiment, and the overlapping description about the structure similar to 2nd Embodiment mentioned above is abbreviate | omitted.
エッジ算出部１２０５、前景物体認識抽出部１２０６は、安定画素判定部１２０７に接続する。背景モデル記憶装置１２１４は、背景モデル差分抽出部１２０２に接続する。
The
エッジ算出部１２０５は、画素値の変動が一般的に大きいエッジ成分を除いた安定画素を抽出するためにエッジ成分を算出する。
The
すなわち、エッジ算出部１２０５は、入力画像１２０から、エッジ成分を抽出し、エッジの強度が所定の閾値以上の画素を、エッジ強度、方向および、その座標とを組みにした、エッジ情報１２４５として、安定画素判定部１２０７に出力する。
That is, the
エッジ抽出手法としては、例えば、一次微分フィルタや、Ｓｏｂｅｌフィルタ、２次微分フィルタ（Ｌａｐｌａｃｉａｎフィルタなど）、Ｃａｎｎｙフィルタなどがあるが、これらに限定するわけではなく、その他のエッジ抽出手法を利用してもかまわない。 Examples of the edge extraction method include a first-order differential filter, a Sobel filter, a second-order differential filter (such as a Laplacian filter), and a Canny filter. However, the edge extraction method is not limited to these, and other edge extraction methods are used. It doesn't matter.
また、前景物体検出抽出部１２０６は、入力画像１２０の背景領域を隠してしまう可能性が高い物体（前景領域）を、物体検出技術を用いて検出するとともに、安定画素判定部１２０７で除去する。
The foreground object detection /
例えば、入力画像１２０から画像特徴量を抽出し、あらかじめ用意した前景領域の画像特徴量と比較し、画像特徴量同士が類似する領域を前景領域として抽出する。
For example, an image feature amount is extracted from the
前景物体検出抽出部１２０６は、抽出した前景領域の座標とその画素値を物体抽出情報１２４６として安定画素判定部１２０７に出力する。物体検出技術の例としては、例えば、顔検出や頭部検出、人物検出などの検出技術がある。
The foreground object
これらの検出技術は、Ｈａａｒ−ｌｉｋｅ特徴量と、ＡｄａＢｏｏｓｔなどの学習アルゴリズムを利用した顔や頭部検出および、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）と学習アルゴリズムを利用した人物抽出など、たとえば輝度勾配、輝度差などの特徴量に着目するとともに学習する手法があるが、これらの手法に限定するわけではなく、その他の手法でもかまわない。 These detection techniques include Haar-like features, face and head detection using learning algorithms such as AdaBoost, and person extraction using HOG (Histograms of Oriented Gradients) and learning algorithms. There are techniques for learning while focusing on feature quantities such as differences, but the present invention is not limited to these techniques, and other techniques may be used.
安定画素判定部１２０７は、図４に示す安定画素判定部１２０４と同じ方法で、安定画素を算出するが、その際に、エッジ情報１２４５である、エッジ強度が、所定の値以上の画素と、物体抽出情報１２４６が示す前傾物体の画素とをさらに除いた画素を安定画素とし、かかる安定画素を色補正用画素候補情報１６０として出力する。
The stable
すなわち、本実施形態に係る画像処理装置によれば、カラーチャートを用いて背景画像を色補正することによって得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。 That is, according to the image processing apparatus according to the present embodiment, the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by performing color correction on the background image using the color chart is determined according to the pixel value. Then, a predetermined number of pixels are selected for each partition, and a color correction coefficient for correcting the color of the corresponding pixel of the input image is calculated based on the selected pixel.
そして、本実施形態に係る画像処理装置によれば、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。 Then, according to the image processing apparatus according to the present embodiment, by applying the color correction function using the obtained color correction coefficient to the input image including the background image to be processed, the A wide range of colors can be corrected, and the effect of improving the color reproducibility can be achieved.
また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素を予め入力画素から除いてから、上述の色補正を行う。 At that time, the information saturation pixel, which is an unnecessary pixel included in the corresponding pixel of the input image, a pixel with a large background model difference, and the remaining pixels obtained by excluding the above-mentioned pixels per unit time from the input pixel The pixel having a large variation value of the pixel is previously removed from the input pixel, and then the above-described color correction is performed.
さらに、上記に加えてエッジ強度が所定の値より大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を、予め入力画素から除いてから、上述の色補正を行う。 Furthermore, in addition to the above, pixels whose edge strength is greater than a predetermined value and pixels whose image feature amount of the foreground object of the input image approximates the feature amount prepared in advance are excluded from the input pixel in advance, and then the color correction described above is performed. I do.
これにより、本実施形態によれば、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。 Thus, according to the present embodiment, the input image is captured in various illumination environments at various times, and the image is closer to the reference image even if there is illumination variation or foreground object overlap in the image. Can be reproduced.
言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。 In other words, the image processing apparatus according to the present embodiment selects a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments. In addition to selecting the pixels to be dispersed, a color correction parameter is calculated so that the pixels obtained by excluding unnecessary pixels from the input image are brought close to the pixels of the selected reference image.
その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外乱の影響を受けにくい、基準画像に忠実な色味を再現することができる。 Since the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces the color faithful to the reference image that is not biased to the color of the background image and is not easily affected by disturbance. be able to.
つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。 That is, according to the image processing apparatus according to the present embodiment, it is possible to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
以上、本発明の第３の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。 As described above, the configuration and operation described above have been described as examples as the third embodiment of the present invention, but the present invention is not necessarily limited to such configuration and operation.
＜第４の実施形態＞
次に、第２および第３の実施形態を基本とする第４の実施形態について説明する。図８は、第４の実施形態に係る画像処理装置の概要を示すブロック図である。
<Fourth Embodiment>
Next, a fourth embodiment based on the second and third embodiments will be described. FIG. 8 is a block diagram illustrating an overview of an image processing apparatus according to the fourth embodiment.
本実施形態は、図２Ｂに示す画像処理装置１００に、照明変動時に対するさらに頑健な色補正を可能とする機能を追加している。
In the present embodiment, the
そのために、色補正部１０７を含み、その色補正部１０７から色補正結果情報１８０を取り出して、色補正用画素候補抽出部１０６へ反映している点が異なる。
Therefore, the
このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２および第３の実施形態と同様な構成についての重複する説明は省略する。 For this reason, in the following description, it demonstrates in detail focusing on the characteristic part which concerns on this embodiment, and the overlapping description about the structure similar to the 2nd and 3rd embodiment mentioned above is abbreviate | omitted.
図８に示す、画像処理装置１００は、分類画素抽出部１０８、色補正用画素抽出部１０６、色補正パラメタ算出部１０５、色補正部１０７を含む。
The
図２Ｂに示す接続に加えて、図８に示す色補正部１０７は、色補正用画素候補抽出部１０６に接続している。
In addition to the connections shown in FIG. 2B, the
図８に示す、画像処理装置１００が有する色補正用画素候補抽出部１０６は、図２Ｂに示す機能に加え、背景領域の差分抽出などに影響がでるほどの照明変動が起きているかを、現在の色補正結果である、色補正結果情報１８０と、基準色画像情報１１０と、次の入力画像である入力画像１２０とを基に判定し、その判定結果に基いて、後述する安定画素の抽出方法を変更する。
The color correction pixel
安定画素抽出手法方法については、後述する図９に示す、安定画素判定部１２１２にて説明する。
The stable pixel extraction method method will be described in the stable
色補正部１０７は、図２Ｂに示す機能に加え、入力画像１２０を色補正した色補正結果画像１３０の画素の座標と画素値に含まれる、色補正結果情報１８０を、色補正用画素候補抽出部１０６に出力する。色補正結果情報１８０に含まれる画素は、色補正に用いられる可能性がある画素のみでよく、色補正結果画像１３０の一部の画素でよい。
In addition to the functions shown in FIG. 2B, the
例えば、色補正結果情報１８０に含まれる画素は、分類画素抽出部１０８に蓄積された画素と同じ座標の画素でよく、その場合、分類画素抽出部１０８から分類画素情報１５０の画素の位置情報を、図示していない経路を通して得るものとする。
For example, the pixels included in the color correction result
また、色補正結果情報１８０に含まれる画素は、色補正に用いる背景領域をあらかじめ色補正用画素候補情報１６０に、設定しておく場合、その設定領域の画素のみとしてもよい。
Further, the pixels included in the color correction result
次に、図９は、本発明の第４の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。 Next, FIG. 9 is a block diagram showing details of the color correction pixel candidate extraction unit of the image processing apparatus according to the fourth embodiment of the present invention.
図９に示す色補正用画素候補抽出部１０６は、図７に示す色補正用画素候補抽出部１０２に、照明変動対応画素抽出部１２１１、補正画像差分抽出部１２０８、入力画像１２０のエッジ算出部１２１５、エッジヒストグラム算出部１２０９および相関抽出部１２１３を加えている点が異なる。
The color correction pixel
これにより、照明変動時に、背景領域抽出が困難になることに対して、照明変動を検知することにより、入力画像１２０と、色補正結果情報１８０、図９に図示していない理想画像２８０のエッジ相関を用いて、色補正に適用することができる安定な背景領域の画素を抽出するとともに、図８に示す、色補正用画素候補情報１６０を用いて、色補正パラメタ情報１７０を算出することによって、入力画像の色補正を頑健に行うことができる。
As a result, it becomes difficult to extract the background region when the illumination changes, and by detecting the illumination change, the
なお、図９に含まれる図７および、図８と同じ番号のブロックは同じ機能を持つため、本実施形態における説明を省略する。また、各機能のブロック間の接続について説明する。 In addition, since the block of the same number as FIG. 7 and FIG. 8 contained in FIG. 9 has the same function, description in this embodiment is abbreviate | omitted. The connection between the blocks of each function will be described.
色補正用画素候補抽出部１０６は、情報飽和画素抽出部１２０１、背景モデル差分抽出部１２０２、画素変動値算出部１２０３、エッジ算出部１２１５、エッジヒストグラム算出部１２０９、相関抽出部１２１３、照明変動対応画素抽出部１２１１、安定画素判定部１２１２、補正画像差分抽出部１２０８、背景モデル記憶装置１２１４とを含む。
The color correction pixel
情報飽和画素抽出部１２０１は、画素変動値算出部１２０３、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続する。
The information saturated
背景モデル差分抽出部１２０２は、画素変動値算出部１２０３、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続する。
The background model
画素変動値算出部１２０３は、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続する。
The pixel variation
エッジ算出部１２１５は、エッジヒストグラム算出部１２０９、および安定画素判定部１２１２に接続する。
The
エッジヒストグラム算出部１２０９は、相関抽出部１２１３に接続する。
The edge
相関抽出部１２１３は、安定画素判定部１２１２に接続する。
The
背景モデル記憶装置１２１４は、背景モデル差分抽出部１２０２に接続する。
The background
照明変動対応画素抽出部１２１１は、補正画像差分抽出部１２０８、エッジ算出部１２１５、安定画素判定部１２１２に接続する。
The illumination variation corresponding
補正画像差分抽出部１２０８は、背景モデル記憶装置１２１４、背景モデル差分抽出部１２０２、安定画素判定部１２１２に接続する。
The corrected image
前景物体検出部１２０６は、安定画素判定部１２１２に接続する。
The foreground
次に、本実施形態における色補正用画素候補抽出部１０６の動作について説明する。
Next, the operation of the color correction pixel
照明変動対応画素抽出部１２１１は、入力画像１２０を構成する背景領域と、背景モデル情報１２１０との座標が、一致する入力画像１２０の画像との画素値差分に応じて、画素が背景であるか否かを、判定した判定結果と、その座標とを保持する背景モデル差分情報１２７０に影響がある照明変動が起きているか否かを、後述の方法で判定する。
The illumination variation corresponding
その判定した結果を、照明変動情報１２６５として、補正画像差分抽出部１２０８、安定画素判定部１２１２、エッジ算出部１２１５に出力する。
The determination result is output as the illumination variation information 1265 to the corrected image
背景モデル画像の差分抽出に影響がある照明変動が発生しているかの判定は、全画素から情報飽和画素を除いた画素数に、背景モデル差分情報１２７０における、入力画像１２０の背景領域との画素値差分が、所定の閾値以上、生じている画素数がどのくらい含まれているかの割合によって判定する。
The determination as to whether or not the illumination fluctuation that affects the difference extraction of the background model image has occurred is made by determining the number of pixels from the background model difference information 1270 and the number of pixels with the background region of the
その割合が高い場合、照明変動が起きていると判定するとともに、その判定結果を照明変動情報１２６５として出力する。 When the ratio is high, it is determined that illumination variation has occurred, and the determination result is output as illumination variation information 1265.
また、照明変動情報１２６５は、照明変動発生時ではなく、照明変動発生後、その変動が安定したタイミングで出力する。 Also, the illumination variation information 1265 is output at a timing when the variation is stable after the illumination variation occurs, not when the illumination variation occurs.
つまり、画素変動値算出部１２０３の画素変動値情報１２７５の画素値の変動値の大きさが、所定の値以下の場合、照明変動が発生した後に、その照明変動が落ち着いたタイミングと判定し、照明変動対応画素抽出部１２１１は、照明変動情報１２６５を出力する。
That is, if the magnitude of the fluctuation value of the pixel value of the pixel fluctuation value information 1275 of the pixel fluctuation
また、補正画像差分抽出部１２０８は、照明変動情報１２６５により、照明変動が発生したという判定を受け取った場合、現在の入力画像１２０が色補正された色補正結果情報１８０と、基準色画像情報１１０の画素の画素値の差分を抽出し、その画素値差分が、所定の値以下の画素の座標と画素値を、補正画像差分情報１２６０として、安定画素判定部１２１２に出力する。
When the correction image
補正差分抽出方法は、例えば、背景差分のように同じ座標の画素値の差を利用してもよい。しかし、この手法に限定するわけではなく、その他の差分を算出する手法を利用してもよい。 The correction difference extraction method may use, for example, a difference between pixel values at the same coordinates such as a background difference. However, the method is not limited to this method, and other methods for calculating a difference may be used.
また、補正画像差分抽出部１２０８は、色補正結果情報１８０と、基準色画像情報１１０との差分抽出の際、差分値が所定の値以下である画素の座標と、その座標に対応する入力画像１２０の画素値に基づいて、背景モデル更新情報１２５５を作成し、背景モデル記憶装置１２１４の背景モデル画像を更新する。
Further, the correction image
背景モデル画像の更新方法は、第２の実施形態の色補正用画素候補抽出理部１０２で説明した、背景モデル画像の更新方法を利用することができる。
As the background model image update method, the background model image update method described in the color correction pixel
一方で、照明変動情報１２６５が、背景モデル画像の差分抽出に影響がある照明変動が発生していないという判定である場合、安定画素判定部１２１２に補正画像差分情報１２６０を出力しないか、または、色補正結果情報１８０と、基準色画像情報１１０との差分をとっていない色補正結果情報１８０を、補正画像差分情報１２６０として出力する。
On the other hand, when the illumination variation information 1265 is a determination that the illumination variation that affects the difference extraction of the background model image has not occurred, the corrected image difference information 1260 is not output to the stable
また、エッジ算出部１２１５は、図７に示すエッジ算出部１２０５と同じ手法でエッジ算出を行い、エッジ情報１２８０を安定画素判定部１２１２に出力する。ただし、エッジヒストグラム算出部１２０９でエッジヒストグラム情報１２８５を算出する必要があるため、少なくとも２方向のエッジを抽出する。
Further, the
エッジ情報１２８０の出力先は、照明変動情報１２６５の内容によって変化する。照明変動情報１２６５により照明変動が発生しているという判定を受けた場合、エッジヒストグラム算出部１２０９および、安定画素判定理部１２１２の両方にエッジ情報１２８０を出力する。
The output destination of the edge information 1280 varies depending on the content of the illumination variation information 1265. When it is determined that the illumination variation has occurred based on the illumination variation information 1265, the edge information 1280 is output to both the edge
また、照明変動が発生していないという判定を受けた場合、エッジヒストグラム算出部１２０９にのみエッジ情報１２８０を出力する。
Further, when it is determined that no illumination variation has occurred, the edge information 1280 is output only to the edge
ここで、エッジヒストグラム算出部１２０９は、たとえば特定サイズで分割したブロックを算出し、各ブロックに含まれる各エッジ方向の頻度を算出することにより、エッジ方向をヒストグラムの区画（つまり、ビン）にした、エッジヒストグラムを作成する。
Here, the edge
そして、エッジヒストグラム算出部１２０９は、各ブロックのエッジヒストグラムをエッジヒストグラム情報１２８５として、相関抽出部１２１３に出力する。
Then, the edge
なお、エッジヒストグラムの算出方法として、例えば、複数の方向でのエッジ成分をエッジ算出部（図３に示す２１５や図９に示す１２１５）で算出しておき、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。 As an edge histogram calculation method, for example, edge components in a plurality of directions are calculated by an edge calculation unit (215 shown in FIG. 3 or 1215 shown in FIG. 9), and edges in each direction included in each block are calculated. There is a method of creating an edge histogram from the frequency of components.
その他に、縦横２方向のエッジ成分をエッジ算出部２１５や１２１５で算出し、各画素の横方向のエッジの強度を縦方向のエッジ強度で割り、そのアークタンジェント（ａｒｃｔａｎ（ｘ）すなわち、ｔａｎ（ｘ）の逆関数；xは、たとえば、各画素の横方向のエッジの強度を縦方向のエッジ強度で除算した値）の値をエッジ方向とし、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。
In addition, edge components in two vertical and horizontal directions are calculated by the
なお、これらの手法に限定するわけではなく、これ以外のエッジヒストグラムを算出する手法を用いてもよい。 Note that the present invention is not limited to these methods, and other methods for calculating edge histograms may be used.
相関抽出部１２１３は、入力画像１２０から求めたエッジヒストグラム情報１２８５と、図９には図示していない、図３に示す前処理部３の説明で、基準色画像情報１１０を求める際に用いた、理想画像から求めた理想画像エッジヒストグラム情報２９５との相関を求めるとともに、相関情報１２９０として安定画素判定部１２１２に出力する。
The
そして、安定画素判定部１２１２は、照明変動情報１２６５の内容により、安定画素の作成方法を変更する。
Then, the stable
安定画素判定部１２１２は、照明変動情報１２６５が、照明変動が発生していないという判定である場合、図４に示す安定画素判定部１２０４と同様の方法で、色補正用画素候補情報１６０を算出するとともに出力する。
When the illumination variation information 1265 indicates that no illumination variation has occurred, the stable
一方、照明変動情報１２６５が、照明変動が発生しているという判定である場合、図９に示す入力画像１２０のエッジヒストグラム情報１２８５と、図３に示す理想画像エッジヒストグラム情報２９５とを相関抽出部１２１３で相関をとることにより、相関が高いブロック領域を抽出する。
On the other hand, when the illumination fluctuation information 1265 is a determination that illumination fluctuation has occurred, the
次に、エッジ情報１２８０から、入力画像１２０のブロック領域内に含まれるエッジ成分の強度が低い画素を抽出する。次に、そのエッジ成分の強度が低い画素から、情報飽和画素情報１２３０により情報飽和画素を削除した画素を安定画素判定部１２１２で安定画素と判定し、色補正用画素候補情報１６０として出力する。
Next, from the edge information 1280, pixels with low edge component intensity included in the block region of the
そして、色補正用画素候補抽出部１０６は、色補正用画素候補情報１６０を、図８に示す、色補正パラメタ算出部１０５へ出力する。
Then, the color correction pixel
すなわち、本実施形態に係る画像処理装置によれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。 That is, according to the image processing apparatus according to the present embodiment, the reference color image information that is the coordinates and pixel values of the pixels of the reference image obtained by color-correcting the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section, and a color correction coefficient for correcting the color of the corresponding pixel of the input image is calculated based on the selected pixels.
そして、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。 Then, by applying a color correction function using the obtained color correction coefficient to the input image including the background image to be processed, it is possible to correct to a wider range of colors in the color space. An effect of improving reproducibility can be achieved.
また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。 At that time, the information saturation pixel, which is an unnecessary pixel included in the corresponding pixel of the input image, a pixel with a large background model difference, and the remaining pixels obtained by removing the above-mentioned pixels per unit time from the input image Pixels having large pixel variation values and pixels that approximate the feature amount prepared in advance for the image feature amount of the foreground object of the input image are excluded.
さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ強度が弱い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。 Furthermore, by performing the above color correction for pixels with low edge strength in a region where the correlation between the input image and the ideal image is high in the case of illumination fluctuations, it can be used in various lighting environments at various times. Even if the captured image is an input image and there is illumination variation or foreground object overlap, the color of the image closer to the reference image can be reproduced.
言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。 In other words, the image processing apparatus according to the present embodiment selects a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments. In addition to selecting the pixels to be dispersed, a color correction parameter is determined in advance so that the pixels excluding the above-described unnecessary pixels from the input image are close to the pixels of the selected reference image.
その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正をするので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。 Since the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces colors close to the reference image that are not easily biased to the color of the background image and are not easily affected by external light. can do.
つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。 That is, according to the image processing apparatus according to the present embodiment, it is possible to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
以上、本発明の第４の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。 As described above, the configuration and operation described above have been described as examples as the fourth embodiment of the present invention, but the present invention is not necessarily limited to such configuration and operation.
＜第５の実施形態＞
次に、第２乃至第４の実施形態を基本とする、第５の実施形態について説明する。
<Fifth Embodiment>
Next, a fifth embodiment based on the second to fourth embodiments will be described.
本実施形態は、図１０に示す、情報処理装置を用いて、図２Ａまたは図２Ｂまたは図８に示す、画像処理装置１００の各機能ブロックを、図６に示す、本画像処理装置１００の制御フローであるソフトウェアと協働することにより動作する点が異なる。
The present embodiment uses the information processing apparatus shown in FIG. 10 to control the functional blocks of the
このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第４の実施形態と同様な構成についての重複する説明は省略する。 For this reason, in the following description, it demonstrates in detail focusing on the characteristic part which concerns on this embodiment, and the overlapping description about the structure similar to the 2nd thru | or 4th embodiment mentioned above is abbreviate | omitted.
図１０は、第５の実施形態に係るコンピュータ・プログラムによる画像処理装置の概要を示すブロック図である。 FIG. 10 is a block diagram showing an outline of an image processing apparatus using a computer program according to the fifth embodiment.
図１０に示す、情報処理装置による画像処理装置５００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、ＣＰＵと称する）５１、メモリ５２、ストレージ５３、記録媒体５４および、チップセットならびに、入出力コントローラを有するとともに、上述のＨＷと協働して動作するソフトウェアである、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳと称する）、Ａｐｐｌｉｃａｔｉｏｎ Ｓｏｆｔｗａｒｅ（以下、ＡＰと称する）を有する。
An
また、本情報処理装置による画像処理装置５００は、カメラ５５、モニタ５６、および、入力デバイスならびに、通信インタフェースを接続する。
The
次に、図１０に示す、本情報処理装置による画像処理装置５００の動作について説明する。
Next, the operation of the
まず、本情報処理装置による画像処理装置５００の設置者は、カメラと、本装置を設置する現場において、本装置を起動ことにより、メモリ５２に、ＯＳおよび、必要なＡＰをストレージ５３から読込む。
First, the installer of the
なお、制御する際に必要となる、たとえば各閾値などの設定値情報は、たとえば、ストレージ５３または、チップセットの図示してない、読書き可能な不揮発性の記憶部に保持する。
For example, setting value information such as each threshold value necessary for the control is held in, for example, the
ここで、保持する各閾値などの設定値情報とは、たとえば、図３に示す、前処理部３でいえば、ノイズ、画素値飽和および不足画素除去部２０１の、画素値飽和および不足画素を範囲を有する閾値で除去する際の閾値や、カラーチャートによる色補正パラメタ算出部２０２が出力する色補正パラメタ２７０などである。
Here, the set value information such as each threshold value to be held is, for example, noise, pixel value saturation and deficient
次に、設置者は、本画像処理装置５００のＡＰの一部である図示していない初期設定プログラムを使って初期設定を実行する。
Next, the installer performs initial setting using an initial setting program (not shown) that is a part of the AP of the
初期設定プログラムは、モニタ５６にガイダンスおよび撮影した画像を表示するので、設置者は、ガイダンスに従って入力デバイスを用いて、設置したカメラを用いた背景画像の撮影、同じくカラーチャートの撮影、および初期設定プログラムによる、カラーチャートを用いた色補正を手動もしくは自動で実行する。
Since the initial setting program displays the guidance and the captured image on the
これにより、本画像処理装置５００の前処理部３は、基準色画像情報１１０を出力する（図６に示すステップＳ１００１）。そして、初期設定後の、ＡＰの一部である図示していない運用プログラムを使って運用を開始する。その際、初期設定のために使用したモニタ５６、入力デバイスは、取り外してもよい。
Thereby, the
次に、ＡＰの運用プログラムは、図２Ａまたは図２Ｂまたは図８に示す分類画素抽出部で、基準色画像情報１１０の画素の画素値に応じて各区画に分類するとともに、図６に示す、分類画素情報１５０を出力する（ステップＳ１００２）。
Next, the AP operation program is classified into sections according to the pixel values of the pixels of the reference
以降、ＡＰの運用プログラムは、第２の実施形態ですでに述べた、図６に示す制御フローの処理を順次、実行するため、途中の説明は省略する。そして、図２Ａまたは図２Ｂまたは図８に示す色補正部は、色補正結果画像１３０を出力する（ステップＳ１００９）。 Thereafter, since the AP operation program sequentially executes the control flow process shown in FIG. 6 already described in the second embodiment, a description thereof is omitted. Then, the color correction unit shown in FIG. 2A, FIG. 2B, or FIG. 8 outputs the color correction result image 130 (step S1009).
なお、色補正の制御をする際に必要となる、上述した各閾値などの最新の設定値情報は、たとえば、ストレージ５３や、チップセットの図示していない、読書き可能な不揮発性記憶部で保持もしくは更新する。
The latest set value information such as the above-described threshold values necessary for color correction control is stored in, for example, the
ここで、更新する情報としては、たとえば、色補正パラメタや背景モデル画像などである。 Here, the information to be updated includes, for example, a color correction parameter and a background model image.
以上に述べたように、図２Ａまたは図２Ｂまたは図８に示す、画像処理装置の概要を示すブロック図の各機能を動作させる、図６に示す画像処理装置の制御フローは、図１０に示す情報処理装置による画像処理装置５００にコンピュータ・プログラムとして用いることにより、同様の動作を実行するとともに同様の効果を得ることができる。
As described above, the control flow of the image processing apparatus shown in FIG. 6 for operating each function of the block diagram showing the outline of the image processing apparatus shown in FIG. 2A, FIG. 2B or FIG. 8 is shown in FIG. By using the
すなわち、上述の第２乃至第４の実施形態を例に説明した本発明は、画像処理装置５００を情報処理装置で実現するために、その動作説明において参照した図６に示す、制御フローの機能を、実現可能なＡＰつまり、コンピュータ・プログラムとして供給した後、そのコンピュータ・プログラムを画像処理装置５００として用意したＣＰＵ５１および協働するＯＳならびにＡＰを、メモリ５２に読出して実行することによって達成される。
That is, the present invention described with reference to the second to fourth embodiments described above is an example of the control flow function shown in FIG. 6 referred to in the description of the operation in order to realize the
ここで、当該ＣＰＵ５１に供給されるコンピュータ・プログラムは、読書き可能な不揮発性ストレージ５３に格納すればよい。
Here, the computer program supplied to the
また、前記の場合において、当該装置内へのコンピュータ・プログラムの供給方法は、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ等の各種記録媒体５４を介して当該装置内にインストールする方法や、通信インタフェースを用いて、インターネット等の通信ネットワークを介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。 In the above-described case, the computer program can be supplied to the apparatus by a method of installing in the apparatus via various recording media 54 such as a floppy (registered trademark) disk and a CD-ROM, and a communication interface. Currently, a general procedure can be adopted, such as a method of downloading from the outside via a communication network such as the Internet.
そして、このような場合において、本発明は、係るコンピュータ・プログラムを構成するコード、或いは係るコードが記録されたところの、コンピュータ読み取り可能な記憶媒体によって構成されると捉えることができる。 In such a case, the present invention can be understood to be configured by a computer-readable storage medium in which the code constituting the computer program or the code is recorded.
また、本画像処理装置の色補正を行う処理を、ソフトウェアによって行うことにより、汎用の情報処理装置を用いて画像処理装置を構成することができるとともに、プログラムおよび各閾値などの設定情報を書き換えるだけで、より柔軟に、幅広いカメラ設置現場の環境に対応することができるという効果がある。 Further, by performing the color correction processing of the image processing apparatus by software, the image processing apparatus can be configured using a general-purpose information processing apparatus, and only setting information such as a program and each threshold value is rewritten. Thus, it has the effect of being able to cope with a wide range of camera installation environments more flexibly.
つまり、本実施形態に係る画像処理システムによれば、多様な、環境光などの外乱に強く、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供するとともに、ソフトウェアにより、現場環境に合わせて、より柔軟な色補正処理を行うことができる。 In other words, according to the image processing system according to the present embodiment, an image that is resistant to various disturbances such as ambient light, and reproduces a wide range of colors using various colors of the reference image based on the background image. In addition to providing a processing apparatus, it is possible to perform more flexible color correction processing according to the field environment by software.
すなわち、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。 That is, according to the image processing method and the program software thereof according to the present embodiment, the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by color-correcting the background image using the color chart, Classification is performed for each partition according to the pixel value, and a predetermined number of pixels are selected for each partition, and a color correction coefficient for correcting the color of the corresponding pixel of the input image is calculated using the selected pixel as a reference. .
そして、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。 Then, by applying a color correction function using the obtained color correction coefficient to the input image including the background image to be processed, it is possible to correct to a wider range of colors in the color space. An effect of improving reproducibility can be achieved.
また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。 At that time, the information saturation pixel, which is an unnecessary pixel included in the corresponding pixel of the input image, a pixel with a large background model difference, and the remaining pixels obtained by excluding the above-mentioned pixels per unit time from the input pixel Pixels having large pixel variation values and pixels that approximate the feature amount prepared in advance for the image feature amount of the foreground object of the input image are excluded.
さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。 Furthermore, by performing the above color correction for pixels with a low edge component in a region where the correlation between the input image and the ideal image is high when illumination changes, it can be used in various lighting environments at various times. Even if the captured image is an input image and there is illumination variation or foreground object overlap, the color of the image closer to the reference image can be reproduced.
また、本画像処理装置を構成する情報処理装置が有するＣＰＵは、上述した入力画像の色を補正する制御を、ＯＳ、ＡＰであるプログラム・ソフトウェアと協働することにより、汎用性のある情報処理装置を用いて本画像処理装置を構成することができるとともに、プログラム・ソフトウェアや、各閾値などの設定値情報を書き換えるだけで、より柔軟に、幅広いカメラの設置環境に対応することができるという効果がある。 Further, the CPU of the information processing apparatus constituting the image processing apparatus performs versatile information processing by cooperating with the above-described program software that is an OS or AP for correcting the color of the input image. The image processing apparatus can be configured using the apparatus, and it is possible to more flexibly cope with a wide range of camera installation environments simply by rewriting program software and setting value information such as threshold values. There is.
言い換えると、本実施形態の画像処理方法とそのプログラム・ソフトウェアは、多様な照明環境で撮影した入力画像であっても、プログラム・ソフトウェアを用いて、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。 In other words, the image processing method and its program software of the present embodiment are predetermined for each section into which the pixels of the reference image are classified using the program software even for input images taken in various lighting environments. By selecting the number of pixels, a color is selected so that the pixels of the actual image are dispersed and the pixels excluding unnecessary pixels described above from the input image are brought closer to the selected reference image pixels. Find the correction parameters.
その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。 Since the color correction function is obtained from the obtained color correction parameters and the color of the input image is corrected, it reproduces the color close to the reference image, which is less biased to the color of the background image and less affected by external light. be able to.
つまり、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。 In other words, according to the image processing method and its program software according to the present embodiment, it is possible to provide an image processing apparatus that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
以上、本発明の第５の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。 As mentioned above, although the structure and operation | movement mentioned above were demonstrated as an example as 5th Embodiment of this invention, this invention is not necessarily limited to the said structure and operation | movement.
＜第６の実施形態＞
次に、第２乃至第５の実施形態を基本とする、変形例である第６の実施形態について説明する。
<Sixth Embodiment>
Next, a sixth embodiment which is a modification based on the second to fifth embodiments will be described.
本実施形態は、たとえば、図２Ａまたは図２Ｂに示す、画像処理装置１００の分類画素抽出部１０１と、色補正用画素候補抽出部１０２と、色補正パラメタ算出部１０３と、色補正部１０４と、前処理部３とのいずれか、もしくは全てを、集積回路として構成する点が異なる。
In the present embodiment, for example, the classification
このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第５の実施形態およびその変形例と同様な構成についての重複する説明は省略する。 For this reason, in the following description, it demonstrates in detail focusing on the characteristic part which concerns on this embodiment, and overlaps description about the structure similar to the 2nd thru | or 5th embodiment mentioned above and its modification. Is omitted.
本実施形態では、色補正をするための上述したような各機能ブロックに集積回路を適用することにより、系としての画像処理システムを構築することができる。 In the present embodiment, an image processing system as a system can be constructed by applying an integrated circuit to each functional block as described above for color correction.
そのため、本画像処理装置１００は、本画像処理システム１００と読み替えることもできる。
Therefore, the
そして、本画像処理システム１００は、上述した基本となる実施形態の変形例として、現在では一般的な技術である集積回路を用いることにより、上述した基本となる実施形態の効果に加えて、小型化、低消費電力化が可能となるとともに、これらに伴い、多様な現場への設置が容易になるという効果を得ることもできる。
In addition to the effects of the basic embodiment described above, the present
そして、図６に示す、本画像処理システム１００の制御フローは、上述した集積回路により実行する。なお、図６に示す、制御フローは、第２の実施形態で説明しているので、省略する。
Then, the control flow of the
また、上述した図２Ａまたは図２Ｂに示す機能ブロックの一部を、消費電力との兼ね合いに応じて、集積回路化するとともに、残りはソフトウェアにより処理するように分担する装置構成としてもよい。 Further, a part of the functional blocks shown in FIG. 2A or 2B described above may be integrated as an integrated circuit according to the balance with power consumption, and the rest may be configured so as to be processed so as to be processed by software.
その場合、図６に示す、本画像処理システム１００の制御フローは、集積回路化する機能ブロック以外の機能を、ソフトウェアを用いて、ＣＰＵにおいて実行すればよい。
In this case, the control flow of the
例えば、カメラの設置環境が変化することが少なければ、図６に示すステップＳ１００１を行う前処理部３は、集積回路化するとともに、残りの機能ブロックは、図６に示す、制御フローのステップＳ１００２以降をソフトウェアにより実行するようにすればよい。
For example, if the camera installation environment is rarely changed, the
また、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素と、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素および、照明変動の際の、入力画像と理想画像とのエッジ相関が高い領域を予め入力画素から除く必要がなければ、色補正用画素候補抽出部１０２は、用いず、当該機能ブロックは集積回路化をしないようにしてもよい。
In addition, information saturation pixels that are unnecessary pixels included in the corresponding pixels of the input image, pixels with a large background model difference, and fluctuation values of the remaining pixels excluding the above-mentioned pixels per unit time from the input pixels Pixels whose image features of the foreground object in the input image approximate to the feature values prepared in advance, and regions where the edge correlation between the input image and the ideal image is high when illumination changes are excluded from the input pixels in advance If not necessary, the color correction pixel
その際は、不要な画素の影響は受けやすくなるが、簡素な構成で、かつ、安価にすることができる。 In that case, it becomes easy to be influenced by unnecessary pixels, but it can be made simple and inexpensive.
なお、各閾値などの設定値情報は、集積回路に内蔵する読書き可能な不揮発性記憶部(不図示、以下同様)、もしくは図６に示す、ストレージ５３において記憶するとともに、上述の閾値を柔軟に調整できるようにしてもよい。
The setting value information such as each threshold value is stored in a readable / writable nonvolatile storage unit (not shown, the same applies hereinafter) built in the integrated circuit or in the
すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に、所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する座標にある入力画像の画素を色補正するための色補正係数を算出する。 That is, according to the image processing system according to the present embodiment, the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by color-correcting the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section, and a color correction coefficient for color correcting the pixels of the input image at the corresponding coordinates is calculated using the selected pixels as a reference.
そして、求めた色補正係数を用いた色補正関数を用いて、入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。 Then, by applying the color correction function using the obtained color correction coefficient to the input image, it is possible to correct to a wider range of colors in the color space and to improve the color reproducibility. Can be played.
また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。 At that time, the information saturation pixel, which is an unnecessary pixel included in the corresponding pixel of the input image, a pixel with a large background model difference, and the remaining pixels obtained by excluding the above-mentioned pixels per unit time from the input pixel Pixels having large pixel variation values and pixels that approximate the feature amount prepared in advance for the image feature amount of the foreground object of the input image are excluded.
さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。 Furthermore, by performing the above color correction for pixels with a low edge component in a region where the correlation between the input image and the ideal image is high when illumination changes, it can be used in various lighting environments at various times. Even if the captured image is an input image and there is illumination variation or foreground object overlap, the color of the image closer to the reference image can be reproduced.
また、本画像処理システムが有する色補正を行うディスクリート(個別部品)回路もしくは、ソフトウェアを、集積回路によって実現することにより、本画像処理システムを、たとえば、小型化したり、ＣＰＵによって行う色補正を、集積回路によって行うことにより、低消費電力化したり、これらに伴い、本画像処理システムを多用な場所に設置しやすくなるという新たな効果を得ることができる。 In addition, by realizing a discrete (individual part) circuit or software that performs color correction of the image processing system by an integrated circuit, the image processing system can be reduced in size, for example, or color correction performed by a CPU can be performed. By using the integrated circuit, it is possible to obtain a new effect that the power consumption is reduced and accordingly the image processing system can be easily installed in various places.
さらに、一部分を集積回路化するとともに、残りをソフトウェアで分担する装置構成とすることにより、ＣＰＵの負荷や、コストのバランスをとることもできる。 Furthermore, a part of the circuit is integrated and the rest is shared by software, so that the load on the CPU and the cost can be balanced.
言い換えると、本実施形態の画像処理システムは、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、不要な画素や、照明変動の際に生じる入力画像の変動に伴う画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。 In other words, the image processing system according to the present embodiment selects an actual image by selecting a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments. In addition to selecting pixels to be distributed, the pixels excluding unnecessary pixels from the input image and pixels associated with fluctuations in the input image that occur when illumination changes are brought closer to the pixels of the selected reference image. Find the color correction parameters.
その求めた色補正パラメタから色補正関数を求めて、処理対象の背景画像を含む入力画像の色を補正するので、背景画像の色に偏りにくく、外光の影響を受けにくい、基準画像に近い色味を再現することができる。 Since the color correction function is obtained from the obtained color correction parameters and the color of the input image including the background image to be processed is corrected, it is not biased to the color of the background image and is hardly affected by outside light, and is close to the reference image The color can be reproduced.
つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。 That is, the image processing apparatus according to the present embodiment can provide an image processing system that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
以上、本発明の第６の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。 As described above, the configuration and operation described above have been described as examples as the sixth embodiment of the present invention, but the present invention is not necessarily limited to such configuration and operation.
＜第７の実施形態＞
次に、第２乃至第６の実施形態を基本とする、変形例である第７の実施形態について説明する。
<Seventh Embodiment>
Next, a seventh embodiment which is a modification example based on the second to sixth embodiments will be described.
本実施形態では、たとえば、カメラ設置現場と、そこで撮影した画像をモニタリングする現場が離れている場合、両者を、通信ネットワークを用いて接続することにより、遠隔地で撮影した被写体である人、物の様子をモニタしたり、人物の服装色などの傾向を把握することができる。 In this embodiment, for example, when the camera installation site and the site for monitoring the image taken there are separated from each other, by connecting them using a communication network, a person or object that is a subject imaged at a remote place It is possible to monitor the situation of the person and to grasp the tendency of the person's clothes color.
すなわち、例えば監視システム、あるいは被写体観察システムなどの画像処理システムを構築できる点が異なる。 In other words, for example, an image processing system such as a monitoring system or a subject observation system can be constructed.
このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第６の実施形態およびその変形例と同様な構成についての重複する説明は省略する。 For this reason, in the following description, it demonstrates in detail focusing on the characteristic part which concerns on this embodiment, and overlaps description about the structure similar to the 2nd thru | or 6th embodiment mentioned above and its modification. Is omitted.
本実施形態の構成を、図１１を用いて説明する。図１１は、第７の実施形態に係る画像処理システムの概要を示すブロック図である。 The configuration of this embodiment will be described with reference to FIG. FIG. 11 is a block diagram illustrating an overview of an image processing system according to the seventh embodiment.
本画像処理システムは、情報処理装置からなる画像処理装置５００をカメラ設置現場に設置するとともに、本画像処理装置５００の通信インタフェースを用いることにより、通信ネットワークに接続する。
In the image processing system, an
一方で、モニタ６１と、入力デバイスを有し、通信インタフェースを用いることにより、通信ネットワークに接続する、情報処理装置６００をモニタリング現場に設置する。この情報処理装置６００は、情報処理装置を用いた画像処理装置５００と同様の内部構成であるが、カメラ５５は用いない。
On the other hand, an
なお、情報処理装置からなる画像処理装置５００および、情報処理装置６００は、共に、汎用的な情報処理装置であっても、専用の情報処理装置であってもよい。
Note that both the
また、ここで用いる通信ネットワークは、本画像処理装置を設置する現場で用いるカメラで撮影した画像を伝送することが可能な帯域幅を有する、例えば、有線や無線を用いた専用回線やインターネットなどである。 The communication network used here has a bandwidth capable of transmitting an image taken by a camera used at the site where the image processing apparatus is installed, for example, a wired or wireless dedicated line or the Internet. is there.
図１１に示す、画像処理システムについて、その動作を説明する。 The operation of the image processing system shown in FIG. 11 will be described.
まず、設置者は、カメラ設置現場で本画像処理装置５００を設置する際に、画像処理装置５００において動作する、図示していないＡＰが有する初期設定プログラムを用いて、背景となる画像およびカラーチャートの画像を手動もしくは自動により、カメラ５５によって、撮影するとともに、色補正を行い、図示していない基準画像を本画像処理装置５００の内部に予め用意する。
First, when installing the
以降、カメラ設置現場で、カメラ５５を用いて撮影した被写体画像は、画像処理装置５００で動作する、図示していないＡＰが有する運用プログラムを用いて色補正を行うとともに、通信インタフェースを用いて、通信ネットワークを通して、相手側の情報処理装置６００に送信する。
Thereafter, subject images captured using the
実際には、色補正をした画像は更に、通信ネットワークが有する帯域に対応するように、たとえば、図示していない画像圧縮を行ってから送信する。 In practice, the color-corrected image is further transmitted after image compression (not shown), for example, so as to correspond to the band of the communication network.
情報処理装置６００は、受信した色補正された画像を、図示していないＡＰが有する表示プログラムを用いることにより、モニタ６１を用いて表示する。
The
実際には、受信した画像データは圧縮されているので、情報処理装置６００は、たとえば、図示していない、画像伸張を行ってから、色補正して送信されてきた画像を表示する。
Actually, since the received image data is compressed, the
以上により、モニタリング現場でモニタする観察者は、通信ネットワークを通して遠隔地にあるカメラ設置現場の、多様な照明環境で撮影したのちに色補正したカメラ画像をよい色味でモニタすることができる。 As described above, the observer who monitors at the monitoring site can monitor the camera image which has been color-corrected after shooting in various lighting environments at the remote camera installation site through the communication network with good color.
すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。 That is, according to the image processing system according to the present embodiment, the reference color image information that is the pixel coordinates and pixel values of the reference image obtained by color-correcting the background image using the color chart according to the pixel values. Classification is performed for each section, and a predetermined number of pixels are selected for each section, and a color correction coefficient for correcting the color of the corresponding pixel of the input image is calculated based on the selected pixels.
そして、求めた色補正係数を用いた色補正関数を用いて、入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。 Then, by applying the color correction function using the obtained color correction coefficient to the input image, it is possible to correct to a wider range of colors in the color space and to improve the color reproducibility. Can be played.
また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。 At that time, the information saturation pixel, which is an unnecessary pixel included in the corresponding pixel of the input image, a pixel with a large background model difference, and the remaining pixels obtained by excluding the above-mentioned pixels per unit time from the input pixel Pixels having large pixel variation values and pixels that approximate the feature amount prepared in advance for the image feature amount of the foreground object of the input image are excluded.
さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。 Furthermore, by performing the above color correction for pixels with a low edge component in a region where the correlation between the input image and the ideal image is high when illumination changes, it can be used in various lighting environments at various times. Even if the captured image is an input image and there is illumination variation or foreground object overlap, the color of the image closer to the reference image can be reproduced.
また、本画像処理システムは、照明変動を含む、幅広い照明環境にあるカメラ設置現場で撮影した被写体の画像を、色補正したのち、通信ネットワークを通して、遠隔地のモニタリング現場にある表示機器を有する情報処理装置に伝送するとともに、画像を表示する。 In addition, this image processing system corrects the color of a subject image taken at a camera installation site in a wide range of lighting environments, including lighting fluctuations, and then has information displayed on a remote monitoring site via a communication network. The image is displayed while being transmitted to the processing device.
これにより、カメラ設置現場での被写体である人や物および、人物の服装色の傾向を、遠隔地において、基準画像に近い色味で再現することができ、これらの監視や、観測を容易に行うことができる。 This makes it possible to reproduce the tendency of the person or object that is the subject at the camera installation site and the clothing color of the person in a color with a color similar to the reference image at a remote location, making it easy to monitor and observe these It can be carried out.
言い換えると、本実施形態の画像処理システムは、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、不要な画素や、照明変動の際に生じる入力画像の変動に伴う画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。 In other words, the image processing system according to the present embodiment selects an actual image by selecting a predetermined number of pixels for each section into which the pixels of the reference image are classified, even if the input image is captured in various lighting environments. In addition to selecting pixels to be distributed, the pixels excluding unnecessary pixels from the input image and pixels associated with fluctuations in the input image that occur when illumination changes are brought closer to the pixels of the selected reference image. Find the color correction parameters.
その求めた色補正パラメタから色補正関数を求めて、処理対象の背景画像を含む入力画像の色を補正するので、背景画像の色に偏りにくく、外光の影響を受けにくい、基準画像に近い色味を再現することができる。 Since the color correction function is obtained from the obtained color correction parameters and the color of the input image including the background image to be processed is corrected, it is not biased to the color of the background image and is hardly affected by outside light, and is close to the reference image The color can be reproduced.
つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。 That is, the image processing apparatus according to the present embodiment can provide an image processing system that is resistant to various disturbances such as ambient light and reproduces a wide range of colors.
以上、本発明の第７の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。 As mentioned above, although the structure and operation | movement mentioned above were demonstrated as an example as 7th Embodiment of this invention, this invention is not necessarily limited to the said structure and operation | movement.
なお、上述した実施形態及びその変形例の一部又は全部は、以下の付記のようにも記載されうる。しかしながら、上述した実施形態及びその変形例により例示的に説明した本発明は、以下には限らない。即ち、
（付記１）
色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、
入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める
ことを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理の動作を行う制御部を備え、
前記制御部は、
基準画像である基準色画像の画素を、その画素値に応じて、複数の区画に分類する分類画素抽出部と、
前記分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、前記処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数である色補正パラメタ情報を求める色補正パラメタ算出部と、
前記色補正パラメタ情報を求める際に、前記入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記処理対象の背景画像を含み前記入力画像を構成する画素から予め除いた色補正候補画素である色補正用画素候補情報とする色補正用画素候補抽出部と
を含むことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記複数種類の不安定要因は、所定の閾値よりも画素値が大きく飽和した画素、または画素値が前記所定の閾値よりも不足する画素のいずれかである情報飽和画素か、前記入力画像を構成する画素の画素値と、背景領域の画像である背景モデル画像を構成する画素の画素値との差分が、前記所定の閾値より大きい背景モデル差分画素か、前記情報飽和画素であり、かつ、前記背景モデル差分画素が、前記背景領域であると判定した画素と一致する前記入力画像の画素の画素値の所定時間当たりの変動が、所定の閾値より大きい画素値変動画素であり、前記制御部は、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記複数種類の不安定要因であるいずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする付記１または付記２に記載の画像処理装置。
（付記４）
前記入力画像の画素に含まれる、前記複数種類の不安定要因は、さらに、前記入力画像の輪郭であるエッジ成分の強度が所定の閾値より大であるエッジ画素か、前景物体の画素と、予め用意する物体画像の画素との特徴量の差が、所定の閾値より小である前景領域画素であり、前記制御部は、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記いずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする付記１乃至付記３に記載の画像処理装置。
（付記５）
前記色補正パラメタ情報を用いて、色補正関数を求めて、求めた該色補正関数を用いて、前記処理対象の背景画像を含む前記入力画像を色補正する補正部をさらに備えることを特徴とする付記１乃至付記４に記載の画像処理装置。
（付記６）
前記制御部は、前記背景モデル差分画素である背景モデル差分情報の抽出を阻害する照明変動が生じているか、否かの判定を、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記情報飽和画素を除いた画素数に対して、前記入力画像と前記背景モデル画像との画素の画素値の差分が、所定の閾値以上で生じている画素数の割合が、所定の閾値より高い場合、照明変動が起きていると判定するとともに、該判定結果に基いて出力する照明変動情報の内容に応じて、安定画素判定部における安定した画素の抽出方法を変更することを特徴とする付記１乃至付記４に記載の画像処理装置。
（付記７）
前記制御部は、前記照明変動が生じていることを判定し、該判定結果に基いて、前記照明変動情報として出力する際に、前記画素値変動画素の画素値の変動値の大きさが、所定の閾値以下の場合、前記照明変動が発生したのちに、該照明変動が安定したタイミングと判定し、前記照明変動情報として出力することを特徴とする付記１乃至付記４に記載の画像処理装置。
（付記８）
前記照明変動情報の内容に応じた、安定画素抽出方法の変更は、前記照明変動が生じていると判定する場合は、前記エッジ画素の座標と強度と方向との組からなるエッジ情報および、該エッジ情報を基にした、エッジヒストグラム情報から生成する相関情報とを、もしくは前記照明変動が生じていないと判定する場合は、前記エッジ情報を基にした、前記エッジヒストグラム情報から生成する前記相関情報のみを、前記安定画素判定部に出力することを特徴とする付記６または付記７に記載の画像処理装置。
（付記９）
前記制御部は、前記照明変動情報の内容に応じて、前記照明変動が生じていると判定する場合は、それぞれブロック領域に分割した前記背景画像を色見本で色補正した理想画像、および入力画像の、それぞれのエッジヒストグラム情報を基に、相関抽出部は、前記理想画像に対する前記入力画像のエッジヒストグラムの相関が高いブロック領域を抽出するとともに、前記安定画素判定部は、前記エッジ情報から、前記入力画像のブロック領域内に含まれるエッジ成分の強度が弱い画素を抽出し、前記エッジ成分の強度が所定の閾値より弱い画素から、前記情報飽和画素を除いた画素を前記色補正用画素候補情報として出力することを特徴とする付記７または付記８に記載の画像処理装置。
（付記１０）
前記制御部が有する、前記色補正用画素候補抽出部の補正画像差分抽出部は、前記照明変動情報が、照明変動が発生していると判定する場合で、次の入力画像が入力される際に、現在の前記入力画像を色補正した情報である色補正結果情報と、前記基準色画像情報との差分を抽出し、その差分が所定の閾値以下の座標と画素値を、補正画像差分情報として前記安定画素判定部へ出力するするとともに、前記補正画像差分情報の画素の画素値が所定の閾値以下である画素の座標と、その座標に対応する前記入力画像の画素値に基づいて、背景モデル更新情報を作成し、背景モデル記憶装置に格納している前記背景モデル画像を更新することを特徴とする付記１に記載の画像処理装置。
（付記１１）
前記制御部が有する前景物体検出部は、前記入力画像の前記背景領域を覆う可能性がある前景領域を、前記入力画像の画像特徴量と、予め用意した前記前景領域となり得る物体の画像特徴量とを比較し、画像特徴量同士が所定の閾値より大きい領域を類似する前記前景領域として抽出することにより、顔、頭部、あるいは人物などの物体を検知するとともに、前記安定画素判定部で、前記抽出した前景領域を構成する画素を予め除去することを特徴とする付記１または付記４に記載の画像処理装置。
（付記１２）
前記背景画像と、特定の照明環境のもとで理想的な画素値を有する色見本とを用いて、予め任意の時刻における照明環境で、手動もしくは自動により撮影した、複数の色の前記色見本であるカラーチャート画像の画素の画素値を、該カラーチャートが有する理想的な画素値に、それぞれ近づける、カラーチャートによる色補正パラメタを算出し、そのカラーチャートによる色補正パラメタに基づいて、同じ条件で撮影した前記背景画像を色補正することにより得た前記基準色画像の画素を、その座標と画素値の組とからなる、基準色画像情報として生成する前処理部をさらに備えることを特徴とする付記１または付記２に記載の画像処理装置。
（付記１３）
前記前処理部は、前記背景画像と、カラーチャート画像とに含まれる不要な画素であるノイズの画素、画素値が飽和した画素、および画素値が不足した画素を予め除去することを特徴とする付記１２に記載の画像処理装置。
（付記１４）
色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて複数の区画に分類し、
該分類した区画毎に、所定の個数の画素を選択するとともに、
入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、
前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする画像処理の方法。
（付記１５）
画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、
色見本を用いて背景画像を予め色補正した基準画像の画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とするコンピュータ・プログラム。
（付記１６）
色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能の、いずれかの機能を集積回路によって実現することを特徴とする画像処理システム。
（付記１７）
通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、付記１に記載の画像処理装置を用いることを特徴とする画像処理システム。
A part or all of the above-described embodiment and its modifications may be described as the following supplementary notes. However, the present invention described by way of example with the above-described embodiment and its modifications is not limited to the following. That is,
(Appendix 1)
The pixels constituting the reference image in which the background image is color-corrected in advance using the color sample are classified into a plurality of sections according to the pixel values of the pixels, and a predetermined number of pixels are selected for the classified sections. ,
A plurality of types of instability factors included in the pixels constituting the input image, each of which is a pixel obtained by excluding from the pixels constituting the input image pixels that exceed a predetermined threshold, An image processing apparatus that obtains a color correction coefficient corresponding to a position and that approximates a pixel value of a pixel that includes a background image to be processed and that constitutes the input image, to the pixel value of the selected pixel.
(Appendix 2)
A control unit that performs the image processing operation according to
The controller is
A classification pixel extraction unit that classifies pixels of a reference color image, which is a reference image, into a plurality of sections according to the pixel values;
For each of the classified sections, a predetermined number of pixels are selected, and the pixel values of the pixels constituting the input image including the background image to be processed corresponding to the position of the selected pixels are set as the selected pixels. A color correction parameter calculation unit that obtains color correction parameter information that is a color correction coefficient that approaches the pixel value of
When obtaining the color correction parameter information, the pixels constituting the input image include the background image to be processed, each of which includes a plurality of types of instability factors included in the pixels constituting the input image that exceed a predetermined threshold value. The image processing apparatus according to
(Appendix 3)
The plurality of types of instability factors may be information saturated pixels, which are either saturated pixels whose pixel values are larger than a predetermined threshold or pixels whose pixel values are less than the predetermined threshold, or constitute the input image A difference between a pixel value of a pixel to be processed and a pixel value of a pixel constituting a background model image that is an image of a background region is a background model difference pixel that is larger than the predetermined threshold, or the information saturation pixel, and The variation of the pixel value of the pixel of the input image that matches the pixel determined to be the background region as a background model difference pixel is a pixel value variation pixel that is greater than a predetermined threshold, and the control unit The color correction pixel candidate information obtained by excluding any one of the plurality of types of instability factors from pixels that include the background image to be processed and constitute the input image, The image processing apparatus according to
(Appendix 4)
The plurality of types of instability factors included in the pixels of the input image may further include an edge pixel whose edge component, which is an outline of the input image, has an intensity greater than a predetermined threshold, or a foreground object pixel, A foreground region pixel having a difference in feature amount from a pixel of an object image to be prepared is smaller than a predetermined threshold, and the control unit includes the background image to be processed and the pixels constituting the input image, The image processing apparatus according to any one of
(Appendix 5)
A color correction function is obtained using the color correction parameter information, and a correction unit is further provided for correcting the color of the input image including the background image to be processed using the obtained color correction function. The image processing apparatus according to
(Appendix 6)
The control unit determines whether or not an illumination variation that inhibits extraction of background model difference information, which is the background model difference pixel, is made from a pixel constituting the input image including the background image to be processed. The ratio of the number of pixels in which the difference between the pixel values of the input image and the background model image is greater than or equal to a predetermined threshold with respect to the number of pixels excluding the information saturated pixels is greater than the predetermined threshold If it is high, it is determined that illumination variation has occurred, and a stable pixel extraction method in the stable pixel determination unit is changed according to the content of illumination variation information to be output based on the determination result. The image processing apparatus according to
(Appendix 7)
The control unit determines that the illumination variation has occurred, and based on the determination result, when outputting as the illumination variation information, the magnitude of the variation value of the pixel value variation pixel is, The image processing apparatus according to any one of
(Appendix 8)
When the change of the stable pixel extraction method according to the content of the illumination variation information is determined that the illumination variation has occurred, the edge information including a set of coordinates, intensity, and direction of the edge pixel, and the The correlation information generated from the edge histogram information based on the edge information, or the correlation information generated from the edge histogram information based on the edge information when determining that the illumination variation does not occur The image processing apparatus according to appendix 6 or appendix 7, wherein only the output is output to the stable pixel determination unit.
(Appendix 9)
When the control unit determines that the illumination variation has occurred according to the content of the illumination variation information, an ideal image obtained by color-correcting the background image divided into block regions with a color sample, and an input image Based on the respective edge histogram information, the correlation extraction unit extracts a block region having a high correlation of the edge histogram of the input image with respect to the ideal image, and the stable pixel determination unit calculates the edge information from the edge information. Pixels with weak edge components included in the block area of the input image are extracted, and pixels obtained by removing the information saturation pixels from pixels whose edge component intensity is weaker than a predetermined threshold are the color correction pixel candidate information. The image processing apparatus according to appendix 7 or appendix 8, wherein:
(Appendix 10)
The correction image difference extraction unit of the color correction pixel candidate extraction unit included in the control unit determines that the illumination variation has occurred and the next input image is input. In addition, a difference between color correction result information, which is information obtained by performing color correction on the current input image, and the reference color image information is extracted, and coordinates and pixel values of which the difference is equal to or less than a predetermined threshold are corrected image difference information. Output to the stable pixel determination unit, and based on the coordinates of the pixel whose pixel value of the corrected image difference information is a predetermined threshold or less and the pixel value of the input image corresponding to the coordinate, The image processing apparatus according to
(Appendix 11)
The foreground object detection unit included in the control unit includes an image feature amount of the input image and an image feature amount of an object that can be the foreground region prepared in advance as a foreground region that may cover the background region of the input image. And detecting an object such as a face, head, or person by extracting a region where the image feature amounts are larger than a predetermined threshold as the similar foreground region, and in the stable pixel determination unit, The image processing apparatus according to
(Appendix 12)
Using the background image and a color sample having an ideal pixel value under a specific lighting environment, the color samples of a plurality of colors, which are photographed manually or automatically in an illumination environment at an arbitrary time in advance. A color correction parameter based on the color chart is calculated by bringing the pixel value of the pixel of the color chart image close to the ideal pixel value of the color chart, and the same condition is set based on the color correction parameter based on the color chart. A pre-processing unit that generates pixels of the reference color image obtained by performing color correction on the background image captured in
(Appendix 13)
The pre-processing unit previously removes noise pixels, pixels with saturated pixel values, and pixels with insufficient pixel values, which are unnecessary pixels included in the background image and the color chart image. The image processing apparatus according to attachment 12.
(Appendix 14)
Classifying pixels of a reference image obtained by color-correcting a background image in advance using a color sample into a plurality of sections according to pixel values of the pixels,
A predetermined number of pixels are selected for each classified section, and
Pixels in which the plurality of types of instability factors included in the pixels of the input image each exceed a predetermined threshold are excluded from the pixels of the input image.
Image processing characterized by obtaining a color correction coefficient that approximates the pixel value of the pixel that includes the background image to be processed and that constitutes the input image corresponding to the position of the selected pixel to the pixel value of the selected pixel the method of.
(Appendix 15)
A computer program for controlling an image processing apparatus, the computer program
A reference image pixel whose color is corrected in advance using a color sample is classified into a plurality of sections according to the pixel value of the pixel, and a predetermined number of pixels are selected for each classified section. A processing target corresponding to the position of the selected pixel with respect to a pixel obtained by excluding a pixel in which a plurality of types of instability factors included in the pixel of the input image each exceed a predetermined threshold from the pixel of the input image A computer program for causing a computer to realize a function of obtaining a color correction coefficient that approximates the pixel value of a pixel that includes the background image of the input image and that constitutes the input image.
(Appendix 16)
A reference image pixel whose color is corrected in advance using a color sample is classified into a plurality of sections according to the pixel value of the pixel, and a predetermined number of pixels are selected for each classified section. A process corresponding to the position of the selected pixel with respect to a pixel in which pixels of the plurality of types of instability included in the pixel of the input image each exceed a predetermined threshold value from the pixel of the input image One of the functions of obtaining a color correction coefficient that approximates the pixel value of the pixel that includes the target background image and that constitutes the input image to the pixel value of the selected pixel is realized by an integrated circuit. Image processing system.
(Appendix 17)
The image processing apparatus including an information processing apparatus installed at a camera installation site and connected to each other through a communication network, and another information processing apparatus for remotely monitoring an image transmitted from the image processing apparatus. An image processing system using the image processing apparatus according to
本発明は、上述した各実施形態には限定されず、例えば、企業や公共施設などでの人物や物体などのモニタリングに供するカメラ映像の画像処理に適用可能である。 The present invention is not limited to the above-described embodiments, and can be applied to image processing of camera video used for monitoring a person or an object in a company or a public facility, for example.
１ 制御部
２ 補正部
３ 前処理部
１０ 画像処理装置
１１ 背景画像
１２ 入力画像
１３ 色補正結果画像
１４ 基準画像
１５ 色補正係数
１００ 画像処理装置
１０１ 分類画素抽出部
１０２ 色補正用画素候補抽出部
１０３ 色補正パラメタ算出部
１０４ 色補正部
１０５ 色補正パラメタ算出部
１０６ 色補正用画素候補抽出部
１０７ 色補正部
１０８ 分類画素抽出部
１１０ 基準色画像情報
１２０ 入力画像
１３０ 色補正結果画像
１４０ 座標情報
１５０ 分類画素情報
１６０ 色補正用画素候補情報
１７０ 色補正パラメタ情報
１８０ 色補正結果情報
２０１ ノイズ、画素値飽和および不足画素除去部
２０２ カラーチャートによる色補正パラメタ算出部
２０３ 色補正部
２０４ 基準色画像情報抽出部
２０５ 理想画像エッジヒストグラム情報蓄積部
２０９ エッジヒストグラム算出部
２１０ 背景画像
２１５ エッジ算出部
２２０ カラーチャート画像
２５０ 背景画像情報
２６０ カラーチャート画像情報
２７０ 色補正パラメタ
２８０ 理想画像
２９５ 理想画像エッジヒストグラム情報
４０１ 色補正パラメタ推定用画素情報選択部
４０２ 色補正用パラメタ算出部
４１０ 選択画素情報
１２０１ 情報飽和画素抽出部
１２０２ 背景モデル差分抽出部
１２０３ 画素変動値算出部
１２０４ 安定画素判定部
１２０５ エッジ算出部
１２０６ 前景物体検出部
１２０７ 安定画素判定部
１２０８ 補正画像差分抽出部
１２０９ エッジヒストグラム算出部
１２１０ 背景モデル情報
１２１１ 照明変動対応画素抽出部
１２１２ 安定画素判定部
１２１３ 相関抽出部
１２１４ 背景モデル記憶装置
１２１５ エッジ算出部
１２２０ 背景モデル更新情報
１２３０ 情報飽和画素情報
１２４０ 背景モデル差分情報
１２４５ エッジ情報
１２４６ 物体抽出情報
１２５０ 画素変動値情報
１２５５ 背景モデル更新情報
１２６０ 補正画像差分情報
１２６５ 照明変動情報
１２７０ 背景モデル差分情報
１２７５ 画素変動値情報
１２８０ エッジ情報
１２８５ エッジヒストグラム情報
１２９０ 相関情報
DESCRIPTION OF SYMBOLS 1 Control part 2 Correction | amendment part 3 Pre-processing part 10 Image processing apparatus 11 Background image 12 Input image 13 Color correction result image 14 Reference image 15 Color correction coefficient 100 Image processing apparatus 101 Classification pixel extraction part 102 Color correction pixel candidate extraction part 103 Color correction parameter calculation unit 104 Color correction unit 105 Color correction parameter calculation unit 106 Color correction pixel candidate extraction unit 107 Color correction unit 108 Classification pixel extraction unit 110 Reference color image information 120 Input image 130 Color correction result image 140 Coordinate information 150 Classification Pixel information 160 Color correction pixel candidate information 170 Color correction parameter information 180 Color correction result information 201 Noise, pixel value saturation and insufficient pixel removal unit 202 Color correction parameter calculation unit based on color chart 203 Color correction unit 204 Reference color image information extraction unit 205 Ideal image edge histogram information Accumulation unit 209 Edge histogram calculation unit 210 Background image 215 Edge calculation unit 220 Color chart image 250 Background image information 260 Color chart image information 270 Color correction parameter 280 Ideal image 295 Ideal image edge histogram information 401 Color correction parameter estimation pixel information selection unit 402 Color Correction Parameter Calculation Unit 410 Selected Pixel Information 1201 Information Saturated Pixel Extraction Unit 1202 Background Model Difference Extraction Unit 1203 Pixel Variation Value Calculation Unit 1204 Stable Pixel Determination Unit 1205 Edge Calculation Unit 1206 Foreground Object Detection Unit 1207 Stable Pixel Determination Unit 1208 Correction Image difference extraction unit 1209 Edge histogram calculation unit 1210 Background model information 1211 Illumination variation corresponding pixel extraction unit 1212 Stable pixel determination unit 1213 Correlation extraction unit 1214 Background model storage device Position 1215 Edge calculation unit 1220 Background model update information 1230 Information saturated pixel information 1240 Background model difference information 1245 Edge information 1246 Object extraction information 1250 Pixel variation value information 1255 Background model update information 1260 Correction image difference information 1265 Lighting variation information 1270 Background model difference Information 1275 Pixel variation value information 1280 Edge information 1285 Edge histogram information 1290 Correlation information
Claims (10)
入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める
ことを特徴とする画像処理装置。 The pixels constituting the reference image in which the background image is color-corrected in advance using the color sample are classified into a plurality of sections according to the pixel values of the pixels, and a predetermined number of pixels are selected for the classified sections. ,
A plurality of types of instability factors included in the pixels constituting the input image, each of which is a pixel obtained by excluding from the pixels constituting the input image pixels that exceed a predetermined threshold, An image processing apparatus that obtains a color correction coefficient corresponding to a position and that approximates a pixel value of a pixel that includes a background image to be processed and that constitutes the input image, to the pixel value of the selected pixel.
前記制御部は、
基準画像である基準色画像の画素を、その画素値に応じて、複数の区画に分類する分類画素抽出部と、
前記分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、前記処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数である色補正パラメタ情報を求める色補正パラメタ算出部と、
前記色補正パラメタ情報を求める際に、前記入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記処理対象の背景画像を含み前記入力画像を構成する画素から予め除いた色補正候補画素である色補正用画素候補情報とする色補正用画素候補抽出部と
を含むことを特徴とする請求項１に記載の画像処理装置。 A control unit that performs the image processing operation according to claim 1,
The controller is
A classification pixel extraction unit that classifies pixels of a reference color image, which is a reference image, into a plurality of sections according to the pixel values;
For each of the classified sections, a predetermined number of pixels are selected, and the pixel values of the pixels constituting the input image including the background image to be processed corresponding to the position of the selected pixels are set as the selected pixels. A color correction parameter calculation unit that obtains color correction parameter information that is a color correction coefficient that approaches the pixel value of
When obtaining the color correction parameter information, the pixels constituting the input image include the background image to be processed, each of which includes a plurality of types of instability factors included in the pixels constituting the input image that exceed a predetermined threshold value. The image processing apparatus according to claim 1, further comprising: a color correction pixel candidate extraction unit configured to perform color correction pixel candidate information that is a color correction candidate pixel previously removed from the color correction candidate pixel.
該分類した区画毎に、所定の個数の画素を選択するとともに、
入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、
前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする画像処理の方法。 Classifying pixels of a reference image obtained by color-correcting a background image in advance using a color sample into a plurality of sections according to pixel values of the pixels,
A predetermined number of pixels are selected for each classified section, and
Pixels in which the plurality of types of instability factors included in the pixels of the input image each exceed a predetermined threshold are excluded from the pixels of the input image.
Image processing characterized by obtaining a color correction coefficient that approximates the pixel value of the pixel that includes the background image to be processed and that constitutes the input image corresponding to the position of the selected pixel to the pixel value of the selected pixel the method of.
色見本を用いて背景画像を予め色補正した基準画像の画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とするコンピュータ・プログラム。 A computer program for controlling an image processing apparatus, the computer program
A reference image pixel whose color is corrected in advance using a color sample is classified into a plurality of sections according to the pixel value of the pixel, and a predetermined number of pixels are selected for each classified section. A processing target corresponding to the position of the selected pixel with respect to a pixel obtained by excluding a pixel in which a plurality of types of instability factors included in the pixel of the input image each exceed a predetermined threshold from the pixel of the input image A computer program for causing a computer to realize a function of obtaining a color correction coefficient that approximates the pixel value of a pixel that includes the background image of the input image and that constitutes the input image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012016586A JP2015092643A (en) | 2012-01-30 | 2012-01-30 | Image processing device, image processing method thereof, computer program and image processing system |
| PCT/JP2013/000196 WO2013114803A1 (en) | 2012-01-30 | 2013-01-17 | Image processing device, image processing method therefor, computer program, and image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012016586A JP2015092643A (en) | 2012-01-30 | 2012-01-30 | Image processing device, image processing method thereof, computer program and image processing system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015092643A true JP2015092643A (en) | 2015-05-14 |
Family
ID=48904855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012016586A Pending JP2015092643A (en) | 2012-01-30 | 2012-01-30 | Image processing device, image processing method thereof, computer program and image processing system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2015092643A (en) |
| WO (1) | WO2013114803A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016219935A (en) * | 2015-05-18 | 2016-12-22 | シャープ株式会社 | Image processing system, image processing method, and program |
| US11488289B2 (en) | 2016-03-30 | 2022-11-01 | Interdigital Vc Holdings, Inc. | Method for detection of saturated pixels in an image |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016016050A (en) * | 2014-07-07 | 2016-02-01 | ソニー株式会社 | Image processing device and method, program, and endoscope system |
| WO2016041162A1 (en) | 2014-09-17 | 2016-03-24 | SZ DJI Technology Co., Ltd. | Automatic white balancing system and method |
| JP2016163052A (en) * | 2015-02-26 | 2016-09-05 | オリンパス株式会社 | Image processing apparatus, imaging device, image processing method, and image processing program |
| CN117437589A (en) * | 2023-10-30 | 2024-01-23 | 国网四川省电力公司绵阳供电公司 | Method, system, equipment and medium for preventing false detection of relay protection equipment of transformer substation |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011210139A (en) * | 2010-03-30 | 2011-10-20 | Sony Corp | Image processing apparatus and method, and program |
-
2012
- 2012-01-30 JP JP2012016586A patent/JP2015092643A/en active Pending
-
2013
- 2013-01-17 WO PCT/JP2013/000196 patent/WO2013114803A1/en active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016219935A (en) * | 2015-05-18 | 2016-12-22 | シャープ株式会社 | Image processing system, image processing method, and program |
| US11488289B2 (en) | 2016-03-30 | 2022-11-01 | Interdigital Vc Holdings, Inc. | Method for detection of saturated pixels in an image |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013114803A1 (en) | 2013-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10521885B2 (en) | Image processing device and image processing method | |
| US7489345B2 (en) | Image processing apparatus, image-taking system, image processing method and image processing program | |
| US9460521B2 (en) | Digital image analysis | |
| WO2013114803A1 (en) | Image processing device, image processing method therefor, computer program, and image processing system | |
| JP2008518344A (en) | Method and system for processing video data | |
| CN107635099B (en) | Human body induction double-optical network camera and security monitoring system | |
| US10055824B2 (en) | Image correction device, image correction method and storage medium | |
| JP2021180527A (en) | Image processing device | |
| CN110023957B (en) | Method and apparatus for estimating drop shadow region and/or highlight region in image | |
| JP2016126750A (en) | Image processing system, image processing device, imaging device, image processing method, program, and recording medium | |
| US9596410B2 (en) | Vision systems and methods for analysing images taken by image sensors | |
| US20200029016A1 (en) | Moving object monitoring device and moving object monitoring system | |
| JP6375138B2 (en) | Purple fringe removal processing method and purple fringe removal processing apparatus performing the processing | |
| Hussain et al. | Max-RGB based colour constancy using the sub-blocks of the image | |
| JP2015092301A (en) | Image processing apparatus and image processing method of the same, and computer program and image processing system | |
| CN109982012B (en) | Image processing method and device, storage medium and terminal | |
| JP2005346474A (en) | Image processing method and image processor and program and storage medium | |
| JP6827782B2 (en) | Image processing equipment, imaging equipment, image processing methods, image processing programs, and recording media | |
| KR101370545B1 (en) | Method for Conducting Selectively Image Improving Treatment Based on Automatical Image Data Analysis | |
| Hussain et al. | Colour constancy using sub-blocks of the image | |
| JP6565513B2 (en) | Color correction device, color correction method, and computer program for color correction | |
| JP2013115571A (en) | Information processing apparatus | |
| JP7475830B2 (en) | Imaging control device and imaging control method | |
| CN112819005A (en) | Identification method, terminal and computer storage medium | |
| US20210358099A1 (en) | Apparatus, method, and storage medium |