JP2007194802A

JP2007194802A - Color correcting device and color correcting method

Info

Publication number: JP2007194802A
Application number: JP2006009757A
Authority: JP
Inventors: Sumio Yokomitsu; 澄男横光; Hailin Yan; ハイリンイェン; Chak Joo Lee; チャージューリー
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-01-18
Filing date: 2006-01-18
Publication date: 2007-08-02

Abstract

<P>PROBLEM TO BE SOLVED: To provide a color correcting device that eliminates the need to hold information of a color set which is not necessary for color correction processing, reduces a computation load, and responds in real time to change in lighting environment. <P>SOLUTION: The color correcting device 1 includes a color set information storage unit 11 which stores color set information including source colors and reference colors, an area selecting unit 6 which selects specified source areas from respective source images photographed by two cameras 2, an area color decision unit 7 which decides source area colors as colors representative of the source areas, a color set updating unit 10 which updates source colors of a color set by using the source area colors, and a color correcting unit 8 which corrects colors similar to the source colors in the two source images into reference colors by using the color set. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、複数の撮像装置で撮影された画像に色校正処理を施す色校正処理装置に関し、照明環境の変化等への適応性を向上した色校正処理装置に関するものである。 The present invention relates to a color calibration processing device that performs color calibration processing on images captured by a plurality of imaging devices, and relates to a color calibration processing device that has improved adaptability to changes in an illumination environment.

従来、複数のカメラで撮影した画像にコンピュータで画像処理を施して、人物等のオブジェクトを追跡監視する追跡監視システムが知られている。このような追跡監視システムでは、各カメラの特性、照明環境、設置条件などが違うと、各カメラで撮影した同一のオブジェクト（例えば、人物等）の画像の見え方、特にオブジェクトの色の見え方が、各カメラで異なることとなる。したがって、複数のカメラを用いてオブジェクトの追跡を行うためには、複数カメラ間で異なる色の見え方をする同一のオブジェクトの対応付けを図る、すなわち色の恒常性を維持する必要がある。従来の追跡監視システムでは、オブジェクトの色情報を用いて、複数カメラ間でのオブジェクトの色の校正処理を行うことにより、複数のカメラで撮影した同一のオブジェクトの対応付けが行われている。これにより、複数のカメラ間におけるオブジェクトの対応付けの精度が向上し、複数カメラ間でのオブジェクトの追跡精度の向上が図られている。 2. Description of the Related Art Conventionally, tracking and monitoring systems are known that perform image processing with a computer on images taken by a plurality of cameras to track and monitor objects such as people. In such a tracking and monitoring system, if the characteristics, lighting environment, installation conditions, etc. of each camera are different, how the image of the same object (for example, person) taken by each camera looks, particularly how the color of the object looks However, this is different for each camera. Therefore, in order to track an object using a plurality of cameras, it is necessary to match the same object that looks different colors among the plurality of cameras, that is, to maintain color constancy. In the conventional tracking and monitoring system, the object color information is calibrated between the plurality of cameras using the object color information, thereby associating the same object photographed by the plurality of cameras. As a result, the accuracy of associating objects between a plurality of cameras is improved, and the tracking accuracy of objects between the plurality of cameras is improved.

このような追跡監視システムでは、例えば、照明環境の変化があった場合に、照明環境の変化に応じてオブジェクトの色情報を更新する必要がある。従来、照明環境の変化を検出する方法として、画像の変化を検出するために2つの画像領域の対応するピクセル間の偏差を検出する方法が知られている（例えば、特許文献１参照）。また、照明環境の変化を検出する他の方法として、新たなシーンの始まりを検出するために映像を格納し、映像信号の代表値を用いてシーン変化の検出を実現する方法が知られている（例えば、特許文献２参照）。また、照明環境の変化を検出する他の方法として、多くの画像の特性を基に、個々の画像の特徴ベクトルを作成し、各ベクトルの違いを計算して得られた値（オブジェクトの特徴を持つ値）がそれぞれの画像に対して変化したときシーンの変化を検出する方法が知られている（例えば、特許文献３参照）。
米国特許第４７７９０９５号明細書米国特許第４８２３１８４号明細書米国特許第４９１２７７０号明細書 In such a tracking and monitoring system, for example, when there is a change in the lighting environment, it is necessary to update the color information of the object in accordance with the change in the lighting environment. Conventionally, as a method for detecting a change in lighting environment, a method for detecting a deviation between corresponding pixels in two image regions in order to detect a change in an image is known (for example, see Patent Document 1). As another method for detecting a change in lighting environment, a method is known in which a video is stored to detect the start of a new scene and a scene change is detected using a representative value of the video signal. (For example, refer to Patent Document 2). Another method for detecting changes in the lighting environment is to create feature vectors for individual images based on the characteristics of many images and calculate the differences between the vectors (object features). There is known a method of detecting a change in a scene when the value of the image has changed for each image (see, for example, Patent Document 3).
US Pat. No. 4,777,095 US Pat. No. 4,823,184 U.S. Pat. No. 4,912,770

しかしながら、従来の追跡監視システムでは、例えば、追跡対象のオブジェクトが追加されると、それに伴ってオブジェクトの色情報が追加される。この場合、新たに追加されたオブジェクトと同様のオブジェクトの色情報をすでに保持している場合であっても、オブジェクトの追加にともなってオブジェクトの色情報が追加される。このように、色校正処理に不用なオブジェクトの色情報まで追加されると、オブジェクトの色情報が過度に多くなるという問題があった。すなわち、オブジェクトの色情報が増加すると、色校正処理に用いる情報量が多くなるため、色校正処理に要する時間が長くなり、色校正処理の動作も不安定になるという問題があった。 However, in the conventional tracking monitoring system, for example, when an object to be tracked is added, color information of the object is added accordingly. In this case, even if the color information of the same object as the newly added object is already held, the color information of the object is added as the object is added. As described above, when even the color information of an object unnecessary for the color proofing process is added, there is a problem that the color information of the object becomes excessively large. That is, when the color information of the object increases, the amount of information used for the color proofing process increases, so that the time required for the color proofing process becomes long and the operation of the color proofing process becomes unstable.

また、照明環境が変化した場合には、それまで使用していたオブジェクトの色情報が使用できなくなり、その分だけ不用な色情報が増えるという問題があった。そして、照明環境が変化したときには、すぐにその変化に対応して、新しい色情報を入手する必要があるが、従来の照明環境の変化の検出方法では、計算負荷が非常に大きく、リアルタイム処理に適していないという問題があった。 Further, when the lighting environment changes, there is a problem that the color information of the object that has been used until then cannot be used, and unnecessary color information increases accordingly. When the lighting environment changes, it is necessary to obtain new color information immediately in response to the change. However, the conventional detection method of the lighting environment change has a very heavy calculation load, and it is difficult to perform real-time processing. There was a problem that it was not suitable.

本発明は、上記従来の問題を解決するためになされたもので、計算負荷が小さく、照明環境の変化にもリアルタイムで対応することのできる色校正処理装置を提供することを目的とする。 The present invention has been made to solve the above-described conventional problems, and it is an object of the present invention to provide a color proofing processing apparatus that has a small calculation load and can cope with changes in the lighting environment in real time.

本発明の色校正処理装置は、色校正の対象となるソースカラーの色情報と、色校正後のリファレンスカラーの色情報を含むカラーセット情報を記憶するカラーセット情報記憶手段と、前記カラーセットを用いて、複数の撮像装置で撮影された各ソース画像のうち前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正する色校正手段と、前記各ソース画像から特定のソース領域を選択する領域選択手段と、前記ソース領域を代表する色としてソース領域カラーを決定する領域カラー決定手段と、前記ソース領域カラーを用いて、前記カラーセットのソースカラーを更新するカラーセット更新手段とを備えた構成を有している。 The color calibration processing apparatus of the present invention comprises color set information storage means for storing color information of a source color to be color calibrated, color set information including color information of a reference color after color calibration, and the color set. A color calibrating unit that calibrates a color within a range similar to the source color to the reference color among the source images captured by a plurality of imaging devices, and a region for selecting a specific source region from the source images A configuration comprising: selection means; area color determination means for determining a source area color as a color representative of the source area; and color set update means for updating the source color of the color set using the source area color. have.

この構成により、ソース領域のソース領域カラーを用いて、カラーセットのソースカラーが置き換えられて更新される。したがって、追跡対象のオブジェクトが追加された場合や、照明環境に変化があった場合であっても、色校正処理に不用な情報を保持しなくてすむ。これにより、色校正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。したがって、色校正処理に要する時間が短くなり、色校正処理の動作が安定する。また、計算負荷が小さいので、照明環境の変化にもリアルタイムで対応できる。 With this configuration, the source color of the color set is replaced and updated using the source area color of the source area. Therefore, even when an object to be tracked is added or when the lighting environment is changed, it is not necessary to hold information unnecessary for the color calibration process. This reduces the amount of information held for the color proofing process and reduces the calculation load. Accordingly, the time required for the color calibration process is shortened, and the operation of the color calibration process is stabilized. In addition, since the calculation load is small, it is possible to deal with changes in the lighting environment in real time.

また、本発明の色校正処理装置では、前記領域選択手段は、前記複数のソース画像から、背景画像中を移動する前景オブジェクト（例えば、人物など）をソースオブジェクトとして抽出するソースオブジェクト抽出手段を備え、前記領域カラー決定手段は、前記ソースオブジェクトの平均色を、前記ソース領域カラーであるオブジェクトカラーとして決定するオブジェクトカラー決定手段を備え、色校正処理装置には、前記ソースオブジェクトと所定のリファレンスオブジェクトが類似するか否かを判定するオブジェクト類似判定手段が備えられ、前記カラーセット更新手段は、前記ソースオブジェクトと前記リファレンスオブジェクトが類似すると判定されたときに、前記ソースオブジェクトのオブジェクトカラーを用いて、前記カラーセットのソースカラーを更新する構成を有している。 In the color proofing processing apparatus of the present invention, the area selecting unit includes a source object extracting unit that extracts, from the plurality of source images, a foreground object (for example, a person) moving in a background image as a source object. The area color determining means includes object color determining means for determining an average color of the source object as an object color that is the source area color, and the color calibration processing apparatus includes the source object and a predetermined reference object. Object similarity determination means for determining whether or not they are similar is provided, and the color set update means uses the object color of the source object when it is determined that the source object and the reference object are similar. Color cell It has a configuration to update the door source color.

この構成により、追跡対象のオブジェクトが追加された場合であっても、ソースオブジェクトがリファレンスオブジェクトと類似するときには、ソースオブジェクトのオブジェクトカラー（ソースオブジェクトの平均色）を用いて、カラーセットのソースカラーが更新され、色校正処理に不用なカラーセットの情報を保持しなくてすむ。これにより、色校正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。 With this configuration, even when an object to be tracked is added, if the source object is similar to the reference object, the source color of the color set is set using the object color of the source object (the average color of the source object). It is not necessary to retain information on the color set that has been updated and is unnecessary for the color proofing process. This reduces the amount of information held for the color proofing process and reduces the calculation load.

また、本発明の色校正処理装置では、前記オブジェクト類似判定手段は、前記ソースオブジェクトと前記リファレンスオブジェクトの特徴量を比較することにより、前記ソースオブジェクトと前記リファレンスオブジェクトの類似度を判定する構成を有している。 In the color proofing processing apparatus of the present invention, the object similarity determination unit determines the similarity between the source object and the reference object by comparing feature quantities of the source object and the reference object. is doing.

この構成により、ソースオブジェクトとリファレンスオブジェクトの特徴量（例えば、移動速度、大きさ、縦横比など）を用いてオブジェクトの類似度を判定することができ、ソースオブジェクトとリファレンスオブジェクトの対応付けの精度が向上し、ソースオブジェクトの追跡精度が向上する。 With this configuration, it is possible to determine the degree of similarity between objects using feature quantities (for example, moving speed, size, aspect ratio, etc.) of the source object and the reference object, and the accuracy of the association between the source object and the reference object is improved. Improve the tracking accuracy of the source object.

また、本発明の色校正処理装置では、前記カラーセット更新手段は、前記ソースオブジェクトのオブジェクトカラーと前記カラーセットのソースカラーの重み付け平均処理で得られた重み付け平均色を、更新用のソースカラーとして用いる構成を有している。 In the color proofing processing apparatus of the present invention, the color set updating means uses the weighted average color obtained by the weighted average processing of the object color of the source object and the source color of the color set as a source color for update. It has the structure to be used.

この構成により、ソースオブジェクトのオブジェクトカラーとカラーセットのソースカラーとの色の違いが大きい場合あっても、重み付けの度合いを調整することにより、更新用のソースカラーの色を調整することができる。 With this configuration, even when the color difference between the object color of the source object and the source color of the color set is large, the color of the source color for update can be adjusted by adjusting the degree of weighting.

また、本発明の色校正処理装置では、前記カラーセット情報記憶手段には、前記ソースカラーの色情報を獲得した領域情報を含むカラーセット情報が記憶され、前記領域選択手段は、前記複数のソース画像から背景画像を獲得する背景画像獲得手段と、前記背景画像から、前記ソースカラーの領域情報に対応する対応領域（例えば、街路樹や道路など）を探索する対応領域探索手段を備え、前記領域カラー決定手段は、前記対応領域の平均色を、前記ソース領域カラーである対応領域カラーとして決定する対応領域カラー決定手段を備え、色校正処理装置には、前記対応領域カラーに基づいて、前記ソース画像における照明環境の変化を検出する照明変化検出手段が備えられ、前記カラーセット更新手段は、照明環境に変化があったと判定されたときに、前記対応領域カラーを用いて前記カラーセットのソースカラーを更新する構成を有している。 In the color calibration processing apparatus of the present invention, the color set information storage means stores color set information including area information obtained from the color information of the source color, and the area selection means includes the plurality of source information. Background image acquisition means for acquiring a background image from an image, and corresponding area search means for searching a corresponding area (for example, a roadside tree or a road) corresponding to the source color area information from the background image. The color determining unit includes a corresponding region color determining unit that determines an average color of the corresponding region as a corresponding region color that is the source region color, and the color calibration processing device includes the source color based on the corresponding region color. Illumination change detection means for detecting a change in the illumination environment in the image is provided, and the color set update means determines that the illumination environment has changed. When the has a structure that updates the source color of the color set by using the corresponding region color.

この構成により、照明環境に変化があった場合であっても、照明環境に変化があったと判定されたときには、対応領域カラーを用いてカラーセットのソースカラーが更新され、色校正処理に不用なカラーセットの情報を保持しなくてすむ。これにより、色校正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。 With this configuration, even if there is a change in the lighting environment, if it is determined that there is a change in the lighting environment, the source color of the color set is updated using the corresponding area color, which is unnecessary for color calibration processing. No need to keep color set information. This reduces the amount of information held for the color proofing process and reduces the calculation load.

また、本発明の色校正処理装置では、前記照明変化検出手段は、前記対応領域カラーと前記ソースカラーの色距離を算出する色距離算出手段と、前記対応領域カラーと前記ソースカラーの色距離が、所定のしきい色距離よりも大きいときに、照明環境に変化があったと判定する照明変化判定手段とを備えた構成を有している。 In the color proofing processing apparatus of the present invention, the illumination change detecting means includes a color distance calculating means for calculating a color distance between the corresponding area color and the source color, and a color distance between the corresponding area color and the source color. And an illumination change determination means for determining that the illumination environment has changed when the distance is larger than the predetermined threshold color distance.

この構成により、対応領域カラーとソースカラーの色距離（色空間における二つの色座標の間の距離）を用いて照明環境の変化の有無を判定することができ、従来の照明環境の変化の検出方法に比べて計算負荷が軽減され、照明環境の変化等への適応性が向上する。 With this configuration, it is possible to determine whether there is a change in the lighting environment using the color distance between the corresponding area color and the source color (the distance between two color coordinates in the color space), and to detect a change in the conventional lighting environment Compared with the method, the calculation load is reduced, and adaptability to changes in the lighting environment is improved.

また、本発明の色校正処理装置では、前記背景画像獲得手段は、所定の時間間隔で、前記複数のソース画像から前記背景画像を獲得し、前記照明変化検出手段は、前記所定の時間間隔で、前記ソース画像における照明環境の変化を検出する構成を有している。 In the color proofing processing apparatus of the present invention, the background image acquisition unit acquires the background image from the plurality of source images at a predetermined time interval, and the illumination change detection unit has the predetermined time interval. And a configuration for detecting a change in illumination environment in the source image.

この構成により、所定の時間間隔で、ソース画像から背景画像を獲得し、照明環境の変化を検出する。したがって、照明環境が変化する頻度に応じて所定の時間間隔を調整することにより、照明環境の変化の検出計算を行う頻度を調整することができ、常に照明環境の変化を検出する場合に比べて計算負荷が軽減される。 With this configuration, a background image is acquired from the source image at a predetermined time interval, and a change in the lighting environment is detected. Therefore, by adjusting the predetermined time interval according to the frequency of change of the lighting environment, the frequency of performing the detection calculation of the change of the lighting environment can be adjusted, as compared with the case where the change of the lighting environment is always detected. Calculation load is reduced.

また、本発明の色校正処理装置では、前記色校正手段は、前記対応領域を複数の小領域に分割する領域分割手段を備え、前記複数の小領域ごとに、前記対応領域カラーを用いて前記カラーセットのソースカラーを更新する構成を有している。 In the color proofing processing apparatus of the present invention, the color proofing means includes area dividing means for dividing the corresponding area into a plurality of small areas, and the corresponding area color is used for each of the plurality of small areas. It has a configuration for updating the source color of the color set.

この構成により、対応領域（例えば、街路樹）がそれぞれ異なる色を有する複数の小領域（例えば、葉の部分と幹の部分）から構成されているときには、複数の小領域ごとの対応領域カラーを用いてソースカラーを更新でき、対応領域の対応付けの精度が向上する。 With this configuration, when a corresponding area (for example, a roadside tree) is composed of a plurality of small areas having different colors (for example, a leaf portion and a trunk portion), the corresponding area color for each of the plurality of small areas is set. The source color can be updated by using this, and the accuracy of matching the corresponding areas is improved.

本発明の色校正処理方法では、色校正の対象となるソースカラーの色情報と、色校正後のリファレンスカラーの色情報を含むカラーセット情報を記憶し、複数の撮像装置で撮影された各ソース画像から特定のソース領域を選択し、前記ソース領域を代表する色としてソース領域カラーを決定し、前記ソース領域カラーを用いて、前記カラーセットのソースカラーを更新し、前記カラーセットを用いて、前記複数のソース画像のうち前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正する構成を有している。 In the color calibration processing method of the present invention, the color information of the source color to be color calibrated and the color set information including the color information of the reference color after color calibration are stored, and each source photographed by a plurality of imaging devices Select a specific source region from the image, determine a source region color as a color representative of the source region, update the source color of the color set using the source region color, and use the color set, Of the plurality of source images, a color within a range similar to the source color is calibrated to the reference color.

また、本発明の色校正処理方法では、前記ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出し、前記ソースオブジェクトの平均色を、前記ソース領域カラーであるオブジェクトカラーとして決定し、前記ソースオブジェクトと所定のリファレンスオブジェクトが類似するか否かを判定し、前記ソースオブジェクトと前記リファレンスオブジェクトが類似すると判定されたときに、前記ソースオブジェクトのオブジェクトカラーを用いて、前記カラーセットのソースカラーを更新する構成を有している。 In the color proofing processing method of the present invention, a foreground object moving in a background image is extracted as a source object from the source image, and an average color of the source object is determined as an object color that is the source region color. Determining whether or not the source object and a predetermined reference object are similar, and when it is determined that the source object and the reference object are similar, using the object color of the source object, the source of the color set It has a configuration for updating the color.

また、本発明の色校正処理方法では、前記ソースカラーの色情報を獲得した領域情報を含むカラーセット情報を記憶し、前記複数のソース画像から背景画像を獲得し、前記背景画像から、前記ソースカラーの領域情報に対応する対応領域を探索し、前記対応領域の平均色を、前記ソース領域カラーである対応領域カラーとして決定し、前記対応領域カラーに基づいて、前記ソース画像における照明環境の変化を検出し、照明環境に変化があったと判定されたときに、前記対応領域カラーを用いて前記カラーセットのソースカラーを更新する構成を有している。 In the color calibration processing method of the present invention, color set information including area information obtained from the color information of the source color is stored, a background image is obtained from the plurality of source images, and the source image is obtained from the background image. The corresponding area corresponding to the color area information is searched, the average color of the corresponding area is determined as the corresponding area color which is the source area color, and the lighting environment in the source image is changed based on the corresponding area color And when it is determined that the lighting environment has changed, the source color of the color set is updated using the corresponding area color.

本発明は、ソース領域カラーを用いてカラーセットのソースカラーを更新するカラーセット更新手段を設けることにより、色校正処理に不用なカラーセットの情報を保持しなくてすみ、計算負荷が軽減されて、照明環境の変化にリアルタイムで対応できるという効果を有する色校正処理装置を提供することができるものである。 In the present invention, by providing color set update means for updating the source color of the color set using the source area color, it is possible to avoid holding color set information unnecessary for the color proofing process, and the calculation load is reduced. Thus, it is possible to provide a color proofing processing apparatus having an effect of being able to cope with changes in the lighting environment in real time.

以下、本発明の実施の形態の色校正処理装置について、図１〜図９を用いて説明する。本実施の形態では、図２に示すように、二つのカメラで撮影された二つのカメラ画像にコンピュータで画像処理を施して、その二つのカメラ画像間をまたがって移動するオブジェクト（例えば、人物など）を追跡監視する追跡監視システムに用いられる色校正処理装置の場合を例示する。 Hereinafter, a color calibration processing apparatus according to an embodiment of the present invention will be described with reference to FIGS. In the present embodiment, as shown in FIG. 2, two camera images taken by two cameras are subjected to image processing by a computer, and an object that moves between the two camera images (for example, a person or the like) The case of a color proofing processing apparatus used in a tracking and monitoring system that tracks and monitors) is illustrated.

以下の説明では、二つのカメラをカメラＡおよびカメラＢという。そして、カメラＡで撮像された画像をソース画像Ａといい、カメラＢで撮影された画像をソース画像Ｂという。本実施の形態では、カメラＡとカメラＢは互いに離れた位置に配置されている（図２参照）。そして、監視対象である人物は、カメラＡのソース画像ＡとカメラＢのソース画像Ｂをまたがって移動する。 In the following description, the two cameras are referred to as camera A and camera B. An image captured by the camera A is referred to as a source image A, and an image captured by the camera B is referred to as a source image B. In the present embodiment, the camera A and the camera B are arranged at positions separated from each other (see FIG. 2). The person to be monitored moves across the source image A of the camera A and the source image B of the camera B.

本発明の実施の形態の色校正処理装置のブロック図を図１に示す。図１に示すように、色校正処理装置１は、二つのカメラ２（カメラＡおよびカメラＢ）が設置された監視場所に設置される二つのクライアントユニット３（クライアントユニットＡおよびクライアントユニットＢ）と、中央の監視場所に設置される一つのサーバユニット４を備えている。 FIG. 1 shows a block diagram of a color calibration processing apparatus according to an embodiment of the present invention. As shown in FIG. 1, the color calibration processing apparatus 1 includes two client units 3 (client unit A and client unit B) installed at a monitoring place where two cameras 2 (camera A and camera B) are installed. And one server unit 4 installed in a central monitoring place.

図１に示すように、クライアントユニット３は、ソース画像獲得部５と、領域選択部６と、領域カラー決定部７と、色校正部８と、照明変化検出部９と、カラーセット更新部１０と、カラーセット情報記憶部１１を備えている。また、サーバユニット４は、オブジェクト類似判定部１２と、リファレンスオブジェクト記憶部１３を備えている。 As shown in FIG. 1, the client unit 3 includes a source image acquisition unit 5, a region selection unit 6, a region color determination unit 7, a color calibration unit 8, an illumination change detection unit 9, and a color set update unit 10. And a color set information storage unit 11. The server unit 4 also includes an object similarity determination unit 12 and a reference object storage unit 13.

ソース画像獲得部５は、カメラ２（カメラＡまたはカメラＢ）からソース画像（ソース画像Ａまたはソース画像Ｂ）を獲得する。本実施の形態では、ソース画像獲得部５において、予め設定された所定のフレームレート（例えば、１秒間隔または５秒間隔など）でソース画像の獲得が行われる。 The source image acquisition unit 5 acquires a source image (source image A or source image B) from the camera 2 (camera A or camera B). In the present embodiment, the source image acquisition unit 5 acquires a source image at a predetermined frame rate (for example, every 1 second or every 5 seconds).

図３は、領域選択部６の構成を示すブロック図である。図３に示すように、領域選択部６は、ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出するソースオブジェクト抽出部１４を備えている。また、領域選択部６は、ソース画像から、ソースオブジェクトが切り出された後の背景画像を獲得する背景画像獲得部１５と、背景画像から、後述するカラーセットのソースカラーの領域情報に対応する対応領域を探索する対応領域探索部１６を備えている。本実施の形態では、背景画像の獲得は、所定の時間間隔（例えば、１分間隔または５分間隔）で行われる。このように、領域選択部６は、ソース画像から特定のソース領域（ソースオブジェクト、背景画像の対応領域）を選択できるように構成されている。 FIG. 3 is a block diagram showing a configuration of the region selection unit 6. As shown in FIG. 3, the region selection unit 6 includes a source object extraction unit 14 that extracts, from the source image, a foreground object that moves in the background image as a source object. The area selection unit 6 also obtains a background image acquisition unit 15 that acquires a background image after the source object is cut out from the source image, and a correspondence corresponding to the source color area information of the color set described later from the background image. A corresponding area search unit 16 for searching for an area is provided. In the present embodiment, the background image is acquired at a predetermined time interval (for example, every 1 minute or every 5 minutes). As described above, the area selection unit 6 is configured to be able to select a specific source area (a corresponding area of the source object and the background image) from the source image.

図４は、領域カラー決定部７の構成を示すブロック図である。図４に示すように、領域カラー決定部７は、ソースオブジェクトの平均色を算出し、オブジェクトカラーとして決定するオブジェクトカラー決定部１７を備えている。例えば、ソースオブジェクトが様々な色を有している場合には、ソースオブジェクトの平均色は、輝度に対応するグレースケールの色情報となる。あるいは、ソースオブジェクトの平均色は、ＲＧＢのカラー情報のそれぞれの平均色を持つ色情報を持ってもよい。また、領域カラー決定部７は、対応領域の平均色を算出し、対応領域カラーとして決定する対応領域カラー決定部１８を備えている。例えば、対応領域がほぼ一様な色を有している場合には、対応領域の平均色は、ほぼ一様な色を代表する中心的な色の色情報となる。すなわち、対応領域の平均色は、対応領域の代表色であるともいえる。この対応領域の代表色としては、対応領域の平均色のほかに、例えば、対応領域に含まれる色の最繁値（最も頻繁に現れる色）が用いられてもよい。このように、領域カラー決定部７は、ソース領域（ソースオブジェクト、対応領域）を代表する色として、ソース領域カラー（ソースオブジェクトカラー、対応領域カラー）を決定できるように構成されている。 FIG. 4 is a block diagram showing a configuration of the area color determination unit 7. As shown in FIG. 4, the area color determination unit 7 includes an object color determination unit 17 that calculates an average color of the source object and determines an object color. For example, when the source object has various colors, the average color of the source object is gray scale color information corresponding to the luminance. Alternatively, the average color of the source object may have color information having each average color of RGB color information. The region color determination unit 7 includes a corresponding region color determination unit 18 that calculates an average color of the corresponding region and determines the corresponding region color. For example, when the corresponding area has a substantially uniform color, the average color of the corresponding area is color information of a central color that represents the substantially uniform color. That is, it can be said that the average color of the corresponding area is the representative color of the corresponding area. As the representative color of the corresponding area, for example, the most frequent value (the color that appears most frequently) of colors included in the corresponding area may be used in addition to the average color of the corresponding area. As described above, the area color determination unit 7 is configured to be able to determine the source area color (source object color, corresponding area color) as a color representative of the source area (source object, corresponding area).

図５は、色校正部８の構成を示すブロック図である。図５に示すように、色校正部８は、ソースオブジェクトのオブジェクト情報（オブジェクトの色情報や位置情報等）が格納されるソースオブジェクト格納部１９を備えている。また、色校正部８は、対応領域の対応領域情報（対応領域の色情報や位置情報等）が格納される対応領域格納部２０と、対応領域を複数の小領域に分割する領域分割部２１を備えている。また、色校正部８は、ソース画像の特定のソース領域（ソースオブジェクト、対応領域または小領域）のうち、ソースカラーと類似範囲内の色を有する領域を探索する類似領域探索部２２と、探索された領域の色を、後述するカラーセットのリファレンスカラーに置換する領域色置換部２３を備えている。このように、色校正部８は、カラーセット情報記憶部１１に記憶されたカラーセット情報を用いて、ソース画像（ソース画像Ａまたはソース画像Ｂ）のうち、ソースカラーと類似範囲内の色を、リファレンスカラーに校正できるように構成されている。 FIG. 5 is a block diagram showing the configuration of the color proofing unit 8. As shown in FIG. 5, the color proofing unit 8 includes a source object storage unit 19 in which object information of the source object (object color information, position information, etc.) is stored. The color proofing unit 8 includes a corresponding region storage unit 20 that stores corresponding region information (such as color information and position information of the corresponding region) and a region dividing unit 21 that divides the corresponding region into a plurality of small regions. It has. In addition, the color proofing unit 8 searches for a region having a color within a similar range to the source color among specific source regions (source object, corresponding region, or small region) of the source image, and a search A region color replacement unit 23 is provided for replacing the color of the region thus obtained with a reference color of a color set to be described later. As described above, the color proofing unit 8 uses the color set information stored in the color set information storage unit 11 to select a color within the range similar to the source color in the source image (source image A or source image B). The reference color can be calibrated.

カラーセット情報記憶部１１には、例えば、図６に示すようなカラーセット情報が記憶されている。カラーセット情報は、色校正の対象となるソースカラーの色情報と、ソースカラーの色情報を獲得したもとの領域を示す領域情報と、色校正に用いるリファレンスカラーの色情報を有している。 For example, color set information as shown in FIG. 6 is stored in the color set information storage unit 11. The color set information includes color information of a source color to be color proofed, area information indicating an area from which the color information of the source color is acquired, and color information of a reference color used for color proofing. .

本実施の形態では、例えば、図２に示すソース画像（ソース画像Ａおよびソース画像Ｂ）のソースオブジェクト（例えば人物）から獲得したカラーセット情報として、グレースケールのソースカラーの色情報（グレー３、グレー２）が記憶されている。リファレンスカラーの色情報（グレー１）は、例えば、リファレンスオブジェクト記憶部１３に記憶されている人物のリファレンスオブジェクトから獲得される。なお、この場合、ソースカラーの領域情報は、ソースオブジェクト（例えば人物）がソース画面中を移動し、一定の領域に止まっているとは限らないため、カラーセット情報として記憶されない。 In this embodiment, for example, as color set information acquired from the source object (for example, a person) of the source image (source image A and source image B) shown in FIG. Gray 2) is stored. The color information (gray 1) of the reference color is acquired from, for example, a person reference object stored in the reference object storage unit 13. In this case, the source color area information is not stored as color set information because the source object (for example, a person) does not always move in the source screen and stay in a certain area.

また、本実施の形態では、例えば、図２に示すソース画像（ソース画像Ａおよびソース画像Ｂ）の背景画像の対応領域の小領域（例えば街路樹の葉の部分）から獲得したカラーセット情報として、緑色のソースカラーの色情報（緑８、緑６）と領域情報（２ｂ、４ｅ）が記憶されている。リファレンスカラーの色情報（緑７）は、例えば、リファレンスオブジェクト記憶部１３に記憶されている街路樹のリファレンスオブジェクトの葉の部分から獲得される。また、背景画像の対応領域の小領域（例えば街路樹の幹の部分）から獲得したカラーセット情報として、茶色のソースカラーの色情報（茶２、茶３）と領域情報（２ｃ、４ｆ）が記憶されている。リファレンスカラーの色情報（茶７）は、例えば、リファレンスオブジェクト記憶部１３に記憶されている街路樹のリファレンスオブジェクトの幹の部分から獲得される。 In the present embodiment, for example, as color set information acquired from a small region (for example, a leaf portion of a street tree) of a corresponding region of the background image of the source image (source image A and source image B) shown in FIG. , Green source color color information (green 8, green 6) and area information (2b, 4e) are stored. The color information (green 7) of the reference color is acquired from, for example, the leaf portion of the reference object of the roadside tree stored in the reference object storage unit 13. Further, as color set information acquired from a small area (for example, a trunk portion of a roadside tree) of a corresponding area of the background image, color information (brown 2, brown 3) of brown source color and area information (2c, 4f) are included. It is remembered. The color information (brown 7) of the reference color is acquired from the trunk portion of the reference object of the roadside tree stored in the reference object storage unit 13, for example.

図７は、オブジェクト類似判定部１２の構成を示すブロック図である。図７に示すように、オブジェクト類似判定部１２は、特徴量獲得部２４と、特徴量類似判定部２５を備えている。特徴量獲得部２４は、色校正部８のソースオブジェクト格納部１９からソースオブジェクトの特徴量を獲得するとともに、リファレンスオブジェクト記憶部１３からリファレンスオブジェクトの特徴量を獲得する。例えば、図２には、リファレンスオブジェクトの例が示される。本実施の形態では、リファレンスオブジェクトとして、例えば、街路樹や人物、道路などのオブジェクトが用いられる。そして、オブジェクトの特徴量として、例えば、オブジェクトの移動速度や大きさ、縦横比などの特徴量が使用される。特徴量類似判定部２５は、ソースオブジェクトの特徴量とリファレンスオブジェクトの特徴量を比較することによって、ソースオブジェクトとリファレンスオブジェクトの類似度を判定する。このように、オブジェクト類似判定部１２は、ソースオブジェクトとリファレンスオブジェクトが類似するか否かを判定できるように構成されている。 FIG. 7 is a block diagram illustrating a configuration of the object similarity determination unit 12. As illustrated in FIG. 7, the object similarity determination unit 12 includes a feature amount acquisition unit 24 and a feature amount similarity determination unit 25. The feature amount acquisition unit 24 acquires the feature amount of the source object from the source object storage unit 19 of the color proofing unit 8 and also acquires the feature amount of the reference object from the reference object storage unit 13. For example, FIG. 2 shows an example of a reference object. In the present embodiment, for example, an object such as a roadside tree, a person, or a road is used as the reference object. As the feature amount of the object, for example, a feature amount such as a moving speed or size of the object, an aspect ratio, or the like is used. The feature amount similarity determination unit 25 determines the similarity between the source object and the reference object by comparing the feature amount of the source object with the feature amount of the reference object. As described above, the object similarity determination unit 12 is configured to be able to determine whether or not the source object and the reference object are similar.

図８は、照明変化検出部９の構成を示すブロック図である。図８に示すように、照明変化検出部９は、カラーセット情報記憶部１１からカラーセット情報を獲得するカラーセット情報獲得部２６と、カラーセット情報から対応領域（または小領域）に対応するソースカラーを獲得するソースカラー獲得部２７を備えている（図６参照）。また、照明変化検出部９は、対応領域の色情報（対応領域カラー）を獲得する対応領域カラー獲得部３４と、上記のソースカラーと対応領域カラーの色距離Ｄを最小二乗法等の比較手法を用いて計算する色距離計算部２９と、色距離Ｄが所定のしきい色距離Ｄｓよりも大きいときに照明変化があったと判定する照明変化判定部３０を備えている。このように、照明変化検出部９は、ソース画像における照明環境の変化を検出できるように構成されている。 FIG. 8 is a block diagram illustrating a configuration of the illumination change detection unit 9. As shown in FIG. 8, the illumination change detection unit 9 includes a color set information acquisition unit 26 that acquires color set information from the color set information storage unit 11, and a source corresponding to a corresponding region (or small region) from the color set information. A source color acquisition unit 27 for acquiring colors is provided (see FIG. 6). In addition, the illumination change detection unit 9 includes a corresponding region color acquisition unit 34 that acquires color information (corresponding region color) of the corresponding region, and a method of comparing the color distance D between the source color and the corresponding region color, such as a least square method. And a lighting change determination unit 30 that determines that there has been a lighting change when the color distance D is greater than a predetermined threshold color distance Ds. Thus, the illumination change detection unit 9 is configured to detect a change in the illumination environment in the source image.

本実施の形態では、ソースカラーと対応領域カラーの色距離Ｄは、例えば、下記の式１によって計算される。ここでは、ソースカラーのＨＳＶ色空間における座標を（ｈ１、ｓ１、ｖ１）とし、対応領域カラーのＨＳＶ色空間における座標を（ｈ２、ｓ２、ｖ２）とする。
Ｄ＝｛（ｈ１−ｈ２）²＋（ｓ１−ｓ２）²＋（ｖ１−ｖ２）²｝^0.5 （式１） In the present embodiment, the color distance D between the source color and the corresponding region color is calculated by, for example, the following Equation 1. Here, the coordinates of the source color in the HSV color space are (h1, s1, v1), and the coordinates of the corresponding color in the HSV color space are (h2, s2, v2).
D = {(h1-h2) ² + (s1-s2) ² + (v1-v2) ² } ^0.5 (Formula 1)

図９は、カラーセット更新部１０の構成を示すブロック図である。図９に示すように、カラーセット更新部１０は、カラーセット情報獲得部３１と、ソースカラー獲得部３２と、ソース領域情報獲得部３３と、領域カラー獲得部３４と、重み付け計算部３５と、ソースカラー置換部３６を備えている。 FIG. 9 is a block diagram illustrating a configuration of the color set update unit 10. As shown in FIG. 9, the color set update unit 10 includes a color set information acquisition unit 31, a source color acquisition unit 32, a source area information acquisition unit 33, an area color acquisition unit 34, a weight calculation unit 35, A source color replacement unit 36 is provided.

カラーセット更新部１０では、ソースオブジェクトとリファレンスオブジェクトが類似すると判定されたときに、ソース領域情報獲得部３３によって、ソースオブジェクトのオブジェクト情報が獲得され、領域カラー獲得部３４によって、ソースオブジェクトのオブジェクトカラーが獲得される。また、カラーセット情報獲得部３１で、カラーセット情報が獲得され、ソースカラー獲得部３２によって、ソースオブジェクトに対応するソースカラーが獲得される。そして、重み付け計算部３５において、オブジェクトカラーとソースカラーの重み付け平均処理が行われ、ソースカラー置換部３６において、重み付け平均処理前の古いソースカラーが、重み付け平均処理後の新しいソースカラーに置換される。このようにカラーセット更新部１０は、ソースオブジェクトのオブジェクトカラーを用いて、カラーセットのソースカラーを自動的に更新できるように構成されている。 In the color set update unit 10, when it is determined that the source object and the reference object are similar, the source region information acquisition unit 33 acquires the object information of the source object, and the region color acquisition unit 34 acquires the object color of the source object. Is earned. Further, the color set information acquisition unit 31 acquires color set information, and the source color acquisition unit 32 acquires the source color corresponding to the source object. Then, the weighting calculation unit 35 performs a weighted average process of the object color and the source color, and the source color replacement unit 36 replaces the old source color before the weighted average process with a new source color after the weighted average process. . As described above, the color set update unit 10 is configured to automatically update the source color of the color set using the object color of the source object.

本実施の形態では、重み付け計算部３５において、オブジェクトカラーとソースカラーの重み付け平均処理が下記の式２を用いて行われる。ここで、Ｃｓは、重み付け平均処理を行う前の（更新前の）カラーセットのソースカラーの色情報であり、Ｃｏは、オブジェクトカラーの色情報である。また、Ａは、重み付け係数（０≦Ａ≦１）である。そして、Ｃｓ’が、重み付け平均処理によって得られた（更新後の）カラーセットのソースカラーの色情報である。
Ｃｓ’＝（１−Ａ）×Ｃｓ＋Ａ×Ｃｏ（式２） In the present embodiment, the weighting calculation unit 35 performs weighted average processing of the object color and the source color using the following Equation 2. Here, Cs is the color information of the source color of the color set before performing the weighted averaging process (before the update), and Co is the color information of the object color. A is a weighting coefficient (0 ≦ A ≦ 1). Cs ′ is the color information of the source color of the color set (after update) obtained by the weighted average process.
Cs ′ = (1−A) × Cs + A × Co (Formula 2)

また、カラーセット更新部１０では、ソース画像において照明環境の変化があったと判定されたときに、ソース領域情報獲得部３３によって、対応領域の対応領域情報が獲得され、領域カラー獲得部３４によって、対応領域の対応領域カラーが獲得される。また、カラーセット情報獲得部３１で、カラーセット情報が獲得され、ソースカラー獲得部３２によって、対応領域に対応するソースカラーが獲得される。そして、上記と同様にして、重み付け計算部３５において、オブジェクトカラーとソースカラーの重み付け平均処理が行われ、ソースカラー置換部３６において、重み付け平均処理前の古いソースカラーが、重み付け平均処理後の新しいソースカラーに置換される。この場合、上記の式２におけるＣｏとして、オブジェクトカラーの色情報の代わりに、対応領域カラー（対応領域の平均色）が用いられる。このようにカラーセット更新部１０は、対応領域の対応領域カラーを用いて、カラーセットのソースカラーを自動的に更新できるように構成されている。 Further, in the color set update unit 10, when it is determined that the lighting environment has changed in the source image, the corresponding region information of the corresponding region is acquired by the source region information acquisition unit 33, and the region color acquisition unit 34 The corresponding area color of the corresponding area is obtained. Further, the color set information acquisition unit 31 acquires color set information, and the source color acquisition unit 32 acquires the source color corresponding to the corresponding region. In the same manner as described above, the weighting calculation unit 35 performs the weighted average process of the object color and the source color, and the source color replacement unit 36 replaces the old source color before the weighted average process with the new one after the weighted average process. Replaced with the source color. In this case, the corresponding area color (the average color of the corresponding area) is used as Co in Equation 2 instead of the color information of the object color. As described above, the color set update unit 10 is configured to automatically update the source color of the color set using the corresponding area color of the corresponding area.

以上のように構成された色校正処理装置１について、図１０〜図１５を用いてその動作を説明する。 The operation of the color calibration processing apparatus 1 configured as described above will be described with reference to FIGS.

まず、本発明の実施の形態の色校正処理装置１において、ソースオブジェクトのオブジェクトカラーを用いて、色校正処理およびソースカラーの更新が行われるときの動作について、図１０〜図１２を用いて説明する。 First, in the color proofing processing apparatus 1 according to the embodiment of the present invention, operations when color proofing processing and source color updating are performed using the object color of the source object will be described with reference to FIGS. To do.

図１０は、本実施の形態の色校正処理装置１において、ソースオブジェクトのオブジェクトカラーを用いて、色校正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図である。本実施の形態では、クライアントユニット３のソース画像獲得部５は、常時、所定のフレームレートで、カメラ２からソース画像を獲得している。 FIG. 10 is a flowchart showing the overall flow when the color calibration processing and the source color update processing are performed using the object color of the source object in the color calibration processing apparatus 1 of the present embodiment. In the present embodiment, the source image acquisition unit 5 of the client unit 3 always acquires a source image from the camera 2 at a predetermined frame rate.

図１０に示すように、ソースオブジェクトのオブジェクトカラーを用いて、色校正処理およびソースカラーの更新処理を行うときには、まず、領域選択部６のソースオブジェクト抽出部１４において、ソース画像からソースオブジェクトの抽出を行う（Ｓ１１）。つぎに、領域カラー決定部７のオブジェクトカラー決定部１７において、ソースオブジェクトの代表色（例えば、ソースオブジェクトの平均色）をオブジェクトカラーとして決定する（Ｓ１２）。そして、色校正部８において、ソースオブジェクトのオブジェクトカラーを用いて、色校正処理が行われる（Ｓ１３）。 As shown in FIG. 10, when performing color calibration processing and source color update processing using the object color of the source object, first, the source object extraction unit 14 of the region selection unit 6 extracts the source object from the source image. (S11). Next, the object color determining unit 17 of the area color determining unit 7 determines the representative color of the source object (for example, the average color of the source object) as the object color (S12). Then, the color calibration unit 8 performs color calibration processing using the object color of the source object (S13).

図１１は、色校正部８において、ソースオブジェクトのオブジェクトカラーを用いて、色校正処理（Ｓ１３）を行うときの流れを示すフロー図である。図１１に示すように、オブジェクトカラーを用いて色校正を行うときには、まず、ソースオブジェクト格納部１９に、ソースオブジェクトのオブジェクト情報が格納される（Ｓ１３１）。そして、類似領域探索部２２は、オブジェクト情報からソースオブジェクトのオブジェクトカラーの色情報を獲得するとともに（Ｓ１３２）、カラーセット情報記憶部１１からカラーセットのソースカラーの色情報を獲得する（Ｓ１３３）。 FIG. 11 is a flowchart showing a flow when the color proofing unit 8 performs the color proofing process (S13) using the object color of the source object. As shown in FIG. 11, when performing color calibration using an object color, first, object information of the source object is stored in the source object storage unit 19 (S131). Then, the similar area search unit 22 acquires the color information of the object color of the source object from the object information (S132), and acquires the color information of the source color of the color set from the color set information storage unit 11 (S133).

そして、類似領域探索部２２では、ソースカラーと類似範囲内の色を有するソースオブジェクトの探索が行われる（Ｓ１３４）。ソースカラーと類似範囲内の色を有するソースオブジェクトが見つかった場合には、領域色置換部２３において、ソースオブジェクトの色がそのソースカラーに対応するリファレンスカラーに置換され（Ｓ１３５）、色校正処理が終了する。一方、ソースカラーと類似範囲内の色を有するソースオブジェクトが見つからなかった場合には、色の置換を行わずに処理が終了する。 Then, the similar area search unit 22 searches for a source object having a color within the similar range to the source color (S134). When a source object having a color in the range similar to the source color is found, the area color replacement unit 23 replaces the color of the source object with a reference color corresponding to the source color (S135), and the color calibration process is performed. finish. On the other hand, if a source object having a color within the similar range to the source color is not found, the process ends without performing color replacement.

上記のような色校正処理（Ｓ１３）が行われた後、サーバユニット４のオブジェクト類似判定部１２の特徴量獲得部２４は、ソースオブジェクトとリファレンスオブジェクトの特徴量を獲得する（Ｓ１４）。そして、オブジェクト類似判定部１２の特徴類似判定部において、ソースオブジェクトとリファレンスオブジェクトの特徴量に基づいて、ソースオブジェクトとリファレンスオブジェクトの類似判定が行われる（Ｓ１５）。 After the color proofing process (S13) as described above is performed, the feature amount acquisition unit 24 of the object similarity determination unit 12 of the server unit 4 acquires the feature amounts of the source object and the reference object (S14). Then, in the feature similarity determination unit of the object similarity determination unit 12, the similarity determination between the source object and the reference object is performed based on the feature amounts of the source object and the reference object (S15).

ソースオブジェクトとリファレンスオブジェクトが類似すると判定された場合には、クライアントユニット３のカラーセット更新部１０において、ソースオブジェクトのオブジェクトカラーを用いて、ソースカラーの更新処理（Ｓ１６）が行われる。一方、ソースオブジェクトとリファレンスオブジェクトが類似しないと判定された場合には、ソースカラーの更新を行うことなく処理を終了する。 If it is determined that the source object and the reference object are similar, the color set update unit 10 of the client unit 3 performs source color update processing (S16) using the object color of the source object. On the other hand, if it is determined that the source object and the reference object are not similar, the process is terminated without updating the source color.

図１２は、カラーセット更新部１０において、ソースオブジェクトのオブジェクトカラーを用いて、ソースカラーの更新処理（Ｓ１６）を行うときの流れを示すフロー図である。図１２に示すように、オブジェクトカラーを用いてソースカラーの更新を行うときには、まず、カラーセット更新部１０のソース領域情報獲得部３３によって、ソースオブジェクトのオブジェクト情報が獲得される（Ｓ１６１）。そして、領域カラー獲得部３４によって、ソースオブジェクトのオブジェクト情報からオブジェクトカラーが獲得される（Ｓ１６２）。また、カラーセット情報獲得部３１では、カラーセット情報記憶部１１からカラーセット情報が獲得される（Ｓ１６３）。そして、ソースカラー獲得部３２において、カラーセット情報からソースオブジェクトに対応するソースカラーが検索され獲得される（Ｓ１６４）。 FIG. 12 is a flowchart showing a flow when the color set update unit 10 performs the source color update process (S16) using the object color of the source object. As shown in FIG. 12, when updating the source color using the object color, first, the object information of the source object is acquired by the source area information acquisition unit 33 of the color set update unit 10 (S161). Then, the area color acquisition unit 34 acquires the object color from the object information of the source object (S162). The color set information acquisition unit 31 acquires color set information from the color set information storage unit 11 (S163). Then, the source color acquisition unit 32 searches for and acquires the source color corresponding to the source object from the color set information (S164).

その後、カラーセット更新部１０の重み付け計算部３５において、オブジェクトカラーとソースカラーの重み付け平均処理が行われ（Ｓ１６５）、オブジェクトカラーとソースカラーから新しいソースカラーが求められる。そして、ソースカラー置換部３６において、カラーセットの古いソースカラーが、新しいソースカラーに置換される（Ｓ１６６）。このようにして、カラーセットのソースカラーが自動的に更新される。 Thereafter, the weight calculation unit 35 of the color set update unit 10 performs weighted averaging processing of the object color and the source color (S165), and a new source color is obtained from the object color and the source color. Then, the source color replacement unit 36 replaces the old source color of the color set with a new source color (S166). In this way, the source color of the color set is automatically updated.

つぎに、本発明の実施の形態の色校正処理装置１において、対応領域の対応領域カラーを用いて、色校正処理およびソースカラーの更新が行われるときの動作について、図１３〜図１５を用いて説明する。 Next, in the color calibration processing apparatus 1 according to the embodiment of the present invention, the operation when the color calibration processing and the source color are updated using the corresponding region color of the corresponding region will be described with reference to FIGS. I will explain.

図１３は、本実施の形態の色校正処理装置１において、背景画像の対応領域の対応領域カラーを用いて、色校正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図である。本実施の形態でも、クライアントユニット３のソース画像獲得部５は、常時、所定のフレームレートで、カメラ２からソース画像を獲得している。 FIG. 13 is a flowchart showing the overall flow when the color calibration processing and the source color update processing are performed using the corresponding area color of the corresponding area of the background image in the color calibration processing apparatus 1 of the present embodiment. is there. Also in this embodiment, the source image acquisition unit 5 of the client unit 3 always acquires a source image from the camera 2 at a predetermined frame rate.

図１３に示すように、対応領域の対応領域カラーを用いて、色校正処理およびソースカラーの更新処理を行うときには、まず、領域選択部６の背景画像獲得部１５において、ソース画像から背景画像の獲得が行われる（Ｓ２１）。この背景画像の獲得は、所定の時間間隔（例えば、１分間隔または５分間隔）で行われる。つぎに、領域選択部６の対応領域探索部１６において、背景画像から、カラーセットのソースカラーの領域情報に対応する対応領域の探索が行われる（Ｓ２２）。そして、領域カラー決定部７の対応領域カラー決定部１８において、対応領域の代表色（例えば、対応領域の平均色）が計算され、対応領域カラーとして決定される（Ｓ２３）。 As shown in FIG. 13, when performing color calibration processing and source color update processing using the corresponding region color of the corresponding region, first, the background image acquisition unit 15 of the region selection unit 6 converts the background image from the source image. Acquisition is performed (S21). The background image is acquired at a predetermined time interval (for example, every 1 minute or every 5 minutes). Next, the corresponding area search unit 16 of the area selection unit 6 searches the background image for a corresponding area corresponding to the source color area information of the color set (S22). Then, the corresponding region color determining unit 18 of the region color determining unit 7 calculates the representative color of the corresponding region (for example, the average color of the corresponding region) and determines it as the corresponding region color (S23).

つづいて、照明変化検出部９において、カラーセットのソースカラーと対応領域カラーがそれぞれ獲得されて、カラーセットのソースカラーと対応領域カラーとの色距離Ｄが色距離計算部２９で計算される（Ｓ２４）。そして、照明変化判定部３０において、色距離Ｄがしきい色距離Ｄｓよりも大きいか否かの判定が行われる（Ｓ２５）。その判定の結果、色距離Ｄがしきい色距離Ｄｓよりも大きい場合には、照明環境に変化があったと判定され、ソースカラーの更新処理（Ｓ２６）が行われる。一方、色距離Ｄがしきい色距離Ｄｓ以下であった場合には、照明環境に変化がなかったと判定され、ソースカラーの更新処理が行われない。 Subsequently, in the illumination change detection unit 9, the source color and the corresponding region color of the color set are acquired, and the color distance D between the source color and the corresponding region color of the color set is calculated by the color distance calculation unit 29 ( S24). Then, the illumination change determination unit 30 determines whether or not the color distance D is greater than the threshold color distance Ds (S25). As a result of the determination, if the color distance D is greater than the threshold color distance Ds, it is determined that the lighting environment has changed, and the source color update process (S26) is performed. On the other hand, when the color distance D is less than or equal to the threshold color distance Ds, it is determined that the illumination environment has not changed, and the source color update process is not performed.

図１４は、カラーセット更新部１０において、対応領域の対応領域カラーを用いて、ソースカラーの更新処理（Ｓ２６）を行うときの流れを示すフロー図である。図１４に示すように、対応領域カラーを用いてソースカラーの更新を行うときには、まず、カラーセット更新部１０のソース領域情報獲得部３３によって、対応領域の対応領域情報が獲得される（Ｓ２６１）。そして、領域カラー獲得部３４によって、対応領域の対応領域情報から対応領域カラーが獲得される（Ｓ２６２）。また、カラーセット情報獲得部３１では、カラーセット情報記憶部１１からカラーセット情報が獲得される（Ｓ２６３）。そして、ソースカラー獲得部３２において、カラーセット情報から対応領域に対応するソースカラーが検索され獲得される（Ｓ２６４）。 FIG. 14 is a flowchart showing a flow when the color set update unit 10 performs the source color update process (S26) using the corresponding area color of the corresponding area. As shown in FIG. 14, when the source color is updated using the corresponding area color, first, the corresponding area information of the corresponding area is acquired by the source area information acquisition unit 33 of the color set update unit 10 (S261). . Then, the corresponding area color is acquired from the corresponding area information of the corresponding area by the area color acquiring unit 34 (S262). The color set information acquisition unit 31 acquires color set information from the color set information storage unit 11 (S263). Then, the source color acquisition unit 32 searches for and acquires the source color corresponding to the corresponding area from the color set information (S264).

その後、カラーセット更新部１０の重み付け計算部３５において、対応領域カラーとソースカラーの重み付け平均処理が行われ（Ｓ２６５）、対応領域カラーとソースカラーから新しいソースカラーが求められる。そして、ソースカラー置換部３６において、カラーセットの古いソースカラーが、新しいソースカラーに置換される（Ｓ２６６）。このようにして、カラーセットのソースカラーが自動的に更新される。 Thereafter, the weighting calculation unit 35 of the color set update unit 10 performs weighted average processing of the corresponding area color and the source color (S265), and a new source color is obtained from the corresponding area color and the source color. Then, the source color replacement unit 36 replaces the old source color of the color set with a new source color (S266). In this way, the source color of the color set is automatically updated.

上記のように一のカラーセットについて、ソースカラーの更新処理（Ｓ２６）が完了した後、すべてのカラーセットについて、ソースカラーの更新が完了したか否かの判断が行われる（Ｓ２７）。その判断の結果、すべてのカラーセットについて、カラーセットの更新が完了していないと判断された場合には、再び、背景画像から、カラーセットのソースカラーの領域情報に対応する対応領域の探索し（Ｓ２２）、平均色を計算する（Ｓ２３）。そして、照明環境の変化の有無についての判定を行い（Ｓ２４〜Ｓ２５）、残りのカラーセットについてソースカラー更新処理（Ｓ２６）を繰り返し行う。 After the source color update process (S26) is completed for one color set as described above, it is determined whether the source color update is completed for all color sets (S27). As a result of the determination, if it is determined that the update of the color set has not been completed for all the color sets, the corresponding area corresponding to the area information of the source color of the color set is searched again from the background image. (S22) An average color is calculated (S23). Then, it is determined whether or not there is a change in the lighting environment (S24 to S25), and the source color update process (S26) is repeatedly performed for the remaining color sets.

そして、上記のようにして更新されたカラーセットを用いて、色校正部８において色校正処理が行われる（Ｓ２８）。 Then, using the color set updated as described above, the color calibration unit 8 performs color calibration processing (S28).

図１５は、色校正部８において、対応領域の対応領域カラーを用いて、色校正処理（Ｓ２８）を行うときの流れを示すフロー図である。図１５に示すように、対応領域カラーを用いて色校正を行うときには、まず、対応領域格納部２０に、対応領域の対応領域情報が格納される（Ｓ２８１）。 FIG. 15 is a flowchart showing a flow when the color calibration unit 8 performs the color calibration process (S28) using the corresponding area color of the corresponding area. As shown in FIG. 15, when color calibration is performed using the corresponding area color, first, the corresponding area information of the corresponding area is stored in the corresponding area storage unit 20 (S281).

つぎに、色校正部８の領域分割部２１において、対応領域を小領域に分割するか否かの判断が行われる（Ｓ２８２）。本実施の形態では、例えば、対応領域が街路樹のような複数の色の領域（例えば、葉の緑色の領域と幹の茶色の領域の二つの領域）から構成されている場合には、対応領域を小領域に分割する必要があると判断され、領域分割の処理が行われる（Ｓ２８３）。一方、対応領域が道路のように単一の色の領域（例えば、舗装面のグレーの領域）から構成されている場合には、対応領域を小領域に分割する必要はないと判断される。 Next, the region dividing unit 21 of the color proofing unit 8 determines whether or not to divide the corresponding region into small regions (S282). In the present embodiment, for example, if the corresponding area is composed of a plurality of color areas such as street trees (for example, two areas of a green area of a leaf and a brown area of a trunk) It is determined that it is necessary to divide the area into small areas, and area division processing is performed (S283). On the other hand, when the corresponding area is composed of a single color area (for example, a gray area of the pavement) like a road, it is determined that it is not necessary to divide the corresponding area into small areas.

その後、色校正部８の領域探索部において、格納された対応領域情報から、対応領域（または小領域）の対応領域カラーの色情報が獲得されるとともに（Ｓ２８４）、カラーセット情報記憶部１１から、カラーセットのソースカラーの色情報が獲得される（Ｓ２８５）。そして、類似領域探索部２２では、ソースカラーと類似範囲内の色を有する対応領域（または小領域）の探索が行われる（Ｓ２８６）。 Thereafter, in the area search unit of the color proofing unit 8, the color information of the corresponding area color of the corresponding area (or small area) is acquired from the stored corresponding area information (S 284), and from the color set information storage section 11. The color information of the source color of the color set is acquired (S285). Then, the similar area search unit 22 searches for a corresponding area (or small area) having a color within the similar range with the source color (S286).

その探索の結果、ソースカラーと類似範囲内の色を有する対応領域（または小領域）が見つかった場合には、領域色置換部２３において、対応領域（または小領域）の色がそのソースカラーに対応するリファレンスカラーに置換され（Ｓ２８７）、色校正処理が終了する。一方、ソースカラーと類似範囲内の色を有する対応領域（または小領域）が見つからなかった場合には、色の置換を行わずに処理が終了する。 As a result of the search, when a corresponding region (or small region) having a color within the range similar to the source color is found, the region color replacement unit 23 changes the color of the corresponding region (or small region) to the source color. The color is replaced with the corresponding reference color (S287), and the color calibration process ends. On the other hand, if no corresponding area (or small area) having a color within the range similar to the source color is found, the process ends without performing color replacement.

このような発明の実施の形態の色校正処理装置１によれば、ソース領域カラー（オブジェクトカラー、対応領域カラー）を用いてカラーセットのソースカラーを更新するカラーセット更新部１０を設けることにより、色校正処理に不用なカラーセットの情報を保持しなくてすみ、計算負荷が軽減されて、照明環境の変化にリアルタイムで対応することができる。 According to the color calibration processing apparatus 1 of the embodiment of the present invention, by providing the color set update unit 10 that updates the source color of the color set using the source area color (object color, corresponding area color), It is not necessary to hold information on color sets that are not necessary for color calibration processing, the calculation load is reduced, and changes in the lighting environment can be handled in real time.

すなわち、本実施の形態では、カラーセット更新部１０において、ソース領域（ソースオブジェクト、対応領域）のソース領域カラー（オブジェクトカラー、対応領域カラー）を用いて、カラーセットのソースカラーが置き換えられて更新される。したがって、追跡対象のオブジェクトが追加された場合や、照明環境に変化があった場合であっても、色校正処理に不用なカラーセットの情報を保持しなくてすむ。これにより、色校正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。したがって、色校正処理に要する時間が短くなり、色校正処理の動作が安定する。また、計算負荷が小さいので、照明環境の変化にもリアルタイムで対応できる。 That is, in the present embodiment, the color set update unit 10 uses the source area color (object color, corresponding area color) of the source area (source object, corresponding area) to update the color set by replacing the source color. Is done. Therefore, even when an object to be tracked is added or there is a change in the lighting environment, it is not necessary to hold information on a color set that is not necessary for the color calibration process. This reduces the amount of information held for the color proofing process and reduces the calculation load. Accordingly, the time required for the color calibration process is shortened, and the operation of the color calibration process is stabilized. In addition, since the calculation load is small, it is possible to deal with changes in the lighting environment in real time.

また、本実施の形態では、追跡対象のオブジェクトが追加された場合であっても、オブジェクト類似判定部１２において、ソースオブジェクトがリファレンスオブジェクトと類似するか否かの判定が行われる。そして、ソースオブジェクトとリファレンスオブジェクトが類似すると判定されたときには、カラーセット更新部１０において、ソースオブジェクトのオブジェクトカラー（ソースオブジェクトの平均色）を用いて、カラーセットのソースカラーが更新される。これにより、色校正処理に不用なカラーセットの情報を保持しなくてすむ。したがって、色校正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。 In the present embodiment, even when an object to be tracked is added, the object similarity determination unit 12 determines whether the source object is similar to the reference object. When it is determined that the source object and the reference object are similar, the color set update unit 10 updates the source color of the color set using the object color of the source object (the average color of the source object). As a result, it is not necessary to hold information on a color set that is not necessary for the color calibration process. Therefore, the amount of information held for the color proofing process can be reduced, and the calculation load is reduced.

また、本実施の形態では、オブジェクト類似判定部１２において、ソースオブジェクトとリファレンスオブジェクトの特徴量（例えば、移動速度、大きさ、縦横比など）を用いてオブジェクトの類似度を判定することができ、ソースオブジェクトとリファレンスオブジェクトの対応付けの精度が向上し、ソースオブジェクトの追跡精度が向上する。 Further, in the present embodiment, the object similarity determination unit 12 can determine the degree of similarity of objects using the feature quantities (for example, movement speed, size, aspect ratio, etc.) of the source object and the reference object, The accuracy of the correspondence between the source object and the reference object is improved, and the tracking accuracy of the source object is improved.

また、本実施の形態では、カラーセット更新部１０において、オブジェクトカラーとソースカラーの重み付け平均処理で得られた重み付け平均色が、更新用のソースカラーとして用いられる。これにより、ソースオブジェクトのオブジェクトカラーとカラーセットのソースカラーとの色の違いが大きい場合あっても、重み付けの度合いを調整することにより、更新用のソースカラーの色を調整することができる。 In the present embodiment, the color set update unit 10 uses the weighted average color obtained by the weighted average processing of the object color and the source color as the source color for update. Thus, even when the color difference between the object color of the source object and the source color of the color set is large, the color of the update source color can be adjusted by adjusting the degree of weighting.

また、本実施の形態では、照明環境に変化があった場合には、照明変化検出部９において、照明環境に変化があったと判定される。そして、照明環境に変化があったと判定されたときには、カラーセット更新部１０において、対応領域カラーを用いてカラーセットのソースカラーが更新される。これにより、色校正処理に不用なカラーセットの情報を保持しなくてすむ。したがって、色校正処理のために保持する情報量が少なくてすみ、計算負荷が軽減される。 In the present embodiment, when there is a change in the illumination environment, the illumination change detection unit 9 determines that the illumination environment has changed. When it is determined that the illumination environment has changed, the color set update unit 10 updates the source color of the color set using the corresponding area color. As a result, it is not necessary to hold information on a color set that is not necessary for the color calibration process. Therefore, the amount of information held for the color proofing process can be reduced, and the calculation load is reduced.

また、本実施の形態では、照明変化検出部９において、対応領域カラーとソースカラーの色距離（色空間における二つの色座標の間の距離）を用いて照明環境の変化の有無の判定が行われる。これにより、従来の照明環境の変化の検出方法に比べて計算負荷が軽減され、照明環境の変化等への適応性が向上する。 In the present embodiment, the illumination change detector 9 determines whether or not the illumination environment has changed using the color distance between the corresponding area color and the source color (the distance between two color coordinates in the color space). Is called. As a result, the calculation load is reduced as compared with the conventional method for detecting changes in the lighting environment, and adaptability to changes in the lighting environment is improved.

また、本実施の形態では、領域選択部６の背景画像獲得部１５において、所定の時間間隔（例えば、１分間隔または５分間隔）で、ソース画像から背景画像を獲得する。そして、照明変化検出において、その背景画像から照明環境の変化を検出する。したがって、照明環境が変化する頻度に応じて所定の時間間隔を調整することにより、照明環境の変化の検出計算を行う頻度を調整することができ、常に照明環境の変化を検出する場合に比べて計算負荷が軽減される。 In the present embodiment, the background image acquisition unit 15 of the region selection unit 6 acquires a background image from the source image at a predetermined time interval (for example, every 1 minute or every 5 minutes). In the illumination change detection, a change in the illumination environment is detected from the background image. Therefore, by adjusting the predetermined time interval according to the frequency of change of the lighting environment, the frequency of performing the detection calculation of the change of the lighting environment can be adjusted, as compared with the case where the change of the lighting environment is always detected. Calculation load is reduced.

また、本実施の形態では、色校正部８において、対応領域（例えば、街路樹）がそれぞれ異なる色を有する複数の小領域（例えば、葉の部分と幹の部分）から構成されているときには、複数の小領域ごとの対応領域カラーを用いてソースカラーが更新される。これにより、対応領域の対応付けの精度が向上する。 In the present embodiment, in the color proofing unit 8, when the corresponding region (for example, a roadside tree) is composed of a plurality of small regions (for example, a leaf portion and a trunk portion) having different colors, The source color is updated using the corresponding area color for each of the plurality of small areas. Thereby, the accuracy of association of the corresponding areas is improved.

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。 The embodiments of the present invention have been described above by way of example, but the scope of the present invention is not limited to these embodiments, and can be changed or modified according to the purpose within the scope of the claims. is there.

例えば、以上の説明では、撮像装置として、所定のフレームレートで静止画像の撮影を行うカメラ２の場合を例示して説明したが、本発明の範囲はこれに限定されるものではなく、常時、動画画像の撮影を行うカメラ（ビデオカメラ）であってもよい。 For example, in the above description, the case of the camera 2 that captures a still image at a predetermined frame rate is described as an example of the imaging device. However, the scope of the present invention is not limited to this, and It may be a camera (video camera) that takes a moving image.

また、以上の説明では、色校正処理装置１が、二つのクライアントユニット３と一つのサーバユニット４で構成された例について説明したが、本発明の範囲はこれに限定されるものではない。例えば、各クライアントユニット３がサーバユニット４の機能（オブジェクト類似判定手段、リファレンスオブジェクト記憶手段）を備えた構成であってもよい。 In the above description, the example in which the color proofing processing apparatus 1 includes two client units 3 and one server unit 4 has been described. However, the scope of the present invention is not limited to this. For example, each client unit 3 may be configured to have the functions of the server unit 4 (object similarity determination means, reference object storage means).

また、以上の説明では、撮像装置であるカメラ２が二つの場合を例示して説明したが、本発明の範囲はこれに限定されるものではなく、撮像装置が三つ以上の場合であっても同様に実施可能である。 In the above description, the case where there are two cameras 2 as imaging devices has been described as an example. However, the scope of the present invention is not limited to this, and there are three or more imaging devices. Can be similarly implemented.

また、以上の説明では、カメラＡおよびカメラＢの撮影領域が部分的に重複している場合を例示して説明したが（図２参照）、本発明の範囲はこれに限定されるものではなく、カメラＡおよびカメラＢの撮影領域が重複していない場合であっても同様に実施可能である。 In the above description, the case where the shooting areas of the camera A and the camera B partially overlap has been illustrated (see FIG. 2), but the scope of the present invention is not limited to this. Even if the shooting areas of the camera A and the camera B do not overlap, the same can be implemented.

また、以上の説明では、色校正処理装置１によって自動的にカラーセットの選択および更新が行われる例について説明したが、本発明の範囲はこれに限定されるものではなく、ユーザが手動でカラーセットの選択を行い、そのカラーセットの領域情報を用いてカラーセットの更新が行われても良い。 In the above description, the example in which the color calibration processing apparatus 1 automatically selects and updates the color set has been described. However, the scope of the present invention is not limited to this, and the user manually performs color selection. The set may be selected, and the color set may be updated using the area information of the color set.

以上のように、本発明にかかる色校正処理装置は、色校正処理に不用なカラーセットの情報を保持しなくてすみ、計算負荷が軽減されて、照明環境の変化にリアルタイムで対応できるという効果を有し、追跡監視システム等に用いられる色校正処理装置等として有用である。 As described above, the color calibration processing apparatus according to the present invention eliminates the need to hold information on color sets that are not necessary for color calibration processing, reduces the calculation load, and can respond to changes in the lighting environment in real time. And is useful as a color proofing processing device or the like used in a tracking and monitoring system.

本発明の実施の形態における色校正処理装置のブロック図1 is a block diagram of a color calibration processing apparatus according to an embodiment of the present invention. 本発明の実施の形態におけるカメラ画像を説明するための概略図Schematic for demonstrating the camera image in embodiment of this invention 本発明の実施の形態における領域選択部のブロック図Block diagram of a region selection unit in an embodiment of the present invention 本発明の実施の形態における領域カラー決定部のブロック図Block diagram of region color determination unit in the embodiment of the present invention 本発明の実施の形態における色校正部のブロック図Block diagram of a color proofing unit in an embodiment of the present invention 本発明の実施の形態におけるカラーセット情報を説明する表Table explaining color set information in the embodiment of the present invention 本発明の実施の形態におけるオブジェクト類似判定部のブロック図The block diagram of the object similarity determination part in embodiment of this invention 本発明の実施の形態における照明変化検出部のブロック図The block diagram of the illumination change detection part in embodiment of this invention 本発明の実施の形態におけるカラーセット更新部のブロック図The block diagram of the color set update part in embodiment of this invention 本発明の実施の形態において、ソースオブジェクトのオブジェクトカラーを用いて、色校正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図In the embodiment of the present invention, a flowchart showing the overall flow when performing color calibration processing and source color update processing using the object color of the source object 本発明の実施の形態において、ソースオブジェクトのオブジェクトカラーを用いて、色校正処理を行うときの流れを示すフロー図In the embodiment of the present invention, a flowchart showing a flow when color calibration processing is performed using the object color of the source object. 本発明の実施の形態において、ソースオブジェクトのオブジェクトカラーを用いて、ソースカラーの更新処理を行うときの流れを示すフロー図The flowchart which shows the flow at the time of performing the update process of a source color using the object color of a source object in embodiment of this invention. 本発明の実施の形態において、対応領域の対応領域カラーを用いて、色校正処理およびソースカラーの更新処理を行うときの全体の流れを示すフロー図In the embodiment of the present invention, a flowchart showing the overall flow when performing color calibration processing and source color update processing using the corresponding region color of the corresponding region 本発明の実施の形態において、対応領域の対応領域カラーを用いて、ソースカラーの更新処理を行うときの流れを示すフロー図In the embodiment of the present invention, a flow chart showing a flow when the source color update process is performed using the corresponding area color of the corresponding area 本発明の実施の形態において、対応領域の対応領域カラーを用いて、色校正処理を行うときの流れを示すフロー図In the embodiment of the present invention, a flowchart showing a flow when color calibration processing is performed using the corresponding area color of the corresponding area.

符号の説明Explanation of symbols

１色校正処理装置
２カメラ
５ソース画像獲得部
６領域選択部（領域選択手段）
７領域カラー決定部（領域カラー決定手段）
８色校正部（色校正手段）
９照明変化検出部（照明変化検出手段）
１０カラーセット更新部（カラーセット更新手段）
１１カラーセット情報記憶部（カラーセット情報記憶手段）
１２オブジェクト類似判定部（オブジェクト類似判定手段）
１３リファレンスオブジェクト記憶部
１４ソースオブジェクト抽出部（ソースオブジェクト抽出手段）
１５背景画像獲得部（背景画像獲得手段）
１６対応領域探索部（対応領域探索手段）
１７オブジェクトカラー決定部（オブジェクトカラー決定手段）
１８対応領域カラー決定部（対応領域カラー決定手段）
２１領域分割部（領域分割手段）
２４特徴量獲得部
２５特徴量類似判定部
２９色距離計算部
３０照明変化判定部
３５重み付け計算部 1 color calibration processing device 2 camera 5 source image acquisition unit 6 region selection unit (region selection means)
7 area color determining unit (area color determining means)
8 Color calibration section (color calibration means)
9 Illumination change detection unit (illumination change detection means)
10 Color set update unit (Color set update means)
11 Color set information storage unit (color set information storage means)
12 Object similarity determination unit (object similarity determination means)
13 Reference Object Storage Unit 14 Source Object Extraction Unit (Source Object Extraction Unit)
15 Background image acquisition unit (background image acquisition means)
16 Corresponding area search unit (corresponding area searching means)
17 Object color determining unit (object color determining means)
18 Corresponding area color determining unit (corresponding area color determining means)
21 Region dividing unit (region dividing means)
24 feature amount acquisition unit 25 feature amount similarity determination unit 29 color distance calculation unit 30 illumination change determination unit 35 weight calculation unit

Claims

色校正の対象となるソースカラーの色情報と、色校正後のリファレンスカラーの色情報を含むカラーセット情報を記憶するカラーセット情報記憶手段と、
前記カラーセットを用いて、複数の撮像装置で撮影された各ソース画像のうち前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正する色校正手段と、
前記各ソース画像から特定のソース領域を選択する領域選択手段と、
前記ソース領域を代表する色としてソース領域カラーを決定する領域カラー決定手段と、
前記ソース領域カラーを用いて、前記カラーセットのソースカラーを更新するカラーセット更新手段と、
を備えたことを特徴とする色校正処理装置。 Color set information storage means for storing color information of a source color to be color proofed and color set information including color information of a reference color after color proofing;
Color calibration means for calibrating the reference color to a color within a similar range to the source color among the source images photographed by a plurality of imaging devices using the color set;
Area selection means for selecting a specific source area from each of the source images;
Area color determining means for determining a source area color as a color representative of the source area;
Color set update means for updating a source color of the color set using the source region color;
A color proofing processing apparatus comprising:

前記領域選択手段は、前記ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出するソースオブジェクト抽出手段を備え、
前記領域カラー決定手段は、前記ソースオブジェクトの平均色を、前記ソース領域カラーであるオブジェクトカラーとして決定するオブジェクトカラー決定手段を備え、
色校正処理装置には、前記ソースオブジェクトと所定のリファレンスオブジェクトが類似するか否かを判定するオブジェクト類似判定手段が備えられ、
前記カラーセット更新手段は、前記ソースオブジェクトと前記リファレンスオブジェクトが類似すると判定されたときに、前記ソースオブジェクトのオブジェクトカラーを用いて、前記カラーセットのソースカラーを更新することを特徴とする請求項１に記載の色校正処理装置。 The region selection means includes source object extraction means for extracting, as a source object, a foreground object that moves in a background image from the source image,
The area color determining unit includes an object color determining unit that determines an average color of the source object as an object color that is the source area color,
The color proofing processing apparatus includes an object similarity determination unit that determines whether or not the source object and a predetermined reference object are similar.
The color set update means updates the source color of the color set using the object color of the source object when it is determined that the source object and the reference object are similar. The color proofing processing apparatus described in 1.

前記オブジェクト類似判定手段は、
前記ソースオブジェクトと前記リファレンスオブジェクトの特徴量を比較することにより、前記ソースオブジェクトと前記リファレンスオブジェクトの類似度を判定することを特徴とする請求項２に記載の色校正処理装置。 The object similarity determination means includes
The color proofreading apparatus according to claim 2, wherein the similarity between the source object and the reference object is determined by comparing feature quantities of the source object and the reference object.

前記カラーセット更新手段は、
前記ソースオブジェクトのオブジェクトカラーと前記カラーセットのソースカラーの重み付け平均処理で得られた重み付け平均色を、更新用のソースカラーとして用いることを特徴とする請求項２または請求項３に記載の色校正処理装置。 The color set update means includes
4. The color proofing according to claim 2, wherein a weighted average color obtained by weighted average processing of the object color of the source object and the source color of the color set is used as a source color for update. Processing equipment.

前記カラーセット情報記憶手段には、前記ソースカラーの色情報を獲得した領域情報を含むカラーセット情報が記憶され、
前記領域選択手段は、前記複数のソース画像から背景画像を獲得する背景画像獲得手段と、前記背景画像から、前記ソースカラーの領域情報に対応する対応領域を探索する対応領域探索手段を備え、
前記領域カラー決定手段は、前記対応領域の平均色を、前記ソース領域カラーである対応領域カラーとして決定する対応領域カラー決定手段を備え、
色校正処理装置には、前記対応領域カラーに基づいて、前記ソース画像における照明環境の変化を検出する照明変化検出手段が備られ、
前記カラーセット更新手段は、照明環境に変化があったと判定されたときに、前記対応領域カラーを用いて前記カラーセットのソースカラーを更新することを特徴とする請求項１に記載の色校正処理装置。 The color set information storage means stores color set information including area information obtained from the color information of the source color,
The area selection means includes background image acquisition means for acquiring a background image from the plurality of source images, and corresponding area search means for searching a corresponding area corresponding to the area information of the source color from the background image,
The area color determining means includes a corresponding area color determining means for determining an average color of the corresponding area as a corresponding area color that is the source area color,
The color calibration processing device is provided with illumination change detection means for detecting a change in illumination environment in the source image based on the corresponding area color,
2. The color calibration process according to claim 1, wherein the color set update unit updates a source color of the color set using the corresponding area color when it is determined that a lighting environment has changed. apparatus.

前記照明変化検出手段は、
前記対応領域カラーと前記ソースカラーの色距離を算出する色距離算出手段と、
前記対応領域カラーと前記ソースカラーの色距離が、所定のしきい色距離よりも大きいときに、照明環境に変化があったと判定する照明変化判定手段と、
を備えたことを特徴とする請求項５に記載の色校正処理装置。 The illumination change detecting means includes
A color distance calculating means for calculating a color distance between the corresponding area color and the source color;
Illumination change determination means for determining that the illumination environment has changed when a color distance between the corresponding area color and the source color is greater than a predetermined threshold color distance;
The color proofing processing apparatus according to claim 5, further comprising:

前記背景画像獲得手段は、
所定の時間間隔で、前記複数のソース画像から前記背景画像を獲得し、
前記照明変化検出手段は、
前記所定の時間間隔で、前記ソース画像における照明環境の変化を検出することを特徴とする請求項５または請求項６に記載の色校正処理装置。 The background image acquisition means includes
Obtaining the background image from the plurality of source images at a predetermined time interval;
The illumination change detecting means includes
The color calibration processing apparatus according to claim 5, wherein a change in an illumination environment in the source image is detected at the predetermined time interval.

前記色校正手段は、
前記対応領域を複数の小領域に分割する領域分割手段を備え、
前記複数の小領域ごとに、前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正することを特徴とする請求項５ないし請求項７のいずれかに記載の色校正処理装置。 The color proofing means includes
An area dividing means for dividing the corresponding area into a plurality of small areas;
8. The color calibration processing apparatus according to claim 5, wherein a color within a range similar to the source color is calibrated to the reference color for each of the plurality of small regions.

色校正の対象となるソースカラーの色情報と、色校正後のリファレンスカラーの色情報を含むカラーセット情報を記憶し、
複数の撮像装置で撮影された各ソース画像から特定のソース領域を選択し、
前記ソース領域を代表する色としてソース領域カラーを決定し、
前記ソース領域カラーを用いて、前記カラーセットのソースカラーを更新し、
前記カラーセットを用いて、前記複数のソース画像のうち前記ソースカラーと類似範囲内の色を前記リファレンスカラーに校正することを特徴とする色校正処理方法。 Stores color set information including the color information of the source color to be color proofed and the color information of the reference color after color proofing,
Select a specific source area from each source image taken by multiple imaging devices,
Determining a source region color as a color representative of the source region;
Using the source region color to update the source color of the color set;
A color calibration processing method, wherein a color within a range similar to the source color among the plurality of source images is calibrated to the reference color using the color set.

前記ソース画像から、背景画像中を移動する前景オブジェクトをソースオブジェクトとして抽出し、
前記ソースオブジェクトの平均色を、前記ソース領域カラーであるオブジェクトカラーとして決定し、
前記ソースオブジェクトと所定のリファレンスオブジェクトが類似するか否かを判定し、
前記ソースオブジェクトと前記リファレンスオブジェクトが類似すると判定されたときに、前記ソースオブジェクトのオブジェクトカラーを用いて、前記カラーセットのソースカラーを更新することを特徴とする請求項９に記載の色校正処理方法。 From the source image, foreground object moving in the background image is extracted as a source object,
Determining an average color of the source object as an object color that is the source region color;
Determine whether the source object and a given reference object are similar;
The color calibration processing method according to claim 9, wherein when it is determined that the source object and the reference object are similar, the source color of the color set is updated using the object color of the source object. .

前記ソースカラーの色情報を獲得した領域情報を含むカラーセット情報を記憶し、
前記複数のソース画像から背景画像を獲得し、
前記背景画像から、前記ソースカラーの領域情報に対応する対応領域を探索し、
前記対応領域の平均色を、前記ソース領域カラーである対応領域カラーとして決定し、
前記対応領域カラーに基づいて、前記ソース画像における照明環境の変化を検出し、
照明環境に変化があったと判定されたときに、前記対応領域カラーを用いて前記カラーセットのソースカラーを更新することを特徴とする請求項９に記載の色校正処理方法。

Storing color set information including area information obtained from the color information of the source color;
Obtaining a background image from the plurality of source images;
From the background image, search for a corresponding area corresponding to the area information of the source color,
Determining an average color of the corresponding area as a corresponding area color that is the source area color;
Detecting a change in lighting environment in the source image based on the corresponding area color;
The color calibration processing method according to claim 9, wherein when it is determined that the illumination environment has changed, the source color of the color set is updated using the corresponding area color.