JP2012181129A - Indicator with color code and calibration box - Google Patents
Indicator with color code and calibration box Download PDFInfo
- Publication number
- JP2012181129A JP2012181129A JP2011044973A JP2011044973A JP2012181129A JP 2012181129 A JP2012181129 A JP 2012181129A JP 2011044973 A JP2011044973 A JP 2011044973A JP 2011044973 A JP2011044973 A JP 2011044973A JP 2012181129 A JP2012181129 A JP 2012181129A
- Authority
- JP
- Japan
- Prior art keywords
- color
- pattern
- color code
- correction
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明はカラーコード付き標識及びキャリブレーションボックスに関する。詳しくは、撮影画像間の色ずれの補正に使用可能なカラーコード付き標識及びキャリブレーションボックスに関する。 The present invention relates to a sign with a color code and a calibration box. Specifically, the present invention relates to a sign with a color code and a calibration box that can be used to correct a color shift between captured images.
測定対象物の３次元モデルを形成するには、測定対象物を囲む円周上に配置されたデジタルカメラを用いて測定対象物を撮影し、その撮影画像をステレオマッチング法により３次元モデリングする手法等が用いられる。この場合色彩の補正は例えば発明者達が提案したカラーコードターゲットの基準色パターンを用いて行なわれていた（特許文献１、非特許文献１参照）。また、例えば発明者達が提案した撮影パラメータのキャリブレーションが行なわれていた（特許文献２参照）。 In order to form a three-dimensional model of a measurement object, a method is used in which a measurement object is photographed using a digital camera arranged on a circumference surrounding the measurement object, and the photographed image is three-dimensionally modeled by a stereo matching method. Etc. are used. In this case, color correction is performed using, for example, a reference color pattern of a color code target proposed by the inventors (see Patent Document 1 and Non-Patent Document 1). Further, for example, calibration of photographing parameters proposed by the inventors has been performed (see Patent Document 2).
複数台のデジタルカメラで撮影した画像を人体モデル等の光により色彩が微妙に変化する測定対象物に重ね合わせた場合、光学的に不整合（色ずれ）の発生したテクスチャとなる。これは各カメラにより露出やホワイトバランスなどのパラメータが異なることにより発生するものである。カメラパラメータを統一した場合においてもデジタルカメラの個体差があり、色誤差が発生してしまうという問題があった。特に、同じ表面色を有する測定対象物でも光源により異なった色彩に撮影され、色誤差が発生してしまうという問題があった。 When images taken by a plurality of digital cameras are superimposed on a measurement object whose color slightly changes due to light such as a human body model, the texture is optically mismatched (color misregistration). This occurs because parameters such as exposure and white balance are different for each camera. Even when the camera parameters are unified, there is an individual difference between digital cameras, and there is a problem that a color error occurs. In particular, there is a problem that even a measurement object having the same surface color is photographed in different colors depending on the light source, and a color error occurs.
本発明は、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコード付き標識を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を可能にするキャリブレーションボックスを提供することを目的とする。 The present invention provides a sign with a color code that enables correction to unify the color of an image to a constant color that does not depend on a light source, and enables correction to unify the color of an image to a certain color that does not depend on a light source The purpose is to provide a calibration box.
上記課題を解決するために、本発明の第１の態様に係るカラーコード付き標識ＣＴ１は、例えば図１に示すように、面内に、計測位置を示すための位置検出用パターンＰ１と、色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンＰ２と、位置検出用パターンＰ１に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンＰ３とを有し、光源色補正に用いる色彩が施された基準色パターンとして色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンＰ５を有する。 In order to solve the above-described problem, the color-coded label CT1 according to the first aspect of the present invention includes, for example, a position detection pattern P1 for indicating a measurement position in the plane and a color as shown in FIG. The reference color pattern P2 to which the color used as the reference and the color used for the light source color correction and the position detection pattern P1 are arranged in a predetermined positional relationship, and a plurality of colors for identifying the signs are applied. And a luminance scale pattern P5 in which a plurality of colors having the same hue and different gradations are arranged as a reference color pattern with colors used for light source color correction.
ここにおいて、光源色補正とは、同じ色でも光源によって異なって見えるので、画像の色彩を光源によらない一定の色に統一する補正をいう。光源色補正は広義の意味で、カラーバランスをとるための補正と輝度補正（濃淡補正）とからなる。狭義の光源色補正はカラーバランスをとるための補正である。カラーバランスをとるための補正は、白色パターン又は／及び光三原色パターン（ＲＧＢパターン）を用い、画像上で白色パターン又は／及び各ＲＧＢパターンに他の色が混入しないようにＲＧＢの輝度（光量）の比率を調整するものである。色彩の基準として用いる色彩及び光源色補正に用いる色彩として白色パターン又は／及びこのカラーバランスをとるための光三原色パターン（ＲＧＢパターン）を用いることができる。白色のみ、光三原色（ＲＧＢ）のみを用いることも可能であるが、両者を用いるとカラーバランスを高精度にとれるので好ましい。また、カラーバランスをとるためは、光三原色（ＲＧＢ）の１つ又は２つを用いても不可であり、光三原色（ＲＧＢ）のそれぞれがいずれかの単位領域又は輝度スケールに含まれる必要がある。また、光三原色（ＲＧＢ）がそれぞれ既知のチャネル値（輝度値）を持つ必要がある。例えば白色領域は光三原色（ＲＧＢ）の全てを有するので光源色補正に使用できる。白色を用いる場合、チャネル値（画素値Ｉ）を１とする。光三原色（ＲＧＢ）を用いる場合、必ずしも同一輝度のＲＧＢパターンを用いる必要はないが、同一輝度のＲＧＢパターンを用いるとカラーバランスの精度が向上するので好ましい。基準色部の単位領域の色を黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の組み合わせとすると、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ２つ単位領域に含まれるので光源色補正に使用できる。黄（Ｙ）と青（Ｂ）の組み合わせでも、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ１つ単位領域に含まれるので光源色補正に使用できる。 Here, light source color correction refers to correction that unifies the color of an image into a fixed color that does not depend on the light source because the same color appears differently depending on the light source. The light source color correction has a broad meaning and includes correction for color balance and luminance correction (shading correction). Narrowly defined light source color correction is correction for color balance. The correction for color balance uses a white pattern or / and light primary color pattern (RGB pattern), and brightness (light quantity) of RGB so that other colors are not mixed in the white pattern or / and each RGB pattern on the image. The ratio is adjusted. As a color used as a color reference and a color used for light source color correction, a white pattern or / and a light primary color pattern (RGB pattern) for this color balance can be used. Although it is possible to use only white and only the three primary colors (RGB), it is preferable to use both because the color balance can be taken with high accuracy. Further, in order to achieve color balance, it is impossible to use one or two light primary colors (RGB), and each of the light three primary colors (RGB) needs to be included in any unit area or luminance scale. . Further, each of the three primary colors (RGB) needs to have a known channel value (luminance value). For example, the white region has all three light primary colors (RGB) and can be used for light source color correction. When white is used, the channel value (pixel value I) is set to 1. When the three primary colors (RGB) are used, it is not always necessary to use the RGB pattern having the same luminance, but it is preferable to use the RGB pattern having the same luminance because the accuracy of the color balance is improved. When the color of the unit area of the reference color part is a combination of yellow (Y), cyan (C), and magenta (M), red (R), green (G), and blue (B) are included in two unit areas, respectively. Therefore, it can be used for light source color correction. Even in the combination of yellow (Y) and blue (B), red (R), green (G), and blue (B) are included in one unit region, and can be used for light source color correction.
また、狭義の光源色補正において、逆レスポンス関数を推定するために、輝度スケールパターンＰ５を用いる。輝度スケールパターンの諧調数が多いほど精度の高い補正ができる。輝度スケールパターンを用いない場合は輝度１点のみのカラーバランスとなる。また、広義の光源色補正は輝度補正（濃淡補正）を含むので、輝度補正時にも輝度スケールパターンＰ５を用いる。輝度スケールパターンＰ５の色相は有彩色でも無彩色でも良い。また、色相が同一で諧調の異なる複数の色は諧調順に配置することが、逆レスポンス関数を求める処理を効率化できるので好適である。本態様における光源色補正は少なくとも狭義の光源色補正を含むものとする。特許請求の範囲及び明細書においても特にことわらない限りこの意味で用いられる。また、「光源によらない一定の色に統一する」とは、全色彩を完全に統一する補正に限られず、高精度の補正、低精度の補正を含むものとする。具体的には無彩色又は有彩色のいずれかの色彩で例えば（式５）の補正が行われていれば良い。この場合、輝度は（式３）に限られず他の関数で導かれても良い。 In the narrowly-defined light source color correction, the luminance scale pattern P5 is used to estimate the inverse response function. As the number of gradations of the luminance scale pattern increases, correction can be performed with higher accuracy. When the luminance scale pattern is not used, the color balance is only one luminance point. In addition, since the light source color correction in a broad sense includes luminance correction (shading correction), the luminance scale pattern P5 is also used during luminance correction. The hue of the luminance scale pattern P5 may be chromatic or achromatic. In addition, it is preferable to arrange a plurality of colors having the same hue and different gradations in the gradation order because the processing for obtaining the inverse response function can be made more efficient. The light source color correction in this embodiment includes at least a narrow light source color correction. It is used in this sense in the claims and the description unless otherwise specified. Further, “unifying to a constant color that does not depend on the light source” is not limited to correction that completely unifies all colors, and includes high-precision correction and low-precision correction. Specifically, for example, the correction of (Expression 5) may be performed with either an achromatic color or a chromatic color. In this case, the luminance is not limited to (Equation 3), and may be derived by another function.
また、「所定の位置関係に配置され」とは、位置検出用パターンＰ１に対してカラーコードパターンＰ３は予め定められた位置に配置されることを意味する。これにより、位置検出用パターンＰ１との位置関係からカラーコードパターンＰ３を抽出し、コード番号が判別可能になる。なお、１組のカラーコード付き標識においては、基準色パターンＰ２の配色（輝度スケールパターンＰ５の配色を含む）は全て同一であり、カラーコードパターンＰ３の配色は全て異なるものとなる。なお、カラーコード付き標識（カラーコードターゲット）について包括的に示すときはＣＴ、個別に示す時はＣＴｉ（ｉは正整数）と表示することとする。
本態様のように構成すると、輝度スケールパターンＰ５を用いて光源色補正を行なうことにより、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコード付き標識ＣＴを提供できる。
Further, “arranged in a predetermined positional relationship” means that the color code pattern P3 is arranged at a predetermined position with respect to the position detection pattern P1. As a result, the color code pattern P3 is extracted from the positional relationship with the position detection pattern P1, and the code number can be determined. In the set of labels with the color code, the color scheme of the reference color pattern P2 (including the color scheme of the luminance scale pattern P5) is all the same, and the color scheme of the color code pattern P3 is all different. It should be noted that CT is indicated when the label with color code (color code target) is comprehensively indicated, and CTi (i is a positive integer) when indicated individually.
If comprised like this aspect, by performing light source color correction using the luminance scale pattern P5, it is possible to provide a sign CT with a color code that enables correction to unify the color of the image into a constant color independent of the light source. .
また、本発明の第２の態様に係るカラーコード付き標識ＣＴ１は、第１の態様において、例えば図１に示すように、輝度スケールパターンＰ５の色相が無彩色である。
ここにおいて、無彩色の輝度スケールパターンをグレースケールパターン又はグレートーンパッチ、有彩色の輝度スケールパターンをカラースケールパターン又はカラートーンパッチという。輝度スケールパターンＰ５が無彩色のときは、グレースケール領域又はグレートーンパッチ部ともいう。輝度スケールパターンは、白又は／及び黒を含んでも良く、含まなくても良い。含まない場合には、いずれかのパターン（例えば位置検出用パターンや次に述べる白色領域）に白又は／及び黒が含まれることが、輝度の最大値と最小値が明確になるので好ましい。また、グレースケールパターンはカラーバランスを調整するために使用される。すなわち、画像で、ＲＧＢが混入せず、無彩色が再現されるように、ＲＧＢの輝度が調整される。これをグレートーンパッチの各輝度において調整する。カラートーンパッチの場合には他のカラーが混入しているか否かを調べ、混入しないように調整する。
本態様のように構成すると、グレースケールパターンを用いて、広い輝度範囲にわたって精度の良い光源色補正ができる。
In addition, the color-coded label CT1 according to the second aspect of the present invention is such that, in the first aspect, for example, as shown in FIG. 1, the luminance scale pattern P5 has an achromatic hue.
Here, the achromatic brightness scale pattern is called a gray scale pattern or gray tone patch, and the chromatic brightness scale pattern is called a color scale pattern or color tone patch. When the luminance scale pattern P5 is achromatic, it is also referred to as a gray scale region or a gray tone patch portion. The luminance scale pattern may or may not include white and / or black. When not included, it is preferable that white or / and black are included in any of the patterns (for example, a position detection pattern or a white region described below) because the maximum value and the minimum value of luminance become clear. The gray scale pattern is used to adjust the color balance. That is, the luminance of RGB is adjusted so that RGB is not mixed in the image and an achromatic color is reproduced. This is adjusted at each luminance of the gray tone patch. In the case of a color tone patch, it is checked whether or not other colors are mixed and adjusted so as not to be mixed.
If comprised like this aspect, a light source color correction with a sufficient precision can be performed over a wide luminance range using a gray scale pattern.
また、本発明の第３の態様に係るカラーコード付き標識ＣＴ１は、第１の態様又は第２の態様において、例えば図１に示すように、基準色パターンＰ２は、輝度スケールパターンＰ５の外に光源色補正に用いる色彩として白色が施された白色領域Ｐ４を有する。
このように構成すると、白色領域Ｐ４を用いて、小面積で効率の良い光源色補正ができる。
Further, the color-coded label CT1 according to the third aspect of the present invention is the reference color pattern P2 outside the luminance scale pattern P5 in the first aspect or the second aspect, for example, as shown in FIG. It has a white region P4 to which white is applied as a color used for light source color correction.
If comprised in this way, efficient light source color correction can be performed with a small area using the white area | region P4.
また、本発明の第４の態様に係るカラーコード付き標識ＣＴ３は、第２の態様又は第３の態様において、例えば図１７に示すように、輝度スケールパターンＰ５がカラーコード付き標識ＣＴ３の中央部に配置されている。
このように構成すると、カラーコード付き標識ＣＴ３が貼り付けられた領域の中心近傍のデータを用いて輝度補正をするので、精度の良い色補正ができる。
In addition, the color-coded label CT3 according to the fourth aspect of the present invention is the same as the second aspect or the third aspect, as shown in FIG. Is arranged.
If comprised in this way, since brightness | luminance correction is performed using the data of the center vicinity of the area | region where color-coded label | marker CT3 was affixed, accurate color correction can be performed.
また、本発明の第５の態様に係るカラーコード付き標識ＣＴ４は、第２の態様又は第３の態様において、例えば図１８に示すように、輝度スケールパターンＰ５がカラーコード付き標識ＣＴ４の周縁部に配置されている。
このように構成すると、既存のカラーコード付き標識の機能を損なうことなくそのまま利用できる。
Further, the color-coded marker CT4 according to the fifth aspect of the present invention is the peripheral portion of the color-coded marker CT4 as shown in FIG. 18, for example, as shown in FIG. Is arranged.
If comprised in this way, it can utilize as it is, without impairing the function of the existing label | marker with a color code.
また、本発明の第６の態様に係るカラーコード付き標識ＣＴ５は、第１ないし第３のいずれかの態様において、例えば図１９に示すように、位置検出用パターンＰ１を複数備え、複数の位置検出用パターンＰ１の全て又は一部が輝度スケールパターンＰ５を兼用する。
ここにおいて、一部とは例えば位置検出用パターン数が３の時に、そのうち１つ又は２つを輝度スケールパターンと兼用するなどである。
本態様のように構成すると、光源色補正のために面積を増加することなく、光源色補正を可能にする。
Further, the color-coded label CT5 according to the sixth aspect of the present invention, in any of the first to third aspects, includes a plurality of position detection patterns P1 as shown in FIG. All or part of the detection pattern P1 also serves as the luminance scale pattern P5.
Here, for example, when the number of position detection patterns is 3, one or two of them is also used as a luminance scale pattern.
If comprised like this aspect, light source color correction | amendment is attained, without increasing an area for light source color correction | amendment.
また、本発明の第７の態様に係るカラーコード付き標識ＣＴ１は、第３の態様において、例えば図１に示すように、白色領域Ｐ４は目視用の識別記号が付された目視用コードを有し、輝度スケールパターンＰ５は白色領域Ｐ４に隣接して配置されている。
ここにおいて、図１の例では輝度スケールパターンは白色領域に隣接して配置されているといえる。また、輝度スケールパターンが白色領域分に囲まれている場合及び白色領域が輝度スケールパターンに囲まれている場合も輝度スケールパターンは白色領域に隣接して配置されているといえる。
本態様のように構成すると、目視用コードを用いて、カラーコード付き標識ＣＴ１を目視で識別できる。撮影範囲を調整するのに便宜である。
In addition, in the third embodiment, the sign CT1 with a color code according to the seventh aspect of the present invention has a visual code with a visual identification symbol as shown in FIG. 1, for example, as shown in FIG. The luminance scale pattern P5 is disposed adjacent to the white region P4.
Here, it can be said that the luminance scale pattern is arranged adjacent to the white region in the example of FIG. Also, it can be said that the luminance scale pattern is arranged adjacent to the white region when the luminance scale pattern is surrounded by the white region and when the white region is surrounded by the luminance scale pattern.
If comprised like this aspect, the label | marker CT1 with a color code can be visually identified using the code for visual observation. This is convenient for adjusting the shooting range.
また、本発明の第８の態様に係るカラーコード付き標識ＣＴ１は、第１の態様ないしは第７の態様において、例えば図１に示すように、カラーコード付き標識ＣＴ１は、矩形に形成され、位置検出用パターンＰ１を３個備え、３個の位置検出用パターンＰ３がカラーコード付き標識ＣＴ１の３隅に配置されている。
このように構成すると、１隅に位置検出用パターンＰ１がないので、これを利用してカラーコード付き標識ＣＴ１の傾きを求められ、カラーコードパターンの配置を容易に特定でき、コード番号を容易に求められる。
In addition, the color-coded mark CT1 according to the eighth aspect of the present invention is the color-coded mark CT1 according to the first or seventh aspect, for example, as shown in FIG. Three detection patterns P1 are provided, and three position detection patterns P3 are arranged at three corners of the color-coded label CT1.
With this configuration, since there is no position detection pattern P1 at one corner, the inclination of the color code-attached marker CT1 can be obtained using this pattern, the arrangement of the color code pattern can be easily specified, and the code number can be easily determined. Desired.
また、本発明の第９の態様に係るカラーコード付き標識ＣＴ８は、第１の態様ないしは第７の態様において、例えば図２３に示すように、円形又は円環状に形成され、複数の位置検出用パターンＰ１が同心円状に配置されている。
このように構成すると、円形の場合には矩形に比してリング状にスキャンすれば良いのでスキャンルートが単純である。さらに、円環状の場合には例えば突起や窪みのある対象物の測定に使用できる。また、円形の場合には円環状に比して製作が容易である。
In addition, the color-coded label CT8 according to the ninth aspect of the present invention is formed in a circular or annular shape in the first or seventh aspect as shown in FIG. The pattern P1 is arranged concentrically.
When configured in this way, in the case of a circle, the scan route is simple because it is sufficient to scan in a ring shape as compared to a rectangle. Furthermore, in the case of an annular shape, for example, it can be used for measuring an object having a protrusion or a depression. Further, in the case of a circular shape, it is easier to manufacture than an annular shape.
また、本発明の第１０の態様に係るカラーコード付き標識ＣＴ１３〜ＣＴ１５は、面内に、計測位置を示すための位置検出用パターンＰ１と、色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンＰ２と、位置検出用パターンＰ１に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンＰ３とを有し、光源色補正に用いる色彩が施された基準色パターンＰ２として輝度がほぼ等しくなるような光三原色を用いる。 The color-coded labels CT13 to CT15 according to the tenth aspect of the present invention include a position detection pattern P1 for indicating a measurement position, a color used as a color reference, and a color used for light source color correction. And a color code pattern P3 arranged in a predetermined positional relationship with respect to the position detection pattern P1 and provided with a plurality of colors for identifying a sign, and a light source color The three primary colors that have substantially the same luminance are used as the reference color pattern P2 to which the colors used for correction are applied.
ここにおいて、色彩の基準として用いる色彩及び光源色補正に用いる色彩としてカラーバランスをとるための光三原色（ＲＧＢ）を用いることができる。ただし、各ＲＧＢパターンはそれぞれ既知のチャネル値（画素値Ｉ）を持つ必要がある。必ずしも同一輝度のＲＧＢパターンを用いる必要はないが、同一輝度のＲＧＢパターンを用いるとカラーバランスの精度が向上するので好ましい。また、ほぼ等しいの輝度の範囲は例えば±１０％以内とする。
本態様のように構成すると、従来のカラーコードターゲットの色彩を調整することにより、光源色の補正が可能になる。光三原色（ＲＧＢ）を画面上で輝度がほぼ等しくするので、ＲＧＢそれぞれの輝度をその近傍で調整することにより、容易にカラーバランスを取ることができる。また、光三原色が施された基準色パターンＰ２の単位領域を用いて、小面積で効率の良い光源色補正ができる。
Here, three primary colors (RGB) for color balance can be used as a color used as a color reference and a color used for light source color correction. However, each RGB pattern needs to have a known channel value (pixel value I). Although it is not always necessary to use the RGB pattern having the same luminance, it is preferable to use the RGB pattern having the same luminance because the color balance accuracy is improved. In addition, the substantially equal luminance range is, for example, within ± 10%.
With this configuration, the light source color can be corrected by adjusting the color of the conventional color code target. Since the three primary colors (RGB) have substantially the same luminance on the screen, the color balance can be easily achieved by adjusting the luminance of each of RGB in the vicinity thereof. Further, efficient light source color correction can be performed with a small area using the unit region of the reference color pattern P2 to which the three primary colors are applied.
また、本発明の第１１の態様に係るキャリブレーションパネルは、第１ないし第１０のいずれかの態様に係るカラーコード付き標識ＣＴが、同一面内に複数配置されている。
このように構成すると、１つのキャリブレーションパネルを用いて異なる複数の測定対象物位置に対して、パネルを移動しながらキャリブレーションができる。
In the calibration panel according to the eleventh aspect of the present invention, a plurality of color-coded labels CT according to any one of the first to tenth aspects are arranged in the same plane.
If comprised in this way, it can calibrate, moving a panel with respect to several different measurement object position using one calibration panel.
また、本発明の第１２の態様に係るキャリブレーションボックスＣＢは、第１ないし第１０のいずれかの態様に係るカラーコード付き標識ＣＴが、例えば図３に示すように、多面体の各面に単数又は複数配置されている。
ここにおいて、多面体は３面体以上である。
本態様のように構成すると、測定対象物を周囲の複数の位置から撮影する場合のキャリブレーションに有効である。
Further, in the calibration box CB according to the twelfth aspect of the present invention, the color-coded label CT according to any one of the first to tenth aspects is provided singly on each face of the polyhedron as shown in FIG. Or a plurality of them are arranged.
Here, the polyhedron is a trihedron or more.
When configured in this manner, it is effective for calibration when the measurement object is photographed from a plurality of surrounding positions.
また、本発明の第１３の態様に係るキャリブレーションボックスは、第１ないし第１０のいずれかの態様に係るカラーコード付き標識ＣＴが、円筒の面に配置されている。
このように構成すると、鉛直中心軸から等距離な位置からの撮影する場合のキャリブレーションに有効である。
In the calibration box according to the thirteenth aspect of the present invention, the color-coded label CT according to any one of the first to tenth aspects is arranged on a cylindrical surface.
Such a configuration is effective for calibration when photographing from a position equidistant from the vertical center axis.
また、本発明の第１４の態様に係る１組のカラーコード付き標識は、第１ないし第１０のいずれかの態様に係るカラーコード付き標識ＣＴからなる１組のカラーコード付き標識であって、１組のカラーコード付き標識ＣＴの基準色パターンＰ２の配色は全て同一であり、１組のカラーコード付き標識ＣＴの各カラーコードパターンＰ３の配色は全て異なる。
このように構成すると、１組のカラーコード付き標識ＣＴを用いて各カラーコード付き標識ＣＴを識別しながら、その配置された近くの光源色補正を行なうことができる。これにより、測定対象物２が大きい場合でもその各部分の画像の色彩について、光源によらない一定の色に統一する補正を可能にする１組のカラーコード付き標識を提供できる。
Further, the set of signs with color code according to the fourteenth aspect of the present invention is a set of signs with color code consisting of the sign CT with color code according to any one of the first to tenth aspects, The color schemes of the reference color patterns P2 of the set CT with a color code are all the same, and the color schemes of the color code patterns P3 of the set CT with a color code are all different.
If comprised in this way, light source color correction | amendment of the arrangement | positioning vicinity can be performed, identifying each label CT with a color code using one set of label CT with a color code. Thereby, even when the measurement object 2 is large, it is possible to provide a set of markers with color codes that enables correction to unify the color of the image of each part into a certain color independent of the light source.
本発明によれば、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコード付き標識を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を可能にするキャリブレーションボックスを提供することができる。 According to the present invention, it is possible to provide a sign with a color code that enables correction to unify the color of an image to a constant color that does not depend on a light source, and to correct the color of an image to a constant color that does not depend on a light source. A calibration box can be provided.
以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し、重複した説明は省略する。 Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals, and redundant description is omitted.
実施例１では、カラーコード付き標識（カラーコードターゲット）ＣＴが、グレースケールパターン（グレースケール領域）Ｐ５を白色領域Ｐ４に隣接して有する例を説明する。 In the first embodiment, an example will be described in which the sign with color code (color code target) CT has a gray scale pattern (gray scale region) P5 adjacent to the white region P4.
［カラーコードターゲット］
図１に本実施例によるコード付き標識としてのカラーコードターゲットＣＴ１の例を示す。カラーコードの単位領域が６個で、輝度スケール領域Ｐ５が白色領域（右下隅）Ｐ４に隣接して配置されている例である。図１のカラーコードターゲットＣＴ１は、位置検出用パターンとしてのレトロターゲット部Ｐ１、基準色パターンとしての基準色部Ｐ２、カラーコードパターンとしてのカラーコード部Ｐ３で構成されている。白色領域Ｐ４及び輝度ケール領域Ｐ５は基準色部Ｐ２の一部である。また、輝度スケール領域Ｐ５は無彩色のグレースケール領域Ｐ５となっている。本実施例では輝度スケール領域Ｐ５が白色領域Ｐ４に隣接して配置されている。これら、レトロターゲット部Ｐ１、基準色部Ｐ２（白色領域Ｐ４とグレースケール領域Ｐ５を含む）、カラーコード部Ｐ３はカラーコードターゲットＣＴ１内の所定の位置に配置される。すなわち、基準色パターンＰ２（白色領域Ｐ４とグレースケール領域Ｐ５を含む）、カラーコードパターンＰ３は位置検出用パターンＰ１に対して予め定められた位置に配置される。図１の配色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）を表す。レトロターゲット部Ｐ１は黒地の中央に再帰反射材料からなる円形パターンを有している。レトロターゲット部Ｐ１に光を照射すると再帰反射材料から再帰反射するので、レトロターゲット部Ｐ１を検出し易くなる。このような再帰反射材料を有するターゲットをレトロターゲットという。この円形パターン内部を再帰反射材料に代えて白色にしても良い。白色の場合にはカラーコードターゲットＣＴ１を製作し易く、光源色補正用の白色としても使用できる。
[Color code target]
FIG. 1 shows an example of a color code target CT1 as a sign with a code according to the present embodiment. In this example, there are six color code unit areas, and the luminance scale area P5 is arranged adjacent to the white area (lower right corner) P4. The color code target CT1 in FIG. 1 includes a retro target portion P1 as a position detection pattern, a reference color portion P2 as a reference color pattern, and a color code portion P3 as a color code pattern. The white area P4 and the luminance kale area P5 are part of the reference color portion P2. The luminance scale region P5 is an achromatic gray scale region P5. In the present embodiment, the luminance scale region P5 is disposed adjacent to the white region P4. The retro target portion P1, the reference color portion P2 (including the white region P4 and the gray scale region P5), and the color code portion P3 are arranged at predetermined positions in the color code target CT1. That is, the reference color pattern P2 (including the white region P4 and the gray scale region P5) and the color code pattern P3 are arranged at positions predetermined with respect to the position detection pattern P1. The color scheme in FIG. 1 represents red (R), green (G), blue (B), yellow (Y), cyan (C), and magenta (M). The retro target portion P1 has a circular pattern made of a retroreflective material at the center of the black background. When the retro target portion P1 is irradiated with light, it is retroreflected from the retroreflective material, so that the retro target portion P1 can be easily detected. A target having such a retroreflective material is referred to as a retro target. The inside of the circular pattern may be white instead of the retroreflective material. In the case of white, the color code target CT1 is easy to manufacture and can be used as white for light source color correction.
レトロターゲット部Ｐ１は、位置検出用パターンとして機能し、ターゲット自体の検出用、ターゲットの位置（重心）検出用、ターゲットの傾斜検出用として使用される。３つのレトロターゲット部Ｐ１は一直線上にない３以上のパターンとして機能するので、カラーコードターゲットＣＴ１の傾斜を検出できる。また、レトロターゲットの位置を基準にして、基準色パターンＰ２（白色領域Ｐ４及び輝度スケール領域Ｐ５を含む）、カラーコードパターンＰ３の抽出に使用される。 The retro target portion P1 functions as a position detection pattern, and is used for detecting the target itself, for detecting the position (center of gravity) of the target, and for detecting the tilt of the target. Since the three retro target portions P1 function as three or more patterns that are not on a straight line, the inclination of the color code target CT1 can be detected. Further, the reference color pattern P2 (including the white area P4 and the luminance scale area P5) and the color code pattern P3 are used with reference to the position of the retro target.
基準色部Ｐ２は、色彩の基準として用いる色彩の単位領域を有する。本実施例では赤、緑、青の光三原色の色彩が使用される。すなわち、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用される。また、基準色部Ｐ２は、カメラ間の色補正に使用される。複数のカメラで同一基準色を撮影し、撮影画像間の色ずれを補正する。さらに、基準色部Ｐ２の単位領域の色彩には、光源色補正に用いる色彩が使用される。光源色補正とは、同じ色でも光源（自然光、照明等）によって異なって見えるので、画像の色彩を光源によらない一定の色に統一する補正をいう。すなわち、カラーバランスの調整及び輝度補正（濃淡補正）に使用される。また、ＲＧＢ色を画面上でほぼ等しい輝度が得られるように定めておくと、ＲＧＢそれぞれの輝度をその近傍で調整してカラーバランスを取ることが容易になるので、好ましい。 The reference color portion P2 has a color unit region used as a color reference. In this embodiment, red, green and blue light primary colors are used. That is, it is used for reference during relative comparison and for color calibration for correcting color misregistration. The reference color portion P2 is used for color correction between cameras. The same reference color is photographed by a plurality of cameras, and the color shift between the photographed images is corrected. Furthermore, the color used for light source color correction is used for the color of the unit area of the reference color portion P2. Light source color correction refers to correction that unifies the color of an image into a fixed color that does not depend on the light source because the same color appears differently depending on the light source (natural light, illumination, etc.). That is, it is used for color balance adjustment and luminance correction (shading correction). Further, it is preferable to set the RGB colors so that substantially the same luminance can be obtained on the screen, because it is easy to adjust the luminance of each RGB in the vicinity thereof to achieve color balance.
また、基準色部Ｐ２は、簡易な方法で作成されたカラーコードターゲットＣＴ１の色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコードターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。
さらに、基準色部Ｐ２は光源色補正のために白色領域Ｐ４と輝度スケール領域（本実施例ではグレースケール領域）Ｐ５を有する。これらについては後述する。
Further, the reference color portion P2 can be used for color correction of the color code target CT1 created by a simple method. For example, when using a color code target CT printed by a color printer (inkjet, laser, sublimation type printer, etc.) where color management is not performed, individual differences appear in the color of the printer used, but the reference color portion P2 By comparing and correcting the color of the color code portion P3 relative to each other, the influence of individual differences can be suppressed.
Further, the reference color portion P2 has a white region P4 and a luminance scale region (gray scale region in this embodiment) P5 for light source color correction. These will be described later.
カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎで単位領域数が３の場合、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。ｎ＝６の場合には、６×５×４＝１２０通りのコードを表せる。本実施例のようにｎ＝６、単位領域数が６の場合には、６×５×４×３×２×１＝７２０通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。 The color code part P3 expresses a code by a combination of color schemes for each unit area. The number of codes that can be expressed varies depending on the number of code colors used for the code. For example, when the number of code colors is n and the number of unit areas is 3, n × n × n codes can be represented. In order to increase the reliability, even when the condition that the colors used in other unit areas are not used redundantly, n × (n−1) × (n−2) codes can be expressed. In the case of n = 6, 6 × 5 × 4 = 120 codes can be expressed. When n = 6 and the number of unit areas is 6, as in this embodiment, 6 × 5 × 4 × 3 × 2 × 1 = 720 codes can be expressed. If the number of code colors is increased, the number of codes can be increased.
さらに、カラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみでなく、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコードターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコードターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部Ｐ３全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもカラーコードターゲットＣＴを画像中から検出することが可能である。 Furthermore, if the condition that the number of unit areas of the color code portion P3 is equal to the number of code colors is imposed, all the code colors are used for the color code portion P3. Therefore, not only the comparison with the reference color portion P2, By relatively comparing the colors between the unit areas of the color code part P3, the color of each unit area can be confirmed to determine the identification code, and the reliability can be improved. Furthermore, if a condition for making the area of each unit region all the same is added, the color code target CT can also be used for detection from the image. This is because the area occupied by each color is the same even between the color code targets CT having different identification codes, so that almost the same dispersion value is obtained from the detection light from the entire color code portion P3. In addition, since the boundary between the unit regions is repeated at equal intervals and a clear color difference is detected, it is possible to detect the color code target CT from the image from such a repeated pattern of detection light.
白色領域Ｐ４は、基準色として用いるため、また、光源色補正のため白色が施される。すなわち、基準色として色ズレのキャリブレーションに使用される。また、白色は光源により敏感に変化するので、光源によらない一定の色に統一する光源色補正に好適である。また、カラーコードターゲットＣＴ１の傾斜検出用とカラーコードターゲットＣＴ１の四隅の内、一カ所だけレトロターゲットが配置されない箇所を白色領域Ｐ４とすることにより、これをカラーコードターゲットＣＴ１の傾斜検出用に使用できる。この場合、傾斜検出用にはレトロターゲットと異なるパターンであれば良いので、目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域を含んでも良い。本実施例では白色領域Ｐ４がレトロターゲット部Ｐ１より小型化されて右下隅に設けられ、残りにグレースケール領域Ｐ５が配置されている。白色領域Ｐ４には番号が付記されている。 The white region P4 is white for use as a reference color and for light source color correction. That is, it is used for calibration of color misregistration as a reference color. Also, since white changes sensitively depending on the light source, it is suitable for light source color correction that unifies a constant color regardless of the light source. In addition, the color code target CT1 is used for inclination detection, and the position where no retro target is arranged in one of the four corners of the color code target CT1 is set as a white region P4, which is used for inclination detection of the color code target CT1. it can. In this case, a pattern different from the retro target may be used for inclination detection, so a character string such as a number for visually confirming a code may be printed, or a code area such as a barcode may be included. good. In the present embodiment, the white area P4 is made smaller than the retro target portion P1 and is provided in the lower right corner, and the gray scale area P5 is disposed in the rest. A number is added to the white region P4.
図２にグレースケール領域Ｐ５の例を示す。グレースケール領域Ｐ５には、光源色補正のため無彩色で輝度の異なる複数の諧調の色が施される。かかる無彩色で諧調の異なる複数の色を配置したパターンをグレートーンパッチという。諧調数を増やす程光源色補正の精度を向上できる。この例では、無彩色として白、黒を含む１１階層の色を輝度の高い方を左にして、階調順に横一列に並べて配置している。本実施例（図１）では、白、黒を除く７階調の横長の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。グレートーンパッチにより、光源色を算出し、光源色の補正を行なうことができる。また、複数のデジタルカメラで同時にグレートーンパッチを撮影した際に、異なるホワイトバランスや露出を原因とする画像間の明るさや色差を補正することができる。また、単一の撮影画像を用いてグレートーンパッチからデジタルカメラのレスポンス関数を推定することができる。 FIG. 2 shows an example of the gray scale region P5. The grayscale region P5 is provided with a plurality of gradation colors having achromatic and different luminances for light source color correction. Such a pattern in which a plurality of colors having different achromatic colors is arranged is called a gray tone patch. The accuracy of light source color correction can be improved as the number of gradations increases. In this example, 11 layers of colors including white and black as achromatic colors are arranged in a horizontal row in order of gradation, with the higher luminance on the left. In this embodiment (FIG. 1), a horizontal gray pattern of seven gradations excluding white and black is arranged vertically in the order of gradation, with the higher luminance on the bottom. With the gray tone patch, the light source color can be calculated and the light source color can be corrected. In addition, when gray tone patches are taken simultaneously with a plurality of digital cameras, brightness and color difference between images due to different white balance and exposure can be corrected. In addition, the response function of the digital camera can be estimated from the gray tone patch using a single captured image.
輝度スケール領域Ｐ５には、光源色補正のため色相が同一で輝度の異なる複数の諧調の色が施される。この輝度スケール領域Ｐ５をカラーコードターゲットの一部に設ける他に、輝度スケール領域Ｐ５をシート状のカラーキャリブレーションシートとし、既存のカラーコードターゲットと共にキャリブレーションパネルやキャリブレーションボックスに貼り付けて使用することができる。また、既存のカラーコードターゲットの上又は近傍に貼り付けて使用することもできる。 The luminance scale region P5 is provided with a plurality of gradation colors having the same hue and different luminances for light source color correction. In addition to providing the luminance scale region P5 as a part of the color code target, the luminance scale region P5 is used as a sheet-like color calibration sheet, which is used by being attached to a calibration panel or a calibration box together with the existing color code target. be able to. It can also be used by pasting on or near an existing color code target.
［キャリブレーションボックス］
図３にキャリブレーションボックスの例を示す。画像色彩補正装置１では、測定対象物２の周囲に円周上に配置された、場合によっては半球（上側）の球面上に配置された、ステレオカメラを用いてステレオマッチング法により測定対象物２の３次元モデリングを行なう。単カメラで場所を移動しながら撮影した画像をステレオペアとして用いても良い。しかし、複数台のデジタルカメラで撮影した画像を測定対象物モデルに重ね合わせた場合、光学的に不整合（色ずれ）の発生したテクスチャとなる。この原因は各カメラにより露出やホワイトバランスなどのパラメータが異なることにより発生するものである。カメラパラメータを統一した場合においてもデジタルカメラの個体差があり、色誤差が発生してしまう。画像色彩補正装置１が人体計測システムに使用される場合には人体の表面の色彩が光により微妙に変わることから、特に光源色補正が重要である。撮影画像における測定対象物２の表面の色彩を補正するためには、測定対象物２の表面の各部に近い位置に配置したカラーコードターゲットＣＴ（輝度スケール領域Ｐ５を有する）を用いて行なうのが好適である。例えば、人体に近い大きさのキャリブレーションボックスＣＢを用意し、その表面に複数のカラーコードターゲットＣＴを配置し、複数のカメラの撮影画像から光源色を算出し、画像間の輝度の誤差を補正する。
[Calibration box]
FIG. 3 shows an example of a calibration box. In the image color correction apparatus 1, the measurement object 2 is arranged by a stereo matching method using a stereo camera arranged on the circumference of the measurement object 2 and possibly arranged on a hemispherical (upper) spherical surface. 3D modeling is performed. Images taken while moving places with a single camera may be used as a stereo pair. However, when images taken by a plurality of digital cameras are superimposed on the measurement object model, the texture is optically mismatched (color misregistration). This is caused by different parameters such as exposure and white balance for each camera. Even when camera parameters are unified, there are individual differences among digital cameras, and color errors occur. When the image color correction device 1 is used in a human body measurement system, light source color correction is particularly important because the color of the surface of the human body changes slightly with light. In order to correct the color of the surface of the measurement object 2 in the captured image, the color code target CT (having the luminance scale region P5) arranged at a position close to each part of the surface of the measurement object 2 is used. Is preferred. For example, a calibration box CB having a size close to that of a human body is prepared, a plurality of color code targets CT are arranged on the surface, light source colors are calculated from captured images of a plurality of cameras, and luminance errors between images are corrected. To do.
図３には、直方体の各側面に６個ずつ大きいカラーコードターゲットＣＴが配置され、大きいカラーコードターゲットＣＴの間に小さい８個のカラーコードターゲットＣＴが配置され、上面に小さい９個のカラーコードターゲットＣＴが配置されたキャリブレーションボックスＣＢの例を示す。大きい２４個のカラーコードターゲットは第１の１組のカラーコードターゲットに属し、小さい４１個のカラーコードターゲットは第２の１組のカラーコードターゲットに属する。１組のカラーコードターゲットＣＴにおいては、基準色パターンＰ２の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。白色領域Ｐ４には白色の地に各カラーコードターゲットＣＴを識別する番号が付与されている。図３は、グレースケール領域Ｐ５がない例であるが、本実施例では、図１に示すようにグレースケール領域Ｐ５が白色領域Ｐ４に隣接して配置されているカラーコードターゲットＣＴ１が配置されたキャリブレーションボックスをＣＢ用いるものとする。また、輝度スケール領域Ｐ５をシート状にしたカラーキャリブレーションシートを図３のカラーコードターゲットＣＴが貼られていない隙間に配置して用いても良い。 In FIG. 3, six large color code targets CT are arranged on each side of the rectangular parallelepiped, eight small color code targets CT are arranged between the large color code targets CT, and nine small color codes are arranged on the upper surface. An example of a calibration box CB in which a target CT is arranged is shown. The 24 large color code targets belong to the first set of color code targets, and the 41 small color code targets belong to the second set of color code targets. In one set of color code targets CT, the color schemes of the reference color pattern P2 are all the same, and the color schemes of the color code patterns P3 are all different. In the white region P4, a number for identifying each color code target CT is assigned to a white background. FIG. 3 shows an example in which there is no grayscale area P5. In this embodiment, as shown in FIG. 1, the color code target CT1 in which the grayscale area P5 is arranged adjacent to the white area P4 is arranged. It is assumed that the calibration box uses CB. Further, a color calibration sheet in which the luminance scale region P5 is formed in a sheet shape may be arranged and used in a gap where the color code target CT in FIG. 3 is not attached.
［画像色彩補正装置］
図４に本実施例における画像色彩補正装置１の構成例を示す。画像色彩補正装置１は、例えば、測定対象物２（キャリブレーションボックスＣＢ等を含む）を撮影する撮影部３、撮影画像や画像処理した画像を表示したり、入出力操作を行う入出力部４、撮影画像から測定対象物２に貼り付けられたカラーコードターゲットＣＴ１を抽出するターゲット抽出部５、撮影パラメータの演算、対象物の三次元座標の演算等の演算処理を行う演算部６、色補正（光源色補正を含む）等、撮影画像に種々の画像処理を行う画像処理部７、撮影画像、モデル画像等の画像、画像処理や演算処理に有用なデータを記憶し、必要に応じて処理中のデータを記憶する記憶部８、画像色彩補正装置１及びその各部を制御して、画像色彩補正装置１として機能させる制御部９により構成される。このうち、ターゲット抽出部５、演算部６、画像処理部７、制御部９はパーソナルコンピュータ（ＰＣ）１０の機能を用いて実現でき、ＰＣ１０内に構成される。
[Image color correction device]
FIG. 4 shows a configuration example of the image color correction apparatus 1 in the present embodiment. The image color correction apparatus 1 includes, for example, a photographing unit 3 that photographs a measurement object 2 (including a calibration box CB), an input / output unit 4 that displays a photographed image and an image-processed image, and performs input / output operations. A target extraction unit 5 for extracting the color code target CT1 attached to the measurement object 2 from the photographed image, a computation unit 6 for performing computation processing such as computation of photographing parameters, computation of three-dimensional coordinates of the object, and color correction Image processing unit 7 that performs various image processing on captured images (including light source color correction) and the like, stores images such as captured images and model images, and data useful for image processing and arithmetic processing, and processes as necessary It comprises a storage unit 8 for storing the data therein, an image color correction device 1 and a control unit 9 for controlling the respective units to function as the image color correction device 1. Among these, the target extraction unit 5, the calculation unit 6, the image processing unit 7, and the control unit 9 can be realized by using functions of a personal computer (PC) 10 and are configured in the PC 10.
撮影部３は、測定対象物２を撮影するためのステレオカメラ又は単カメラ等を有し、また、撮影画像を取得する撮影画像取得部３１を有する。本実施例では撮影画像取得部３１は少なくとも異なる２方向からの撮影画像を取得する。キャリブレーション時には、カラーコードターゲットＣＴ１を撮影し、その撮影画像を取得する。入出力部４は、撮影画像、モデル画像や操作画面を表示する表示部４１、プリンタやスピーカ等を有する出力部４２、マウスやキーボード等を有する入力部４３を有する。 The imaging unit 3 includes a stereo camera or a single camera for imaging the measurement object 2 and also includes a captured image acquisition unit 31 that acquires a captured image. In the present embodiment, the captured image acquisition unit 31 acquires captured images from at least two different directions. At the time of calibration, the color code target CT1 is photographed, and the photographed image is acquired. The input / output unit 4 includes a display unit 41 that displays captured images, model images, and operation screens, an output unit 42 that includes a printer, a speaker, and the like, and an input unit 43 that includes a mouse, a keyboard, and the like.
ターゲット抽出部５は、撮影画像取得部３１で取得された撮影画像から、キャリブレーションボックスＣＢ等に貼り付けられたカラーコードターゲットＣＴ１の位置検出用パターンＰ１を検出し、位置検出用パターンＰ１の位置を求める位置検出部５１、位置検出部５１で検出されたカラーコードターゲットＣＴ１から基準色パターンＰ２を抽出する基準色パターン抽出部５２、位置検出部５１で検出されたカラーコードターゲットＣＴ１からカラーコードパターンＰ３を抽出するカラーコードパターン抽出部５３を有する。基準色パターン抽出部５２は、位置検出部５１で検出されたカラーコードターゲットＣＴ１から、白色領域を抽出する白色領域抽出部５２１と輝度スケール領域Ｐ５を抽出する輝度スケール領域抽出部５２２を有する。本実施例では位置検出部５１は少なくとも異なる２方向から取得された撮影画像から各位置検出用パターンＰ１を順次検出する。 The target extraction unit 5 detects the position detection pattern P1 of the color code target CT1 attached to the calibration box CB or the like from the captured image acquired by the captured image acquisition unit 31, and the position of the position detection pattern P1. A position detection unit 51 for obtaining the reference color pattern extraction unit 52 for extracting the reference color pattern P2 from the color code target CT1 detected by the position detection unit 51, and a color code pattern from the color code target CT1 detected by the position detection unit 51 A color code pattern extraction unit 53 that extracts P3 is provided. The reference color pattern extraction unit 52 includes a white region extraction unit 521 that extracts a white region and a luminance scale region extraction unit 522 that extracts a luminance scale region P5 from the color code target CT1 detected by the position detection unit 51. In the present embodiment, the position detection unit 51 sequentially detects each position detection pattern P1 from captured images acquired from at least two different directions.
演算部６は、キャリブレーションのために貼り付けられたカラーコードターゲットＣＴ１やキャリブレーションボックスＣＢに貼り付けられたカラーコードターゲットＣＴ１の撮影画像から位置検出部５１で抽出された位置検出用パターンＰ１の位置に基づいてカメラの撮影パラメータを求める撮影パラメータ演算部６１、撮影パラメータ演算部６１で求められた撮影パラメータを用いて、測定対象物２の撮影画像から測定対象物２の位置（三次元座標）を演算して求める三次元座標演算部６２、標定計算処理を行う標定部６３を有する。標定部６３は焦点距離ｆを推定する焦点距離推定部６３１を有する。 The calculation unit 6 includes the position detection pattern P1 extracted by the position detection unit 51 from the captured image of the color code target CT1 pasted for calibration and the color code target CT1 pasted on the calibration box CB. A shooting parameter calculation unit 61 that obtains a shooting parameter of the camera based on the position, and the position (three-dimensional coordinates) of the measurement target 2 from the shot image of the measurement target 2 using the shooting parameter obtained by the shooting parameter calculation unit 61. A three-dimensional coordinate calculation unit 62 that calculates and calculates an orientation unit 63 that performs orientation calculation processing. The orientation unit 63 includes a focal length estimation unit 631 that estimates the focal length f.
画像処理部７は、基準色パターン抽出部５２で抽出された各基準色パターンＰ２の色彩を用いてカメラ及び撮影画像の色補正を行なう色補正部７１、位置検出部５１で求められた位置検出用パターンＰ１の位置を用いて、異なる複数方向から撮影された撮影画像のつなぎ合わせを行う画像合成部７２、位置検出部５１で求められた位置検出用パターンＰ１の位置を用いて、異なる複数方向から撮影された撮影画像から、測定対象物モデルを作成するモデル形成部７３、モデル形成部７３で形成された測定対象物モデルに、色補正部７１で補正された測定対象物２のテクスチャを貼付するテクスチャ形成部７４、基準色パターン抽出部５２で抽出された基準色パターンＰ２の各基準色の色彩とカラーコードパターン抽出部５３で抽出されたカラーコードパターンＰ３の各コード色の色彩を比較して、カラーコードパターンＰ３の色彩の配置を求め、カラーコードターゲットＣＴ１の白色領域Ｐ４に付された番号と対応付けてカラーコード記憶部８３に記憶すると共に、求められたカラーコードパターンＰ３の色彩の配置を、記憶部８に記憶された色彩配置−コード対応表を参照してカラーコードを判別するカラーコード判別部７５、撮影パラメータ演算部６１で求められた撮影パラメータを用いて、画像データの補正を行なう画像データ補正部７６を有する。 The image processing unit 7 uses the color of each reference color pattern P2 extracted by the reference color pattern extraction unit 52 to perform color correction of the camera and the captured image, and the position detection obtained by the position detection unit 51. Using the position of the position detection pattern P1 obtained by the image synthesizing unit 72 and the position detecting unit 51 for joining the captured images taken from a plurality of different directions using the position of the pattern P1 for use, a plurality of different directions The texture of the measurement object 2 corrected by the color correction unit 71 is pasted on the measurement object model formed by the model formation unit 73 that creates the measurement object model and the model formation unit 73 from the captured image captured from Texture forming unit 74, color of each reference color of reference color pattern P2 extracted by reference color pattern extraction unit 52, and color extracted by color code pattern extraction unit 53 The color of each code color of the code pattern P3 is compared to determine the color arrangement of the color code pattern P3 and stored in the color code storage unit 83 in association with the number assigned to the white area P4 of the color code target CT1. At the same time, the color arrangement of the obtained color code pattern P3 is obtained by the color code discriminating unit 75 that discriminates the color code with reference to the color arrangement-code correspondence table stored in the storage unit 8, and the photographing parameter calculation unit 61. An image data correction unit 76 that corrects image data using the obtained shooting parameters is provided.
記憶部８は、撮影画像を記憶する撮影画像記憶部８１、基準色パターンＰ２の色彩データを記憶する基準色記憶部８２、各カラーコードパターンＰ３の色彩配置データを記憶するカラーコード記憶部８３、モデルデータを記憶するモデル記憶部８４、内部パラメータと焦点距離ｆの関係を記憶する撮影パラメータ記憶部８５を有する。また、各カラーコードパターンの色彩配置データとコード番号との対応関係を記録する色彩配置−コード対応表を有し、カラーコード判別部７５では、この色彩配置−コード対応表を参照してカラーコードを判別する。また、使用が予定される複数種類のカラーコードターゲットＣＴについて、カラーコードターゲットＣＴの種別を示す種別コード番号を記憶する。色彩配置−コード対応表はカラーコードターゲットＣＴの種別毎に記憶する。 The storage unit 8 is a captured image storage unit 81 that stores captured images, a reference color storage unit 82 that stores color data of the reference color pattern P2, a color code storage unit 83 that stores color arrangement data of each color code pattern P3, A model storage unit 84 that stores model data, and an imaging parameter storage unit 85 that stores the relationship between internal parameters and focal length f are included. In addition, a color arrangement-code correspondence table for recording the correspondence between the color arrangement data of each color code pattern and the code number is provided, and the color code determination unit 75 refers to the color arrangement-code correspondence table to determine the color code. Is determined. In addition, for a plurality of types of color code targets CT that are scheduled to be used, a type code number indicating the type of the color code target CT is stored. The color arrangement-code correspondence table is stored for each type of color code target CT.
［カラーコードターゲットの検出］
次に、カラーコードターゲットＣＴの検出について説明する。まず、ターゲット抽出部５の位置検出部５１にて撮影画像からカラーコードターゲットＣＴを抽出する。抽出方法として、（１）カラーコードターゲットＣＴ中の位置検出用パターン（レトロターゲット部）Ｐ１を探索する方法、（２）カラーコード部Ｐ３の色分散を検出する方法、あるいは（３）彩色された位置検出用パターンを用いる方法など種々の方法がある。
[Detect color code target]
Next, detection of the color code target CT will be described. First, the color code target CT is extracted from the captured image by the position detection unit 51 of the target extraction unit 5. As an extraction method, (1) a method for searching for a position detection pattern (retro target portion) P1 in the color code target CT, (2) a method for detecting chromatic dispersion of the color code portion P3, or (3) colored There are various methods such as a method using a position detection pattern.
（１）カラーコードターゲットＣＴに再帰反射材料を用いたレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を２値化することにより簡単にレトロターゲットを検出できる。 (1) When a retro target using a retroreflective material is included in the color code target CT, a pattern with a clear brightness difference is used. A shining image can be acquired, and the retro target can be easily detected by binarizing the image.
図５はレトロターゲットの重心位置検出を説明するための図である。ただし、レトロターゲットでなく、黒地に白の塗装で形成した白色円形のターゲットでも処理は同様である。図５の例ではレトロターゲットは２つの同心円で形成されているが、外側が必ずしも円でなくとも良い。図５（Ａ１）は同心円のうち小円の内側である内円部２０４の明度が明るく、小円と大円との間に形成された円環状の部分である外円部２０６の明度が暗いレトロターゲット２００、図５（Ａ２）は（Ａ１）のレトロターゲット２００の直径方向の明度分布図、図５（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット２００、図５（Ｂ２）は（Ｂ１）のレトロターゲット２００の直径方向の明度分布図を示している。レトロターゲットが図５（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物２の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図５（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。レトロターゲットを使用すると、反射光量が大きく検出し易いという利点がある。白色円形のターゲットでは製作が容易である。 FIG. 5 is a diagram for explaining the detection of the center of gravity position of the retro target. However, the process is the same for a white circular target formed with white paint on a black background instead of a retro target. In the example of FIG. 5, the retro target is formed by two concentric circles, but the outer side is not necessarily a circle. In FIG. 5A1, the brightness of the inner circle portion 204 that is the inner side of the small circle among the concentric circles is bright, and the brightness of the outer circle portion 206 that is an annular portion formed between the small circle and the great circle is dark. The retro target 200, FIG. 5A2 is a lightness distribution diagram in the diameter direction of the retro target 200 of FIG. 5A, and FIG. 5B1 is a retro target in which the lightness of the inner circle portion 204 is dark and the lightness of the outer circle portion 206 is bright. 200 and FIG. 5 (B2) show a lightness distribution diagram in the diameter direction of the retro target 200 of (B1). When the brightness of the inner circle portion 204 is bright as shown in FIG. 5A1, the retro target is a bright portion where the reflected light amount at the center of gravity position is large and bright in the captured image of the measurement object 2, and thus the light amount distribution of the image. As shown in FIG. 5 (A2), the inner circle portion 204 and the center position of the retro target can be obtained from the threshold value To of the light amount distribution. When a retro target is used, there is an advantage that the amount of reflected light is large and easy to detect. The white circular target is easy to manufacture.
レトロターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図５（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する（＊は乗算演算子）。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の明度値
なお、図５（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。これにより、レトロターゲット２００の重心位置が求まる。
When the existence range of the retro target is determined, the position of the center of gravity is calculated by the moment method, for example. For example, the plane coordinates of the retro target 200 shown in FIG. 5 (A1) are (x, y). Then, (Expression 1) and (Expression 2) are calculated for points in the x and y directions where the brightness of the retro target 200 is greater than or equal to the threshold value To (* is a multiplication operator).
x g = {Σx * f (x, y)} / Σf (x, y) ---- (Formula 1)
y g = {Σy * f (x, y)} / Σf (x, y) −−−− (formula 2)
(X g , y g ): coordinates of the center of gravity position, f (x, y): lightness value on (x, y) coordinates
In the case of the retro target 200 shown in FIG. 5 (B1), (Expression 1) and (Expression 2) are calculated for points in the x and y directions whose brightness is equal to or less than the threshold value To. Thereby, the position of the center of gravity of the retro target 200 is obtained.
（２）通常、カラーコードターゲットＣＴのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコードターゲットＣＴを検出できる。
（３）カラーコードターゲットＣＴに使用している３隅のレトロターゲットに異なる色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする。３隅のレトロターゲットに異なる色をもたせているため、１つのカラーコードターゲットに属する各レトロターゲットを判別しやすい。
(2) Usually, the color code portion of the color code target CT has a feature that a large number of code colors are used and the color dispersion value is large. For this reason, the color code target CT can be detected by finding a portion having a large dispersion value from the image.
(3) The three color retro targets used in the color code target CT have different colors, and the colors reflected by the respective retro targets are made different. Since the retro targets at the three corners have different colors, it is easy to distinguish each retro target belonging to one color code target.
［光源色補正アルゴリズムのフロー］
図６に光源色補正（広義の光源色補正）のアルゴリズムのフロー例を示す。まず、カラーコードターゲットＣＴ１を検出する（Ｓ０１０）。前述の（１）〜（３）のいずれかで検出できる。例えば、（１）のレトロターゲット部の検出又は（２）の色分散によるカラーコードターゲット検出を行なう。
[Light source color correction algorithm flow]
FIG. 6 shows a flow example of an algorithm for light source color correction (light source color correction in a broad sense). First, the color code target CT1 is detected (S010). It can be detected by any of the above (1) to (3). For example, (1) detection of a retro target portion or (2) color code target detection by chromatic dispersion is performed.
次に、カラーコードターゲットＣＴ１のコード番号を検出する（Ｓ０２０）。カラーコードターゲットＣＴ１は、カラーコード部Ｐ３の配色の差異により識別できる。よって、撮影画像におけるカラーコードターゲットＣＴ１の寸法と傾きを補正した後に、基準色パターン抽出部５２にて、基準色部Ｐ２を予め定められたコースで順次走査して各基準色（単位領域）の色彩を抽出する。カラーコードパターン抽出部５３にて、カラーコード部Ｐ３を予め定められたコースで順次走査して各カラーコード色（単位領域）の色彩を抽出する。本実施例では、各単位領域への配色の組み合わせについて、他の単位領域に使用されている色を重複して使用しないという条件、及びカラーコード部Ｐ３の単位領域の数とコード色数を等しくするという条件が適用されるので、各単位領域の色彩を各基準色と比較し、また、カラーコード色間で相互に比較しながら確認して識別コードを決定できる。これにより、カラーコード判別部７５は、抽出されたカラーコード部Ｐ３の色彩配置を、記憶部８に記憶された色彩配置−コード対応表を参照して、カラーコードターゲットＣＴ１のコード番号を判別する。 Next, the code number of the color code target CT1 is detected (S020). The color code target CT1 can be identified by the difference in the color arrangement of the color code portion P3. Therefore, after correcting the size and inclination of the color code target CT1 in the photographed image, the reference color pattern extraction unit 52 sequentially scans the reference color part P2 along a predetermined course to obtain each reference color (unit region). Extract colors. The color code pattern extraction unit 53 sequentially scans the color code part P3 with a predetermined course to extract the color of each color code color (unit region). In this embodiment, for the combination of color schemes in each unit area, the condition that the colors used in the other unit areas are not used redundantly, and the number of unit areas and the number of code colors in the color code portion P3 are equal. Therefore, the identification code can be determined by comparing the color of each unit area with each reference color and confirming the color code colors while comparing with each other. Thereby, the color code determination unit 75 refers to the color arrangement-code correspondence table stored in the storage unit 8 for the color arrangement of the extracted color code part P3, and determines the code number of the color code target CT1. .
次に、輝度スケール領域Ｐ５又は／及び白色領域Ｐ４の検出を行なう（Ｓ０３０）。カラーコードターゲットＣＴ１の輝度スケール領域Ｐ５又は／及び白色領域Ｐ４を自動あるいは手動で指定する。輝度スケール領域Ｐ５及び白色領域Ｐ４は、カラーコードターゲットＣＴ１の検出に使用される３個のレトロターゲットに対して予め定められた位置関係にあることから、輝度スケール領域抽出部５２２又は／及び白色領域抽出部５２１は先に求められた３個のレトロターゲットの位置から対応する位置を自動的に走査し、検出された色彩を確認する。本実施例では、カラーコードターゲットＣＴ１の右下隅の領域を輝度スケール領域Ｐ５として検出する。なお、マニュアルで対応する位置を指定することも可能である。 Next, the brightness scale region P5 and / or the white region P4 is detected (S030). The luminance scale region P5 and / or the white region P4 of the color code target CT1 is designated automatically or manually. Since the luminance scale region P5 and the white region P4 are in a predetermined positional relationship with respect to the three retro targets used for detection of the color code target CT1, the luminance scale region extraction unit 522 and / or the white region The extraction unit 521 automatically scans the corresponding position from the three previously determined retro target positions, and confirms the detected color. In this embodiment, the lower right corner area of the color code target CT1 is detected as the luminance scale area P5. It is also possible to specify the corresponding position manually.
［光源色補正の前処理］
次に、光源色補正（狭義の光源色補正）の前処理を行う。この前処理も狭義の光源色補正に含まれる。この前処理は色補正部７１にて行われる。
まず、逆レスポンス関数を推定し、輝度スケール領域Ｐ５において検出された画素値（Ｍ）に逆レスポンス関数を掛ける処理を行う（Ｓ０４０）。一般的なデジタルカメラではシーン（撮影されるべき撮影対象及びその背景）の放射輝度（Ｉ）をデジタルカメラの画素値（Ｍ）に対応させるためのレスポンス関数が掛かっている。これは、画像をガンマ補正がされたディスプレイ上で確認した時に自然に見えるようにするためでる。ガンマ補正とは、白色領域がディスプレイ上で、有彩色やグレーが入らず白色になるように基準となる光（ＲＧＢ）にモニタ特性の逆関数を掛ける補正することをいう。ところが、レスポンス関数の補正に関して、画像の輝度値が線形でないので、輝度補正する場合に単純ではない。例えば、２枚の画像の画素値の比を考えた場合、画素値（Ｍ）によって画素値の比が異なってしまう。例えば、白色パッチ（輝度スケール領域の白色部分又は白色領域Ｐ４）から輝度補正用のパラメータを推定した場合、そのパラメータを白色パッチ以外の領域（輝度スケール領域の白色以外の部分）に補正パラメータとして使うと補正を正しく行なうことができない。そのため、画素値から放射輝度を算出するには画素値にレスポンス関数の逆関数を掛けて、画素値を線形に変換する必要がある。
[Pre-processing for light source color correction]
Next, preprocessing for light source color correction (narrow sense light source color correction) is performed. This preprocessing is also included in light source color correction in a narrow sense. This preprocessing is performed by the color correction unit 71.
First, an inverse response function is estimated, and a process of multiplying the pixel value (M) detected in the luminance scale region P5 by the inverse response function is performed (S040). In a general digital camera, a response function is applied to make the radiance (I) of a scene (a subject to be photographed and its background) correspond to the pixel value (M) of the digital camera. This is to make the image look natural when viewed on a gamma corrected display. Gamma correction refers to correction by multiplying the reference light (RGB) by an inverse function of the monitor characteristics so that the white area is white on the display without chromatic colors or gray. However, regarding the correction of the response function, since the luminance value of the image is not linear, it is not simple when correcting the luminance. For example, when considering the ratio of pixel values of two images, the ratio of pixel values differs depending on the pixel value (M). For example, when a parameter for luminance correction is estimated from a white patch (a white portion of the luminance scale region or the white region P4), the parameter is used as a correction parameter for a region other than the white patch (a portion other than white in the luminance scale region). And correction cannot be performed correctly. Therefore, in order to calculate radiance from the pixel value, it is necessary to multiply the pixel value by the inverse function of the response function to convert the pixel value linearly.
図７にカメラのレスポンス関数推定のフロー例を示す。まず、輝度スケール領域抽出部５２２にて輝度スケール領域Ｐ５としてグレートーンパッチを検出する（Ｓ０３０）。この際、白色領域抽出部５２１で白色領域Ｐ４を、基準色パターン抽出部５２で基準色パターンＰ２のＲＧＢ領域を併せて検出しても良い。白色領域Ｐ４と基準色パターンＰ２のＲＧＢ領域を併用することにより、カラーバランスの調整精度を向上できる。次に、逆レスポンス関数の推定処理（Ｓ０４０）として、色補正部７１にて次の工程を行う。まず、グレートーンパッチの各パッチ（諧調が等しい部分を１つのパッチとする）の画素値（Ｍｎ）の抽出を行なう（Ｓ０４１）。次に、各パッチの画素値の平均値（Ｍｎ）を取得する。ここで、ｎはパッチ番号を表す（ｎ＝０〜１０）。次に、多項式で画素値（Ｍｎ）を近似する（Ｓ０４２）。各パッチの既知の諧調値を放射輝度（Ｉｎ）とする。各点Ｐｎ（Ｉｎ，Ｍｎ）（ｎ＝１〜１０）を通る関数ｆ（Ｍ）を多項式（式３）で近似する。多項式近似は最小二乗法にて行なう。なお、白色パッチの場合には、ｎ＝Ｎで、輝度値＝１である。
図８にレスポンス関数の例を示す。
図９に逆レスポンス関数の例を示す。逆レスポンス関数はレスポンス関数の逆関数である。
FIG. 8 shows an example of a response function.
FIG. 9 shows an example of the inverse response function. The inverse response function is the inverse function of the response function.
次に、図６に戻り、色補正部７１にて光源色を算出する（Ｓ０５０）。カラーコードターゲット検出工程（Ｓ０１０）で検出した輝度スケール領域Ｐ５がグレートーンパッチである時、又は白色領域Ｐ４が白色パッチである時は、領域内の画素値（Ｉ）（グレートーンパッチの場合は諧調毎に）の平均を光源色（Ｅｐ）（光源のパワーを分光分布で示したもの）とする（式４）（川上玲，Ｒ．Ｔ．Ｔａｎ，池内克史：“光源環境の変化を利用した物体色の推定”，画像の認識・理解シンポジウム（ＭＩＲＵ２００４）参照）。それ以外のパッチ（カラートーンパッチ）を検出した場合、それぞれの諧調毎にパッチの既知である表面色（Ｓ）（表面反射率を分光分布で示したもの）で領域内の画素値（Ｉ）を割ることで光源色（Ｅｐ）（分光分布）を算出する。そして、算出された光源色（Ｅｐ）のＲＧＢ成分の二乗和が１となるように正規化する。
Ｓ：表面色（表面反射率を分光分布で示したもの、白の場合は１）
Ｅｐ：推定された光源色（分光分布）
Next, returning to FIG. 6, the color correction unit 71 calculates the light source color (S050). When the luminance scale region P5 detected in the color code target detection step (S010) is a gray tone patch, or when the white region P4 is a white patch, the pixel value (I) in the region (in the case of a gray tone patch) Average (for each gradation) is the light source color (Ep) (the power of the light source is indicated by the spectral distribution) (Equation 4) (Satoshi Kawakami, R.T.Tan, Katsushi Ikeuchi: “Use changes in light source environment Estimated object color ", Image recognition and understanding symposium (MIRU 2004)). When other patches (color tone patches) are detected, the pixel value (I) in the area with the surface color (S) (the surface reflectance is indicated by the spectral distribution) that is known for each tone. To calculate the light source color (Ep) (spectral distribution). Then, normalization is performed so that the square sum of the RGB components of the calculated light source color (Ep) becomes 1.
S: Surface color (surface reflectivity in spectral distribution, 1 for white)
Ep: Estimated light source color (spectral distribution)
［光源色補正］
次に、色補正部７１にて光源色補正（狭義の光源色補正）を行なう（Ｓ０６０）。
図１０は光源色補正（狭義の光源色補正）のアルゴリズムを説明するための図である。光源を不知の光源に代えて標準の光源を用いるのと等価な補正を行う。撮影した画像に含まれる物が拡散反射物体であり、相互反射や鏡面反射を含まない場合、画像の画素値（Ｉ）と表面色（Ｓ）と光源色（Ｅｐ）の関係は(式４)で表される。ここで、表面色（Ｓ）とは物体固有の色であり、光源色（Ｅｐ）の変動に対して不変な色である。つまり、光源色補正を行い、光源色（Ｅｐ）によらない物体固有の色（Ｓ）に基づく画素値を求める。
[Light source color correction]
Next, the color correction unit 71 performs light source color correction (narrowly defined light source color correction) (S060).
FIG. 10 is a diagram for explaining an algorithm for light source color correction (light source color correction in a narrow sense). Correction equivalent to using a standard light source instead of an unknown light source is performed. When the object included in the captured image is a diffuse reflection object and does not include mutual reflection or specular reflection, the relationship between the pixel value (I), the surface color (S), and the light source color (Ep) of the image is expressed by (Equation 4). It is represented by Here, the surface color (S) is a color unique to the object, and is a color that is invariant to variations in the light source color (Ep). That is, light source color correction is performed, and a pixel value based on a color (S) unique to the object that does not depend on the light source color (Ep) is obtained.
光源色補正（狭義の光源色補正）は、撮影した画像の全画素値を算出された光源色（Ｅｐ）で割ることで行なわれる。ここで、（Ｉ〜）は補正後の画素値、（Ｉ）は補正前の画素値、（Ｅｐ）は推定された光源色である。
Ｉ ：補正前の画素値
Ｅｐ：（式４）で推定された光源色
Light source color correction (narrow sense light source color correction) is performed by dividing all pixel values of a captured image by the calculated light source color (Ep). Here, (I˜) is the pixel value after correction, (I) is the pixel value before correction, and (Ep) is the estimated light source color.
I: Pixel value before correction
Ep: Light source color estimated by (Expression 4)
次に、輝度の補正を行なう（Ｓ０７０）。複数のカメラで同時に画像を撮影した場合について考える。それぞれのカメラで撮影した画像について、光源色の補正（Ｓ０６０）を行なう。この時の各画像は光源色が補正されているが、画像間では画像の明るさを表す輝度が異なる。そこで、各画像について、撮影したグレートーンパッチＰ５の画素値を基準として輝度を補正する。複数の画像のパッチの画素値の比（Ｒ）を計算する。そして、この画素値の比を片方の画像に掛けることにより複数の画像間における輝度の補正を行なう。
Ｅｐ：各カメラにおける光源色
Ｉ：各カメラにおける画素値
これにより、画像間の輝度を合わせることができる。なお、ここでは、光源色補正（広義の光源色補正）アルゴリズムについてグレートーンパッチに適用する例を説明したが、カラートーンパッチについても同様に適用できる。
Next, luminance correction is performed (S070). Consider the case where images are taken simultaneously by multiple cameras. The light source color is corrected (S060) for the images photographed by the respective cameras. Each image at this time has the light source color corrected, but the luminance representing the brightness of the image differs between the images. Therefore, the luminance of each image is corrected based on the pixel value of the captured gray tone patch P5. A ratio (R) of pixel values of a plurality of image patches is calculated. Then, the luminance between the plurality of images is corrected by multiplying one image by the ratio of the pixel values.
Ep: Light source color in each camera
I: Pixel value in each camera
Thereby, the brightness | luminance between images can be match | combined. Although an example in which the light source color correction (light source color correction in a broad sense) algorithm is applied to a gray tone patch has been described here, the present invention can be applied to a color tone patch in the same manner.
［カメラパラメータの調整］
次にパラメータの調整について説明する（特開２００７−１４７４５７号公報参照）。
[Adjust camera parameters]
Next, parameter adjustment will be described (see Japanese Patent Application Laid-Open No. 2007-147457).
［相互標定］
本実施の形態において、焦点距離の推定は相互標定時に行われる。ステレオペア選択された撮影画像について、特徴点や基準点と対応点の座標を用いて、標定部６３により標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き等の外部標定要素、対応点の位置、計測精度（例えば、基準点がある場合には、バンドル調整で算出された三次元座標と基準点との残差の標準偏差、無い場合には、相互標定時の縦視差が用いられる）を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。相互標定は標定部６３で行なわれる。
[Mutual orientation]
In the present embodiment, the focal length is estimated at the time of relative orientation. The orientation calculation process is performed by the orientation unit 63 using the coordinates of the feature point, the reference point, and the corresponding point for the captured image selected as the stereo pair. By the orientation calculation process, the position of the photographed camera, external orientation elements such as tilt, position of corresponding points, measurement accuracy (for example, if there is a reference point, the 3D coordinates calculated by bundle adjustment and the reference point The standard deviation of the residual, or the vertical parallax at the time of mutual orientation is used when there is no residual). The orientation calculation processing is performed by mutual orientation for associating a pair of captured images or a pair of model images, and for orientation between a plurality of images or all images by bundle adjustment. The relative orientation is performed by the orientation unit 63.
図１１は、ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの関係の説明図である。モデル画像座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。 FIG. 11 is an explanatory diagram of the relationship between the model image coordinate system XYZ and the camera coordinate system xyz in a stereo image. The origin of the model image coordinate system is taken as the left projection center, and the line connecting the right projection centers is taken as the X axis. For the scale, the base line length is taken as the unit length. The parameters to be obtained at this time are 5 of the left camera Z-axis rotation angle κ1, the Y-axis rotation angle φ1, the right-hand camera Z-axis rotation angle κ2, the Y-axis rotation angle φ2, and the X-axis rotation angle ω2. One rotation angle. In this case, the rotation angle ω 1 of the X axis of the left camera is 0, so there is no need to consider it.
このような条件にすると、（式７）の共線条件式は（式８）のようになり、この式を解けば各パラメータが求まる。
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式９）、（式１０）が成り立つ。
この式の中の、−ｃが画面距離で、焦点距離ｆと同等なものなので、この値を変動させ、最適値を選ぶことになる。なお、左右のカメラの焦点距離が異なる時は、（式９）と（式１０）のｃの値が異なる。 In this equation, -c is the screen distance, which is equivalent to the focal length f, so that this value is varied and the optimum value is selected. When the focal lengths of the left and right cameras are different, the value of c in (Expression 9) and (Expression 10) is different.
これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（式８）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（式９）、（式１０）により求め、観測方程式をたてる。
（ｉｉｉ）最小自乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｉｖ）までの操作を収束するまで繰り返す。
Using these equations, unknown parameters are obtained by the following procedure.
(I) The initial approximate values of the parameters (κ1, φ1, κ2, 2, ω2) are normally 0.
(Ii) The coplanar conditional expression (Expression 8) is Taylor-expanded around the approximate value, and the value of the differential coefficient when linearized is obtained by Expressions (Expression 9) and (Expression 10), and an observation equation is established.
(Iii) Applying the method of least squares, a correction amount for the approximate value is obtained.
(Iv) The approximate value is corrected.
(V) The operations from (ii) to (iv) are repeated using the corrected approximate value until convergence.
仮に、標定点の配置が悪い等の場合、収束しない場合がありうる。正常に行われなかった場合は、標定結果表示でエラーを出力し、どこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して上記計算を繰り返す。だめなら標定点の配置変更を行なう。 If the location of the orientation points is poor, it may not converge. If not successful, an error is output in the orientation result display to indicate which image is bad. In this case, if there is another orientation point on the image, it is changed and the above calculation is repeated. If not, change the location of the orientation point.
このように、ステレオペア選択された各画像について、抽出された標定点で標定し、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては後述するバンドル調整にて行う。 In this way, each image selected as a stereo pair can be determined using the extracted orientation points, and the position and tilt of the photographed camera, the position of corresponding points, and the measurement accuracy can be obtained. The orientation calculation processing is performed by mutual orientation for associating a pair of captured images or a pair of model images, and for orientation between a plurality of images or all images by bundle adjustment described later.
〔モデル形成〕
モデル形成部７３は、標定部６３によって標定計算処理された外部パラメータ（撮影したカメラの位置、傾き）を用いて、モデル及びモデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーラライン上に再配置したものをいう。
[Model formation]
The model forming unit 73 forms a model and a model image using the external parameters (position and tilt of the photographed camera) subjected to the orientation calculation processing by the orientation unit 63. Here, the model image is also referred to as a displacement corrected image, and refers to an image obtained by rearranging corresponding points of the left and right images that are a pair of captured images on the same epipolar line.
図１２にモデル画像の例を示す。標定処理の結果を用いてモデル画像を形成すると、このように、左右画像のリファレンスポイントＲＦは同一エピポーラライン（水平線）ＥＰ上に再配列される。ＴＧはターゲット（本実施例ではカラーコードターゲットＣＴ１）である。焦点距離の推定を行なう場合には、焦点距離ｆを変数として離散値を用いるために、左右画像に僅かな縦視差が生じ得るが、本実施の形態ではこれらの画像もモデル画像として扱う。モデル記憶部８４は、モデル形成部７３で形成された測定対象物２のモデルデータ及びモデル画像を記憶する。表示部４１は、ターゲット抽出部５で行う特徴点抽出、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル形成部７３により形成されたモデル画像を一対の画像として表示する。 FIG. 12 shows an example of a model image. When the model image is formed using the result of the orientation process, the reference points RF of the left and right images are rearranged on the same epipolar line (horizontal line) EP in this way. TG is a target (in this embodiment, a color code target CT1). When estimating the focal length, since a discrete value is used with the focal length f as a variable, a slight vertical parallax may occur between the left and right images. In the present embodiment, these images are also handled as model images. The model storage unit 84 stores model data and model images of the measurement object 2 formed by the model forming unit 73. The display unit 41 displays the captured image or the model image formed by the model forming unit 73 as a pair of images in the processing such as feature point extraction, corresponding point search, and stereo matching performed by the target extraction unit 5.
〔焦点距離推定〕
図１３に焦点距離推定の処理フロー例を示す。ここでは、ズーム式カメラにおいて予め、複数焦点の焦点位置にてキャリブレーションを行い、これらのデータより焦点距離ｆに対するカメラ内部パラメータ（主点位置及びレンズディストーション）の近似曲線を求め、撮影パラメータ記憶部８５に記憶しておく（ステップＳ１１０：内部パラメータ記憶工程）。画像計測用に任意のズーム位置（焦点位置）にてステレオ撮影した（ステップＳ１２０、図１３では第１の撮影工程と表示）場合、相互標定にて最確（縦視差が最も小さい）な焦点距離ｆを推定する（ステップＳ１３５：標定・焦点距離推定工程）。焦点距離ｆの推定は標定部６３の焦点距離推定部６３１にて行なう。推定された焦点距離ｆに基づいてカメラ内部パラメータ（ディストーション及び主点位置）を近似曲線より取り出し、外部パラメータ（カメラの位置、傾き）も相互標定にて演算される（ステップＳ１４０：撮影パラメータ演算工程）。このようにして求めたカメラ内部パラメータ及び外部パラメータを用いて、撮影対象物２のモデルを形成し（ステップＳ１５５：モデル形成工程）、モデル三次元座標演算を行う（ステップＳ１６０：三次元座標演算工程）。かかる手法を焦点距離推定法と称する。
[Estimation of focal length]
FIG. 13 shows an example of a processing flow for focal length estimation. Here, in the zoom camera, calibration is performed in advance at the focal positions of a plurality of focal points, an approximate curve of camera internal parameters (principal point position and lens distortion) with respect to the focal length f is obtained from these data, and an imaging parameter storage unit 85 (step S110: internal parameter storage step). When stereo shooting is performed at an arbitrary zoom position (focal position) for image measurement (step S120, displayed as the first shooting step in FIG. 13), the focal length that is most accurate (smallest vertical parallax) in relative orientation. f is estimated (step S135: orientation / focal length estimation step). The focal length f is estimated by the focal length estimation unit 631 of the orientation unit 63. Based on the estimated focal length f, camera internal parameters (distortion and principal point position) are extracted from the approximate curve, and external parameters (camera position and tilt) are also calculated by relative orientation (step S140: imaging parameter calculation step). ). Using the camera internal parameters and the external parameters thus determined, a model of the object 2 is formed (step S155: model formation step), and model three-dimensional coordinate calculation is performed (step S160: three-dimensional coordinate calculation step). ). Such a method is called a focal length estimation method.
モデル画像を形成するためには、少なくとも１回の相互標定を行う。この相互標定の際に、焦点距離推定部６３１において、ターゲット抽出部５で求められた特徴点、基準点及び対応点を用い、焦点距離ｆを変数として、一対のモデル画像間の残存縦視差を最小にするように、撮影レンズの焦点距離を推定する（ステップＳ１３５）。すなわち、焦点距離推定部６３１では、相互標定を行い最初のモデル画像を形成する過程で焦点距離ｆを推定する。このとき、焦点距離推定部６３１は変数としての焦点距離ｆを標定部６３に供給し、標定部６３で相互標定の計算を行って外部標定要素を算出し、モデル形成部７３ではその外部標定要素を用いてモデル画像を形成し、焦点距離推定部６３１では、これらの焦点距離ｆを変化させたときのモデル画像を比較して残存縦視差が最小となる焦点距離ｆ、すなわち、左右エピポーララインの垂直方向の差異を最小になるような焦点距離ｆを最確値とする。なお、相互標定を繰り返し行うことにより標定精度を向上できるので、２回目以後の相互標定で形成されたモデル画像を比較して焦点距離ｆを推定しても良い。 In order to form a model image, relative orientation is performed at least once. At the time of this relative orientation, the focal length estimation unit 631 uses the feature points, reference points, and corresponding points obtained by the target extraction unit 5 and sets the residual vertical parallax between the pair of model images using the focal length f as a variable. The focal length of the taking lens is estimated so as to be minimized (step S135). That is, the focal length estimation unit 631 estimates the focal length f in the process of performing relative orientation and forming the first model image. At this time, the focal length estimation unit 631 supplies the focal length f as a variable to the orientation unit 63, the orientation unit 63 calculates the relative orientation to calculate an external orientation element, and the model formation unit 73 calculates the external orientation element. The focal length estimation unit 631 compares the model images when these focal lengths f are changed, and the focal length f that minimizes the residual vertical parallax, that is, the left and right epipolar lines. The focal length f that minimizes the vertical difference is the most probable value. Since the relative accuracy can be improved by repeatedly performing relative orientation, the focal distance f may be estimated by comparing model images formed by the second and subsequent relative orientations.
焦点距離ｆを変数として比較する際に、例えば、ズーム式カメラ２の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、変数として、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。また、この焦点距離の最確値を近似的に求める手法として１段階目として変数を２ｍｍ間隔とし、２段階目として１段階目で求めた最確値の近傍で変数を０．５ｍｍ間隔とするなどにより、段階式に最確値を求め、高速化をはかることも可能である。そして、後述するように、推定した焦点距離ｆより、主点位置とレンズディストーションのパラメータを近似曲線より算出・取り出し、これをカメラ内部パラメータとする。また、毎回推定された焦点距離ｆと対応する内部パラメータを用いて相互標定を行うことにより、焦点距離ｆを高精度に求めることができる。 When comparing the focal length f as a variable, for example, a case where the focal length of the zoom camera 2 can be adjusted from 7.2 mm to 50.8 mm will be taken up. Assuming that the number of focal length data is six, 7.2 mm is the widest angle, 52.2 mm is the maximum telephoto, and the intermediate measurement points are measured at equal intervals in the optical sense. 8.7 mm, 11.6 mm, 24.8 mm, and 39.0 mm are selected. In addition, as a method for approximately obtaining the most probable value of the focal length, the variable is set at 2 mm intervals as the first step, and the variable is set at 0.5 mm intervals in the vicinity of the most probable value obtained at the first step as the second step. It is also possible to obtain the most probable value in a stepwise formula and increase the speed. Then, as will be described later, from the estimated focal length f, the principal point position and lens distortion parameters are calculated and extracted from the approximate curve, and these are used as camera internal parameters. Further, by performing relative orientation using the internal parameters corresponding to the estimated focal length f every time, the focal length f can be obtained with high accuracy.
〔バンドル調整〕
標定計算処理は、複数または全画像間の標定に関してはバンドル調整にて行う。バンドル調整は標定部６３にて行なう。カメラ内部パラメータを演算処理するに際し、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いることができる。ここで、「バンドル調整」とは、被写体、レンズ、カメラの撮像面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小自乗法により外部標定要素（撮影したカメラの位置と傾き）とリファレンスポイントＲＦの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラ内部標定要素（主点位置及びレンズディストーション）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の（式１１）と（式１２）である。
[Bundle adjustment]
The orientation calculation process is performed by bundle adjustment for orientation between a plurality of images or all images. The bundle adjustment is performed by the orientation unit 63. When computing camera internal parameters, for example, the “bundle adjustment method with self-calibration” used in the photogrammetry field can be used. Here, “bundle adjustment” is based on the collinear condition that the luminous flux (bundle) connecting the subject, the lens, and the imaging surface of the camera must be on the same straight line, and the observation equation for each luminous flux of each image. In this method, the external orientation element (position and tilt of the photographed camera) and the coordinate position of the reference point RF are simultaneously adjusted by the method of least squares. “With self-calibration” is a method by which a calibration element, that is, a camera internal orientation element (principal point position and lens distortion) can be obtained. The collinear condition basic expressions of the bundle adjustment method with self-calibration (hereinafter simply referred to as “bundle adjustment method”) are the following (Expression 11) and (Expression 12).
この（式１１）と（式１２）は、共線条件式（式７）を基本式とするものである。即ちバンドル調整法は、（式１１）と（式１２））を用いて、複数画像から最小自乗近似して、最適解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
These (Expression 11) and (Expression 12) are based on the collinear conditional expression (Expression 7). In other words, the bundle adjustment method is a method of calculating an optimum solution by approximating the least squares from a plurality of images using (Equation 11) and (Equation 12)), and simultaneously obtaining the external orientation elements of the cameras at the respective photographing positions. It becomes possible. That is, it is possible to obtain a camera calibration element.
ここで、内部標定要素の補正モデルとして、放射方向レンズ歪を有する場合の一例を次の（式１３）に示す。
Here, as a correction model of the internal orientation element, an example in the case of having radial lens distortion is shown in the following (Formula 13).
〔内部パラメータ〕
ここで、カメラ内部標定要素（カメラ内部パラメータ）について説明する。
図１４は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、図１４（Ａ）は（式１３）の係数ｋ１、図１４（Ｂ）は（式１３）の係数ｋ２、図１４（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０、図１４（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０を表している。ここでは、前述の説例のように、ズーム式カメラの焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。
[Internal parameters]
Here, camera internal orientation elements (camera internal parameters) will be described.
FIG. 14 is a diagram for explaining the relationship between the focal length and the coefficient used for the internal parameter function. FIG. 14A is a coefficient k1 of (Expression 13), FIG. 14B is a coefficient k2 of (Expression 13), FIG. 14C shows the x-axis position deviation coefficient x 0 between the camera principal point and the image center in the image coordinate system x, and FIG. 14D shows the y-axis position deviation between the camera principal point and the image center in the image coordinate system y. it represents the coefficient y 0. Here, a case where the focal length of the zoom camera can be adjusted from 7.2 mm to 50.8 mm as in the above-described example will be taken up. If the number of focal length data is six, 7.2 mm is the widest angle, 52.2 mm is the maximum telephoto, and 8.7 mm is used as an intermediate measurement point at equal intervals in the optical sense. 11.6 mm, 24.8 mm, and 39.0 mm are selected.
（式１３）の係数ｋ１、ｋ２は、最広角側で絶対値が最大となり、最望遠側では小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０は、ズーム式カメラの焦点距離が１１．６ｍｍで極小値を、５２．２ｍｍで最小値４．４１をとり、２４．８ｍｍで最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０は、ズーム式カメラの焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、ズーム式カメラ２の焦点距離ｆと、投影中心点Ｏ１、Ｏ２から画像座標系までの画面距離ｃとは、等しくなっている。 The coefficients k 1 and k 2 in (Equation 13) have the maximum absolute value on the widest angle side and are small on the maximum telephoto side. X-axis position deviation coefficients x 0 of the camera principal point and the image center of the image coordinate system x is the minimum value focal length of the zoom camera is at 11.6 mm, taking the minimum value 4.41 in 52.2Mm, 24 Since this is a complicated change with a maximum value of 4.55 at 8 mm, it is approximated by a quintic curve of the focal length. Image coordinate system y-axis position displacement factor of the camera principal point and the image center in y y 0 is monotonically varies depending on the focal length of the zoom camera. Since the chart photographed image is photographed in focus, the focal length f of the zoom camera 2 and the screen distance c from the projection center points O 1 and O 2 to the image coordinate system are equal. Yes.
図１４の近似曲線に焦点距離ｆを入力すると、内部パラメータ関数に用いられる係数ｋ１、ｋ２、ｘ０、ｙ０が得られる（ステップＳ１３５）。ここで、カメラ主点のずれである座標（ｘ０、ｙ０）が光軸中心（主点位置）を表す。そして、内部パラメータ関数としての（式１１）、（式１２）、（式１３）にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最小自乗法を適用することで、最も確からしい内部パラメータが算出できる。これらの内部パラメータと焦点距離ｆの関係は撮影パラメータ記憶部８５に入力されており、撮影パラメータ記憶部８５から取得可能である。また、ズームレンズの場合には、内部パラメータは撮影画角に対応した撮影条件による影響を加味して読み出される。
また、内部パラメータの主点位置とレンズディストーションは、パスポイント（対応点）の正確な三次元座標を算出するために使用される。
When the focal length f is input to the approximate curve of FIG. 14, coefficients k 1 , k 2 , x 0 , y 0 used for the internal parameter function are obtained (step S135). Here, coordinates (x 0 , y 0 ), which is a shift of the camera principal point, represent the optical axis center (principal point position). Then, by substituting these coefficients into (Expression 11), (Expression 12), and (Expression 13) as internal parameter functions, an observation equation is established for each observation point. The most probable internal parameters can be calculated by simultaneously solving the observation equations and applying the least square method. The relationship between these internal parameters and the focal length f is input to the shooting parameter storage unit 85 and can be acquired from the shooting parameter storage unit 85. In the case of a zoom lens, the internal parameters are read by taking into account the influence of the shooting conditions corresponding to the shooting angle of view.
Further, the principal point position and lens distortion of the internal parameters are used to calculate an accurate three-dimensional coordinate of the pass point (corresponding point).
〔撮影画像の補正〕
画像データ補正部７６は、これらの内部パラメータ係数ｋ１、ｋ２、ｘ０、ｙ０を用いて撮影画像又はモデル画像を補正する。モデル形成部７３は、標定部６３によって標定計算処理された外部パラメータ（撮影したカメラの位置、傾き）から、測定対象物２のモデル及びモデル画像を形成する（ステップＳ１５５）。この際に、画像データ補正部７６で補正された撮影画像データやモデル画像データがあれば、これを用いて新たなモデル画像を形成する。これにより、レンズ歪みの影響が除去されたモデル画像を形成できる。表示部４１は補正されたモデル画像を表示する。
[Correction of shot image]
The image data correction unit 76 corrects the captured image or model image using these internal parameter coefficients k 1 , k 2 , x 0 , y 0 . The model forming unit 73 forms a model and model image of the measuring object 2 from the external parameters (position and tilt of the photographed camera) subjected to the orientation calculation processing by the orientation unit 63 (step S155). At this time, if there is captured image data or model image data corrected by the image data correction unit 76, a new model image is formed using the captured image data or model image data. Thereby, the model image from which the influence of lens distortion was removed can be formed. The display unit 41 displays the corrected model image.
モデル形成部７３は、カメラで撮影されたステレオ画像について相互標定で得られた外部標定要素を用いて偏位修正画像（モデル画像）を生成する機能を有し、一組のステレオ撮影された画像を偏位修正して、立体視できるように調整する。さらに、偏位修正されたステレオ画像から、いわゆる絶対標定を行って、各画素（ピクセル）の地上座標を計算する。 The model forming unit 73 has a function of generating a displacement correction image (model image) using an external orientation element obtained by relative orientation for a stereo image taken by a camera, and a set of stereo taken images Is adjusted so that it can be viewed stereoscopically. Further, so-called absolute orientation is performed from the stereo image whose displacement has been corrected, and the ground coordinates of each pixel (pixel) are calculated.
画像データ補正部７６は、さらに絶対標定又は相互標定で得られたステレオ画像データをオルソ画像に変換する機能を有する。オルソ画像とは、写真測量技術に基づき、カメラの傾きや比高等による歪みを補正して正射投影とした画像である。撮影画像記憶部８１に格納されたステレオ画像データは、中心投影画像とよばれるものである。画像データ補正部７６は、ステレオ画像データの画像を中心投影から正射投影（オルソ）画像に作成し直して、測定対象物２の詳細なモデル画像を作成する。
補正された画像データを用いて精密標定、三次元座標演算を行なうことができる。
The image data correction unit 76 further has a function of converting stereo image data obtained by absolute orientation or relative orientation into an ortho image. An ortho image is an orthographic projection image obtained by correcting distortion due to camera tilt, specific height, etc. based on photogrammetry technology. The stereo image data stored in the photographed image storage unit 81 is called a center projection image. The image data correction unit 76 recreates the stereo image data image from the central projection to the orthographic projection (ortho) image, and creates a detailed model image of the measurement object 2.
Fine orientation and three-dimensional coordinate calculation can be performed using the corrected image data.
本実施例における焦点距離推定法（５）の他に、次のようなキャリブレーション方法（１）〜（４）も可能である。 In addition to the focal length estimation method (5) in the present embodiment, the following calibration methods (1) to (4) are also possible.
（１）目盛り合わせ法：焦点距離は一度目盛り中心に合わせてキャリブレーションを行い、再度その焦点距離に目検討で合わせ、前記キャリブレーションデータを使用して精度評価を実施する。
（２）デジタルカメラデータ解析ツール利用法：デジタルカメラの画像ファイルの規格として使用されるＥｘｉｆ（イグジフ、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔの略語）形式の画像ファイルからデジタルカメラのデータ解析ツールにて得られた焦点距離を使用し、ディストーションと主点位置のパラメータは（３）に記すオンサイト法によりデータ取得し、キャリブレーションデータを作成する。
（３）オンサイト法：予め目盛に合わせて例えば６箇所の焦点距離にてキャリブレーションを実施し、これらのデータより焦点距離に対しディストーション及び主点位置に関する関数を作成しておく。任意のズーム位置でステレオ撮影すると仮定し、焦点距離はセルフキャリブレーション付きバンドル調整により取得する。例えば、パスポイント（対応点）１０点とし、取得された焦点距離に対応するキャリブレーションデータを近似曲線より算出する。
（４）固定焦点法：焦点距離を固定してキャリブレーションを実施し、その固定した焦点位置のみにて撮影・解析を行う。
（５）焦点距離推定法：本実施例に該当する方法である。相互標定にて縦視差が最も小さくなるような焦点距離を最確値として算出し、ディストーションと主点位置のパラメータは（４）に記すオンサイト法の近似曲線より算出する。
(1) Scale adjustment method: The focal length is once calibrated to the center of the scale, and then again adjusted to the focal length by a visual examination, and accuracy evaluation is performed using the calibration data.
(2) Digital camera data analysis tool usage: Focus obtained with the digital camera data analysis tool from an Exif (Exchangable Image File Format) format file used as a standard for digital camera image files Using the distance, the distortion and principal point position parameters are acquired by the on-site method described in (3) to create calibration data.
(3) On-site method: Calibration is performed in advance at, for example, six focal lengths according to the scale, and a function relating to distortion and principal point position is created with respect to the focal length from these data. It is assumed that stereo shooting is performed at an arbitrary zoom position, and the focal length is acquired by bundle adjustment with self-calibration. For example, with 10 pass points (corresponding points), calibration data corresponding to the acquired focal length is calculated from the approximate curve.
(4) Fixed focus method: Calibration is performed with a fixed focal length, and photographing and analysis are performed only at the fixed focal position.
(5) Focal length estimation method: This method corresponds to this embodiment. The focal length that minimizes the vertical parallax in relative orientation is calculated as the most probable value, and the distortion and principal point position parameters are calculated from the on-site approximate curve described in (4).
［三次元座標演算］
図１５に実施例１における三次元座標演算の処理フロー例を示す。
まず、１組のカラーコードターゲットＣＴ１を配置する（標識配置工程：Ｓ１００）。標識配置工程（Ｓ１００）では、カラーコードターゲットＣＴ１をキャリブレーションボックスＣＢの表面上に配置しても良く、測定対象物２が置かれる場所の周囲に配置しても良く、測定対象物２の表面上に配置しても良い。本実施例ではキャリブレーションボックスＣＢの表面上に配置することとする。また、カラーコードターゲットＣＴ１は撮影パラメータを求めるのに適した位置関係に配置することが好適である。例えば測定対象物２とほぼ同じ大きさのキャリブレーションボックスＣＢ表面に、測定対象物２の色の変化に対応するように配置することが好ましい。すなわち、色の変化が緩やかな位置ではカラーコードターゲットＣＴの間隔を疎にし、色の変化が急激な位置ではカラーコードターゲットＣＴの間隔を密にすることが好ましい。また、カメラのレンズ歪が小さい位置ではカラーコードターゲットＣＴの間隔を疎にし、カメラのレンズ歪が大きい位置ではカラーコードターゲットＣＴの間隔を密にすることが好ましい。次に焦点距離推定のため、カメラ内部パラメータ（主点位置及びレンズディストーション）の近似曲線を求め、撮影パラメータ記憶部８５に記憶する（ステップＳ１１０）。
[3D coordinate calculation]
FIG. 15 shows a processing flow example of the three-dimensional coordinate calculation in the first embodiment.
First, a set of color code targets CT1 is placed (label placement step: S100). In the marker placement step (S100), the color code target CT1 may be placed on the surface of the calibration box CB, may be placed around the place where the measurement object 2 is placed, or the surface of the measurement object 2 It may be placed on top. In this embodiment, it is arranged on the surface of the calibration box CB. In addition, the color code target CT1 is preferably arranged in a positional relationship suitable for obtaining imaging parameters. For example, it is preferable to arrange on the surface of the calibration box CB approximately the same size as the measurement object 2 so as to correspond to the color change of the measurement object 2. That is, it is preferable that the interval between the color code targets CT is sparse at a position where the color change is gradual and the interval between the color code targets CT is close at a position where the color change is abrupt. Further, it is preferable that the distance between the color code targets CT is sparse at a position where the camera lens distortion is small, and the distance between the color code targets CT is close at a position where the camera lens distortion is large. Next, in order to estimate the focal length, an approximate curve of camera internal parameters (main point position and lens distortion) is obtained and stored in the imaging parameter storage unit 85 (step S110).
次に、撮影部３のカメラで複数のカラーコード付き標識ＣＴを異なる複数方向から撮影する（第１の撮影工程：Ｓ１２０）。本実施例では表面に複数のカラーコードターゲットＣＴ１が配置されたキャリブレーションボックスＣＢを撮影する。なお、測定対象物２とその周囲に配置したカラーコードターゲットＣＴを同時に撮影することも可能であり、測定対象物２の表面上にカラーコードターゲットＣＴを配置して測定対象物２とカラーコードターゲットＣＴを同時に撮影することも可能である。次に、位置検出部５１にて、第１の撮影工程（Ｓ１２０）で撮影された撮影画像から、位置検出用パターンＰ１の位置を求める（位置検出工程：Ｓ１２１）。次に、求められた位置検出用パターンＰ１の位置に基づいて、基準色パターン抽出部５２にて、撮影画像から基準色パターンＰ２を抽出し（基準色パターン抽出工程：Ｓ１２２）。さらに、カラーコードパターン抽出部５３にて、撮影画像からカラーコードパターンＰ３を抽出する（カラーコードパターン抽出工程：Ｓ１２３）。基準色パターン抽出工程（Ｓ１２２）では、白色領域抽出部５２１及び輝度スケール領域抽出部５２２にて、それぞれ白色領域Ｐ４及び輝度スケール領域Ｐ５を抽出する。輝度スケール領域Ｐ５に白色パッチがある場合には、白色領域Ｐ４の抽出を省略できる。 Next, a plurality of color-coded labels CT are photographed from different directions with the camera of the photographing unit 3 (first photographing step: S120). In this embodiment, a calibration box CB having a plurality of color code targets CT1 arranged on the surface is photographed. The measurement object 2 and the color code target CT arranged around the measurement object 2 can be photographed simultaneously. The measurement object 2 and the color code target are arranged by arranging the color code target CT on the surface of the measurement object 2. It is also possible to take CT images at the same time. Next, the position detection unit 51 obtains the position of the position detection pattern P1 from the captured image captured in the first imaging process (S120) (position detection process: S121). Next, based on the position of the obtained position detection pattern P1, the reference color pattern extraction unit 52 extracts the reference color pattern P2 from the photographed image (reference color pattern extraction step: S122). Further, the color code pattern extraction unit 53 extracts the color code pattern P3 from the photographed image (color code pattern extraction step: S123). In the reference color pattern extraction step (S122), the white region P4 and the luminance scale region P5 are extracted by the white region extraction unit 521 and the luminance scale region extraction unit 522, respectively. When there is a white patch in the luminance scale region P5, the extraction of the white region P4 can be omitted.
次に、抽出された基準色パターンＰ２のうち、少なくとも光源色補正に用いる色彩を用いて、色補正部７１にて撮影画像の光源色補正を行う（色補正工程：Ｓ１２５）。基準色部Ｐ２における白色領域Ｐ４及び輝度スケール領域Ｐ５には光源色補正に用いる色彩があるので、これを用いて光源色補正を行う。輝度スケール領域Ｐ５に白色パッチがある場合には、白色領域Ｐ４の使用を省略できる。なお、基準色部Ｐ２における光三原色（ＲＧＢ）パターンを光源色補正に使用しても良い。白色領域に併せて光三原色（ＲＧＢ）パターンを用いるとカラーバランスの調整精度を向上できる。また、本実施例では、輝度スケール領域Ｐ５として、グレースケールパッチを使用するが、これに代えて又は併用してカラースケールパッチを使用することも可能である。次に、カラーコード判別部７５にて、色補正工程（Ｓ１２５）で補正されたカラーコードパターンＰ３の色彩配列を、色彩配置−コード対応表を参照して、カラーコードターゲットＣＴ１のコード番号を判別する（カラーコード判別工程：Ｓ１３０）。 Next, the color correction unit 71 performs light source color correction of the captured image using at least the color used for light source color correction in the extracted reference color pattern P2 (color correction step: S125). Since there are colors used for light source color correction in the white region P4 and the luminance scale region P5 in the reference color part P2, light source color correction is performed using these colors. When there is a white patch in the luminance scale region P5, the use of the white region P4 can be omitted. The light primary color (RGB) pattern in the reference color portion P2 may be used for light source color correction. When the light primary color (RGB) pattern is used in combination with the white region, the color balance adjustment accuracy can be improved. In this embodiment, a gray scale patch is used as the luminance scale region P5. However, it is also possible to use a color scale patch instead of or in combination with this. Next, the color code determination unit 75 determines the code number of the color code target CT1 by referring to the color arrangement-code correspondence table for the color arrangement of the color code pattern P3 corrected in the color correction step (S125). (Color code discrimination step: S130).
次に、標定部６３にて標定を行なう。各カラーコードターゲットＣＴ１のコード番号が判別されたので、標定がやり易くなる。標定の際に焦点距離推定部６３１にて焦点距離の推定を行なう（標定・焦点距離推定工程：Ｓ１３５）。次に、位置検出工程（Ｓ１２１）で抽出された位置検出用パターンＰ１の位置に基づいて、また、（標定・焦点距離推定工程：Ｓ１３５）で推定された焦点距離ｆを用いて、撮影パラメータ演算部６１にて撮影パラメータを求める（撮影パラメータ演算工程：Ｓ１４０）。 Next, orientation is performed by the orientation unit 63. Since the code number of each color code target CT1 has been determined, it is easy to perform orientation. At the time of orientation, the focal length estimation unit 631 estimates the focal length (location / focal length estimation step: S135). Next, based on the position of the position detection pattern P1 extracted in the position detection step (S121), and using the focal length f estimated in (location / focal length estimation step: S135), shooting parameter calculation is performed. The imaging parameter is obtained by the unit 61 (imaging parameter calculation step: S140).
次に、キャリブレーションボックスＢＳを測定対象物２と置き換えて、撮影部３のカメラを用いて再度撮影する（第２の撮影工程：Ｓ１５０）。撮影パラメータ演算工程（Ｓ１４０）で求められた撮影パラメータによりカメラをキャリブレーションして再度撮影するので、精度の高い撮影画像を得られる。測定対象物２とカラーコードターゲットＣＴを同時に撮影した場合は、第２の撮影工程（Ｓ１５０）を省略できるが、撮影パラメータを用いて撮影画像を補正する。この場合でも精度の高い撮影画像を得るため、再度撮影しても良い。次に、再度撮影された撮影画像を用いて標定部６３にて標定を行い、モデル形成部７３にてモデル及びモデル画像を形成する（モデル形成工程：Ｓ１５５）。ここで、標定とモデル形成を繰り返してモデルの精度を高めても良い。次に、モデル形成工程（Ｓ１５５）で形成されたモデルを用いて、三次元座標演算部６２にて測定対象物２の三次元座標を演算して求める（三次元座標演算工程：Ｓ１６０）。次に、三次元座標演算工程（Ｓ１６０）で求められた三次元座標を用い、色補正工程（Ｓ１２５）で補正された色彩を用いて、テクスチャ形成部７４にてモデル各部のテクスチャを形成し、モデルにテクスチャを貼り付ける（テクスチャ形成工程：Ｓ１６５）。テクスチャを貼り付けたモデル画像は表示部４１に表示される。これにより測定対象物２のモデルをリアルに表現できる。 Next, the calibration box BS is replaced with the measurement object 2, and the image is taken again using the camera of the photographing unit 3 (second photographing step: S150). Since the camera is calibrated and photographed again with the photographing parameters obtained in the photographing parameter calculation step (S140), a highly accurate photographed image can be obtained. When the measurement object 2 and the color code target CT are photographed at the same time, the second photographing step (S150) can be omitted, but the photographed image is corrected using the photographing parameters. Even in this case, the image may be captured again in order to obtain a highly accurate captured image. Next, orientation is performed by the orientation unit 63 using the captured image taken again, and a model and a model image are formed by the model forming unit 73 (model formation step: S155). Here, the accuracy of the model may be increased by repeating orientation and model formation. Next, using the model formed in the model formation step (S155), the three-dimensional coordinate calculation unit 62 calculates and determines the three-dimensional coordinates of the measurement object 2 (three-dimensional coordinate calculation step: S160). Next, using the three-dimensional coordinates obtained in the three-dimensional coordinate calculation step (S160) and using the color corrected in the color correction step (S125), the texture forming unit 74 forms the texture of each part of the model, A texture is pasted on the model (texture forming step: S165). The model image to which the texture is pasted is displayed on the display unit 41. Thereby, the model of the measuring object 2 can be expressed realistically.
以上説明したように、本実施例によれば、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。 As described above, according to the present embodiment, it is possible to provide a color code target that enables correction to unify the color of an image into a constant color that does not depend on the light source, and to provide a constant that does not depend on the light source of the image. It is possible to provide an image color correction apparatus capable of performing correction to unify colors, and to provide an image color correction method capable of performing correction to unify the color of an image to a certain color independent of a light source. .
図１６に実施例２に係るカラーコードターゲットＣＴ２を示す。実施例１（図１参照）と異なる点を主に説明する。図１とは、右下１／４のエリアのみが異なる。白色領域Ｐ４がレトロターゲット部Ｐ１と同じ大きさで右下隅に設けられ、右下１／４のエリアで実施例１ではカラーコード部Ｐ３として使用されていた部分にグレートーンパッチ部Ｐ５が設けられている。したがって、カラーコードの単位領域は４個となっている。グレートーンパッチ部Ｐ５は白、黒を除く８階調の横長の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３の配色は図１と同様である（図１７と図１８についても同様）。 FIG. 16 shows a color code target CT2 according to the second embodiment. Differences from the first embodiment (see FIG. 1) will be mainly described. Only the area in the lower right quarter is different from FIG. A white region P4 is provided in the lower right corner with the same size as the retro target portion P1, and a gray tone patch portion P5 is provided in a portion of the lower right quarter area used as the color code portion P3 in the first embodiment. ing. Therefore, there are four color code unit areas. In the gray tone patch portion P5, a horizontally long achromatic pattern of 8 tones excluding white and black is arranged vertically in the order of tone with the higher luminance on the bottom. The chromatic color portion of the reference color portion P2 and the color arrangement of the color code portion P3 are the same as in FIG. 1 (the same applies to FIGS. 17 and 18).
カラーコードターゲットＣＴ２のその他の構成は実施例１と同様であり、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。この効果は以下の実施例３ないし実施例７についても同様に当てはまる。 The other configuration of the color code target CT2 is the same as that of the first embodiment, and provides a color code target that enables correction to unify the color of the image into a constant color that does not depend on the light source, and uses the color of the image as the light source. An image color correction apparatus capable of performing correction to unify a constant color regardless of the color, and an image color correction method capable of performing correction to unify the color of the image to a constant color independent of the light source can do. This effect is similarly applied to the following Examples 3 to 7.
図１７に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ３の中央部に配置されている例を示す。この例では、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ３を左右に２分するように中央部に帯状に配置され、グレートーンパッチ部Ｐ５は白、黒を除く８階調の矩形の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。グレートーンパッチ部Ｐ５が配置された中央部では、基準色パターンＰ２及びカラーコードパターンＰ３の面積がその分削除されている。なお、基準色パターンＰ２及びカラーコードパターンＰ３の面積を変えずに、カラーコードターゲットＣＴをグレートーンパッチ部Ｐ５の幅分横長の矩形に形成しても良い。白色領域Ｐ４がレトロターゲット部Ｐ１と同じ大きさで右下隅に設けられている。カラーコードターゲットＣＴ３のその他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、輝度スケール領域抽出部５２２にて、カラーコードターゲットＣＴ３の上２点のレトロターゲットの中間点で、２点のレトロターゲットの重心を結ぶ線分に対して垂直に配置されたグレートーンパッチ部Ｐ５を検出する。
FIG. 17 shows an example in which the gray tone patch portion P5 is arranged at the center of the color code target CT3. In this example, the gray tone patch portion P5 is arranged in a band shape at the center so as to divide the color code target CT3 into two left and right, and the gray tone patch portion P5 is an achromatic color having a rectangular shape of 8 tones excluding white and black. The patterns are arranged one above the other in order of gradation, with the higher luminance on the bottom. In the central portion where the gray tone patch portion P5 is arranged, the areas of the reference color pattern P2 and the color code pattern P3 are deleted accordingly. Note that the color code target CT may be formed in a horizontally long rectangle corresponding to the width of the gray tone patch portion P5 without changing the areas of the reference color pattern P2 and the color code pattern P3. The white region P4 is provided in the lower right corner with the same size as the retro target portion P1. The other configuration of the color code target CT3 is the same as that of the first embodiment.
The gray tone patch portion P5 is detected by the luminance scale region extraction unit 522 at a midpoint between the upper two retro targets of the color code target CT3 and perpendicular to the line segment connecting the centroids of the two retro targets. The arranged gray tone patch part P5 is detected.
図１８に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ４の周縁部に配置されている例を示す。この例では、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ４の上側と左側の周縁部に配置され、グレートーンパッチ部Ｐ５は、上側の周縁部では黒を含み、白を除く９階調の正方形の無彩色パターンが、輝度の高い方を右にして、階調順に左右に配置され、左側の周縁部では黒を含み、白を除く９階調の正方形の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。カラーコードターゲットＣＴ４のその他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、輝度スケール領域抽出部５２２にて、カラーコードターゲットＣＴ４の上２点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部Ｐ５を検出する。また、カラーコードターゲットＣＴ４の左２点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部Ｐ５を検出する。
FIG. 18 shows an example in which the gray tone patch portion P5 is arranged at the peripheral edge of the color code target CT4. In this example, the gray tone patch portion P5 is arranged on the upper and left peripheral portions of the color code target CT4. These achromatic patterns are arranged on the left and right in order of gradation, with the higher luminance on the right, and the nine-gradient square achromatic pattern excluding white is included on the left edge, with the higher luminance. Are arranged vertically in the order of gradation. Other configurations of the color code target CT4 are the same as those in the first embodiment.
The gray tone patch P5 is detected by the luminance scale region extraction unit 522, which is arranged in parallel to the line segment connecting the centroids of the upper two retro targets of the color code target CT4 and is located outside the line segment. The part P5 is detected. Further, a gray tone patch portion P5 that is arranged in parallel to a line segment that connects the centroids of the two left retro targets of the color code target CT4 and that is outside the line segment is detected.
図１９に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ５の位置検出用パターンＰ１に配置されている例を示す。このカラーコードターゲットＣＴ５は３枚一組となっている。カラーコードターゲットＣＴ５の位置検出用パターンＰ１の円形のレトロターゲットの部分（グレーに彩色するので再帰反射材料を使用しないが、形状がレトロターゲットと同様であり、位置検出用パターンも機能も有するので、レトロターゲットと称することとする。円形の部分が白色の場合には一般的にレトロターゲットと称されている。なお、再帰反射材料を使用してグレーに配色しても良い）がグレートーンパッチを兼ねている。なお、カラーコードターゲットＣＴ５の３つのレトロターゲットは左上、右上、左下の順番でグレーの輝度が１０％ずつ減少する。一組のカラーコードターゲットＣＴ５のレトロターゲットはそれぞれ輝度が異なり、９つのレトロターゲットは１０％〜９０％の輝度のグレーである。具体的には、カラーコードターゲットの輝度は、 グレートーンパッチ部Ｐ５の検出は、位置検出部５１にて位置検出用パターンＰ１の円形のレトロターゲットを検出し、輝度スケール領域抽出部５２２にてその円形領域の諧調をグレートーンパターンとして検出する。 FIG. 19 shows an example in which the gray tone patch portion P5 is arranged in the position detection pattern P1 of the color code target CT5. The color code target CT5 is a set of three sheets. The part of the circular retro target of the position detection pattern P1 of the color code target CT5 (there is no retroreflective material because it is colored in gray, but the shape is the same as the retro target, and the position detection pattern also has a function. If the circular portion is white, it is generally called a retro target (you can use a retroreflective material to make the color gray). Also serves as. Note that the gray luminance of the three retro targets of the color code target CT5 decreases by 10% in the order of upper left, upper right, and lower left. The retro targets of the set of color code targets CT5 have different luminances, and the nine retro targets are gray with a luminance of 10% to 90%. Specifically, the luminance of the color code target is detected by detecting the gray tone patch portion P5 by detecting the circular retro target of the position detection pattern P1 by the position detection unit 51 and by the luminance scale region extraction unit 522. The gradation of the circular area is detected as a gray tone pattern.
図２０に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ６の位置検出用パターンＰ１に配置されている別の例を示す。このカラーコードターゲットＣＴ６は２枚一組となっている。カラーコードターゲットＣＴ６の円形のレトロターゲット及び四角形の背景部分がグレートーンパターンを兼ねている。三隅のレトロターゲットの円形の部分の輝度値は１０％ずつ異なる。また、丸い領域の外の矩形領域も輝度値は１０％ずつ異なる。具体的には、レトロターゲットの輝度は、「００」のカラーコードターゲットでは、左上の丸：１００％、四角：５０％、右上の丸：９０％、四角：４０％、左下の丸：８０％、四角：３０％、「０１」のカラーコードターゲットでは、左上の丸：７０％、四角：２０％、右上の丸：６０％、四角：１０％、左下の丸：５０％、四角：０％である。また、白色領域Ｐ４はカラーコードターゲットＣＴの右下にあり、位置検出用パターンＰ１と同じ大きさである。その他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、位置検出部５１にて位置検出用パターンＰ１の円形のレトロターゲットを検出し、輝度スケール領域抽出部５２２にてその円形領域及び背景の矩形領域の諧調をグレートーンパターンとして検出する。
FIG. 20 shows another example in which the gray tone patch portion P5 is arranged in the position detection pattern P1 of the color code target CT6. The color code target CT6 is a set of two sheets. The circular retro target and the rectangular background portion of the color code target CT6 also serve as a gray tone pattern. The luminance values of the circular portions of the retro targets at the three corners are different by 10%. In addition, the luminance value of the rectangular area outside the round area is also different by 10%. Specifically, the luminance of the retro target is 100% for the color code target of the retro target: upper left circle: 100%, square: 50%, upper right circle: 90%, square: 40%, lower left circle: 80% , Square: 30%, "01" color code target, upper left circle: 70%, square: 20%, upper right circle: 60%, square: 10%, lower left circle: 50%, square: 0% It is. The white region P4 is located at the lower right of the color code target CT and has the same size as the position detection pattern P1. Other configurations are the same as those of the first embodiment.
The gray tone patch portion P5 is detected by detecting the circular retro target of the position detection pattern P1 by the position detecting portion 51, and the tone scale of the circular region and the background rectangular region by the luminance scale region extracting portion 522. Detect as a pattern.
図２１に、グレートーンパッチ部Ｐ５が、カラーコードターゲットＣＴ７の位置検出用パターンＰ１と同じ寸法の右下隅の領域に配置されている例を示す。このカラーコードターゲットＣＴ７は５枚一組となっている。各カラーコードターゲットＣＴ７を比較すると、この領域の輝度が各カラーコードターゲットＣＴ７で異なっている。白を含み、黒を除く５階調の正方形の無彩色パターンが、カラーコードターゲットＣＴ７の番号順に配置されている。グレートーンパッチ部Ｐ５にはコード番号が印刷されている。その他の構成は実施例１と同様である。
グレートーンパッチ部Ｐ５の検出は、位置検出部５１にて位置検出用パターンＰ１の円形のレトロターゲットを検出し、輝度スケール領域抽出部５２２にて位置検出用パターンＰ１と同じ寸法の右下隅の領域を走査しその諧調を検出する。
FIG. 21 shows an example in which the gray tone patch portion P5 is arranged in the lower right corner region having the same dimensions as the position detection pattern P1 of the color code target CT7. The color code target CT7 is a set of five sheets. When each color code target CT7 is compared, the brightness of this area is different for each color code target CT7. A five-tone square achromatic pattern including white and excluding black is arranged in the order of the number of the color code target CT7. A code number is printed on the gray tone patch portion P5. Other configurations are the same as those of the first embodiment.
The gray tone patch portion P5 is detected by detecting a circular retro target of the position detection pattern P1 by the position detection portion 51, and the lower right corner region having the same dimensions as the position detection pattern P1 by the luminance scale region extraction portion 522. To detect the tone.
図２２に、本実施例におけるキャリブレーションボックスの側面を示す。グレースケール領域Ｐ５が、カラーコードターゲットＣＴ群を左右に２分するように中央部に帯状に配置され、グレースケール領域Ｐ５は白を含み、黒を含まない８階調の矩形の無彩色パターンが、輝度の高い方を上にして、階調順に上下に配置されている。グレースケール領域の左右両側には、各４個のカラーコードターゲットＣＴが縦一列に配置されている。左右両側のカラーコードターゲットはそれぞれ１組のカラーコードターゲットに属する。１組のカラーコードターゲットＣＴにおいては、基準色パターンＰ２の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。カラーコードターゲットＣＴの構成は、白色領域Ｐ４が位置検出用パターンと同じ大きさである点を除いて実施例１と同様である。
グレースケール領域Ｐ５の検出は、輝度スケール領域抽出部５２２にてカラーコードターゲットＣＴの間に貼付されたグレースケール領域Ｐ５を検出する。
本実施例についても、グレースケール領域Ｐ５を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。
FIG. 22 shows a side surface of the calibration box in the present embodiment. The gray scale region P5 is arranged in a band shape in the center so as to divide the color code target CT group into two left and right, and the gray scale region P5 includes an 8-tone rectangular achromatic pattern that includes white and does not include black. They are arranged one above the other in the order of gradation, with the higher luminance on top. On each of the left and right sides of the gray scale region, four color code targets CT are arranged in a vertical row. The left and right color code targets belong to a set of color code targets. In one set of color code targets CT, the color schemes of the reference color pattern P2 are all the same, and the color schemes of the color code patterns P3 are all different. The configuration of the color code target CT is the same as that of the first embodiment except that the white region P4 has the same size as the position detection pattern.
The gray scale region P5 is detected by detecting the gray scale region P5 pasted between the color code targets CT by the luminance scale region extraction unit 522.
Also in this embodiment, since it has the gray scale region P5, it is possible to provide a color code target that enables correction to unify the color of the image into a fixed color that does not depend on the light source, and to maintain a constant color that does not depend on the light source. It is possible to provide an image color correction apparatus capable of performing correction to unify the colors of the image, and to provide an image color correction method capable of performing correction to unify the color of the image to a certain color independent of the light source. it can.
図２３に、実施例９に係るカラーコードターゲットＣＴ８の例を示す。本実施例ではカラーコードターゲットＣＴ８がリング状の例を示す。グレースケール領域Ｐ５が、カラーコードターゲットＣＴ８の位置検出用パターンＰ１に配置されている例を示す。 FIG. 23 illustrates an example of the color code target CT8 according to the ninth embodiment. In this embodiment, an example in which the color code target CT8 is ring-shaped is shown. An example in which the gray scale region P5 is arranged in the position detection pattern P1 of the color code target CT8 is shown.
リング状のカラーコードターゲットＣＴ８では、位置検出用パターンから成るレトロターゲット部Ｐ１、基準色パターンから成る基準色部Ｐ２、カラーコードパターンから成るカラーコード部Ｐ３が２つの同心円に挟まれたリング状の領域に配置されている。本実施例ではリング状の領域が１環であるが、リング状の領域が２環以上でも良い。基準色パターンＰ３（３色）及びカラーコードパターンＰ３（６色）は予め定められた位置に配置されている。本実施例ではこのカラーコードターゲットＣＴ８は２枚一組となっている。１つのカラーコードターゲットＣＴ８は位置検出用パターンＰ１を６個有している（そのうち１個のレトロターゲットは白色であり、白色領域の機能を有する）が、残りの位置検出用パターンＰ１（１枚に５個ずつ、合計１０個）のレトロターゲットをグレースケール領域Ｐ５として兼用する。具体的には、図２３の左側のリング状カラーコードターゲットＣＴ８のレトロターゲットの輝度値が１０％ずつ異なり、１００％〜５０％であり、右側のリング状カラーコードターゲットＣＴ８のレトロターゲットの輝度値が１０％ずつ異なり、１００％及び４０％〜０％である。図２３の配色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）を表す。リング状の領域において２つの位置検出用パターンＰ１に挟まれた単位領域のうちで、１つの単位領域が位置検出用パターンＰ１に挟まれているのが基準色部Ｐ２であり、２つの単位領域が位置検出用パターンＰ１に挟まれているのがカラーコード部Ｐ３である。基準色部Ｐ２には光三原色（ＲＧＢ）が使用されている。 In the ring-shaped color code target CT8, a ring-shaped color code target CT8 includes a retro target portion P1 composed of a position detection pattern, a reference color portion P2 composed of a reference color pattern, and a color code portion P3 composed of a color code pattern sandwiched by two concentric circles Arranged in the area. In this embodiment, the ring-shaped region is one ring, but the ring-shaped region may be two or more rings. The reference color pattern P3 (three colors) and the color code pattern P3 (six colors) are arranged at predetermined positions. In this embodiment, the color code target CT8 is a set of two. One color code target CT8 has six position detection patterns P1 (of which one retro target is white and has a white area function), but the remaining position detection patterns P1 (one sheet) 10 retro-targets (5 in total) are also used as the gray scale region P5. Specifically, the luminance value of the retro target of the ring-shaped color code target CT8 on the left side of FIG. 23 is different by 10%, and is 100% to 50%. Differ by 10%, 100% and 40% to 0%. The color scheme in FIG. 23 represents red (R), green (G), blue (B), yellow (Y), cyan (C), and magenta (M). Among the unit areas sandwiched between the two position detection patterns P1 in the ring-shaped area, one unit area is sandwiched between the position detection patterns P1 as the reference color portion P2, and the two unit areas The color code portion P3 is sandwiched between the position detection patterns P1. Three primary colors (RGB) are used for the reference color portion P2.
本実施例についても、グレースケール領域Ｐ５を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。この効果は以下の実施例１０ないし実施例１３についても同様に当てはまる。 Also in this embodiment, since it has the gray scale region P5, it is possible to provide a color code target that enables correction to unify the color of the image into a fixed color that does not depend on the light source, and to maintain a constant color that does not depend on the light source. It is possible to provide an image color correction apparatus capable of performing correction to unify the colors of the image, and to provide an image color correction method capable of performing correction to unify the color of the image to a certain color independent of the light source. it can. This effect similarly applies to the following Examples 10 to 13.
図２４に、実施例１０に係るカラーコードターゲットＣＴ９の例を示す。本実施例ではカラーコードターゲットＣＴ９がリング状の別の例を示す。グレースケール領域Ｐ５が、実施例９でカラーコードターゲットＣＴ８の基準色部Ｐ２及びカラーコード部Ｐ３のあった位置に配置されている例を示す。グレースケール領域Ｐ５は９個の単位領域に白及び黒を除く９階調の無彩色パターンが、リング状領域の位置検出用パターンＰ１を除いた単位領域の位置に階調順に配置されている。また、位置検出用パターンＰ１のレトロターゲットは全て白色である。 FIG. 24 illustrates an example of the color code target CT9 according to the tenth embodiment. In this embodiment, another example in which the color code target CT9 is ring-shaped is shown. An example in which the gray scale region P5 is arranged at the position where the reference color portion P2 and the color code portion P3 of the color code target CT8 are located in the ninth embodiment is shown. In the gray scale area P5, nine gray scale patterns excluding white and black are arranged in nine unit areas in order of gradation at the positions of the unit areas excluding the ring-shaped position detection pattern P1. The retro targets of the position detection pattern P1 are all white.
図２５に、実施例１１に係るカラーコードターゲットＣＴ１０の例を示す。本実施例ではカラーコードターゲットＣＴ１０が２環のリング状の例を示す。内側の環が基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３として機能し、外側の環がグレースケール領域Ｐ５として機能する。外側の環のグレースケール領域Ｐ５はカラーコードターゲットＣＴ１０の内側の環の基準色部Ｐ２及びカラーコード部Ｐ３に対応する位置に配置されている。グレースケール領域Ｐ５は９個の単位領域に白及び黒を除く９階調の無彩色パターンが、階調順に配置されている。１組のカラーコードターゲットＣＴにおいては、基準色パターンＰ２（グレースケール領域Ｐ５を含む）の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。 FIG. 25 illustrates an example of a color code target CT10 according to the eleventh embodiment. In this embodiment, an example in which the color code target CT10 has a ring shape of two rings is shown. The inner ring functions as the chromatic color portion of the reference color portion P2 and the color code portion P3, and the outer ring functions as the gray scale region P5. The gray scale region P5 of the outer ring is disposed at a position corresponding to the reference color part P2 and the color code part P3 of the inner ring of the color code target CT10. In the gray scale area P5, nine gradation patterns other than white and black are arranged in nine unit areas in the order of gradation. In one set of color code targets CT, the color schemes of the reference color pattern P2 (including the gray scale region P5) are all the same, and the color schemes of the color code patterns P3 are all different.
図２６に、実施例１２に係るカラーコードターゲットＣＴ１１の例を示す。本実施例ではカラーコードターゲットＣＴ１１が２環のリング状の別の例を示す。外側の環が基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３として機能し、内側の環がグレースケール領域Ｐ５として機能する。内側の環のグレースケール領域Ｐ５はカラーコードターゲットＣＴ１１の外側の環の基準色部Ｐ２及びカラーコード部Ｐ３に対応する位置に配置されている。グレースケール領域Ｐ５は９個の単位領域に白及び黒を除く９階調の円形の無彩色パターンが、階調順に配置されている。１組のカラーコードターゲットＣＴにおいては、基準色パターンＰ２（グレースケール領域Ｐ５を含む）の配色は全て同一であり、各カラーコードパターンＰ３の配色は全て異なる。 FIG. 26 illustrates an example of the color code target CT11 according to the twelfth embodiment. In the present embodiment, another example in which the color code target CT11 has a ring shape of two rings is shown. The outer ring functions as the chromatic color portion of the reference color portion P2 and the color code portion P3, and the inner ring functions as the gray scale region P5. The gray ring region P5 of the inner ring is disposed at a position corresponding to the reference color part P2 and the color code part P3 of the outer ring of the color code target CT11. In the gray scale region P5, nine gray circular achromatic patterns excluding white and black are arranged in nine unit regions in the order of gradation. In one set of color code targets CT, the color schemes of the reference color pattern P2 (including the gray scale region P5) are all the same, and the color schemes of the color code patterns P3 are all different.
図２７に、実施例１３に係るカラーコードターゲットＣＴ１２の例を示す。本実施例ではカラーコードターゲットＣＴ１２がリング状の別の例を示す。リングに囲まれた中心円の部分がグレースケール領域として機能する。このカラーコードターゲットＣＴ１２は９枚一組となっている（図２７ではこのうち３枚を示す）。グレースケール領域Ｐ５は中心円に、カラーコードターゲットＣＴ１２毎に１つずつ配置されている。グレースケール領域Ｐ５は中心円に白を含み、黒を除く９階調の円形の無彩色パターンが、カラーコードターゲットＣＴ１２毎に配置されている。リングが基準色部Ｐ２の有彩色部分及びカラーコード部Ｐ３として機能する。 FIG. 27 illustrates an example of the color code target CT12 according to the thirteenth embodiment. In this embodiment, another example in which the color code target CT12 is ring-shaped is shown. The central circle surrounded by the ring functions as a gray scale region. The color code target CT12 is a set of nine sheets (three of them are shown in FIG. 27). One gray scale region P5 is arranged in the center circle for each color code target CT12. The gray scale region P5 includes white in the center circle, and a nine-tone circular achromatic pattern excluding black is arranged for each color code target CT12. The ring functions as the chromatic color portion of the reference color portion P2 and the color code portion P3.
図２８に、実施例１４に係るカラーコードターゲットＣＴ１３〜ＣＴ１５の例を示す。本実施例ではグレースケール領域はなく、光源色補正（広義の光源色補正）は白色領域Ｐ４及び基準色部Ｐ２の光三原色（ＲＧＢ）パターンを用いて行なう例を説明する。図２８（Ａ）にはカラーコードパターンの単位領域が３、図２８（Ｂ）にはカラーコードパターンの単位領域が６、図２８（Ｃ）にはカラーコードパターンの単位領域が９の例を示す。図２８（Ｂ）では、実施例１に比してグレースケール領域Ｐ５がなく、白色領域Ｐ４がグレースケール領域Ｐ５のあった領域まで広がっている。白色領域Ｐ４は光に対して良く変化するので、輝度は１点だけであるが、この領域を光源色補正（狭義の光源色補正）に用いることができる。また、基準色部Ｐ２のＲＧＢ色の配置は実施例１と同様である。基準色パターンＰ２の赤、緑、青の基準色の画素値が既知であれば、各基準色の輝度は１点ずつであるが、これらの基準色を用いて光源色補正（狭義の光源色補正）を行なうことが可能である。ここで、カラーバランスは、画像上で白色領域Ｐ４及び基準色部Ｐ２のＲＧＢ色に他の色彩が混入しないようにＲＧＢの画素値を調整することにより行なう。カラーバランスの調整は白色領域のみ又は基準色部Ｐ２のＲＧＢパターンのみでも可能であるが、両者を併用すると調整の精度を向上できる。また、基準色部Ｐ２のＲＧＢ色を画面上でほぼ等しい輝度が得られるように定めると、ＲＧＢそれぞれの輝度をその近傍で調整することにより、容易にカラーバランスを取ることができるので好ましい。輝度補正については、白色領域Ｐ４といずれかの基準色の輝度の２点を用いて行なうことができる。また、白色領域Ｐ５に番号が付されていない。カラーコードターゲットＣＴ１４のその他の構成は実施例１と同様である。また、図２８（Ａ）のカラーコードターゲットＣＴ１３及び図２８（Ｃ）のカラーコードターゲットＣＴ１５はカラーコードパターンの単位領域が図２８（Ｂ）と異なるが、その他の構成は図２８（Ｂ）と同様である。よって、図２８（Ａ）及び図２８（Ｃ）も白色領域Ｐ５及び基準色部Ｐ２の光三原色（ＲＧＢ）パターンを用いて光源色補正（広義の光源色補正）を行なうことができる。 FIG. 28 illustrates examples of color code targets CT13 to CT15 according to the fourteenth embodiment. In this embodiment, there is no gray scale region, and an example will be described in which light source color correction (light source color correction in a broad sense) is performed using the light primary color (RGB) pattern of the white region P4 and the reference color portion P2. 28A shows an example in which the unit area of the color code pattern is 3, FIG. 28B shows an example in which the unit area of the color code pattern is 6, and FIG. Show. In FIG. 28B, compared with the first embodiment, there is no grayscale region P5, and the white region P4 extends to the region where the grayscale region P5 was present. Since the white region P4 changes well with respect to light, the brightness is only one point, but this region can be used for light source color correction (light source color correction in a narrow sense). The arrangement of the RGB colors of the reference color portion P2 is the same as that in the first embodiment. If the pixel values of the red, green, and blue reference colors of the reference color pattern P2 are known, the brightness of each reference color is one point, but light source color correction (a light source color in a narrow sense) is performed using these reference colors. Correction) can be performed. Here, the color balance is performed by adjusting RGB pixel values so that other colors are not mixed into the RGB colors of the white region P4 and the reference color portion P2 on the image. The color balance can be adjusted using only the white region or only the RGB pattern of the reference color portion P2. However, when both are used together, the adjustment accuracy can be improved. Further, it is preferable that the RGB colors of the reference color portion P2 are determined so that substantially the same luminance can be obtained on the screen because the color balance can be easily achieved by adjusting the luminance of each RGB in the vicinity thereof. The brightness correction can be performed using two points of brightness of the white region P4 and one of the reference colors. In addition, the white region P5 is not numbered. Other configurations of the color code target CT14 are the same as those in the first embodiment. The color code target CT13 in FIG. 28A and the color code target CT15 in FIG. 28C are different in the unit area of the color code pattern from that in FIG. 28B, but the other configurations are the same as those in FIG. It is the same. Therefore, in FIGS. 28A and 28C, light source color correction (light source color correction in a broad sense) can be performed using the three primary color (RGB) patterns of the white region P5 and the reference color portion P2.
以上より、本実施例についても、白色領域Ｐ４を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。 As described above, since the present embodiment also has the white region P4, it is possible to provide a color code target that enables correction to unify the color of the image into a constant color that does not depend on the light source, and the color of the image depends on the light source. Provided is an image color correction apparatus capable of performing correction to unify a certain color, and an image color correction method capable of performing correction to unify the color of an image to a certain color independent of a light source be able to.
実施例１ないし実施例４では、輝度スケールがグレースケールで１本又は２本の例を説明したが、グレースケールとカラースケールの両者を有しても良く、カラースケールとして光三原色（ＲＧＢ）の各色を有しても良い。本実施例では、カラーコードターゲットＣＴの周縁部全体に、すなわち、上下左右に、グレートーンパッチ、赤のカラートーンパッチ、緑のカラートーンパッチ、青のカラートーンパッチと４本の輝度スケールを有する例を説明する。グレートーンパッチと光三原色（ＲＧＢ）のカラートーンパッチを有するので、極めて精度の高い光源色補正を行うことができる。 In the first to fourth embodiments, the luminance scale is a gray scale, and one or two examples are described. However, both the gray scale and the color scale may be provided, and the light scale may be one of three primary colors (RGB). You may have each color. In this embodiment, the color code target CT has a gray tone patch, a red color tone patch, a green color tone patch, a blue color tone patch, and four luminance scales on the entire periphery, that is, on the top, bottom, left and right. An example will be described. Since the gray tone patch and the light tone primary color (RGB) color tone patch are provided, it is possible to perform light source color correction with extremely high accuracy.
以上の実施例では、カラーコードターゲットＣＴの基準色パターンの３つの単位領域の色彩として光三原色（ＲＧＢ）を用いる例を説明したが、本実施例では光三原色（ＲＧＢ）のそれぞれがいずれかの単位領域に含まれる例を説明する。本実施例では、３つの単位領域の色彩が、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の組み合わせとするが、他の組み合わせでも良い。カラーバランスをとるためは、光三原色（ＲＧＢ）の１つ又は２つを用いても不可であり、光三原色（ＲＧＢ）のそれぞれがいずれかの単位領域又は輝度スケールに含まれる必要がある。また、光三原色（ＲＧＢ）が既知の値（輝度値）を持つ必要がある。例えば白色領域は光三原色（ＲＧＢ）の全てを有するので光源色補正に使用できる。黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の組み合わせとすると、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ２つ単位領域に含まれるので光源色補正に使用できる。黄（Ｙ）と青（Ｂ）の組み合わせでも、赤（Ｒ）、緑（Ｇ）、青（Ｂ）はそれぞれ１つ単位領域に含まれるので光源色補正に使用できる。これにより、実施例１と同様に、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコード付き標識を提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。また、実施例１５の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのカラートーンパッチに代えて、黄（Ｙ）、シアン（Ｃ）、マゼンタ（Ｍ）の３つのカラートーンパッチを用いてもよく、黄（Ｙ）と青（Ｂ）の２つのカラートーンパッチを用いても良い。 In the above embodiment, the example using three light primary colors (RGB) as the colors of the three unit areas of the reference color pattern of the color code target CT has been described. In this embodiment, each of the three light primary colors (RGB) An example included in the unit area will be described. In this embodiment, the colors of the three unit regions are a combination of yellow (Y), cyan (C), and magenta (M), but other combinations may be used. In order to achieve color balance, it is impossible to use one or two light primary colors (RGB), and each of the light primary colors (RGB) needs to be included in any unit region or luminance scale. In addition, the three primary colors (RGB) need to have known values (luminance values). For example, the white region has all three light primary colors (RGB) and can be used for light source color correction. If a combination of yellow (Y), cyan (C), and magenta (M) is used, red (R), green (G), and blue (B) are included in two unit areas, and can be used for light source color correction. Even in the combination of yellow (Y) and blue (B), red (R), green (G), and blue (B) are included in one unit region, and can be used for light source color correction. Thus, as in the first embodiment, it is possible to provide a sign with a color code that enables correction to unify the color of an image into a constant color that does not depend on a light source, and to change the color of an image to a constant color that does not depend on a light source It is possible to provide an image color correction apparatus capable of performing the correction to be unified, and to provide an image color correction method capable of performing the correction to unify the color of the image into a certain color independent of the light source. Also, instead of the three color tone patches of red (R), green (G), and blue (B) of the fifteenth embodiment, three color tone patches of yellow (Y), cyan (C), and magenta (M) May be used, and two color tone patches of yellow (Y) and blue (B) may be used.
以上の実施例では、カラーコードターゲットＣＴがキャリブレーションボックスなどに貼り付けられる例を主に説明したが、以上の実施例のカラーコードターゲットＣＴが測定対象物２に貼り付けられた場合や、測定対象物２の周囲に配置されて撮影された場合でも、これらのカラーコードターゲットＣＴを用いて、光源色補正を行なうと共に、測定対象物の三次元計測を行なうことができる。 In the above embodiment, the example in which the color code target CT is attached to the calibration box or the like has been mainly described. However, when the color code target CT of the above embodiment is attached to the measurement object 2 or measurement is performed. Even when the image is arranged around the object 2 and photographed, the color code target CT can be used to perform light source color correction and to perform three-dimensional measurement of the measurement object.
以上の実施例では、画像色彩補正装置が画像合成部、テクスチャ形成部を有する例について説明したが、画像合成部、テクスチャ形成部が無い場合でも、光源色補正を行なうことができる。 In the above embodiment, the example in which the image color correction apparatus includes the image composition unit and the texture formation unit has been described.
以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and it is obvious that various modifications can be made to the embodiments without departing from the spirit of the present invention. .
例えば、以上の実施例では、カラーコード部のコード色数が主として６の場合について説明したが、任意に設定可能である。また、グレースケール領域の階調数も任意に設定可能である。また、キャリブレーションボックスの形状も直方体に限られず、円筒形でも良い。また、キャリブレーションボックスの代わりにキャリブレーションパネルを使用すると、パネル位置を移動して使用できる。また、装置構成も変更可能である。例えば、撮影部は単カメラを使用しても良く、ステレオカメラを使用しても良い。また、測定方法も変更可能である。例えば、色補正（光源色補正を含む）と撮影パラメータに係るカメラキャリブレーションの順序はどちらを先に行なっても良い。また、以上の実施例では、カラーコードターゲット内にグレースケールを配置する例を主に説明したが、カラーコードターゲットとグレースケールを切り離して配置しても良く、配置の位置も種々変更可能である。 For example, although the case where the number of code colors in the color code portion is mainly 6 has been described in the above embodiment, it can be arbitrarily set. Further, the number of gradations in the gray scale region can be arbitrarily set. The shape of the calibration box is not limited to a rectangular parallelepiped, and may be a cylindrical shape. If a calibration panel is used instead of the calibration box, the panel position can be moved and used. The device configuration can also be changed. For example, the photographing unit may use a single camera or a stereo camera. Also, the measurement method can be changed. For example, either the color correction (including light source color correction) or the camera calibration order related to the shooting parameters may be performed first. In the above embodiments, the example in which the gray scale is arranged in the color code target has been mainly described. However, the color code target and the gray scale may be arranged separately, and the arrangement position can be variously changed. .
本発明は、撮影画像の色彩の補正に利用可能である。 The present invention can be used for correcting the color of a captured image.
１ 画像色彩補正装置
２ 測定対象物
３ 撮影部
４ 入出力部
５ ターゲット抽出部
６ 演算部
７ 画像処理部
８ 記憶部
９ 制御部
１０ パーソナルコンピュータ（ＰＣ）
３１ 撮影画像取得部
４１ 表示部
４２ 出力部
４３ 入力部
５１ 位置検出部
５２ 基準色パターン抽出部
５２１ 白色領域抽出部
５２２ 輝度スケール領域抽出部
５３ カラーコードパターン抽出部
６１ 撮影パラメータ演算部
６２ 三次元座標演算部
６３ 標定部
６３１ 焦点距離推定部
７１ 色補正部
７２ 画像合成部
７３ モデル形成部
７４ テクスチャ形成部
７５ カラーコード判別部
７６ 画像データ補正部
８１ 撮影画像記憶部
８２ 基準色記憶部
８３ カラーコード記憶部
８４ モデル記憶部
８５ 撮影パラメータ記憶部
２００ レトロターゲット
２０４ 内円部
２０６ 外円部
ＣＢ キャリブレーションボックス
ＣＴ，ＣＴｉ（ｉは正整数） カラーコード付き標識（カラーコードターゲット）
ＥＰ エピポーラライン
Ｅｐ 光源色
ｆ 焦点距離
Ｉ 画素値
Ｐ１ 位置検出用パターン（レトロターゲット部）
Ｐ２ 基準色パターン（基準色部）
Ｐ３ カラーコードパターン（カラーコード部）
Ｐ４ 白色領域
Ｐ５ 輝度スケールパターン（グレースケール領域、グレートーンパッチ部）
ＲＦ リファレンスポイント
Ｓ 表面色
Ｔｏ 明度のしきい値
ＴＧ ターゲット
（ｘ０，ｙ０） 光軸中心（主点位置）
DESCRIPTION OF SYMBOLS 1 Image color correction apparatus 2 Measuring object 3 Imaging | photography part 4 Input / output part 5 Target extraction part 6 Calculation part 7 Image processing part 8 Storage part 9 Control part 10 Personal computer (PC)
31 Captured image acquisition unit 41 Display unit 42 Output unit 43 Input unit 51 Position detection unit 52 Reference color pattern extraction unit 521 White region extraction unit 522 Luminance scale region extraction unit 53 Color code pattern extraction unit 61 Shooting parameter calculation unit 62 Three-dimensional coordinates Calculation unit 63 Orientation unit 631 Focal length estimation unit 71 Color correction unit 72 Image composition unit 73 Model formation unit 74 Texture formation unit 75 Color code discrimination unit 76 Image data correction unit 81 Captured image storage unit 82 Reference color storage unit 83 Color code storage Part 84 model storage part 85 imaging parameter storage part 200 retro target 204 inner circle part 206 outer circle part CB calibration box CT, CTi (i is a positive integer) sign with color code (color code target)
EP Epipolar line Ep Light source color f Focal length I Pixel value P1 Position detection pattern (retro target part)
P2 standard color pattern (standard color part)
P3 Color code pattern (color code part)
P4 White area P5 Luminance scale pattern (grayscale area, gray tone patch part)
RF reference point S Surface color To Lightness threshold TG Target (x 0 , y 0 ) Optical axis center (main point position)
Claims (14)
色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンと、
前記位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンとを有し；
前記光源色補正に用いる色彩が施された基準色パターンとして色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンＰ５を有する；
カラーコード付き標識。 In the plane, a position detection pattern for indicating the measurement position,
A reference color pattern to which a color used as a color reference and a color used for light source color correction are applied;
A color code pattern arranged in a predetermined positional relationship with respect to the position detection pattern and provided with a plurality of colors for identifying a sign;
A luminance scale pattern P5 in which a plurality of colors having the same hue and different gradations are arranged as a reference color pattern to which the color used for the light source color correction is applied;
Sign with color code.
請求項１に記載のカラーコード付き標識。 The hue of the luminance scale pattern is achromatic;
The sign with a color code according to claim 1.
請求項１に記載のカラーコード付き標識。 The reference color pattern has a white region in which white is applied as a color used for light source color correction in addition to the luminance scale pattern;
The sign with a color code according to claim 1.
請求項２又は請求項３に記載のカラーコード付き標識。 The luminance scale pattern is arranged in the center of the color-coded sign;
The sign with a color code according to claim 2 or claim 3.
請求項２又は請求項３に記載のカラーコード付き標識。 The brightness scale pattern is arranged around the sign with the color code;
The sign with a color code according to claim 2 or claim 3.
前記複数の位置検出用パターンの全て又は一部が前記輝度スケールパターンを兼用する；
請求項１ないし請求項３のいずれか１項に記載のカラーコード付き標識。 A plurality of the position detection patterns;
All or some of the plurality of position detection patterns also serve as the luminance scale pattern;
The sign with a color code according to any one of claims 1 to 3.
請求項３に記載のカラーコード付き標識。 The white area has a visual code with a visual identification symbol, and the luminance scale pattern is disposed adjacent to the white area;
The sign with a color code according to claim 3.
前記位置検出用パターンを３個備え；
前記３個の位置検出用パターンが前記カラーコード付き標識の３隅に配置された；
請求項１ないし請求項７のいずれか１項に記載のカラーコード付き標識。 Formed in a rectangle;
Including three position detection patterns;
The three position detecting patterns are arranged at three corners of the sign with the color code;
The sign with a color code according to any one of claims 1 to 7.
複数の位置検出用パターンが同心円状に配置されている；
請求項１ないし請求項７のいずれか１項に記載のカラーコード付き標識。 Formed in a circular or annular shape;
A plurality of position detection patterns are arranged concentrically;
The sign with a color code according to any one of claims 1 to 7.
色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンと、
前記位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンとを有し；
前記光源色補正に用いる色彩が施された基準色パターンとして輝度がほぼ等しくなるような光三原色を用いる；
カラーコード付き標識。 In the plane, a position detection pattern for indicating the measurement position,
A reference color pattern to which a color used as a color reference and a color used for light source color correction are applied;
A color code pattern arranged in a predetermined positional relationship with respect to the position detection pattern and provided with a plurality of colors for identifying a sign;
Three light primary colors having substantially the same luminance are used as the reference color pattern to which the color used for the light source color correction is applied;
Sign with color code.
キャリブレーションパネル。 A plurality of color-coded signs according to any one of claims 1 to 10 are arranged in the same plane;
Calibration panel.
カラーキャリブレーションボックス。 The sign with a color code of any one of Claims 1 thru | or 10 is arrange | positioned by one or more on each surface of a polyhedron;
Color calibration box.
キャリブレーションボックス。 A sign with a color code according to any one of claims 1 to 10 is arranged on a cylindrical surface;
Calibration box.
前記１組のカラーコード付き標識の前記基準色パターンの配色は全て同一であり；
前記１組のカラーコード付き標識の各前記カラーコードパターンの配色は全て異なる；
１組のカラーコード付き標識。 A set of color-coded signs comprising the color-coded signs according to any one of claims 1 to 10;
The color schemes of the reference color patterns of the set of color-coded signs are all the same;
The color schemes of each of the color code patterns of the set of color code labels are all different;
A set of signs with a color code.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044973A JP5753406B2 (en) | 2011-03-02 | 2011-03-02 | Color-coded signs and calibration boxes |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044973A JP5753406B2 (en) | 2011-03-02 | 2011-03-02 | Color-coded signs and calibration boxes |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012181129A true JP2012181129A (en) | 2012-09-20 |
| JP2012181129A5 JP2012181129A5 (en) | 2014-04-17 |
| JP5753406B2 JP5753406B2 (en) | 2015-07-22 |
Family
ID=47012442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011044973A Active JP5753406B2 (en) | 2011-03-02 | 2011-03-02 | Color-coded signs and calibration boxes |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5753406B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012194126A (en) * | 2011-03-17 | 2012-10-11 | Topcon Corp | Image color correction device and image color correction method |
| US9086634B2 (en) | 2013-02-26 | 2015-07-21 | Kabushiki Kaisha Toshiba | Production method and evaluation apparatus for mask layout |
| JP2017101989A (en) * | 2015-12-01 | 2017-06-08 | 株式会社大林組 | Earthwork management method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11502654A (en) * | 1995-03-31 | 1999-03-02 | キウィソフト プログラムス リミティッド | Machine readable label |
| JP2001319200A (en) * | 2000-05-09 | 2001-11-16 | Colorzip Media Inc | Machine recognizable code and its encoding decoding method |
| JP2004245899A (en) * | 2003-02-10 | 2004-09-02 | Fuji Photo Film Co Ltd | Quality control system of multi-display system |
| US20040217260A1 (en) * | 2003-05-02 | 2004-11-04 | International Business Machines Corporation | System and method for light source calibration |
| JP2006108988A (en) * | 2004-10-04 | 2006-04-20 | Olympus Corp | Calibration device |
| JP2007101277A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Label with color code |
| JP2007259123A (en) * | 2006-03-23 | 2007-10-04 | Konica Minolta Business Technologies Inc | Image reading apparatus, image processing method and computer-readable program |
-
2011
- 2011-03-02 JP JP2011044973A patent/JP5753406B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11502654A (en) * | 1995-03-31 | 1999-03-02 | キウィソフト プログラムス リミティッド | Machine readable label |
| JP2001319200A (en) * | 2000-05-09 | 2001-11-16 | Colorzip Media Inc | Machine recognizable code and its encoding decoding method |
| JP2004245899A (en) * | 2003-02-10 | 2004-09-02 | Fuji Photo Film Co Ltd | Quality control system of multi-display system |
| US20040217260A1 (en) * | 2003-05-02 | 2004-11-04 | International Business Machines Corporation | System and method for light source calibration |
| JP2006108988A (en) * | 2004-10-04 | 2006-04-20 | Olympus Corp | Calibration device |
| JP2007101277A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Label with color code |
| JP2007259123A (en) * | 2006-03-23 | 2007-10-04 | Konica Minolta Business Technologies Inc | Image reading apparatus, image processing method and computer-readable program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012194126A (en) * | 2011-03-17 | 2012-10-11 | Topcon Corp | Image color correction device and image color correction method |
| US9086634B2 (en) | 2013-02-26 | 2015-07-21 | Kabushiki Kaisha Toshiba | Production method and evaluation apparatus for mask layout |
| JP2017101989A (en) * | 2015-12-01 | 2017-06-08 | 株式会社大林組 | Earthwork management method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5753406B2 (en) | 2015-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5771423B2 (en) | Image color correction apparatus and image color correction method | |
| JP5207719B2 (en) | Label with color code, color code extraction means, and three-dimensional measurement system | |
| US10083522B2 (en) | Image based measurement system | |
| JP5002144B2 (en) | Projection apparatus and system for three-dimensional measurement | |
| US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
| JP4909543B2 (en) | Three-dimensional measurement system and method | |
| CN103503027B (en) | Colour calibration method for an image capture device | |
| Gaiani et al. | Securing color fidelity in 3D architectural heritage scenarios | |
| CN105379264A (en) | System and method for imaging device modelling and calibration | |
| JP5707185B2 (en) | All-around field for multi-camera calibration | |
| CN105453546A (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
| US20130083995A1 (en) | Stereoscopic measurement system and method | |
| JP5695821B2 (en) | Color code target, color code discrimination device, and color code discrimination method | |
| JP4848166B2 (en) | Projection apparatus and system for three-dimensional measurement | |
| CN114299156A (en) | Method for calibrating and unifying coordinates of multiple cameras in non-overlapping area | |
| Yılmaztürk | Full-automatic self-calibration of color digital cameras using color targets | |
| JP5753406B2 (en) | Color-coded signs and calibration boxes | |
| JP2005140547A (en) | 3-dimensional measuring method, 3-dimensional measuring device and computer program | |
| CN115187612A (en) | Plane area measuring method, device and system based on machine vision | |
| JP5350943B2 (en) | Color code target, color code discrimination device, and color code discrimination method | |
| KR102217215B1 (en) | Server and method for 3dimension model production using scale bar | |
| AU2009249001B2 (en) | Stereoscopic measurement system and method | |
| CN211794627U (en) | Foot-shaped scanning positioning plate and foot-shaped scanning system | |
| KR101026628B1 (en) | Three-dimensional measurement system and method of the same, and color-coded mark | |
| Ragia et al. | Homography and Image Processing Techniques for Cadastre Object Extraction. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140227 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150428 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150522 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5753406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |