JP5771423B2 - Image color correction apparatus and image color correction method - Google Patents
Image color correction apparatus and image color correction method Download PDFInfo
- Publication number
- JP5771423B2 JP5771423B2 JP2011059786A JP2011059786A JP5771423B2 JP 5771423 B2 JP5771423 B2 JP 5771423B2 JP 2011059786 A JP2011059786 A JP 2011059786A JP 2011059786 A JP2011059786 A JP 2011059786A JP 5771423 B2 JP5771423 B2 JP 5771423B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- pattern
- image
- unit
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は画像色彩補正装置及び画像色彩補正方法に関する。詳しくは、撮影画像間の色ずれの補正に使用可能な画像色彩補正装置及び画像色彩補正方法に関する。 The present invention relates to an image color correction apparatus and an image color correction method. More specifically, the present invention relates to an image color correction apparatus and an image color correction method that can be used for correcting color misregistration between captured images.
測定対象物の3次元モデルを形成するには、測定対象物を囲む円周上に配置されたデジタルカメラを用いて測定対象物を撮影し、その撮影画像をステレオマッチング法により3次元モデリングする手法等が用いられる。この場合色彩の補正は例えば発明者達が提案したカラーコードターゲットの基準色パターンを用いて行なわれていた(特許文献1、非特許文献1参照)。また、例えば発明者達が提案した撮影パラメータのキャリブレーションが行なわれていた(特許文献2参照)。 In order to form a three-dimensional model of a measurement object, a method is used in which a measurement object is photographed using a digital camera arranged on a circumference surrounding the measurement object, and the photographed image is three-dimensionally modeled by a stereo matching method. Etc. are used. In this case, color correction is performed using, for example, a reference color pattern of a color code target proposed by the inventors (see Patent Document 1 and Non-Patent Document 1). Further, for example, calibration of photographing parameters proposed by the inventors has been performed (see Patent Document 2).
複数台のデジタルカメラで撮影した画像を人体モデル等の光により色彩が微妙に変化する測定対象物に重ね合わせた場合、光学的に不整合(色ずれ)の発生したテクスチャとなる。これは各カメラにより露出やホワイトバランスなどのパラメータが異なることにより発生するものである。カメラパラメータを統一した場合においてもデジタルカメラの個体差があり、色誤差が発生してしまうという問題があった。特に、同じ表面色を有する測定対象物でも光源により異なった色彩に撮影され、色誤差が発生してしまうという問題があった。 When images taken by a plurality of digital cameras are superimposed on a measurement object whose color slightly changes due to light such as a human body model, the texture is optically mismatched (color misregistration). This occurs because parameters such as exposure and white balance are different for each camera. Even when the camera parameters are unified, there is an individual difference between digital cameras, and there is a problem that a color error occurs. In particular, there is a problem that even a measurement object having the same surface color is photographed in different colors depending on the light source, and a color error occurs.
本発明は、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正方法を提供することを目的とする。 The present invention provides an image color correction apparatus capable of performing correction for unifying the color of an image to a constant color independent of a light source, and correction for unifying the color of an image to a constant color independent of a light source. An object is to provide an image color correction method that can be performed.
上記課題を解決するために、本発明の第1の態様に係る画像色彩補正装置1は、例えば図4に示すように、測定対象物2と複数のカラーコード付き標識CTを同時に又は別時に異なる複数方向から撮影する撮影部3を備え、カラーコード付き標識CTは、面内に、計測位置を示すための位置検出用パターンP1と、色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンP2と、位置検出用パターンP1に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有し、さらに、撮影部3により撮影されたカラーコード付き標識CTの撮影画像から、位置検出用パターンP1の位置を求める位置検出部51と、撮影画像から基準色パターンP2を抽出する基準色パターン抽出部52と、撮影画像からカラーコードパターンP3を抽出するカラーコードパターン抽出部53と、基準色パターン抽出部52で抽出された基準色パターンのうち、少なくとも光源色補正に用いる色彩を用いて、撮影画像の光源色補正を行う色補正部71とを備える。 In order to solve the above-described problem, the image color correction apparatus 1 according to the first aspect of the present invention, for example, as shown in FIG. 4, the measurement object 2 and a plurality of color-coded markers CT are different at the same time or different times. The color-coded label CT includes a position detection pattern P1 for indicating a measurement position, a color used as a color reference, and a color used for light source color correction. The reference color pattern P2 and a color code pattern P3 arranged in a predetermined positional relationship with the position detection pattern P1 and provided with a plurality of colors for identifying a sign, and further, an imaging unit The position detection unit 51 for obtaining the position of the position detection pattern P1 from the photographed image of the sign CT with the color code photographed in Step 3, and the reference for extracting the reference color pattern P2 from the photographed image Of the reference color patterns extracted by the pattern extraction unit 52, the color code pattern extraction unit 53 that extracts the color code pattern P3 from the photographed image, and the reference color pattern extraction unit 52, at least the color used for light source color correction is used. And a color correction unit 71 for correcting the light source color of the photographed image.
ここにおいて、光源色補正とは、同じ色でも光源によって異なって見えるので、画像の色彩を光源によらない一定の色に統一する補正をいう。光源色補正は広義の意味で、カラーバランスをとるための補正と輝度補正(濃淡補正)とからなる。狭義の光源色補正はカラーバランスをとるための補正である。カラーバランスをとるための補正は、白色パターン又は/及び光三原色パターン(RGBパターン)を用い、画像上で白色パターン又は/及び各RGBパターンに他の色が混入しないようにRGBの輝度(光量)の比率を調整するものである。色彩の基準として用いる色彩及び光源色補正に用いる色彩として白色パターン又は/及びこのカラーバランスをとるための光三原色パターン(RGBパターン)を用いることができる。白色のみ、光三原色(RGB)のみを用いることも可能であるが、両者を用いるとカラーバランスを高精度にとれるので好ましい。また、カラーバランスをとるためは、光三原色(RGB)の1つ又は2つを用いても不可であり、光三原色(RGB)のそれぞれがいずれかの単位領域又は輝度スケールに含まれる必要がある。また、光三原色(RGB)がそれぞれ既知のチャネル値(輝度値)を持つ必要がある。例えば白色領域は光三原色(RGB)の全てを有するので光源色補正に使用できる。白色を用いる場合、チャネル値(画素値I)を1とする。光三原色(RGB)を用いる場合、必ずしも同一輝度のRGBパターンを用いる必要はないが、同一輝度のRGBパターンを用いるとカラーバランスの精度が向上するので好ましい。基準色部の単位領域の色を黄(Y)、シアン(C)、マゼンタ(M)の組み合わせとすると、赤(R)、緑(G)、青(B)はそれぞれ2つ単位領域に含まれるので光源色補正に使用できる。黄(Y)と青(B)の組み合わせでも、赤(R)、緑(G)、青(B)はそれぞれ1つ単位領域に含まれるので光源色補正に使用できる。 Here, light source color correction refers to correction that unifies the color of an image into a fixed color that does not depend on the light source because the same color appears differently depending on the light source. The light source color correction has a broad meaning and includes correction for color balance and luminance correction (shading correction). Narrowly defined light source color correction is correction for color balance. The correction for color balance uses a white pattern or / and light primary color pattern (RGB pattern), and brightness (light quantity) of RGB so that other colors are not mixed in the white pattern or / and each RGB pattern on the image. The ratio is adjusted. As a color used as a color reference and a color used for light source color correction, a white pattern or / and a light primary color pattern (RGB pattern) for this color balance can be used. Although it is possible to use only white and only the three primary colors (RGB), it is preferable to use both because the color balance can be taken with high accuracy. Further, in order to achieve color balance, it is impossible to use one or two light primary colors (RGB), and each of the light three primary colors (RGB) needs to be included in any unit area or luminance scale. . Further, each of the three primary colors (RGB) needs to have a known channel value (luminance value). For example, the white region has all three light primary colors (RGB) and can be used for light source color correction. When white is used, the channel value (pixel value I) is set to 1. When the three primary colors (RGB) are used, it is not always necessary to use the RGB pattern having the same luminance, but it is preferable to use the RGB pattern having the same luminance because the accuracy of the color balance is improved. When the color of the unit area of the reference color part is a combination of yellow (Y), cyan (C), and magenta (M), red (R), green (G), and blue (B) are included in two unit areas, respectively. Therefore, it can be used for light source color correction. Even in the combination of yellow (Y) and blue (B), red (R), green (G), and blue (B) are included in one unit region, and can be used for light source color correction.
また、狭義の光源色補正において、逆レスポンス関数を推定するために、輝度スケールパターンP5を用いる。輝度スケールパターンの諧調数が多いほど精度の高い補正ができる。輝度スケールパターンを用いない場合は輝度1点のみのカラーバランスとなる。また、広義の光源色補正は輝度補正(濃淡補正)を含むので、輝度補正時にも輝度スケールパターンP5を用いる。輝度スケールパターンP5の色相は有彩色でも無彩色でも良い。また、色相が同一で諧調の異なる複数の色は諧調順に配置することが、逆レスポンス関数を求める処理を効率化できるので好適である。本態様における光源色補正は少なくとも狭義の光源色補正を含むものとする。特許請求の範囲及び明細書においても特にことわらない限りこの意味で用いられる。また、「光源によらない一定の色に統一する」とは、全色彩を完全に統一する補正に限られず、高精度の補正、低精度の補正を含むものとする。具体的には無彩色又は有彩色のいずれかの色彩で例えば(式5)の補正が行われていれば良い。この場合、輝度は(式3)に限られず他の関数で導かれても良い。 In the narrowly-defined light source color correction, the luminance scale pattern P5 is used to estimate the inverse response function. As the number of gradations of the luminance scale pattern increases, correction can be performed with higher accuracy. When the luminance scale pattern is not used, the color balance is only one luminance point. In addition, since the light source color correction in a broad sense includes luminance correction (shading correction), the luminance scale pattern P5 is also used during luminance correction. The hue of the luminance scale pattern P5 may be chromatic or achromatic. In addition, it is preferable to arrange a plurality of colors having the same hue and different gradations in the gradation order because the processing for obtaining the inverse response function can be made more efficient. The light source color correction in this embodiment includes at least a narrow light source color correction. It is used in this sense in the claims and the description unless otherwise specified. Further, “unifying to a constant color that does not depend on the light source” is not limited to correction that completely unifies all colors, and includes high-precision correction and low-precision correction. Specifically, for example, the correction of (Expression 5) may be performed with either an achromatic color or a chromatic color. In this case, the luminance is not limited to (Equation 3), and may be derived by another function.
また、色補正部71は光源色補正以外の色補正、例えばカラーコードパターンの色合せの補正等を行っても良い。
また、「所定の位置関係に配置され」とは、位置検出用パターンP1に対してカラーコードパターンP3は予め定められた位置に配置されることを意味する。これにより、位置検出用パターンP1との位置関係からカラーコードパターンP3を抽出し、コード番号が判別可能になる。なお、1組のカラーコード付き標識においては、基準色パターンP2の配色及び輝度スケールパターンP5の配色は全て同一であり、カラーコードパターンP3の配色は全て異なるものとなる。なお、カラーコード付き標識(カラーコードターゲット)について包括的に示すときはCT、個別に示す時はCTi(iは正整数)と表示することとする。
本態様のように構成すると、光源色補正を行なう色補正部71を備えるので、画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正装置を提供できる。
Further, the color correction unit 71 may perform color correction other than light source color correction, for example, correction of color matching of a color code pattern.
Further, “arranged in a predetermined positional relationship” means that the color code pattern P3 is arranged at a predetermined position with respect to the position detection pattern P1. As a result, the color code pattern P3 is extracted from the positional relationship with the position detection pattern P1, and the code number can be determined. In a set of labels with color codes, the color scheme of the reference color pattern P2 and the color scheme of the luminance scale pattern P5 are all the same, and the color scheme of the color code pattern P3 is all different. It should be noted that CT is indicated when the label with color code (color code target) is comprehensively indicated, and CTi (i is a positive integer) when indicated individually.
With this configuration, since the color correction unit 71 that performs light source color correction is provided, it is possible to provide an image color correction apparatus that can perform correction that unifies the color of an image into a certain color that does not depend on the light source.
また、本発明の第2の態様に係る画像色彩補正装置1は、第1の態様において、例えば図4に示すように、複数のカラーコード付き標識CTは、撮影部3で複数方向から撮影して取得された撮影画像から撮影部3の撮影パラメータを求めるのに適した位置関係に配置され、位置検出部51で抽出された位置検出用パターンP1の位置に基づいて撮影パラメータを求める撮影パラメータ演算部61と、撮影パラメータ演算部61で求められた撮影パラメータを用いて、測定対象物2の撮影画像から、測定対象物2の位置を演算して求める三次元座標演算部62とを備える。 Further, the image color correction apparatus 1 according to the second aspect of the present invention, in the first aspect, for example, as shown in FIG. Shooting parameter calculation for obtaining shooting parameters based on the position of the position detection pattern P1 that is arranged in a positional relationship suitable for obtaining shooting parameters of the shooting unit 3 from the shot images acquired in this way and extracted by the position detection unit 51. And a three-dimensional coordinate calculation unit 62 that calculates the position of the measurement target 2 from the captured image of the measurement target 2 using the shooting parameters calculated by the shooting parameter calculation unit 61.
ここにおいて、「撮影パラメータを求めるのに適した位置関係に配置され」とは、例えば測定対象物2とほぼ同じ大きさのキャリブレーションボックスCB表面に適切な間隔で配置されること等をいう。測定対象物2の色の変化に対応するように配置することが、色の変化に良く追従できるので好ましい。すなわち、測定対象物2の色の変化が緩やかな位置ではカラーコードターゲットCTの間隔を疎にし、測定対象物2の色の変化が急激な位置ではカラーコードターゲットCTの間隔を密にすることが好ましい。また、カメラのレンズ歪が小さい位置ではカラーコードターゲットCTの間隔を疎にし、カメラのレンズ歪が大きい位置ではカラーコードターゲットCTの間隔を密にすることが好ましい。
本態様のように構成すると、求めた撮影パラメータを用いて撮影部3のカメラをキャリブレーションすることにより、測定対象物2の位置を精度良く求められる。
Here, “arranged in a positional relationship suitable for obtaining imaging parameters” means, for example, being arranged at an appropriate interval on the surface of the calibration box CB having substantially the same size as the measurement object 2. Arranging so as to correspond to the color change of the measurement object 2 is preferable because it can follow the color change well. That is, the interval between the color code targets CT is made sparse at a position where the color change of the measurement object 2 is slow, and the interval between the color code targets CT is made close at a position where the color change of the measurement object 2 is abrupt. preferable. Further, it is preferable that the distance between the color code targets CT is sparse at a position where the camera lens distortion is small, and the distance between the color code targets CT is close at a position where the camera lens distortion is large.
If comprised like this aspect, the position of the measuring object 2 can be calculated | required accurately by calibrating the camera of the imaging | photography part 3 using the calculated | required imaging | photography parameter.
また、本発明の第3の態様に係る画像色彩補正装置1は、第2の態様において、撮影パラメータは、撮影光学系の歪みと焦点距離fと光軸中心(x0,y0)を含む内部パラメータと、撮影部3の位置と傾きを含む外部パラメータを含む。
このように構成すると、撮影部3のカメラの撮影パラメータを用いて撮影画像の各部の位置座標を適正に補正できる。
In the image color correction apparatus 1 according to the third aspect of the present invention, in the second aspect, the imaging parameters include distortion of the imaging optical system, focal length f, and optical axis center (x 0 , y 0 ). It includes internal parameters and external parameters including the position and tilt of the photographing unit 3.
If comprised in this way, the position coordinate of each part of a picked-up image can be correct | amended appropriately using the imaging | photography parameter of the camera of the imaging | photography part 3. FIG.
また、本発明の第4の態様に係る画像色彩補正装置1は、第1ないし第3のいずれかの態様において、例えば図4に示すように、光源色補正に用いる色彩が施された基準色パターンP2として、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンP5を有し、基準色パターン抽出部52は、輝度スケールパターンP5を抽出する。
このように構成すると、輝度スケールパターンP5を用いて、広い輝度範囲にわたって精度の良い光源色補正ができる。
Further, the image color correction apparatus 1 according to the fourth aspect of the present invention is the reference color to which the color used for the light source color correction is applied as shown in FIG. 4 in any of the first to third aspects. The pattern P2 has a luminance scale pattern P5 in which a plurality of colors having the same hue and different gradations are arranged, and the reference color pattern extraction unit 52 extracts the luminance scale pattern P5.
With this configuration, it is possible to perform accurate light source color correction over a wide luminance range using the luminance scale pattern P5.
また、本発明の第5の態様に係る画像色彩補正装置1は、第4の態様において、輝度スケールパターンP5の色相が無彩色である。
ここにおいて、無彩色の輝度スケールパターンP5をグレースケールパターン又はグレートーンパッチという。領域的にグレースケール領域又はグレートーンパッチ部ともいう。グレースケールパターンP5は、白又は/及び黒を含んでも良く、含まなくても良い。含まない場合には、いずれかのパターン(例えば位置検出用パターンP1や次に述べる白色領域P4)に白又は/及び黒が含まれることが、輝度の最大値と最小値が明確になるので好ましい。
本態様のように構成すると、グレートーンパッチを用いるので、色相によらない普遍的な光源色補正に適している。なお、カラートーンパッチを用いると、用いた色相における光源色補正に適している。
Moreover, the image color correction apparatus 1 which concerns on the 5th aspect of this invention is a 4th aspect. WHEREIN: The hue of the luminance scale pattern P5 is an achromatic color.
Here, the achromatic luminance scale pattern P5 is referred to as a gray scale pattern or a gray tone patch. The area is also called a gray scale area or a gray tone patch portion. The gray scale pattern P5 may or may not include white and / or black. When not included, it is preferable that one of the patterns (for example, the position detection pattern P1 and the white region P4 described below) includes white or / and black because the maximum and minimum luminance values are clear. .
When configured in this manner, a gray tone patch is used, and therefore, it is suitable for universal light source color correction independent of hue. Note that the use of a color tone patch is suitable for light source color correction in the used hue.
また、本発明の第6の態様に係る画像色彩補正装置1は、第1ないし第4のいずれかの態様において、基準色パターンP2は、光源色補正に用いる色彩として白色が施された白色領域P4を有し、基準色パターン抽出部52は、白色領域P4を抽出する。
ここにおいて、白色領域P4は輝度スケールパターンP5と並存しても良く、白色領域P4のみ又は白色を含む輝度スケールパターンP5のみを設けても良い。
本態様のように構成すると、白色領域P4を用いて、小面積で効率の良い光源色補正ができる。
In addition, in any one of the first to fourth aspects, the image color correction apparatus 1 according to the sixth aspect of the present invention is configured such that the reference color pattern P2 is a white region in which white is applied as a color used for light source color correction. The reference color pattern extraction unit 52 extracts the white region P4.
Here, the white region P4 may coexist with the luminance scale pattern P5, or only the white region P4 or only the luminance scale pattern P5 including white may be provided.
When configured in this manner, the light source color correction can be performed efficiently with a small area using the white region P4.
また、本発明の第7の態様に係る画像色彩補正装置1は、第1ないし第6のいずれかの態様において、色補正部71は、基準色パターン抽出部52で抽出された基準色パターンP2のうち、輝度スケールパターンP5を用いて、光源色補正を行う。
このように構成すると、輝度スケールパターンを用いて光源色度補正を行うので、測定対象物2の本来の色彩を極めて高い精度で表現できる。
In addition, in the image color correction device 1 according to the seventh aspect of the present invention, in any one of the first to sixth aspects, the color correction unit 71 uses the reference color pattern P2 extracted by the reference color pattern extraction unit 52. Among these, light source color correction is performed using the luminance scale pattern P5.
If comprised in this way, since light source chromaticity correction | amendment is performed using a luminance scale pattern, the original color of the measuring object 2 can be expressed with a very high precision.
また、本発明の第8の態様に係る画像色彩補正装置1は、第1ないし第7のいずれかの態様において、例えば図4に示すように、位置検出部51で求められた位置検出用パターンP1の位置を用いて、異なる複数方向から撮影された撮影画像のつなぎ合わせを行う画像合成部72を備える。
ここにおいて、つなぎ合わせは色補正の前に行なっても良く、後に行なっても良い。 本態様のように構成すると、広い面積の測定対象物又は光景の撮影画像について、撮影画像のつなぎ合わせを行うことができる。
Moreover, the image color correction apparatus 1 according to the eighth aspect of the present invention is the position detection pattern obtained by the position detection unit 51 in any one of the first to seventh aspects, for example, as shown in FIG. An image compositing unit 72 that joins captured images taken from a plurality of different directions using the position of P1 is provided.
Here, the stitching may be performed before or after the color correction. If comprised like this aspect, a picked-up image can be joined about the measurement object of a large area, or the picked-up image of a scene.
また、本発明の第9の態様に係る画像色彩補正装置1は、第1ないし第8のいずれかの態様において、例えば図4に示すように、位置検出部51で求められた位置検出用パターンP1の位置を用いて、異なる複数方向から撮影された撮影画像から、対象物モデルを形成するモデル形成部73と、モデル形成部73で形成された対象物モデルに、色補正部71で補正された撮影画像の色彩を用いて測定対象物2のテクスチャを貼付するテクスチャ形成部74とを備える。
このように構成すると、テクスチャを貼付することにより、測定対象物2の3次元モデルをリアルに表現可能である。
In addition, in any one of the first to eighth aspects, the image color correction apparatus 1 according to the ninth aspect of the present invention, for example, as shown in FIG. The color correcting unit 71 corrects a model forming unit 73 that forms an object model and an object model formed by the model forming unit 73 from captured images taken from different directions using the position of P1. And a texture forming unit 74 for applying the texture of the measurement object 2 using the color of the captured image.
If comprised in this way, the 3D model of the measuring object 2 can be realistically represented by sticking a texture.
また、本発明の第10の態様に係る画像色彩補正方法は、例えば図15に示すように、面内に、計測位置を示すための位置検出用パターンP1と、色彩の基準として用いる色彩及び光源色補正に用いる色彩が施された基準色パターンP2と、位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを複数備える1組のカラーコード付き標識であって、1組のカラーコード付き標識の基準色パターンP2の配色は全て同一であり、1組のカラーコード付き標識CTの各カラーコードパターンP3の配色は全て異なる1組のカラーコード付き標識CTを配置する標識配置工程(S100)と、測定対象物2と複数のカラーコード付き標識CTを同時に又は別時に異なる複数方向から撮影する撮影工程(図15では第1の撮影工程に該当)(S120)と、撮影工程(S120)で撮影された撮影画像から、位置検出用パターンP1の位置を求める位置検出工程(S121)と、撮影画像から基準色パターンP2を抽出する基準色パターン抽出工程(S122)と、撮影画像からカラーコードパターンP3を抽出するカラーコードパターン抽出工程(S123)と、基準色パターン抽出工程(S122)で抽出された基準色パターンのうち、少なくとも光源色補正に用いる色彩を用いて、撮影画像の光源色補正を行う色補正工程(S125)とを備える。 In addition, as shown in FIG. 15, for example, the image color correction method according to the tenth aspect of the present invention includes a position detection pattern P1 for indicating a measurement position, a color and a light source used as a color reference. A reference color pattern P2 to which colors used for color correction are applied, and a color code pattern P3 that is arranged in a predetermined positional relationship with respect to the position detection pattern and that has a plurality of colors for identifying signs. A set of color-coded signs having a plurality of color-coded signs CT, and the colors of the reference color pattern P2 of the set of color-coded signs are all the same, and each color of the set of color-coded signs CT The color arrangement of the code pattern P3 is a marker arrangement step (S100) in which a set of markers CT with different color codes is arranged, and the measurement object 2 and a plurality of markers with color codes. An image capturing step (corresponding to the first image capturing step in FIG. 15) (S120) for capturing CT from different directions at the same time or another time, and the position detection pattern P1 from the captured image captured in the image capturing step (S120). A position detection step (S121) for obtaining a position, a reference color pattern extraction step (S122) for extracting the reference color pattern P2 from the photographed image, and a color code pattern extraction step (S123) for extracting the color code pattern P3 from the photographed image. And a color correction step (S125) for performing light source color correction of the photographed image using at least colors used for light source color correction among the reference color patterns extracted in the reference color pattern extraction step (S122).
ここにおいて、基準色パターンP1の配色(輝度スケールパターンP5の配色を含む)及びカラーコードパターンP2における配色とは、色彩の位置関係を定めることをいう。また、標識配置工程(S100)では、カラーコード付き標識CTをキャリブレーションボックスCBの表面上に配置しても良く、測定対象物2が置かれる場所の周囲に配置しても良く、測定対象物2の表面上に配置しても良い。また、色補正工程(S125)では、少なくとも光源色補正を行うが、例えばカラーコードパターンP3の色合せの補正等他の色補正を行っても良い。
本態様のように構成すると、光源色補正を行なう色補正工程(S125)を備えるので、画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正方法を提供できる。
Here, the color arrangement of the reference color pattern P1 (including the color arrangement of the luminance scale pattern P5) and the color arrangement in the color code pattern P2 refer to determining the positional relationship of the colors. In the marker placement step (S100), the marker CT with the color code may be placed on the surface of the calibration box CB, or may be placed around the place where the measurement object 2 is placed. You may arrange | position on the surface of 2. In the color correction step (S125), at least light source color correction is performed, but other color corrections such as correction of color matching of the color code pattern P3 may be performed.
According to this aspect, since the color correction step (S125) for performing light source color correction is provided, it is possible to provide an image color correction method capable of performing correction for unifying the color of an image to a certain color independent of the light source. .
また、本発明の第11の態様に係る画像色彩補正方法は、第10の態様において、例えば図15に示すように、標識配置工程(S100)において、1組のカラーコード付き標識CTは、撮影工程(S120)で複数方向から撮影して取得された撮影画像から撮影部3の撮影パラメータを求めるのに適した位置関係に配置され、位置検出工程(121)で抽出された位置検出用パターンP1の位置に基づいて撮影パラメータを求める撮影パラメータ演算工程(S140)と、撮影パラメータ演算工程(S140)で求められた撮影パラメータを用いて、撮影画像から、測定対象物2の三次元座標を演算して求める三次元座標演算工程(S160)とを備える。
このように構成すると、撮影パラメータ演算工程(S140)と三次元座標演算工程(S160)とを備えるので、撮影パラメータ演算工程(S140)で演算されキャリブレーションデータを用いて、測定対象物2に係る精度の良い三次元座標を演算できる。なお、キャリブレーション後に再度撮影(第2の撮影工程:S150)して三次元座標測定を行っても良く、キャリブレーションと三次元座標測定を同じ撮影画像を用いて行っても良い。前者の場合には、キャリブレーションされたカメラによる撮影画像を用いるので、精度の高い三次元座標を演算できる。後者の場合には、第2の撮影工程(S150)を省略するので、速く三次元座標を演算できる。
The image color correction method according to the eleventh aspect of the present invention is the image color correction method according to the tenth aspect, for example, as shown in FIG. A position detection pattern P1 arranged in a positional relationship suitable for obtaining the shooting parameters of the shooting unit 3 from the shot images acquired by shooting from a plurality of directions in the step (S120) and extracted in the position detection step (121). The 3D coordinates of the measurement object 2 are calculated from the captured image using the imaging parameter calculation step (S140) for obtaining the imaging parameter based on the position of the image, and the imaging parameter obtained in the imaging parameter calculation step (S140). 3D coordinate calculation step (S160).
If comprised in this way, since an imaging | photography parameter calculation process (S140) and a three-dimensional coordinate calculation process (S160) are provided, it is calculated by an imaging | photography parameter calculation process (S140), and it uses the calibration data, and concerns on the measuring object 2. Can calculate accurate three-dimensional coordinates. Note that after calibration, the image may be captured again (second imaging step: S150) and the three-dimensional coordinate measurement may be performed, or the calibration and the three-dimensional coordinate measurement may be performed using the same captured image. In the former case, since a photographic image obtained by a calibrated camera is used, highly accurate three-dimensional coordinates can be calculated. In the latter case, since the second imaging step (S150) is omitted, the three-dimensional coordinates can be calculated quickly.
また、本発明の第12の態様に係る画像色彩補正方法は、第10の態様又は第11の態様において、標識配置工程(S100)において、1組のカラーコード付き標識CTはキャリブレーションボックスCBの表面上、測定対象物2の表面上又は測定対象物2が置かれる場所の周囲に配置される。
このように構成すると、1組の輝度スケール領域P5を有するカラーコード付き標識CTを配置して撮影し、撮影画像の色彩を補正するので、カラーコード付き標識CTを配置した場所で精度のよい色補正ができる。キャリブレーションボックスCBを用いた場合は、キャリブレーションボックスCBと測定対象物2を別時に測定するが、測定対象物2全体の撮影画像を補正できる。測定対象物2と測定対象物2を同時に撮影する場合には、カラーコード付き標識CTで隠された場所は推定値を用いるが、1つの撮影画像でキャリブレーションと三次元座標演算ができる。
In addition, in the image color correction method according to the twelfth aspect of the present invention, in the tenth aspect or the eleventh aspect, in the sign placement step (S100), the set of color-coded signs CT is the calibration box CB. It is arranged on the surface, on the surface of the measurement object 2 or around the place where the measurement object 2 is placed.
With such a configuration, the color-coded marker CT having a set of luminance scale regions P5 is arranged and photographed, and the color of the photographed image is corrected. Can be corrected. When the calibration box CB is used, the calibration box CB and the measurement object 2 are measured separately, but the captured image of the entire measurement object 2 can be corrected. When the measurement object 2 and the measurement object 2 are photographed at the same time, an estimated value is used for the location hidden by the color-coded label CT, but calibration and three-dimensional coordinate calculation can be performed with one photographed image.
また、本発明の第13の態様に係る画像色彩補正方法は、第10の態様又は第11の態様において、色補正工程(S125)において、光源色補正に用いる色彩が施された基準色パターンP2として、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンP5を用いて、撮影画像の光源色補正を行う。
このように構成すると、輝度スケールパターンP5を用いて、広い輝度範囲にわたって精度の良い光源色補正ができる。
The image color correction method according to the thirteenth aspect of the present invention is the reference color pattern P2 to which the color used for light source color correction is applied in the color correction step (S125) in the tenth aspect or the eleventh aspect. As described above, the light source color correction of the photographed image is performed using the luminance scale pattern P5 in which a plurality of colors having the same hue and different gradations are arranged.
With this configuration, it is possible to perform accurate light source color correction over a wide luminance range using the luminance scale pattern P5.
また、本発明の第14の態様に係る画像色彩補正方法は、第10の態様又は第11の態様において、色補正工程(S125)において、光源色補正に用いる色彩として白色が施された白色領域P4を用いて、撮影画像の光源色補正を行う。
このように構成すると、輝度スケールパターンP5に代えて白色領域P4を用いて、小面積で効率の良い光源色補正ができる。
The image color correction method according to the fourteenth aspect of the present invention is the white area in which white is applied as a color used for light source color correction in the color correction step (S125) in the tenth aspect or the eleventh aspect. Using P4, light source color correction of the captured image is performed.
If comprised in this way, it can replace with the brightness | luminance scale pattern P5, and can perform efficient light source color correction with a small area using the white area | region P4.
また、本発明の第15の態様に係る画像色彩補正方法は、第10の態様又は第11の態様において、色補正工程(S125)において、光三原色が施された基準色パターンP2の単位領域を用いて光源色補正を行う。
ここにおいて、色彩の基準として用いる色彩としてカラーバランスをとるための光三原色(RGB)を用いることができる。ただし、各RGBパターンはそれぞれ既知のチャネル値(画素値I)を持つ必要がある。必ずしも同一輝度のRGBパターンを用いる必要はないが、同一輝度のRGBパターンを用いるとカラーバランスの精度が向上するので好ましい。また、ほぼ等しいの輝度の範囲は例えば±10%以内とする。
本態様のように構成すると、従来のカラーコードターゲットの色彩を調整するだけで、光源色の補正が可能になる。光三原色(RGB)を画面上で輝度がほぼ等しくなるようにすると、RGBそれぞれの輝度をその近傍で調整することにより、容易にカラーバランスを取ることができる。また、光三原色が施された基準色パターンP2の単位領域を用いて、小面積で効率の良い光源色補正ができる。
The image color correction method according to the fifteenth aspect of the present invention is the image color correction method according to the tenth aspect or the eleventh aspect, wherein the unit area of the reference color pattern P2 to which the light primary colors are applied in the color correction step (S125). Use to perform light source color correction.
Here, light primary colors (RGB) for color balance can be used as colors used as color standards. However, each RGB pattern needs to have a known channel value (pixel value I). Although it is not always necessary to use the RGB pattern having the same luminance, it is preferable to use the RGB pattern having the same luminance because the color balance accuracy is improved. In addition, the substantially equal luminance range is, for example, within ± 10%.
With this configuration, the light source color can be corrected only by adjusting the color of the conventional color code target. When the light primary colors (RGB) have substantially the same luminance on the screen, the color balance can be easily achieved by adjusting the luminance of each of RGB in the vicinity thereof. Further, efficient light source color correction can be performed with a small area using the unit region of the reference color pattern P2 to which the three primary colors are applied.
また、本発明の第16の態様に係る画像色彩補正方法は、第10の態様ないし第15のいずれかの態様において、例えば図15に示すように、位置検出工程(S121)で求められた位置検出用パターンP1の位置を用いて、異なる複数方向から撮影された撮影画像から、対象物モデルを形成するモデル形成工程(S155)と、モデル形成工程(S155)で形成された対象物モデル2に、色補正工程(S125)で補正された測定対象物2のテクスチャを貼付するテクスチャ形成工程(S165)とを備える。
このように構成すると、テクスチャを貼付することにより、測定対象物2の3次元モデルをリアルに表現可能である。
Further, the image color correction method according to the sixteenth aspect of the present invention is the position obtained in the position detection step (S121) in any one of the tenth to fifteenth aspects, for example, as shown in FIG. Using the position of the detection pattern P1, the model formation step (S155) for forming the object model from the captured images photographed from different directions, and the object model 2 formed in the model formation step (S155). A texture forming step (S165) for applying the texture of the measurement object 2 corrected in the color correction step (S125).
If comprised in this way, the 3D model of the measuring object 2 can be realistically represented by sticking a texture.
本発明によれば、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行なうことができる画像色彩補正方法を提供することができる。 According to the present invention, it is possible to provide an image color correction apparatus capable of performing correction to unify the color of an image to a constant color that does not depend on a light source, and to unify the color of an image to a constant color that does not depend on a light source. An image color correction method capable of performing correction can be provided.
以下、図面を参照して、本発明の実施の形態について説明する。尚、各図において、互いに同一又は相当する部分には同一符号を付し、重複した説明は省略する。 Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals, and redundant description is omitted.
実施例1では、カラーコード付き標識(カラーコードターゲット)CTが、グレースケールパターン(グレースケール領域)P5を白色領域P4に隣接して有する例を説明する。 In the first embodiment, an example will be described in which the sign with color code (color code target) CT has a gray scale pattern (gray scale region) P5 adjacent to the white region P4.
[カラーコードターゲット]
図1に本実施例によるコード付き標識としてのカラーコードターゲットCT1の例を示す。カラーコードの単位領域が6個で、輝度スケール領域P5が白色領域(右下隅)P4に隣接して配置されている例である。図1のカラーコードターゲットCT1は、位置検出用パターンとしてのレトロターゲット部P1、基準色パターンとしての基準色部P2、カラーコードパターンとしてのカラーコード部P3で構成されている。白色領域P4及び輝度ケール領域P5は基準色部P2の一部である。また、輝度スケール領域P5は無彩色のグレースケール領域P5となっている。本実施例では輝度スケール領域P5が白色領域P4に隣接して配置されている。これら、レトロターゲット部P1、基準色部P2(白色領域P4とグレースケール領域P5を含む)、カラーコード部P3はカラーコードターゲットCT1内の所定の位置に配置される。すなわち、基準色パターンP2(白色領域P4とグレースケール領域P5を含む)、カラーコードパターンP3は位置検出用パターンP1に対して予め定められた位置に配置される。図1の配色は、赤(R)、緑(G)、青(B)、黄(Y)、シアン(C)、マゼンタ(M)を表す。レトロターゲット部P1は黒地の中央に再帰反射材料からなる円形パターンを有している。レトロターゲット部P1に光を照射すると再帰反射材料から再帰反射するので、レトロターゲット部P1を検出し易くなる。このような再帰反射材料を有するターゲットをレトロターゲットという。この円形パターン内部を再帰反射材料に代えて白色にしても良い。白色の場合にはカラーコードターゲットCT1を製作し易く、光源色補正用の白色としても使用できる。
[Color code target]
FIG. 1 shows an example of a color code target CT1 as a sign with a code according to the present embodiment. In this example, there are six color code unit areas, and the luminance scale area P5 is arranged adjacent to the white area (lower right corner) P4. The color code target CT1 in FIG. 1 includes a retro target portion P1 as a position detection pattern, a reference color portion P2 as a reference color pattern, and a color code portion P3 as a color code pattern. The white area P4 and the luminance kale area P5 are part of the reference color portion P2. The luminance scale region P5 is an achromatic gray scale region P5. In the present embodiment, the luminance scale region P5 is disposed adjacent to the white region P4. The retro target portion P1, the reference color portion P2 (including the white region P4 and the gray scale region P5), and the color code portion P3 are arranged at predetermined positions in the color code target CT1. That is, the reference color pattern P2 (including the white region P4 and the gray scale region P5) and the color code pattern P3 are arranged at positions predetermined with respect to the position detection pattern P1. The color scheme in FIG. 1 represents red (R), green (G), blue (B), yellow (Y), cyan (C), and magenta (M). The retro target portion P1 has a circular pattern made of a retroreflective material at the center of the black background. When the retro target portion P1 is irradiated with light, it is retroreflected from the retroreflective material, so that the retro target portion P1 can be easily detected. A target having such a retroreflective material is referred to as a retro target. The inside of the circular pattern may be white instead of the retroreflective material. In the case of white, the color code target CT1 is easy to manufacture and can be used as white for light source color correction.
レトロターゲット部P1は、位置検出用パターンとして機能し、ターゲット自体の検出用、ターゲットの位置(重心)検出用、ターゲットの傾斜検出用として使用される。3つのレトロターゲット部P1は一直線上にない3以上のパターンとして機能するので、カラーコードターゲットCT1の傾斜を検出できる。また、レトロターゲットの位置を基準にして、基準色パターンP2(白色領域P4及び輝度スケール領域P5を含む)、カラーコードパターンP3の抽出に使用される。 The retro target portion P1 functions as a position detection pattern, and is used for detecting the target itself, for detecting the position (center of gravity) of the target, and for detecting the tilt of the target. Since the three retro target portions P1 function as three or more patterns that are not on a straight line, the inclination of the color code target CT1 can be detected. Further, the reference color pattern P2 (including the white area P4 and the luminance scale area P5) and the color code pattern P3 are used with reference to the position of the retro target.
基準色部P2は、色彩の基準として用いる色彩の単位領域を有する。本実施例では赤、緑、青の光三原色の色彩が使用される。すなわち、相対比較時の参照用、色ずれを補正するためのカラーキャリブレーション用として使用される。また、基準色部P2は、カメラ間の色補正に使用される。複数のカメラで同一基準色を撮影し、撮影画像間の色ずれを補正する。さらに、基準色部P2の単位領域の色彩には、光源色補正に用いる色彩が使用される。光源色補正とは、同じ色でも光源(自然光、照明等)によって異なって見えるので、画像の色彩を光源によらない一定の色に統一する補正をいう。すなわち、カラーバランスの調整及び輝度補正(濃淡補正)に使用される。また、RGB色を画面上でほぼ等しい輝度が得られるように定めておくと、RGBそれぞれの輝度をその近傍で調整してカラーバランスを取ることが容易になるので、好ましい。 The reference color portion P2 has a color unit region used as a color reference. In this embodiment, red, green and blue light primary colors are used. That is, it is used for reference at the time of relative comparison and for color calibration for correcting color misregistration . The reference color portion P2 is used for color correction between cameras. The same reference color is photographed by a plurality of cameras, and the color shift between the photographed images is corrected. Furthermore, the color used for light source color correction is used for the color of the unit area of the reference color portion P2. Light source color correction refers to correction that unifies the color of an image into a fixed color that does not depend on the light source because the same color appears differently depending on the light source (natural light, illumination, etc.). That is, it is used for color balance adjustment and luminance correction (shading correction). Further, it is preferable to set the RGB colors so that substantially the same luminance can be obtained on the screen, because it is easy to adjust the luminance of each RGB in the vicinity thereof to achieve color balance.
また、基準色部P2は、簡易な方法で作成されたカラーコードターゲットCT1の色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター(インクジェット・レーザー・昇華型等のプリンタ)で印刷したカラーコードターゲットCTを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部P2とカラーコード部P3の色を相対比較し補正することで、個体差の影響を押さえることができる。
さらに、基準色部P2は光源色補正のために白色領域P4と輝度スケール領域(本実施例ではグレースケール領域)P5を有する。これらについては後述する。
Further, the reference color portion P2 can be used for color correction of the color code target CT1 created by a simple method. For example, when using a color code target CT printed by a color printer (inkjet, laser, sublimation type printer, etc.) where color management is not performed, individual differences appear in the color of the printer used, but the reference color portion P2 By comparing and correcting the color of the color code portion P3 relative to each other, the influence of individual differences can be suppressed.
Further, the reference color portion P2 has a white region P4 and a luminance scale region (gray scale region in this embodiment) P5 for light source color correction. These will be described later.
カラーコード部P3は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がnで単位領域数が3の場合、n×n×n通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、n×(n−1)×(n−2)通りのコードを表せる。n=6の場合には、6×5×4=120通りのコードを表せる。本実施例のようにn=6、単位領域数が6の場合には、6×5×4×3×2×1=720通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。 The color code part P3 expresses a code by a combination of color schemes for each unit area. The number of codes that can be expressed varies depending on the number of code colors used for the code. For example, when the number of code colors is n and the number of unit areas is 3, n × n × n codes can be represented. In order to increase the reliability, even when the condition that the colors used in other unit areas are not used redundantly, n × (n−1) × (n−2) codes can be expressed. In the case of n = 6, 6 × 5 × 4 = 120 codes can be expressed. When n = 6 and the number of unit areas is 6, as in this embodiment, 6 × 5 × 4 × 3 × 2 × 1 = 720 codes can be expressed. If the number of code colors is increased, the number of codes can be increased.
さらに、カラーコード部P3の単位領域の数とコード色数を等しくするという条件を課すと、全てのコード色がカラーコード部P3に使用されるため、基準色部P2との比較のみでなく、カラーコード部P3の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコードターゲットCTを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコードターゲットCT間でも各色の占有する面積が同じになるため、カラーコード部P3全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもカラーコードターゲットCTを画像中から検出することが可能である。 Furthermore, if the condition that the number of unit areas of the color code portion P3 is equal to the number of code colors is imposed, all the code colors are used for the color code portion P3. Therefore, not only the comparison with the reference color portion P2, By relatively comparing the colors between the unit areas of the color code part P3, the color of each unit area can be confirmed to determine the identification code, and the reliability can be improved. Furthermore, if a condition for making the area of each unit region all the same is added, the color code target CT can also be used for detection from the image. This is because the area occupied by each color is the same even between the color code targets CT having different identification codes, so that almost the same dispersion value is obtained from the detection light from the entire color code portion P3. In addition, since the boundary between the unit regions is repeated at equal intervals and a clear color difference is detected, it is possible to detect the color code target CT from the image from such a repeated pattern of detection light.
白色領域P4は、基準色として用いるため、また、光源色補正のため白色が施される。すなわち、基準色として色ずれのキャリブレーションに使用される。また、白色は光源により敏感に変化するので、光源によらない一定の色に統一する光源色補正に好適である。また、カラーコードターゲットCT1の傾斜検出用とカラーコードターゲットCT1の四隅の内、一カ所だけレトロターゲットが配置されない箇所を白色領域P4とすることにより、これをカラーコードターゲットCT1の傾斜検出用に使用できる。この場合、傾斜検出用にはレトロターゲットと異なるパターンであれば良いので、目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域を含んでも良い。本実施例では白色領域P4がレトロターゲット部P1より小型化されて右下隅に設けられ、残りにグレースケール領域P5が配置されている。白色領域P4には番号が付記されている。 The white region P4 is white for use as a reference color and for light source color correction. That is, it is used for calibration of color misregistration as a reference color. Also, since white changes sensitively depending on the light source, it is suitable for light source color correction that unifies a constant color regardless of the light source. In addition, the color code target CT1 is used for inclination detection, and the position where no retro target is arranged in one of the four corners of the color code target CT1 is set as a white region P4, which is used for inclination detection of the color code target CT1. it can. In this case, a pattern different from the retro target may be used for inclination detection, so a character string such as a number for visually confirming a code may be printed, or a code area such as a barcode may be included. good. In the present embodiment, the white area P4 is made smaller than the retro target portion P1 and is provided in the lower right corner, and the gray scale area P5 is disposed in the rest. A number is added to the white region P4.
図2にグレースケール領域P5の例を示す。グレースケール領域P5には、光源色補正のため無彩色で輝度の異なる複数の諧調の色が施される。かかる無彩色で諧調の異なる複数の色を配置したパターンをグレートーンパッチという。諧調数を増やす程光源色補正の精度を向上できる。この例では、無彩色として白、黒を含む11階層の色を輝度の高い方を左にして、階調順に横一列に並べて配置している。本実施例(図1)では、白、黒を除く7階調の横長の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。グレートーンパッチにより、光源色を算出し、光源色の補正を行なうことができる。また、複数のデジタルカメラで同時にグレートーンパッチを撮影した際に、異なるホワイトバランスや露出を原因とする画像間の明るさや色差を補正することができる。また、単一の撮影画像を用いてグレートーンパッチからデジタルカメラのレスポンス関数を推定することができる。 FIG. 2 shows an example of the gray scale region P5. The grayscale region P5 is provided with a plurality of gradation colors having achromatic and different luminances for light source color correction. Such a pattern in which a plurality of colors having different achromatic colors is arranged is called a gray tone patch. The accuracy of light source color correction can be improved as the number of gradations increases. In this example, 11 layers of colors including white and black as achromatic colors are arranged in a horizontal row in order of gradation, with the higher luminance on the left. In this embodiment (FIG. 1), a horizontal gray pattern of seven gradations excluding white and black is arranged vertically in the order of gradation, with the higher luminance on the bottom. With the gray tone patch, the light source color can be calculated and the light source color can be corrected. In addition, when gray tone patches are taken simultaneously with a plurality of digital cameras, brightness and color difference between images due to different white balance and exposure can be corrected. In addition, the response function of the digital camera can be estimated from the gray tone patch using a single captured image.
輝度スケール領域P5には、光源色補正のため色相が同一で輝度の異なる複数の諧調の色が施される。この輝度スケール領域P5をカラーコードターゲットの一部に設ける他に、輝度スケール領域P5をシート状のカラーキャリブレーションシートとし、既存のカラーコードターゲットと共にキャリブレーションパネルやキャリブレーションボックスに貼り付けて使用することができる。また、既存のカラーコードターゲットの上又は近傍に貼り付けて使用することもできる。 The luminance scale region P5 is provided with a plurality of gradation colors having the same hue and different luminances for light source color correction. In addition to providing the luminance scale region P5 as a part of the color code target, the luminance scale region P5 is used as a sheet-like color calibration sheet, which is used by being attached to a calibration panel or a calibration box together with the existing color code target. be able to. It can also be used by pasting on or near an existing color code target.
[キャリブレーションボックス]
図3にキャリブレーションボックスの例を示す。画像色彩補正装置1では、測定対象物2の周囲に円周上に配置された、場合によっては半球(上側)の球面上に配置された、ステレオカメラを用いてステレオマッチング法により測定対象物2の3次元モデリングを行なう。単カメラで場所を移動しながら撮影した画像をステレオペアとして用いても良い。しかし、複数台のデジタルカメラで撮影した画像を測定対象物モデルに重ね合わせた場合、光学的に不整合(色ずれ)の発生したテクスチャとなる。この原因は各カメラにより露出やホワイトバランスなどのパラメータが異なることにより発生するものである。カメラパラメータを統一した場合においてもデジタルカメラの個体差があり、色誤差が発生してしまう。画像色彩補正装置1が人体計測システムに使用される場合には人体の表面の色彩が光により微妙に変わることから、特に光源色補正が重要である。撮影画像における測定対象物2の表面の色彩を補正するためには、測定対象物2の表面の各部に近い位置に配置したカラーコードターゲットCT(輝度スケール領域P5を有する)を用いて行なうのが好適である。例えば、人体に近い大きさのキャリブレーションボックスCBを用意し、その表面に複数のカラーコードターゲットCTを配置し、複数のカメラの撮影画像から光源色を算出し、画像間の輝度の誤差を補正する。
[Calibration box]
FIG. 3 shows an example of a calibration box. In the image color correction apparatus 1, the measurement object 2 is arranged by a stereo matching method using a stereo camera arranged on the circumference of the measurement object 2 and possibly arranged on a hemispherical (upper) spherical surface. 3D modeling is performed. Images taken while moving places with a single camera may be used as a stereo pair. However, when images taken by a plurality of digital cameras are superimposed on the measurement object model, the texture is optically mismatched (color misregistration). This is caused by different parameters such as exposure and white balance for each camera. Even when camera parameters are unified, there are individual differences among digital cameras, and color errors occur. When the image color correction device 1 is used in a human body measurement system, light source color correction is particularly important because the color of the surface of the human body changes slightly with light. In order to correct the color of the surface of the measurement object 2 in the captured image, the color code target CT (having the luminance scale region P5) arranged at a position close to each part of the surface of the measurement object 2 is used. Is preferred. For example, a calibration box CB having a size close to that of a human body is prepared, a plurality of color code targets CT are arranged on the surface, light source colors are calculated from captured images of a plurality of cameras, and luminance errors between images are corrected. To do.
図3には、直方体の各側面に6個ずつ大きいカラーコードターゲットCTが配置され、大きいカラーコードターゲットCTの間に小さい8個のカラーコードターゲットCTが配置され、上面に小さい9個のカラーコードターゲットCTが配置されたキャリブレーションボックスCBの例を示す。大きい24個のカラーコードターゲットは第1の1組のカラーコードターゲットに属し、小さい41個のカラーコードターゲットは第2の1組のカラーコードターゲットに属する。1組のカラーコードターゲットCTにおいては、基準色パターンP2の配色は全て同一であり、各カラーコードパターンP3の配色は全て異なる。白色領域P4には白色の地に各カラーコードターゲットCTを識別する番号が付与されている。図3は、グレースケール領域P5がない例であるが、本実施例では、図1に示すようにグレースケール領域P5が白色領域P4に隣接して配置されているカラーコードターゲットCT1が配置されたキャリブレーションボックスをCB用いるものとする。また、輝度スケール領域P5をシート状にしたカラーキャリブレーションシートを図3のカラーコードターゲットCTが貼られていない隙間に配置して用いても良い。 In FIG. 3, six large color code targets CT are arranged on each side of the rectangular parallelepiped, eight small color code targets CT are arranged between the large color code targets CT, and nine small color codes are arranged on the upper surface. An example of a calibration box CB in which a target CT is arranged is shown. The 24 large color code targets belong to the first set of color code targets, and the 41 small color code targets belong to the second set of color code targets. In one set of color code targets CT, the color schemes of the reference color pattern P2 are all the same, and the color schemes of the color code patterns P3 are all different. In the white region P4, a number for identifying each color code target CT is assigned to a white background. FIG. 3 shows an example in which there is no grayscale area P5. In this embodiment, as shown in FIG. 1, the color code target CT1 in which the grayscale area P5 is arranged adjacent to the white area P4 is arranged. It is assumed that the calibration box uses CB. Further, a color calibration sheet in which the luminance scale region P5 is formed in a sheet shape may be arranged and used in a gap where the color code target CT in FIG. 3 is not attached.
[画像色彩補正装置]
図4に本実施例における画像色彩補正装置1の構成例を示す。画像色彩補正装置1は、例えば、測定対象物2(キャリブレーションボックスCB等を含む)を撮影する撮影部3、撮影画像や画像処理した画像を表示したり、入出力操作を行う入出力部4、撮影画像から測定対象物2に貼り付けられたカラーコードターゲットCT1を抽出するターゲット抽出部5、撮影パラメータの演算、対象物の三次元座標の演算等の演算処理を行う演算部6、色補正(光源色補正を含む)等、撮影画像に種々の画像処理を行う画像処理部7、撮影画像、モデル画像等の画像、画像処理や演算処理に有用なデータを記憶し、必要に応じて処理中のデータを記憶する記憶部8、画像色彩補正装置1及びその各部を制御して、画像色彩補正装置1として機能させる制御部9により構成される。このうち、ターゲット抽出部5、演算部6、画像処理部7、制御部9はパーソナルコンピュータ(PC)10の機能を用いて実現でき、PC10内に構成される。
[Image color correction device]
FIG. 4 shows a configuration example of the image color correction apparatus 1 in the present embodiment. The image color correction apparatus 1 includes, for example, a photographing unit 3 that photographs a measurement object 2 (including a calibration box CB), an input / output unit 4 that displays a photographed image and an image-processed image, and performs input / output operations. A target extraction unit 5 for extracting the color code target CT1 attached to the measurement object 2 from the photographed image, a computation unit 6 for performing computation processing such as computation of photographing parameters, computation of three-dimensional coordinates of the object, and color correction Image processing unit 7 that performs various image processing on captured images (including light source color correction) and the like, stores images such as captured images and model images, and data useful for image processing and arithmetic processing, and processes as necessary It comprises a storage unit 8 for storing the data therein, an image color correction device 1 and a control unit 9 for controlling the respective units to function as the image color correction device 1. Among these, the target extraction unit 5, the calculation unit 6, the image processing unit 7, and the control unit 9 can be realized by using functions of a personal computer (PC) 10 and are configured in the PC 10.
撮影部3は、測定対象物2を撮影するためのステレオカメラ又は単カメラ等を有し、また、撮影画像を取得する撮影画像取得部31を有する。本実施例では撮影画像取得部31は少なくとも異なる2方向からの撮影画像を取得する。キャリブレーション時には、カラーコードターゲットCT1を撮影し、その撮影画像を取得する。入出力部4は、撮影画像、モデル画像や操作画面を表示する表示部41、プリンタやスピーカ等を有する出力部42、マウスやキーボード等を有する入力部43を有する。 The imaging unit 3 includes a stereo camera or a single camera for imaging the measurement object 2 and also includes a captured image acquisition unit 31 that acquires a captured image. In the present embodiment, the captured image acquisition unit 31 acquires captured images from at least two different directions. At the time of calibration, the color code target CT1 is photographed, and the photographed image is acquired. The input / output unit 4 includes a display unit 41 that displays captured images, model images, and operation screens, an output unit 42 that includes a printer, a speaker, and the like, and an input unit 43 that includes a mouse, a keyboard, and the like.
ターゲット抽出部5は、撮影画像取得部31で取得された撮影画像から、キャリブレーションボックスCB等に貼り付けられたカラーコードターゲットCT1の位置検出用パターンP1を検出し、位置検出用パターンP1の位置を求める位置検出部51、位置検出部51で検出されたカラーコードターゲットCT1から基準色パターンP2を抽出する基準色パターン抽出部52、位置検出部51で検出されたカラーコードターゲットCT1からカラーコードパターンP3を抽出するカラーコードパターン抽出部53を有する。基準色パターン抽出部52は、位置検出部51で検出されたカラーコードターゲットCT1から、白色領域を抽出する白色領域抽出部521と輝度スケール領域P5を抽出する輝度スケール領域抽出部522を有する。本実施例では位置検出部51は少なくとも異なる2方向から取得された撮影画像から各位置検出用パターンP1を順次検出する。 The target extraction unit 5 detects the position detection pattern P1 of the color code target CT1 attached to the calibration box CB or the like from the captured image acquired by the captured image acquisition unit 31, and the position of the position detection pattern P1. A position detection unit 51 for obtaining the reference color pattern extraction unit 52 for extracting the reference color pattern P2 from the color code target CT1 detected by the position detection unit 51, and a color code pattern from the color code target CT1 detected by the position detection unit 51 A color code pattern extraction unit 53 that extracts P3 is provided. The reference color pattern extraction unit 52 includes a white region extraction unit 521 that extracts a white region and a luminance scale region extraction unit 522 that extracts a luminance scale region P5 from the color code target CT1 detected by the position detection unit 51. In the present embodiment, the position detection unit 51 sequentially detects each position detection pattern P1 from captured images acquired from at least two different directions.
演算部6は、キャリブレーションのために貼り付けられたカラーコードターゲットCT1やキャリブレーションボックスCBに貼り付けられたカラーコードターゲットCT1の撮影画像から位置検出部51で抽出された位置検出用パターンP1の位置に基づいてカメラの撮影パラメータを求める撮影パラメータ演算部61、撮影パラメータ演算部61で求められた撮影パラメータを用いて、測定対象物2の撮影画像から測定対象物2の位置(三次元座標)を演算して求める三次元座標演算部62、標定計算処理を行う標定部63を有する。標定部63は焦点距離fを推定する焦点距離推定部631を有する。 The calculation unit 6 includes the position detection pattern P1 extracted by the position detection unit 51 from the captured image of the color code target CT1 pasted for calibration and the color code target CT1 pasted on the calibration box CB. A shooting parameter calculation unit 61 that obtains a shooting parameter of the camera based on the position, and the position (three-dimensional coordinates) of the measurement target 2 from the shot image of the measurement target 2 using the shooting parameter obtained by the shooting parameter calculation unit 61. A three-dimensional coordinate calculation unit 62 that calculates and calculates an orientation unit 63 that performs orientation calculation processing. The orientation unit 63 includes a focal length estimation unit 631 that estimates the focal length f.
画像処理部7は、基準色パターン抽出部52で抽出された各基準色パターンP2の色彩を用いてカメラ及び撮影画像の色補正を行なう色補正部71、位置検出部51で求められた位置検出用パターンP1の位置を用いて、異なる複数方向から撮影された撮影画像のつなぎ合わせを行う画像合成部72、位置検出部51で求められた位置検出用パターンP1の位置を用いて、異なる複数方向から撮影された撮影画像から、測定対象物モデルを作成するモデル形成部73、モデル形成部73で形成された測定対象物モデルに、色補正部71で補正された測定対象物2のテクスチャを貼付するテクスチャ形成部74、基準色パターン抽出部52で抽出された基準色パターンP2の各基準色の色彩とカラーコードパターン抽出部53で抽出されたカラーコードパターンP3の各コード色の色彩を比較して、カラーコードパターンP3の色彩の配置を求め、カラーコードターゲットCT1の白色領域P4に付された番号と対応付けてカラーコード記憶部83に記憶すると共に、求められたカラーコードパターンP3の色彩の配置を、記憶部8に記憶された色彩配置−コード対応表を参照してカラーコードを判別するカラーコード判別部75、撮影パラメータ演算部61で求められた撮影パラメータを用いて、画像データの補正を行なう画像データ補正部76を有する。 The image processing unit 7 uses the color of each reference color pattern P2 extracted by the reference color pattern extraction unit 52 to perform color correction of the camera and the captured image, and the position detection obtained by the position detection unit 51. Using the position of the position detection pattern P1 obtained by the image synthesizing unit 72 and the position detecting unit 51 for joining the captured images taken from a plurality of different directions using the position of the pattern P1 for use, a plurality of different directions The texture of the measurement object 2 corrected by the color correction unit 71 is pasted on the measurement object model formed by the model formation unit 73 that creates the measurement object model and the model formation unit 73 from the captured image captured from Texture forming unit 74, color of each reference color of reference color pattern P2 extracted by reference color pattern extraction unit 52, and color extracted by color code pattern extraction unit 53 The color of each code color of the code pattern P3 is compared to determine the color arrangement of the color code pattern P3 and stored in the color code storage unit 83 in association with the number assigned to the white area P4 of the color code target CT1. At the same time, the color arrangement of the obtained color code pattern P3 is obtained by the color code discriminating unit 75 that discriminates the color code with reference to the color arrangement-code correspondence table stored in the storage unit 8, and the photographing parameter calculation unit 61. An image data correction unit 76 that corrects image data using the obtained shooting parameters is provided.
記憶部8は、撮影画像を記憶する撮影画像記憶部81、基準色パターンP2の色彩データを記憶する基準色記憶部82、各カラーコードパターンP3の色彩配置データを記憶するカラーコード記憶部83、モデルデータを記憶するモデル記憶部84、内部パラメータと焦点距離fの関係を記憶する撮影パラメータ記憶部85を有する。また、各カラーコードパターンの色彩配置データとコード番号との対応関係を記録する色彩配置−コード対応表を有し、カラーコード判別部75では、この色彩配置−コード対応表を参照してカラーコードを判別する。また、使用が予定される複数種類のカラーコードターゲットCTについて、カラーコードターゲットCTの種別を示す種別コード番号を記憶する。色彩配置−コード対応表はカラーコードターゲットCTの種別毎に記憶する。 The storage unit 8 is a captured image storage unit 81 that stores captured images, a reference color storage unit 82 that stores color data of the reference color pattern P2, a color code storage unit 83 that stores color arrangement data of each color code pattern P3, A model storage unit 84 that stores model data, and an imaging parameter storage unit 85 that stores the relationship between internal parameters and focal length f are included. In addition, a color arrangement-code correspondence table for recording the correspondence between the color arrangement data of each color code pattern and the code number is provided, and the color code determination unit 75 refers to the color arrangement-code correspondence table to determine the color code. Is determined. In addition, for a plurality of types of color code targets CT that are scheduled to be used, a type code number indicating the type of the color code target CT is stored. The color arrangement-code correspondence table is stored for each type of color code target CT.
[カラーコードターゲットの検出]
次に、カラーコードターゲットCTの検出について説明する。まず、ターゲット抽出部5の位置検出部51にて撮影画像からカラーコードターゲットCTを抽出する。抽出方法として、(1)カラーコードターゲットCT中の位置検出用パターン(レトロターゲット部)P1を探索する方法、(2)カラーコード部P3の色分散を検出する方法、あるいは(3)彩色された位置検出用パターンを用いる方法など種々の方法がある。
[Detect color code target]
Next, detection of the color code target CT will be described. First, the color code target CT is extracted from the captured image by the position detection unit 51 of the target extraction unit 5. As an extraction method, (1) a method for searching for a position detection pattern (retro target portion) P1 in the color code target CT, (2) a method for detecting chromatic dispersion of the color code portion P3, or (3) colored There are various methods such as a method using a position detection pattern.
(1)カラーコードターゲットCTに再帰反射材料を用いたレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を2値化することにより簡単にレトロターゲットを検出できる。 (1) When a retro target using a retroreflective material is included in the color code target CT, a pattern with a clear brightness difference is used. A shining image can be acquired, and the retro target can be easily detected by binarizing the image.
図5はレトロターゲットの重心位置検出を説明するための図である。ただし、レトロターゲットでなく、黒地に白の塗装で形成した白色円形のターゲットでも処理は同様である。図5の例ではレトロターゲットは2つの同心円で形成されているが、外側が必ずしも円でなくとも良い。図5(A1)は同心円のうち小円の内側である内円部204の明度が明るく、小円と大円との間に形成された円環状の部分である外円部206の明度が暗いレトロターゲット200、図5(A2)は(A1)のレトロターゲット200の直径方向の明度分布図、図5(B1)は内円部204の明度が暗く、外円部206の明度が明るいレトロターゲット200、図5(B2)は(B1)のレトロターゲット200の直径方向の明度分布図を示している。レトロターゲットが図5(A1)のように内円部204の明度が明るい場合は、測定対象物2の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図5(A2)のようになり、光量分布の閾値Toからレトロターゲットの内円部204や中心位置を求めることが可能となる。レトロターゲットを使用すると、反射光量が大きく検出し易いという利点がある。白色円形のターゲットでは製作が容易である。 FIG. 5 is a diagram for explaining the detection of the center of gravity position of the retro target. However, the process is the same for a white circular target formed with white paint on a black background instead of a retro target. In the example of FIG. 5, the retro target is formed by two concentric circles, but the outer side is not necessarily a circle. In FIG. 5A1, the brightness of the inner circle portion 204 that is the inner side of the small circle among the concentric circles is bright, and the brightness of the outer circle portion 206 that is an annular portion formed between the small circle and the great circle is dark. The retro target 200, FIG. 5A2 is a lightness distribution diagram in the diameter direction of the retro target 200 of FIG. 5A, and FIG. 5B1 is a retro target in which the lightness of the inner circle portion 204 is dark and the lightness of the outer circle portion 206 is bright. 200 and FIG. 5 (B2) show a lightness distribution diagram in the diameter direction of the retro target 200 of (B1). When the brightness of the inner circle portion 204 is bright as shown in FIG. 5A1, the retro target is a bright portion where the reflected light amount at the center of gravity position is large and bright in the captured image of the measurement object 2, and thus the light amount distribution of the image. As shown in FIG. 5 (A2), the inner circle portion 204 and the center position of the retro target can be obtained from the threshold value To of the light amount distribution. When a retro target is used, there is an advantage that the amount of reflected light is large and easy to detect. The white circular target is easy to manufacture.
レトロターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図5(A1)に表記されたレトロターゲット200の平面座標を(x、y)とする。そして、レトロターゲット200の明度が、しきい値To以上のx、y方向の点について、(式1)、(式2)を演算する(*は乗算演算子)。
xg={Σx*f(x、y)}/Σf(x、y) −−−−(式1)
yg={Σy*f(x、y)}/Σf(x、y) −−−−(式2)
(xg、yg):重心位置の座標、f(x、y):(x、y)座標上の明度値
なお、図5(B1)に表記されたレトロターゲット200の場合は、明度がしきい値To以下のx、y方向の点について、(式1)、(式2)を演算する。これにより、レトロターゲット200の重心位置が求まる。
When the existence range of the retro target is determined, the position of the center of gravity is calculated by the moment method, for example. For example, the plane coordinates of the retro target 200 shown in FIG. 5 (A1) are (x, y). Then, (Expression 1) and (Expression 2) are calculated for points in the x and y directions where the brightness of the retro target 200 is greater than or equal to the threshold value To (* is a multiplication operator).
x g = {Σx * f (x, y)} / Σf (x, y) ---- (Formula 1)
y g = {Σy * f (x, y)} / Σf (x, y) −−−− (formula 2)
(X g , y g ): coordinates of the center of gravity position, f (x, y): lightness value on (x, y) coordinates
In the case of the retro target 200 shown in FIG. 5 (B1), (Expression 1) and (Expression 2) are calculated for points in the x and y directions whose brightness is equal to or less than the threshold value To. Thereby, the position of the center of gravity of the retro target 200 is obtained.
(2)通常、カラーコードターゲットCTのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコードターゲットCTを検出できる。
(3)カラーコードターゲットCTに使用している3隅のレトロターゲットに異なる色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする。3隅のレトロターゲットに異なる色をもたせているため、1つのカラーコードターゲットに属する各レトロターゲットを判別しやすい。
(2) Usually, the color code portion of the color code target CT has a feature that a large number of code colors are used and the color dispersion value is large. For this reason, the color code target CT can be detected by finding a portion having a large dispersion value from the image.
(3) The three color retro targets used in the color code target CT have different colors, and the colors reflected by the respective retro targets are made different. Since the retro targets at the three corners have different colors, it is easy to distinguish each retro target belonging to one color code target.
[光源色補正アルゴリズムのフロー]
図6に光源色補正(広義の光源色補正)のアルゴリズムのフロー例を示す。まず、カラーコードターゲットCT1を検出する(S010)。前述の(1)〜(3)のいずれかで検出できる。例えば、(1)のレトロターゲット部の検出又は(2)の色分散によるカラーコードターゲット検出を行なう。
[Light source color correction algorithm flow]
FIG. 6 shows a flow example of an algorithm for light source color correction (light source color correction in a broad sense). First, the color code target CT1 is detected (S010). It can be detected by any of the above (1) to (3). For example, (1) detection of a retro target portion or (2) color code target detection by chromatic dispersion is performed.
次に、カラーコードターゲットCT1のコード番号を検出する(S020)。カラーコードターゲットCT1は、カラーコード部P3の配色の差異により識別できる。よって、撮影画像におけるカラーコードターゲットCT1の寸法と傾きを補正した後に、基準色パターン抽出部52にて、基準色部P2を予め定められたコースで順次走査して各基準色(単位領域)の色彩を抽出する。カラーコードパターン抽出部53にて、カラーコード部P3を予め定められたコースで順次走査して各カラーコード色(単位領域)の色彩を抽出する。本実施例では、各単位領域への配色の組み合わせについて、他の単位領域に使用されている色を重複して使用しないという条件、及びカラーコード部P3の単位領域の数とコード色数を等しくするという条件が適用されるので、各単位領域の色彩を各基準色と比較し、また、カラーコード色間で相互に比較しながら確認して識別コードを決定できる。これにより、カラーコード判別部75は、抽出されたカラーコード部P3の色彩配置を、記憶部8に記憶された色彩配置−コード対応表を参照して、カラーコードターゲットCT1のコード番号を判別する。 Next, the code number of the color code target CT1 is detected (S020). The color code target CT1 can be identified by the difference in the color arrangement of the color code portion P3. Therefore, after correcting the size and inclination of the color code target CT1 in the photographed image, the reference color pattern extraction unit 52 sequentially scans the reference color part P2 along a predetermined course to obtain each reference color (unit region). Extract colors. The color code pattern extraction unit 53 sequentially scans the color code part P3 with a predetermined course to extract the color of each color code color (unit region). In this embodiment, for the combination of color schemes in each unit area, the condition that the colors used in the other unit areas are not used redundantly, and the number of unit areas and the number of code colors in the color code portion P3 are equal. Therefore, the identification code can be determined by comparing the color of each unit area with each reference color and confirming the color code colors while comparing with each other. Thereby, the color code determination unit 75 refers to the color arrangement-code correspondence table stored in the storage unit 8 for the color arrangement of the extracted color code part P3, and determines the code number of the color code target CT1. .
次に、輝度スケール領域P5又は/及び白色領域P4の検出を行なう(S030)。カラーコードターゲットCT1の輝度スケール領域P5又は/及び白色領域P4を自動あるいは手動で指定する。輝度スケール領域P5及び白色領域P4は、カラーコードターゲットCT1の検出に使用される3個のレトロターゲットに対して予め定められた位置関係にあることから、輝度スケール領域抽出部522又は/及び白色領域抽出部521は先に求められた3個のレトロターゲットの位置から対応する位置を自動的に走査し、検出された色彩を確認する。本実施例では、カラーコードターゲットCT1の右下隅の領域を輝度スケール領域P5として検出する。なお、マニュアルで対応する位置を指定することも可能である。 Next, the brightness scale region P5 and / or the white region P4 is detected (S030). The luminance scale region P5 and / or the white region P4 of the color code target CT1 is designated automatically or manually. Since the luminance scale region P5 and the white region P4 are in a predetermined positional relationship with respect to the three retro targets used for detection of the color code target CT1, the luminance scale region extraction unit 522 and / or the white region The extraction unit 521 automatically scans the corresponding position from the three previously determined retro target positions, and confirms the detected color. In this embodiment, the lower right corner area of the color code target CT1 is detected as the luminance scale area P5. It is also possible to specify the corresponding position manually.
[光源色補正の前処理]
次に、光源色補正(狭義の光源色補正)の前処理を行う。この前処理も狭義の光源色補正に含まれる。この前処理は色補正部71にて行われる。
まず、逆レスポンス関数を推定し、輝度スケール領域P5において検出された画素値(M)に逆レスポンス関数を掛ける処理を行う(S040)。一般的なデジタルカメラではシーン(撮影されるべき撮影対象及びその背景)の放射輝度(I)をデジタルカメラの画素値(M)に対応させるためのレスポンス関数が掛かっている。これは、画像をガンマ補正がされたディスプレイ上で確認した時に自然に見えるようにするためでる。ガンマ補正とは、白色領域がディスプレイ上で、有彩色やグレーが入らず白色になるように基準となる光(RGB)にモニタ特性の逆関数を掛ける補正することをいう。ところが、レスポンス関数の補正に関して、画像の輝度値が線形でないので、輝度補正する場合に単純ではない。例えば、2枚の画像の画素値の比を考えた場合、画素値(M)によって画素値の比が異なってしまう。例えば、白色パッチ(輝度スケール領域の白色部分又は白色領域P4)から輝度補正用のパラメータを推定した場合、そのパラメータを白色パッチ以外の領域(輝度スケール領域の白色以外の部分)に補正パラメータとして使うと補正を正しく行なうことができない。そのため、画素値から放射輝度を算出するには画素値にレスポンス関数の逆関数を掛けて、画素値を線形に変換する必要がある。
[Pre-processing for light source color correction]
Next, preprocessing for light source color correction (narrow sense light source color correction) is performed. This preprocessing is also included in light source color correction in a narrow sense. This preprocessing is performed by the color correction unit 71.
First, an inverse response function is estimated, and a process of multiplying the pixel value (M) detected in the luminance scale region P5 by the inverse response function is performed (S040). In a general digital camera, a response function is applied to make the radiance (I) of a scene (a subject to be photographed and its background) correspond to the pixel value (M) of the digital camera. This is to make the image look natural when viewed on a gamma corrected display. Gamma correction refers to correction by multiplying the reference light (RGB) by an inverse function of the monitor characteristics so that the white area is white on the display without chromatic colors or gray. However, regarding the correction of the response function, since the luminance value of the image is not linear, it is not simple when correcting the luminance. For example, when considering the ratio of pixel values of two images, the ratio of pixel values differs depending on the pixel value (M). For example, when a parameter for luminance correction is estimated from a white patch (a white portion of the luminance scale region or the white region P4), the parameter is used as a correction parameter for a region other than the white patch (a portion other than white in the luminance scale region). And correction cannot be performed correctly. Therefore, in order to calculate radiance from the pixel value, it is necessary to multiply the pixel value by the inverse function of the response function to convert the pixel value linearly.
図7にカメラのレスポンス関数推定のフロー例を示す。まず、輝度スケール領域抽出部522にて輝度スケール領域P5としてグレートーンパッチを検出する(S030)。この際、白色領域抽出部521で白色領域P4を、基準色パターン抽出部52で基準色パターンP2のRGB領域を併せて検出しても良い。白色領域P4と基準色パターンP2のRGB領域を併用することにより、カラーバランスの調整精度を向上できる。次に、逆レスポンス関数の推定処理(S040)として、色補正部71にて次の工程を行う。まず、グレートーンパッチの各パッチ(諧調が等しい部分を1つのパッチとする)の画素値(Mn)の抽出を行なう(S041)。次に、各パッチの画素値の平均値(Mn)を取得する。ここで、nはパッチ番号を表す(n=0〜10)。次に、多項式で画素値(Mn)を近似する(S042)。各パッチの既知の諧調値を放射輝度(In)とする。各点Pn(In,Mn)(n=1〜10)を通る関数f(M)を多項式(式3)で近似する。多項式近似は最小二乗法にて行なう。なお、白色パッチの場合には、n=Nで、輝度値=1である。
図8にレスポンス関数の例を示す。
図9に逆レスポンス関数の例を示す。逆レスポンス関数はレスポンス関数の逆関数である。
FIG. 8 shows an example of a response function.
FIG. 9 shows an example of the inverse response function. The inverse response function is the inverse function of the response function.
次に、図6に戻り、色補正部71にて光源色を算出する(S050)。カラーコードターゲット検出工程(S010)で検出した輝度スケール領域P5がグレートーンパッチである時、又は白色領域P4が白色パッチである時は、領域内の画素値(I)(グレートーンパッチの場合は諧調毎に)の平均を光源色(Ep)(光源のパワーを分光分布で示したもの)とする(式4)(川上玲,R.T.Tan,池内克史:“光源環境の変化を利用した物体色の推定”,画像の認識・理解シンポジウム(MIRU2004)参照)。それ以外のパッチ(カラートーンパッチ)を検出した場合、それぞれの諧調毎にパッチの既知である表面色(S)(表面反射率を分光分布で示したもの)で領域内の画素値(I)を割ることで光源色(Ep)(分光分布)を算出する。そして、算出された光源色(Ep)のRGB成分の二乗和が1となるように正規化する。
S:表面色(表面反射率を分光分布で示したもの、白の場合は1)
Ep:推定された光源色(分光分布)
Next, returning to FIG. 6, the color correction unit 71 calculates the light source color (S050). When the luminance scale region P5 detected in the color code target detection step (S010) is a gray tone patch, or when the white region P4 is a white patch, the pixel value (I) in the region (in the case of a gray tone patch) Average (for each gradation) is the light source color (Ep) (the power of the light source is indicated by the spectral distribution) (Equation 4) (Satoshi Kawakami, R.T.Tan, Katsushi Ikeuchi: “Use changes in light source environment Estimated object color ", Image recognition and understanding symposium (MIRU 2004)). When other patches (color tone patches) are detected, the pixel value (I) in the area with the surface color (S) (the surface reflectance is indicated by the spectral distribution) that is known for each tone. To calculate the light source color (Ep) (spectral distribution). Then, normalization is performed so that the square sum of the RGB components of the calculated light source color (Ep) becomes 1.
S: Surface color (surface reflectivity in spectral distribution, 1 for white)
Ep: Estimated light source color (spectral distribution)
[光源色補正]
次に、色補正部71にて光源色補正(狭義の光源色補正)を行なう(S060)。
図10は光源色補正(狭義の光源色補正)のアルゴリズムを説明するための図である。光源を不知の光源に代えて標準の光源を用いるのと等価な補正を行う。撮影した画像に含まれる物が拡散反射物体であり、相互反射や鏡面反射を含まない場合、画像の画素値(I)と表面色(S)と光源色(Ep)の関係は(式4)で表される。ここで、表面色(S)とは物体固有の色であり、光源色(Ep)の変動に対して不変な色である。つまり、光源色補正を行い、光源色(Ep)によらない物体固有の色(S)に基づく画素値を求める。
[Light source color correction]
Next, the color correction unit 71 performs light source color correction (narrowly defined light source color correction) (S060).
FIG. 10 is a diagram for explaining an algorithm for light source color correction (light source color correction in a narrow sense). Correction equivalent to using a standard light source instead of an unknown light source is performed. When the object included in the captured image is a diffuse reflection object and does not include mutual reflection or specular reflection, the relationship between the pixel value (I), the surface color (S), and the light source color (Ep) of the image is expressed by (Equation 4). It is represented by Here, the surface color (S) is a color unique to the object, and is a color that is invariant to variations in the light source color (Ep). That is, light source color correction is performed, and a pixel value based on a color (S) unique to the object that does not depend on the light source color (Ep) is obtained.
光源色補正(狭義の光源色補正)は、撮影した画像の全画素値を算出された光源色(Ep)で割ることで行なわれる。ここで、(I〜)は補正後の画素値、(I)は補正前の画素値、(Ep)は推定された光源色である。
I :補正前の画素値
Ep:(式4)で推定された光源色
Light source color correction (narrow sense light source color correction) is performed by dividing all pixel values of a captured image by the calculated light source color (Ep). Here, (I˜) is the pixel value after correction, (I) is the pixel value before correction, and (Ep) is the estimated light source color.
I: Pixel value before correction
Ep: Light source color estimated by (Expression 4)
次に、輝度の補正を行なう(S070)。複数のカメラで同時に画像を撮影した場合について考える。それぞれのカメラで撮影した画像について、光源色の補正(S060)を行なう。この時の各画像は光源色が補正されているが、画像間では画像の明るさを表す輝度が異なる。そこで、各画像について、撮影したグレートーンパッチP5の画素値を基準として輝度を補正する。複数の画像のパッチの画素値の比(R)を計算する。そして、この画素値の比を片方の画像に掛けることにより複数の画像間における輝度の補正を行なう。
Ep:各カメラにおける光源色
I:各カメラにおける画素値
これにより、画像間の輝度を合わせることができる。なお、ここでは、光源色補正(広義の光源色補正)アルゴリズムについてグレートーンパッチに適用する例を説明したが、カラートーンパッチについても同様に適用できる。
Next, luminance correction is performed (S070). Consider the case where images are taken simultaneously by multiple cameras. The light source color is corrected (S060) for the images photographed by the respective cameras. Each image at this time has the light source color corrected, but the luminance representing the brightness of the image differs between the images. Therefore, the luminance of each image is corrected based on the pixel value of the captured gray tone patch P5. A ratio (R) of pixel values of a plurality of image patches is calculated. Then, the luminance between the plurality of images is corrected by multiplying one image by the ratio of the pixel values.
Ep: Light source color in each camera
I: Pixel value in each camera
Thereby, the brightness | luminance between images can be match | combined. Although an example in which the light source color correction (light source color correction in a broad sense) algorithm is applied to a gray tone patch has been described here, the present invention can be applied to a color tone patch in the same manner.
[カメラパラメータの調整]
次にパラメータの調整について説明する(特開2007−147457号公報参照)。
[Adjust camera parameters]
Next, parameter adjustment will be described (see Japanese Patent Application Laid-Open No. 2007-147457).
[相互標定]
本実施の形態において、焦点距離の推定は相互標定時に行われる。ステレオペア選択された撮影画像について、特徴点や基準点と対応点の座標を用いて、標定部63により標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き等の外部標定要素、対応点の位置、計測精度(例えば、基準点がある場合には、バンドル調整で算出された三次元座標と基準点との残差の標準偏差、無い場合には、相互標定時の縦視差が用いられる)を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。相互標定は標定部63で行なわれる。
[Mutual orientation]
In the present embodiment, the focal length is estimated at the time of relative orientation. The orientation calculation process is performed by the orientation unit 63 using the coordinates of the feature point, the reference point, and the corresponding point for the captured image selected as the stereo pair. By the orientation calculation process, the position of the photographed camera, external orientation elements such as tilt, position of corresponding points, measurement accuracy (for example, if there is a reference point, the 3D coordinates calculated by bundle adjustment and the reference point The standard deviation of the residual, or the vertical parallax at the time of mutual orientation is used when there is no residual). The orientation calculation processing is performed by mutual orientation for associating a pair of captured images or a pair of model images, and for orientation between a plurality of images or all images by bundle adjustment. The relative orientation is performed by the orientation unit 63.
図11は、ステレオ画像におけるモデル画像座標系XYZとカメラ座標系xyzの関係の説明図である。モデル画像座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をX軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのZ軸の回転角κ1、Y軸の回転角φ1、右側のカメラのZ軸の回転角κ2、Y軸の回転角φ2、X軸の回転角ω2の5つの回転角となる。この場合左側のカメラのX軸の回転角ω1は0なので、考慮する必要はない。 FIG. 11 is an explanatory diagram of the relationship between the model image coordinate system XYZ and the camera coordinate system xyz in a stereo image. The origin of the model image coordinate system is taken as the left projection center, and the line connecting the right projection centers is taken as the X axis. For the scale, the base line length is taken as the unit length. The parameters to be obtained at this time are 5 of the left camera Z-axis rotation angle κ1, the Y-axis rotation angle φ1, the right-hand camera Z-axis rotation angle κ2, the Y-axis rotation angle φ2, and the X-axis rotation angle ω2. One rotation angle. In this case, the rotation angle ω 1 of the X axis of the left camera is 0, so there is no need to consider it.
このような条件にすると、(式7)の共線条件式は(式8)のようになり、この式を解けば各パラメータが求まる。
ここで、モデル座標系XYZとカメラ座標系xyzの間には、次に示すような座標変換の関係式(式9)、(式10)が成り立つ。
この式の中の、−cが画面距離で、焦点距離fと同等なものなので、この値を変動させ、最適値を選ぶことになる。なお、左右のカメラの焦点距離が異なる時は、(式9)と(式10)のcの値が異なる。 In this equation, -c is the screen distance, which is equivalent to the focal length f, so that this value is varied and the optimum value is selected. When the focal lengths of the left and right cameras are different, the value of c in (Expression 9) and (Expression 10) is different.
これらの式を用いて、次の手順により、未知パラメータを求める。
(i)パラメータ(κ1、φ1、κ2、2、ω2)の初期近似値は通常0とする。
(ii)共面条件式(式8)を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式(式9)、(式10)により求め、観測方程式をたてる。
(iii)最小自乗法を適用して、近似値に対する補正量を求める。
(iv)近似値を補正する。
(v)補正された近似値を用いて(ii)〜(iv)までの操作を収束するまで繰り返す。
Using these equations, unknown parameters are obtained by the following procedure.
(I) The initial approximate values of the parameters (κ1, φ1, κ2, 2, ω2) are normally 0.
(Ii) The coplanar conditional expression (Expression 8) is Taylor-expanded around the approximate value, and the value of the differential coefficient when linearized is obtained by Expressions (Expression 9) and (Expression 10), and an observation equation is established.
(Iii) Applying the method of least squares, a correction amount for the approximate value is obtained.
(Iv) The approximate value is corrected.
(V) The operations from (ii) to (iv) are repeated using the corrected approximate value until convergence.
仮に、標定点の配置が悪い等の場合、収束しない場合がありうる。正常に行われなかった場合は、標定結果表示でエラーを出力し、どこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して上記計算を繰り返す。だめなら標定点の配置変更を行なう。 If the location of the orientation points is poor, it may not converge. If not successful, an error is output in the orientation result display to indicate which image is bad. In this case, if there is another orientation point on the image, it is changed and the above calculation is repeated. If not, change the location of the orientation point.
このように、ステレオペア選択された各画像について、抽出された標定点で標定し、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関しては後述するバンドル調整にて行う。 In this way, each image selected as a stereo pair can be determined using the extracted orientation points, and the position and tilt of the photographed camera, the position of corresponding points, and the measurement accuracy can be obtained. The orientation calculation processing is performed by mutual orientation for associating a pair of captured images or a pair of model images, and for orientation between a plurality of images or all images by bundle adjustment described later.
〔モデル形成〕
モデル形成部73は、標定部63によって標定計算処理された外部パラメータ(撮影したカメラの位置、傾き)を用いて、モデル及びモデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーラライン上に再配置したものをいう。
[Model formation]
The model forming unit 73 forms a model and a model image using the external parameters (position and tilt of the photographed camera) subjected to the orientation calculation processing by the orientation unit 63. Here, the model image is also referred to as a displacement corrected image, and refers to an image obtained by rearranging corresponding points of the left and right images that are a pair of captured images on the same epipolar line.
図12にモデル画像の例を示す。標定処理の結果を用いてモデル画像を形成すると、このように、左右画像のリファレンスポイントRFは同一エピポーラライン(水平線)EP上に再配列される。TGはターゲット(本実施例ではカラーコードターゲットCT1)である。焦点距離の推定を行なう場合には、焦点距離fを変数として離散値を用いるために、左右画像に僅かな縦視差が生じ得るが、本実施の形態ではこれらの画像もモデル画像として扱う。モデル記憶部84は、モデル形成部73で形成された測定対象物2のモデルデータ及びモデル画像を記憶する。表示部41は、ターゲット抽出部5で行う特徴点抽出、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル形成部73により形成されたモデル画像を一対の画像として表示する。 FIG. 12 shows an example of a model image. When the model image is formed using the result of the orientation process, the reference points RF of the left and right images are rearranged on the same epipolar line (horizontal line) EP in this way. TG is a target (in this embodiment, a color code target CT1). When estimating the focal length, since a discrete value is used with the focal length f as a variable, a slight vertical parallax may occur between the left and right images. In the present embodiment, these images are also handled as model images. The model storage unit 84 stores model data and model images of the measurement object 2 formed by the model forming unit 73. The display unit 41 displays the captured image or the model image formed by the model forming unit 73 as a pair of images in the processing such as feature point extraction, corresponding point search, and stereo matching performed by the target extraction unit 5.
〔焦点距離推定〕
図13に焦点距離推定の処理フロー例を示す。ここでは、ズーム式カメラにおいて予め、複数焦点の焦点位置にてキャリブレーションを行い、これらのデータより焦点距離fに対するカメラ内部パラメータ(主点位置及びレンズディストーション)の近似曲線を求め、撮影パラメータ記憶部85に記憶しておく(ステップS110:内部パラメータ記憶工程)。画像計測用に任意のズーム位置(焦点位置)にてステレオ撮影した(ステップS120、図13では第1の撮影工程と表示)場合、相互標定にて最確(縦視差が最も小さい)な焦点距離fを推定する(ステップS135:標定・焦点距離推定工程)。焦点距離fの推定は標定部63の焦点距離推定部631にて行なう。推定された焦点距離fに基づいてカメラ内部パラメータ(ディストーション及び主点位置)を近似曲線より取り出し、外部パラメータ(カメラの位置、傾き)も相互標定にて演算される(ステップS140:撮影パラメータ演算工程)。このようにして求めたカメラ内部パラメータ及び外部パラメータを用いて、撮影対象物2のモデルを形成し(ステップS155:モデル形成工程)、モデル三次元座標演算を行う(ステップS160:三次元座標演算工程)。かかる手法を焦点距離推定法と称する。
[Estimation of focal length]
FIG. 13 shows an example of a processing flow for focal length estimation. Here, in the zoom camera, calibration is performed in advance at the focal positions of a plurality of focal points, an approximate curve of camera internal parameters (principal point position and lens distortion) with respect to the focal length f is obtained from these data, and an imaging parameter storage unit 85 (step S110: internal parameter storage step). When stereo shooting is performed at an arbitrary zoom position (focal position) for image measurement (step S120, displayed as the first shooting step in FIG. 13), the focal length that is most accurate (smallest vertical parallax) in relative orientation. f is estimated (step S135: orientation / focal length estimation step). The focal length f is estimated by the focal length estimation unit 631 of the orientation unit 63. Based on the estimated focal length f, camera internal parameters (distortion and principal point position) are extracted from the approximate curve, and external parameters (camera position and tilt) are also calculated by relative orientation (step S140: imaging parameter calculation step). ). Using the camera internal parameters and the external parameters thus determined, a model of the object 2 is formed (step S155: model formation step), and model three-dimensional coordinate calculation is performed (step S160: three-dimensional coordinate calculation step). ). Such a method is called a focal length estimation method.
モデル画像を形成するためには、少なくとも1回の相互標定を行う。この相互標定の際に、焦点距離推定部631において、ターゲット抽出部5で求められた特徴点、基準点及び対応点を用い、焦点距離fを変数として、一対のモデル画像間の残存縦視差を最小にするように、撮影レンズの焦点距離を推定する(ステップS135)。すなわち、焦点距離推定部631では、相互標定を行い最初のモデル画像を形成する過程で焦点距離fを推定する。このとき、焦点距離推定部631は変数としての焦点距離fを標定部63に供給し、標定部63で相互標定の計算を行って外部標定要素を算出し、モデル形成部73ではその外部標定要素を用いてモデル画像を形成し、焦点距離推定部631では、これらの焦点距離fを変化させたときのモデル画像を比較して残存縦視差が最小となる焦点距離f、すなわち、左右エピポーララインの垂直方向の差異を最小になるような焦点距離fを最確値とする。なお、相互標定を繰り返し行うことにより標定精度を向上できるので、2回目以後の相互標定で形成されたモデル画像を比較して焦点距離fを推定しても良い。 In order to form a model image, relative orientation is performed at least once. At the time of this relative orientation, the focal length estimation unit 631 uses the feature points, reference points, and corresponding points obtained by the target extraction unit 5 and sets the residual vertical parallax between the pair of model images using the focal length f as a variable. The focal length of the taking lens is estimated so as to be minimized (step S135). That is, the focal length estimation unit 631 estimates the focal length f in the process of performing relative orientation and forming the first model image. At this time, the focal length estimation unit 631 supplies the focal length f as a variable to the orientation unit 63, the orientation unit 63 calculates the relative orientation to calculate an external orientation element, and the model formation unit 73 calculates the external orientation element. The focal length estimation unit 631 compares the model images when these focal lengths f are changed, and the focal length f that minimizes the residual vertical parallax, that is, the left and right epipolar lines. The focal length f that minimizes the vertical difference is the most probable value. Since the relative accuracy can be improved by repeatedly performing relative orientation, the focal distance f may be estimated by comparing model images formed by the second and subsequent relative orientations.
焦点距離fを変数として比較する際に、例えば、ズーム式カメラ2の焦点距離が7.2mmから50.8mmで調整可能な場合を取り上げる。焦点距離データの測定個数を6個とすると、7.2mmが最広角となり、52.2mmが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、変数として、8.7mm、11.6mm、24.8mm、39.0mmが選択される。また、この焦点距離の最確値を近似的に求める手法として1段階目として変数を2mm間隔とし、2段階目として1段階目で求めた最確値の近傍で変数を0.5mm間隔とするなどにより、段階式に最確値を求め、高速化をはかることも可能である。そして、後述するように、推定した焦点距離fより、主点位置とレンズディストーションのパラメータを近似曲線より算出・取り出し、これをカメラ内部パラメータとする。また、毎回推定された焦点距離fと対応する内部パラメータを用いて相互標定を行うことにより、焦点距離fを高精度に求めることができる。 When comparing the focal length f as a variable, for example, a case where the focal length of the zoom camera 2 can be adjusted from 7.2 mm to 50.8 mm will be taken up. Assuming that the number of focal length data is six, 7.2 mm is the widest angle, 52.2 mm is the maximum telephoto, and the intermediate measurement points are measured at equal intervals in the optical sense. 8.7 mm, 11.6 mm, 24.8 mm, and 39.0 mm are selected. In addition, as a method for approximately obtaining the most probable value of the focal length, the variable is set at 2 mm intervals as the first step, and the variable is set at 0.5 mm intervals in the vicinity of the most probable value obtained at the first step as the second step. It is also possible to obtain the most probable value in a stepwise formula and increase the speed. Then, as will be described later, from the estimated focal length f, the principal point position and lens distortion parameters are calculated and extracted from the approximate curve, and these are used as camera internal parameters. Further, by performing relative orientation using the internal parameters corresponding to the estimated focal length f every time, the focal length f can be obtained with high accuracy.
〔バンドル調整〕
標定計算処理は、複数または全画像間の標定に関してはバンドル調整にて行う。バンドル調整は標定部63にて行なう。カメラ内部パラメータを演算処理するに際し、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いることができる。ここで、「バンドル調整」とは、被写体、レンズ、カメラの撮像面を結ぶ光束(バンドル)は同一直線上になければならないという共線条件に基づき、各画像の光束1本毎に観測方程式をたて、最小自乗法により外部標定要素(撮影したカメラの位置と傾き)とリファレンスポイントRFの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラ内部標定要素(主点位置及びレンズディストーション)を求めることができる方法である。セルフキャリブレーション付きバンドル調整法(以下単に「バンドル調整法」という)の共線条件基本式は、次の(式11)と(式12)である。
[Bundle adjustment]
The orientation calculation process is performed by bundle adjustment for orientation between a plurality of images or all images. The bundle adjustment is performed by the orientation unit 63. When computing camera internal parameters, for example, the “bundle adjustment method with self-calibration” used in the photogrammetry field can be used. Here, “bundle adjustment” is based on the collinear condition that the luminous flux (bundle) connecting the subject, the lens, and the imaging surface of the camera must be on the same straight line, and the observation equation for each luminous flux of each image. In this method, the external orientation element (position and tilt of the photographed camera) and the coordinate position of the reference point RF are simultaneously adjusted by the method of least squares. “With self-calibration” is a method by which a calibration element, that is, a camera internal orientation element (principal point position and lens distortion) can be obtained. The collinear condition basic expressions of the bundle adjustment method with self-calibration (hereinafter simply referred to as “bundle adjustment method”) are the following (Expression 11) and (Expression 12).
この(式11)と(式12)は、共線条件式(式7)を基本式とするものである。即ちバンドル調整法は、(式11)と(式12))を用いて、複数画像から最小自乗近似して、最適解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
These (Expression 11) and (Expression 12) are based on the collinear conditional expression (Expression 7). In other words, the bundle adjustment method is a method of calculating an optimum solution by approximating the least squares from a plurality of images using (Equation 11) and (Equation 12)), and simultaneously obtaining the external orientation elements of the cameras at the respective photographing positions. It becomes possible. That is, it is possible to obtain a camera calibration element.
ここで、内部標定要素の補正モデルとして、放射方向レンズ歪を有する場合の一例を次の(式13)に示す。
Here, as a correction model of the internal orientation element, an example in the case of having radial lens distortion is shown in the following (Formula 13).
〔内部パラメータ〕
ここで、カメラ内部標定要素(カメラ内部パラメータ)について説明する。
図14は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、図14(A)は(式13)の係数k1、図14(B)は(式13)の係数k2、図14(C)は画像座標系xでのカメラ主点と画像中心のx軸位置ずれ係数x0、図14(D)は画像座標系yでのカメラ主点と画像中心のy軸位置ずれ係数y0を表している。ここでは、前述の説例のように、ズーム式カメラの焦点距離が7.2mmから50.8mmで調整可能な場合を取り上げる。焦点距離データの測定個数を6個とすると、7.2mmが最広角となり、52.2mmが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、8.7mm、11.6mm、24.8mm、39.0mmが選択される。
[Internal parameters]
Here, camera internal orientation elements (camera internal parameters) will be described.
FIG. 14 is a diagram for explaining the relationship between the focal length and the coefficient used for the internal parameter function. FIG. 14A is a coefficient k1 of (Expression 13), FIG. 14B is a coefficient k2 of (Expression 13), FIG. 14C shows the x-axis position deviation coefficient x 0 between the camera principal point and the image center in the image coordinate system x, and FIG. 14D shows the y-axis position deviation between the camera principal point and the image center in the image coordinate system y. it represents the coefficient y 0. Here, a case where the focal length of the zoom camera can be adjusted from 7.2 mm to 50.8 mm as in the above-described example will be taken up. If the number of focal length data is six, 7.2 mm is the widest angle, 52.2 mm is the maximum telephoto, and 8.7 mm is used as an intermediate measurement point at equal intervals in the optical sense. 11.6 mm, 24.8 mm, and 39.0 mm are selected.
(式13)の係数k1、k2は、最広角側で絶対値が最大となり、最望遠側では小さくなっている。画像座標系xでのカメラ主点と画像中心のx軸位置ずれ係数x0は、ズーム式カメラの焦点距離が11.6mmで極小値を、52.2mmで最小値4.41をとり、24.8mmで最大値4.55をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系yでのカメラ主点と画像中心のy軸位置ずれ係数y0は、ズーム式カメラの焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、ズーム式カメラ2の焦点距離fと、投影中心点O1、O2から画像座標系までの画面距離cとは、等しくなっている。 The coefficients k 1 and k 2 in (Equation 13) have the maximum absolute value on the widest angle side and are small on the maximum telephoto side. X-axis position deviation coefficients x 0 of the camera principal point and the image center of the image coordinate system x is the minimum value focal length of the zoom camera is at 11.6 mm, taking the minimum value 4.41 in 52.2Mm, 24 Since this is a complicated change with a maximum value of 4.55 at 8 mm, it is approximated by a quintic curve of the focal length. Image coordinate system y-axis position displacement factor of the camera principal point and the image center in y y 0 is monotonically varies depending on the focal length of the zoom camera. Since the chart photographed image is photographed in focus, the focal length f of the zoom camera 2 and the screen distance c from the projection center points O 1 and O 2 to the image coordinate system are equal. Yes.
図14の近似曲線に焦点距離fを入力すると、内部パラメータ関数に用いられる係数k1、k2、x0、y0が得られる(ステップS135)。ここで、カメラ主点のずれである座標(x0、y0)が光軸中心(主点位置)を表す。そして、内部パラメータ関数としての(式11)、(式12)、(式13)にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最小自乗法を適用することで、最も確からしい内部パラメータが算出できる。これらの内部パラメータと焦点距離fの関係は撮影パラメータ記憶部85に入力されており、撮影パラメータ記憶部85から取得可能である。また、ズームレンズの場合には、内部パラメータは撮影画角に対応した撮影条件による影響を加味して読み出される。
また、内部パラメータの主点位置とレンズディストーションは、パスポイント(対応点)の正確な三次元座標を算出するために使用される。
When the focal length f is input to the approximate curve of FIG. 14, coefficients k 1 , k 2 , x 0 , y 0 used for the internal parameter function are obtained (step S135). Here, coordinates (x 0 , y 0 ), which is a shift of the camera principal point, represent the optical axis center (principal point position). Then, by substituting these coefficients into (Expression 11), (Expression 12), and (Expression 13) as internal parameter functions, an observation equation is established for each observation point. The most probable internal parameters can be calculated by simultaneously solving the observation equations and applying the least square method. The relationship between these internal parameters and the focal length f is input to the shooting parameter storage unit 85 and can be acquired from the shooting parameter storage unit 85. In the case of a zoom lens, the internal parameters are read by taking into account the influence of the shooting conditions corresponding to the shooting angle of view.
Further, the principal point position and lens distortion of the internal parameters are used to calculate an accurate three-dimensional coordinate of the pass point (corresponding point).
〔撮影画像の補正〕
画像データ補正部76は、これらの内部パラメータ係数k1、k2、x0、y0を用いて撮影画像又はモデル画像を補正する。モデル形成部73は、標定部63によって標定計算処理された外部パラメータ(撮影したカメラの位置、傾き)から、測定対象物2のモデル及びモデル画像を形成する(ステップS155)。この際に、画像データ補正部76で補正された撮影画像データやモデル画像データがあれば、これを用いて新たなモデル画像を形成する。これにより、レンズ歪みの影響が除去されたモデル画像を形成できる。表示部41は補正されたモデル画像を表示する。
[Correction of shot image]
The image data correction unit 76 corrects the captured image or model image using these internal parameter coefficients k 1 , k 2 , x 0 , y 0 . The model forming unit 73 forms a model and model image of the measuring object 2 from the external parameters (position and tilt of the photographed camera) subjected to the orientation calculation processing by the orientation unit 63 (step S155). At this time, if there is captured image data or model image data corrected by the image data correction unit 76, a new model image is formed using the captured image data or model image data. Thereby, the model image from which the influence of lens distortion was removed can be formed. The display unit 41 displays the corrected model image.
モデル形成部73は、カメラで撮影されたステレオ画像について相互標定で得られた外部標定要素を用いて偏位修正画像(モデル画像)を生成する機能を有し、一組のステレオ撮影された画像を偏位修正して、立体視できるように調整する。さらに、偏位修正されたステレオ画像から、いわゆる絶対標定を行って、各画素(ピクセル)の地上座標を計算する。 The model forming unit 73 has a function of generating a displacement correction image (model image) using an external orientation element obtained by relative orientation for a stereo image taken by a camera, and a set of stereo taken images Is adjusted so that it can be viewed stereoscopically. Further, so-called absolute orientation is performed from the stereo image corrected in displacement, and the ground coordinates of each pixel (pixel) are calculated.
画像データ補正部76は、さらに絶対標定又は相互標定で得られたステレオ画像データをオルソ画像に変換する機能を有する。オルソ画像とは、写真測量技術に基づき、カメラの傾きや比高等による歪みを補正して正射投影とした画像である。撮影画像記憶部81に格納されたステレオ画像データは、中心投影画像とよばれるものである。画像データ補正部76は、ステレオ画像データの画像を中心投影から正射投影(オルソ)画像に作成し直して、測定対象物2の詳細なモデル画像を作成する。
補正された画像データを用いて精密標定、三次元座標演算を行なうことができる。
The image data correction unit 76 further has a function of converting stereo image data obtained by absolute orientation or relative orientation into an ortho image. An ortho image is an orthographic projection image obtained by correcting distortion due to camera tilt, specific height, etc. based on photogrammetry technology. The stereo image data stored in the photographed image storage unit 81 is called a center projection image. The image data correction unit 76 recreates the stereo image data image from the central projection to the orthographic projection (ortho) image, and creates a detailed model image of the measurement object 2.
Fine orientation and three-dimensional coordinate calculation can be performed using the corrected image data.
本実施例における焦点距離推定法(5)の他に、次のようなキャリブレーション方法(1)〜(4)も可能である。 In addition to the focal length estimation method (5) in the present embodiment, the following calibration methods (1) to (4) are also possible.
(1)目盛り合わせ法:焦点距離は一度目盛り中心に合わせてキャリブレーションを行い、再度その焦点距離に目検討で合わせ、前記キャリブレーションデータを使用して精度評価を実施する。
(2)デジタルカメラデータ解析ツール利用法:デジタルカメラの画像ファイルの規格として使用されるExif(イグジフ、Exchangeable Image File Formatの略語)形式の画像ファイルからデジタルカメラのデータ解析ツールにて得られた焦点距離を使用し、ディストーションと主点位置のパラメータは(3)に記すオンサイト法によりデータ取得し、キャリブレーションデータを作成する。
(3)オンサイト法:予め目盛に合わせて例えば6箇所の焦点距離にてキャリブレーションを実施し、これらのデータより焦点距離に対しディストーション及び主点位置に関する関数を作成しておく。任意のズーム位置でステレオ撮影すると仮定し、焦点距離はセルフキャリブレーション付きバンドル調整により取得する。例えば、パスポイント(対応点)10点とし、取得された焦点距離に対応するキャリブレーションデータを近似曲線より算出する。
(4)固定焦点法:焦点距離を固定してキャリブレーションを実施し、その固定した焦点位置のみにて撮影・解析を行う。
(5)焦点距離推定法:本実施例に該当する方法である。相互標定にて縦視差が最も小さくなるような焦点距離を最確値として算出し、ディストーションと主点位置のパラメータは(4)に記すオンサイト法の近似曲線より算出する。
(1) Scale adjustment method: The focal length is once calibrated to the center of the scale, and then again adjusted to the focal length by a visual examination, and accuracy evaluation is performed using the calibration data.
(2) Digital camera data analysis tool usage: Focus obtained with the digital camera data analysis tool from an Exif (Exchangable Image File Format) format file used as a standard for digital camera image files Using the distance, the distortion and principal point position parameters are acquired by the on-site method described in (3) to create calibration data.
(3) On-site method: Calibration is performed in advance at, for example, six focal lengths according to the scale, and a function relating to distortion and principal point position is created with respect to the focal length from these data. It is assumed that stereo shooting is performed at an arbitrary zoom position, and the focal length is acquired by bundle adjustment with self-calibration. For example, with 10 pass points (corresponding points), calibration data corresponding to the acquired focal length is calculated from the approximate curve.
(4) Fixed focus method: Calibration is performed with a fixed focal length, and photographing and analysis are performed only at the fixed focal position.
(5) Focal length estimation method: This method corresponds to this embodiment. The focal length that minimizes the vertical parallax in relative orientation is calculated as the most probable value, and the distortion and principal point position parameters are calculated from the on-site approximate curve described in (4).
[三次元座標演算]
図15に実施例1における三次元座標演算の処理フロー例を示す。
まず、1組のカラーコードターゲットCT1を配置する(標識配置工程:S100)。標識配置工程(S100)では、カラーコードターゲットCT1をキャリブレーションボックスCBの表面上に配置しても良く、測定対象物2が置かれる場所の周囲に配置しても良く、測定対象物2の表面上に配置しても良い。本実施例ではキャリブレーションボックスCBの表面上に配置することとする。また、カラーコードターゲットCT1は撮影パラメータを求めるのに適した位置関係に配置することが好適である。例えば測定対象物2とほぼ同じ大きさのキャリブレーションボックスCB表面に、測定対象物2の色の変化に対応するように配置することが好ましい。すなわち、色の変化が緩やかな位置ではカラーコードターゲットCTの間隔を疎にし、色の変化が急激な位置ではカラーコードターゲットCTの間隔を密にすることが好ましい。また、カメラのレンズ歪が小さい位置ではカラーコードターゲットCTの間隔を疎にし、カメラのレンズ歪が大きい位置ではカラーコードターゲットCTの間隔を密にすることが好ましい。次に焦点距離推定のため、カメラ内部パラメータ(主点位置及びレンズディストーション)の近似曲線を求め、撮影パラメータ記憶部85に記憶する(ステップS110)。
[3D coordinate calculation]
FIG. 15 shows a processing flow example of the three-dimensional coordinate calculation in the first embodiment.
First, a set of color code targets CT1 is placed (label placement step: S100). In the marker placement step (S100), the color code target CT1 may be placed on the surface of the calibration box CB, may be placed around the place where the measurement object 2 is placed, or the surface of the measurement object 2 It may be placed on top. In this embodiment, it is arranged on the surface of the calibration box CB. In addition, the color code target CT1 is preferably arranged in a positional relationship suitable for obtaining imaging parameters. For example, it is preferable to arrange on the surface of the calibration box CB approximately the same size as the measurement object 2 so as to correspond to the color change of the measurement object 2. That is, it is preferable that the interval between the color code targets CT is sparse at a position where the color change is gradual and the interval between the color code targets CT is close at a position where the color change is abrupt. Further, it is preferable that the distance between the color code targets CT is sparse at a position where the camera lens distortion is small, and the distance between the color code targets CT is close at a position where the camera lens distortion is large. Next, in order to estimate the focal length, an approximate curve of camera internal parameters (main point position and lens distortion) is obtained and stored in the imaging parameter storage unit 85 (step S110).
次に、撮影部3のカメラで複数のカラーコード付き標識CTを異なる複数方向から撮影する(第1の撮影工程:S120)。本実施例では表面に複数のカラーコードターゲットCT1が配置されたキャリブレーションボックスCBを撮影する。なお、測定対象物2とその周囲に配置したカラーコードターゲットCTを同時に撮影することも可能であり、測定対象物2の表面上にカラーコードターゲットCTを配置して測定対象物2とカラーコードターゲットCTを同時に撮影することも可能である。次に、位置検出部51にて、第1の撮影工程(S120)で撮影された撮影画像から、位置検出用パターンP1の位置を求める(位置検出工程:S121)。次に、求められた位置検出用パターンP1の位置に基づいて、基準色パターン抽出部52にて、撮影画像から基準色パターンP2を抽出し(基準色パターン抽出工程:S122)。さらに、カラーコードパターン抽出部53にて、撮影画像からカラーコードパターンP3を抽出する(カラーコードパターン抽出工程:S123)。基準色パターン抽出工程(S122)では、白色領域抽出部521及び輝度スケール領域抽出部522にて、それぞれ白色領域P4及び輝度スケール領域P5を抽出する。輝度スケール領域P5に白色パッチがある場合には、白色領域P4の抽出を省略できる。 Next, a plurality of color-coded labels CT are photographed from different directions with the camera of the photographing unit 3 (first photographing step: S120). In this embodiment, a calibration box CB having a plurality of color code targets CT1 arranged on the surface is photographed. The measurement object 2 and the color code target CT arranged around the measurement object 2 can be photographed simultaneously. The measurement object 2 and the color code target are arranged by arranging the color code target CT on the surface of the measurement object 2. It is also possible to take CT images at the same time. Next, the position detection unit 51 obtains the position of the position detection pattern P1 from the captured image captured in the first imaging process (S120) (position detection process: S121). Next, based on the position of the obtained position detection pattern P1, the reference color pattern extraction unit 52 extracts the reference color pattern P2 from the photographed image (reference color pattern extraction step: S122). Further, the color code pattern extraction unit 53 extracts the color code pattern P3 from the photographed image (color code pattern extraction step: S123). In the reference color pattern extraction step (S122), the white region P4 and the luminance scale region P5 are extracted by the white region extraction unit 521 and the luminance scale region extraction unit 522, respectively. When there is a white patch in the luminance scale region P5, the extraction of the white region P4 can be omitted.
次に、抽出された基準色パターンP2のうち、少なくとも光源色補正に用いる色彩を用いて、色補正部71にて撮影画像の光源色補正を行う(色補正工程:S125)。基準色部P2における白色領域P4及び輝度スケール領域P5には光源色補正に用いる色彩があるので、これを用いて光源色補正を行う。輝度スケール領域P5に白色パッチがある場合には、白色領域P4の使用を省略できる。なお、基準色部P2における光三原色(RGB)パターンを光源色補正に使用しても良い。白色領域に併せて光三原色(RGB)パターンを用いるとカラーバランスの調整精度を向上できる。また、本実施例では、輝度スケール領域P5として、グレースケールパッチを使用するが、これに代えて又は併用してカラースケールパッチを使用することも可能である。次に、カラーコード判別部75にて、色補正工程(S125)で補正されたカラーコードパターンP3の色彩配列を、色彩配置−コード対応表を参照して、カラーコードターゲットCT1のコード番号を判別する(カラーコード判別工程:S130)。 Next, the color correction unit 71 performs light source color correction of the captured image using at least the color used for light source color correction in the extracted reference color pattern P2 (color correction step: S125). Since there are colors used for light source color correction in the white region P4 and the luminance scale region P5 in the reference color part P2, light source color correction is performed using these colors. When there is a white patch in the luminance scale region P5, the use of the white region P4 can be omitted. The light primary color (RGB) pattern in the reference color portion P2 may be used for light source color correction. When the light primary color (RGB) pattern is used in combination with the white region, the color balance adjustment accuracy can be improved. In this embodiment, a gray scale patch is used as the luminance scale region P5. However, it is also possible to use a color scale patch instead of or in combination with this. Next, the color code determination unit 75 determines the code number of the color code target CT1 by referring to the color arrangement-code correspondence table for the color arrangement of the color code pattern P3 corrected in the color correction step (S125). (Color code discrimination step: S130).
次に、標定部63にて標定を行なう。各カラーコードターゲットCT1のコード番号が判別されたので、標定がやり易くなる。標定の際に焦点距離推定部631にて焦点距離の推定を行なう(標定・焦点距離推定工程:S135)。次に、位置検出工程(S121)で抽出された位置検出用パターンP1の位置に基づいて、また、(標定・焦点距離推定工程:S135)で推定された焦点距離fを用いて、撮影パラメータ演算部61にて撮影パラメータを求める(撮影パラメータ演算工程:S140)。 Next, orientation is performed by the orientation unit 63. Since the code number of each color code target CT1 has been determined, it is easy to perform orientation. At the time of orientation, the focal length estimation unit 631 estimates the focal length (location / focal length estimation step: S135). Next, based on the position of the position detection pattern P1 extracted in the position detection step (S121), and using the focal length f estimated in (location / focal length estimation step: S135), shooting parameter calculation is performed. The imaging parameter is obtained by the unit 61 (imaging parameter calculation step: S140).
次に、キャリブレーションボックスBSを測定対象物2と置き換えて、撮影部3のカメラを用いて再度撮影する(第2の撮影工程:S150)。撮影パラメータ演算工程(S140)で求められた撮影パラメータによりカメラをキャリブレーションして再度撮影するので、精度の高い撮影画像を得られる。測定対象物2とカラーコードターゲットCTを同時に撮影した場合は、第2の撮影工程(S150)を省略できるが、撮影パラメータを用いて撮影画像を補正する。この場合でも精度の高い撮影画像を得るため、再度撮影しても良い。次に、再度撮影された撮影画像を用いて標定部63にて標定を行い、モデル形成部73にてモデル及びモデル画像を形成する(モデル形成工程:S155)。ここで、標定とモデル形成を繰り返してモデルの精度を高めても良い。次に、モデル形成工程(S155)で形成されたモデルを用いて、三次元座標演算部62にて測定対象物2の三次元座標を演算して求める(三次元座標演算工程:S160)。次に、三次元座標演算工程(S160)で求められた三次元座標を用い、色補正工程(S125)で補正された色彩を用いて、テクスチャ形成部74にてモデル各部のテクスチャを形成し、モデルにテクスチャを貼り付ける(テクスチャ形成工程:S165)。テクスチャを貼り付けたモデル画像は表示部41に表示される。これにより測定対象物2のモデルをリアルに表現できる。 Next, the calibration box BS is replaced with the measurement object 2, and the image is taken again using the camera of the photographing unit 3 (second photographing step: S150). Since the camera is calibrated and photographed again with the photographing parameters obtained in the photographing parameter calculation step (S140), a highly accurate photographed image can be obtained. When the measurement object 2 and the color code target CT are photographed at the same time, the second photographing step (S150) can be omitted, but the photographed image is corrected using the photographing parameters. Even in this case, the image may be captured again in order to obtain a highly accurate captured image. Next, orientation is performed by the orientation unit 63 using the captured image taken again, and a model and a model image are formed by the model forming unit 73 (model formation step: S155). Here, the accuracy of the model may be increased by repeating orientation and model formation. Next, using the model formed in the model formation step (S155), the three-dimensional coordinate calculation unit 62 calculates and determines the three-dimensional coordinates of the measurement object 2 (three-dimensional coordinate calculation step: S160). Next, using the three-dimensional coordinates obtained in the three-dimensional coordinate calculation step (S160) and using the color corrected in the color correction step (S125), the texture forming unit 74 forms the texture of each part of the model, A texture is pasted on the model (texture forming step: S165). The model image to which the texture is pasted is displayed on the display unit 41. Thereby, the model of the measuring object 2 can be expressed realistically.
以上説明したように、本実施例によれば、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。 As described above, according to the present embodiment, it is possible to provide a color code target that enables correction to unify the color of an image into a constant color that does not depend on the light source, and to provide a constant that does not depend on the light source of the image. It is possible to provide an image color correction apparatus capable of performing correction to unify colors, and to provide an image color correction method capable of performing correction to unify the color of an image to a certain color independent of a light source. .
図16に実施例2に係るカラーコードターゲットCT2を示す。実施例1(図1参照)と異なる点を主に説明する。図1とは、右下1/4のエリアのみが異なる。白色領域P4がレトロターゲット部P1と同じ大きさで右下隅に設けられ、右下1/4のエリアで実施例1ではカラーコード部P3として使用されていた部分にグレートーンパッチ部P5が設けられている。したがって、カラーコードの単位領域は4個となっている。グレートーンパッチ部P5は白、黒を除く8階調の横長の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。基準色部P2の有彩色部分及びカラーコード部P3の配色は図1と同様である(図17と図18についても同様)。 FIG. 16 shows a color code target CT2 according to the second embodiment. Differences from the first embodiment (see FIG. 1) will be mainly described. Only the area in the lower right quarter is different from FIG. A white region P4 is provided in the lower right corner with the same size as the retro target portion P1, and a gray tone patch portion P5 is provided in a portion of the lower right quarter area used as the color code portion P3 in the first embodiment. ing. Therefore, there are four color code unit areas. In the gray tone patch portion P5, a horizontally long achromatic pattern of 8 tones excluding white and black is arranged vertically in the order of tone with the higher luminance on the bottom. The chromatic color portion of the reference color portion P2 and the color arrangement of the color code portion P3 are the same as in FIG. 1 (the same applies to FIGS. 17 and 18).
カラーコードターゲットCT2のその他の構成は実施例1と同様であり、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。この効果は以下の実施例3ないし実施例7についても同様に当てはまる。 The other configuration of the color code target CT2 is the same as that of the first embodiment, and provides a color code target that enables correction to unify the color of the image into a constant color that does not depend on the light source, and uses the color of the image as the light source. An image color correction apparatus capable of performing correction to unify a constant color regardless of the color, and an image color correction method capable of performing correction to unify the color of the image to a constant color independent of the light source can do. This effect is similarly applied to the following Examples 3 to 7.
図17に、グレートーンパッチ部P5が、カラーコードターゲットCT3の中央部に配置されている例を示す。この例では、グレートーンパッチ部P5が、カラーコードターゲットCT3を左右に2分するように中央部に帯状に配置され、グレートーンパッチ部P5は白、黒を除く8階調の矩形の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。グレートーンパッチ部P5が配置された中央部では、基準色パターンP2及びカラーコードパターンP3の面積がその分削除されている。なお、基準色パターンP2及びカラーコードパターンP3の面積を変えずに、カラーコードターゲットCTをグレートーンパッチ部P5の幅分横長の矩形に形成しても良い。白色領域P4がレトロターゲット部P1と同じ大きさで右下隅に設けられている。カラーコードターゲットCT3のその他の構成は実施例1と同様である。
グレートーンパッチ部P5の検出は、輝度スケール領域抽出部522にて、カラーコードターゲットCT3の上2点のレトロターゲットの中間点で、2点のレトロターゲットの重心を結ぶ線分に対して垂直に配置されたグレートーンパッチ部P5を検出する。
FIG. 17 shows an example in which the gray tone patch portion P5 is arranged at the center of the color code target CT3. In this example, the gray tone patch portion P5 is arranged in a band shape at the center so as to divide the color code target CT3 into two left and right, and the gray tone patch portion P5 is an achromatic color having a rectangular shape of 8 tones excluding white and black. The patterns are arranged one above the other in order of gradation, with the higher luminance on the bottom. In the central portion where the gray tone patch portion P5 is arranged, the areas of the reference color pattern P2 and the color code pattern P3 are deleted accordingly. Note that the color code target CT may be formed in a horizontally long rectangle corresponding to the width of the gray tone patch portion P5 without changing the areas of the reference color pattern P2 and the color code pattern P3. The white region P4 is provided in the lower right corner with the same size as the retro target portion P1. The other configuration of the color code target CT3 is the same as that of the first embodiment.
The gray tone patch portion P5 is detected by the luminance scale region extraction unit 522 at a midpoint between the upper two retro targets of the color code target CT3 and perpendicular to the line segment connecting the centroids of the two retro targets. The arranged gray tone patch part P5 is detected.
図18に、グレートーンパッチ部P5が、カラーコードターゲットCT4の周縁部に配置されている例を示す。この例では、グレートーンパッチ部P5が、カラーコードターゲットCT4の上側と左側の周縁部に配置され、グレートーンパッチ部P5は、上側の周縁部では黒を含み、白を除く9階調の正方形の無彩色パターンが、輝度の高い方を右にして、階調順に左右に配置され、左側の周縁部では黒を含み、白を除く9階調の正方形の無彩色パターンが、輝度の高い方を下にして、階調順に上下に配置されている。カラーコードターゲットCT4のその他の構成は実施例1と同様である。
グレートーンパッチ部P5の検出は、輝度スケール領域抽出部522にて、カラーコードターゲットCT4の上2点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部P5を検出する。また、カラーコードターゲットCT4の左2点のレトロターゲットの重心を結ぶ線分と平行に配置され、線分の外側にあるグレートーンパッチ部P5を検出する。
FIG. 18 shows an example in which the gray tone patch portion P5 is arranged at the peripheral edge of the color code target CT4. In this example, the gray tone patch portion P5 is arranged on the upper and left peripheral portions of the color code target CT4, and the gray tone patch portion P5 includes a black of nine gradations excluding white in the upper peripheral portion. These achromatic patterns are arranged on the left and right in order of gradation, with the higher luminance on the right, and the nine-gradient square achromatic pattern excluding white is included on the left edge, with the higher luminance. Are arranged vertically in the order of gradation. Other configurations of the color code target CT4 are the same as those in the first embodiment.
The gray tone patch P5 is detected by the luminance scale region extraction unit 522, which is arranged in parallel to the line segment connecting the centroids of the upper two retro targets of the color code target CT4 and is located outside the line segment. The part P5 is detected. Further, a gray tone patch portion P5 that is arranged in parallel to a line segment that connects the centroids of the two left retro targets of the color code target CT4 and that is outside the line segment is detected.
図19に、グレートーンパッチ部P5が、カラーコードターゲットCT5の位置検出用パターンP1に配置されている例を示す。このカラーコードターゲットCT5は3枚一組となっている。カラーコードターゲットCT5の位置検出用パターンP1の円形のレトロターゲットの部分(グレーに彩色するので再帰反射材料を使用しないが、形状がレトロターゲットと同様であり、位置検出用パターンも機能も有するので、レトロターゲットと称することとする。円形の部分が白色の場合には一般的にレトロターゲットと称されている。なお、再帰反射材料を使用してグレーに配色しても良い)がグレートーンパッチを兼ねている。なお、カラーコードターゲットCT5の3つのレトロターゲットは左上、右上、左下の順番でグレーの輝度が10%ずつ減少する。一組のカラーコードターゲットCT5のレトロターゲットはそれぞれ輝度が異なり、9つのレトロターゲットは10%〜90%の輝度のグレーである。具体的には、カラーコードターゲットの輝度は、 グレートーンパッチ部P5の検出は、位置検出部51にて位置検出用パターンP1の円形のレトロターゲットを検出し、輝度スケール領域抽出部522にてその円形領域の諧調をグレートーンパターンとして検出する。 FIG. 19 shows an example in which the gray tone patch portion P5 is arranged in the position detection pattern P1 of the color code target CT5. The color code target CT5 is a set of three sheets. The part of the circular retro target of the position detection pattern P1 of the color code target CT5 (there is no retroreflective material because it is colored in gray, but the shape is the same as the retro target, and the position detection pattern also has a function. If the circular portion is white, it is generally called a retro target (you can use a retroreflective material to make the color gray). Also serves as. Note that the gray luminance of the three retro targets of the color code target CT5 decreases by 10% in the order of upper left, upper right, and lower left. The retro targets of the set of color code targets CT5 have different luminances, and the nine retro targets are gray with a luminance of 10% to 90%. Specifically, the luminance of the color code target is detected by detecting the gray tone patch portion P5 by detecting the circular retro target of the position detection pattern P1 by the position detection unit 51 and by the luminance scale region extraction unit 522. The gradation of the circular area is detected as a gray tone pattern.
図20に、グレートーンパッチ部P5が、カラーコードターゲットCT6の位置検出用パターンP1に配置されている別の例を示す。このカラーコードターゲットCT6は2枚一組となっている。カラーコードターゲットCT6の円形のレトロターゲット及び四角形の背景部分がグレートーンパターンを兼ねている。三隅のレトロターゲットの円形の部分の輝度値は10%ずつ異なる。また、丸い領域の外の矩形領域も輝度値は10%ずつ異なる。具体的には、レトロターゲットの輝度は、「00」のカラーコードターゲットでは、左上の丸:100%、四角:50%、右上の丸:90%、四角:40%、左下の丸:80%、四角:30%、「01」のカラーコードターゲットでは、左上の丸:70%、四角:20%、右上の丸:60%、四角:10%、左下の丸:50%、四角:0%である。また、白色領域P4はカラーコードターゲットCT6の右下にあり、位置検出用パターンP1と同じ大きさである。その他の構成は実施例1と同様である。
グレートーンパッチ部P5の検出は、位置検出部51にて位置検出用パターンP1の円形のレトロターゲットを検出し、輝度スケール領域抽出部522にてその円形領域及び背景の矩形領域の諧調をグレートーンパターンとして検出する。
FIG. 20 shows another example in which the gray tone patch portion P5 is arranged in the position detection pattern P1 of the color code target CT6. The color code target CT6 is a set of two sheets. The circular retro target and the rectangular background portion of the color code target CT6 also serve as a gray tone pattern. The luminance values of the circular portions of the retro targets at the three corners are different by 10%. In addition, the luminance value of the rectangular area outside the round area is also different by 10%. Specifically, the luminance of the retro target is 100% for the color code target of the retro target: upper left circle: 100%, square: 50%, upper right circle: 90%, square: 40%, lower left circle: 80% , Square: 30%, "01" color code target, upper left circle: 70%, square: 20%, upper right circle: 60%, square: 10%, lower left circle: 50%, square: 0% It is. The white region P4 is located at the lower right of the color code target CT6 and has the same size as the position detection pattern P1. Other configurations are the same as those of the first embodiment.
The gray tone patch portion P5 is detected by detecting the circular retro target of the position detection pattern P1 by the position detecting portion 51, and the tone scale of the circular region and the background rectangular region by the luminance scale region extracting portion 522. Detect as a pattern.
図21に、グレートーンパッチ部P5が、カラーコードターゲットCT7の位置検出用パターンP1と同じ寸法の右下隅の領域に配置されている例を示す。このカラーコードターゲットCT7は5枚一組となっている。各カラーコードターゲットCT7を比較すると、この領域の輝度が各カラーコードターゲットCT7で異なっている。白を含み、黒を除く5階調の正方形の無彩色パターンが、カラーコードターゲットCT7の番号順に配置されている。グレートーンパッチ部P5にはコード番号が印刷されている。その他の構成は実施例1と同様である。
グレートーンパッチ部P5の検出は、位置検出部51にて位置検出用パターンP1の円形のレトロターゲットを検出し、輝度スケール領域抽出部522にて位置検出用パターンP1と同じ寸法の右下隅の領域を走査しその諧調を検出する。
FIG. 21 shows an example in which the gray tone patch portion P5 is arranged in the lower right corner region having the same dimensions as the position detection pattern P1 of the color code target CT7. The color code target CT7 is a set of five sheets. When each color code target CT7 is compared, the brightness of this area is different for each color code target CT7. A five-tone square achromatic pattern including white and excluding black is arranged in the order of the number of the color code target CT7. A code number is printed on the gray tone patch portion P5. Other configurations are the same as those of the first embodiment.
The gray tone patch portion P5 is detected by detecting a circular retro target of the position detection pattern P1 by the position detection portion 51, and the lower right corner region having the same dimensions as the position detection pattern P1 by the luminance scale region extraction portion 522. To detect the tone.
図22に、本実施例におけるキャリブレーションボックスの側面を示す。グレースケール領域P5が、カラーコードターゲットCT群を左右に2分するように中央部に帯状に配置され、グレースケール領域P5は白を含み、黒を含まない8階調の矩形の無彩色パターンが、輝度の高い方を上にして、階調順に上下に配置されている。グレースケール領域の左右両側には、各4個のカラーコードターゲットCTが縦一列に配置されている。左右両側のカラーコードターゲットはそれぞれ1組のカラーコードターゲットに属する。1組のカラーコードターゲットCTにおいては、基準色パターンP2の配色は全て同一であり、各カラーコードパターンP3の配色は全て異なる。カラーコードターゲットCTの構成は、白色領域P4が位置検出用パターンと同じ大きさである点を除いて実施例1と同様である。
グレースケール領域P5の検出は、輝度スケール領域抽出部522にてカラーコードターゲットCTの間に貼付されたグレースケール領域P5を検出する。
本実施例についても、グレースケール領域P5を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。
FIG. 22 shows a side surface of the calibration box in the present embodiment. The gray scale region P5 is arranged in a band shape in the center so as to divide the color code target CT group into two left and right, and the gray scale region P5 includes an 8-tone rectangular achromatic pattern that includes white and does not include black. They are arranged one above the other in the order of gradation, with the higher luminance on top. On each of the left and right sides of the gray scale region, four color code targets CT are arranged in a vertical row. The left and right color code targets belong to a set of color code targets. In one set of color code targets CT, the color schemes of the reference color pattern P2 are all the same, and the color schemes of the color code patterns P3 are all different. The configuration of the color code target CT is the same as that of the first embodiment except that the white region P4 has the same size as the position detection pattern.
The gray scale region P5 is detected by detecting the gray scale region P5 pasted between the color code targets CT by the luminance scale region extraction unit 522.
Also in this embodiment, since it has the gray scale region P5, it is possible to provide a color code target that enables correction to unify the color of the image into a fixed color that does not depend on the light source, and to maintain a constant color that does not depend on the light source. It is possible to provide an image color correction apparatus capable of performing correction to unify the colors of the image, and to provide an image color correction method capable of performing correction to unify the color of the image to a certain color independent of the light source. it can.
図23に、実施例9に係るカラーコードターゲットCT8の例を示す。本実施例ではカラーコードターゲットCT8がリング状の例を示す。グレースケール領域P5が、カラーコードターゲットCT8の位置検出用パターンP1に配置されている例を示す。 FIG. 23 illustrates an example of the color code target CT8 according to the ninth embodiment. In this embodiment, an example in which the color code target CT8 is ring-shaped is shown. An example in which the gray scale region P5 is arranged in the position detection pattern P1 of the color code target CT8 is shown.
リング状のカラーコードターゲットCT8では、位置検出用パターンから成るレトロターゲット部P1、基準色パターンから成る基準色部P2、カラーコードパターンから成るカラーコード部P3が2つの同心円に挟まれたリング状の領域に配置されている。本実施例ではリング状の領域が1環であるが、リング状の領域が2環以上でも良い。基準色パターンP3(3色)及びカラーコードパターンP3(6色)は予め定められた位置に配置されている。本実施例ではこのカラーコードターゲットCT8は2枚一組となっている。1つのカラーコードターゲットCT8は位置検出用パターンP1を6個有している(そのうち1個のレトロターゲットは白色であり、白色領域の機能を有する)が、残りの位置検出用パターンP1(1枚に5個ずつ、合計10個)のレトロターゲットをグレースケール領域P5として兼用する。具体的には、図23の左側のリング状カラーコードターゲットCT8のレトロターゲットの輝度値が10%ずつ異なり、100%〜50%であり、右側のリング状カラーコードターゲットCT8のレトロターゲットの輝度値が10%ずつ異なり、100%及び40%〜0%である。図23の配色は、赤(R)、緑(G)、青(B)、黄(Y)、シアン(C)、マゼンタ(M)を表す。リング状の領域において2つの位置検出用パターンP1に挟まれた単位領域のうちで、1つの単位領域が位置検出用パターンP1に挟まれているのが基準色部P2であり、2つの単位領域が位置検出用パターンP1に挟まれているのがカラーコード部P3である。基準色部P2には光三原色(RGB)が使用されている。 In the ring-shaped color code target CT8, a ring-shaped color code target CT8 includes a retro target portion P1 composed of a position detection pattern, a reference color portion P2 composed of a reference color pattern, and a color code portion P3 composed of a color code pattern sandwiched by two concentric circles Arranged in the area. In this embodiment, the ring-shaped region is one ring, but the ring-shaped region may be two or more rings. The reference color pattern P3 (three colors) and the color code pattern P3 (six colors) are arranged at predetermined positions. In this embodiment, the color code target CT8 is a set of two. One color code target CT8 has six position detection patterns P1 (of which one retro target is white and has a white area function), but the remaining position detection patterns P1 (one sheet) 10 retro-targets (5 in total) are also used as the gray scale region P5. Specifically, the luminance value of the retro target of the ring-shaped color code target CT8 on the left side of FIG. 23 is different by 10%, and is 100% to 50%. Differ by 10%, 100% and 40% to 0%. The color scheme in FIG. 23 represents red (R), green (G), blue (B), yellow (Y), cyan (C), and magenta (M). Among the unit areas sandwiched between the two position detection patterns P1 in the ring-shaped area, one unit area is sandwiched between the position detection patterns P1 as the reference color portion P2, and the two unit areas The color code portion P3 is sandwiched between the position detection patterns P1. Three primary colors (RGB) are used for the reference color portion P2.
本実施例についても、グレースケール領域P5を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。この効果は以下の実施例10ないし実施例13についても同様に当てはまる。 Also in this embodiment, since it has the gray scale region P5, it is possible to provide a color code target that enables correction to unify the color of the image into a fixed color that does not depend on the light source, and to maintain a constant color that does not depend on the light source. It is possible to provide an image color correction apparatus capable of performing correction to unify the colors of the image, and to provide an image color correction method capable of performing correction to unify the color of the image to a certain color independent of the light source. it can. This effect similarly applies to the following Examples 10 to 13.
図24に、実施例10に係るカラーコードターゲットCT9の例を示す。本実施例ではカラーコードターゲットCT9がリング状の別の例を示す。グレースケール領域P5が、実施例9でカラーコードターゲットCT8の基準色部P2及びカラーコード部P3のあった位置に配置されている例を示す。グレースケール領域P5は9個の単位領域に白及び黒を除く9階調の無彩色パターンが、リング状領域の位置検出用パターンP1を除いた単位領域の位置に階調順に配置されている。また、位置検出用パターンP1のレトロターゲットは全て白色である。 FIG. 24 illustrates an example of the color code target CT9 according to the tenth embodiment. In this embodiment, another example in which the color code target CT9 is ring-shaped is shown. An example in which the gray scale region P5 is arranged at the position where the reference color portion P2 and the color code portion P3 of the color code target CT8 are located in the ninth embodiment is shown. In the gray scale area P5, nine gray scale patterns excluding white and black are arranged in nine unit areas in order of gradation at the positions of the unit areas excluding the ring-shaped position detection pattern P1. The retro targets of the position detection pattern P1 are all white.
図25に、実施例11に係るカラーコードターゲットCT10の例を示す。本実施例ではカラーコードターゲットCT10が2環のリング状の例を示す。内側の環が基準色部P2の有彩色部分及びカラーコード部P3として機能し、外側の環がグレースケール領域P5として機能する。外側の環のグレースケール領域P5はカラーコードターゲットCT10の内側の環の基準色部P2及びカラーコード部P3に対応する位置に配置されている。グレースケール領域P5は9個の単位領域に白及び黒を除く9階調の無彩色パターンが、階調順に配置されている。1組のカラーコードターゲットCTにおいては、基準色パターンP2(グレースケール領域P5を含む)の配色は全て同一であり、各カラーコードパターンP3の配色は全て異なる。 FIG. 25 illustrates an example of a color code target CT10 according to the eleventh embodiment. In this embodiment, an example in which the color code target CT10 has a ring shape of two rings is shown. The inner ring functions as the chromatic color portion of the reference color portion P2 and the color code portion P3, and the outer ring functions as the gray scale region P5. The gray scale region P5 of the outer ring is disposed at a position corresponding to the reference color part P2 and the color code part P3 of the inner ring of the color code target CT10. In the gray scale area P5, nine gradation patterns other than white and black are arranged in nine unit areas in the order of gradation. In one set of color code targets CT, the color schemes of the reference color pattern P2 (including the gray scale region P5) are all the same, and the color schemes of the color code patterns P3 are all different.
図26に、実施例12に係るカラーコードターゲットCT11の例を示す。本実施例ではカラーコードターゲットCT11が2環のリング状の別の例を示す。外側の環が基準色部P2の有彩色部分及びカラーコード部P3として機能し、内側の環がグレースケール領域P5として機能する。内側の環のグレースケール領域P5はカラーコードターゲットCT11の外側の環の基準色部P2及びカラーコード部P3に対応する位置に配置されている。グレースケール領域P5は9個の単位領域に白及び黒を除く9階調の円形の無彩色パターンが、階調順に配置されている。1組のカラーコードターゲットCT11においては、基準色パターンP2(グレースケール領域P5を含む)の配色は全て同一であり、各カラーコードパターンP3の配色は全て異なる。 FIG. 26 illustrates an example of the color code target CT11 according to the twelfth embodiment. In the present embodiment, another example in which the color code target CT11 has a ring shape of two rings is shown. The outer ring functions as the chromatic color portion of the reference color portion P2 and the color code portion P3, and the inner ring functions as the gray scale region P5. The gray ring region P5 of the inner ring is disposed at a position corresponding to the reference color part P2 and the color code part P3 of the outer ring of the color code target CT11. In the gray scale region P5, nine gray circular achromatic patterns excluding white and black are arranged in nine unit regions in the order of gradation. In one set of color code targets CT11 , the color schemes of the reference color pattern P2 (including the gray scale region P5) are all the same, and the color schemes of the color code patterns P3 are all different.
図27に、実施例13に係るカラーコードターゲットCT12の例を示す。本実施例ではカラーコードターゲットCT12がリング状の別の例を示す。リングに囲まれた中心円の部分がグレースケール領域として機能する。このカラーコードターゲットCT12は9枚一組となっている(図27ではこのうち3枚を示す)。グレースケール領域P5は中心円に、カラーコードターゲットCT12毎に1つずつ配置されている。グレースケール領域P5は中心円に白を含み、黒を除く9階調の円形の無彩色パターンが、カラーコードターゲットCT12毎に配置されている。リングが基準色部P2の有彩色部分及びカラーコード部P3として機能する。 FIG. 27 illustrates an example of the color code target CT12 according to the thirteenth embodiment. In this embodiment, another example in which the color code target CT12 is ring-shaped is shown. The central circle surrounded by the ring functions as a gray scale region. The color code target CT12 is a set of nine sheets (three of them are shown in FIG. 27). One gray scale region P5 is arranged in the center circle for each color code target CT12. The gray scale region P5 includes white in the center circle, and a nine-tone circular achromatic pattern excluding black is arranged for each color code target CT12. The ring functions as the chromatic color portion of the reference color portion P2 and the color code portion P3.
図28に、実施例14に係るカラーコードターゲットCT13〜CT15の例を示す。本実施例ではグレースケール領域はなく、光源色補正(広義の光源色補正)は白色領域P4及び基準色部P2の光三原色(RGB)パターンを用いて行なう例を説明する。図28(A)にはカラーコードパターンの単位領域が3、図28(B)にはカラーコードパターンの単位領域が6、図28(C)にはカラーコードパターンの単位領域が9の例を示す。図28(B)では、実施例1に比してグレースケール領域P5がなく、白色領域P4がグレースケール領域P5のあった領域まで広がっている。白色領域P4は光に対して良く変化するので、輝度は1点だけであるが、この領域を光源色補正(狭義の光源色補正)に用いることができる。また、基準色部P2のRGB色の配置は実施例1と同様である。基準色パターンP2の赤、緑、青の基準色の画素値が既知であれば、各基準色の輝度は1点ずつであるが、これらの基準色を用いて光源色補正(狭義の光源色補正)を行なうことが可能である。ここで、カラーバランスは、画像上で白色領域P4及び基準色部P2のRGB色に他の色彩が混入しないようにRGBの画素値を調整することにより行なう。カラーバランスの調整は白色領域のみ又は基準色部P2のRGBパターンのみでも可能であるが、両者を併用すると調整の精度を向上できる。また、基準色部P2のRGB色を画面上でほぼ等しい輝度が得られるように定めると、RGBそれぞれの輝度をその近傍で調整することにより、容易にカラーバランスを取ることができるので好ましい。輝度補正については、白色領域P4といずれかの基準色の輝度の2点を用いて行なうことができる。また、白色領域P5に番号が付されていない。カラーコードターゲットCT14のその他の構成は実施例1と同様である。また、図28(A)のカラーコードターゲットCT13及び図28(C)のカラーコードターゲットCT15はカラーコードパターンの単位領域が図28(B)と異なるが、その他の構成は図28(B)と同様である。よって、図28(A)及び図28(C)も白色領域P5及び基準色部P2の光三原色(RGB)パターンを用いて光源色補正(広義の光源色補正)を行なうことができる。 FIG. 28 illustrates examples of color code targets CT13 to CT15 according to the fourteenth embodiment. In this embodiment, there is no gray scale region, and an example will be described in which light source color correction (light source color correction in a broad sense) is performed using the light primary color (RGB) pattern of the white region P4 and the reference color portion P2. 28A shows an example in which the unit area of the color code pattern is 3, FIG. 28B shows an example in which the unit area of the color code pattern is 6, and FIG. Show. In FIG. 28B, compared with the first embodiment, there is no grayscale region P5, and the white region P4 extends to the region where the grayscale region P5 was present. Since the white region P4 changes well with respect to light, the brightness is only one point, but this region can be used for light source color correction (light source color correction in a narrow sense). The arrangement of the RGB colors of the reference color portion P2 is the same as that in the first embodiment. If the pixel values of the red, green, and blue reference colors of the reference color pattern P2 are known, the brightness of each reference color is one point, but light source color correction (a light source color in a narrow sense) is performed using these reference colors. Correction) can be performed. Here, the color balance is performed by adjusting RGB pixel values so that other colors are not mixed into the RGB colors of the white region P4 and the reference color portion P2 on the image. The color balance can be adjusted using only the white region or only the RGB pattern of the reference color portion P2. However, when both are used together, the adjustment accuracy can be improved. Further, it is preferable that the RGB colors of the reference color portion P2 are determined so that substantially the same luminance can be obtained on the screen because the color balance can be easily achieved by adjusting the luminance of each RGB in the vicinity thereof. The brightness correction can be performed using two points of brightness of the white region P4 and one of the reference colors. In addition, the white region P5 is not numbered. Other configurations of the color code target CT14 are the same as those in the first embodiment. The color code target CT13 in FIG. 28A and the color code target CT15 in FIG. 28C are different in the unit area of the color code pattern from that in FIG. 28B, but the other configurations are the same as those in FIG. It is the same. Therefore, in FIGS. 28A and 28C, light source color correction (light source color correction in a broad sense) can be performed using the three primary color (RGB) patterns of the white region P5 and the reference color portion P2.
以上より、本実施例についても、白色領域P4を有するので、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコードターゲットを提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。 As described above, since the present embodiment also has the white region P4, it is possible to provide a color code target that enables correction to unify the color of the image into a constant color that does not depend on the light source, and the color of the image depends on the light source. Provided is an image color correction apparatus capable of performing correction to unify a certain color, and an image color correction method capable of performing correction to unify the color of an image to a certain color independent of a light source be able to.
実施例1ないし実施例4では、輝度スケールがグレースケールで1本又は2本の例を説明したが、グレースケールとカラースケールの両者を有しても良く、カラースケールとして光三原色(RGB)の各色を有しても良い。本実施例では、カラーコードターゲットCTの周縁部全体に、すなわち、上下左右に、グレートーンパッチ、赤のカラートーンパッチ、緑のカラートーンパッチ、青のカラートーンパッチと4本の輝度スケールを有する例を説明する。グレートーンパッチと光三原色(RGB)のカラートーンパッチを有するので、極めて精度の高い光源色補正を行うことができる。 In the first to fourth embodiments, the luminance scale is a gray scale, and one or two examples are described. However, both the gray scale and the color scale may be provided, and the light scale may be one of three primary colors (RGB). You may have each color. In this embodiment, the color code target CT has a gray tone patch, a red color tone patch, a green color tone patch, a blue color tone patch, and four luminance scales on the entire periphery, that is, on the top, bottom, left and right. An example will be described. Since the gray tone patch and the light tone primary color (RGB) color tone patch are provided, it is possible to perform light source color correction with extremely high accuracy.
以上の実施例では、カラーコードターゲットCTの基準色パターンの3つの単位領域の色彩として光三原色(RGB)を用いる例を説明したが、本実施例では光三原色(RGB)のそれぞれがいずれかの単位領域に含まれる例を説明する。本実施例では、3つの単位領域の色彩が、黄(Y)、シアン(C)、マゼンタ(M)の組み合わせとするが、他の組み合わせでも良い。カラーバランスをとるためは、光三原色(RGB)の1つ又は2つを用いても不可であり、光三原色(RGB)のそれぞれがいずれかの単位領域又は輝度スケールに含まれる必要がある。また、光三原色(RGB)が既知の値(輝度値)を持つ必要がある。例えば白色領域は光三原色(RGB)の全てを有するので光源色補正に使用できる。黄(Y)、シアン(C)、マゼンタ(M)の組み合わせとすると、赤(R)、緑(G)、青(B)はそれぞれ2つ単位領域に含まれるので光源色補正に使用できる。黄(Y)と青(B)の組み合わせでも、赤(R)、緑(G)、青(B)はそれぞれ1つ単位領域に含まれるので光源色補正に使用できる。これにより、実施例1と同様に、画像の色彩を光源によらない一定の色に統一する補正を可能にするカラーコード付き標識を提供すること、画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正装置を提供すること、及び画像の色彩を光源によらない一定の色に統一する補正を行うことができる画像色彩補正方法を提供することができる。また、実施例15の赤(R)、緑(G)、青(B)の3つのカラートーンパッチに代えて、黄(Y)、シアン(C)、マゼンタ(M)の3つのカラートーンパッチを用いてもよく、黄(Y)と青(B)の2つのカラートーンパッチを用いても良い。 In the above embodiment, the example using three light primary colors (RGB) as the colors of the three unit areas of the reference color pattern of the color code target CT has been described. In this embodiment, each of the three light primary colors (RGB) An example included in the unit area will be described. In this embodiment, the colors of the three unit regions are a combination of yellow (Y), cyan (C), and magenta (M), but other combinations may be used. In order to achieve color balance, it is impossible to use one or two light primary colors (RGB), and each of the light primary colors (RGB) needs to be included in any unit region or luminance scale. In addition, the three primary colors (RGB) need to have known values (luminance values). For example, the white region has all three light primary colors (RGB) and can be used for light source color correction. If a combination of yellow (Y), cyan (C), and magenta (M) is used, red (R), green (G), and blue (B) are included in two unit areas, and can be used for light source color correction. Even in the combination of yellow (Y) and blue (B), red (R), green (G), and blue (B) are included in one unit region, and can be used for light source color correction. Accordingly, as in the first embodiment, it is possible to provide a sign with a color code that enables correction to unify the color of an image to a constant color that does not depend on a light source, and to change the color of an image to a constant color that does not depend on a light source. It is possible to provide an image color correction apparatus capable of performing the correction to be unified, and to provide an image color correction method capable of performing the correction to unify the color of the image into a certain color independent of the light source. Also, instead of the three color tone patches of red (R), green (G), and blue (B) of the fifteenth embodiment, three color tone patches of yellow (Y), cyan (C), and magenta (M) May be used, and two color tone patches of yellow (Y) and blue (B) may be used.
以上の実施例では、カラーコードターゲットCTがキャリブレーションボックスなどに貼り付けられる例を主に説明したが、以上の実施例のカラーコードターゲットCTが測定対象物2に貼り付けられた場合や、測定対象物2の周囲に配置されて撮影された場合でも、これらのカラーコードターゲットCTを用いて、光源色補正を行なうと共に、測定対象物の三次元計測を行なうことができる。 In the above embodiment, the example in which the color code target CT is attached to the calibration box or the like has been mainly described. However, when the color code target CT of the above embodiment is attached to the measurement object 2 or measurement is performed. Even when the image is arranged around the object 2 and photographed, the color code target CT can be used to perform light source color correction and to perform three-dimensional measurement of the measurement object.
以上の実施例では、画像色彩補正装置が画像合成部、テクスチャ形成部を有する例について説明したが、画像合成部、テクスチャ形成部が無い場合でも、光源色補正を行なうことができる。 In the above embodiment, the example in which the image color correction apparatus includes the image synthesis unit and the texture formation unit has been described. However, even when the image synthesis unit and the texture formation unit are not provided, the light source color correction can be performed.
以上、本発明の実施の形態について説明したが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施例に種々変更を加えられることは明白である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and it is obvious that various modifications can be made to the embodiments without departing from the spirit of the present invention. .
例えば、以上の実施例では、カラーコード部のコード色数が主として6の場合について説明したが、任意に設定可能である。また、グレースケール領域の階調数も任意に設定可能である。また、キャリブレーションボックスの形状も直方体に限られず、円筒形でも良い。また、キャリブレーションボックスの代わりにキャリブレーションパネルを使用すると、パネル位置を移動して使用できる。また、装置構成も変更可能である。例えば、撮影部は単カメラを使用しても良く、ステレオカメラを使用しても良い。また、測定方法も変更可能である。例えば、色補正(光源色補正を含む)と撮影パラメータに係るカメラキャリブレーションの順序はどちらを先に行なっても良い。また、以上の実施例では、カラーコードターゲット内にグレースケールを配置する例を主に説明したが、カラーコードターゲットとグレースケールを切り離して配置しても良く、配置の位置も種々変更可能である。 For example, although the case where the number of code colors in the color code portion is mainly 6 has been described in the above embodiment, it can be arbitrarily set. Further, the number of gradations in the gray scale region can be arbitrarily set. The shape of the calibration box is not limited to a rectangular parallelepiped, and may be a cylindrical shape. If a calibration panel is used instead of the calibration box, the panel position can be moved and used. The device configuration can also be changed. For example, the photographing unit may use a single camera or a stereo camera. Also, the measurement method can be changed. For example, either the color correction (including light source color correction) or the camera calibration order related to the shooting parameters may be performed first. In the above embodiments, the example in which the gray scale is arranged in the color code target has been mainly described. However, the color code target and the gray scale may be arranged separately, and the arrangement position can be variously changed. .
本発明は、撮影画像の色彩の補正に利用可能である。 The present invention can be used for correcting the color of a captured image.
1 画像色彩補正装置
2 測定対象物
3 撮影部
4 入出力部
5 ターゲット抽出部
6 演算部
7 画像処理部
8 記憶部
9 制御部
10 パーソナルコンピュータ(PC)
31 撮影画像取得部
41 表示部
42 出力部
43 入力部
51 位置検出部
52 基準色パターン抽出部
521 白色領域抽出部
522 輝度スケール領域抽出部
53 カラーコードパターン抽出部
61 撮影パラメータ演算部
62 三次元座標演算部
63 標定部
631 焦点距離推定部
71 色補正部
72 画像合成部
73 モデル形成部
74 テクスチャ形成部
75 カラーコード判別部
76 画像データ補正部
81 撮影画像記憶部
82 基準色記憶部
83 カラーコード記憶部
84 モデル記憶部
85 撮影パラメータ記憶部
200 レトロターゲット
204 内円部
206 外円部
CB キャリブレーションボックス
CT,CTi(iは正整数) カラーコード付き標識(カラーコードターゲット)
EP エピポーラライン
Ep 光源色
f 焦点距離
I 画素値
P1 位置検出用パターン(レトロターゲット部)
P2 基準色パターン(基準色部)
P3 カラーコードパターン(カラーコード部)
P4 白色領域
P5 輝度スケールパターン(グレースケール領域、グレートーンパッチ部)
RF リファレンスポイント
S 表面色
To 明度のしきい値
TG ターゲット
(x0,y0) 光軸中心(主点位置)
DESCRIPTION OF SYMBOLS 1 Image color correction apparatus 2 Measuring object 3 Imaging | photography part 4 Input / output part 5 Target extraction part 6 Calculation part 7 Image processing part 8 Storage part 9 Control part 10 Personal computer (PC)
31 Captured image acquisition unit 41 Display unit 42 Output unit 43 Input unit 51 Position detection unit 52 Reference color pattern extraction unit 521 White region extraction unit 522 Luminance scale region extraction unit 53 Color code pattern extraction unit 61 Shooting parameter calculation unit 62 Three-dimensional coordinates Calculation unit 63 Orientation unit 631 Focal length estimation unit 71 Color correction unit 72 Image composition unit 73 Model formation unit 74 Texture formation unit 75 Color code discrimination unit 76 Image data correction unit 81 Captured image storage unit 82 Reference color storage unit 83 Color code storage Part 84 model storage part 85 imaging parameter storage part 200 retro target 204 inner circle part 206 outer circle part CB calibration box CT, CTi (i is a positive integer) sign with color code (color code target)
EP Epipolar line Ep Light source color f Focal length I Pixel value P1 Position detection pattern (retro target part)
P2 standard color pattern (standard color part)
P3 Color code pattern (color code part)
P4 White area P5 Luminance scale pattern (grayscale area, gray tone patch part)
RF reference point S Surface color To Lightness threshold TG Target (x 0 , y 0 ) Optical axis center (main point position)
Claims (20)
前記カラーコード付き標識は、
面内に、計測位置を示すための位置検出用パターンと、
色彩の基準として用いる色彩が施された及び画像の色彩を光源によらない一定の色に統一する光源色補正に用いる色彩が施された基準色パターンと、
前記位置検出用パターンに対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンとを有し、
さらに、前記撮影部により撮影された前記カラーコード付き標識の撮影画像から、前記位置検出用パターンの位置を求める位置検出部と;
前記撮影画像から前記基準色パターンを抽出する基準色パターン抽出部と;
前記撮影画像から前記カラーコードパターンを抽出するカラーコードパターン抽出部と;
前記基準色パターン抽出部で抽出された基準色パターンのうち、少なくとも前記光源色補正に用いる色彩を用いて、前記撮影画像の光源色補正を行う色補正部とを備え;
前記光源色補正に用いる色彩が施された基準色パターンとして、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンを有し;
前記基準色パターン抽出部は前記輝度スケールパターンを抽出し;
前記色補正部は前記基準色パターン抽出部で抽出された輝度スケールパターンを用いて前記光源色補正を行う;
画像色彩補正装置。 Equipped with a photographing unit for photographing the object to be measured and a plurality of colored code signs simultaneously or at different times from different directions;
The sign with the color code is
In the plane, a position detection pattern for indicating the measurement position,
A reference color pattern which has been subjected to a color used as a reference for color and a color used for light source color correction which unifies the color of an image into a certain color independent of a light source;
A color code pattern arranged in a predetermined positional relationship with respect to the position detection pattern and provided with a plurality of colors for identifying a sign,
A position detection unit that obtains the position of the position detection pattern from a photographed image of the sign with the color code photographed by the photographing unit;
A reference color pattern extraction unit for extracting the reference color pattern from the photographed image;
A color code pattern extraction unit for extracting the color code pattern from the photographed image;
A color correction unit that performs light source color correction of the photographed image using at least the color used for light source color correction among the reference color patterns extracted by the reference color pattern extraction unit ;
A reference color pattern to which the color used for the light source color correction is applied has a luminance scale pattern in which a plurality of colors having the same hue and different gradations are arranged;
The reference color pattern extraction unit extracts the luminance scale pattern;
The color correction unit performs the light source color correction using the luminance scale pattern extracted by the reference color pattern extraction unit;
Image color correction device.
前記基準色パターン抽出部は前記複数の単位領域を抽出し;The reference color pattern extraction unit extracts the plurality of unit regions;
前記色補正部は前記基準色パターン抽出部で抽出された複数の単位領域を用いて前記光源色補正を行う;The color correction unit performs the light source color correction using a plurality of unit regions extracted by the reference color pattern extraction unit;
請求項1に記載の画像色彩補正装置。The image color correction apparatus according to claim 1.
請求項1又は請求項2に記載の画像色彩補正装置。The image color correction apparatus according to claim 1 or 2.
請求項1ないし請求項3のいずれか1項に記載の画像色彩補正装置。The image color correction apparatus according to any one of claims 1 to 3.
請求項1ないし請求項4のいずれか1項に記載の画像色彩補正装置。The image color correction apparatus according to any one of claims 1 to 4.
前記位置検出部で抽出された前記位置検出用パターンの位置に基づいて撮影パラメータを求める撮影パラメータ演算部と;
前記撮影パラメータ演算部で求められた撮影パラメータを用いて、前記測定対象物の撮影画像から、前記測定対象物の位置を演算して求める三次元座標演算部とを備える;
請求項1ないし請求項5のいずれか1項に記載の画像色彩補正装置。 The plurality of colored code-added signs are arranged in a positional relationship suitable for obtaining photographing parameters of the photographing unit from photographed images obtained by photographing from the plurality of directions by the photographing unit;
An imaging parameter calculation unit for obtaining imaging parameters based on the position of the position detection pattern extracted by the position detection unit;
A three-dimensional coordinate calculation unit that calculates and calculates the position of the measurement object from the captured image of the measurement object using the imaging parameter determined by the imaging parameter calculation unit;
The image color correction apparatus according to claim 1 .
請求項6に記載の画像色彩補正装置。 The imaging parameters include internal parameters including distortion, focal length, and optical axis center of the imaging optical system, and external parameters including the position and inclination of the imaging unit;
The image color correction apparatus according to claim 6 .
請求項1ないし請求項7のいずれか1項に記載の画像色彩補正装置。 The hue of the luminance scale pattern is achromatic;
The image color correction apparatus according to any one of claims 1 to 7 .
前記基準色パターン抽出部は、前記白色領域を抽出する;
請求項1ないし請求項7のいずれか1項に記載の画像色彩補正装置。 The reference color pattern has a white region to which white is applied as a color used for the light source color correction;
The reference color pattern extraction unit extracts the white region;
The image color correction apparatus according to any one of claims 1 to 7 .
請求項1ないし請求項9のいずれか1項に記載の画像色彩補正装置。 Using an position of the position detection pattern obtained by the position detection unit, an image composition unit for joining the captured images taken from the different directions;
The image color correction apparatus according to any one of claims 1 to 9 .
前記モデル形成部で形成された対象物モデルに、前記色補正部で補正された測定対象物のテクスチャを貼付するテクスチャ形成部とを備える;
請求項1ないし請求項10のいずれか1項に記載の画像色彩補正装置。 A model forming unit that forms an object model from the captured images photographed from the plurality of different directions using the position of the position detection pattern obtained by the position detecting unit;
A texture forming unit for attaching the texture of the measurement object corrected by the color correction unit to the object model formed by the model forming unit;
The image color correction apparatus according to any one of claims 1 to 10 .
前記1組のカラーコード付き標識の各前記カラーコードパターンの配色は全て異なる1組のカラーコード付き標識を配置する標識配置工程と;
測定対象物と前記複数のカラーコード付き標識を同時に又は別時に異なる複数方向から撮影する撮影工程と;
前記撮影工程で撮影された撮影画像から、前記位置検出用パターンの位置を求める位置検出工程と;
前記撮影画像から前記基準色パターンを抽出する基準色パターン抽出工程と;
前記撮影画像から前記カラーコードパターンを抽出するカラーコードパターン抽出工程と;
前記基準色パターン抽出工程で抽出された基準色パターンのうち、少なくとも前記光源色補正に用いる色彩を用いて、前記撮影画像の光源色補正を行う色補正工程とを備え;
前記光源色補正に用いる色彩が施された基準色パターンとして、色相が同一で諧調の異なる複数の色を配置した輝度スケールパターンを有し;
前記基準色パターン抽出工程では前記輝度スケールパターンを抽出し;
前記色補正工程では前記基準色パターン抽出工程で抽出された輝度スケールパターンを用いて前記光源色補正を行う;
画像色彩補正方法。 In the plane, a position detection pattern for indicating the measurement position, a color used as a color reference, and a color used for light source color correction to unify the color of the image into a fixed color independent of the light source are applied. A set of a plurality of markers with color codes, each of which includes a reference color pattern and a color code pattern arranged in a predetermined positional relationship with respect to the position detection pattern and provided with a plurality of colors for identifying the markers The color code of the reference color pattern of the set of color code signs is the same,
A sign placement step of placing a set of color-coded signs, each of which is different in color arrangement of each color code pattern of the set of color-coded signs;
A photographing step of photographing the object to be measured and the plurality of color-coded signs simultaneously or at different times from different directions;
A position detection step of obtaining the position of the position detection pattern from the photographed image photographed in the photographing step;
A reference color pattern extraction step of extracting the reference color pattern from the photographed image;
A color code pattern extracting step of extracting the color code pattern from the photographed image;
A color correction step of performing light source color correction of the captured image using at least a color used for light source color correction among the reference color patterns extracted in the reference color pattern extraction step ;
A reference color pattern to which the color used for the light source color correction is applied has a luminance scale pattern in which a plurality of colors having the same hue and different gradations are arranged;
Extracting the luminance scale pattern in the reference color pattern extracting step;
In the color correction step, the light source color correction is performed using the luminance scale pattern extracted in the reference color pattern extraction step;
Image color correction method.
前記基準色パターン抽出工程は前記複数の単位領域を抽出し;The reference color pattern extracting step extracts the plurality of unit regions;
前記色補正工程は前記基準色パターン抽出工程で抽出された複数の単位領域を用いて前記光源色補正を行う;The color correction step performs the light source color correction using a plurality of unit regions extracted in the reference color pattern extraction step;
請求項12に記載の画像色彩補正方法。The image color correction method according to claim 12.
請求項12又は請求項13に記載の画像色彩補正方法。The image color correction method according to claim 12 or 13.
請求項12ないし請求項14のいずれか1項に記載の画像色彩補正方法。The image color correction method according to any one of claims 12 to 14.
請求項12ないし請求項15のいずれか1項に記載の画像色彩補正方法。The image color correction method according to any one of claims 12 to 15.
位置検出工程で抽出された前記位置検出用パターンの位置に基づいて撮影パラメータを求める撮影パラメータ演算工程と;
前記撮影パラメータ演算工程で求められた撮影パラメータを用いて、前記撮影画像から、前記測定対象物の三次元座標を演算して求める三次元座標演算工程とを備える;
請求項12ないし請求項16のいずれか1項に記載の画像色彩補正方法。 In the marker placement step, the set of labels with the color code is placed in a positional relationship suitable for obtaining photographing parameters of the photographing unit from photographed images obtained by photographing from the plurality of directions in the photographing step. ;
A shooting parameter calculation step for obtaining a shooting parameter based on the position of the position detection pattern extracted in the position detection step;
A three-dimensional coordinate calculation step for calculating and obtaining three-dimensional coordinates of the measurement object from the photographed image using the photographing parameters obtained in the photographing parameter calculation step;
The image color correction method according to any one of claims 12 to 16 .
請求項12ないし請求項17のいずれか1項に記載の画像色彩補正方法。 In the label placement step, the set of color coded signs is placed on the surface of the box, on the surface of the measurement object or around the place where the measurement object is placed;
The image color correction method according to any one of claims 12 to 17 .
請求項12ないし請求項18のいずれか1項に記載の画像色彩補正方法。 In the color correction step, light source color correction of the photographed image is performed using a white region to which white is applied as a color used for the light source color correction;
The image color correction method according to any one of claims 12 to 18 .
前記モデル形成工程で形成された対象物モデルに、前記色補正工程で補正された測定対象物のテクスチャを貼付するテクスチャ形成工程とを備える;
請求項12ないし請求項19のいずれか1項に記載の画像色彩補正方法。 Using the position of the position detection pattern obtained in the position detection step, a model formation step of forming the object model from captured images taken from a plurality of different directions;
A texture forming step of attaching the texture of the measurement object corrected in the color correction step to the object model formed in the model forming step;
The image color correction method according to any one of claims 12 to 19 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011059786A JP5771423B2 (en) | 2011-03-17 | 2011-03-17 | Image color correction apparatus and image color correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011059786A JP5771423B2 (en) | 2011-03-17 | 2011-03-17 | Image color correction apparatus and image color correction method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012194126A JP2012194126A (en) | 2012-10-11 |
JP2012194126A5 JP2012194126A5 (en) | 2014-04-17 |
JP5771423B2 true JP5771423B2 (en) | 2015-08-26 |
Family
ID=47086151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011059786A Active JP5771423B2 (en) | 2011-03-17 | 2011-03-17 | Image color correction apparatus and image color correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5771423B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9147249B2 (en) * | 2012-10-23 | 2015-09-29 | Electronics And Telecommunications Research Institute | Apparatus and method for calibrating depth image based on relationship between depth sensor and color camera |
CN105025193B (en) | 2014-04-29 | 2020-02-07 | 钰立微电子股份有限公司 | Portable stereo scanner and method for generating stereo scanning result of corresponding object |
JP6466084B2 (en) * | 2014-05-27 | 2019-02-06 | 貴生 朝山 | Printed matter |
CN106570826A (en) * | 2016-11-08 | 2017-04-19 | 山东省交通规划设计院 | Plane photo stitching correction ruler |
JP6961506B2 (en) * | 2018-01-31 | 2021-11-05 | セコム株式会社 | Image processing device |
JP2021177123A (en) * | 2018-07-24 | 2021-11-11 | ソニーグループ株式会社 | Information processing apparatus and information processing method, and program |
KR101992847B1 (en) * | 2018-11-30 | 2019-06-25 | 대한민국 | System for obtaining geographical data using uav and identifiable gcp based on image and method thereof |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008221A (en) * | 1999-06-18 | 2001-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Color calibrating method, color calibrating device and storage medium |
JP2002152768A (en) * | 2000-11-10 | 2002-05-24 | Mitsubishi Electric Corp | Image correction device and image correction method |
JP4979928B2 (en) * | 2005-11-28 | 2012-07-18 | 株式会社トプコン | Three-dimensional shape calculation device and three-dimensional shape calculation method |
JP2008281481A (en) * | 2007-05-11 | 2008-11-20 | Fujifilm Corp | Apparatus and method for measuring resolution |
JP5207719B2 (en) * | 2007-12-05 | 2013-06-12 | 株式会社トプコン | Label with color code, color code extraction means, and three-dimensional measurement system |
JP5430138B2 (en) * | 2008-12-17 | 2014-02-26 | 株式会社トプコン | Shape measuring apparatus and program |
JP5753406B2 (en) * | 2011-03-02 | 2015-07-22 | 株式会社トプコン | Color-coded signs and calibration boxes |
-
2011
- 2011-03-17 JP JP2011059786A patent/JP5771423B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012194126A (en) | 2012-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5771423B2 (en) | Image color correction apparatus and image color correction method | |
JP5207719B2 (en) | Label with color code, color code extraction means, and three-dimensional measurement system | |
US10083522B2 (en) | Image based measurement system | |
EP2849149B1 (en) | Projection system, image processing device, and projection method | |
US9482515B2 (en) | Stereoscopic measurement system and method | |
US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
US9454822B2 (en) | Stereoscopic measurement system and method | |
JP5002144B2 (en) | Projection apparatus and system for three-dimensional measurement | |
Gaiani et al. | Securing color fidelity in 3D architectural heritage scenarios | |
JP5707185B2 (en) | All-around field for multi-camera calibration | |
US9286506B2 (en) | Stereoscopic measurement system and method | |
CN108257187B (en) | Camera-projector system calibration method | |
JP5695821B2 (en) | Color code target, color code discrimination device, and color code discrimination method | |
Yılmaztürk | Full-automatic self-calibration of color digital cameras using color targets | |
JP5753406B2 (en) | Color-coded signs and calibration boxes | |
JP5350943B2 (en) | Color code target, color code discrimination device, and color code discrimination method | |
Jose et al. | Human wound photogrammetry with low-cost hardware based on automatic calibration of geometry and color | |
CN211794627U (en) | Foot-shaped scanning positioning plate and foot-shaped scanning system | |
CN115311369A (en) | External parameter calibration method of high-precision multi-RGB-D camera with low cost and small amount of overlapped areas | |
CA2831664C (en) | Stereoscopic measurement system and method | |
US20080002880A1 (en) | Systems and methods for fusing over-sampled image data with three-dimensional spatial data | |
KR101026628B1 (en) | Three-dimensional measurement system and method of the same, and color-coded mark | |
Ragia et al. | Homography and Image Processing Techniques for Cadastre Object Extraction. | |
AU2009249001A1 (en) | Stereoscopic measurement system and method | |
CN114125419A (en) | Camera adjusting method and device in multi-camera system and multi-camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5771423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |