JP5074066B2

JP5074066B2 - Image processing apparatus and image processing method

Info

Publication number: JP5074066B2
Application number: JP2007082022A
Authority: JP
Inventors: 康宏小宮
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2012-11-14
Anticipated expiration: 2027-03-27
Also published as: JP2008244794A

Description

本発明は、主に画像処理装置、及び、画像処理方法に関する。 The present invention mainly relates to an image processing apparatus and an image processing method.

近年、歯科の分野では、歯科技工士が患者の元の歯の色に近い色のクラウン（セラミック製の歯冠補綴物）を作成し、このクラウンを患者の歯にかぶせる治療が行われている。このような治療方法として、例えば、セラミッククラウン法などが知られている。セラミッククラウン法による治療においては、補綴物であるクラウンの作成が必須となる。患者の元の歯の色に近い色のクラウンを作成する際に、例えば、デジタルカメラなどの撮像装置によって患者の歯を撮影した画像を用いる場合がある。 In recent years, in the field of dentistry, dental technicians have created a crown (ceramic crown prosthesis) of a color close to the original tooth color of the patient, and this crown is placed on the patient's teeth. . As such a treatment method, for example, a ceramic crown method or the like is known. In the treatment by the ceramic crown method, the creation of a crown as a prosthesis is essential. When creating a crown having a color close to the color of the original tooth of the patient, for example, an image obtained by photographing the patient's teeth with an imaging device such as a digital camera may be used.

そして、高画素で、かつ、操作性の高いデジタルカメラを用いれば、例えば歯列、歯牙等の患部の画像を容易に取得し、取得後直ちに画像の確認を行うことが可能である。しかしながら、ホワイトバランスによる色補正が撮影ごとに異なるなどの要因により、同一の患者から取得された画像であっても、取得された画像ごとに歯牙の色が異なる場合がある。
これに対し、例えば、特許文献１に示すように、画像のパターンマッチング演算（相関演算）を用いて、測色画像であるマルチバンド画像と、ＲＧＢ画像との対応位置を求め、その信号の対応関係からＲＧＢ画像の色補正を行う方法がある。
特開２００５−３４１１７５号公報 If a digital camera with high pixels and high operability is used, it is possible to easily acquire an image of an affected area such as a dentition or a tooth, and confirm the image immediately after acquisition. However, due to factors such as white balance color correction being different for each image, the tooth color may be different for each acquired image, even for images acquired from the same patient.
On the other hand, for example, as shown in Patent Document 1, using a pattern matching calculation (correlation calculation) of an image, a corresponding position between a multiband image that is a colorimetric image and an RGB image is obtained, and the correspondence of the signal is obtained. From the relationship, there is a method of correcting the color of the RGB image.
JP 2005-341175 A

特許文献１に示す色補正方法を、歯科医療現場において用いる場合、ＲＧＢ画像の歯列画像と、マルチバンド画像の歯牙画像とを用いることとなる。この場合、マルチバンド画像の歯牙画像は、色補正をするためのテンプレート画像として、パターンマッチングの処理に用いられる。すなわち、マルチバンド画像の歯牙画像と、ＲＧＢ画像の歯列画像に含まれる歯牙と、を対応させる必要がある。しかしながら、ＲＧＢ画像と、マルチバンド画像とにおいて、歯牙の画像サイズが異なる場合があった。また、何れかの画像を拡大または、縮小することによって、画像サイズを合わせることも考えられるが、所望の精度で２つの画像サイズを合わせることが困難な場合があった。さらに、ＲＧＢ画像の撮影と、マルチバンド画像の撮影とにおいて、異なる傾きで撮影する場合があった。これらの場合、従来の方法のように、マルチバンド画像における歯牙の形状に着目しても、マルチバンド画像における歯牙に対応する、ＲＧＢ画像の歯牙を正確に抽出できない場合があった。具体的には、マルチバンド画像の歯牙画像が、ＲＧＢ画像上で、歯牙とは異なる部位、例えば、歯肉などとマッチングされるという問題があった。 When the color correction method shown in Patent Document 1 is used in a dentistry field, a dentition image of an RGB image and a tooth image of a multiband image are used. In this case, the tooth image of the multiband image is used for pattern matching as a template image for color correction. That is, it is necessary to associate the tooth image of the multiband image with the tooth included in the dentition image of the RGB image. However, the RGB image size and the multiband image may have different tooth image sizes. In addition, it is conceivable to adjust the image size by enlarging or reducing one of the images, but it may be difficult to match the two image sizes with desired accuracy. Furthermore, there have been cases in which RGB images and multiband images are taken with different inclinations. In these cases, even if attention is paid to the tooth shape in the multiband image as in the conventional method, the tooth of the RGB image corresponding to the tooth in the multiband image may not be accurately extracted. Specifically, there is a problem that the tooth image of the multiband image is matched with a part different from the tooth, for example, gums, on the RGB image.

本発明は、このような事情を考慮し、上記の問題を解決すべくなされたもので、その目的は、色補正の基準となる領域を用いて、取得された画像を色補正する場合、取得された画像上における、色補正の基準となる領域に対応する対象領域を正確に抽出することが可能な画像処理装置、及び、画像処理方法を提供することにある。 The present invention has been made in consideration of such circumstances, and has been made to solve the above-described problem. The object of the present invention is to obtain an image when the obtained image is color-corrected using a region serving as a color correction reference. It is an object of the present invention to provide an image processing apparatus and an image processing method capable of accurately extracting a target region corresponding to a region serving as a reference for color correction on a processed image.

上記問題を解決するために、本発明の画像処理装置は、取得された第１画像を色補正する画像処理装置において、前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成手段と、前記ヒストグラム情報に基づいて、前記色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出領域として設定する色補正係数算出領域設定手段と、を備えたことを特徴とする画像処理装置である。 In order to solve the above problem, an image processing apparatus according to the present invention is an image processing apparatus that performs color correction on an acquired first image, based on color data of each pixel constituting the first image. Histogram information generation means for generating histogram information in an image, and a color correction coefficient calculation area for setting, as a color correction coefficient calculation area, a pixel on the first image in which the color data is included in a predetermined range based on the histogram information An image processing apparatus comprising: setting means.

また、本発明の画像処理装置において、前記各画素の色データは、複数の色に関する色データであり、前記ヒストグラム情報生成手段は、前記第１画像の各画素が有する複数の色データのうち、いずれかの色に関する色データのヒストグラム情報を生成することが好ましい。 Further, in the image processing apparatus of the present invention, the color data of each pixel is color data relating to a plurality of colors, and the histogram information generation unit includes a plurality of color data included in each pixel of the first image. It is preferable to generate histogram information of color data relating to any color.

また、前記色データは、輝度値であり、前記ヒストグラム情報は、前記第１画像が有する全画素についての前記輝度値と、該輝度値を示す画素の総画素数と、の情報であり、前記色補正係数算出領域設定手段は、前記ヒストグラム情報に基づいて、前記第１画像の平均輝度値を算出し、前記第１画像上の画素のうち前記平均輝度値より大きな輝度値を有する画素、又は、前記平均輝度値より小さな輝度値を有する画素のいずれか一方を前記色補正係数算出対象領域として設定することが好ましい。 Further, the color data is a luminance value, and the histogram information is information on the luminance value for all the pixels included in the first image and the total number of pixels indicating the luminance value, A color correction coefficient calculation region setting unit calculates an average luminance value of the first image based on the histogram information, and a pixel having a luminance value larger than the average luminance value among pixels on the first image, or Preferably, any one of the pixels having a luminance value smaller than the average luminance value is set as the color correction coefficient calculation target region.

また、本発明の画像処理装置は、前記ヒストグラム情報生成手段が、前記第１画像の各画素が有するＲＧＢ表色系の色データのうち、緑の色データのヒストグラム情報を前記第１画像から生成することが好ましい。 In the image processing apparatus of the present invention, the histogram information generation unit generates, from the first image, histogram information of green color data among RGB color system color data of each pixel of the first image. It is preferable to do.

また、本発明の画像処理装置は、前記色補正係数算出領域における画素の色データと、前記第１画像の色補正の基準となる第２画像に含まれる目標色データとの対応関係を算出する補正係数算出手段と、前記補正係数算出手段が算出する対応関係に基づき、前記第１画像の色補正を施す色補正手段とをさらに備えることが好ましい。 The image processing apparatus of the present invention calculates a correspondence relationship between pixel color data in the color correction coefficient calculation region and target color data included in a second image serving as a reference for color correction of the first image. It is preferable to further include a correction coefficient calculation unit and a color correction unit that performs color correction of the first image based on the correspondence relationship calculated by the correction coefficient calculation unit.

また、本発明の画像処理方法は、取得された第１画像を色補正する画像処理方法であって、前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成過程と、前記ヒストグラム情報に基づいて、前記第１画像の色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出対象領域として設定する色補正係数算出領域設定過程とを有することを特徴とする。 Further, the image processing method of the present invention is an image processing method for correcting the color of the acquired first image, and the histogram information in the first image is based on the color data of each pixel constituting the first image. A histogram information generation process for generating a color correction coefficient, and based on the histogram information, color correction coefficient calculation for setting a pixel on the first image in which the color data of the first image is included in a predetermined range as a color correction coefficient calculation target area And an area setting process.

本発明によれば、色補正の基準となる領域を用いて、取得された画像を色補正する場合、画像上における色補正の基準となる領域に対応する領域を正確に抽出することができるという効果を奏する。 According to the present invention, when color correction is performed on an acquired image using a region serving as a reference for color correction, a region corresponding to a region serving as a reference for color correction on the image can be accurately extracted. There is an effect.

以下、本発明の一実施形態による画像処理システムを図面を参照して説明する。
図１は、本実施形態による画像処理システムを示す概略ブロック図である。画像処理システムは、ＲＧＢ画像入力部１０、測色画像入力部２０、クレードル３０、表示部２００、及び、画像処理装置１００とからなる。 An image processing system according to an embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic block diagram showing the image processing system according to the present embodiment. The image processing system includes an RGB image input unit 10, a colorimetric image input unit 20, a cradle 30, a display unit 200, and an image processing apparatus 100.

次に、各装置の内部構成について説明する。
ＲＧＢ画像入力部１０は、例えば、デジタルカメラや、スキャナ装置などを用いた撮影によって取得されたＲＧＢ画像データを、クレードル３０を介して、画像処理装置１００に入力する。ここで、ＲＧＢ画像データは、１画素ごとに、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの輝度値を有する画像データである。また、本実施形態において、色データとは、定量的に表された色の度合いを示す色ごとの値である。例えば、ＲＧＢ表色系において、赤の輝度値、緑の輝度値、青の輝度値の３つの色データがある。本実施形態において、ＲＧＢ画像データとは図２に示すように、撮影対象である患者の歯列がほぼ中央に配置されている画像として説明する。
また、ＲＧＢ画像の取り込みの際は、撮影対象が、自然光、あるいは室内光等により照明された状態で撮影される。すなわち、ＲＧＢ画像は、撮影される環境によって、照明条件が異なる。 Next, the internal configuration of each device will be described.
The RGB image input unit 10 inputs, for example, RGB image data acquired by photographing using a digital camera, a scanner device, or the like to the image processing apparatus 100 via the cradle 30. Here, the RGB image data is image data having three luminance values of red (R), green (G), and blue (B) for each pixel. In the present embodiment, the color data is a value for each color indicating the degree of color expressed quantitatively. For example, in the RGB color system, there are three color data of a red luminance value, a green luminance value, and a blue luminance value. In the present embodiment, the RGB image data will be described as an image in which the dentition of the patient to be imaged is arranged substantially at the center, as shown in FIG.
In addition, when capturing RGB images, a subject to be photographed is photographed in a state of being illuminated by natural light or room light. That is, the illumination condition of the RGB image varies depending on the environment in which the image is captured.

測色画像入力部２０は、マルチバンド撮影によるマルチバンド画像データを、クレードル３０を介して画像処理装置１００に入力する。ここで、マルチバンド撮影とは、７種類の波長帯域の照明光（７色の照明光）を被写体（患者の歯）に順次照射して、７枚の被写体分光画像を静止画として取り込む撮影を指す。
本実施形態において、マルチバンド画像データとは図３に示すように、撮影対象である患者の歯列のいずれかの歯牙がほぼ中央に配置されている画像として説明する。以下、ＲＧＢ画像データ、マルチバンド画像データを総称して、画像データと記載する。
クレードル３０はＲＧＢ画像入力部１０と測色画像入力部２０とに電気的に接続することが可能であり、ＲＧＢ画像入力部１０及び測色画像入力部２０と画像処理装置１００とを接続する。 The colorimetric image input unit 20 inputs multiband image data obtained by multiband imaging to the image processing apparatus 100 via the cradle 30. Here, multi-band imaging refers to imaging in which seven types of spectral images are captured as still images by sequentially irradiating a subject (patient's teeth) with illumination light in seven types of wavelength bands (seven colors of illumination light). Point to.
In the present embodiment, the multiband image data is described as an image in which one of the teeth of a patient's dentition to be imaged is arranged substantially at the center, as shown in FIG. Hereinafter, RGB image data and multiband image data are collectively referred to as image data.
The cradle 30 can be electrically connected to the RGB image input unit 10 and the colorimetric image input unit 20, and connects the RGB image input unit 10 and colorimetric image input unit 20 to the image processing apparatus 100.

画像処理装置１００は、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistants：情報携帯端末）、携帯電話などのコンピュータ端末であり、画像記憶部１１０、補正係数演算部１２０、及び、ＲＧＢ色補正部１３０とを備える。
画像記憶部１１０は、入力されるＲＧＢ画像データと、マルチバンド画像データとを記憶する。ＲＧＢ画像データには、色補正対象となる歯列、***、歯肉茎等の情報が含まれている。また、マルチバンド画像データには、測色対象となる歯牙のほか、隣の歯牙や歯肉茎等の情報が含まれている。 The image processing apparatus 100 is a computer terminal such as a personal computer, a PDA (Personal Digital Assistants: information portable terminal), or a mobile phone, and includes an image storage unit 110, a correction coefficient calculation unit 120, and an RGB color correction unit 130. Is provided.
The image storage unit 110 stores input RGB image data and multiband image data. The RGB image data includes information such as a dentition, a lip, and a gingival stalk that are color correction targets. Further, the multiband image data includes not only the tooth to be colorimetric but also information on the adjacent tooth and gum gum.

補正係数演算部１２０は、ＲＧＢ画像データの被写体の色と、マルチバンド画像データの被写体の色との対応関係を示す補正係数の算出を行う。補正係数演算部１２０は、歯牙領域抽出部１２１、参照領域抽出部１２４、平均値算出部１２５、及び、補正係数算出部１２６とを備える。
歯牙領域抽出部１２１は、ＲＧＢ画像データから歯牙領域の抽出を行う。具体的には、ＲＧＢ画像データ内の各画素のＧ成分の色データの示す値が、所定範囲に含まれる場合に、歯牙領域抽出部１２１は、その色データに係る画素が歯牙領域内の画素として抽出する。歯牙領域抽出部１２１は、ヒストグラム生成部１２２と輝度範囲算出部１２３とを備える。
ヒストグラム生成部１２２は、ＲＧＢ画像データの全画素について、Ｇ成分の輝度値の度数分布情報、すなわち、ヒストグラム情報を生成する。ここで、ヒストグラム情報とは、色補正対象の画像データ中における輝度値ごとの、当該輝度値に係る画素の総画素数、すなわち、度数と、当該輝度値とからなる情報である。
このヒストグラム情報に基づき、例えば、図４に示すように、横軸に輝度値、縦軸に頻度をとるグラフであるヒストグラムを生成することが可能となる。 The correction coefficient calculation unit 120 calculates a correction coefficient indicating the correspondence between the subject color of the RGB image data and the subject color of the multiband image data. The correction coefficient calculation unit 120 includes a tooth region extraction unit 121, a reference region extraction unit 124, an average value calculation unit 125, and a correction coefficient calculation unit 126.
The tooth region extraction unit 121 extracts a tooth region from the RGB image data. Specifically, when the value indicated by the color data of the G component of each pixel in the RGB image data is included in a predetermined range, the tooth region extraction unit 121 determines that the pixel related to the color data is a pixel in the tooth region. Extract as The tooth region extraction unit 121 includes a histogram generation unit 122 and a luminance range calculation unit 123.
The histogram generation unit 122 generates frequency distribution information of the luminance value of the G component, that is, histogram information, for all the pixels of the RGB image data. Here, the histogram information is information including the total number of pixels related to the luminance value, that is, the frequency and the luminance value for each luminance value in the image data to be color corrected.
Based on this histogram information, for example, as shown in FIG. 4, it is possible to generate a histogram that is a graph with luminance values on the horizontal axis and frequencies on the vertical axis.

輝度範囲算出部１２３は、ＲＧＢ画像データから、歯牙領域を算出する。すなわち、輝度範囲算出部１２３は、ヒストグラム生成部１２２が生成するヒストグラム情報のうち、所定範囲の輝度値を歯牙領域として設定する。
ここで、所定範囲とは、画像データの信号値が全体的に増加又は減少する場合を勘案し、画像内の各画素のデータの統計量（平均値と標準偏差）に基づいて設定する。例えば、ＲＧＢ画像を取得する撮影装置に外光が入射する場合には、Ｒ値、Ｇ値、Ｂ値がそれぞれ異なる変化をして全体としてＲＧＢ値が変化する場合がある。また、撮影条件によっては、画像データの信号値が全体的に上昇あるいは、下降する場合がある。このような場合にも、所定範囲が固定されていると、抽出されるべき領域が歯牙領域として認識されないことがある。そのため、各画素のデータの統計量に基づいて抽出すべき所定範囲を設定することにより、歯牙領域を正確に認識することができるようになる。 The luminance range calculation unit 123 calculates a tooth region from the RGB image data. That is, the luminance range calculation unit 123 sets a predetermined range of luminance values as the tooth region in the histogram information generated by the histogram generation unit 122.
Here, the predetermined range is set based on the statistics (average value and standard deviation) of the data of each pixel in the image in consideration of the case where the signal value of the image data increases or decreases as a whole. For example, when external light is incident on a photographing apparatus that acquires an RGB image, the R value, the G value, and the B value may change differently, and the RGB value may change as a whole. Further, depending on the shooting conditions, the signal value of the image data may rise or fall as a whole. Even in such a case, if the predetermined range is fixed, the region to be extracted may not be recognized as a tooth region. Therefore, the tooth region can be accurately recognized by setting a predetermined range to be extracted based on the statistics of the data of each pixel.

参照領域抽出部１２４は、マルチバンド画像データから、歯牙を含む参照領域の抽出を行う。具体的な抽出方法については後述する。
平均値算出部１２５は、歯牙領域抽出部１２１が抽出したＲＧＢ画像データの歯牙領域の色データの平均値を算出する。この平均値を第１平均値と定義する。また、平均値算出部１２５は、参照領域抽出部１２４が抽出したマルチバンド画像データの参照領域の色データの平均値を算出する。この平均値を第２平均値と定義する。
補正係数算出部１２６は、平均値算出部１２５が算出した第１平均値と第２平均値とに基づき、ＲＧＢ画像データをマルチバンド画像データの色に対応させる補正係数を算出する。具体的な算出方法については後述する。 The reference area extraction unit 124 extracts a reference area including a tooth from the multiband image data. A specific extraction method will be described later.
The average value calculation unit 125 calculates the average value of the color data of the tooth region of the RGB image data extracted by the tooth region extraction unit 121. This average value is defined as the first average value. Further, the average value calculation unit 125 calculates the average value of the color data of the reference region of the multiband image data extracted by the reference region extraction unit 124. This average value is defined as the second average value.
The correction coefficient calculation unit 126 calculates a correction coefficient that associates the RGB image data with the color of the multiband image data based on the first average value and the second average value calculated by the average value calculation unit 125. A specific calculation method will be described later.

ＲＧＢ色補正部１３０は、補正係数算出部１２６が算出した補正係数に基づき、ＲＧＢ画像データの色補正処理を行う。
表示部２００は、ＣＲＴ（cathode ray tube）やＬＣＤ（liquid crystal display）などのディスプレイが適用され、ＲＧＢ画像データ、マルチバンド画像データなどの画像や情報などを表示する。 The RGB color correction unit 130 performs color correction processing of RGB image data based on the correction coefficient calculated by the correction coefficient calculation unit 126.
The display unit 200 is a display such as a cathode ray tube (CRT) or a liquid crystal display (LCD), and displays images and information such as RGB image data and multiband image data.

次に、本発明の一実施形態による画像処理システムの動作について、図を用いて説明する。図５は、本実施形態による動作例を示す図面である。
ＲＧＢ画像入力部１０は、色補正対象のＲＧＢ画像データに対し、事前に以下に示す第１の色補正処理を行う。そして、ＲＧＢ画像入力部１０は、第１の色補正処理を施したＲＧＢ画像データを、クレードル３０を介して画像処理装置１００の画像記憶部１１０に書き込む（ステップＳ１）。 Next, the operation of the image processing system according to the embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a diagram illustrating an operation example according to the present embodiment.
The RGB image input unit 10 performs the following first color correction process on the RGB image data to be color corrected in advance. Then, the RGB image input unit 10 writes the RGB image data subjected to the first color correction process into the image storage unit 110 of the image processing apparatus 100 via the cradle 30 (step S1).

第１の色補正処理を行うのは、ガンマ補正、彩度強調、エッジ強調等の画像処理が施されていないＲＧＢ画像データ（ＲＡＷ画像データ）を用いた場合、暗く、非常に見づらいＲＧＢ画像が、表示部２００に表示されるからである。
これを回避するため、ＲＧＢ画像入力部１０は、固定マトリクスをＲＡＷ画像データに乗算する方法を用いる。たとえば、（式１）に示されるａ１１〜ａ３３の３行３列の行列によって第１の色補正処理を行う方法がある。ここで、Ｒ´、Ｇ´、Ｂ´は、第１の色補正処理後のＲ、Ｇ、Ｂの輝度値を示す。また、ａ１１〜ａ３３は、前述した固定マトリクスを示す。
上述の通り、ＲＧＢ画像データは、外光の影響を受けている。このため、固定マトリクスではなく、撮影環境を考慮したマトリクスをＲＡＷ画像データに乗算することが望ましい。しかしながら、撮影環境を考慮したマトリクスを正確に選択することは、困難である。そこで、色補正としては十分ではないが、撮影環境を考慮せずにＲＡＷ画像データに一律に固定マトリクスを乗算する。固定マトリクスとしては、例えば、Ｄ６５照明光源で撮影されたことを想定して作成されたマトリクスを用いることができる。このような固定マトリクスを予め設定しておくことで、第１の色補正処理後に表示部２００に表示される画像は、歯科医師が視認可能となる程度に明るくなる。 The first color correction processing is performed when RGB image data (RAW image data) that has not been subjected to image processing such as gamma correction, saturation enhancement, and edge enhancement is used. This is because it is displayed on the display unit 200.
In order to avoid this, the RGB image input unit 10 uses a method of multiplying the RAW image data by a fixed matrix. For example, there is a method of performing the first color correction process using a 3 × 3 matrix of a11 to a33 shown in (Equation 1). Here, R ′, G ′, and B ′ indicate the luminance values of R, G, and B after the first color correction processing. Moreover, a11-a33 shows the fixed matrix mentioned above.
As described above, RGB image data is affected by external light. For this reason, it is desirable to multiply the RAW image data not by a fixed matrix but by a matrix in consideration of the shooting environment. However, it is difficult to accurately select a matrix in consideration of the shooting environment. Therefore, although not sufficient for color correction, the RAW image data is uniformly multiplied by a fixed matrix without taking the photographing environment into consideration. As the fixed matrix, for example, a matrix created on the assumption that the image is taken with a D65 illumination light source can be used. By setting such a fixed matrix in advance, the image displayed on the display unit 200 after the first color correction processing becomes bright enough to be visible to the dentist.

画像記憶部１１０にＲＧＢ画像データが書き込まれると、ヒストグラム生成部１２２は、ＲＧＢ画像データを画像記憶部１１０から読み出し、ＲＧＢ画像データにおいて所定領域を設定する。例えば、所定領域として、ＲＧＢ画像データの縦横比が所定比率となる矩形の領域を切り出す。図２に示すＲＧＢ画像データ例のように、ＲＧＢ画像データの縦横比が５０％などとしてもよい。このように、切り出す所定領域を予め設定することで、歯列に対応する画素が多く存在する領域を抽出することができる。 When the RGB image data is written in the image storage unit 110, the histogram generation unit 122 reads the RGB image data from the image storage unit 110, and sets a predetermined area in the RGB image data. For example, a rectangular area in which the aspect ratio of the RGB image data is a predetermined ratio is cut out as the predetermined area. As in the RGB image data example shown in FIG. 2, the aspect ratio of the RGB image data may be 50%. In this way, by setting the predetermined region to be cut out in advance, it is possible to extract a region where there are many pixels corresponding to the dentition.

設定した歯列を含む領域において、ヒストグラム生成部１２２は、ＲＧＢ画像データのＧ成分のヒストグラム情報を生成する。ヒストグラム生成部１２２は、生成したヒストグラム情報と、設定した領域情報と、読み出したＲＧＢ画像データとを含む輝度範囲算出命令信号を輝度範囲算出部１２３に出力する（ステップＳ２）。ここで、領域情報とは、歯列を含む領域の範囲を示す情報である。歯列を含む領域を識別することが可能であれば、例えば、矩形範囲の開始点の座標と、終着点の座標との二点の座標情報などを領域情報とすることが可能である。 In the region including the set dentition, the histogram generator 122 generates histogram information of the G component of the RGB image data. The histogram generation unit 122 outputs a luminance range calculation command signal including the generated histogram information, the set region information, and the read RGB image data to the luminance range calculation unit 123 (step S2). Here, the region information is information indicating the range of the region including the dentition. If it is possible to identify a region including a dentition, for example, coordinate information of two points including the coordinates of the start point of the rectangular range and the coordinates of the end point can be used as the region information.

輝度範囲算出部１２３は、入力された輝度範囲算出命令信号を受けて、ヒストグラム情報に基づき、歯列を含む領域のＲＧＢ画像データのＧ成分の第１の平均輝度値ｇ１を算出する（ステップＳ３）。図６は、歯列を含む領域のＲＧＢ画像データのＧ成分のヒストグラムにおける平均輝度値ｇ１を示す図である。
ここで、平均輝度値ｇ１以下の輝度範囲を輝度範囲９００、平均輝度値ｇ１を超える輝度範囲を輝度範囲９０１とする。輝度範囲９００は、歯牙以外の撮影対象が多く含まれる輝度値の範囲である。輝度範囲９０１は、歯牙が含まれる輝度値の範囲である。
次に、輝度範囲算出部１２３は、歯列を含む領域において、図７に示すように、第２の平均輝度値ｇ２を算出する（ステップＳ４）。
ここで、平均輝度値ｇ１及びｇ２の算出方法は、（式２）に示されるように、算出対象のヒストグラム情報に基づき、輝度値と、当該輝度に係る画素の度数とを乗算し、乗算した値をすべての輝度値について加算し、加算した値を全画素数で除算することにより算出する。 The luminance range calculation unit 123 receives the input luminance range calculation command signal, and calculates the first average luminance value g1 of the G component of the RGB image data in the region including the dentition based on the histogram information (Step S3). ). FIG. 6 is a diagram illustrating an average luminance value g1 in the histogram of the G component of the RGB image data in the region including the dentition.
Here, a luminance range equal to or lower than the average luminance value g1 is a luminance range 900, and a luminance range exceeding the average luminance value g1 is a luminance range 901. The luminance range 900 is a luminance value range in which many imaging objects other than teeth are included. The luminance range 901 is a luminance value range in which teeth are included.
Next, as shown in FIG. 7, the luminance range calculation unit 123 calculates the second average luminance value g2 in the region including the dentition (step S4).
Here, as shown in (Equation 2), the calculation method of the average luminance values g1 and g2 is obtained by multiplying the luminance value by the frequency of the pixel related to the luminance based on the histogram information to be calculated. The value is added for all luminance values, and the added value is divided by the total number of pixels.

これにより、図７に示された平均輝度値ｇ１以下の輝度範囲９００、すなわち、歯牙ではない歯肉や***などが多く含まれる画素を簡便に除外することが可能となる。
次に、図７に示すように、輝度範囲算出部１２３は、輝度範囲９０１におけるヒストグラム情報と、平均輝度値ｇ２とから算出する標準偏差σに基づき、輝度範囲９０２を算出する。具体的には、輝度範囲算出部１２３は、（式３）を満たすＧ成分の輝度値ｇの範囲を算出し、算出した範囲を輝度範囲９０２とする。 This makes it possible to easily exclude a luminance range 900 that is equal to or lower than the average luminance value g1 shown in FIG. 7, that is, pixels that include a large amount of non-toothed gums, lips, and the like.
Next, as illustrated in FIG. 7, the luminance range calculation unit 123 calculates the luminance range 902 based on the standard deviation σ calculated from the histogram information in the luminance range 901 and the average luminance value g2. Specifically, the luminance range calculation unit 123 calculates the range of the luminance value g of the G component that satisfies (Expression 3), and sets the calculated range as the luminance range 902.

（式３）を満たすＧ成分の輝度値ｇの範囲は、図８に示す歯列の領域となる。ここで、下限を設定することにより、歯肉に対応する画素の部分を取り除くことが可能となる。また、上限を設定することにより、歯牙において、正反射の画素の部分を取り除くことが可能となる。このため、歯牙に対応する画素の部分を抽出することが可能となる効果がある。
輝度範囲算出部１２３は、輝度範囲９０２に含まれる画素を、歯牙領域として抽出する（ステップＳ５）。そして、抽出した歯牙領域の座標情報と、ＲＧＢ画像データとを含む補正対象画像についての平均ＲＧＢ値算出命令信号を平均値算出部１２５に出力する（ステップＳ６）。
平均値算出部１２５は、入力された平均ＲＧＢ値算出命令信号を受けて、ＲＧＢ画像データにおいて、入力された歯牙領域に対応する全画素の色成分ごとの平均輝度値を算出する。すなわち、平均値算出部１２５は、Ｒ成分の平均輝度値ｒ３、Ｇ成分の平均輝度値ｇ３、Ｂ成分の平均輝度値ｂ３からなるＲＧＢ画像データの歯牙領域における平均のＲＧＢ値を算出する（ステップＳ７）。
以上のステップＳ１からＳ７までの動作が、ＲＧＢ画像データの第２の色補正処理を行う際に用いる、補正係数を算出するまでに行う処理である。 The range of the luminance value g of the G component that satisfies (Expression 3) is a region of the dentition shown in FIG. Here, by setting the lower limit, it is possible to remove the pixel portion corresponding to the gingiva. In addition, by setting an upper limit, it is possible to remove a regular reflection pixel portion from the tooth. For this reason, there is an effect that a pixel portion corresponding to a tooth can be extracted.
The luminance range calculation unit 123 extracts pixels included in the luminance range 902 as tooth regions (step S5). And the average RGB value calculation command signal about the correction object image containing the coordinate information of the extracted tooth area | region and RGB image data is output to the average value calculation part 125 (step S6).
The average value calculation unit 125 receives the input average RGB value calculation command signal and calculates an average luminance value for each color component of all pixels corresponding to the input tooth region in the RGB image data. That is, the average value calculation unit 125 calculates an average RGB value in the tooth region of the RGB image data including the average luminance value r3 of the R component, the average luminance value g3 of the G component, and the average luminance value b3 of the B component (step S7).
The operations from step S1 to step S7 described above are processing performed until the correction coefficient used for performing the second color correction processing of the RGB image data is calculated.

次に、測色画像であるマルチバンド画像データの画像処理の動作について説明する。
測色画像入力部２０は、分光画像撮影装置等によって撮影されたマルチバンド画像データに対し、ＲＧＢ変換処理を行う。その際、表示部２００の特性や、マルチバンド撮影の際の照明条件、カメラの特性等が考慮される。このＲＧＢ変換処理が施されたマルチバンド画像データを、測色画像入力部２０は、クレードル３０を介して画像記憶部１１０に書き込む（ステップＳ８）。このマルチバンド画像データには、ＲＧＢ画像における、輝度範囲９０２が有する色データの、色補正の目標値となる目標色データが含まれている。 Next, an image processing operation of multiband image data that is a colorimetric image will be described.
The colorimetric image input unit 20 performs RGB conversion processing on multiband image data captured by a spectral image capturing apparatus or the like. At that time, characteristics of the display unit 200, illumination conditions for multiband imaging, camera characteristics, and the like are taken into consideration. The colorimetric image input unit 20 writes the multiband image data subjected to the RGB conversion processing to the image storage unit 110 via the cradle 30 (step S8). This multiband image data includes target color data that is a target value for color correction of the color data of the luminance range 902 in the RGB image.

次に、画像記憶部１１０にマルチバンド画像データが書き込まれると、参照領域抽出部１２４は、マルチバンド画像データを画像記憶部１１０から読み出し、歯牙を含む参照領域を抽出する（ステップＳ９）。図３に示されるように、マルチバンド画像は、予め、患者の歯牙のいずれかが画像の中央に配置されるように撮影される。このため、マルチバンド画像の中央に、図３に示されるように所定の矩形の参照領域を設定することが可能である。この参照領域は、図３のマルチバンド画像であれば、中央に、縦横比が所定比率となる矩形の参照領域としてもよい。また、矩形の領域として設定する場合、図３に示すマルチバンド画像例のように、例えば、参照領域の縦横比が１０％などとしてもよい。また、照明光によって歯牙が正反射する領域を参照領域から除く処理を施してもよい。 Next, when the multiband image data is written in the image storage unit 110, the reference region extraction unit 124 reads the multiband image data from the image storage unit 110, and extracts a reference region including a tooth (step S9). As shown in FIG. 3, the multiband image is captured in advance so that one of the patient's teeth is placed in the center of the image. Therefore, it is possible to set a predetermined rectangular reference area at the center of the multiband image as shown in FIG. In the case of the multiband image of FIG. 3, this reference area may be a rectangular reference area having a predetermined aspect ratio in the center. When setting as a rectangular area, the aspect ratio of the reference area may be 10%, for example, as in the example of the multiband image shown in FIG. Moreover, you may perform the process which removes from the reference area | region the tooth | gear regularly reflected by illumination light.

参照領域抽出部１２４は、抽出したマルチバンド画像データの歯牙を含む領域を示す参照領域の座標情報と、マルチバンド画像データとを含むマルチバンド画像についての平均ＲＧＢ値算出命令信号を平均値算出部１２５に出力する（ステップＳ１０）。
平均値算出部１２５は、入力された平均ＲＧＢ値算出命令信号を受けて、マルチバンド画像データにおいて、入力された参照領域に対応する全画素の色成分ごとの平均輝度値を算出する。すなわち、平均値算出部１２５は、Ｒ成分の平均輝度値ｒ４、Ｇ成分の平均輝度値ｇ４、Ｂ成分の平均輝度値ｂ４からなる参照領域における平均のＲＧＢ値を算出する（ステップＳ１１）。
平均値算出部１２５は、ＲＧＢ画像データと、マルチバンド画像データとにおいて、算出した平均のＲＧＢ値と、ＲＧＢ画像データとを含む補正係数算出命令信号を補正係数算出部１２６に出力する（ステップＳ１２）。 The reference area extraction unit 124 calculates the average RGB value calculation command signal for the multiband image including the coordinate information of the reference area indicating the area including the tooth of the extracted multiband image data and the multiband image data. It outputs to 125 (step S10).
The average value calculation unit 125 receives the input average RGB value calculation command signal, and calculates an average luminance value for each color component of all pixels corresponding to the input reference area in the multiband image data. That is, the average value calculation unit 125 calculates an average RGB value in the reference region including the average luminance value r4 of the R component, the average luminance value g4 of the G component, and the average luminance value b4 of the B component (step S11).
The average value calculation unit 125 outputs a correction coefficient calculation command signal including the calculated average RGB value and RGB image data in the RGB image data and the multiband image data to the correction coefficient calculation unit 126 (step S12). ).

補正係数算出部１２６は、入力された補正係数算出命令信号を受けて、（式４）に基づき、マルチバンド画像データの参照領域における平均のＲＧＢ値をＲＧＢ画像データの歯牙領域の平均のＲＧＢ値で除算する。これにより、補正係数算出部１２６は、参照領域と、歯牙領域とのＲＧＢ値の比である補正係数ｃを算出する（ステップＳ１３）。そして、補正係数算出部１２６は、算出した補正係数ｃと、ＲＧＢ画像データと含むＲＧＢ色補正命令信号をＲＧＢ色補正部１３０に出力する（ステップＳ１４）。 The correction coefficient calculation unit 126 receives the input correction coefficient calculation command signal, and converts the average RGB value in the reference area of the multiband image data to the average RGB value of the tooth area in the RGB image data based on (Equation 4). Divide by. As a result, the correction coefficient calculation unit 126 calculates a correction coefficient c that is a ratio of RGB values of the reference area and the tooth area (step S13). Then, the correction coefficient calculation unit 126 outputs the calculated correction coefficient c and the RGB color correction command signal including the RGB image data to the RGB color correction unit 130 (step S14).

ＲＧＢ色補正部１３０は、入力されたＲＧＢ色補正命令信号を受けて、全画素のＲＧＢ画像データのＲＧＢ値に対し、補正係数算出部１２６が算出した色補正係数ｃを乗算することにより、第２の色補正処理を行う（ステップＳ１５）。
ＲＧＢ色補正部１３０は、第２の色補正処理を行った補正済ＲＧＢ画像データを含む画像表示命令信号を表示部２００に出力する（ステップＳ１６）。表示部２００は、画像表示命令信号に基づき、補正済ＲＧＢ画像データによるＲＧＢ画像を出力する（ステップＳ１７）。 The RGB color correction unit 130 receives the input RGB color correction command signal and multiplies the RGB values of the RGB image data of all the pixels by the color correction coefficient c calculated by the correction coefficient calculation unit 126, thereby 2 color correction processing is performed (step S15).
The RGB color correction unit 130 outputs an image display command signal including the corrected RGB image data subjected to the second color correction process to the display unit 200 (step S16). The display unit 200 outputs an RGB image based on the corrected RGB image data based on the image display command signal (step S17).

以上説明した実施形態において、ステップＳ１からＳ５の処理により、色補正の基準となる領域を用いて、取得された画像を色補正する場合、取得された画像上における、色補正の基準となる領域に対応する領域を正確に抽出することができる。すなわち、ヒストグラム生成部１２２は、ＲＧＢ画像を構成する各画素のＲＧＢ画像データに基づいて、ＲＧＢ画像におけるヒストグラム情報を生成することができる。また、輝度範囲算出部１２３は、ヒストグラム情報に基づいて、輝度値が所定範囲に含まれるＲＧＢ画像上の画素を、歯牙領域として設定することができる。例えば、口腔内を撮影したＲＧＢ画像には、歯牙の領域が多く含まれている。このため、ＲＧＢ画像におけるＲＧＢ画像データのヒストグラム情報の一部に、歯牙領域に対応する所定範囲の輝度値を示す画素が集中する。そして、輝度値が所定値に含まれる画素を、歯牙領域として設定することができる。これにより。ＲＧＢ画像と、マルチバンド画像とにおいて、歯牙の画像サイズが異なる場合も、マルチバンド画像における参照領域に対応する、ＲＧＢ画像上の歯牙領域を正確に抽出することができる。また、歯牙画像の撮影と、歯列画像の撮影とにおいて、異なる傾きで撮影する場合も、歯牙領域を正確に抽出することができる。 In the embodiment described above, when color correction is performed on an acquired image using a region serving as a reference for color correction by the processing of steps S1 to S5, a region serving as a reference for color correction on the acquired image. It is possible to accurately extract a region corresponding to. That is, the histogram generation unit 122 can generate histogram information in the RGB image based on the RGB image data of each pixel constituting the RGB image. Further, the luminance range calculation unit 123 can set, as a tooth region, a pixel on an RGB image whose luminance value is included in a predetermined range based on the histogram information. For example, an RGB image obtained by photographing the oral cavity contains many tooth regions. For this reason, pixels indicating luminance values in a predetermined range corresponding to the tooth region are concentrated on a part of the histogram information of the RGB image data in the RGB image. A pixel whose luminance value is included in the predetermined value can be set as a tooth region. By this. Even when the RGB image and the multiband image have different tooth image sizes, the tooth region on the RGB image corresponding to the reference region in the multiband image can be accurately extracted. In addition, a tooth region can be accurately extracted even when photographing with different inclinations in photographing a tooth image and photographing a dentition image.

また、歯科医師は、ＲＧＢ画像上において、マルチバンド画像上の色補正の基準となる領域に対応する領域を設定する必要がない。また、歯科医師は、その領域が正反射領域に含まれるか否かの、判断をする必要がない。このため、例えば、歯科診療時における患者の歯牙撮影、歯列撮影において、歯科医師が、撮影から画像の確認までを、短時間で、煩雑な操作をすることなく行うことができる。また、輝度範囲算出部１２３は、歯科医師の主観的な判断によらず、客観的に歯牙領域を抽出することができる。このため、色補正の基準となる領域に対応する領域を正確に抽出することができる。 Further, the dentist does not need to set a region corresponding to a region for color correction on the multiband image on the RGB image. Further, the dentist does not need to determine whether or not the region is included in the regular reflection region. For this reason, for example, in dental imaging and dentition imaging of a patient at the time of dental treatment, a dentist can perform from imaging to image confirmation in a short time without complicated operations. In addition, the luminance range calculation unit 123 can objectively extract the tooth region without depending on the subjective judgment of the dentist. For this reason, it is possible to accurately extract a region corresponding to a region serving as a reference for color correction.

また、ＲＧＢ画像におけるＲＧＢ画像データの輝度値の分布範囲は、照明条件によって、同一の撮影対象であっても、撮影ごとに異なる分布範囲となる。しかしながら、輝度範囲算出部１２３は、ヒストグラム情報における輝度値の平均値に基づいて、歯牙領域を抽出する。このため、輝度範囲算出部１２３は、照明条件によらず歯牙領域を正確に抽出することができる。
また、設定した歯列を含む領域において、ヒストグラム生成部１２２は、ＲＧＢ画像データの各画素が有する色データのいずれかの色データのヒストグラム情報を生成する。これにより、ＲＧＢ画像において、色データのいずれか（例えば、ＲＧＢ色体系であれば、赤又は緑又は青のいずれか）に歯牙領域の特徴がある場合、歯牙領域を正確に抽出することができる。すなわち、ＲＧＢ画像の色補正の基準となる領域に対応する領域が有する色データの特性に応じて、ＲＧＢ画像から歯牙領域の画素を抽出することができる。 Further, the distribution range of the luminance values of the RGB image data in the RGB image becomes a different distribution range for each photographing even for the same photographing object depending on the illumination condition. However, the luminance range calculation unit 123 extracts a tooth region based on the average luminance value in the histogram information. For this reason, the brightness | luminance range calculation part 123 can extract a tooth area | region correctly irrespective of illumination conditions.
In the region including the set dentition, the histogram generation unit 122 generates histogram information of any color data of the color data included in each pixel of the RGB image data. Thereby, in the RGB image, if any of the color data (for example, red, green or blue in the case of the RGB color system) has a tooth region characteristic, the tooth region can be accurately extracted. . That is, the tooth region pixels can be extracted from the RGB image according to the characteristics of the color data of the region corresponding to the region serving as a reference for color correction of the RGB image.

また、ヒストグラム生成部１２２は、ＲＧＢ画像の色データのうち、緑の色データのヒストグラム情報をＲＧＢ画像から検出する。これにより、口腔内など、歯牙が含まれる画像を取得した場合、歯牙が含まれる画素と、それ以外の画素との区分をすることができる。すなわち、歯牙は白色に近く、歯肉や***などは、赤みを帯びている。このため、緑の色データのヒストグラム情報においては、歯肉等の輝度値は低い分布範囲をもち、歯牙の輝度値は高い分布範囲をもつ。これにより、色補正の対象となる領域に対応する領域、すなわち、ＲＧＢ画像上における歯牙領域を正確に抽出することができる。 Further, the histogram generation unit 122 detects the histogram information of the green color data from the RGB image among the color data of the RGB image. Thereby, when an image including a tooth, such as in the oral cavity, is acquired, a pixel including the tooth and a pixel other than that can be classified. That is, the teeth are almost white and the gums and lips are reddish. For this reason, in the histogram information of the green color data, the luminance values of gums and the like have a low distribution range, and the luminance values of the teeth have a high distribution range. Thereby, it is possible to accurately extract a region corresponding to a region subjected to color correction, that is, a tooth region on an RGB image.

また、ステップＳ１からＳ１７の処理により、高精度な色補正を行うことができる。すなわち、ＲＧＢ画像は、遮光された状態で撮影されていないため、外光の影響を受ける。これにより、ＲＧＢ画像データにおけるＲ値等のバランスにズレが生じる。また、ＲＧＢ画像の撮影の際に用いられるデジタルカメラ等は、製品によってスペクトル感度が異なる。そして、歯科医師が用いるデジタルカメラごとに、そのスペクトル感度を分析することは困難である。一方、マルチバンド撮影は、上記の７種類の照明光以外の外光からの影響を受けないように、遮光された状態で撮影される。また、７種類の照明光のスペクトル特性や、対象物からの反射光を受光する撮影素子のスペクトル感度等は予め正確に測定されている。このため、マルチバンド撮影によって取得されたマルチバンド画像データを色補正の基準として設定することができる。そして、上述の通り、歯牙領域抽出部１２１は、正確に歯牙領域を含む部分を抽出することができる。このため、基準となるマルチバンド画像データを基に、高精度な色補正を行うことができる。 In addition, highly accurate color correction can be performed by the processing of steps S1 to S17. That is, the RGB image is not photographed in a light-shielded state, and thus is affected by outside light. This causes a deviation in the balance of R values and the like in the RGB image data. In addition, digital cameras and the like used for taking RGB images have different spectral sensitivities depending on products. And it is difficult to analyze the spectrum sensitivity for every digital camera which a dentist uses. On the other hand, multi-band imaging is performed in a state where light is shielded so as not to be affected by external light other than the above seven types of illumination light. Further, the spectral characteristics of the seven types of illumination light, the spectral sensitivity of the imaging element that receives the reflected light from the object, and the like are accurately measured in advance. Therefore, multiband image data acquired by multiband imaging can be set as a color correction reference. And as above-mentioned, the tooth area | region extraction part 121 can extract the part containing a tooth area | region correctly. Therefore, highly accurate color correction can be performed based on the multiband image data serving as a reference.

また、ステップＳ１７において、例えば、図９に示すように、マルチバンド画像データとともに補正済ＲＧＢ画像データを表示してもよい。そして、機器操作を行う歯科医師がＲＧＢ画像における歯牙領域の設定と、マルチバンド画像における参照領域の設定とをさらに行うことにより、より高精度な色補正処理を行ってもよい。
また、本実施形態において、ＲＧＢ画像の緑、すなわち、Ｇ成分におけるヒストグラム情報によって歯牙領域の抽出を行った。しかしながら、色補正係数算出領域の画素の色データがヒストグラム情報の一部に集中する場合、例えば、ＲＧＢ画像であれば、赤、青のいずれかのヒストグラム情報によって色補正係数算出領域を抽出してもよい。 In step S17, for example, as shown in FIG. 9, corrected RGB image data may be displayed together with multiband image data. Then, the dentist who performs the device operation may further perform color correction processing with higher accuracy by further setting the tooth region in the RGB image and setting the reference region in the multiband image.
Further, in the present embodiment, the tooth region is extracted based on the histogram information of green of the RGB image, that is, the G component. However, when the color data of the pixels in the color correction coefficient calculation area is concentrated on a part of the histogram information, for example, in the case of an RGB image, the color correction coefficient calculation area is extracted using either the red or blue histogram information. Also good.

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明は、歯科用測色システムに限らず、皮膚用測色システム、さらに、他の分野として、自動車又は建物の塗装色、食料品の分光特性、絵画又は彫刻等の美術品の分光特性、衣料品の染色等を測定する測色システムにも適用が可能である。 The embodiment of the present invention has been described in detail above with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention. In addition, the present invention is not limited to a dental colorimetry system, and also includes a skin colorimetry system, and other fields such as paint colors of automobiles or buildings, spectral characteristics of foodstuffs, and spectroscopic characteristics of art objects such as paintings or sculptures. It can also be applied to colorimetric systems that measure properties, clothing dyeing, and the like.

なお、ＲＧＢ画像の撮影の際には、上述の通り、デジタルカメラ等を用いてもよいが、マルチバンド撮影に用いられる分光画像撮影装置等を用いてもよい。この際に、７種類の照明光から１以上の照明光を各種選択して、これらを順次に照射する面順次式の静止画を取得してもよい。
なお、本実施形態における輝度範囲算出部１２３は、第１の平均輝度値ｇ１と、第２の平均輝度値ｇ２と、を算出する。しかしながら、必要に応じて、あるいは、ヒストグラム情報における輝度値の分布に応じて、所望の輝度範囲を算出してもよい。 Note that, as described above, a digital camera or the like may be used when shooting an RGB image, but a spectral image shooting device or the like used for multiband shooting may be used. At this time, one or more kinds of illumination light may be selected from the seven kinds of illumination light, and a frame sequential still image for sequentially irradiating them may be acquired.
Note that the luminance range calculation unit 123 in the present embodiment calculates the first average luminance value g1 and the second average luminance value g2. However, a desired luminance range may be calculated as necessary or according to the distribution of luminance values in the histogram information.

なお、マルチバンド撮影に用いられる照明光は、７種類の波長帯域に限らず、必要に応じて選択することができる。また、マルチバンド撮影は、色補正の基準となるマルチバンド画像データを取得することができれば、上記の方法に限定されない。
なお、本実施形態においては、第１の色補正処理及び第２の色補正処理を行ったが、第１の色補正処理については、必ずしも行う必要はない。
なお、表示部２００は、ＣＲＴ（cathode ray tube）やＬＣＤ（liquid crystal display）などのディスプレイに画像の情報を表示したり、プリンタなどにより情報を印刷する機能を有していてもよい。あるいは、記憶手段へ情報を書き込んだり、ネットワークを介して接続されるコンピュータ装置へ情報を出力してもよい。 The illumination light used for multiband imaging is not limited to the seven types of wavelength bands, and can be selected as necessary. In addition, multiband imaging is not limited to the above method as long as multiband image data serving as a reference for color correction can be acquired.
In the present embodiment, the first color correction process and the second color correction process are performed. However, the first color correction process is not necessarily performed.
The display unit 200 may have a function of displaying image information on a display such as a cathode ray tube (CRT) or a liquid crystal display (LCD), or printing information using a printer or the like. Alternatively, the information may be written to the storage means or output to a computer device connected via a network.

なお、本発明に記載の画像処理装置は、画像処理装置１００に対応する。本発明に記載の第１画像は、ＲＧＢ画像データに対応する。本発明に記載のヒストグラム情報生成手段はヒストグラム生成部１２２に対応する。本発明に記載の所定範囲は符号９０２に示す範囲に対応する。本発明に記載の色補正係数算出領域は、歯牙領域に対応する。本発明に記載の色補正係数算出領域設定手段は、輝度範囲算出部１２３に対応する。本発明に記載の全画素についての輝度値の平均値は、平均輝度値ｇ１に対応する。本発明に記載の第２画像は、マルチバンド画像データから抽出される参照領域に対応する。本発明に記載の目標色データは、参照領域の色データに対応する。本発明に記載の補正係数算出手段は、補正係数算出部１２６に対応する。本発明に記載の色補正手段は、ＲＧＢ色補正部１３０に対応する。 Note that the image processing apparatus described in the present invention corresponds to the image processing apparatus 100. The first image described in the present invention corresponds to RGB image data. The histogram information generation means described in the present invention corresponds to the histogram generation unit 122. The predetermined range described in the present invention corresponds to the range indicated by reference numeral 902. The color correction coefficient calculation area described in the present invention corresponds to a tooth area. The color correction coefficient calculation region setting unit described in the present invention corresponds to the luminance range calculation unit 123. The average value of the luminance values for all the pixels described in the present invention corresponds to the average luminance value g1. The second image described in the present invention corresponds to a reference region extracted from multiband image data. The target color data described in the present invention corresponds to the color data of the reference area. The correction coefficient calculation means described in the present invention corresponds to the correction coefficient calculation unit 126. The color correction means described in the present invention corresponds to the RGB color correction unit 130.

なお、上述のＲＧＢ画像入力部１０、測色画像入力部２０、及び、画像処理装置１００は、内部にコンピュータシステムを有している。そして、画像処理装置１００の歯牙領域抽出部１２１、ヒストグラム生成部１２２、輝度範囲算出部１２３、参照領域抽出部１２４、平均値算出部１２５、補正係数算出部１２６、ＲＧＢ色補正部１３０の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されている。また、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。 The RGB image input unit 10, the colorimetric image input unit 20, and the image processing apparatus 100 described above have a computer system therein. Then, the operations of the tooth region extraction unit 121, the histogram generation unit 122, the luminance range calculation unit 123, the reference region extraction unit 124, the average value calculation unit 125, the correction coefficient calculation unit 126, and the RGB color correction unit 130 of the image processing apparatus 100 are described. The process is stored in a computer-readable recording medium in the form of a program. Further, the computer system reads out and executes this program, whereby the above processing is performed. The computer system here includes a CPU, various memories, an OS, and hardware such as peripheral devices.

図１に示す画像処理装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録してもよい。また、図５に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録してもよい。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行させてもよい。これにより、色補正対象の画像データに対し、マルチバンド画像データに基づき色補正を行う処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。 A program for realizing the functions of the image processing apparatus 100 shown in FIG. 1 may be recorded on a computer-readable recording medium. Further, a program for realizing each step shown in FIG. 5 may be recorded on a computer-readable recording medium. The program recorded on this recording medium may be read by a computer system and executed. As a result, the color correction target image data may be subjected to color correction processing based on the multiband image data. Here, the “computer system” may include an OS and hardware such as peripheral devices.

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

本発明の一実施形態による画像処理システムの全体構成を示すブロック図である。1 is a block diagram illustrating an overall configuration of an image processing system according to an embodiment of the present invention. 同実施形態によるＲＧＢ画像データ例を示す図である。It is a figure which shows the RGB image data example by the same embodiment. 同実施形態によるマルチバンド画像データ例を示す図である。It is a figure which shows the example of multiband image data by the embodiment. 同実施形態におけるＲＧＢ画像のヒストグラムの例を示す図である。It is a figure which shows the example of the histogram of the RGB image in the embodiment. 同実施形態における画像処理システムの動作フローを示す図である。It is a figure which shows the operation | movement flow of the image processing system in the embodiment. 同実施形態におけるＲＧＢ画像のヒストグラムの例を示す図である。It is a figure which shows the example of the histogram of the RGB image in the embodiment. 同実施形態におけるＲＧＢ画像のヒストグラムの例を示す図である。It is a figure which shows the example of the histogram of the RGB image in the embodiment. 同実施形態におけるＲＧＢ画像の歯牙領域の例を示す図である。It is a figure which shows the example of the tooth area | region of the RGB image in the embodiment. 同実施形態における手動による色補正処理の際に表示される画面例である。It is an example of a screen displayed in the case of the manual color correction process in the same embodiment.

符号の説明Explanation of symbols

１０ＲＧＢ画像入力部
２０測色画像入力部
３０クレードル
１００画像処理装置
１１０画像記憶部
１２０補正係数演算部
１２１歯牙領域抽出部
１２２ヒストグラム生成部
１２３輝度範囲算出部
１２４参照領域抽出部
１２５平均値算出部
１２６補正係数算出部
１３０ＲＧＢ色補正部
２００表示部 DESCRIPTION OF SYMBOLS 10 RGB image input part 20 Colorimetric image input part 30 Cradle 100 Image processing apparatus 110 Image memory | storage part 120 Correction coefficient calculating part 121 Tooth area extraction part 122 Histogram generation part 123 Luminance range calculation part 124 Reference area extraction part 125 Average value calculation part 126 correction coefficient calculation unit 130 RGB color correction unit 200 display unit

Claims

遮光されていない状態で撮影された第１画像を色補正する画像処理装置において、
前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成手段と、
前記ヒストグラム情報に基づいて、前記色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出領域として設定する色補正係数算出領域設定手段と、
前記色補正係数算出領域における画素の色データと、遮光された状態で被写体に複数の波長帯域の照明光を順次照射した撮影により得られるマルチバンド画像に含まれる目標色データとの対応関係を算出する補正係数算出手段と、
前記補正係数算出手段が算出する対応関係に基づき、前記第１画像の色補正を施す色補正手段と、
を備えたことを特徴とする画像処理装置。 In an image processing apparatus that performs color correction on a first image that is captured without being shielded from light ,
Histogram information generating means for generating histogram information in the first image based on color data of each pixel constituting the first image;
Color correction coefficient calculation area setting means for setting, as a color correction coefficient calculation area, a pixel on the first image in which the color data is included in a predetermined range based on the histogram information;
Calculates correspondence between pixel color data in the color correction coefficient calculation area and target color data included in a multiband image obtained by sequentially irradiating a subject with illumination light in a plurality of wavelength bands while being shielded from light Correction coefficient calculation means for
A color correction unit that performs color correction of the first image based on the correspondence calculated by the correction coefficient calculation unit;
An image processing apparatus comprising:

前記照明光のスペクトル特性が予め正確に測定されており、
前記マルチバンド画像は、撮像素子のスペクトル感度が予め正確に測定された撮像装置により撮影された画像であることを特徴とする請求項１に記載の画像処理装置。 The spectral characteristics of the illumination light are accurately measured in advance,
The image processing apparatus according to claim 1, wherein the multiband image is an image taken by an imaging apparatus in which a spectral sensitivity of an imaging element is accurately measured in advance .

前記マルチバンド画像から予め決められた参照領域を抽出する参照領域抽出手段と、
前記色補正係数算出領域設定手段が設定した色補正係数算出領域における画素の色データの平均である第１の平均値を算出し、前記参照領域抽出手段が抽出した参照領域における画素の色データの平均である第２の平均値を算出する平均値算出手段と、
を備え、
前記補正係数算出手段は、前記第１の平均値と前記第２の平均値とに基づいて、前記対応関係を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。 Reference area extraction means for extracting a predetermined reference area from the multiband image;
A first average value that is an average of pixel color data in the color correction coefficient calculation area set by the color correction coefficient calculation area setting unit is calculated, and the color data of the pixel in the reference area extracted by the reference area extraction unit is calculated. An average value calculating means for calculating a second average value that is an average;
With
Wherein the correction coefficient calculating means, wherein the first mean value based on the second average value, the image processing apparatus according to claim 1 or claim 2, characterized in that to calculate the corresponding relationship.

前記色補正係数算出領域設定手段は、前記ヒストグラム情報における輝度値の平均値に基づいて、前記第１画像から前記色補正係数算出領域を抽出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。 The color correction coefficient calculating region setting means, on the basis of the average value of the luminance value in the histogram information, from the first image of claims 1 to 3, characterized in that to extract the color correction coefficient calculating area The image processing apparatus according to any one of claims .

前記色補正係数算出領域は歯牙領域であり、
前記ヒストグラム情報生成手段は、第１の画像の歯列を含む領域において緑成分のヒストグラム情報を生成し、
前記色補正係数算出領域設定手段は、前記緑成分のヒストグラム情報に基づいて、輝度範囲を設定し、該輝度範囲に含まれる画素を前記歯牙領域として抽出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。 The color correction coefficient calculation area is a tooth area,
The histogram information generating means generates histogram information of a green component in a region including the dentition of the first image,
The color correction coefficient calculating region setting means, based on the histogram information of the green component, sets the luminance range, wherein the pixels included in the luminance range of claim 1, wherein the extracting as the tooth region Item 4. The image processing device according to any one of Items 3 to 3 .

遮光されていない状態で撮影された第１画像を色補正する画像処理装置が実行する画像処理方法であって、
前記第１画像を構成する各画素の色データに基づいて、前記第１画像におけるヒストグラム情報を生成するヒストグラム情報生成過程と、
前記ヒストグラム情報に基づいて、前記色データが所定範囲に含まれる前記第１画像上の画素を色補正係数算出領域として設定する色補正係数算出領域設定過程と、
前記色補正係数算出領域における画素の色データと、遮光された状態で被写体に複数の波長帯域の照明光を順次照射した撮影により得られるマルチバンド画像に含まれる目標色データとの対応関係を算出する補正係数算出過程と、
前記補正係数算出過程により算出された対応関係に基づき、前記第１画像の色補正を施す色補正過程と、
を有することを特徴とする画像処理方法。
An image processing method executed by an image processing apparatus that performs color correction on a first image that is captured without being shielded from light .
A histogram information generating step of generating histogram information in the first image based on color data of each pixel constituting the first image;
Based on the histogram information, a color correction coefficient calculation area setting process for setting a pixel on the first image in which the color data is included in a predetermined range as a color correction coefficient calculation area;
Calculates correspondence between pixel color data in the color correction coefficient calculation area and target color data included in a multiband image obtained by sequentially irradiating a subject with illumination light in a plurality of wavelength bands while being shielded from light Correction coefficient calculation process to
A color correction process for performing color correction of the first image based on the correspondence calculated by the correction coefficient calculation process;
An image processing method comprising: