JP6849708B2 - Focus scanning device that records colors - Google Patents

Description

本出願は、対象物の表面幾何学形状及び表面色の３次元(３Ｄ)走査に関する。特定の用途は、特に口腔内走査に対する歯科医療におけるものである。 The present application relates to a three-dimensional (3D) scan of the surface geometry and surface color of an object. Specific applications are in dentistry, especially for intraoral scanning.

３Ｄスキャナは当業界において広く知られており、口腔内の歯科用３Ｄスキャナもそうである(例えば、Sirona Cerec、Cadent Itero、3Shape TRIOSなど)。 3D scanners are widely known in the industry, as are intraoral dental 3D scanners (eg, Sirona Cerec, Cadent Itero, 3Shape TRIOS, etc.).

多くの用途において、表面色を記録する機能は有用である。例えば、歯科医療において、ユーザは、異なる種類の組織を区別し、または、既存の修復を検出し得る。例えば材料検査において、ユーザは、結晶化欠陥または変色の如き表面異常を検出し得る。上記のいずれも、概略的には、表面幾何学形状のみの情報からは可能でない。 In many applications, the ability to record surface color is useful. For example, in dentistry, the user may distinguish between different types of tissue or detect existing repairs. For example, in material inspection, the user can detect surface anomalies such as crystallization defects or discoloration. Neither of the above is generally possible from information on surface geometry alone.

国際特許出願公開公報WO2010/145669号は、色を記録する可能性に言及している。特に、典型的には青色、緑色及び赤色である異なる色での照明に対して各々が取り込まれた数個の順次的な画像が組み合わされて、合成カラー画像を形成している。故に、この手法は、光源の色を変化させるカラー・フィルタの如き手段を必要とする。更に、手持ち用途において、そのスキャナは、照明シーケンスの間において走査対象物に対して移動することから、合成カラー画像の品質が低下される。 International Patent Application Publication No. WO2010 / 145669 mentions the possibility of recording colors. In particular, several sequential images, each captured for illumination in different colors, typically blue, green and red, are combined to form a composite color image. Therefore, this technique requires a means such as a color filter that changes the color of the light source. Moreover, in handheld applications, the scanner moves relative to the object to be scanned during the illumination sequence, which reduces the quality of the composite color image.

米国特許第7,698,068号及び米国特許第8,102,538号(カデント社)は、一つ以上の画像センサにより幾何学形状データ及びテクスチャ・データの両方を記録する口腔内スキャナを記述している。しかし、色及び幾何学形状の記録の間には僅かな遅延が在る。米国特許第7,698,068号は合成画像を形成するために異なる色での順次的な照明を必要としているが、米国特許第8,102,538号は、第1群は幾何学形状の記録に対して使用され乍ら、可能性として、第2の照明源からの又は第2の画像センサにより記録される白色光に言及している。 U.S. Pat. No. 7,698,068 and U.S. Pat. No. 8,102,538 (Cadent) describe an intraoral scanner that records both geometry and texture data with one or more image sensors. However, there is a slight delay between the recording of colors and geometries. U.S. Pat. No. 7,698,068 requires sequential illumination in different colors to form a composite image, while U.S. Pat. No. 8,102,538 uses Group 1 for recording geometric shapes. , Possibly referring to white light recorded from a second illumination source or by a second image sensor.

国際特許出願公開公報WO2012/083967号は、２つの別体的なカメラにより幾何学形状データ及びテクスチャ・データを記録するスキャナを開示している。第1カメラは、複数の画像に基づく焦点走査を提供すべく比較的に浅い被写界深度を有するが、第2カメラは、単一画像からカラー・テクスチャ情報を提供すべく比較的に大きい被写界深度を有する。 International Patent Application Publication No. WO2012 / 083967 discloses a scanner that records geometric shape data and texture data with two separate cameras. The first camera has a relatively shallow depth of field to provide focal scanning based on multiple images, while the second camera has a relatively large depth of field to provide color texture information from a single image. It has a depth of field.

先行技術(例えば、キーエンス[Keyence]VK9700；特開2004-029373号も参照)からは、色記録用の走査式共焦点顕微鏡も知られている。２Ｄテクスチャを記録するためにカラー画像センサと共に白色光照明システムが使用される一方、レーザ光は、表面上で走査すなわち移動されてフォトマルチプライヤにより記録されるドットを形成し、各々がドットの各位置に対する多くの深度測定から幾何学形状データを提供している。移動ドットの原理は、測定される対象物が測定の間において上記顕微鏡に対して移動しないことを要することから、手持ち用途には適していない。 Scanning confocal microscopes for color recording are also known from the prior art (eg, Keyence VK9700; see also Japanese Patent Application Laid-Open No. 2004-029373). While a white light illumination system is used with a color image sensor to record 2D textures, laser light is scanned or moved on the surface to form dots recorded by a photomultiplier, each of which is a dot. Geometric shape data is provided from many depth measurements for position. The principle of moving dots is not suitable for handheld applications because it requires that the object to be measured does not move with respect to the microscope during the measurement.

本出願の一つの態様は、表面幾何学形状及び表面色が同一の捕捉済み２Ｄ画像から導出されるという、対象物の表面幾何学形状及び表面色を記録するスキャナ・システム及び方法を提供するに在る。 One aspect of the present application is to provide a scanner system and method for recording the surface geometry and surface color of an object in which the surface geometry and surface color are derived from the same captured 2D image. exist.

本出願の一つの態様は、全ての２Ｄ画像が同一のカラー画像センサを用いて捕捉されるという、対象物の表面幾何学形状及び表面色を記録するスキャナ・システムを提供するに在る。 One aspect of the present application is to provide a scanner system that records the surface geometry and surface color of an object in which all 2D images are captured using the same color image sensor.

本出願の一つの態様は、対象物の色及び幾何学形状を表す該対象物のデジタル３Ｄ表現物を生成する上で、記録された表面幾何学形状に関するデータと記録された表面色に関するデータとの整列が必要とされない様に、表面幾何学形状と表面色とに関する情報が同時的に獲得されるという、対象物の表面幾何学形状及び表面色を記録するスキャナ・システム及び方法を提供するに在る。 One aspect of the present application is to generate a digital 3D representation of the object that represents the color and geometry of the object, with data on the recorded surface geometry and data on the recorded surface color. To provide a scanner system and method for recording the surface geometry and surface color of an object in which information about the surface geometry and surface color is acquired simultaneously so that alignment is not required. exist.

対象物の表面幾何学形状及び表面色を記録するスキャナ・システムであって、
上記対象物の照明のための多色プローブ光を提供すべく構成された多色光源と、
上記対象物から受信された光の一つ以上の２Ｄ画像を捕捉する画像センサ・ピクセルのアレイを備えるカラー画像センサと、
少なくとも部分的に、上記カラー画像センサにより記録された一つの２Ｄ画像から、上記画像センサ・ピクセルの一つのブロックに対する表面幾何学形状情報及び表面色情報の両方を導出すべく構成されたデータ処理システムと、
を備える、スキャナ・システムが開示される。 A scanner system that records the surface geometry and surface color of an object.
With a multicolor light source configured to provide multicolor probe light for illuminating the object,
A color image sensor with an array of image sensor pixels that captures one or more 2D images of light received from the object.
A data processing system configured to derive, at least in part, both surface geometric shape information and surface color information for a block of image sensor pixels from a single 2D image recorded by the color image sensor. When,
A scanner system comprising the above is disclosed.

対象物の表面幾何学形状及び表面色を記録する方法であって、
多色光源と、画像センサ・ピクセルのアレイを備えるカラー画像センサとを備えるスキャナ・システムを獲得する段階と、
上記多色光源からの多色プローブ光により上記対象物の表面を照らす段階と、
上記カラー画像センサを用いて上記対象物の一連の２Ｄ画像を捕捉する段階と、
少なくとも部分的に、捕捉された一つの２Ｄ画像から、画像センサ・ピクセルの一つのブロックに対する表面幾何学形状情報及び表面色情報の両方を導出する段階と、
を有する、方法が開示される。 A method of recording the surface geometry and surface color of an object.
The stage of acquiring a scanner system with a multicolor light source and a color image sensor with an array of image sensor pixels,
The stage of illuminating the surface of the object with the multicolor probe light from the multicolor light source, and
The stage of capturing a series of 2D images of the object using the color image sensor, and
At least in part, the step of deriving both surface geometry and surface color information for a block of image sensor pixels from a single captured 2D image,
The method is disclosed.

本出願に関し、「表面色」という表現は、対象物表面の見かけ上の色を指し得ることから、歯の如き半透明もしくは半透光性の対象物に対する如き幾つかの場合、表面色は、対象物表面からの光、及び／または、対象物表面の直下の物質の如き、対象物表面の下方の物質からの光により引き起こされ得る。 With respect to this application, the expression "surface color" can refer to the apparent color of the surface of an object, so in some cases, such as for translucent or translucent objects such as teeth, the surface color is: It can be caused by light from the surface of the object and / or light from a substance below the surface of the object, such as a substance directly below the surface of the object.

本出願に関し、「少なくとも部分的に一つの２Ｄ画像から導出された」という表現は、与えられたブロックの画像センサ・ピクセルに対する表面幾何学形状情報が少なくとも部分的に、一つの２Ｄ画像から導出され、且つ、対応する表面色情報が少なくとも部分的に、同一の２Ｄ画像から導出される、という状況を指している。該表現はまた、与えられたブロックの画像センサ・ピクセルに対する表面幾何学形状情報が少なくとも部分的に、一連の捕捉された２Ｄ画像の内の複数の２Ｄ画像から導出され、且つ、対応する表面色情報が少なくとも部分的に、その一連の捕捉された２Ｄ画像の内の同一の複数の２Ｄ画像から導出される、という場合も包含している。 With respect to this application, the phrase "at least partially derived from one 2D image" is derived from at least partly one 2D image of the surface geometry information for the image sensor pixels of a given block. Moreover, it refers to a situation in which the corresponding surface color information is derived, at least in part, from the same 2D image. The representation also derives surface geometry information for an image sensor pixel of a given block, at least in part, from multiple 2D images in a series of captured 2D images, and the corresponding surface color. It also includes the case where the information is, at least in part, derived from the same plurality of 2D images in the series of captured 2D images.

上記画像センサ・ピクセルのブロックに対する表面幾何学形状情報及び表面色情報の両方を、少なくとも部分的に一つの２Ｄ画像から導出することの利点は、一つのみの画像センサを有するスキャナ・システムが実現され得る、ということである。表面幾何学形状情報及び表面色情報が少なくとも部分的に一つの２Ｄ画像から導出されることは利点である、と言うのも、これにより必然的に、２つの形式の情報が同時的に獲得されることが実現されるからである。故に、一つの画像センサが幾何学形状の記録に対し、且つ、他の画像センサが色の記録に対して使用されるという場合であり得る、２つのカラー画像センサの動作の厳密なタイミングに対する要件が無い。同様に、表面幾何学形状情報が導出される２Ｄ画像の捕捉のタイミングと、表面色情報が導出される２Ｄ画像の捕捉のタイミングとの間の相当な差を考慮する入念な計算に対する必要性が無い。 The advantage of deriving both surface geometry information and surface color information for a block of image sensor pixels from at least one 2D image is realized by a scanner system with only one image sensor. It can be done. It is an advantage that the surface geometry information and the surface color information are at least partially derived from one 2D image, which inevitably results in the simultaneous acquisition of two forms of information. This is because it is realized. Therefore, there may be cases where one image sensor is used for geometric shape recording and another image sensor is used for color recording, which is a requirement for the exact timing of the operation of the two color image sensors. There is no. Similarly, there is a need for careful calculation that takes into account the considerable difference between the timing of capturing a 2D image from which surface geometry information is derived and the timing of capturing a 2D image from which surface color information is derived. There is no.

本出願は、現状技術との比較において、単一の画像センサ及び単一の多色光源のみが必要とされ、且つ、対象物の少なくとも一部に対する表面色及び表面幾何学形状が同一の２Ｄ画像または同一の複数の２Ｄ画像から導出され得ることで、色及び表面幾何学形状の整列が本来的に完全であることも意味する、という相当の向上を開示している。本出願に係るスキャナ・システムにおいては、表面幾何学形状と表面色との獲得段階同士の間における対象物とスキャナ・システムとの相対運動を考慮または補償する必要がない。表面幾何学形状及び表面色は厳密に同時に獲得されることから、上記スキャナ・システムは、対象物表面に関する自身の空間的配置を自動的に維持し乍ら、表面幾何学形状及び表面色を獲得する。これにより、本出願のスキャナ・システムは、例えば、口腔内スキャナとして、または、移動する対象物を走査するために、手持ち用途に適したものとされる。 This application requires only a single image sensor and a single multicolor light source in comparison with current technology, and is a 2D image with the same surface color and surface geometry for at least a portion of the object. Alternatively, being able to derive from the same plurality of 2D images discloses a considerable improvement, which also means that the alignment of colors and surface geometries is inherently perfect. In the scanner system according to the present application, it is not necessary to consider or compensate for the relative motion of the object and the scanner system between the acquisition stages of the surface geometry and the surface color. Since the surface geometry and surface color are acquired at exactly the same time, the scanner system acquires the surface geometry and surface color while automatically maintaining its spatial arrangement with respect to the surface of the object. To do. This makes the scanner system of the present application suitable for handheld applications, for example, as an intraoral scanner or for scanning moving objects.

幾つかの実施例において、上記データ処理システムは、上記画像センサ・ピクセルのブロックに対する表面幾何学形状情報及び表面色情報を、一連の捕捉された２Ｄ画像における複数の２Ｄ画像からなどの如く、一連の２Ｄ画像から導出すべく構成される。すなわち、上記データ処理システムは、画像センサ・ピクセルのブロックに対する表面幾何学形状情報を導出するために、且つ、上記表面幾何学形状情報が導出された２Ｄ画像の内の少なくとも一つの２Ｄ画像から表面色情報も導出するために、一連の捕捉された２Ｄ画像における複数の２Ｄ画像を解析し得る。 In some embodiments, the data processing system provides a series of surface geometry and surface color information for a block of image sensor pixels, such as from a plurality of 2D images in a series of captured 2D images. It is configured to be derived from the 2D image of. That is, the data processing system is for deriving the surface geometry information for the block of the image sensor pixel, and the surface is from at least one 2D image in the 2D image from which the surface geometry information is derived. Multiple 2D images in a series of captured 2D images can be analyzed to derive color information as well.

幾つかの実施例において、上記データ処理システムは、一連の捕捉された２Ｄ画像の内の複数の２Ｄ画像から表面色情報を導出すべく、且つ、上記表面色情報が導出された２Ｄ画像の内の少なくとも一つの２Ｄ画像から表面幾何学形状情報を導出すべく構成される。 In some embodiments, the data processing system is intended to derive surface color information from a plurality of 2D images in a series of captured 2D images, and is among the 2D images from which the surface color information has been derived. It is configured to derive surface geometric shape information from at least one 2D image of.

幾つかの実施例において、上記データ処理システムは、一連の捕捉された２Ｄ画像の内の複数の２Ｄ画像から表面幾何学形状情報を導出すべく、且つ、上記表面幾何学形状情報が導出された２Ｄ画像の内の少なくとも一つの２Ｄ画像から表面色情報を導出すべく構成される。 In some embodiments, the data processing system derives surface geometry information from a plurality of 2D images in a series of captured 2D images, and the surface geometry information is derived. It is configured to derive surface color information from at least one 2D image in the 2D image.

幾つかの実施例において、表面色情報が導出される一群の２Ｄ画像は、表面幾何学形状情報が導出される一群の２Ｄ画像と同一である。 In some embodiments, the group of 2D images from which the surface color information is derived is identical to the group of 2D images from which the surface geometry information is derived.

幾つかの実施例において、上記データ処理システムは、複数のブロックの画像センサ・ピクセルから導出された表面幾何学形状情報及び表面色情報に基づき、対象物表面の一部分の部分的走査結果を生成すべく構成される。上記部分的走査結果は、少なくとも、上記対象物の上記一部分の幾何学形状を表現し、且つ、典型的には、一つの積層群(stack)の捕捉済み２Ｄ画像から、一つの部分的走査結果が導出される。 In some embodiments, the data processing system produces a partial scan result of a portion of the surface of an object based on surface geometry and surface color information derived from multiple blocks of image sensor pixels. It is configured to be. The partial scan results represent at least the geometry of the part of the object and typically one partial scan result from a captured 2D image of one stack. Is derived.

幾つかの実施例においては、捕捉された一連の画像の全ての２Ｄ画像が解析され、カラー画像センサ上の画像センサ・ピクセルの各ブロックに対する表面幾何学形状情報が導出される。 In some embodiments, all 2D images of the captured series of images are analyzed to derive surface geometry information for each block of image sensor pixels on the color image sensor.

所定のブロックの画像センサ・ピクセルに対し、上記積層群における捕捉済みの各２Ｄ画像の対応部分が解析されることで、そのブロックに対する表面幾何学形状情報及び表面色情報が導出され得る。 By analyzing the corresponding portion of each captured 2D image in the laminated group for the image sensor pixel of a predetermined block, the surface geometric shape information and the surface color information for the block can be derived.

幾つかの実施例において、上記表面幾何学形状情報は、その特定のブロックの画像センサ・ピクセルに関し、スキャナ・システムの座標系に対して対象物表面が配置された箇所に関している。 In some embodiments, the surface geometry information relates to the location of the object surface relative to the coordinate system of the scanner system with respect to the image sensor pixels of that particular block.

本出願の上記スキャナ・システム及び方法の一つの利点は、(一つの視点から視認された)対象物の幾何学形状及び色の両方を表現する部分的走査結果を生成すべく使用される各情報が、同時に獲得される、ということである。 One advantage of the scanner system and method of the present application is that each piece of information used to generate a partial scan result that represents both the geometry and color of the object (as viewed from one point of view). However, it is acquired at the same time.

各部分的走査結果は、それらが上記表面の上記一部分を協働して包含する如く、対象物の所定数の異なる概観(view)に対して生成され得る。 Each partial scan result can be generated for a predetermined number of different views of the object such that they collaboratively embrace the portion of the surface.

幾つかの実施例において、上記データ処理システムは、所定数の部分的走査結果を組み合わせて上記対象物のデジタル３Ｄ表現物を生成すべく構成される。そのときに、上記対象物の上記デジタル３Ｄ表現物は好適には、記録された該対象物の幾何学形状及び色の両方を表現する。 In some embodiments, the data processing system is configured to combine a predetermined number of partial scan results to produce a digital 3D representation of the object. At that time, the digital 3D representation of the object preferably represents both the recorded geometry and color of the object.

上記対象物の上記デジタル３Ｄ表現物は、データ・ファイルの形態であり得る。上記対象物が患者の一群の歯であるとき、この一群の歯のデジタル３Ｄ表現物は、例えば、患者の一群の歯の物理的模型のCAD/CAM製造に対して使用され得る。 The digital 3D representation of the object can be in the form of a data file. When the object is a group of teeth of a patient, a digital 3D representation of the group of teeth can be used, for example, for CAD / CAM production of a physical model of a group of teeth of a patient.

上記表面幾何学形状及び表面色は、いずれも、上記カラー画像センサにより記録された光から決定される。 Both the surface geometry and the surface color are determined from the light recorded by the color image sensor.

幾つかの実施例において、上記対象物から受信された光は、多色光源に由来し、すなわち、それは、対象物の表面から反射もしくは散乱されたプローブ光である。 In some embodiments, the light received from the object is from a multicolor light source, i.e. it is probe light reflected or scattered from the surface of the object.

幾つかの実施例において、上記対象物から受信された光は、上記多色光源からのプローブ光により励起された蛍光、すなわち、対象物表面における蛍光物質から発せられた蛍光を備える。 In some embodiments, the light received from the object comprises fluorescence excited by the probe light from the multicolor light source, i.e., fluorescence emitted from the fluorescent material on the surface of the object.

幾つかの実施例において、上記多色光源は対象物の幾何学形状及び色を獲得する光を提供する一方、蛍光の励起に対しては第2の光源が使用される。 In some embodiments, the multicolored light source provides light that acquires the geometry and color of the object, while a second light source is used for the excitation of fluorescence.

上記スキャナ・システムは好適には、上記多色光源により発せられた光を、走査されるべき対象物に向けて案内すべく、且つ、上記対象物の複数の２Ｄ画像が上記カラー画像センサにより捕捉され得る如く、上記対象物から受信された光を上記カラー画像センサまで案内すべく構成された光学システムを備える。 The scanner system preferably guides the light emitted by the multicolor light source toward an object to be scanned, and captures a plurality of 2D images of the object by the color image sensor. An optical system configured to guide the light received from the object to the color image sensor is provided.

幾つかの実施例において、上記スキャナ・システムは、上記多色光源からのプローブ光を対象物に向けて送出する複数のレンズの配置物の如き第1光学システムと、上記カラー画像センサにおいて上記対象物から受信された光を結像する第2光学システムとを備える。 In some embodiments, the scanner system comprises a first optical system, such as a plurality of lens arrangements that emit probe light from the multicolor light source towards an object, and the object in the color image sensor. It is equipped with a second optical system that forms an image of light received from an object.

幾つかの実施例においては、単一の光学システムが、上記プローブ光を対象物上へと結像し、且つ、上記対象物を、または、該対象物の少なくとも一部を、好適には同一の光軸に沿い、但し、該光軸に沿う逆方向において、上記カラー画像センサ上へと結像する。上記スキャナは、上記光路内に配置された少なくとも一つのビームスプリッタを備え得、その場合に上記ビームスプリッタは、それが、上記多色光源からのプローブ光を対象物に向けて導向する一方、対象物から受信される光を上記カラー画像センサに向けて導向する如く配置される。 In some embodiments, a single optical system images the probe light onto an object and preferably the same object, or at least a portion of the object. An image is formed on the color image sensor along the optical axis of the above, but in the opposite direction along the optical axis. The scanner may include at least one beam splitter located in the optical path, in which case the beam splitter directs the probe light from the multicolor light source towards the object, while the subject. It is arranged so as to direct the light received from the object toward the color image sensor.

三角測量及び焦点走査の如き、幾つかの走査原理が適切である。 Some scanning principles, such as triangulation and focal scanning, are appropriate.

幾つかの実施例において、上記スキャナ・システムは、各々の一連の捕捉された２Ｄ画像が２Ｄ画像の積層群を形成する如く、上記スキャナ・システムの光軸に沿い焦点面を平行移動させ、且つ、異なる焦点面位置において２Ｄ画像を捕捉することにより動作する焦点スキャナ・システムである。上記焦点面位置は好適には、上記スキャナ・システムの光軸に沿う所定数の焦点面位置にて捕捉された各２Ｄ画像が、上記対象物の所定の概観に対し、すなわち、上記対象物に対する上記スキャナ・システムの所定の配置に対し、上記２Ｄ画像の積層群を形成する如く、上記光軸に沿ってシフトされる。上記対象物に対する上記スキャナ・システムの配置を変更した後、その概観に対し、新たな積層群の２Ｄ画像が捕捉され得る。上記焦点面位置は、例えば、移動焦点レンズなどの少なくとも一つの焦点素子により変更され得る。 In some embodiments, the scanner system moves the focal plane in parallel along the optical axis of the scanner system so that each series of captured 2D images forms a stack of 2D images. , A focus scanner system that operates by capturing 2D images at different focal plane positions. The focal plane positions are preferably such that each 2D image captured at a predetermined number of focal plane positions along the optical axis of the scanner system is relative to a given overview of the object, i.e. to the object. It is shifted along the optical axis so as to form a stack of 2D images with respect to a predetermined arrangement of the scanner system. After changing the placement of the scanner system with respect to the object, a new stack of 2D images may be captured for that overview. The focal plane position can be changed by at least one focal element such as a moving focal lens.

幾つかの焦点スキャナの実施例において、上記スキャナ・システムは、上記プローブ光中に空間的パターンを取入れるべく構成されたパターン生成素子を備える。 In some focal scanner embodiments, the scanner system comprises a pattern generating element configured to incorporate a spatial pattern into the probe light.

幾つかの実施例において、上記パターン生成素子は、上記スキャナ・システムにより上記対象物上へと投射されるプローブ光が、暗い区画と、上記多色光源の波長分布に従う波長分布を有する光を備える区画とから成ることを実現すべく構成される。 In some embodiments, the pattern generator comprises light in which the probe light projected onto the object by the scanner system has a dark compartment and a wavelength distribution that follows the wavelength distribution of the multicolor light source. It is constructed to realize that it consists of compartments.

幾つかの実施例において、上記多色光源は、白色光源の如き広帯域の光源を備える。 In some embodiments, the multicolor light source comprises a broadband light source, such as a white light source.

幾つかの実施例において、上記カラー画像センサのピクセル、及び、上記パターン生成素子は、各ピクセルが、上記プローブ光に取入れられた空間的パターンの単一の明るいまたは暗い領域に対応することを実現すべく構成される。 In some embodiments, the pixels of the color image sensor, and the pattern generator, realize that each pixel corresponds to a single bright or dark region of the spatial pattern captured in the probe light. It is configured to be.

焦点スキャナ・システムに対し、所定のブロックの画像センサ・ピクセルに対する上記表面幾何学形状情報は、上記スキャナ・システムからのいずれの距離にて、そのブロックの画像センサ・ピクセルに対する焦点内に対象物表面が在るかを特定することにより導出される。 For a focal scanner system, the surface geometric shape information for an image sensor pixel of a given block is at any distance from the scanner system and within the focus of that block for the image sensor pixel on the object surface. It is derived by specifying whether or not there is.

幾つかの実施例において、上記表面幾何学形状情報及び上記表面色情報を導出する段階は、捕捉された２Ｄ画像の積層群における幾つかの２Ｄ画像の如き、幾つかの２Ｄ画像に対し、上記画像センサ・ピクセルのブロックにより捕捉された２Ｄ画像の部分と、加重関数との間の相関測度を算出する段階を有する。此処で、上記加重関数は好適には、上記空間的パターンの構成の情報に基づいて決定される。上記相関測度は、上記積層群の各２Ｄ画像に対して算出され得る。 In some embodiments, the steps of deriving the surface geometry information and the surface color information are described above for some 2D images, such as some 2D images in a stack of captured 2D images. It has a step of calculating a correlation measure between a portion of a 2D image captured by a block of image sensor pixels and a weighting function. Here, the weighting function is preferably determined based on the information on the composition of the spatial pattern. The correlation measure can be calculated for each 2D image of the stacking group.

上記スキャナ・システムは、各焦点面位置において、少なくとも一つの画像ピクセルと、上記空間的パターンの構成の情報に基づき決定される加重関数との間の相関測度を評価する手段を備え得る。 The scanner system may include means for evaluating a correlation measure between at least one image pixel and a weighted function determined based on the information in the spatial pattern configuration at each focal plane position.

幾つかの実施例において、画像センサ・ピクセルのブロックに対して上記表面幾何学形状情報及び上記表面色情報を導出する段階は、上記光軸に沿い、対応する相関測度が最大値を有する位置を特定する段階を有する。上記光軸に沿い、上記対応する相関測度が最大値を有する位置は、一つの２Ｄ画像が捕捉された位置に一致することもあり得るが、それは、上記積層群の２Ｄ画像の内で隣接する２つの２Ｄ画像の中間に在る可能性が更に高い。 In some embodiments, the step of deriving the surface geometry information and the surface color information for a block of image sensor pixels is along the optical axis where the corresponding correlation measure has the maximum value. Has a step to identify. Along the optical axis, the position where the corresponding correlation measure has the maximum value may coincide with the position where one 2D image was captured, but it is adjacent within the 2D image of the stacking group. It is even more likely to be between the two 2D images.

そのときに表面幾何学形状情報の決定段階は、上記パターンにより提供されて空間的に構造化された光信号の相関測度であって、焦点面の全ての箇所に対する(基準と称される)該パターン自体の変動に依るという相関測度を算出する段階と、この積層群の２Ｄ画像の極値の箇所を見出す段階とに関連し得る。幾つかの実施例において、上記パターンは静的である。斯かる静的パターンは、例えば、ガラス上クロム・パターンとして実現され得る。 At that time, the determination step of the surface geometric shape information is a correlation measure of the spatially structured optical signal provided by the above pattern, which is the correlation measure (referred to as a reference) for all points of the focal plane. It may be related to the step of calculating the correlation measure that depends on the fluctuation of the pattern itself and the step of finding the extreme value of the 2D image of this laminated group. In some embodiments, the pattern is static. Such a static pattern can be realized, for example, as a chrome pattern on glass.

上記相関測度を離散的な測定値の集合により数学的に定義する一つの手法は、n>1個の要素がセンサ信号を表すという信号ベクトルI＝(I₁、…、I_n)、及び、基準重みの基準ベクトルf＝(f₁、…、f_n)から算出されるドット積としてである。そのとき相関測度Aは、次式により与えられる： Said one approach to mathematically defined by a set of discrete measurements of the correlation measure is, n> signal vector _{I = (I 1, ...,} I n) of one of the elements representing the sensor signal, and, It is the dot product calculated from the reference vector f = (f ₁ , ..., f _{n) of the reference weight.} Then the correlation measure A is given by the following equation:

信号ベクトルにおける要素に関する添え字は、典型的にはピクセルのブロックにおける異なるピクセルにて記録されたセンサ信号を表す。基準ベクトルfは較正段階において獲得され得る。 Subscripts for elements in a signal vector typically represent sensor signals recorded at different pixels in a block of pixels. The reference vector f can be obtained at the calibration stage.

上記スキャナにおいて使用される光学システムの知見を用いることにより、上記相関測度の極値の箇所、すなわち、焦点面の箇所を、ピクセル・ブロック的に深度データ情報へと変換することが可能である。故に、組み合わされた全てのピクセル・ブロックは、深度データの配列を提供する。換言すると、深度は、光学的な設計態様から知られ、及び／または、較正から見出される、光路に沿ったものであり、且つ、上記画像センサ上のピクセルの各ブロックは、光路の終点を表す。故に、１束の経路に対し、光路に沿う深度は、スキャナの視界内における表面幾何学形状、すなわち、現在の概観に対する部分的走査結果をもたらす。 By using the knowledge of the optical system used in the scanner, it is possible to convert the extreme value of the correlation measure, that is, the focal plane, into depth data information in a pixel block manner. Therefore, all combined pixel blocks provide an array of depth data. In other words, the depth is along the optical path known from the optical design aspect and / or found from the calibration, and each block of pixels on the image sensor represents the end point of the optical path. .. Therefore, for a bundle of paths, the depth along the optical path results in a surface geometry within the scanner's field of view, i.e. a partial scan result for the current overview.

最大値の箇所の更に高信頼性で正確な決定を実現すべく、一連の相関測度値を平滑化して補間することが有用であり得る。 It may be useful to smooth and interpolate a series of correlation measure values to achieve a more reliable and accurate determination of the maximum value location.

幾つかの実施例において、部分的走査結果を生成する段階は、画像センサ・ピクセルの各ブロックに対し、光軸に沿う相関測度の変動を記述する相関測度関数を決定する段階と、上記光軸に沿い、そのブロックに対し、光軸に沿い相関測度関数がその最大値を有する位置を特定する段階とを備える。 In some embodiments, the steps of generating a partial scan result are the step of determining a correlation measure function that describes the variation of the correlation measure along the optical axis for each block of image sensor pixels, and the steps of determining the optical axis. Along the line, the block is provided with a step of identifying the position where the correlation measure function has the maximum value along the optical axis.

幾つかの実施例において、最大の相関測度値は、画像センサ・ピクセルのブロックに対して算出された最高の相関測度値、及び／または、画像センサ・ピクセルのブロックに対する上記相関測度関数の最高の最大値である。 In some embodiments, the largest correlation measure is the highest correlation measure calculated for a block of image sensor pixels and / or the highest of the above correlation measure function for a block of image sensor pixels. The maximum value.

例えば、記録された最大値の両側における幾つかの画像にわたりピクセル・ブロックに対するAの各値に対して多項式が適合され得ると共に、推定された最大値の箇所は、適合された多項式の最大値であって、２つの画像の中間であり得るという最大値から見出され得る。上記推定された最大値は引き続き、現在の概観から表面幾何学形状を導出するとき、すなわち、その概観に対する部分的走査結果を導出するときに、深度データ情報として使用される。 For example, a polynomial can be fitted for each value of A for a pixel block over several images on either side of the recorded maximum, and the estimated maximum is the maximum of the fitted polynomial. It can be found from the maximum value that can be between the two images. The above estimated maximum values will continue to be used as depth data information when deriving surface geometries from the current overview, i.e., when deriving partial scan results for that overview.

幾つかの実施例において、上記データ処理システムは、上記一連の２Ｄ画像の内で、上記相関測度が画像センサ・ピクセルの対応ブロックに対して最大値を有するという２Ｄ画像の表面色情報に基づき、生成された部分的走査結果上の点に対する色を決定すべく構成される。上記色は、例えば、上記画像センサ・ピクセルのブロックにおける各ピクセルに対するRGB値として読み取られ得る。 In some embodiments, the data processing system is based on the surface color information of the 2D image that the correlation measure has the maximum value for the corresponding block of the image sensor pixel in the series of 2D images. It is configured to determine the color for a point on the generated partial scan result. The colors can be read, for example, as RGB values for each pixel in the block of image sensor pixels.

幾つかの実施例において、上記データ処理システムは、上記一連の２Ｄ画像の内で、上記相関測度が画像センサ・ピクセルの対応ブロックに対して最大値を有するという２Ｄ画像の表面色情報と、上記一連の捕捉された２Ｄ画像からの隣接２Ｄ画像の如き少なくとも一つの付加的な２Ｄ画像とに基づき、生成された部分的走査結果上の点に対する部分的走査結果の色を決定すべく構成される。上記表面色情報は依然として、上記表面幾何学形状情報が導出された複数の２Ｄ画像の内の少なくとも一つの２Ｄ画像から導出される。 In some embodiments, the data processing system includes surface color information of the 2D image that the correlation measure has the maximum value with respect to the corresponding block of the image sensor pixel in the series of 2D images, and the above. Based on at least one additional 2D image, such as an adjacent 2D image from a series of captured 2D images, it is configured to determine the color of the partial scan result for a point on the generated partial scan result. .. The surface color information is still derived from at least one of the plurality of 2D images from which the surface geometry information has been derived.

幾つかの実施例において、上記データ処理システムは、上記部分的走査結果の色を決定するときに、一連の隣接する２Ｄ画像の表面色情報の補間の如き、一連の少なくとも２つの２Ｄ画像の表面色情報を補間すべく構成される。 In some embodiments, the data processing system determines the color of the partial scan result, such as interpolation of the surface color information of a series of adjacent 2D images, on the surface of at least two 2D images in a series. It is configured to interpolate color information.

幾つかの実施例において、上記データ処理システムは、上記部分的走査結果の所定数の点に対して平滑化された色を算出すべく構成され、上記算出段階は、上記部分的走査結果上の周囲の複数の点の色の加重平均の如き、異なる複数の点の部分的走査結果の色を平均化する段階を有する。 In some embodiments, the data processing system is configured to calculate smoothed colors for a predetermined number of points in the partial scan result, the calculation step being on the partial scan result. It has a step of averaging the colors of the partial scan results of different points, such as a weighted average of the colors of the surrounding points.

画像センサ・ピクセルのブロックに対する表面色情報は、少なくとも部分的に、表面幾何学形状情報が導出されたのと同一の画像から導出される。Aの最大値の箇所が一つの２Ｄ画像により表される場合、色もまた、同一の画像から導出される。Aの最大値の箇所が２つの画像間であると補間により見出された場合、色を導出するためには、それらの２つの画像の少なくとも一方が、または、色に対する補間を用いて両方の画像も、使用されるべきである。相関測度の最大値の箇所の決定において２つより多い画像からのカラー・データを平均すること、または、表面幾何学形状を導出するために使用された複数の画像の下位集合または上位集合からの色を平均することも可能である。いずれにせよ、走査された対象物の少なくとも一部に対して表面色及び表面幾何学形状の両方を導出するためには、幾つかの画像センサ・ピクセルの読取値が使用される。 The surface color information for a block of image sensor pixels is derived, at least in part, from the same image from which the surface geometry information was derived. If the location of the maximum value of A is represented by a single 2D image, the colors are also derived from the same image. If the maximum value of A is found by interpolation to be between two images, then at least one of those two images, or both, using interpolation for color, to derive the color. Images should also be used. Average color data from more than two images in determining the location of the maximum correlation measure, or from a subset or superset of multiple images used to derive the surface geometry. It is also possible to average the colors. In any case, readings from several image sensor pixels are used to derive both surface color and surface geometry for at least a portion of the scanned object.

典型的には、３つのカラー・フィルタが在ることから、全体的な色は、赤色、緑色及び青色、または、シアン、マゼンタ及びイエローの如き３つの寄与分で構成される。カラー・フィルタは典型的に所定範囲の波長の通過を許容するものであり、且つ、典型的に複数のフィルタ間には、例えば、一定の緑色光が、赤色フィルタを備えたピクセルにおいて測定された強度に寄与する如く、クロストークが在ることを銘記されたい。 Typically, there are three color filters, so the overall color is composed of three contributions, such as red, green and blue, or cyan, magenta and yellow. Color filters typically allow the passage of wavelengths in a predetermined range, and typically between multiple filters, for example, constant green light is measured in pixels with a red filter. Please note that there is crosstalk to contribute to strength.

カラー・フィルタ・アレイを備えた画像センサに対し、ピクセル・ブロック内のカラー成分c_jは次式として獲得され得る： For an image sensor with a color filter array, the color component c _j in the pixel block can be obtained as:

式中、g_j,i＝ピクセルiがカラーc_jに対してフィルタを有するなら１であり、その他の場合には０である。Bayerパターンにおけるのと同様であるRGBカラー・フィルタ・アレイに対し、jは赤色、緑色または青色の内の一つである。典型的には、変化するフィルタ効率、照明源効率、及び、フィルタ・パターンにおける各カラー成分の異なる割合に対する補償として、自然なカラー・データを獲得するためには、個々のカラー成分の更なる加重、すなわち色較正が必要とされ得る。上記較正は、視界内の焦点面の箇所及び／または位置にも依存し得る、と言うのも、光源構成要素カラーの混合は、それらの要因により変動し得るからである。 In the equation, g _{j, i} = 1 if pixel i has _{a filter for color c j} , 0 otherwise. For an RGB color filter array similar to that in the Bayer pattern, j is one of red, green or blue. Further weighting of individual color components to obtain natural color data, typically as compensation for varying filter efficiency, illumination source efficiency, and different proportions of each color component in the filter pattern. That is, color calibration may be required. The calibration may also depend on the location and / or position of the focal plane in the field of view, as the mix of light source component colors can vary due to those factors.

幾つかの実施例において、表面色情報はピクセル・ブロック内の全てのピクセルに対して獲得される。カラー・フィルタ・アレイを備えた、または、回折手段の如く色を分離する他の手段を備えたカラー画像センサにおいては、特定のピクセルにより測定された色に依存し、その色に対する強度値が獲得される。換言すると、この場合、一つの特定のピクセルは、一つの色のみに対するカラー値を有する。最近において開発されたカラー画像センサは、物質の異なる深度において、同一ピクセルにおいて幾つかの色の測定を許容することから、その場合、一つの特定のピクセルは、幾つかの色に対する強度値をもたらし得る。要約すると、表面幾何学形状情報の分解能よりも本来的に高いという表面色データの分解能を獲得することが可能である。 In some embodiments, surface color information is acquired for every pixel in the pixel block. In a color image sensor with a color filter array or with other means of separating colors, such as diffractometers, the intensity value for that color depends on the color measured by a particular pixel. Will be done. In other words, in this case, one particular pixel has a color value for only one color. Recently developed color image sensors allow the measurement of several colors at the same pixel at different depths of material, in which case one particular pixel provides intensity values for several colors. obtain. In summary, it is possible to obtain a resolution of surface color data that is inherently higher than the resolution of surface geometry information.

対象物の生成されたデジタル３Ｄ表現物に対する表面幾何学形状の分解能よりも、導出された色の分解能が高いという実施例においては、少なくとも概略的に焦点が合ったときにパターンが視認可能であり、これは好適には、色が導出される場合である。画像は、パターンを視覚的に除去すべく、但し、分解能の喪失を以て、フィルタリングされ得る。実際、ユーザに対して上記パターンを視認し得ることが有用であり得る。例えば、口腔内走査においては、調製部の限界ライン、縁部または端縁の位置を検出することが重要であり得る。この端縁上に重畳された上記パターンの画像は、略々直角に視認される側では更に鮮鋭であり、且つ、鋭角にて視認される側では更に不鮮明である。故に、この例において典型的には歯科医または歯科技工士であるユーザは、鮮鋭さの差を用い、限界ラインの位置を、表面幾何学形状のみの検証から可能であり得るよりも正確に突き止め得る。 In the embodiment where the resolution of the derived color is higher than the resolution of the surface geometry for the generated digital 3D representation of the object, the pattern is visible, at least roughly in focus. , This is preferably the case where the color is derived. The image can be filtered to visually remove the pattern, but with a loss of resolution. In fact, it may be useful to be able to see the pattern to the user. For example, in an intraoral scan, it may be important to detect the location of the marginal line, edge or edge of the preparation section. The image of the pattern superimposed on the edge is sharper on the side visually recognized at a substantially right angle, and is more unclear on the side visually recognized at an acute angle. Therefore, a user, typically a dentist or dental technician in this example, uses the difference in sharpness to locate the limit line more accurately than possible from verification of surface geometry alone. obtain.

カラー画像センサ上で相関測度の良好な信号／ノイズ比を獲得するためには、対象物上で焦点が合ったパターン画像の大きな空間的コントラストが望ましい。更に良好な空間的コントラストは、カラー画像センサにおいて、対象物からの鏡面的な表面反射の選好的な画像化により達成され得る。故に、幾つかの実施例は、鏡面的に反射された光の選好的／選択的な画像化のための手段を備える。このことは、スキャナが、例えば、少なくとも一つの偏光ビームスプリッタによりプローブ光を偏光化させる手段を更に備えるならば、実現され得る。 In order to obtain a signal-to-noise ratio with a good correlation measure on a color image sensor, a large spatial contrast of the focused pattern image on the object is desirable. Even better spatial contrast can be achieved in a color image sensor by preferential imaging of mirror surface reflections from an object. Therefore, some embodiments provide a means for preferential / selective imaging of mirror-reflected light. This can be achieved if the scanner is further provided with, for example, means for polarizing the probe light with at least one polarization beam splitter.

幾つかの実施例において、上記偏光化用の光学機器は、上記多色光源のスペクトルの内で、表面幾何学形状を記録するために使用される部分の円偏光の保持を最適化すべく、被覆される。 In some embodiments, the polarization optics are coated to optimize the retention of circular polarization in the portion of the spectrum of the multicolor light source used to record surface geometry. Will be done.

上記スキャナ・システムは更に、プローブ光の、及び／または、対象物から受信された光の偏光状態を変化させる手段を備え得る。このことは、好適には光路内に配置された遅延プレートにより実現され得る。幾つかの実施例において、上記遅延プレートは、１／４波長遅延プレートである。 The scanner system may further include means for varying the polarization state of the probe light and / or the light received from the object. This can be achieved preferably by a delay plate disposed in the optical path. In some embodiments, the delay plate is a quarter wavelength delay plate.

特に、走査される対象物が、例えば患者の一群の歯であるという口腔内用途に対し、上記スキャナは、プローブ光を導向するための、及び／または、対象物を画像化するための手段を備えた長寸先端を有し得る。このことは、少なくとも一つの折返し要素により実現され得る。該折返し要素は、ミラーまたはプリズムの如き、光反射要素であり得る。上記プローブ光は上記スキャナ・システムから、上記折返し要素により少なくとも部分的に画成された光軸に沿って出射する。 In particular, for oral applications where the object to be scanned is, for example, a group of teeth of a patient, the scanner provides means for directing probe light and / or imaging the object. It may have a long tip provided. This can be achieved by at least one folding element. The folding element can be a light reflecting element, such as a mirror or prism. The probe light is emitted from the scanner system along an optical axis that is at least partially defined by the folding element.

焦点走査手法の更に詳細な説明に対しては、国際特許出願公開公報WO2010/145669号を参照されたい。 For a more detailed explanation of the focal scanning method, refer to International Patent Application Publication No. WO2010 / 145669.

幾つかの実施例において、上記データ処理システムは、上記対象物の生成されたデジタル３Ｄ表現物が該対象物の幾何学形状及びカラーの変化特性の両方を表現する如く、上記デジタル３Ｄ表現物の少なくとも一つの点の色を決定すべく構成される。色は、対象物の走査された部分の色変化特性がデジタル３Ｄ表現物により表現される如く、生成されたデジタル３Ｄ表現物の幾つかの点に対して決定され得る。 In some embodiments, the data processing system is such that the generated digital 3D representation of the object represents both the geometric shape of the object and the color change characteristics of the object. It is configured to determine the color of at least one point. The color can be determined for some points in the generated digital 3D representation such that the color change characteristics of the scanned portion of the object are represented by the digital 3D representation.

幾つかの実施例において、上記対象物カラーを決定する段階は、対象物表面のその点において重なり合う複数の部分的走査結果における対応点に対して導出されたカラー値の加重平均値を算出する段階を有する。この加重平均値は次に、対象物のデジタル３Ｄ表現物における点の色として使用され得る。 In some embodiments, the step of determining the object color is the step of calculating the weighted average of the color values derived for the corresponding points in the plurality of partial scan results that overlap at that point on the surface of the object. Have. This weighted average can then be used as the color of the dots in the digital 3D representation of the object.

幾つかの実施例において、上記データ処理システムは、捕捉された２Ｄ画像において飽和ピクセルを検出すべく、且つ、導出された表面色情報または部分的走査結果の色においてピクセル飽和により引き起こされたエラーを緩和もしくは除去すべく構成される。 In some embodiments, the data processing system detects saturated pixels in a captured 2D image and causes errors caused by pixel saturation in the derived surface color information or the color of the partial scan result. It is configured to be mitigated or eliminated.

幾つかの実施例において、上記飽和ピクセルにより引き起こされたエラーは、平滑化された部分的走査結果の色を算出する上で、飽和ピクセルの表面色情報に対して低い重みを割当てることにより、且つ／又は、上記飽和ピクセルに基づいて算出された部分的走査結果の色に対して低い重みを割当てることにより、緩和もしくは除去される。 In some embodiments, the error caused by the saturated pixels is by assigning a low weight to the surface color information of the saturated pixels in calculating the color of the smoothed partial scan result. / Or it is relaxed or eliminated by assigning a lower weight to the color of the partial scan result calculated based on the saturated pixels.

幾つかの実施例において、上記データ処理システムは、上記対象物の捕捉された２Ｄ画像及び／または生成された部分的走査結果の区画の導出された表面色情報を、歯及び口腔組織に対する所定の色範囲と比較すべく、且つ、その色が、２つの所定の色範囲の一方内ではないという区画に対して導出された表面色情報または部分的走査結果の色の赤色成分を抑制すべく構成される。 In some embodiments, the data processing system provides the captured 2D image of the object and / or the derived surface color information of the generated partial scan result compartment to the teeth and oral tissue. Configured for comparison with a color range and to suppress the red component of the surface color information or partial scan result color derived for a section where the color is not within one of two predetermined color ranges. Will be done.

此処で開示された上記スキャナ・システムは、例えば、マルチダイLEDなどの白色光源などの多色光源を備える。 The scanner system disclosed herein includes, for example, a multicolor light source such as a white light source such as a multi-die LED.

対象物表面から戻されたプローブ光、または、対象物の蛍光部分を励起することによりプローブ光により生成された蛍光の如き、走査された対象物から受信された光は、上記カラー画像センサにより記録される。幾つかの実施例において、上記カラー画像センサは、該カラー画像センサにおける全てのピクセルがカラー特異的フィルタである如く、カラー・フィルタ・アレイを備える。各カラー・フィルタは好適には、例えば、各カラー・フィルタがBayerカラー・フィルタ・パターンに従って配置されるという、規則的パターンで配置される。故に、この様に獲得された画像データは、ピクセルの各ブロックに対して表面幾何学形状及び表面色の両方を導出すべく使用される。相関測度を利用する焦点スキャナに対し、表面幾何学形状は、上述された如く相関測度の極値から見出され得る。 The light received from the scanned object, such as the probe light returned from the surface of the object or the fluorescence generated by the probe light by exciting the fluorescent portion of the object, is recorded by the color image sensor. Will be done. In some embodiments, the color image sensor comprises a color filter array such that all pixels in the color image sensor are color specific filters. Each color filter is preferably arranged in a regular pattern, for example, each color filter is arranged according to a Bayer color filter pattern. Therefore, the image data thus acquired is used to derive both the surface geometry and the surface color for each block of pixels. For focal scanners that utilize a correlation measure, surface geometry can be found from the extrema of the correlation measure as described above.

幾つかの実施例において、表面幾何学形状は、上記多色光源により提供されたプローブ光のスペクトルの第1部分における光から導出される。 In some embodiments, the surface geometry is derived from the light in the first part of the spectrum of probe light provided by the multicolor light source.

好適には、各カラー・フィルタは、好適には、各ピクセルが特定の色のみに対するカラー・フィルタを有する如く、画像センサの各ピクセルと整列される。 Preferably, each color filter is preferably aligned with each pixel of the image sensor such that each pixel has a color filter for only a particular color.

幾つかの実施例において、上記カラー・フィルタ・アレイは、該アレイのピクセルの割合であって、上記スペクトルの第1部分に合致するカラー・フィルタを備えたピクセルの割合が50％超である如きである。 In some embodiments, the color filter array is the percentage of pixels in the array, such that the percentage of pixels with a color filter that matches the first portion of the spectrum is greater than 50%. Is.

幾つかの実施例において、上記表面幾何学形状情報は、上記多色光源により提供されるスペクトルの選択波長範囲における光から導出される。故に、他の波長範囲における光は、表面幾何学形状情報を導出するためには使用されない。このことは、上記スキャナ・システムの光学システムにおける各光学素子の波長分散が、対象物の走査に影響しない、という利点を提供する。 In some embodiments, the surface geometry information is derived from light in the selected wavelength range of the spectrum provided by the multicolor light source. Therefore, light in other wavelength ranges is not used to derive surface geometry information. This provides the advantage that the wavelength dispersion of each optical element in the optical system of the scanner system does not affect the scanning of the object.

一つまたは２つの形式のカラー・フィルタを備えるピクセルからのみ、表面幾何学形状を算出することが好適であり得る。単一の色は、色収差補正用の光学機器を必要とせず、故に、構築することが更に容易で更に安価なスキャナを提供する。更に、折返し要素は概略的に、全ての色に対して等しく良好に偏光状態を保持し得ない。表面幾何学形状を算出するために一定の単一もしくは複数の色のみが使用されるとき、基準ベクトルfは、他の単一もしくは複数の色に対するフィルタを備えるピクセルに対してはゼロを含んでいる。従って、全体的な信号強度は概略的に低減されるが、十分に大きなブロックのピクセルに対し、それは概略的に依然として十分である。好適には、ピクセルのカラー・フィルタは、一つの色から他の単一もしくは複数の色に対するクロストークが殆ど無い様に適合化される。ピクセルの下位集合のみから幾何学形状を算出する実施例においてさえも、色は好適には、依然として全てのピクセルから算出されることを銘記されたい。 It may be preferable to calculate surface geometry only from pixels with one or two forms of color filters. A single color does not require optical equipment for chromatic aberration correction and therefore provides a scanner that is easier to build and cheaper to build. Moreover, the fold elements may not generally retain the polarized state equally well for all colors. When only certain single or multiple colors are used to calculate the surface geometry, the reference vector f contains zeros for pixels with filters for other single or multiple colors. There is. Thus, the overall signal strength is generally reduced, but for pixels in a sufficiently large block, it is generally still sufficient. Preferably, the pixel color filters are adapted so that there is little crosstalk from one color to another single or multiple colors. Note that even in the embodiment where the geometry is calculated only from the subset of pixels, the color is preferably still calculated from all the pixels.

幾つかの実施例において、上記カラー画像センサは、各カラー・フィルタが夫々、既知である波長範囲W1、W2及びW3の光が当該カラー・フィルタを通り伝搬することを許容するという少なくとも３つの型のカラー・フィルタを備えるカラー・フィルタ・アレイを備える。 In some embodiments, the color image sensor has at least three types in which each color filter allows light in the known wavelength ranges W1, W2, and W3 to propagate through the color filter, respectively. A color filter array with a color filter of.

幾つかの実施例において、上記カラー・フィルタ・アレイは、該アレイのピクセルの割合であって、上記スペクトルの選択された波長範囲に合致するカラー・フィルタを備えたというピクセルの割合が50％超であり、斯かる割合は32／36、60／64または96／100に等しい如きである。 In some embodiments, the color filter array is the percentage of pixels in the array, with more than 50% of the pixels having a color filter that matches the selected wavelength range of the spectrum. And such proportions are likely to be equal to 32/36, 60/64 or 96/100.

幾つかの実施例において、上記選択された波長範囲は上記W2波長範囲に合致する。 In some embodiments, the selected wavelength range matches the W2 wavelength range.

幾つかの実施例において、上記カラー・フィルタ・アレイは、6×6カラー・フィルタの複数のセルを備え、各セルの位置(2,2)及び(5,5)におけるカラー・フィルタは上記W1型であり、位置(2,5)及び(5,2)におけるカラー・フィルタは上記W3型である。此処で、W1型のフィルタは、既知である波長範囲W1の光が当該カラー・フィルタを通り伝搬することを許容するカラー・フィルタであり、W2及びW3型のフィルタに対しても同様である。幾つかの実施例において、上記6×6セルにおける残りの32個のカラー・フィルタは、上記W2型である。 In some embodiments, the color filter array comprises a plurality of cells of a 6 × 6 color filter, and the color filter at each cell position (2,2) and (5,5) is W1. It is a type, and the color filter at positions (2,5) and (5,2) is the above W3 type. Here, the W1 type filter is a color filter that allows light in the known wavelength range W1 to propagate through the color filter, and the same applies to the W2 and W3 type filters. In some embodiments, the remaining 32 color filters in the 6x6 cells are of type W2.

RGB表色系において、W1は赤色光、W2は緑色光、及び、W3は青色光に対応し得る。 In the RGB color system, W1 can correspond to red light, W2 can correspond to green light, and W3 can correspond to blue light.

幾つかの実施例において、上記スキャナは、表面幾何学形状よりも高い分解能を以て表面色を導出すべく構成される。 In some embodiments, the scanner is configured to derive a surface color with a higher resolution than the surface geometry.

幾つかの実施例において、上記更に高い表面色分解能は、ピクセル・ブロックに対するカラー値が分解されることで、表面幾何学形状に存在するよりも見かけ上は高い分解能のカラー画像を達成し得る、という分解(demosaicing)により達成される。上記分解は、ピクセル・ブロックまたは個々のピクセルを操作し得る。 In some embodiments, the higher surface color resolution can achieve an apparently higher resolution color image than is present in the surface geometry by decomposing the color values for the pixel blocks. It is achieved by the decomposition (demosaicing). The decomposition can manipulate pixel blocks or individual pixels.

マルチダイLEDが使用され、または、物理的もしくは光学的に分離された複数の発光体を備える別の照明源が使用される場合、スキャナにおいてはケーラー(Koehler)型の照明を企図すること、すなわち、均一な照明と、視界全体に対する良好な色混合とを達成するために、照明源が対物面にて焦点移動されることが好適である。色混合が完全ででは無く且つ焦点面の箇所で変化する場合には、スキャナの色較正が有用である。 When multi-die LEDs are used, or another source of illumination with multiple physically or optically separated illuminants is used, the scanner is intended for Koehler-type illumination, ie. It is preferred that the illumination source be defocused on the objective surface in order to achieve uniform illumination and good color mixing for the entire field of view. Scanner color calibration is useful when the color mix is not perfect and changes at the focal plane.

幾つかの実施例において、上記パターン生成素子は、上記空間的パターンが、市松模様パターンで配置された交互配置的な暗い領域及び明るい領域を備えることを実現すべく構成される。そのとき、上記スキャナ・システムにより提供されるプローブ光は、暗い区画と、上記多色光源と同一の波長分布を有する光を備える区画とから成る。 In some embodiments, the pattern generating element is configured to realize that the spatial pattern comprises alternating dark and bright regions arranged in a checkerboard pattern. At that time, the probe light provided by the scanner system comprises a dark compartment and a compartment having light having the same wavelength distribution as the multicolor light source.

対象物の表面の幾何学形状及び色の表現物の両方を表現するデジタル３Ｄ表現物、すなわち、対象物表面の上記部分の色付きのデジタル３Ｄ表現物を獲得するためには、典型的に、幾つかの部分的走査結果、すなわち、対象物の部分的表現物が組み合わされねばならず、その場合、各部分的走査結果は、対象物の一つの概観を呈している。与えられた相対位置からの概観を表現する部分的走査結果は、好適には、その相対位置から視認された対象物表面の幾何学形状及び色を記録する。 In order to obtain a digital 3D representation that represents both the geometric shape and color representation of the surface of the object, i.e., the colored digital 3D representation of the above portion of the surface of the object, how many The partial scan results, i.e., the partial representations of the object, must be combined, in which case each partial scan result presents an overview of the object. Partial scan results that represent an overview from a given relative position preferably record the geometry and color of the surface of the object as seen from that relative position.

焦点スキャナに対し、一つの概観とは、単一もしくは複数の焦点合わせ素子の一回の行程に対応しており、すなわち、焦点スキャナに対し、各部分的走査結果は、その極限位置同士の間における焦点面位置の行程の間において記録された２Ｄ画像の積層群から導出された表面の幾何学形状及び色である。 For focus scanners, one overview corresponds to a single stroke of a single or multiple focusing elements, i.e. for focus scanners, each partial scan result is between its extreme positions. The geometry and color of the surface derived from the stack of 2D images recorded during the focal plane position stroke in.

種々の概観に対して見出された表面幾何学形状は、文献において広く知られる統合して位置合わせするためのアルゴリズムにより、または、例えば、スキャナがエンコーダを備えた軸心上に取付けられたときにおける既知の視認位置及び配向から、組み合わされ得る。色は、テクスチャ・ウィービング(texture weaving)の如き方法により、または、単純に、表面の同一箇所の複数の概観における対応する各カラー成分を平均化することにより、補間かつ平均化され得る。此処で、異なる入射角及び反射角に起因する見かけの色の差を考慮することが有用であり得、このことは、表面幾何学形状も既知なので可能である。テクスチャ・ウィービングは、例えばCallieri M, Cignoni P, Scopigno R, "多重範囲のRGBマップからテクスチャ処理されたメッシュを再構成する方法(Reconstructing textured meshes from multiple range rgb maps)"、VMV 2002, Erlangen, Nov 20-22, 2002により記述されている。 The surface geometries found for the various appearances are either by the algorithms for integrated alignment widely known in the literature, or, for example, when the scanner is mounted on an axis with an encoder. Can be combined from known viewing positions and orientations in. Colors can be interpolated and averaged by methods such as texture weaving, or simply by averaging the corresponding color components in multiple appearances at the same location on the surface. Here it may be useful to consider the apparent color differences due to different angles of incidence and reflection, which is possible because the surface geometry is also known. Texture weaving is, for example, Callieri M, Cignoni P, Scopigno R, "Reconstructing textured meshes from multiple range rgb maps", VMV 2002, Erlangen, Nov. Described by 20-22, 2002.

幾つかの実施例において、上記スキャナ及び／または上記スキャナ・システムは、獲得された表面色及び表面幾何学形状に基づき、対象物表面の部分的走査結果を生成すべく構成される。 In some embodiments, the scanner and / or the scanner system is configured to produce a partial scan result of the surface of an object based on the acquired surface color and surface geometry.

幾つかの実施例において、上記スキャナ及び／または上記スキャナ・システムは、異なる相対位置から獲得された対象物表面の部分的走査結果を組み合わせて、上記対象物の少なくとも一部の表面の幾何学形状及び色を表現するデジタル３Ｄ表現物を生成すべく構成される。 In some embodiments, the scanner and / or the scanner system combines the results of partial scans of the surface of the object obtained from different relative positions to form the geometry of the surface of at least a portion of the object. And to generate a digital 3D representation that expresses color.

幾つかの実施例において、対象物の各部分的走査結果を組み合わせて、表面の幾何学形状及び色を表現するデジタル３Ｄ表現物を獲得する段階は、各表面点における色を、その表面点にて重なり合う全ての部分的走査結果における対応点の加重平均値として算出する段階を有する。合計における各部分的走査結果の重みは、飽和ピクセルの値の存在、または、部分的走査結果が記録されたときにおけるスキャナに関する対象物表面の配向の如き、幾つかの要因により決定され得る。 In some embodiments, the step of combining the results of each partial scan of an object to obtain a digital 3D representation that represents the geometry and color of the surface is the step of converting the color at each surface point to that surface point. It has a step of calculating as a weighted average value of corresponding points in all the overlapping partial scanning results. The weight of each partial scan result in the sum can be determined by several factors, such as the presence of saturated pixel values or the orientation of the object surface with respect to the scanner when the partial scan result is recorded.

斯かる加重平均値は、対象物に対する幾つかのスキャナの位置及び配向が、他の位置及び配向よりも更に良好な実際の色の評価を与える、という場合に有用である。もし、対象物表面の照明が不均一であるなら、このこともまた、一定程度まで、最適に照らされた部分を更に大きく加重することにより補償され得る。 Such weighted averages are useful when the position and orientation of some scanners with respect to an object gives a better actual color rating than other positions and orientations. If the illumination on the surface of the object is non-uniform, this can also be compensated to some extent by further weighting the optimally illuminated area.

幾つかの実施例において、上記スキャナ・システムのデータ処理システムは、対象物の表面幾何学形状、表面色読取値、または、導出された部分的走査結果もしくはデジタル３Ｄ表現物の後処理を実施すべく構成された画像プロセッサを備える。上記スキャナ・システムは、例えば、上記画像プロセッサにより実行されるコンピュータ実行型アルゴリズムを用いて、各部分的走査結果の組み合わせを実施すべく構成され得る。 In some embodiments, the data processing system of the scanner system performs post-processing of the surface geometry, surface color readings, or derived partial scan results or digital 3D representation of the object. It is equipped with an image processor configured for this purpose. The scanner system may be configured to perform a combination of each partial scan result, for example, using a computer-executed algorithm executed by the image processor.

上記スキャナ・システムは、例えば、表面幾何学形状、表面色、部分的走査結果及び／またはデジタル３Ｄ表現物の後処理の一部として、上記データ処理システムにより実行されるコンピュータ実行型アルゴリズムを用いて、各部分的走査結果の組み合わせを実施すべく構成され得、すなわち、上記後処理は、各表面点における色を、その表面点において重なり合う全ての部分的走査結果における対応点の加重平均値として算出する段階を有する。 The scanner system uses a computer-executed algorithm performed by the data processing system, for example, as part of the post-processing of surface geometric shapes, surface colors, partial scan results and / or digital 3D representations. , Each partial scan result combination can be configured, i.e., the post-treatment calculates the color at each surface point as a weighted average of the corresponding points in all overlapping partial scan results at that surface point. Has a stage to do.

飽和ピクセル値は好適には、低い重みを有することで、表面色の記録に関する強調の効果を低減すべきである。表面の所定部分に対する色は、好適には、基本的に、ピクセル値が飽和した場合ではなく、色が正確に決定され得るという２Ｄ画像から決定すべきである。 Saturated pixel values should preferably have a low weight to reduce the effect of emphasis on surface color recording. The color for a given portion of the surface should preferably be determined from a 2D image that the color can be accurately determined, rather than essentially when the pixel values are saturated.

幾つかの実施例において、上記スキャナまたは上記スキャナ・システムは、捕捉された２Ｄ画像において飽和ピクセルを検出すべく、且つ、獲得された色においてピクセル飽和により引き起こされたエラーを緩和もしくは除去すべく構成される。飽和ピクセルにより引き起こされたエラーは、加重平均値において飽和ピクセルに対して低い重みを割当てることにより緩和もしくは除去され得る。 In some embodiments, the scanner or scanner system is configured to detect saturated pixels in a captured 2D image and to mitigate or eliminate errors caused by pixel saturation in the acquired color. Will be done. Errors caused by saturated pixels can be mitigated or eliminated by assigning a lower weight to the saturated pixels in the weighted mean.

鏡面反射された光は、対象物表面の色ではなく、光源の色を有する。もし対象物が純粋な白色反射器でなければ、鏡面反射はそのとき、ピクセル色が光源色に忠実に合致する領域として特定され得る。故に、表面色を獲得するときには、斯かる鏡面反射を補償するために、カラー値が多色光源の色に忠実に合致するというピクセルまたはピクセル群に対しては低い重みを割当てることが有用である。 The specularly reflected light has the color of the light source, not the color of the surface of the object. If the object is not a pure white reflector, specular reflection can then be identified as a region where the pixel color faithfully matches the light source color. Therefore, when acquiring surface color, it is useful to assign a low weight to a pixel or group of pixels whose color value faithfully matches the color of a multicolored light source to compensate for such specular reflections. ..

鏡面反射はまた、患者の一群の歯を口腔内的に走査するときにも問題であり得る、と言うのも、歯は、完全に白色であることは希だからである。故に、カラー画像センサからの読取値が、対象物の表面は純粋な白色反射器であることを示すというピクセルに対しては、このピクセル群により記録された光は、口腔内の歯もしくは軟部組織からの鏡面反射により引き起こされたことを想定し、故に、これらのピクセルに対しては低い重みを割当てることで鏡面反射を補償することが有用であり得る。 Specular reflection can also be a problem when scanning a group of teeth in a patient intraorally, because teeth are rarely completely white. Therefore, for pixels where readings from a color image sensor indicate that the surface of the object is a pure white reflector, the light recorded by this group of pixels is the tooth or soft tissue in the oral cavity. Assuming that it was caused by specular reflection from, it may be useful to compensate for specular reflection by assigning low weights to these pixels.

幾つかの実施例において、対象物表面からの鏡面反射に対する補償は、例えば、純粋な白色反射器の形態の較正物体が走査される、というスキャナの較正から導出された情報に基づく。そのとき、カラー画像センサの読取値は、多色光源のスペクトルと、例えばスキャナの光学システムにおけるミラーの波長依存反射率により引き起こされる該光学システムの波長依存性とに依存する。もし、光学システムが、多色光源の全ての波長を等しく良好に案内するなら、カラー画像センサは、純粋な白色反射器が走査されたとき、多色光源の(スペクトルとも称される)色を記録する。 In some embodiments, compensation for specular reflection from the surface of the object is based on information derived from scanner calibration, for example, that a calibrated object in the form of a pure white reflector is scanned. The reading of the color image sensor then depends on the spectrum of the multicolor light source and the wavelength dependence of the optical system caused by, for example, the wavelength dependent reflectance of the mirror in the optical system of the scanner. If the optical system guides all wavelengths of a multicolored light source equally well, then the color image sensor will pick up the colors (also known as the spectrum) of the multicolored light source when the pure white reflector is scanned. Record.

幾つかの実施例において、上記表面からの鏡面反射に対する補償は、スキャナの光学システムの波長依存性と、多色光源のスペクトルと、カラー画像センサの波長依存感度とに基づく計算から導出された情報に基づく。幾つかの実施例において、上記スキャナは、鏡面反射された光を光学的に抑制し、更に良好な色測定を達成する手段を備える。このことは、上記スキャナが、例えば、少なくとも一つの偏光ビームスプリッタによりプローブ光を偏光化する手段を更に備えるならば、実現され得る。 In some embodiments, the compensation for specular reflection from the surface is information derived from calculations based on the wavelength dependence of the scanner's optical system, the spectrum of the multicolor light source, and the wavelength dependence sensitivity of the color image sensor. based on. In some embodiments, the scanner provides means for optically suppressing specularly reflected light to achieve even better color measurements. This can be achieved if the scanner further comprises means for polarizing the probe light, for example with at least one polarization beam splitter.

口腔の内側を走査するときには、歯肉、口蓋、舌部、または、頬側組織の如き周囲組織のプローブ光照明により引き起こされる赤色の周囲光が在り得る。故に、幾つかの実施例において、上記スキャナ及び／またはスキャナ・システムは、記録された２Ｄ画像における赤色成分を抑制すべく構成される。 When scanning the inside of the oral cavity, there may be red ambient light caused by probe light illumination of the gingiva, palate, tongue, or surrounding tissue such as buccal tissue. Therefore, in some embodiments, the scanner and / or scanner system is configured to suppress the red component in the recorded 2D image.

幾つかの実施例において、上記スキャナ及び／またはスキャナ・システムは、対象物の捕捉された２Ｄ画像及び／または部分的走査結果の複数の区画の色を、歯及び口腔組織に対する所定の色範囲と夫々比較すべく、且つ、色が、上記２つの所定の色範囲のいずれにもない区画に対しては、記録された色の赤色成分を抑制すべく構成される。歯は、基本的に、例えば、RGB構成において赤色成分の強度と青色及び／または緑色成分との間の一つの割合によるなど、記録された画像の異なる複数の成分の強度間の一つの割合により白色であると仮定され得る一方、口腔組織は基本的に、各成分の強度間の別の割合により赤味がかっている。口腔の一領域に対して記録された色が、歯に対する所定割合及び組織に対する所定割合の両方と異なる割合を示したとき、この領域は、赤色周囲光により照らされた歯の領域であるとして特定され、且つ、記録された画像の赤色成分は、赤色信号の記録強度を低減することにより、または、画像における他の成分の記録強度を増大することにより、他の成分に対して抑制される。 In some embodiments, the scanner and / or scanner system sets the colors of multiple compartments of captured 2D images and / or partial scans of an object to a predetermined color range for teeth and oral tissue. It is configured to suppress the red component of the recorded color for the sections where the colors are not in either of the above two predetermined color ranges for comparison with each other. Teeth are basically by one ratio between the intensities of different components of the recorded image, for example by one ratio between the intensity of the red component and the blue and / or green component in the RGB configuration. While it can be assumed to be white, the oral tissue is basically reddish due to different proportions between the intensities of each component. When the color recorded for an area of the oral cavity shows a different proportion than both a predetermined proportion for the teeth and a predetermined proportion for the tissue, this region is identified as the region of the teeth illuminated by red ambient light. The red component of the recorded image is suppressed with respect to the other components by reducing the recording intensity of the red signal or by increasing the recording intensity of the other components in the image.

幾つかの実施例において、スキャナに対して直接的に向かう表面法線を備える点の色は、表面法線がスキャナに対して直接的には向かわないという点の色よりも、大きく加重される。このことは、スキャナに対して直接的に向かう表面法線を備えた点は、周囲光によってではなく、スキャナからの白色光により更なる高程度まで照らされる、という利点を有している。 In some embodiments, the color of a point with a surface normal that points directly to the scanner is weighted more than the color of a point that has a surface normal that does not point directly to the scanner. .. This has the advantage that the points with surface normals that go directly to the scanner are illuminated to a higher degree by white light from the scanner rather than by ambient light.

幾つかの実施例において、スキャナに対して直接的に向かう表面法線を備える点の色は、もし、鏡面反射が付随するならば、更に低く加重される。 In some embodiments, the color of a point with a surface normal that goes directly to the scanner is weighted even lower if specular reflection is associated with it.

幾つかの実施例において、上記スキャナは、飽和ピクセル、及び／または、鏡面反射、及び／または、表面法線の配向の補償の如く、異なる効果を同時に補償すべく構成される。このことは、概略的に２Ｄ画像のピクセルまたはピクセル群の選択部に対する重みを上げることにより、且つ、上記選択のピクセルまたはピクセル群の一部分に対する重みを低減することにより、為され得る。 In some embodiments, the scanner is configured to simultaneously compensate for different effects, such as saturated pixels and / or specular reflection and / or compensation for surface normal orientation. This can be done roughly by increasing the weight of the pixel or pixel group selected portion of the 2D image and by decreasing the weight of the selected pixel or part of the pixel group.

幾つかの実施例において、上記方法は、上記対象物の上記部分の記録された２Ｄ画像、部分的走査結果、または、生成された３Ｄ表現物を処理する段階を有し、
上記処理段階は、
表面色を導出するときに、飽和ピクセルの重みを除外もしくは低減することにより、ピクセル飽和を補償する段階、及び／または、
表面色を導出するときに、そのカラー値が光源の色に忠実に合致するピクセルの重みを除外もしくは低減することにより、鏡面反射を補償する段階、及び／または、
２Ｄ画像の表面色情報を、所定の色範囲と比較し、且つ、これが所定の色範囲内でなければ、記録された色の赤色成分を抑制することにより、赤色周囲光を補償する段階、
を有する。 In some embodiments, the method comprises processing a recorded 2D image, a partial scan result, or a generated 3D representation of the portion of the object.
The above processing stage
A step of compensating for pixel saturation by excluding or reducing the weight of saturated pixels when deriving the surface color, and / or
When deriving the surface color, the step of compensating for specular reflection by excluding or reducing the weight of pixels whose color values faithfully match the color of the light source, and / or
A step of compensating for red ambient light by comparing the surface color information of a 2D image with a predetermined color range and, if this is not within the predetermined color range, by suppressing the red component of the recorded color.
Have.

開示されたスキャナ・システムを用いて、対象物の生成されたデジタル３Ｄ表現物上にカラー・テクスチャを表示する方法が開示される。例えば、コンピュータ画面上で、デジタル３Ｄ表現物上にテクスチャとしてカラー・データを表示することが有用である。色及び幾何学形状の組合せ物は、データのみのいずれの形式よりも強力な情報伝達体である。例えば、歯科医は、異なる種類の組織を更に容易に区別し得る。表面幾何学形状のレンダリングにおいて、例えば、鮮鋭な縁部を明らかとする人工的な陰影による適切な陰影付けは、テクスチャのみが行い得るよりも良好に、テクスチャ上への表面幾何学形状の移動を支援し得る。 A method of displaying a color texture on a generated digital 3D representation of an object using the disclosed scanner system is disclosed. For example, it is useful to display color data as a texture on a digital 3D representation on a computer screen. The combination of color and geometry is a more powerful signal transmitter than any form of data alone. For example, a dentist can more easily distinguish between different types of tissue. In rendering surface geometries, for example, proper shading with artificial shading to reveal sharp edges will move the surface geometry onto the texture better than the texture alone can do. Can help.

上記多色光源がマルチダイLEDまたは類似物であるとき、上記スキャナ・システムは、蛍光を検出するためにも使用され得る。開示されたスキャナ・システムを用い、表面幾何学形状上に蛍光を表示する方法が開示される。 When the multicolor light source is a multi-die LED or similar, the scanner system can also be used to detect fluorescence. A method of displaying fluorescence on a surface geometry using the disclosed scanner system is disclosed.

幾つかの実施例において、上記スキャナは、上記マルチダイLEDにおけるLEDダイの下位集合のみにより対象物を照らすことにより該対象物上に蛍光を励起すべく構成され、その場合に上記蛍光は、少なくとも概略的に蛍光の色に合致するカラー・フィルタを有するカラー画像センサ中のピクセルのみを専らまたは選好的に読み取ることにより、すなわち、長波長光に対するフィルタを有する画像センサのピクセルのみにおける強度を測定することにより、記録される。換言すると、マルチダイLEDにおけるLEDダイの下位集合から発せられた光が対象物における蛍光物質を励起し且つスキャナはこれらの蛍光物質から発せられた蛍光を記録し得る如く、上記スキャナは、上記LEDダイの下位集合のみを選択的に起動し得ると共に、上記LEDダイの下位集合の波長よりも長い波長におけるカラー・フィルタを有するカラー画像センサにおけるピクセルのみを専ら記録しまたは選好的に読み取り得る。上記ダイの下位集合は好適には、紫外、青色、緑色、黄色、または、赤色のLEDダイの如く、対象物における蛍光物質の励起スペクトル内の光を発する一つ以上のLEDダイを備える。斯かる蛍光測定は、２Ｄカラー画像に酷似した２Ｄデータをもたらすが、２Ｄ画像とは異なり、それは、表面幾何学形状と同時的には取り込まれ得ない。低速で移動する、及び／または、適切な補間を備えたスキャナに対し、蛍光画像は依然として、表面幾何学形状に重畳され得る。歯の上に蛍光を表示することは有用である、と言うのも、虫歯及び歯垢の検出が支援され得るからである。 In some embodiments, the scanner is configured to excite fluorescence on the object by illuminating the object only with a subset of LED dies in the multi-die LED, where the fluorescence is at least schematic. By exclusively or preferentially reading only the pixels in a color image sensor that has a color filter that specifically matches the color of the fluorescence, i.e., measuring the intensity of only the pixels of the image sensor that has a filter for long wavelength light. Is recorded by. In other words, the scanner is such that the light emitted from a subassembly of the LED dies in a multi-die LED excites the fluorescent material in the object and the scanner can record the fluorescence emitted from these fluorescent materials. Only the subset of the LED die can be selectively activated and only the pixels in a color image sensor having a color filter at a wavelength longer than the wavelength of the subset of the LED die can be recorded exclusively or read preferentially. The subassembly of the dies preferably comprises one or more LED dies that emit light within the excitation spectrum of the fluorescent material in the object, such as ultraviolet, blue, green, yellow, or red LED dies. Such fluorescence measurements result in 2D data that closely resembles a 2D color image, but unlike 2D images, it cannot be captured simultaneously with surface geometry. For scanners that move at low speed and / or have appropriate interpolation, the fluorescence image can still be superimposed on the surface geometry. Displaying fluorescence on the teeth is useful because it can assist in the detection of caries and plaque.

幾つかの実施例において、上記データ処理システムは、上記カラー画像センサにより獲得された２Ｄ画像から表面幾何学形状情報を抽出すべく、且つ、同一の画像から表面色を決定すべく構成されたマイクロプロセッサ・ユニットを備える。 In some embodiments, the data processing system is configured to extract surface geometric shape information from a 2D image acquired by the color image sensor and to determine a surface color from the same image. It has a processor unit.

上記データ処理システムは、上記スキャナ・システムの種々の部分に分散された複数のユニットを備え得る。静止的なユニットに対して接続された手持ち部分を備えるスキャナ・システムに対し、上記データ処理システムは、例えば、上記手持ち部分に一体化された一つのユニット、及び、上記静止的ユニットに一体化された別のユニットを備え得る。このことは、手持ちユニットから静止的ユニットに対してデータを転送するデータ接続構造が、カラー画像センサからのデータ・ストリームを取扱い得ない帯域幅を有するときに有用であり得る。そのときに、手持ちユニットにおける予備的なデータ処理は、上記データ接続構造を介して転送されるべきデータの量を減少し得る。 The data processing system may include a plurality of units distributed in various parts of the scanner system. In contrast to a scanner system that includes a hand-held portion connected to a stationary unit, the data processing system is integrated into, for example, one unit integrated into the hand-held portion and the stationary unit. May have another unit. This can be useful when the data connection structure that transfers data from the handheld unit to the stationary unit has a bandwidth that cannot handle the data stream from the color image sensor. Preliminary data processing in the handheld unit can then reduce the amount of data to be transferred via the data connection structure.

幾つかの実施例において、上記データ処理システムは、上記後処理を実施するためのコンピュータ実行型アルゴリズムが記憶されたコンピュータ可読媒体を備える。 In some embodiments, the data processing system comprises a computer-readable medium in which a computer-executed algorithm for performing the post-processing is stored.

幾つかの実施例において、上記データ処理システムの一部は、カートまたはパーソナルコンピュータに一体化される。 In some embodiments, some of the data processing systems are integrated into a cart or personal computer.

開示されたスキャナ・システムを用い、各概観がスキャナ及び対象物の実質的に固定された相対配向を表すという幾つかの概観からの色及び／または表面幾何学形状を平均化する方法が開示される。 Using the disclosed scanner system, a method of averaging color and / or surface geometry from several overviews, where each overview represents a substantially fixed relative orientation of the scanner and object, is disclosed. To.

開示されたスキャナ・システムを用い、単一の概観において可能であるよりも更に完全な対象物の包含範囲を達成する如く、各概観がスキャナ及び対象物の実質的に固定された相対配向を表すという幾つかの概観からの色及び／または表面幾何学形状を組み合わせるという方法が開示される。 Using the disclosed scanner system, each overview represents a substantially fixed relative orientation of the scanner and the object so as to achieve a more complete coverage of the object than is possible in a single overview. A method of combining colors and / or surface geometries from several overviews is disclosed.

対象物の表面幾何学形状及び表面色を獲得するスキャナであって、該スキャナは、
プローブ光を提供すべく構成された多色光源と、
上記対象物から受信された光の一つ以上の２Ｄ画像を記録する画像センサ・ピクセルのアレイを備えるカラー画像センサと、
を備え、
上記画像センサ・ピクセルの少なくとも一つのブロックに対し、上記対象物の一部分の表面色及び表面幾何学形状の両方が、少なくとも部分的に、上記カラー画像センサにより記録された一つの２Ｄ画像から導出される、
スキャナ・システムが開示される。 A scanner that acquires the surface geometry and surface color of an object.
With a multicolored light source configured to provide probe light,
A color image sensor with an array of image sensor pixels that records one or more 2D images of the light received from the object.
With
For at least one block of the image sensor pixel, both the surface color and surface geometry of a portion of the object are derived, at least in part, from a single 2D image recorded by the color image sensor. ,
The scanner system is disclosed.

対象物の表面幾何学形状及び表面色を記録するスキャナ・システムであって、該スキャナ・システムは、
多色プローブ光を提供すべく構成された多色光源と、
上記対象物から受信された光の一つ以上の２Ｄ画像を捕捉する画像センサ・ピクセルのアレイを備えるカラー画像センサと、
を備え、
上記画像センサ・ピクセルの少なくとも一つのブロックに対し、上記対象物の一部分の表面色情報及び表面幾何学形状情報の両方が、少なくとも部分的に、上記カラー画像センサにより捕捉された一つの２Ｄ画像から導出される、
スキャナ・システムが開示される。 A scanner system that records the surface geometry and surface color of an object.
With a multicolor light source configured to provide multicolor probe light,
A color image sensor with an array of image sensor pixels that captures one or more 2D images of light received from the object.
With
For at least one block of the image sensor pixel, both the surface color information and the surface geometry information of a part of the object are, at least partially, from one 2D image captured by the color image sensor. Derived,
The scanner system is disclosed.

対象物の表面幾何学形状及び表面色を記録するスキャナ・システムであって、該スキャナ・システムは、
プローブ光を提供すべく構成された多色光源と、
画像センサ・ピクセルのアレイを備えるカラー画像センサと、
上記対象物の２Ｄ画像が上記カラー画像センサにより捕捉され得る如く、上記対象物から受信された光を上記カラー画像センサまで案内すべく構成された光学システムと、
を備え、
当該スキャナ・システムは、表面色情報及び表面幾何学形状情報が当該スキャナにより同時に獲得される如く、上記対象物の一部分の所定数の２Ｄ画像を捕捉すべく、且つ、少なくとも、上記カラー画像センサ・ピクセルのブロックに対して上記捕捉済み２Ｄ画像の内の少なくとも一つの２Ｄ画像から上記対象物の上記部分の表面色情報及び表面幾何学形状情報の両方を導出すべく構成される、
スキャナ・システムが開示される。 A scanner system that records the surface geometry and surface color of an object.
With a multicolored light source configured to provide probe light,
A color image sensor with an array of image sensors and pixels,
An optical system configured to guide the light received from the object to the color image sensor so that the 2D image of the object can be captured by the color image sensor.
With
The scanner system captures a predetermined number of 2D images of a portion of the object so that surface color information and surface geometric shape information are simultaneously acquired by the scanner, and at least the color image sensor. It is configured to derive both the surface color information and the surface geometric shape information of the portion of the object from at least one of the captured 2D images for a block of pixels.
The scanner system is disclosed.

対象物の表面幾何学形状及び表面色を記録するスキャナ・システムであって、
プローブ光を提供すべく構成された多色光源と、
画像センサ・ピクセルのアレイを備えるカラー画像センサであって、該画像センサは、上記対象物から受信された光の２Ｄ画像を捕捉すべく配置されるというカラー画像センサと、
上記カラー画像センサにより捕捉された上記２Ｄ画像の内の少なくとも一つの２Ｄ画像から上記対象物の少なくとも一部の表面色情報及び表面幾何学形状情報の両方を導出すべく構成された画像プロセッサと、
を備える、スキャナ・システムが開示される。 A scanner system that records the surface geometry and surface color of an object.
With a multicolored light source configured to provide probe light,
A color image sensor comprising an array of image sensor pixels, wherein the image sensor is arranged to capture a 2D image of light received from the object.
An image processor configured to derive both surface color information and surface geometry information of at least a part of the object from at least one 2D image of the 2D images captured by the color image sensor.
A scanner system comprising the above is disclosed.

対象物の表面幾何学形状及び表面色を記録するスキャナ・システムであって、
上記各実施例の内のいずれかに係るスキャナ・システムであって、該スキャナ・システムは、上記対象物の表面色及び表面幾何学形状を導出すべく、且つ、選択的に、上記対象物の上記部分の部分的走査結果またはデジタル３Ｄ表現物を生成すべく構成されるというスキャナ・システムと、
上記カラー画像センサからの表面幾何学形状及び／または表面色を後処理すべく、または、生成された部分的走査結果またはデジタル３Ｄ表現物を後処理すべく構成されたデータ処理ユニットと、
を備える、スキャナ・システムが開示される。 A scanner system that records the surface geometry and surface color of an object.
A scanner system according to any one of the above embodiments, wherein the scanner system selectively derives the surface color and surface geometry of the object. With a scanner system configured to produce partial scan results or digital 3D representations of the above parts,
A data processing unit configured to post-process the surface geometry and / or surface color from the color image sensor, or to post-process the generated partial scan results or digital 3D representation.
A scanner system comprising the above is disclosed.

対象物の表面幾何学形状及び表面色を記録する方法であって、
上記各実施例の内のいずれかに係るスキャナまたはスキャナ・システムを配備する段階と、
上記多色光源からのプローブ光により上記対象物の表面を照らす段階と、
上記カラー画像センサを用いて上記対象物の一つ以上の２Ｄ画像を記録する段階と、
上記スキャナにより表面色及び表面幾何学形状が同時に獲得される如く、少なくとも上記画像センサ・ピクセルのブロックに対し、上記記録された２Ｄ画像の内の少なくとも幾つかの２Ｄ画像から上記対象物の一部分の表面色及び表面幾何学形状の両方を導出する段階と、
を有する、方法が開示される。 A method of recording the surface geometry and surface color of an object.
The stage of deploying a scanner or scanner system according to any of the above embodiments, and
The stage of illuminating the surface of the object with the probe light from the multicolor light source, and
The stage of recording one or more 2D images of the object using the color image sensor, and
A portion of the object from at least some of the recorded 2D images for at least a block of image sensor pixels so that the scanner obtains the surface color and surface geometry at the same time. At the stage of deriving both surface color and surface geometry,
The method is disclosed.

スキャナ・システムの手持ち実施例を示す図である。It is a figure which shows the hand-held embodiment of a scanner system. 先行技術のパターン生成手段及び付随する基準重みを示す図である。It is a figure which shows the pattern generation means of the prior art and the accompanying reference weight. パターン生成手段及び付随する基準重みを示す図である。It is a figure which shows the pattern generation means and the accompanying reference weight. カラー・フィルタ・アレイを示す図である。It is a figure which shows the color filter array. 方法のフローチャートを示す図である。It is a figure which shows the flowchart of the method. 表面幾何学形状情報及び表面幾何学形状情報が如何にして導出され得るかを示す図である。It is a figure which shows how the surface geometry shape information and the surface geometry shape information can be derived.

図１は、ハウジング100の内側の各構成要素を備えたスキャナ・システムの手持ち部分を示している。上記スキャナは、キャビティ内に進入され得る先端と、マルチダイLED101の形態の多色光源と、プローブ光内に空間的パターンを取入れるパターン生成素子130と、ビームスプリッタ140と、画像センサ181、電子機器及び可能的な他の複数の素子を含むカラー画像センサ180と、少なくとも一つのレンズ及び上記画像センサを典型的に備える光学システムとを備える。光源101からの光は、光学システム150を往復して進行する。この通過の間、上記光学システムは、此処では患者の一群の歯である走査されつつある対象物200上へとパターン130を結像すると共に、更に、走査されつつある対象物を画像センサ181上へと結像する。 FIG. 1 shows a handheld portion of a scanner system with each component inside the housing 100. The scanner includes a tip that can enter the cavity, a multicolor light source in the form of a multi-die LED 101, a pattern generation element 130 that incorporates a spatial pattern into the probe light, a beam splitter 140, an image sensor 181, and an electronic device. A color image sensor 180 including a plurality of other possible elements, and an optical system typically comprising at least one lens and the image sensor. The light from the light source 101 travels back and forth through the optical system 150. During this passage, the optical system forms a pattern 130 onto the object 200 being scanned, which is here a group of teeth of the patient, and further images the object being scanned onto the image sensor 181. Image is formed.

画像センサ181は、カラー・フィルタ・アレイ1000を有する。別体的な構成片として描かれているが、上記カラー・フィルタ・アレイに対しては典型的に、上記画像センサと、全てのピクセルに対する単色フィルタとが一体化される。 The image sensor 181 has a color filter array 1000. Although depicted as a separate piece, the image sensor is typically integrated with a monochromatic filter for all pixels for the color filter array.

レンズ系は、上記パターンの焦点結像面を、探査された対象物200上でシフトさせるべく調節され得る焦点合わせ素子151を含む。例示的実施例においては、単一のレンズ要素が光軸に沿って物理的に前後にシフトされる。 The lens system includes a focusing element 151 that can be adjusted to shift the focal image plane of the pattern on the explored object 200. In an exemplary embodiment, a single lens element is physically shifted back and forth along the optical axis.

全体として、上記光学システムは、探査されつつある対象物上への上記パターンの結像と、探査されつつある対象物からカメラ上への結像とを提供する。 Overall, the optical system provides imaging of the pattern onto the object being explored and imaging from the object being explored onto the camera.

上記デバイスは、偏光用光学機器160を含み得る。偏光用光学機器は、選択的に、鏡面反射は結像し、且つ、走査された対象物の内側の表面下散乱に由来する不都合な拡散信号を遮断すべく使用され得る。ビームスプリッタ140もまた、偏光フィルタリング特性を有し得る。各光学素子は、反射防止被覆されることが好適であり得る。 The device may include a polarizing optical instrument 160. Polarization optics can selectively be used to image specular reflections and block inconvenient diffuse signals resulting from subsurface scattering inside the scanned object. The beam splitter 140 may also have polarization filtering properties. Each optical element may preferably have an antireflection coating.

上記デバイスは、折返し用光学機器、すなわち、上記デバイスからの光を上記レンズ系の光路とは異なる方向、例えば、上記レンズ系の光路に対して直交する方向へと導向するミラー170を含み得る。 The device may include a folding optical device, i.e., a mirror 170 that directs light from the device in a direction different from the optical path of the lens system, for example, in a direction orthogonal to the optical path of the lens system.

上記スキャナ内には、例えば、光源101の正面における一つ以上の集光レンズなどの、付加的な光学素子が在り得る。 Within the scanner may be additional optical elements, such as, for example, one or more condenser lenses in front of the light source 101.

例示的実施例において、LED101は、２個の緑色ダイ、１個の赤色ダイ及び１個の青色ダイを備えたマルチダイLEDである。表面幾何学形状を獲得するために、光の緑色部分のみが使用される。従って、ミラー170は、他の色ではなく、緑色光の円偏光の保持を最適化する如く被覆される。走査の間においては上記LED内の全てのダイが有効であり、すなわち、光を発していることから、上記スキャナは、見かけ上は、走査される対象物200上に白色光を発することを銘記されたい。上記LEDは、例えば、一つの色が他の各色よりも強力である如く、異なる強度を有する異なる色にて光を発し得る。このことは、上記カラー画像センサにおいて異なるカラー信号の夫々の読取値間のクロストークを低減するために望ましいものであり得る。例えば、RGBシステムにおける赤色及び青色のダイオードの強度が低減された場合、光源により発せられた見かけ上は白色の光は、緑がかった白色に見える。 In an exemplary embodiment, the LED 101 is a multi-die LED with two green dies, one red die and one blue die. Only the green part of the light is used to obtain the surface geometry. Therefore, the mirror 170 is coated to optimize the retention of circularly polarized light in green light rather than in other colors. Note that the scanner apparently emits white light onto the object 200 being scanned, since all the dies in the LED are valid during scanning, i.e. emitting light. I want to be. The LED may emit light in different colors with different intensities, for example, one color is more powerful than each other color. This may be desirable in order to reduce crosstalk between the readings of different color signals in the color image sensor. For example, if the intensity of the red and blue diodes in an RGB system is reduced, the apparently white light emitted by the light source will appear greenish white.

上記スキャナ・システムは更に、少なくとも部分的に、カラー画像センサ180により記録された一つの２Ｄ画像から、該カラー画像センサ180のピクセルのブロックに対し、表面幾何学形状情報及び表面色情報の両方を導出すべく構成されたデータ処理システムを備える。該データ処理システムの少なくとも一部は、図示されたスキャナ・システムの手持ち部分内に配置され得る。一部は、上記手持ち部分に対して接続されたカートの如き、上記スキャナ・システムの付加的部分内に配置されても良い。 The scanner system further provides both surface geometric shape information and surface color information from a single 2D image recorded by the color image sensor 180, at least in part, to a block of pixels of the color image sensor 180. It is equipped with a data processing system configured for derivation. At least a portion of the data processing system may be located within the handheld portion of the illustrated scanner system. A portion may be located within an additional portion of the scanner system, such as a cart connected to the handheld portion.

図２は、国際特許出願公開公報WO2010/145669号の空間的相関実施例における静的パターンとして適用された先行技術のパターン生成素子130の断片であって、単色画像センサ180上に結像されたという断片を示している。上記パターンはガラス上クロム・パターンであり得る。上記断片は、示されたパターンの一部のみ、すなわち、一つの周期を示している。この周期は、6×6の画像ピクセルのピクセル・ブロック、及び、2×2のパターン領域により表される。図２Ａにおいて灰色で描かれた領域は実際には黒色である、と言うのも、パターン・マスクはこれらの領域に対して不透明であり、灰色は単に、視認性のために、故に、同図の明瞭化のためにのみ選択されているからである。図２Ｂは、次式の如くn＝6×6＝36であるときに、上記ピクセル・ブロックに対する空間的相関測度Aを算出するための基準重みfを示している： FIG. 2 is a fragment of the pattern generation element 130 of the prior art applied as a static pattern in the spatial correlation example of WO2010 / 145669 of International Patent Application Publication No. WO2010 / 145669, which is imaged on the monochromatic image sensor 180. The fragment is shown. The pattern can be a chrome pattern on glass. The above fragment shows only a part of the shown pattern, that is, one period. This period is represented by a pixel block of 6x6 image pixels and a 2x2 pattern area. The areas drawn in gray in FIG. 2A are actually black, because the pattern mask is opaque to these areas and the gray is simply for visibility, and therefore the figure. This is because it is selected only for the purpose of clarifying. FIG. 2B shows the reference weight f for calculating the spatial correlation measure A for the pixel block when n = 6 × 6 = 36 as in the following equation:

式中、Iは、与えられた画像に対して上記ピクセル・ブロック内の36個のピクセルにおいて測定された強度値である。画像センサのピクセルとパターン領域との間の完全な整列は、必要ではないが、表面幾何学形状の測定に対して最良の信号を与えることを銘記されたい。 In the equation, I is the intensity value measured at 36 pixels in the pixel block for a given image. Note that perfect alignment between the pixels of the image sensor and the pattern area is not necessary, but gives the best signal for measuring surface geometry.

図３は、カラー走査に対する図２における原理の拡張を示している。パターンは図２におけるのと同一であり、画像センサの幾何学形状もそうである。但し、画像センサは、Bayerカラー・フィルタ・アレイによるカラー画像センサである。図３Ａにおいて、ピクセル記号「B」は青色カラー・フィルタを有する一方、「G」は緑色の及び「R」は赤色のピクセル・フィルタを夫々表している。図３Ｂは、対応する基準重みfを示している。緑色ピクセルのみが非ゼロ値を有することを銘記されたい。これは、表面幾何学形状情報を記録するために、スペクトルの緑色部分のみが使用されるからである。 FIG. 3 shows an extension of the principle in FIG. 2 for color scanning. The pattern is the same as in FIG. 2, and so is the geometry of the image sensor. However, the image sensor is a color image sensor using a Bayer color filter array. In FIG. 3A, the pixel symbol "B" has a blue color filter, while "G" represents a green and "R" represents a red pixel filter, respectively. FIG. 3B shows the corresponding reference weight f. Note that only green pixels have non-zero values. This is because only the green part of the spectrum is used to record the surface geometry information.

図３のパターン／カラー・フィルタ組み合わせに対し、ピクセル・ブロック内のカラー成分c_jは次式として獲得され得る： For the pattern / color filter combination of FIG. 3, the color component c _j in the pixel block can be obtained as:

式中、g_j,i＝ピクセルiがカラーc_jに対してフィルタを有するなら１であり、その他の場合には０である。Bayerパターンにおけるのと同様であるRGBカラー・フィルタ・アレイに対し、jは赤色、緑色または青色の内の一つである。典型的には、変化するフィルタ効率、照明源効率、及び、フィルタ・パターンにおける各カラー成分の異なる割合に対する補償として、自然なカラー・データを獲得するためには、個々のカラー成分の更なる加重、すなわち色較正が必要とされ得る。上記較正は、視界内の焦点面の箇所及び／または位置にも依存し得る、と言うのも、LED構成要素カラーの混合は、それらの要因により変動し得るからである。 In the equation, g _{j, i} = 1 if pixel i has _{a filter for color c j} , 0 otherwise. For an RGB color filter array similar to that in the Bayer pattern, j is one of red, green or blue. Further weighting of individual color components to obtain natural color data, typically as compensation for varying filter efficiency, illumination source efficiency, and different proportions of each color component in the filter pattern. That is, color calibration may be required. The calibration may also depend on the location and / or position of the focal plane in the field of view, as the mixing of LED component colors can vary due to those factors.

図４は、Bayerパターンにおけるよりも高い割合の緑色ピクセルを備えた本発明のカラー・フィルタ・アレイを示している。該カラー・フィルタ・アレイは、6×6のカラー・フィルタの複数のセルを備え、各セルの位置(2,2)及び(5,5)における青色カラー・フィルタ、位置(2,5)及び(5,2)における赤色カラー・フィルタ、及び、セルの残りの全ての位置における緑色カラー・フィルタを備えている。 FIG. 4 shows a color filter array of the present invention with a higher proportion of green pixels in the Bayer pattern. The color filter array comprises multiple cells of a 6x6 color filter, with blue color filters, positions (2,5) and at positions (2,2) and (5,5) of each cell. It has a red color filter in (5,2) and a green color filter in all the remaining positions of the cell.

表面幾何学形状情報を獲得するために照明の緑色部分のみが使用されると想定すると、図４のフィルタは可能的に、更に不十分なカラー表現という代償を以て、Bayerパターン・フィルタよりも良好な品質の獲得済み表面幾何学形状を提供する。更に不十分であるカラー表現は多くの場合において依然として十分である一方、更に良好な品質の獲得済み表面幾何学形状は、非常に好適であることが多い。 Assuming that only the green part of the illumination is used to obtain surface geometry information, the filter in Figure 4 is possible and better than the Bayer pattern filter at the cost of inadequate color representation. Provides quality acquired surface geometry. While more inadequate color representations are often still sufficient, even better quality acquired surface geometries are often very suitable.

図５は、対象物の表面幾何学形状及び表面色を記録する方法のフローチャート541を示している。 FIG. 5 shows a flowchart 541 of a method of recording the surface geometry and surface color of an object.

ステップ542においては、先の各請求項の内のいずれかに係るスキャナ・システムが獲得される。 In step 542, the scanner system according to any of the preceding claims is acquired.

ステップ543において、対象物は多色プローブ光により照らされる。相関測度または相関測度機能を活用する焦点走査システムにおいて、プローブ光上には、当該パターンに関する情報が、捕捉された２Ｄ画像から表面幾何学形状情報を決定するために使用され得る如く、市松模様パターンが課され得る。 In step 543, the object is illuminated by a multicolor probe light. In a focal scan system that utilizes a correlation measure or correlation measure function, a checkerboard pattern pattern on the probe light so that information about the pattern can be used to determine surface geometry information from the captured 2D image. Can be imposed.

ステップ544においては、上記カラー画像センサを用いて、上記対象物の一連の２Ｄ画像が捕捉される。各２Ｄ画像は、即時に処理されるか、後時の処理のためにメモリ・ユニット内に記憶され得る。 In step 544, the color image sensor is used to capture a series of 2D images of the object. Each 2D image can be processed immediately or stored in a memory unit for later processing.

ステップ545においては、少なくとも部分的に、一つの捕捉済み２Ｄ画像から、画像センサ・ピクセルのブロックに対して表面幾何学形状情報及び表面色情報の両方が導出される。上記情報は、例えば、本明細書中に記述された相関測度手法を用いて導出され得る。導出された各情報は、ステップ546において上記対象物の部分的走査結果(sub-scan)を生成すべく組み合わされ、その場合に上記部分的走査結果は、一つの視点から視認された上記対象物の幾何学形状及び色を表すデータを備える。 In step 545, both surface geometry information and surface color information are derived from one captured 2D image, at least in part, for a block of image sensor pixels. The above information can be derived, for example, using the correlation measure technique described herein. The derived information is combined to generate a sub-scan of the object in step 546, in which case the partial scan result is the object viewed from one point of view. It contains data representing the geometric shape and color of.

ステップ547においては、幾つかの部分的走査結果を組み合わせることにより、上記対象物の色及び幾何学形状を表すデジタル３Ｄ表現物が生成される。これは、文献において広く知られる統合して位置合わせするアルゴリズムの如き、部分的走査結果の整列に対する公知のアルゴリズムを用いて行われ得る。 In step 547, the combination of several partial scan results produces a digital 3D representation of the color and geometry of the object. This can be done using known algorithms for alignment of partial scan results, such as the integrated and aligned algorithms widely known in the literature.

図６は、画像センサ・ピクセルのブロックに対し、少なくとも一つの２Ｄ画像から表面幾何学形状情報及び表面幾何学形状情報が如何にして導出され得るかを示している。 FIG. 6 shows how surface geometry information and surface geometry information can be derived from at least one 2D image for a block of image sensor pixels.

全ての焦点面位置に対し、すなわち、一つの積層群の２Ｄ画像の全てに対し、上記カラー画像センサ上の全ての有効なセンサ・ピクセル群に対し、相関測度が決定される。上記積層群の一端からの各２Ｄ画像を解析することにより開始し、全ての有効な画像センサ・ピクセル群に対する相関測度が決定され、且つ、算出された値が記憶される。上記積層群を通して進展し、各ピクセル群に対する相関測度が決定され、且つ、先に記憶された値、すなわち、先に解析された２Ｄ画像に対する値と共に記憶される。 Correlation measures are determined for all focal plane positions, i.e. for all 2D images in one stack, for all valid sensor pixel groups on the color image sensor. Starting by analyzing each 2D image from one end of the stacking group, the correlation measure for all valid image sensor pixel groups is determined and the calculated value is stored. Proceeding through the stacking group, a correlation measure for each pixel group is determined and stored with the previously stored value, i.e., the value for the previously analyzed 2D image.

次に、決定された相関測度値を平滑化かつ補間することにより、各ピクセル群に対し、光軸に沿う相関測度の変動を記述する相関測度関数が決定される。例えば、記録された最大値の両側にて幾つかの画像にわたるピクセル・ブロックに対する各値に対しては多項式が適合され得ると共に、推定された最大値の箇所は、適合された多項式の最大値から見出され得、それは２つの画像の中間であり得る。 Next, by smoothing and interpolating the determined correlation measure values, a correlation measure function that describes the variation of the correlation measure along the optical axis is determined for each pixel group. For example, a polynomial can be fitted for each value for a pixel block over several images on either side of the recorded maximum, and the estimated maximum can be from the maximum of the fitted polynomial. It can be found, which can be between the two images.

ピクセル群に対する表面色情報は、上記相関測度の最大値が決定された一つ以上の２Ｄ画像から導出され、すなわち、上記カラー画像センサの一群のピクセルからの表面幾何学形状情報及び表面色情報は、上記積層群の同一の複数の２Ｄ画像から導出される。 The surface color information for the pixel group is derived from one or more 2D images in which the maximum value of the correlation measure is determined, that is, the surface geometric shape information and the surface color information from the pixel of the group of the color image sensor are , Derived from the same plurality of 2D images of the above-mentioned laminated group.

上記表面色情報は、一つの２Ｄ画像から導出され得る。一つの２Ｄ画像が解析されたとき、異なるピクセル群に対する相関測度に対する値は、先に解析された各２Ｄ画像に対して現在にて最高の値と比較され得る。もし、上記相関測度が、そのピクセル群に対する新たな最大値であるなら、少なくとも、このピクセル群に対応する上記２Ｄ画像の部分が保存される。そのピクセル群に対し、次の回にて更に大きな相関値が見出されたなら、この２Ｄ画像のその部分は、先に記憶された画像／下位画像を上書きして保存される。これにより、上記積層群の全ての２Ｄ画像が解析されたとき、各２Ｄ画像の表面幾何学形状情報は、画像センサ・ピクセルの各ブロックに対して最大値が記録される、という各ピクセル群に対する一連の相関測度値へと変換される。 The surface color information can be derived from one 2D image. When one 2D image is analyzed, the value for the correlation measure for different pixel groups can be compared to the current highest value for each previously analyzed 2D image. If the correlation measure is the new maximum value for the pixel group, then at least the portion of the 2D image corresponding to this pixel group is preserved. If a larger correlation value is found for the pixel group in the next round, that part of the 2D image is saved by overwriting the previously stored image / lower image. As a result, when all the 2D images of the laminated group are analyzed, the maximum value of the surface geometric shape information of each 2D image is recorded for each block of the image sensor pixel for each pixel group. It is converted into a series of correlation measure values.

図６Ａは、各２Ｄ画像が異なる焦点面位置において獲得されたという、焦点走査システムを用いて獲得された２Ｄ画像の積層群の一部分661を示している。各２Ｄ画像662においては、画像センサ・ピクセルのブロックに対応する部分663が表されている。該ブロックは、一群の座標(x_i,y_i)に対応する。上記焦点走査システムは、画像センサ・ピクセルの各ブロックと、積層群における各２Ｄ画像とに対する相関測度を決定すべく構成される。図６Ｂには、ブロック663に対して(此処では「×」により表された)決定された相関測度664が示される。決定された相関測度664に基づき、此処では多項式として相関測度関数665が算出され、且つ、該相関測度関数に対する最大値が位置z_iにおいて見出される。適合された多項式が最大値(z_i)を有するz値は、対象物表面の点として特定される。このブロックから導出された表面幾何学形状情報は次に、座標(x_i,y_i,z_i)の形態で呈示され得ると共に、上記画像センサの幾つかのブロックに対する表面幾何学形状情報を組み合わせることにより、上記対象物の一部分の幾何学形状を表現する部分的走査結果が生成され得る。 FIG. 6A shows a portion 661 of a stack of 2D images acquired using a focus scanning system, where each 2D image was acquired at a different focal plane position. In each 2D image 662, the portion 663 corresponding to the block of image sensor pixels is represented. The block corresponds to a group of coordinates (x _i , y _i ). The focus scanning system is configured to determine a correlation measure for each block of image sensor pixels and each 2D image in a stack. FIG. 6B shows the correlation measure 664 determined for block 663 (here represented by an “x”). Based on the determined correlation measure 664, the correlation measure function 665 is calculated here as a polynomial, and the maximum value for the correlation measure function is found at _{position z i.} The z-value at which the fitted polynomial has the maximum value (z _i ) is specified as a point on the surface of the object. The surface geometry information derived from this block can then _{be presented in the form of coordinates (x i} , y _i , z _i ) and combined with the surface geometry information for some blocks of the image sensor. Thereby, a partial scanning result expressing the geometrical shape of a part of the object can be generated.

図６Ｃには、画像センサ・ピクセルの各ブロックに対する２つの２Ｄ画像から表面色幾何学形状を導出する手順が示される。上述された手順を用いて２つの２Ｄ画像が記憶されると共に、ピクセル・ブロックに対するそれらのRGB値が決定される。図６Ｃにおいては、各R値666が表示される。次に、補間により、z_i位置にて平均されたR値667(ならびに、平均されたG及びB値)が決定されると共に、このブロックに対する表面色情報として使用され得る。この表面色情報は、明らかに、少なくとも部分的に上記幾何学形状情報が導出されたのと同一の２Ｄ画像から導出される。 FIG. 6C shows a procedure for deriving surface color geometry from two 2D images for each block of image sensor pixels. Two 2D images are stored using the procedure described above and their RGB values for pixel blocks are determined. In FIG. 6C, each R value 666 is displayed. Interpolation then determines the averaged R-value 667 (and the averaged G and B values) at _{the z i position and can be used as surface color information for this block.} This surface color information is clearly derived from the same 2D image from which the geometry information was derived, at least in part.

Claims (15)

対象物（２００）の表面幾何学形状及び表面色を記録する焦点スキャナ・システムであって、光軸に沿い焦点面を平行移動させ、前記対象物に対して異なる焦点面位置のための２Ｄカラー画像の１つの積層（６６１）を捕捉することにより操作する焦点スキャナ・システムにおいて、
該焦点スキャナ・システムは、
前記対象物の照明のための多色プローブ光を提供すべく構成された１つの多色光源（１０１）と、
前記対象物（２００）から受信された光の２Ｄ画像（６６２）を捕捉する画像センサ・ピクセルのアレイを備えるカラー画像センサ（１８０）であって、当該カラー画像センサ（１８０）は、少なくとも３つの型のカラー・フィルタであって、各カラー・フィルタが夫々、既知である波長範囲W1、W2及びW3の光が当該カラー・フィルタを通り前記画像センサ・ピクセルへ伝搬することを許容するカラー・フィルタを備えるカラー・フィルタ・アレイを有するカラー画像センサ（１８０）と、
画像センサ・ピクセルのブロック（６６３）を分析すべく構成されたデータ処理システムであって、画像センサ・ピクセルの所定のブロック（６６３）に対して、
表面幾何学形状情報が、当該焦点スキャナ・システムからのいずれの距離にて前記対象物（２００）が焦点内に在るかを特定することにより導出され、焦点内に在る場合に、前記２Ｄカラー画像の前記積層（６６１）における少なくとも１つの２Ｄ画像（６６２）が、特定され、前記表面幾何学形状情報が、前記ブロック（６６３）において前記少なくとも３つの型のカラー・フィルタのうち１つ又は複数を通して且つ特定された前記少なくとも１つの２Ｄ画像（６６２）から伝搬された前記光によって導出され、
表面色情報が、前記ブロック（６６３）において前記少なくとも３つの型のカラー・フィルタのうち少なくとも３つを通して且つ特定された前記少なくとも１つの２Ｄ画像（６６２）から伝搬された前記光によって導出され、前記ブロック（６６３）において前記少なくとも３つの型のカラー・フィルタのうち少なくとも１つを通して伝搬された前記光が、前記表面幾何学形状情報及び前記表面色情報の両方を導出するために使用され、
導出された前記表面色情報が、前記対象物の種々の概観について導出された前記表面幾何学形状情報に基づき、
前記対象物の前記種々の概観について導出された前記表面幾何学形状情報が、前記対象物（２００）における前記光の異なる入射角及び反射角を提供し、それによって、前記対象物における前記光の前記異なる入射角及び反射角が、前記表面色情報を導出するために使用される、データ処理システムと、
を具備し、
当該焦点スキャナ・システムは、前記プローブ光中に空間的パターンを取入れるべく構成されたパターン生成素子（１３０）を備える焦点スキャナ・システム。 A focal scanner system that records the surface geometry and surface color of an object (200) by translating the focal plane along the optical axis and 2D color for different focal plane positions with respect to the object. In a focal scanner system operated by capturing one stack of images (661).
The focus scanner system
A multicolor light source (101) configured to provide multicolor probe light for illuminating the object.
A color image sensor (180) comprising an array of image sensor pixels that captures a 2D image (662) of light received from the object (200), the color image sensor (180) having at least three. A type of color filter that allows light in the known wavelength ranges W1, W2, and W3, respectively, to propagate through the color filter to the image sensor pixel. A color image sensor (180) having a color filter array comprising:
A data processing system configured to analyze a block of image sensor pixels (663) with respect to a predetermined block of image sensor pixels (663).
The surface geometry information is derived by identifying at what distance from the focal scanner system the object (200) is in the focal point, and if it is in the focal point, the 2D At least one 2D image (662) in the stack (661) of color images is identified and the surface geometry information is in the block (663) one of the at least three types of color filters or Derived by the light propagating through and from at least one identified 2D image (662).
Surface color information is derived by the light propagating in the block (663) through at least three of the at least three types of color filters and from the identified at least one 2D image (662). The light propagated through at least one of the at least three types of color filters in block (663) is used to derive both the surface geometry information and the surface color information.
The derived surface color information is based on the surface geometry information derived for various overviews of the object.
The surface geometry information derived for the various overviews of the object provides different angles of incidence and reflection of the light in the object (200), thereby the light in the object. With a data processing system, the different angles of incidence and reflections are used to derive the surface color information.
Equipped with
The focal scanner system is a focal scanner system including a pattern generating element (130) configured to incorporate a spatial pattern into the probe light . 前記データ処理システムが、画像センサ・ピクセルの複数のブロック（６６３）から導出された表面幾何学形状情報及び表面色情報に基づき、対象物表面の一部の部分的走査結果を生成すべく構成され、所定数の部分的走査結果を組み合わせて前記対象物（２００）のデジタル３Ｄ表現物を生成すべく構成される請求項１に記載の焦点スキャナ・システム。 The data processing system is configured to generate a partial scan of the surface of an object based on surface geometric shape information and surface color information derived from multiple blocks (663) of image sensor pixels. The focal scanner system according to claim 1, wherein a predetermined number of partial scan results are combined to generate a digital 3D representation of the object (200). 前記表面幾何学形状情報及び前記表面色情報を導出する段階は、幾つかの２Ｄ画像（６６２）に対し、画像センサ・ピクセルの前記ブロック（６６３）により捕捉された前記２Ｄ画像の部分と加重関数との間の相関測度（６６４）を算出する段階を有し、n>1個の要素において信号ベクトルI＝(I₁、…、I_n)が、前記光軸に沿った前記焦点面の１つの位置での画像センサ・ピクセルの前記ブロックのためのセンサ信号を表し、前記加重関数が、前記空間的パターンの構成の情報に基づいて決定される基準重みの基準ベクトルf＝(f₁、…、f_n)により与えられ、ピクセルの各ブロック及び各焦点面位置の相関測度が、前記信号ベクトル及び前記基準ベクトルから算出されるドット積として導出される請求項１または請求項２に記載の焦点スキャナ・システム。 Deriving pre Symbol surface geometry information and the surface color information, with respect to some of the 2D image (662), and said portion of the captured the 2D image by blocks (663) of the image sensor pixel weighting has a step of calculating correlation measure the (664) between the function, n> 1 one signal vector I = in the elements (I _1, ..., I _n) is, the focal plane along the optical axis Representing the sensor signal for the block of image sensor pixels in one position, the weighting function is a reference vector of reference weights determined based on information in the composition of the spatial pattern f = (f ₁ , ..., F _n ), according to claim 1 or 2, wherein the correlation measure of each block of pixels and each focal plane position is derived as a dot product calculated from the signal vector and the reference vector. Focus scanner system. 画像センサ・ピクセルのブロック（６６３）に対して前記表面幾何学形状情報及び前記表面色情報を導出する段階は、前記光軸に沿い、対応する前記相関測度（６６４）が最大値を有する位置を特定する段階を有する請求項３に記載の焦点スキャナ・システム。 The step of deriving the surface geometric shape information and the surface color information to the block (663) of the image sensor pixel is the position along the optical axis where the corresponding correlation measure (664) has the maximum value. The focus scanner system according to claim 3, which has a step of identifying. 前記データ処理システムは、前記２Ｄ画像（６６２）の内で、前記相関測度（６６４）が画像センサ・ピクセルの対応ブロック（６６３）に対して最大値を有する、前記積層（６６１）における前記２Ｄ画像（６６２）の前記表面色情報に基づき、生成された部分的走査結果上の点に対する部分的走査結果の色を決定すべく構成される請求項３または４に記載の焦点スキャナ・システム。 The data processing system has the maximum value of the correlation measure (664) with respect to the corresponding block (663) of the image sensor pixel in the 2D image (662), the 2D image in the stack (661). The focus scanner system according to claim 3 or 4, wherein the color of the partial scan result with respect to a point on the generated partial scan result is determined based on the surface color information of (662). 前記データ処理システムは、前記２Ｄ画像（６６２）の内で、前記相関測度（６６４）が画像センサ・ピクセルの対応ブロック（６６３）に対して最大値を有する、前記積層（６６１）における前記２Ｄ画像（６６２）の前記表面色情報と、捕捉された前記２Ｄ画像の前記積層（６６３）からの隣接２Ｄ画像（６６２）の如き少なくとも一つの付加的な２Ｄ画像（６６２）とに基づき、生成された部分的走査結果上の点に対する部分的走査結果の色を決定すべく構成される請求項３または４に記載の焦点スキャナ・システム。 The data processing system has the maximum value of the correlation measure (664) with respect to the corresponding block (663) of the image sensor pixel in the 2D image (662), the 2D image in the stack (661). Generated based on the surface color information of (662) and at least one additional 2D image (662) such as an adjacent 2D image (662) from the stack (663) of the captured 2D images. The focus scanner system according to claim 3 or 4, wherein the color of the partial scan result with respect to a point on the partial scan result is determined. 前記データ処理システムは、前記部分的走査結果の色を決定するときに、前記積層（６６３）における隣接２Ｄ画像（６６２）の表面色情報の補間の如き、前記積層（６６３）における少なくとも２つの２Ｄ画像（６６２）の表面色情報を補間すべく構成される請求項６に記載の焦点スキャナ・システム。 The data processing system determines at least two 2Ds in the stack (663), such as interpolation of surface color information of adjacent 2D images (662) in the stack (663) when determining the color of the partial scan result. The focus scanner system according to claim 6, wherein the focus scanner system is configured to interpolate surface color information of an image (662). 前記データ処理システムは、前記部分的走査結果の所定数の点に対して平均化された部分的走査結果の色を算出すべく構成され、前記算出段階は、前記部分的走査結果上の周囲の複数の点の色の加重平均の如き異なる複数の点の部分的走査結果の色を平均化する段階を有する請求項２から請求項７のいずれか一つの請求項に記載の焦点スキャナ・システム。 The data processing system is configured to calculate the color of the partial scan result averaged with respect to a predetermined number of points of the partial scan result, and the calculation step is the surroundings on the partial scan result. The focus scanner system according to any one of claims 2 to 7, wherein the focus scanner system comprises a step of averaging the colors of the partial scan results of different points, such as a weighted average of the colors of the points. 前記データ処理システムは、前記対象物（２００）の生成された前記デジタル３Ｄ表現物が該対象物の幾何学形状及び色の変化特性の両方を表現するように、前記デジタル３Ｄ表現物を生成すべく組み合わされた前記部分的走査結果の色から、前記デジタル３Ｄ表現物の少なくとも一つの点の対象物カラーを決定すべく構成される請求項５から請求項８のいずれか一つの請求項に記載の焦点スキャナ・システム。 The data processing system produces the digital 3D representation such that the generated digital 3D representation of the object (200) represents both the geometric shape and the color change characteristics of the object. The invention according to any one of claims 5 to 8, which is configured to determine the object color of at least one point of the digital 3D representation from the colors of the partial scanning result combined in order to determine the object color. Focus scanner system. 前記対象物カラーを決定する段階は、対象物表面のその点において重なり合う複数の部分的走査結果における対応点に対して導出された部分的走査結果のカラー値の加重平均値を算出する段階を有する請求項９に記載の焦点スキャナ・システム。 The step of determining the object color includes a step of calculating a weighted average value of the color values of the partial scan results derived for the corresponding points in the plurality of partial scan results that overlap at that point on the surface of the object. The focus scanner system according to claim 9. 前記データ処理システムは、前記２Ｄ画像のピクセルまたはピクセル群のカラー値を前記多色光源（１０１）の色と比較することにより、捕捉された前記２Ｄ画像（６６２）において飽和ピクセルを検出すべく、且つ、
平滑化された部分的走査結果の色を算出する上で、前記飽和ピクセルの表面色情報に対して低い重みを割当てることにより、及び／又は、前記飽和ピクセルに基づいて算出された部分的走査結果の色に対して低い重みを割当てることにより、導出された前記表面色情報または部分的走査結果の色においてピクセル飽和により引き起こされたエラーを緩和もしくは除去すべく構成される請求項１から請求項１０のいずれか一つの請求項に記載の焦点スキャナ・システム。 The data processing system aims to detect saturated pixels in the captured 2D image (662) by comparing the color value of the pixels or group of pixels of the 2D image with the color of the multicolor light source (101). and,
In calculating the color of the smoothed partial scan result, by assigning a low weight to the surface color information of the saturated pixel and / or, the partial scan result calculated based on the saturated pixel. 1 to 10 configured to mitigate or eliminate errors caused by pixel saturation in the derived surface color information or partial scan result color by assigning a lower weight to the color of. The focal scanner system according to any one of the claims. 前記表面幾何学形状情報は、前記多色光源（１０１）により提供されるスペクトルの選択波長範囲における光から導出される請求項１から請求項１１のいずれか一つの請求項に記載の焦点スキャナ・システム。 The focus scanner according to any one of claims 1 to 11, wherein the surface geometry information is derived from light in the selected wavelength range of the spectrum provided by the multicolor light source (101). system. 前記カラー・フィルタ・アレイは、前記スペクトルの選択された波長範囲に合致する該アレイの前記カラー・フィルタの割合が、50％超であり、斯かる割合は32／36、60／64または96／100に等しい如きである請求項１２に記載の焦点スキャナ・システム。 The color filter array has a proportion of the color filter in the array that matches a selected wavelength range of the spectrum of more than 50%, such proportions 32/36, 60/64 or 96 /. The focus scanner system according to claim 12, which is equal to 100. 前記選択された波長範囲は前記W2波長範囲に合致し、
前記カラー・フィルタ・アレイは、6×6カラー・フィルタの複数のセルを備え、
各セルの位置(2,2)及び(5,5)におけるカラー・フィルタは前記W1型であり、位置(2,5)及び(5,2)におけるカラー・フィルタは前記W3型であり、
前記6×6セルにおける残りの32個のカラー・フィルタは、前記W2型である請求項１２または請求項１３に記載の焦点スキャナ・システム。 The selected wavelength range matches the W2 wavelength range and
The color filter array comprises a plurality of cells of a 6 × 6 color filter.
The color filter at the positions (2,2) and (5,5) of each cell is the W1 type, and the color filter at the positions (2,5) and (5,2) is the W3 type.
The focus scanner system according to claim 12 or 13, wherein the remaining 32 color filters in the 6 × 6 cell are of the W2 type. 請求項１から請求項１４のいずれか一つの請求項に記載の焦点スキャナ・システムを用いて、対象物（２００）の表面幾何学形状及び表面色を記録する方法であって、
前記多色光源（１０１）からの多色プローブ光により前記対象物の表面を照らす段階と、
前記カラー画像センサ（１８０）を用いて前記対象物の一連の２Ｄ画像（６６２）を捕捉する段階と、
画像センサ・ピクセルのブロック（６６３）に対する幾何学形状情報及び表面色情報の両方を導出する段階であって、
表面幾何学形状情報が、前記焦点スキャナ・システムからのいずれの距離にて前記対象物（２００）が焦点内に在るかを特定することにより導出され、焦点内に在る場合に、前記２Ｄカラー画像の前記積層（６６３）における少なくとも１つの２Ｄ画像（６６２）が、特定され、前記表面幾何学形状情報が、前記ブロック（６６３）において前記少なくとも３つの型のカラー・フィルタのうち１つ又は複数を通して且つ特定された前記少なくとも１つの２Ｄ画像（６６２）から伝搬された前記光によって導出され、
表面色情報が、前記ブロック（６６３）において前記少なくとも３つの型のカラー・フィルタのうち少なくとも３つを通して且つ特定された前記少なくとも１つの２Ｄ画像（６６２）から伝搬された前記光によって導出され、前記ブロック（６６３）において前記少なくとも３つの型のカラー・フィルタのうち少なくとも１つを通して伝搬された前記光が、前記表面幾何学形状情報及び前記表面色情報の両方を導出するために使用され、
導出された前記表面色情報が、前記対象物の種々の概観について導出された前記表面幾何学形状情報に基づき、
前記対象物の前記種々の概観について導出された前記表面幾何学形状情報が、前記対象物（２００）における前記光の異なる入射角及び反射角を提供し、それによって、前記対象物における前記光の前記異なる入射角及び反射角が、前記表面色情報を導出するために使用される、導出する段階と、
を有し、
前記焦点スキャナ・システムは、前記プローブ光中に空間的パターンを取入れるべく構成されたパターン生成素子（１３０）を備える、方法。 A method of recording the surface geometry and surface color of an object (200) using the focal scanner system according to any one of claims 1 to 14.
The step of illuminating the surface of the object with the multicolor probe light from the multicolor light source (101), and
A step of capturing a series of 2D images (662) of the object using the color image sensor (180), and
At the stage of deriving both the geometric shape information and the surface color information for the image sensor pixel block (663).
The surface geometry information is derived by identifying at what distance from the focal scanner system the object (200) is in the focal point, and if it is in the focal point, the 2D At least one 2D image (662) in the stack (663) of color images is identified and the surface geometry information is in the block (663) one of the at least three types of color filters or Derived by the light propagating through and from at least one identified 2D image (662).
Surface color information is derived by the light propagating in the block (663) through at least three of the at least three types of color filters and from the identified at least one 2D image (662). The light propagated through at least one of the at least three types of color filters in block (663) is used to derive both the surface geometry information and the surface color information.
The derived surface color information is based on the surface geometry information derived for various overviews of the object.
The surface geometry information derived for the various overviews of the object provides different angles of incidence and reflection of the light in the object (200), thereby the light in the object. The derivation step, in which the different angles of incidence and reflection are used to derive the surface color information,
Have a,
The focal scanner system comprises a pattern generating element (130) configured to incorporate a spatial pattern into the probe light .

Images