JP2018009927A - Image processing device, image processing method and program - Google Patents
Image processing device, image processing method and program Download PDFInfo
- Publication number
- JP2018009927A JP2018009927A JP2016140288A JP2016140288A JP2018009927A JP 2018009927 A JP2018009927 A JP 2018009927A JP 2016140288 A JP2016140288 A JP 2016140288A JP 2016140288 A JP2016140288 A JP 2016140288A JP 2018009927 A JP2018009927 A JP 2018009927A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- position information
- calculated
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、照度差ステレオ法により測定対象物の法線マップを測定する技術に関する。 The present invention relates to a technique for measuring a normal map of an object to be measured by an illuminance difference stereo method.
カメラを用いて測定対象物の表面の微細な形状を測定する手法として照度差ステレオ法がある。照度差ステレオ法とは、測定対象物に対し照射方向が異なる３つ以上の光源のそれぞれから順次に照射した状態で撮像した３枚以上の画像、及び光源と測定対象物の位置関係に基づいて、測定対象物の表面の各点（微細な領域）における法線を算出する手法である。この照度差ステレオ法によって法線を算出する際に、各光源と測定対象物の位置関係を精度よく取得できないと法線の測定精度が低下してしまうという問題がある。 There is an illuminance difference stereo method as a method for measuring the fine shape of the surface of a measurement object using a camera. The illuminance difference stereo method is based on three or more images captured in a state where the measurement object is sequentially irradiated from each of three or more light sources having different irradiation directions, and the positional relationship between the light source and the measurement object. This is a method for calculating the normal line at each point (fine area) on the surface of the measurement object. When calculating the normal line by this illuminance difference stereo method, there is a problem that the measurement accuracy of the normal line decreases if the positional relationship between each light source and the measurement object cannot be obtained with high accuracy.
そこで、特許文献１には、４つ以上の光源によってそれぞれ順次に照射された測定対象物を撮像し、得られた４枚以上の画像から測定対象物の法線を相対的に高い精度で算出できる３枚以上の画像の組み合わせを推測して法線の算出に用いる方法が開示されている。また、特許文献２には、光源位置測定用に計測ピンを用いることで光源と測定対象物の位置関係を推定する方法が開示されている。 Therefore, in Patent Document 1, the measurement object irradiated sequentially by four or more light sources is imaged, and the normal line of the measurement object is calculated with relatively high accuracy from the obtained four or more images. A method of estimating a combination of three or more images that can be used and calculating a normal is disclosed. Patent Document 2 discloses a method for estimating the positional relationship between a light source and a measurement object by using a measurement pin for measuring the light source position.
特許文献１に開示の技術では、４つ以上の光源から相対的に測定精度が高くなる３以上の光源の組み合わせを選択することはできるが、光源の位置を正しく与えないと測定精度が低下する問題は残ったままである。 In the technique disclosed in Patent Document 1, it is possible to select a combination of three or more light sources that provide a relatively high measurement accuracy from four or more light sources, but the measurement accuracy decreases unless the positions of the light sources are given correctly. The problem remains.
また、特許文献２に開示の技術では、計測ピンの影の先端位置に基づいて光源の位置を推定する。しかし、一般に光源は一定の大きさを持つため影の先端にはボケが生じることが多い。その場合、影の先端位置を精度よく検出することは困難となり、得られる光源の位置には誤差が生じてしまうという課題があった。 In the technique disclosed in Patent Document 2, the position of the light source is estimated based on the position of the tip of the shadow of the measurement pin. However, since the light source generally has a certain size, blurring often occurs at the tip of the shadow. In that case, it is difficult to accurately detect the position of the tip of the shadow, and there is a problem that an error occurs in the position of the obtained light source.
そこで本発明は、光源と測定対象物の位置関係を高精度に測定することができない場合であっても、測定対象物の法線を高精度に測定することを可能にする画像処理を提供することを目的とする。 Therefore, the present invention provides an image processing that makes it possible to measure the normal of a measurement object with high accuracy even when the positional relationship between the light source and the measurement object cannot be measured with high accuracy. For the purpose.
本発明に係る画像処理装置は、測定対象物に対し照射方向が異なる３つ以上の光源のそれぞれから順次に照射した状態で撮像した３枚以上の画像と、前記光源の位置情報とに基づいて、照度差ステレオ法により前記測定対象物の表面の法線を画素毎に保持した法線マップを算出する算出手段と、前記算出手段にて算出された前記法線マップに基づいて前記測定対象物の概略形状を算出し、算出された概略形状を予め取得された前記測定対象物の基準概略形状と比較することで、前記光源の位置情報を更新する必要があるか否かを判定する判定手段と、前記判定手段にて前記光源の位置情報を更新する必要があると判定された場合に、前記光源の位置情報を更新する更新手段とを有し、前記算出手段は、前記更新手段にて更新された前記光源の位置情報を用いて前記法線マップを算出し直すことを特徴とする。 The image processing apparatus according to the present invention is based on three or more images captured in a state where the measurement object is sequentially irradiated from each of three or more light sources having different irradiation directions, and position information of the light sources. A calculation means for calculating a normal map in which a normal of the surface of the measurement object is held for each pixel by an illuminance difference stereo method, and the measurement object based on the normal map calculated by the calculation means A determination unit that determines whether or not the position information of the light source needs to be updated by calculating a rough shape of the light source and comparing the calculated rough shape with a reference rough shape of the measurement object acquired in advance. And updating means for updating the position information of the light source when it is determined by the determining means that the position information of the light source needs to be updated, and the calculating means is Updated light source Wherein the re-calculating the normal map using location information.
本発明によれば、照度差ステレオ法により測定対象物の法線を測定する画像処理装置において、光源と測定対象物の位置関係が精度よく測定することができない場合でも測定対象物の法線を高精度に測定することが可能となる。 According to the present invention, in the image processing apparatus that measures the normal line of the measurement object by the illuminance difference stereo method, the normal line of the measurement object is determined even when the positional relationship between the light source and the measurement object cannot be measured with high accuracy. It becomes possible to measure with high accuracy.
以下、本発明の実施形態について図面を参照して説明する。ただし、以下の実施形態は本発明を限定するものではなく、また、以下で説明されている特徴の組み合わせの全てが本発明の課題解決に必須のものとは限らない。尚、以下の説明において参照する各図では、原則として、他の図と同等の要素に同一の符号を付与している。 Embodiments of the present invention will be described below with reference to the drawings. However, the following embodiments do not limit the present invention, and all combinations of features described below are not necessarily essential for solving the problems of the present invention. In addition, in each figure referred in the following description, the same code | symbol is provided to the element equivalent to another figure in principle.
［実施例１］
本実施例では、照度差ステレオ法によって、測定対象物の表面の微細な凹凸を含めた法線マップ（高精度な法線マップ）を測定する。ここで、法線とは測定対象物の表面上の点における接平面に対する垂線のことで、表面の向きを表す。また、法線マップとは、測定対象物の表面を複数の微細な領域に分割し、領域毎に法線を格納したものである。
[Example 1]
In this embodiment, a normal map (high-precision normal map) including fine irregularities on the surface of the measurement object is measured by the illuminance difference stereo method. Here, the normal line is a perpendicular to the tangent plane at a point on the surface of the measurement object, and represents the direction of the surface. The normal map is obtained by dividing the surface of the measurement object into a plurality of fine regions and storing normals for each region.
尚、以下の説明では、測定対象物の形状を詳細形状と概略形状の２つの言葉で表現する。詳細形状とは測定対象物の表面の微細な凹凸を含む微細な形状を表す。本実施例では、照度差ステレオ法によって測定対象物の詳細形状を高精度に測定することが目的となる。一方、概略形状とは測定対象物の表面の微細な凹凸を含まない粗い形状を表す。図１は、詳細形状と概略形状を模式的に示す図である。詳細形状が図１（ａ）に示された物体の概略形状は図１（ｂ）に示されており、詳細形状が図１（ｃ）に示された物体の概略形状は図１（ｄ）に示されている。尚、詳細形状がどの程度の大きさの微細な形状までを含むかは、測定に用いる撮像装置の各画素が測定対象物上で見込む大きさ程度であり、撮像装置の解像度や撮像距離、焦点距離によって異なる。以下では、照度差ステレオ法によって測定された法線マップや詳細形状は、撮像画像と同じ解像度を有するものとし、概略形状は、撮像画像の解像度よりも低い解像度を有するものとして説明を行う。 In the following description, the shape of the measurement object is expressed by two words, a detailed shape and a schematic shape. The detailed shape represents a fine shape including fine irregularities on the surface of the measurement object. In this embodiment, an object is to measure the detailed shape of the measurement object with high accuracy by the illuminance difference stereo method. On the other hand, the approximate shape represents a rough shape that does not include fine irregularities on the surface of the measurement object. FIG. 1 is a diagram schematically showing a detailed shape and a schematic shape. The schematic shape of the object whose detailed shape is shown in FIG. 1 (a) is shown in FIG. 1 (b), and the schematic shape of the object whose detailed shape is shown in FIG. Is shown in It should be noted that the size of the detailed shape up to the minute shape is about the size that each pixel of the imaging device used for measurement can expect on the measurement object, and the resolution, imaging distance, and focus of the imaging device. It depends on the distance. In the following description, it is assumed that the normal map and the detailed shape measured by the illuminance difference stereo method have the same resolution as the captured image, and the approximate shape has a resolution lower than the resolution of the captured image.
本実施例では、測定対象物の正解概略形状を予め取得し、照度差ステレオ法によって測定された法線マップに基づいて算出された概略形状と正解概略形状との類似度が高くなるまで、照度差ステレオ法に用いる光源の位置情報の更新を繰り返し行う。これによって、光源の位置が精度よく測定できていない場合でも、法線マップを高精度に測定することが可能となる。尚、予め取得された正解概略形状は、光源の位置情報を更新するために参照される基準概略形状として用いられており、基準概略形状とも称される。 In this example, the correct approximate shape of the measurement object is acquired in advance, and the illuminance is increased until the similarity between the approximate shape calculated based on the normal map measured by the illuminance difference stereo method and the correct approximate shape increases. The position information of the light source used for the difference stereo method is repeatedly updated. Thereby, even when the position of the light source cannot be measured with high accuracy, the normal map can be measured with high accuracy. The correct approximate shape acquired in advance is used as a reference approximate shape that is referred to in order to update the position information of the light source, and is also referred to as a reference approximate shape.
図２は、本実施例における撮像装置２０１が測定対象物２０４の撮像を行う場合の様子を示す図である。図２に示すように、本実施例における撮像装置２０１は、チャート２０３が付属した設置台２０２に設置された測定対象物２０４の撮像を行う。ここで、設置台２０２及び測定対象物２０４それぞれには、設置時に位置を合わせるために用いる基準位置（図示せず）がついている。この基準位置を合わせて測定対象物２０４を設置台２０２に設置することで、チャート２０３に対する測定対象物２０４の相対位置が概ね分かるものとする。
FIG. 2 is a diagram illustrating a state where the
尚、撮像装置２０１は手持ちで使用することも可能であるが、不図示の三脚等に固定して使用することが望ましい。また、チャート２０３は、チャートの特徴点が検出し易いパターンであればよく、図２に示すようなチェッカーパターンの他、ドットが配置されたドットパターンやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）で用いられるマーカーを用いてもよい。
Note that the
図３は、本実施例における撮像装置２０１の外観の一例を示す図である。図３（ａ）は撮像装置２０１の前面、図３（ｂ）は撮像装置２０１の背面を示している。図３（ａ）に示すように、撮像装置２０１の前面には、カラー画像を取得することが可能な撮像部３０１と、撮像に合わせ測定対象物に向け光を照射する３個の発光部３０２〜３０４と、撮像ボタン３０５が設けられている。尚、本実施例では発光部の数を３個とするが、これに限定されるものではなく、照度差ステレオ法によって測定対象物の法線マップを取得するために必要な３以上の複数の発光部を有していればよい。また、発光部３０２〜３０４の配置についても図示の配置に限定されるものではなく、任意の配置であってもよい。実施例では、発光部３０２〜３０４は撮像装置２０１の中に組み込まれている例を示したが、各発光部は撮像装置２０１とは独立した構成であってもよい。
FIG. 3 is a diagram illustrating an example of the appearance of the
撮像ボタン３０５は、半押し、及び、全押しの２段階のスイッチになっている。ユーザが撮像ボタン３０５を半押しした場合は、露出調整やホワイトバランスなどの撮像前の準備処理やフォーカス調整が行われる。そして、ユーザがさらに撮像ボタン３０５を全押しした場合は、発光部３０２〜３０４が１個ずつ順次に発光し、発光部が発光する度に、撮像部３０１が測定対象物からの光量をセンサ（撮像素子）で検知する。そして、検知された光量がＡ／Ｄ変換されて、デジタルデータに変換される。このように、各発光部の発光に対応するカラー画像（デジタルデータ）を取得する。ここで、発光部の数を３個とするので、合計で３枚のカラー画像を取得する。
The
また、図３（ｂ）に示すように、撮像装置２０１の背面には、液晶ディスプレイから成る表示部３０６と、ユーザによる各種の操作を受け付けるための操作部３０７とが設けられている。表示部３０６は、撮像条件設定の操作状況、又は設定の確認を行うためのＧＵＩや、撮像中の測定対象物のプレビュー画像又は映像や、撮像後の画像を表示することができる。操作部３０７は、ユーザが項目を変更、選択するために方向操作等を行うものであり、例えば十字ボタンの形態で配置される。尚、ボタンの形態は十字ボタンに限られるものではない。また、本実施例ではボタンで操作を行う例を示すが、これに限定されず、表示部３０６がタッチパネル方式により操作を受け付けるような構成であってもよい。例えば、表示部３０６は、感圧式、電磁誘導式など各種方式のタッチパネルを用いており、ユーザがタッチした座標を検出し、検出した座標によってユーザの指示を読み取るような構成とすることができる。
As shown in FIG. 3B, a
＜撮像装置の内部構成＞
図４は、撮像装置２０１の内部構成を示すブロック図である。ＣＰＵ４０１は、中央処理装置であり、バス４０４を介して接続された撮像装置２０１内の各構成を統括的に制御する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能するメモリである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０３は、ＣＰＵ４０１で実行される制御プログラム等を格納するメモリである。バス４０４は、撮像装置２０１内の各構成の間で各種データの転送経路として機能する。例えば、撮像部３０１によって取得されたデジタルデータはこのバス４０４を介してデジタル信号処理部４０６に送られる。
<Internal configuration of imaging device>
FIG. 4 is a block diagram illustrating an internal configuration of the
撮像制御部４０５は、ＣＰＵ４０１からの指示に基づいて、フォーカスを合わせる（合焦処理）、シャッターを開く・閉じる、絞りを調節するなどの、撮像部３０１に対する光学系制御を行う。また、撮像制御部４０５は、ＣＰＵ４０１からの指示に基づいて発光部３０２〜３０４の発光を制御する。デジタル信号処理部４０６は、撮像部３０１から送られたデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行う。処理結果の画像は、表示部３０６に表示されたり、照度差ステレオ法に用いる画像として画像処理部４１１に送られたりする。尚、画像処理部４１１に送られる、照度差ステレオ法に用いる画像に対しては、ガンマ処理を行わず、撮像部３０１にて検知された光量と比例した値を画素値として出力することが望ましい。
Based on an instruction from the
表示制御部４０７は、表示部３０６に表示する撮像前プレビュー映像や撮像済み画像の表示制御を行う。また、表示部３０６に表示する撮像パラメータの設定のためのＵＩや、設定済み撮像パラメータの確認のためのＵＩなど、文字やアイコンを表示するための表示制御も行う。エンコーダ部４０８は、デジタル信号処理部４０６による処理結果の画像をＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する。外部メモリ制御部４０９は、ＰＣやその他の外部メモリ４１０（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に撮像装置２０１を接続させるためのインターフェースである。
The
画像処理部４１１は、法線マップの算出などの画像処理を行う。本実施例において、画像処理部４１１は、デジタル信号処理部４０６から送られた画像に基づき、照度差ステレオ法によって測定対象物の高精度な法線マップを算出する。尚、撮像装置２０１の構成要素は図４で示されるもの以外にも存在するが、本発明の主眼ではないので、説明を省略する。
The
＜撮像装置の処理フロー＞
図５は、本実施例における撮像装置２０１の全体処理のフローチャートである。ステップＳ５０１において撮像制御部４０５は、撮像部３０１が撮像する際の撮像パラメータを取得する。撮像パラメータは、例えばシャッタースピードや絞り、ＩＳＯ感度などを含み、操作部３０７を介してユーザが設定することができる。また、撮像制御部４０５は、発光部３０２〜３０４を発光させる順番を示す順番情報も取得する。
<Processing flow of imaging device>
FIG. 5 is a flowchart of overall processing of the
ステップＳ５０２において撮像制御部４０５は、ユーザが撮像ボタン３０５を押下することに応じて、発光部３０２〜３０４を発光させ、撮像部３０１が測定対象物を撮像するよう制御する。本ステップでは、ステップＳ５０１で取得された順番情報に従い、発光部を１個ずつ発光させ、１個の発光部を発光させる度に撮像部３０１で撮像を行う。本実施例では発光部３０２〜３０４のそれぞれの発光に対応する３枚の画像を撮像する。ここで、画像の撮像中に、撮像装置２０１を手持ちで撮像する場合などに、撮像装置２０１の位置が動いてしまう場合は、撮像された３枚の画像に対し位置合わせを行うものとする。すなわち、３枚の画像は、同じ座標を有する画素は、測定対象物２０４上の同じ位置を映しているものとする。尚、撮像された画像は外部メモリ４１０に記憶される。
In step S502, the
ステップＳ５０３において画像処理部４１１は、ステップＳ５０２で撮像された３枚の画像に基づいて、照度差ステレオ法によって測定対象物の高精度な法線マップを算出する。尚、本ステップで画像処理部４１１が行う処理の詳細は後述する。
In step S503, the
ステップＳ５０４において画像処理部４１１は、ステップＳ５０３で算出された法線マップを表示制御部４０７に出力する。表示制御部４０７の制御によって、法線マップは表示部３０６に表示される。また、画像処理部４１１は、ステップＳ５０３で算出された法線マップを外部メモリ制御部４０９に出力する。外部メモリ制御部４０９の制御によって、法線マップは外部メモリ４１０に記録される。
In step S504, the
＜画像処理部の内部構成＞
図６は、画像処理部４１１の内部構成を示すブロック図である。画像取得部６０１は、ステップＳ５０２で撮像した発光部３０２〜３０４のそれぞれに対応した３枚の画像を取得する。
<Internal configuration of image processing unit>
FIG. 6 is a block diagram illustrating an internal configuration of the
正解概略形状取得部６０２は、測定対象物の正解概略形状を取得する。本実施例において、測定対象物の正解概略形状は、予め３Ｄスキャナなどにより測定され、外部メモリ４１０またはＲＯＭ４０３に記録されている。正解概略形状取得部６０２は、ユーザからの指示によって、外部メモリ４１０またはＲＯＭ４０３に記録されているデータを読み出すことにより、正解概略形状を取得する。尚、３Ｄスキャナとしては、例えば、照射した光が測定対象物で反射して戻ってくるまでの時間を測定するＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式がある。また、測定対象物に対しパターン光を照射した様子をカメラで撮像するアクティブ方式や、測定対象物を複数視点から撮像した画像から形状を復元するパッシブ方式などもある。
The correct approximate
尚、取得される正解概略形状のデータは、ＸＹＺの３次元座標を持つ頂点データと、３つ以上の頂点を結んで構成する面の情報とから成る、ポリゴンデータとすることができる。また、平面や直方体、球など幾何学的な基本形状を組み合わせてモデリングしたものとすることもできる。また、正解概略形状のデータには、設置台２０２に設置する際の位置合わせに用いる測定対象物２０４における基準位置を示す情報も含まれる。
The acquired correct answer approximate shape data can be polygon data composed of vertex data having three-dimensional coordinates of XYZ and information of a surface formed by connecting three or more vertices. It can also be modeled by combining geometric basic shapes such as planes, rectangular parallelepipeds, and spheres. The correct answer outline shape data also includes information indicating the reference position of the
初期発光部位置取得部６０３は、照度差ステレオ法によって法線を計算する際に使用する発光部位置の初期情報を取得する。ここで、発光部位置とは、設置台２０２に対する３つの発光部３０２〜３０４の相対的な３次元位置を表す。本実施例では、撮像した画像中に写った設置台２０２に付属のチャート２０３から発光部位置を算出する。発光部位置の算出方法については後述する。尚、撮像装置２０１が設置台２０２に対し固定されており、設置台２０２との位置関係が既知である場合は、発光部位置の初期情報は、外部メモリ４１０やＲＯＭ４０３に記録されているデータを利用してもよい。
The initial light emitting unit
光源方向算出部６０４は、測定対象物２０４の正解概略形状と、発光部位置とに基づいて、測定対象物２０４上の領域毎に光源方向を算出する。ここで、測定対象物２０４上の領域とは、法線の取得を行う領域であり、撮像装置２０１によって撮像された画像の各画素に対応する測定対象物２０４上の微細な領域を表すものとする。また、光源方向とは、測定対象物２０４上の領域ごとに、その領域から各発光部への相対位置を表す。
The light source
法線算出部６０５は、光源方向算出部６０４によって算出された測定対象物２０４上の領域毎の光源方向と、発光部３０２〜３０４に対応した３枚の画像とに基づいて照度差ステレオ法によって、測定対象物２０４の法線マップを算出する。
The normal
評価部６０６は、法線算出部６０５によって算出された法線マップに基づいて測定対象物２０４の概略形状を算出し、算出された概略形状を正解概略形状と比較し、発光部位置（位置情報）を更新するべきか評価（判定）する。
The
発光部位置更新部６０７は、評価部６０６によって発光部位置の更新が必要だと判定された場合に、照度差ステレオ法に用いる発光部位置の更新を行う。出力部６０８は、評価部６０６によって発光部位置の更新が必要でないと判定された場合に、法線算出部６０５によって算出された法線マップを表示制御部４０７や外部メモリ制御部４０９へ出力する。法線マップは、表示制御部４０７の制御によって表示部３０６で表示されたり、外部メモリ制御部４０９の制御によって外部メモリ４１０に記録されたりする。
When the
＜画像処理部の処理フロー＞
図７は、本実施例における画像処理部４１１の処理フローを示すフローチャートである。ステップＳ７０１において画像取得部６０１は、外部メモリ４１０から発光部３０２〜３０４のそれぞれの発光に対応した３枚の撮像画像を取得する。前述のように、各画像は撮像部３０１に入射した光量と比例した値を画素値として持つものとする。
<Processing flow of image processing unit>
FIG. 7 is a flowchart illustrating a processing flow of the
ステップＳ７０２において正解概略形状取得部６０２は、ユーザが操作部３０７を介して入力した指示によって、ＲＯＭ４０３または外部メモリ４１０に保持されている測定対象物２０４の正解概略形状を読み出す。
In step S <b> 702, the correct approximate
ステップＳ７０３において初期発光部位置取得部６０３は、照度差ステレオ法に用いる発光部位置の初期情報を取得する。本実施例では、撮像した画像中に写った設置台２０２に付属のチャート２０３から発光部位置を算出することにより、発光部位置の初期情報を取得する。以下では、本ステップにおける初期発光部位置取得部６０３の動作の詳細を説明する。
In step S703, the initial light emitting unit
＜＜初期発光部位置取得部の動作＞＞
発光部３０２〜３０４と撮像部３０１が撮像装置２０１において固定されているため、撮像部３０１と各発光部との位置関係が既知ならば、チャート２０３に対する撮像部３０１の相対位置から、チャート２０３に対する各発光部の相対位置を算出できる。チャート２０３に対する撮像部３０１の相対位置は、既存の方法、例えば以下の方法により算出することができる。
<< Operation of initial light emitting unit position acquisition unit >>
Since the
撮像部３０１の撮像により得られた撮像画像における２次元座標ｕ，ｖと、撮像対象の３次元座標Ｘ，Ｙ，Ｚとの関係は下記の式（１）で表すことができる。
The relationship between the two-dimensional coordinates u, v in the captured image obtained by the imaging of the
ここで、Ａは撮像部３０１の焦点距離や主点位置を表す内部パラメータである。Ｒ及びｔは、撮像部３０１の姿勢（回転）と位置（並進）を表す外部パラメータであり、Ｒは３×３の行列とし、ｔは１×３の行列とする。ｓはスケールファクタであって、既知である。また、３次元座標Ｘ，Ｙ，Ｚは、チャート２０３の複数の特徴点のうち、いずれか１つの特徴点（所定の特徴点）を原点としＸＹ平面がチャート２０３と平行な３次元空間を考えた際の３次元座標とする。このような３次元空間（以下、３次元空間）におけるチャート２０３の各特徴点の３次元座標が既知である。
Here, A is an internal parameter that represents the focal length and principal point position of the
本実施例では、ステップＳ７０１で取得された撮影画像からチャート２０３の各特徴点の２次元座標を検出し、検出された２次元座標と各特徴点の３次元座標との関係から上記の式（１）におけるＡ，Ｒ，ｔを推定する。
In the present embodiment, the two-dimensional coordinates of each feature point of the
そして、推定されたＲ及びｔを用いて、チャート２０３に対する撮像部３０１の相対位置（すなわち、３次元空間における撮像部３０１の位置）Ｐchart,camは、下記の式（２）により算出される。ここで、ｔｒａｎｓ（）は行列の転置を表す。
Then, using the estimated R and t, the relative position of the
さらに、チャート２０３に対する撮像部３０１の相対位置Ｐchart,camに対し、撮像部３０１に対するｉ番目の発光部の相対位置Ｐcam,light[i]を加算することで、チャート２０３に対するｉ番目の発光部の相対位置Ｐchart,light[i]を算出する。すなわち、３次元空間における発光部の位置は、下記の式（３）により算出される。
Further, by adding the relative position P cam, light [i] of the i-th light emitting unit with respect to the
図７のフローチャートの説明に戻る。次に、ステップＳ７０４において光源方向算出部６０４は、測定対象物２０４の正解概略形状と各発光部の位置とに基づいて、測定対象物２０４上の領域ごとに、その領域から各発光部への方向を算出する。ここで、測定対象物２０４上の領域は、撮像画像の各画素に対応する測定対象物２０４上の領域を表すものとする。そのため、本ステップでは、撮像画像中の測定対象物２０４が写っている全ての画素について、その画素に対応する測定対象物２０４上の領域から各発光部への方向を算出する。以下では、本ステップにおける光源方向算出部６０４の動作の詳細を説明する。
Returning to the flowchart of FIG. Next, in step S704, the light source
＜＜光源方向算出部の動作＞＞
撮像画像中の座標（ｕ，ｖ）の画素に対応する測定対象物２０４からｉ番目の発光部への方向Ｄｉｒobj,light[i]（ｕ，ｖ）は、下記の式（４）に示すように発光部の位置Ｐchart,light[i]と、測定対象物上の領域の位置Ｐchart,obj（ｕ，ｖ）とから算出する。
<< Operation of Light Source Direction Calculation Unit >>
The direction Dir obj, light [i] (u, v) from the measuring
ここで、Ｐchart,obj（ｕ，ｖ）は、撮像部３０１の位置と撮像画像中の座標（ｕ，ｖ）の画素を３次元座標系に投影した点とを結んだ直線が、設置台２０２に基準位置を合わせて仮想的に配置した測定対象物２０４の正解概略形状と交わる点の位置を表す。具体的に以下の方法によりＰchart,obj（ｕ，ｖ）を算出することができる。
Here, P chart, obj (u, v) indicates that the straight line connecting the position of the
まず、外部パラメータがＲ、ｔの撮像部３０１で撮像された画像の２次元座標（ｕ，ｖ）の画素を３次元座標系に投影した点の位置Ｐ（ｕ，ｖ）は下記の式（５）により算出される。ここで、ｆは撮像部３０１の焦点距離、ｃｘ、ｃｙは撮像部３０１の主点位置を表す。
First, the position P (u, v) of a point obtained by projecting the pixel of the two-dimensional coordinate (u, v) of the image captured by the
そして、画素を３次元座標系に投影した点Ｐ（ｕ，ｖ）と撮像部３０１の位置とを結ぶ直線と、測定対象物２０４の正解概略形状とが交わる点を見つけることで、Ｐchart,obj（ｕ，ｖ）を算出する。直線と概略形状の交点の見つけ方は、幾何学計算などによる既知の方法を用いてもよく、コンピュータグラフィックスのレイトレーシングによるレンダリング時に用いられる衝突判定を用いてもよい。以上の処理を撮像画像の全画素、全発光部について行うことで、光源方向の算出が行われる。
Then, by finding a point where a straight line connecting the point P (u, v) obtained by projecting the pixel onto the three-dimensional coordinate system and the position of the
図７のフローチャートの説明に戻る。続いて、ステップＳ７０５において法線算出部６０５は、撮像画像の全画素について照度差ステレオ法によって法線を算出する。以下では、本ステップにおける法線算出部６０５の動作の詳細を説明する。
Returning to the flowchart of FIG. Subsequently, in step S705, the
＜＜法線算出部の動作＞＞
照度差ステレオ法は既存の方法を用いることができる。例えば、下記の式（６）によって座標（ｕ，ｖ）の画素の法線Ｎ（ｕ，ｖ）を算出することができる。
<< Operation of Normal Calculation Unit >>
An existing method can be used for the photometric stereo method. For example, the normal N (u, v) of the pixel at the coordinates (u, v) can be calculated by the following equation (6).
ここで、Ｉlight[i]（ｕ，ｖ）は各発光部の発光に対応する撮像画像の座標（ｕ，ｖ）の画素値（例えば、輝度値）であり、Ｉ（ｕ，ｖ）はＩlight[i]（ｕ，ｖ）をまとめた１×３の行列である。Ｓ（ｕ，ｖ）は座標（ｕ，ｖ）の画素に対応する測定対象物２０４上の領域から各発光部への方向Ｄｉｒobj,light[i]（ｕ，ｖ）をまとめた３×３の行列であり、下記の式（７）で表すことができる。
Here, I light [i] (u, v) is a pixel value (for example, luminance value) of coordinates (u, v) of a captured image corresponding to light emission of each light emitting unit, and I (u, v) is It is a 1 × 3 matrix that summarizes I light [i] (u, v). S (u, v) is a 3 × 3 obtained by collecting the directions Dir obj, light [i] (u, v) from the region on the
また、式（６）におけるｉｎｖ（Ｓ）は、行列Ｓの逆行列を表す。尚、発光部の数が４以上の場合は、各発光部への方向Ｄｉｒobj,light[i]（ｕ，ｖ）をまとめた行列Ｓ（ｕ，ｖ）の逆行列を算出することができないため、ｉｎｖ（Ｓ）の代わりに下記の式（８）のような擬似逆行列を用いる。 Inv (S) in Equation (6) represents an inverse matrix of the matrix S. When the number of light emitting units is 4 or more, it is impossible to calculate an inverse matrix of the matrix S (u, v) in which the directions Dir obj, light [i] (u, v) to the respective light emitting units are collected. Therefore, a pseudo inverse matrix like the following formula (8) is used instead of inv (S).
さらに、上記の算出を撮像画像の全画素について行うことで法線マップを算出することができる。尚、法線算出部６０５は、算出された法線マップに基づいて測定対象物２０４の詳細形状をさらに算出してもよい。
Furthermore, the normal map can be calculated by performing the above calculation for all the pixels of the captured image. Note that the normal
図７のフローチャートの説明に戻る。次に、ステップＳ７０６において評価部６０６は、ステップＳ７０５で照度差ステレオ法によって算出された法線マップと、ステップＳ７０２で取得された正解概略形状とに基づいて発光部位置の更新の必要性を評価する。すなわち、評価部６０６は、照度差ステレオ法によって算出された法線マップに基づいて測定対象物の概略形状を算出する。そして、算出された概略形状と、正解概略形状との類似度を表す評価値を算出し、この評価値が予め設定した評価基準を満たすか否かに基づいて発光部位置の更新の必要性を評価する。例えば、評価値が所定の基準値以下である場合に、発光部位置の更新が必要であると判定され、処理はステップＳ７０７へ遷移する。一方、評価値が所定の基準値より大きい場合に、発光部位置の更新が必要でないと判定され、処理はステップＳ７０８へ遷移する。本ステップにおける評価部６０６の動作の詳細については後述する。
Returning to the flowchart of FIG. Next, in step S706, the
ステップＳ７０７において発光部位置更新部６０７は、法線マップの算出に用いる発光部位置を更新する。ここで、発光部位置の更新は、発光部３０２、３０３、３０４の物理的な位置を変更するのではなく、ステップＳ７０４の光源方向の算出に用いる発光部の位置情報を更新する処理である。
In step S707, the light emitting unit
図８は、本実施例における発光部位置の更新を模式的に示す図である。図８において、設置台２０２に設置された測定対象物２０４、及び発光部３０２、３０３、３０４を上から見た断面図が示されている。発光部３０２、３０３、３０４の位置は図中点線の位置から実線の位置に更新される。
FIG. 8 is a diagram schematically showing the update of the light emitting unit position in the present embodiment. FIG. 8 shows a cross-sectional view of the measuring
図８では、発光部３０２、３０３、３０４の位置をＸ方向に同一の量だけ変更する例を示しているが、発光部位置の更新は全ての発光部の位置を一律の量、方向に変更することに限定されず、異なる方向、異なる量で発光部位置の変更を行うこともできる。発光部位置の変更量、方向の決定方法としては、ランダムに決定してもよく、または規則的に決定してもよい。例えば、発光部の位置が取り得る範囲を予め定めておいた上で、ステップＳ７０７の実行毎に変更量と方向に対応する乱数を発生させ上記範囲内で位置を変更してもよい。または、上記範囲内を一定の間隔で規則的に位置を更新していく方法であってもよい。あるいは、過去に行われた複数の発光部の位置の変更量、方向と、その発光部位置を用いて算出した法線マップに対する評価値から評価値が良くなる変更量、方向を予測することで変更量、方向を決定してもよい。ステップＳ７０７の後、処理はステップＳ７０４へ遷移し、更新後の発光部位置を用いて光源方向の算出を行う。そして、発光部位置の更新が必要でないと判定されるまでステップＳ７０４〜Ｓ７０７の処理が繰り返される。
FIG. 8 shows an example in which the positions of the
次に、ステップＳ７０８において出力部６０８は、ステップＳ７０５で照度差ステレオ法によって算出された法線マップ（または詳細形状）を表示制御部４０７や外部メモリ制御部４０９へ出力する。法線マップ（または詳細形状）は、表示制御部４０７の制御によって表示部３０６で表示されたり、外部メモリ制御部４０９の制御によって外部メモリ４１０に記録されたりする。以上で、画像処理部４１１の動作手順の説明を終了する。
Next, in step S708, the
＜＜評価部の動作＞＞
以下では、ステップＳ７０６における評価部６０６の動作の詳細を説明する。評価部６０６は、ステップＳ７０５で照度差ステレオ法によって算出された法線マップに基づいて測定対象物の概略形状を算出する。そして、算出された測定対象物の概略形状と、ステップＳ７０２で予め取得された測定対象物の正解概略形状との類似度を表す評価値を算出する。さらに、この評価値が予め設定した評価基準を満たすか否かに基づいて、発光部位置の更新の必要性を判定する。
<< Operation of Evaluation Unit >>
Below, the detail of operation | movement of the
以下では、法線マップに基づいて算出された測定対象物の概略形状と正解概略形状との類似度を表す評価値を算出する際には、形状情報としてデプスマップを用いる例を説明する。ここで、デプスマップとは、各画素の画素値として、撮像部３０１から測定対象物上の領域までの距離に比例した値を保持する画像である。尚、評価値はデプスマップから算出する方法に限らず、頂点と面から成るポリゴンデータの形式から評価値を算出し、発光部位置の更新の必要性を判定してもよい。
Hereinafter, an example will be described in which a depth map is used as shape information when calculating an evaluation value representing the degree of similarity between the approximate shape of a measurement object calculated based on a normal map and the correct approximate shape. Here, the depth map is an image that holds a value proportional to the distance from the
図９は、評価部６０６の詳細な内部構成を示すブロック図である。デプスマップ算出部９０１は、法線算出部６０５で照度差ステレオ法によって算出された法線マップに基づいて、撮像部３０１から見た測定対象物のデプスマップを算出する。
FIG. 9 is a block diagram illustrating a detailed internal configuration of the
正解デプスマップ算出部９０２は、正解概略形状取得部６０２で取得された正解概略形状に基づいて、撮像部３０１から見た測定対象物の正解デプスマップを算出する。
The correct answer
評価値算出部９０３は、照度差ステレオ法によって算出されたデプスマップと正解デプスマップとの類似度を表す評価値を算出する。
The evaluation
判定部９０４は、評価値算出部９０３で算出された評価値を予め設定された評価基準を満たすか否かに基づいて発光部位置の更新の必要性を判定する。評価値が評価基準を満たさない場合に、発光部位置の更新が必要であると判定し、評価値が評価基準を満たす場合に、発光部位置の更新が必要でないと判定する。そして、発光部位置の更新が必要であると判定された場合は発光部位置更新部６０７による発光部の位置の更新処理を行う。一方、発光部位置の更新が必要でないと判定された場合は法線マップの算出処理を終了し、法線マップの、出力部６０８による表示や外部メモリへの出力を行う。
The
図１０は、上記構成から成る評価部６０６の処理フローを示すフローチャートである。ステップＳ１００１においてデプスマップ算出部９０１は、法線算出部６０５で照度差ステレオ法によって算出された測定対象物の法線マップを積分することで、撮像部３０１から見た測定対象物のデプスマップを得る。このとき、測定対象物の法線マップは撮像画像の画素毎に法線を有するため、そのまま積分すると高解像度なデプスマップが得られる。そのため、本ステップでは、法線マップを積分して得たデプスマップに対し、例えばガウシアンフィルタなどのフィルタによって平滑化処理をさらに行うことで、概略形状の解像度に合わせたデプスマップを算出する。尚、概略形状の解像度に合わせたデプスマップを算出する方法は上記の方法に限定されず、例えば、本ステップでは測定対象物の法線マップを平滑化した後に積分を行うものとしてもよい。
FIG. 10 is a flowchart showing a processing flow of the
ステップＳ１００２において正解デプスマップ算出部９０２は、撮像時の撮像部３０１と測定対象物２０４の相対位置関係を再現するよう仮想カメラと正解概略形状を仮想空間上に配置した場合のデプスマップを、正解デプスマップとして算出する。具体的に、撮像部３０１と測定対象物２０４の相対位置関係は、ステップＳ７０３で求めたチャート２０３に対する撮像部３０１の相対位置Ｐchart,camと、チャート２０３に対する測定対象物２０４の相対位置Ｐchart,obj（ｕ，ｖ）とから算出する。尚、本ステップで算出された正解デプスマップと、ステップＳ１００１で算出されたデプスマップとは、解像度、サイズが等しく、座標が同じ画素のデプスは測定対象物上の同一の領域に対するデプスを表すものとする。
In step S1002, the correct depth
ステップＳ１００３において評価値算出部９０３は、照度差ステレオ法によって得られた法線マップに基づいて算出されたデプスマップと正解デプスマップとの間の類似度を表す評価値を算出する。本実施例では、評価値として下記の式（９）によりＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）値が算出される。
In step S1003, the evaluation
このＰＳＮＲ値が高いほど照度差ステレオ法によって得られたデプスマップと正解デプスマップの類似度が高いことを表す。尚、評価値はＰＳＮＲ値に限定されず、照度差ステレオ法によって得られたデプスマップと正解デプスマップとの類似度を表す値であればよい。例えば、類似度が高いほど評価値が低くなるものとしてもよい。 The higher the PSNR value, the higher the similarity between the depth map obtained by the illuminance difference stereo method and the correct depth map. The evaluation value is not limited to the PSNR value, and may be any value that represents the similarity between the depth map obtained by the illuminance difference stereo method and the correct answer depth map. For example, the evaluation value may be lower as the similarity is higher.
続いて、ステップＳ１００４において判定部９０４は、ステップＳ１００３で算出された評価値を予め設定された基準値ＴＲと比較することで、発光部位置の更新が必要か否か判定を行う。具体的には、基準値ＴＲを予め設定しておき、式（９）で算出されたＰＳＮＲ値が基準値ＴＲ以下である場合は、類似度が低いため発光部位置の更新が必要であると判定し、処理はステップＳ７０７へ遷移する。一方、ＰＳＮＲ値が基準値ＴＲより大きい場合は、類似度が高いため発光部位置の更新が必要でないと判定し、処理はステップＳ７０８へ遷移する。
Subsequently, in step S1004, the
上述のように本実施例では、測定対象物の正解概略形状を予め取得し、照度差ステレオ法によって測定された法線から算出された概略形状と正解概略形状の類似度が高くなるまで照度差ステレオ法に用いる発光部位置の更新を繰り返し行う。これによって、発光部と測定対象物の位置関係を精度よく測定することができない場合でも法線を高精度に測定することが可能となる。 As described above, in this embodiment, the correct approximate shape of the measurement object is acquired in advance, and the difference in illuminance is increased until the similarity between the approximate shape calculated from the normal measured by the illuminance difference stereo method and the correct approximate shape increases. The light emitting unit position used for the stereo method is repeatedly updated. Thereby, even when the positional relationship between the light emitting unit and the measurement object cannot be measured with high accuracy, the normal can be measured with high accuracy.
尚、本実施例では、画像処理部４１１が撮像装置２０１に含まれるものとして説明したが、これに限定されず、画像処理部４１１は撮像装置２０１と通信可能な他の装置に含まれてもよい。または、画像処理部４１１は、撮像装置２０１と通信可能な画像処理装置として構成されてもよい。
In this embodiment, the
［実施例２］
実施例１では、発光部位置の更新処理として発光部の位置をランダム、または規則的に更新する方法を説明した。本実施例では、照度差ステレオ法によって測定された法線から算出されたデプスマップと正解概略形状から得られたデプスマップとの差の分布に応じて発光部位置を更新する方法を説明する。
[Example 2]
In the first embodiment, the method of updating the position of the light emitting unit randomly or regularly as the update process of the light emitting unit position has been described. In this embodiment, a method of updating the light emitting unit position according to the distribution of the difference between the depth map calculated from the normal measured by the illuminance difference stereo method and the depth map obtained from the correct approximate shape will be described.
本実施例における評価値算出部と発光部位置更新部の動作は、実施例１で説明した評価部６０６内の評価値算出部９０３及び発光部位置更新部６０７の動作と異なる。以下では実施例２における評価値算出部と発光部位置更新部の動作について詳細に説明する。尚、本実施例の説明において、実施例１と同様の部分については、その説明を省略あるいは簡略化する。
The operations of the evaluation value calculation unit and the light emitting unit position update unit in the present embodiment are different from the operations of the evaluation
図１１に本実施例における画像処理部の内部構成を表すブロック図を示す。本実施例における評価部１１０１は法線算出部６０５が算出した測定対象物の法線マップから概略形状を求め、正解概略形状取得部６０２が取得した正解概略形状との類似度を表す評価値を算出する。算出された評価値に基づいて、法線の算出に用いる発光部位置の更新の必要性を判定する。さらに、評価部１１０１は測定対象物の法線マップから求めた概略形状と正解概略形状との間の差分を算出して、発光部位置更新部１１０２に渡す。発光部位置更新部１１０２は、法線の算出に用いる発光部位置の更新が必要であると判定された場合に、評価部１１０１で算出された形状の差分に基づいて、発光部３０２〜３０４の位置を更新する。
FIG. 11 is a block diagram showing the internal configuration of the image processing unit in this embodiment. In this embodiment, the
図１２は、本実施例における画像処理部の処理フローを示すフローチャートである。図１２においては、実施例１の画像処理部の処理フローを示す図７から、ステップＳ７０６とステップＳ７０７が、ステップＳ１２０１とステップＳ１２０２に変更している。以下では、ステップＳ１２０１及びステップＳ１２０２を説明する。 FIG. 12 is a flowchart illustrating a processing flow of the image processing unit in the present embodiment. In FIG. 12, step S706 and step S707 are changed to step S1201 and step S1202 from FIG. 7 showing the processing flow of the image processing unit of the first embodiment. Hereinafter, step S1201 and step S1202 will be described.
ステップＳ１２０１において評価部１１０１は、ステップＳ７０５で算出された法線から求められた概略形状と正解概略形状とから、評価値と形状の差分とを算出する（）。そして、評価値が予め設定された評価基準を満たすか否かを判定し、評価値が基準を満たさない場合は、発光部位置の更新が必要であると判定し、処理はステップＳ１２０２に移行する。評価値が基準を満たす場合は、発光部位置の更新が必要でないと判定し、処理はステップＳ７０８に移行する。
In step S1201, the
図１３は、本実施例における評価部１１０１の詳細な内部構成を示す図である。評価部１１０１の内部構成のうち、実施例１と動作が異なる評価値算出部１３０１について説明する。評価値算出部１３０１は、法線マップから算出されたデプスマップと正解概略形状から算出された正解デプスマップとから、２つのデプスマップの類似度を表す評価値を算出すると共に、２つのデプスマップの差分を算出する。そして、算出された評価値を判定部９０４へ、デプスマップの差分を発光部位置更新部１１０２へそれぞれ渡す。ここで、デプスマップの類似度を表す評価値の算出方法は実施例１と同様のため説明を省略する。デプスマップの差分は、２つのデプスマップにおける同じ座標の画素のデプスについて差分を算出する処理を、全画素について行うことで算出される。尚、単に差分を算出してもよいし、差分の絶対値を算出してもよい。
FIG. 13 is a diagram illustrating a detailed internal configuration of the
ステップＳ１２０２において発光部位置更新部１１０２は、発光部位置の更新が必要であると判定された場合に、デプスマップの差分に基づいて、法線の算出に用いる発光部３０２〜３０４の位置を更新する。
If it is determined in step S1202 that the light emitting unit position needs to be updated, the light emitting unit
ここで、発光部位置とデプスマップの差分の分布との関係について説明する。仮に照度差ステレオ法によって誤差のない正確な法線マップを測定することができていたら、全ての座標においてデプスの差分は０となるはずである。しかし、撮像画像のノイズによる輝度値の変動や、発光部位置が正しく取得できていないことによる光源方向の誤差から、測定された法線には誤差が生じる。その結果、法線から算出された概略形状と正解概略形状との差分が生じる。ここで、撮像画像のノイズは一般的に輝度値がランダムに変動するため、その影響による法線の誤差もランダムに生じる。すなわち、撮像画像のノイズに起因したデプスマップの差分は偏りなくランダムに生じる。一方、法線の算出に用いる光源方向の誤差の場合、光源方向の誤差が生じている方向に応じて法線に誤差が生じる。そのため、デプスマップの差分にも光源方向の誤差の方向に応じた分布が生じる。 Here, the relationship between the light emitting unit position and the distribution of the difference between the depth maps will be described. If an accurate normal map without error can be measured by the illuminance difference stereo method, the depth difference should be zero in all coordinates. However, an error occurs in the measured normal line due to a variation in luminance value due to noise in the captured image and an error in the light source direction due to the fact that the position of the light emitting unit has not been correctly acquired. As a result, a difference between the approximate shape calculated from the normal and the correct approximate shape is generated. Here, since the luminance value of the noise of the captured image generally varies randomly, a normal error due to the influence of the luminance value also randomly occurs. That is, the difference in the depth map due to the noise of the captured image is randomly generated without bias. On the other hand, in the case of an error in the light source direction used for calculating the normal, an error occurs in the normal depending on the direction in which the error in the light source direction occurs. Therefore, a distribution corresponding to the direction of the error in the light source direction also occurs in the difference in the depth map.
例えば、法線の算出に用いる各発光部位置が真の位置に対しＸ方向に誤差が生じている場合、法線から算出されたデプスマップと正解デプスマップとの間はＸ方向の変動量が大きいが、Ｙ方向の変動はほとんど生じない。このとき、各発光部位置の真の位置に対するＸ方向の誤差が大きくなるほど、デプスマップ間のＸ方向の変動量も大きくなる。同様に、法線の算出に用いる各発光部位置が真の位置に対しＹ方向に誤差が生じている場合、法線から算出されたデプスマップと正解デプスマップとの間はＹ方向の変動量が大きいが、Ｘ方向の変動はほとんど生じない。また、各発光部位置の真の位置に対するＹ方向の誤差が大きくなるほど、デプスマップ間のＹ方向の変動量も大きくなる。法線の算出に用いる各発光部位置が真の位置に対しＺ方向に誤差が生じている場合、法線から算出されたデプスマップと正解デプスマップとの間はＸ方向、Ｙ方向のどちらの方向にも変動がほとんど生じない。そのため、デプスマップ間の変動量が大きい方向を見ることによって、法線の算出に用いる各発光部の位置をどちらの方向に更新するべきかを決定することができる。 For example, when each light emitting unit position used for calculating the normal has an error in the X direction with respect to the true position, there is a variation in the X direction between the depth map calculated from the normal and the correct depth map. Although large, there is almost no variation in the Y direction. At this time, as the error in the X direction with respect to the true position of each light emitting unit position increases, the amount of variation in the X direction between the depth maps also increases. Similarly, when each light emitting unit position used for normal calculation has an error in the Y direction with respect to the true position, the amount of fluctuation in the Y direction is between the depth map calculated from the normal and the correct depth map. However, the fluctuation in the X direction hardly occurs. In addition, as the error in the Y direction with respect to the true position of each light emitting unit position increases, the amount of variation in the Y direction between the depth maps also increases. When there is an error in the Z direction with respect to the true position of each light emitting unit used for calculating the normal, the distance between the depth map calculated from the normal and the correct depth map is either the X direction or the Y direction. Almost no change in direction. Therefore, it is possible to determine in which direction the position of each light emitting unit used for calculating the normal line should be updated by looking at the direction in which the variation amount between the depth maps is large.
本実施例では、デプスマップの差分の分布についてＸ方向の統計量及びＹ方向の統計量をＸ方向の変動量Ｖｘ及びＹ方向の変動量Ｖｙとして算出する。算出されたＸ方向の統計量とＹ方向の統計量を比較することで、法線の算出に用いる各発光部の位置をどちらの方向に沿って更新するべきかを決定する。尚、統計量として、例えば分散を用いることができる。具体的には、デプスマップの差分の分布をｄ（ｎ，ｍ）として、Ｘ方向の変動量Ｖｘは、下記の式（１０）のように算出することができる。 In the present embodiment, the X direction statistic and the Y direction statistic are calculated as the X direction variation amount Vx and the Y direction variation amount Vy for the distribution of the difference in the depth map. By comparing the calculated statistic in the X direction and the statistic in the Y direction, it is determined in which direction the position of each light emitting unit used for calculating the normal line should be updated. For example, variance can be used as the statistic. Specifically, assuming that the distribution of the difference in the depth map is d (n, m), the variation amount Vx in the X direction can be calculated as in the following equation (10).
同様に、Ｙ方向の変動量Ｖｙは下記の式（１１）のように算出することができる。 Similarly, the fluctuation amount Vy in the Y direction can be calculated as in the following equation (11).
そして、上記の変動量Ｖｘと変動量Ｖｙの大きさを比較することで各発光部をＸ、Ｙ、Ｚのどの軸に沿って更新するかを決定することができる。具体的には、Ｘ方向の変動量ＶｘとＹ方向の変動量Ｖｙが略等しい（差が所定値以下である）場合には各発光部をＺ軸に沿って更新する（各発光部の位置情報のＺ成分を更新する）。差が所定値を超える場合は、Ｘ方向の変動量ＶｘがＹ方向の変動量Ｖｙよりも大きい場合に各発光部をＸ軸に沿って更新する（各発光部の位置情報のＸ成分を更新する）。一方、Ｙ方向の変動量ＶｙがＸ方向の変動量Ｖｘよりも大きい場合に各発光部をＹ軸に沿って更新する（各発光部の位置情報のＹ成分を更新する）。尚、変動量Ｖｘと変動量Ｖｙの大きさを比較する際に、変動量ＶｘとＶｙの比を用いてもよい。具体的に、変動量ＶｘとＶｙの比が予め決められた範囲内である場合に、両者が略等しいと判定し、各発光部をＺ軸に沿って更新する。算出された比が上記範囲の最大値よりも大きい場合、Ｘ方向の変動量Ｖｘが大きいと判定し、各発光部をＸ軸に沿って更新する。算出された比が上記範囲の最小値よりも小さい場合、Ｙ方向の変動量Ｖｙが大きいと判定し、各発光部をＹ軸に沿って更新する。 Then, by comparing the magnitudes of the fluctuation amount Vx and the fluctuation amount Vy, it is possible to determine which axis of X, Y, and Z is to update each light emitting unit. Specifically, when the variation amount Vx in the X direction and the variation amount Vy in the Y direction are substantially equal (the difference is equal to or less than a predetermined value), each light emitting unit is updated along the Z axis (the position of each light emitting unit). Update the Z component of the information). When the difference exceeds a predetermined value, each light emitting unit is updated along the X axis when the amount of variation Vx in the X direction is larger than the amount of variation Vy in the Y direction (the X component of the position information of each light emitting unit is updated). To do). On the other hand, when the variation amount Vy in the Y direction is larger than the variation amount Vx in the X direction, each light emitting unit is updated along the Y axis (the Y component of the position information of each light emitting unit is updated). Note that, when the magnitudes of the fluctuation amount Vx and the fluctuation amount Vy are compared, the ratio of the fluctuation amounts Vx and Vy may be used. Specifically, when the ratio between the fluctuation amounts Vx and Vy is within a predetermined range, it is determined that both are substantially equal, and each light emitting unit is updated along the Z axis. When the calculated ratio is larger than the maximum value in the above range, it is determined that the variation amount Vx in the X direction is large, and each light emitting unit is updated along the X axis. When the calculated ratio is smaller than the minimum value in the above range, it is determined that the fluctuation amount Vy in the Y direction is large, and each light emitting unit is updated along the Y axis.
また、上記の方法で各発光部位置をＸ、Ｙ、Ｚのどの軸に沿って更新するか決定した後に、各軸のプラスの方向か、マイナスの方向に更新するかを以下の方法により決定することができる。すなわち、各軸のプラス、マイナスの両方向に同一の量だけ更新した発光部位置に対する法線マップをそれぞれ算出する。算出された各法線マップについて変動量Ｖｘ、ＶｙまたはＰＳＮＲ値を再度算出する。再度算出された変動量Ｖｘ、Ｖｙの値が小さくなる方向、または再度算出されたＰＳＮＲ値が大きくなる方向として決定する。 In addition, after determining which X, Y, and Z axis each light emitting unit position is updated by the above method, the following method is used to determine whether to update each axis in a positive direction or a negative direction. can do. That is, the normal map for the light emitting portion position updated by the same amount in both the positive and negative directions of each axis is calculated. The fluctuation amount Vx, Vy or PSNR value is calculated again for each calculated normal map. The direction is determined as a direction in which the recalculated fluctuation amounts Vx and Vy are decreased or a direction in which the recalculated PSNR value is increased.
尚、上記では式（１０）及び式（１１）のようにデプスマップの差分の分布ｄ（ｎ，ｍ）についてＸ方向の分散及びＹ方向の分散を算出し、変動量Ｖｘ及びＶｙとして用いる例を示したが、変動を表す指標としてはこれに限らず、他の指標を用いてもよい。 In the above example, the dispersion in the X direction and the dispersion in the Y direction are calculated and used as the fluctuation amounts Vx and Vy for the distribution d (n, m) of the depth map difference as in the expressions (10) and (11). However, the index representing the fluctuation is not limited to this, and other indices may be used.
また、上記では各発光部を更新する方向を決定する方法を説明したが、変動量ＶｘおよびＶｙから、各発光部位置の更新量を決定してもよい。例えば、予め設定された係数αを用いて各発光部の更新量Ｃは下記の式（１２）ように決定することができる。ここで、ｍａｘ（Ｖｘ，Ｖｙ）はＶｘ、Ｖｙのうちの大きい方の値を返すものとする。 Moreover, although the method for determining the direction in which each light emitting unit is updated has been described above, the update amount of each light emitting unit position may be determined from the variation amounts Vx and Vy. For example, the update amount C of each light emitting unit can be determined as shown in the following equation (12) using a preset coefficient α. Here, max (Vx, Vy) returns the larger value of Vx and Vy.
上述のように本実施例では、照度差ステレオ法によって測定された法線から算出されたデプスマップと正解概略形状から得たデプスマップとの差分の分布に応じて発光部位置を更新する際の方向や量を決定する。すなわち、法線から算出されたデプスマップと正解概略形状から算出されたデプスマップとの類似度が高くなるよう発光部位置を更新する際の方向や量を決定する。これによって、高精度な法線を得るまでに必要な算出量を削減することが可能となる。 As described above, in the present embodiment, when the light emitting unit position is updated according to the difference distribution between the depth map calculated from the normal measured by the illuminance difference stereo method and the depth map obtained from the correct approximate shape. Determine direction and amount. That is, the direction and amount when the light emitting unit position is updated are determined so that the similarity between the depth map calculated from the normal line and the depth map calculated from the correct approximate shape increases. This makes it possible to reduce the amount of calculation required to obtain a high-precision normal.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
６０４ 光源方向算出部
６０５ 法線算出部
６０６ 評価部
６０７ 発光部位置更新部
604 Light source
Claims (12)
前記算出手段にて算出された前記法線マップに基づいて前記測定対象物の概略形状を算出し、算出された概略形状を予め取得された前記測定対象物の基準概略形状と比較することで、前記光源の位置情報を更新する必要があるか否かを判定する判定手段と、
前記判定手段にて前記光源の位置情報を更新する必要があると判定された場合に、前記光源の位置情報を更新する更新手段と
を有し、前記算出手段は、前記更新手段にて更新された前記光源の位置情報を用いて前記法線マップを算出し直すことを特徴とする画像処理装置。 Based on the illuminance difference stereo method, the measurement target is based on three or more images captured in a state where the measurement target is sequentially irradiated from each of three or more light sources having different irradiation directions and the position information of the light source. A calculation means for calculating a normal map that holds the normal of the surface of the object for each pixel;
By calculating the approximate shape of the measurement object based on the normal map calculated by the calculation means, and comparing the calculated approximate shape with the reference approximate shape of the measurement object acquired in advance, Determination means for determining whether or not the position information of the light source needs to be updated;
An update unit that updates the position information of the light source when the determination unit determines that the position information of the light source needs to be updated, and the calculation unit is updated by the update unit. An image processing apparatus that recalculates the normal map using position information of the light source.
前記更新手段は、前記第１のデプスマップと前記第２のデプスマップとの差分の分布について算出されたＸ方向の統計量及びＹ方向の統計量に基づいて、前記光源の位置情報におけるどの成分を更新するかを決定することを特徴とする請求項６に記載の画像処理装置。 The position information of the light source includes an X component, a Y component, and a Z component,
The updating means determines which component in the position information of the light source based on the statistics in the X direction and the statistics in the Y direction calculated for the difference distribution between the first depth map and the second depth map. The image processing apparatus according to claim 6, wherein it is determined whether or not to update.
前記Ｘ方向の統計量と前記Ｙ方向の統計量がほぼ等しい場合に、前記光源の位置情報における前記Ｚ成分を更新し、そうでない場合に、
前記Ｘ方向の統計量が前記Ｙ方向の統計量よりも大きい場合に、前記光源の位置情報における前記Ｘ成分を更新し、
前記Ｙ方向の統計量が前記Ｘ方向の統計量よりも大きい場合に、前記光源の位置情報における前記Ｙ成分を更新する
ことを特徴とする請求項７に記載の画像処理装置。 The updating means includes
When the statistics in the X direction and the statistics in the Y direction are substantially equal, the Z component in the position information of the light source is updated; otherwise,
When the statistic in the X direction is larger than the statistic in the Y direction, the X component in the position information of the light source is updated;
The image processing apparatus according to claim 7, wherein the Y component in the position information of the light source is updated when the statistics in the Y direction is larger than the statistics in the X direction.
前記算出工程にて算出された前記法線マップに基づいて前記測定対象物の概略形状を算出し、算出された概略形状を予め取得された前記測定対象物の基準概略形状と比較することで、前記光源の位置情報を更新する必要があるか否かを判定する判定工程と、
前記判定工程にて前記光源の位置情報を更新する必要があると判定された場合に、前記光源の位置情報を更新する更新工程と
を含み、
前記算出工程では、前記更新工程にて前記光源の位置情報が更新された場合に、更新された前記光源の位置情報を用いて前記法線マップを算出し直すことを特徴とする画像処理方法。 Based on the illuminance difference stereo method, the measurement target is based on three or more images captured in a state where the measurement target is sequentially irradiated from each of three or more light sources having different irradiation directions and the position information of the light source. A calculation step of calculating a normal map holding the normal of the surface of the object for each pixel;
By calculating the approximate shape of the measurement object based on the normal map calculated in the calculation step, and comparing the calculated approximate shape with the reference approximate shape of the measurement object acquired in advance, A determination step of determining whether or not the position information of the light source needs to be updated;
An update step of updating the position information of the light source when it is determined in the determination step that the position information of the light source needs to be updated, and
In the calculating step, when the position information of the light source is updated in the updating step, the normal map is recalculated using the updated position information of the light source.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016140288A JP2018009927A (en) | 2016-07-15 | 2016-07-15 | Image processing device, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016140288A JP2018009927A (en) | 2016-07-15 | 2016-07-15 | Image processing device, image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018009927A true JP2018009927A (en) | 2018-01-18 |
Family
ID=60993806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016140288A Pending JP2018009927A (en) | 2016-07-15 | 2016-07-15 | Image processing device, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018009927A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114166863A (en) * | 2021-11-29 | 2022-03-11 | 苏州注视科技有限公司 | High-precision sheet detection system based on machine vision |
| WO2022113934A1 (en) * | 2020-11-26 | 2022-06-02 | 株式会社堀場製作所 | Surface roughness measuring device, and surface roughness measuring method |
| WO2022137901A1 (en) * | 2020-12-22 | 2022-06-30 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device and information processing method |
| CN115035294A (en) * | 2022-06-15 | 2022-09-09 | 灵图数据(杭州)有限公司 | Refrigerator temperature controller gear detection method and device |
-
2016
- 2016-07-15 JP JP2016140288A patent/JP2018009927A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022113934A1 (en) * | 2020-11-26 | 2022-06-02 | 株式会社堀場製作所 | Surface roughness measuring device, and surface roughness measuring method |
| WO2022137901A1 (en) * | 2020-12-22 | 2022-06-30 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device and information processing method |
| CN114166863A (en) * | 2021-11-29 | 2022-03-11 | 苏州注视科技有限公司 | High-precision sheet detection system based on machine vision |
| CN115035294A (en) * | 2022-06-15 | 2022-09-09 | 灵图数据(杭州)有限公司 | Refrigerator temperature controller gear detection method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6363863B2 (en) | Information processing apparatus and information processing method | |
| CN111566437B (en) | Three-dimensional measurement system and three-dimensional measurement method | |
| JP6503906B2 (en) | Image processing apparatus, image processing method and image processing program | |
| JP5961945B2 (en) | Image processing apparatus, projector and projector system having the image processing apparatus, image processing method, program thereof, and recording medium recording the program | |
| JP5132832B1 (en) | Measuring apparatus and information processing apparatus | |
| JP5951043B2 (en) | Image measuring device | |
| US20120089364A1 (en) | Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program | |
| JP5633058B1 (en) | 3D measuring apparatus and 3D measuring method | |
| JP6566768B2 (en) | Information processing apparatus, information processing method, and program | |
| CN107517346B (en) | Photographing method and device based on structured light and mobile device | |
| CN107808398B (en) | Camera parameter calculation device, calculation method, program, and recording medium | |
| JP2012058076A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
| US10713810B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
| KR20180105875A (en) | Camera calibration method using single image and apparatus therefor | |
| JP2007304801A (en) | Solidity authenticating method, solidity authenticating apparatus, and solidity authenticating program | |
| JP2016100698A (en) | Calibration device, calibration method, and program | |
| JP2018009927A (en) | Image processing device, image processing method and program | |
| JP2016024052A (en) | Three-dimensional measurement system, three-dimensional measurement method and program | |
| JP2019530059A (en) | Method for independently processing multiple target areas | |
| JP6282377B2 (en) | Three-dimensional shape measurement system and measurement method thereof | |
| KR102129206B1 (en) | 3 Dimensional Coordinates Calculating Apparatus and 3 Dimensional Coordinates Calculating Method Using Photo Images | |
| CN110691228A (en) | Three-dimensional transformation-based depth image noise marking method and device and storage medium | |
| WO2015159835A1 (en) | Image processing device, image processing method, and program | |
| KR101996226B1 (en) | Apparatus for measuring three-dimensional position of subject and method thereof | |
| JP6486083B2 (en) | Information processing apparatus, information processing method, and program |