JP4548228B2 - Image data creation method - Google Patents

Description

本発明は、画像データ作成方法に係り、特に、パターンマッチングに際し、対象物の設計情報（ＣＡＤデータ等）等からパターンマッチングに使用する画像データ（画像モデル）を作成するのに好適な画像データ作成方法に関する。   The present invention relates to an image data creation method, and in particular, image data creation suitable for creating image data (image model) used for pattern matching from design information (CAD data, etc.) of an object in pattern matching. Regarding the method.

近年、コンピュータの高速化、高性能化、及び画像認識技術の進展とが相俟って、パターンマッチング技術の応用範囲が広がりつつある（たとえば、特許文献１参照）。このようなパターンマッチング技術において、特許文献１のように、２台のカメラからなるステレオ撮影で対象物体の左右画像の相関を求め、三角測量の原理により、画像処理を行うことが多い。   In recent years, the application range of pattern matching technology has been expanded due to the combination of high speed and high performance of computers and the progress of image recognition technology (see, for example, Patent Document 1). In such a pattern matching technique, as in Patent Document 1, a correlation between left and right images of a target object is obtained by stereo imaging including two cameras, and image processing is often performed based on the principle of triangulation.

このようなパターンマッチングに用いられる画像データ（画像モデル）は、取得された画像データを使用して作成する場合と、人工的に画像を作成してそれを使用する場合とがある。人工的に画像を作成する場合には、対象物が四角形や円のような単純な図形であることが多い。また構造物のパターンマッチングの場合には、設計図としてのＣＡＤデータを使用して画像データを作成し、これを画像モデルとすることもある。   Image data (image model) used for such pattern matching may be created using acquired image data, or may be created artificially and used. When an image is artificially created, the object is often a simple figure such as a square or a circle. In the case of pattern matching of structures, image data may be created using CAD data as a design drawing and used as an image model.

これらの場合であって、対象物上の２次元図形を対象としたとき、撮像カメラが対象物に対して正対している場合、すなわち、対象物に対して垂直な線上にカメラの光軸がある場合には、カメラで撮像される図形と対象物とは相似の関係になるので、このように作成された画像モデルは、パターンマッチング用の画像モデルとして充分に機能する。   In these cases, when the target is a two-dimensional figure on the object, the imaging camera is directly facing the object, that is, the optical axis of the camera is on a line perpendicular to the object. In some cases, since the figure captured by the camera and the object have a similar relationship, the image model created in this way functions sufficiently as an image model for pattern matching.

ところが、既述したように、３次元座標データを得るためにステレオ光学系を用いることがある。このような画像処理にステレオ光学系を用いる場合には、左カメラの光軸と右カメラの光軸とを平行に配置することはほとんどなく、多くの場合、左カメラの光軸と右カメラの光軸とを交差させる配置となる。なぜなら、撮像に使用するＣＣＤ（固体撮像素子）のサイズが、写真乾板（銀塩フィルム）に比べるとかなり小さいためである。   However, as described above, a stereo optical system may be used to obtain three-dimensional coordinate data. When a stereo optical system is used for such image processing, the optical axis of the left camera and the optical axis of the right camera are rarely arranged in parallel, and in many cases, the optical axis of the left camera and the right camera are The arrangement is to cross the optical axis. This is because the size of a CCD (solid-state imaging device) used for imaging is considerably smaller than that of a photographic plate (silver salt film).

この場合、左カメラの光軸と右カメラの光軸とを交差させると、平面図形を測定する場合でも、左カメラにより撮像した図形と右カメラにより撮像した図形とでは形状が異なることとなる。この例として、ステレオ光学系で、長方形を撮像した場合を図１に示す。   In this case, if the optical axis of the left camera and the optical axis of the right camera are crossed, the shape captured by the left camera is different from the shape captured by the right camera, even when a planar graphic is measured. As an example of this, FIG. 1 shows a case where a rectangle is imaged by a stereo optical system.

図１において、比較し易くするため、左カメラを対象図形の真上に設置し、右カメラの光軸のみを傾けた配置とする。右カメラではカメラに近い部分の図形部分が、カメラに遠い図形部分より拡大されて撮像される。このように、画像処理にステレオ光学系を応用した例では、左カメラに撮像される図形と右カメラに撮像される図形は、同一（相似形）にはならない。   In FIG. 1, for easy comparison, the left camera is installed directly above the target graphic, and only the optical axis of the right camera is inclined. In the right camera, the graphic part near the camera is enlarged and captured from the graphic part far from the camera. Thus, in an example in which a stereo optical system is applied to image processing, the figure captured by the left camera and the figure captured by the right camera are not the same (similar).

このように、ステレオ光学系を使用して３次元座標を測定する場合には、対象物上の１点を、左カメラの画像データと右カメラの画像データとで同一点として対応をとらなければならない。既述の図１において示されるように、長方形の１つのコーナーでも、斜め方向から（右カメラで）撮像された画像データでは直角とはならない。このようなコーナーを画像モデルとして使用すると、右カメラの画像データからは近似的位置しか得られない。   As described above, when measuring a three-dimensional coordinate using a stereo optical system, one point on the object must be treated as the same point in the image data of the left camera and the image data of the right camera. Don't be. As shown in FIG. 1 described above, even one corner of a rectangle is not a right angle in image data captured from an oblique direction (with the right camera). When such a corner is used as an image model, only an approximate position can be obtained from the image data of the right camera.

このため、図１の右カメラの画像データから、長方形の中心位置を求めるには、
１）四隅コーナーを（コーナー画像モデルを使用して）近似的に求める、
２）四辺の直線を求める、
３）四隅コーナーの座標を精度よく求め直す、
４）四隅コーナーの座標から長方形の中央座標を求める、
の手順を踏まなければならない。 Therefore, to obtain the center position of the rectangle from the image data of the right camera in FIG.
1) Find the four corners approximately (using the corner image model),
2) Find a straight line on all sides
3) Recalculate the coordinates of the four corners,
4) Find the center coordinates of the rectangle from the coordinates of the four corners.
You must follow the steps.

一方、対象物の真上から撮像した画像については、長方形の中央座標を原点として長方形画像モデルを作成すれば、一回のサーチで中央座標を求めることができる。
特開２００４−０６１４４６号公報 On the other hand, for an image taken from directly above an object, if a rectangular image model is created with the central coordinates of the rectangle as the origin, the central coordinates can be obtained by a single search.
JP 2004-061446 A

しかしながら、左カメラも傾いて配置した場合には、右カメラと同様の手順で求めなければならない。このように対象物に対して、カメラが正対方向に配置されていない場合には、人工画像モデルを使用しても、対象物の特徴的位置を直接測定できないという問題がある。   However, when the left camera is also tilted, the same procedure as that for the right camera must be used. As described above, when the camera is not arranged in the facing direction with respect to the object, there is a problem that the characteristic position of the object cannot be directly measured even if the artificial image model is used.

この状況を図２により更に解り易く示す。図２に示されるように、左右のカメラが鉛直軸に対して傾いていると、同図に示されるように、長方形は四辺形（台形）となってしまう。既に図１に示したが、図２にも示されるように、四辺形の角（コーナー）も直角ではない。   This situation is shown more easily in FIG. As shown in FIG. 2, when the left and right cameras are tilted with respect to the vertical axis, the rectangle becomes a quadrangle (trapezoid) as shown in FIG. As already shown in FIG. 1, the corners of the quadrilateral are not right angles as shown in FIG.

そのため、パターンマッチングでは、コーナーの頂点位置を正確に求められないという問題がある。また、長方形の中心を求めるには、左画像及び右画像のそれぞれに対し、何回かの処理を行わなければならない。なお、図１の説明では、４回処理することを述べたが、四辺を簡単に求められれば処理回数を減らせる。   Therefore, pattern matching has a problem that the vertex position of the corner cannot be obtained accurately. In addition, in order to obtain the center of the rectangle, several processes must be performed on each of the left image and the right image. In the description of FIG. 1, it is described that the process is performed four times. However, if four sides can be easily obtained, the number of processes can be reduced.

単純な図形の場合には、図形の特徴を生かして、測定しようとする点の座標を求めることもできるが（たとえば中央位置）、大変難しい場合もある。更に、複雑な図形の場合には、簡単に求められないことが多くなる。また、基本的に正確に求められない場合もある。この例としては、円の中心点がある。これについては後述する。   In the case of a simple graphic, the coordinates of the point to be measured can be obtained by taking advantage of the characteristics of the graphic (for example, the center position), but it may be very difficult. Furthermore, in the case of complex figures, there are many cases that cannot be easily obtained. In addition, there are cases where it is basically not accurately obtained. An example of this is the center point of a circle. This will be described later.

このように、複数のカメラで撮像することは、投影変換していることと同等であり、必ず投影歪みが含まれることとなる。ステレオ光学系を用いて３次元測定する場合には、このような点がネックとなっている。   As described above, imaging with a plurality of cameras is equivalent to performing projection conversion, and always includes projection distortion. Such a point becomes a bottleneck when three-dimensional measurement is performed using a stereo optical system.

次に、本発明が解決しようとする他の課題について説明する。ここでは、測定対象物として平面図形を取り上げる。以降、対象物と記述した場合には、平面図形を意味するものとする。   Next, another problem to be solved by the present invention will be described. Here, a plane figure is taken up as an object to be measured. Hereinafter, when it is described as an object, it means a plane figure.

既述したように、対象物に対して正対の位置から撮像（対象物に垂直となる線上から撮像）された画像データは、対象物と相似形となるが、対象物を斜め方向から撮像した画像データでは、一般的に対象物と相似形にはならない。すなわち対象物の直角の部分は、斜め方向から撮像した場合には画像データ上では直角とはならない。これについては、図１に右カメラを例として示した。   As described above, image data captured from a position facing the object (imaged from a line perpendicular to the object) is similar to the object, but the object is imaged from an oblique direction. In general, the obtained image data is not similar to the object. That is, the right-angled part of the object is not a right angle on the image data when imaged from an oblique direction. This is illustrated in FIG. 1 using the right camera as an example.

人工画像モデルとしてパターンマッチングに使用する画像モデルを作成するとき、このことは大きな問題となる。図１では長方形を例としたが、斜め方向から円を撮像した場合、楕円とはならない。図３に示されるように、左側は楕円より矢印の向きに膨らみ、右側は楕円より矢印の向きに痩せるように変形する。また円の中心位置も少し右にずれる。   When an image model used for pattern matching is created as an artificial image model, this becomes a big problem. In FIG. 1, a rectangle is taken as an example, but when a circle is imaged from an oblique direction, it does not become an ellipse. As shown in FIG. 3, the left side swells in the direction of the arrow from the ellipse, and the right side is deformed so as to be drawn in the direction of the arrow from the ellipse. The center position of the circle is also slightly shifted to the right.

人工画像モデルには、このような投影変換に伴う問題点が反映されていない（投影による歪みがある）。人工画像モデルとして図形を設計データ等から２次元的に変換した場合には、投影歪みは修正されない。円の中心点のように直線の関係から決められない点（位置）は、正確に画像モデルに反映できないし、画像データから正確に測定できないという問題がある。なお、長方形の中心のような単純な点以外の図形の特徴点についても同様の状況である。   The artificial image model does not reflect such problems associated with projection conversion (there is distortion due to projection). When a figure is converted two-dimensionally from design data or the like as an artificial image model, the projection distortion is not corrected. A point (position) that cannot be determined from a straight line relationship such as the center point of a circle cannot be accurately reflected in the image model, and cannot be accurately measured from image data. The same applies to feature points of figures other than simple points such as the center of a rectangle.

本発明はこのような状況を考慮してなされたもので、上記投影変換に伴う問題点を解決して、パターンマッチングに使用する人工画像モデルを作成すること、特に、３次元測定をするためのステレオ光学系を用いた画像処理システムにおいて上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる画像データ作成方法を提供することを目的とする。   The present invention has been made in view of such a situation, and solves the problems associated with the above-mentioned projection conversion to create an artificial image model used for pattern matching, particularly for performing three-dimensional measurement. An object of the present invention is to provide an image data creation method that can solve the above-described problems in an image processing system using a stereo optical system, and that can create an image model incorporating the influence of projection distortion.

前記目的を達成するために、本発明は、パターンマッチングのための対象図形の画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、該カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記画像データを作成することを特徴とする画像データ作成方法を提供する。 In order to achieve the above object, the present invention provides image data creation in which each pixel is created as image data having respective brightness without actually capturing image data of a target graphic for pattern matching with an imaging camera. In order to obtain image data of a projected image projected on the imaging plane of the imaging camera when the object graphic and its periphery are imaged by an imaging camera provided at a predetermined position, the imaging of the camera When obtaining the projected image data by projecting and transforming the object graphic and its periphery onto the imaging plane using position parameters, the object graphic is used as point sequence data, and the point sequence data is projected and converted onto the image. Then, in the form of point sequence data on the image, determine the range of the image data to be projected of the target graphic from the point sequence data on the image, in each pixel within the determined range, Identify pixels that are inside the target graphic, pixels that are outside the target graphic, and pixels that share some points with the target graphic, and pixels that are inside the target graphic and part of the target graphic Extracting points that satisfy a predetermined condition in pixels that share the points, rearranging the extracted points in the clockwise direction, using the rearranged points, obtaining an area of the target graphic in each pixel, An image data creation method is provided, wherein the image data is created by determining the brightness of each pixel according to the area .

本発明によれば、対象図形及びその周縁を撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。   According to the present invention, in order to obtain image data of a projection image projected onto the imaging plane of the imaging camera when the target graphic and its periphery are imaged, the target graphic and its periphery are obtained using the imaging position parameter of the imaging camera. Is projected onto the image plane to obtain image data that has undergone projection transformation. Therefore, the above problems can be solved and an image model incorporating the influence of projection distortion can be created.

投影変換とは、図２０に示されるように、対象図形が位置する地上座標系（Ｘ、Ｙ、及びＺ座標）の対象点Ｐをカメラ座標系（ｘ、ｙ、及びｚ座標）のカメラにより写真座標系（ｘ及びｙ座標）に投影することを意味する。これらの各座標系間の共線条件式は公知である（たとえば、「写真による三次元測定（1983年共立出版）」に詳しい。）。   As shown in FIG. 20, the projection conversion is performed by using a camera in a camera coordinate system (x, y, and z coordinates) to convert a target point P in the ground coordinate system (X, Y, and Z coordinates) where the target figure is located. It means projecting to a photographic coordinate system (x and y coordinates). The collinear conditional expression between each of these coordinate systems is known (for example, “detailed in“ three-dimensional measurement with photographs (1983 Kyoritsu Shuppan) ”).

図２０において、投影中心の地上座標は（Ｘ_０、Ｙ_０、Ｚ_０）であり、画面距離はｃであり、ｐ（ｘ、ｙ）は対応する写真の写真座標である。 In FIG. 20, the ground coordinates of the projection center are (X ₀ , Y ₀ , Z ₀ ), the screen distance is c, and p (x, y) is the photographic coordinates of the corresponding photograph.

ここで、撮像カメラの撮像位置パラメータとしては、撮像レンズに理想的なレンズを使用する場合には、カメラ撮像位置の３次元座標（図２０のｘ_ｐ、ｙ_ｐ、及びｚ_ｐ）、各座標軸回りの回転角度（ω、φ及びκ）の６パラメータであり、通常の撮像レンズを使用する場合には、この６パラメータの他に、レンズ焦点距離とカメラの主点（Ｘ及びＹ）を加えた９パラメータである。 Here, as the imaging position parameter of the imaging camera, when an ideal lens is used as the imaging lens, the three-dimensional coordinates of the camera imaging position (x _p , y _p , and z _{p in} FIG. 20), each coordinate axis There are 6 parameters of rotation angle (ω, φ and κ), and when using a normal imaging lens, in addition to these 6 parameters, add the lens focal length and camera principal point (X and Y) There are 9 parameters.

なお、投影変換自体は、上記のように公知の技術である。しかし、パターンマッチングのモデルとしては、一般的に２次元データをそのまま使用するものしかない。本発明は、パターンマッチングのモデルとして、投影変換して作成した画像データをモデルとするものである。これにより、斜め方向から撮像した画像データに対しても、精度のよいパターンマッチングが行える。   The projection conversion itself is a known technique as described above. However, there is generally only a pattern matching model that uses two-dimensional data as it is. The present invention uses image data created by projection conversion as a model as a pattern matching model. Thereby, accurate pattern matching can be performed even on image data captured from an oblique direction.

また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形の画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記画像データを作成することを特徴とする画像データ作成方法を提供する。 In order to achieve the above object, the present invention provides an image created as image data in which each pixel has a brightness without actually capturing image data of a target graphic for pattern matching with an imaging camera. A data creation method for obtaining image data of a projection image projected on an imaging plane of an imaging camera when the object graphic having CAD data and its periphery are imaged by an imaging camera provided at a predetermined position. In addition, when the CAD data and the imaging position parameter of the imaging camera are used to project and convert the target graphic and its periphery onto the imaging plane , the target graphic is used as point sequence data. The point sequence data is projected and converted onto an image to form the point sequence data on the image, and the range of the image data on which the target graphic is projected from the point sequence data on the image. Identifying each pixel within the determined range, a pixel that is inside the target graphic, a pixel that is outside the target graphic, and a pixel that shares some points with the target graphic, and Extract a point that satisfies a predetermined condition in a pixel that is inside the target graphic and a pixel that shares some points with the target graphic, rearrange the extracted points clockwise, and use the rearranged points An image data creation method is provided, wherein the image data is created by obtaining an area of the target graphic in each pixel and determining the brightness of each pixel according to the obtained area .

本発明によれば、対象図形及びその周縁を撮像した際に撮像カメラの結像面に投影される投影画像の画像データを得るために、ＣＡＤデータと撮像カメラの撮像位置パラメータを用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。   According to the present invention, in order to obtain image data of a projected image projected on the imaging plane of the imaging camera when the target graphic and its periphery are imaged, the target graphic is used using CAD data and the imaging position parameter of the imaging camera. And the peripheral edge thereof is projected and converted onto the image plane to obtain image data subjected to the projection conversion. Therefore, the above problems can be solved and an image model incorporating the influence of projection distortion can be created.

特に、対象図形が円や矩形のような比較的単純な図形でない場合に、ＣＡＤデータを使用できるので、画像データの作成が容易となる。なお、ＣＡＤデータを投影変換して画像モデルとしているものは、従来見られず、本発明が初めて取り入れるものである。   In particular, when the target graphic is not a relatively simple graphic such as a circle or a rectangle, CAD data can be used, so that image data can be easily created. Note that an image model obtained by projecting CAD data into an image model has not been seen in the past, and is first introduced by the present invention.

本発明において、前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことが好ましい。このように、対象図形の特定位置、たとえば、対象図形が円である場合に円の中心、対象図形が矩形である場合に矩形のコーナーを基準位置として、関係付けておけば、対象図形の特定位置を容易に求めることができる。   In the present invention, it is preferable that the CAD data of the target graphic has specific position data of the target graphic, and the specific position of the target graphic is used as a reference position and associated with the projected image data. In this way, if the target figure is specified, for example, if the target figure is a circle, the center of the circle is used, and if the target figure is a rectangle, the rectangular corner is used as the reference position. The position can be easily determined.

また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形のステレオ光学系を使用して３次元測定を目的とした画像である３次元画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記それぞれの結像面上に投影変換し投影変換された画像データにより前記対象図形の前記３次元画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記３次元画像データを作成することを特徴とする画像データ作成方法を提供する。 In order to achieve the above object, the present invention actually captures three-dimensional image data, which is an image intended for three-dimensional measurement, using a stereo optical system of an object graphic for pattern matching with an imaging camera. An image data creation method in which each pixel is created as image data having a brightness of each pixel, and when the target figure and its periphery are imaged by a plurality of imaging cameras provided at predetermined positions, In order to obtain image data of a projected image projected on each imaging plane of the imaging camera, the target figure and its periphery are projected onto each imaging plane using the imaging position parameters of the imaging camera. when the conversion is projected converted image data obtaining the 3-dimensional image data of said object graphic, the object graphic and the point sequence data, projecting the the point sequence data on the image In other words, in the form of point sequence data on the image, a range of image data to be projected of the target graphic is determined from the point sequence data on the image, and the target graphic is determined at each pixel within the determined range. Identifying pixels inside the target graphic, pixels outside the target graphic, and pixels sharing some points with the target graphic, and identifying pixels inside the target graphic and some points with the target graphic Extracting points satisfying a predetermined condition in the pixels to be shared, rearranging the extracted points clockwise, obtaining the area of the target figure in each pixel using the rearranged points, and obtaining the obtained area Accordingly, there is provided an image data creation method characterized in that the three-dimensional image data is created by determining the brightness of each pixel .

本発明によれば、複数台の撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、それぞれの撮像位置パラメータを用いて対象図形及びその周縁をそれぞれ投影変換し、対象図形の３次元画像データを得る。したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。   According to the present invention, in order to obtain image data of a projection image projected on each imaging plane of a plurality of imaging cameras, the target figure and its periphery are each projected and converted using each imaging position parameter, Obtain three-dimensional image data of the target graphic. Therefore, the above problems can be solved and an image model incorporating the influence of projection distortion can be created.

すなわち、３次元測定を目的としたステレオ光学系では、投影変換した画像データから画像モデルを作成しないと、精度よく画像計測できない。これに対し、本発明は、この課題を解決するものである。   That is, in a stereo optical system for the purpose of three-dimensional measurement, an image cannot be measured with high accuracy unless an image model is created from image data obtained by projection conversion. In contrast, the present invention solves this problem.

なお、「３次元画像データ」とは、ステレオ光学系を使用して３次元測定を目的とした画像データのことを指す。   The “three-dimensional image data” refers to image data intended for three-dimensional measurement using a stereo optical system.

また、前記目的を達成するために、本発明は、パターンマッチングのための対象図形のステレオ光学系を使用して３次元測定を目的とした画像である３次元画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データにより前記対象図形の前記３次元画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記３次元画像データを作成することを特徴とする画像データ作成方法を提供する。 In order to achieve the above object, the present invention actually captures three-dimensional image data, which is an image intended for three-dimensional measurement, using a stereo optical system of an object graphic for pattern matching with an imaging camera. An image data creation method in which each pixel is created as image data having the brightness of each pixel, and the target figure having CAD data and its periphery are imaged by a plurality of imaging cameras provided at predetermined positions. In order to obtain image data of a projected image projected on the respective imaging planes of the imaging camera at the time, the target figure and its periphery are defined using the CAD data and the imaging position parameters of the imaging camera. when the image data projected transformed projection conversion on the imaging plane to obtain the 3-dimensional image data of said object graphic, the object graphic and the point sequence data The point sequence data is projected and converted onto an image to form the point sequence data on the image, the range of the image data to be projected of the target graphic is determined from the point sequence data on the image, and the determined range A pixel that is inside the target graphic, a pixel that is outside the target graphic, and a pixel that shares some points with the target graphic, and a pixel that is inside the target graphic, and Extract points satisfying a predetermined condition in pixels that share some points with the target graphic, rearrange the extracted points clockwise, and use the rearranged points of the target graphic in each pixel There is provided an image data creation method characterized in that the three-dimensional image data is created by obtaining an area and determining the brightness of each pixel according to the obtained area .

本発明によれば、複数台の撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、ＣＡＤデータとそれぞれの撮像位置パラメータを用いて対象図形及びその周縁をそれぞれ投影変換し、対象図形の３次元画像データを得る。   According to the present invention, in order to obtain image data of a projected image projected on the respective imaging planes of a plurality of imaging cameras, the target graphic and its periphery are projected using CAD data and respective imaging position parameters. Conversion is performed to obtain three-dimensional image data of the target graphic.

したがって、上記の問題点が解消され、投影歪みの影響を取り入れた画像モデルを作成できる。   Therefore, the above problems can be solved and an image model incorporating the influence of projection distortion can be created.

特に、対象図形が球や直方体のような比較的単純な図形でない場合に、ＣＡＤデータを使用できるので、画像データの作成が容易となる。   In particular, since the CAD data can be used when the target graphic is not a relatively simple graphic such as a sphere or a rectangular parallelepiped, the creation of image data is facilitated.

本発明において、前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことが好ましい。このように、対象図形の特定位置、たとえば、対象図形が三角錐である場合に頂点、対象図形が直方体である場合にコーナーを基準位置として、関係付けておけば、対象図形の特定位置を容易に求めることができる。   In the present invention, it is preferable that the CAD data of the target graphic has specific position data of the target graphic, and the specific position of the target graphic is used as a reference position and associated with the projected image data. In this way, the specific position of the target figure can be easily determined by relating the vertex to the specific position of the target figure, for example, the apex when the target figure is a triangular pyramid, and the corner as the reference position when the target figure is a rectangular parallelepiped. Can be requested.

本発明によれば、投影歪みの影響を取り入れた画像モデルを作成できる。   According to the present invention, an image model incorporating the influence of projection distortion can be created.

以下、添付図面に従って本発明に係る画像データ作成方法の好ましい実施の形態（第１の実施形態）について詳説する。   Hereinafter, a preferred embodiment (first embodiment) of an image data creating method according to the present invention will be described in detail with reference to the accompanying drawings.

本発明の第１の実施形態は、パターンマッチングのための対象図形の画像データを得る画像データ作成方法であって、対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に、この撮像カメラの結像面に投影される投影画像の画像データを得るために、この撮像カメラの撮像位置パラメータを（場合によっては、対象図形のＣＡＤデータも）用いて対象図形及びその周縁を結像面上に投影変換し投影変換された画像データを得る画像データ作成方法である。   The first embodiment of the present invention is an image data creation method for obtaining image data of a target graphic for pattern matching, and when the target graphic and its periphery are imaged by an imaging camera provided at a predetermined position, In order to obtain image data of a projection image projected on the imaging plane of the imaging camera, the imaging position parameter of the imaging camera (and CAD data of the object graphics in some cases) is used to connect the object graphic and its periphery. This is an image data creation method that obtains image data that has been projected and converted onto an image plane.

すなわち、測定対象空間（３次元座標系）に測定しようとする特定図形（２次元平面図形）を配置して（３次元座標を与えて）、撮像カメラの撮像位置パラメータを用いて、撮像カメラの画像データ上に特定図形を投影変換する。画像データ上で、この特定図形を含む少し広い範囲を切り出し、パターンマッチングのための画像モデルとする。   That is, a specific figure (two-dimensional plane figure) to be measured is placed in the measurement target space (three-dimensional coordinate system) (given three-dimensional coordinates), and the imaging position parameter of the imaging camera is used. A specific figure is projected on image data. On the image data, a slightly wide range including this specific figure is cut out and used as an image model for pattern matching.

撮像カメラの撮像位置パラメータとしては、既述の図２０により説明したように、撮像レンズに理想的なレンズを使用する場合には、カメラ撮像位置の３次元座標（図２０のｘ_ｐ、ｙ_ｐ、及びｚ_ｐ）、各座標軸回りの回転角度（ω、φ及びκ）の６パラメータであり、通常の撮像レンズを使用する場合には、この６パラメータの他に、レンズ焦点距離とカメラの主点（Ｘ及びＹ）を加えた９パラメータである。 As described above with reference to FIG. 20, as the imaging position parameter of the imaging camera, when an ideal lens is used as the imaging lens, the three-dimensional coordinates of the camera imaging position (x _p , y _{p in} FIG. 20). , And z _p ), and rotation angles (ω, φ, and κ) around each coordinate axis. When a normal imaging lens is used, in addition to these six parameters, the lens focal length and the camera main Nine parameters including points (X and Y).

以下、図を用いて説明する。既述の図２に示されるように、撮像カメラに対して測定対象とする構造物を配置する。撮像カメラは、測定空間に対して前もってキャリブレーションして、撮像位置パラメータを求めておく。撮像位置パラメータは、既述の９個のパラメータであるが、レンズ焦点距離が短い場合には、光学系の歪を補正するパラメータも用いる。   This will be described below with reference to the drawings. As shown in FIG. 2 described above, a structure to be measured is arranged with respect to the imaging camera. The imaging camera calibrates in advance with respect to the measurement space and obtains the imaging position parameter. The imaging position parameters are the nine parameters described above, but when the lens focal length is short, parameters for correcting distortion of the optical system are also used.

測定対象とする構造物を配置することは、測定対象図形（２次元平面図形）の３次元座標を与えることと同等となる。測定する図形の３次元座標が与えられると、その図形を投影変換して撮像カメラの画像データとして計算により求めることができる。すなわち図２で、左カメラの画像、右カメラの画像を示した画像データを作成することができる。   Arranging the structure to be measured is equivalent to giving the three-dimensional coordinates of the figure to be measured (two-dimensional plane figure). Given the three-dimensional coordinates of the figure to be measured, the figure can be projected and converted to obtain image data of the imaging camera. That is, in FIG. 2, image data showing the left camera image and the right camera image can be created.

この場合、測定対象図形を含む少し広い範囲を、パターンマッチングに使用する画像モデルとする。画像モデルとするときに、長方形の中心点を画像モデルの原点としておけば、図２の例では一回サーチするだけで、長方形の中心点を画像データから測定できる。   In this case, a slightly wide range including the measurement target graphic is set as an image model used for pattern matching. When an image model is used, if the center point of the rectangle is set as the origin of the image model, the center point of the rectangle can be measured from the image data with only one search in the example of FIG.

この方法で問題となる点は、初めに測定対象図形（２次元平面図形）の３次元座標を与えたことである。この影響を調べるために、図４に示されるように、カメラの位置を少し移動させてみる。カメラの位置を少し移動させると、投影変換された画像データ上の図形は変形するが、大きな変形ではない。   The problem with this method is that the three-dimensional coordinates of the figure to be measured (two-dimensional plane figure) are first given. In order to investigate this effect, the position of the camera is moved slightly as shown in FIG. When the position of the camera is moved a little, the figure on the image data subjected to the projection conversion is deformed, but it is not a large deformation.

カメラが対象物の方向へ移動すると、図４に示されるように、台形の長い辺の長さと短い辺の長さとの比が少し１に近くなる。しかし、図形としての変形は小さいので、パターンマッチングの画像モデルとして使える。すなわち、充分によい結果が得られる。   When the camera moves in the direction of the object, as shown in FIG. 4, the ratio of the long side length and the short side length of the trapezoid is slightly close to 1. However, since the deformation as a figure is small, it can be used as an image model for pattern matching. That is, sufficiently good results can be obtained.

このことは、測定対象図形とカメラの３次元位置について、相対的に小さい差異があっても、パターンマッチングのモデル画像とできるということを意味する。そしてこのような画像モデルを用いると、直方体の上面の長方形をパターンマッチングでサーチする場合に、図２で示したような左右のカメラの画像データに対して、直接サーチできる画像モデルとなる。すなわち、理論的には多少の誤差を生じているが、実用的な意味においては充分にパターンマッチングのモデル画像として使用できる。   This means that even if there is a relatively small difference between the measurement target figure and the three-dimensional position of the camera, a pattern matching model image can be obtained. When such an image model is used, when searching for the rectangle on the upper surface of the rectangular parallelepiped by pattern matching, an image model that can be directly searched for the image data of the left and right cameras as shown in FIG. That is, some errors are theoretically generated, but in a practical sense, they can be sufficiently used as model images for pattern matching.

しかし、画像モデルが初めに仮定した位置と大きくズレる場合には、正しい結果が得られる訳ではない。すなわち、測定位置をチェックする必要がある。   However, when the image model deviates greatly from the initially assumed position, a correct result is not obtained. That is, it is necessary to check the measurement position.

構造物の設計図はＣＡＤにより作成されるのが一般的であり、測定対象図形の近似的位置を与えることができるということは多くの場合可能である。   A design drawing of a structure is generally created by CAD, and it is often possible to give an approximate position of a figure to be measured.

本実施形態においては、測定対象物と撮像カメラとの３次元的位置関係をシミュレーションして、測定しようとする図形（２次元平面図形）を画像モデルとして作成する。構造物は部品から構成されているが、ＣＡＤシステムでは部品の設計図や構造物全体の組立図も作成されている。したがって、構造物の位置を与えれば、測定しようとする部品の特定図形（平面図形）の３次元的位置は、ＣＡＤシステムから容易に得られる。   In the present embodiment, a three-dimensional positional relationship between a measurement object and an imaging camera is simulated, and a figure to be measured (two-dimensional plane figure) is created as an image model. The structure is composed of parts, but in the CAD system, a part design drawing and an assembly drawing of the entire structure are also created. Therefore, if the position of the structure is given, the three-dimensional position of the specific figure (planar figure) of the part to be measured can be easily obtained from the CAD system.

本実施形態によれば、このようにＣＡＤシステムを利用して、測定しようとする図形（２次元平面図形）の充分に良好な近似位置から、投影変換により画像モデルを作成する。その結果、対象物の位置を正確に測定できる。   According to the present embodiment, an image model is created by projection conversion from a sufficiently good approximate position of a figure to be measured (two-dimensional plane figure) using the CAD system. As a result, the position of the object can be accurately measured.

次に、具体的な画像データ作成方法について説明する。   Next, a specific image data creation method will be described.

直方体を真上からカメラで撮像すると、直方体上面の長方形は画像データ上で相似形の長方形となる。すなわち、測定しようとする図形が撮像カメラの光軸に対し垂直であると、撮像された図形はもとの図形と相似形となる。このような場合には、ＣＡＤデータのような設計データから、２次元的に変換することにより、パターンマッチングに用いる画像モデルを作成できる。   When a rectangular parallelepiped is picked up by a camera from directly above, the rectangle on the top of the rectangular parallelepiped becomes a similar rectangle on the image data. That is, if the figure to be measured is perpendicular to the optical axis of the imaging camera, the captured figure is similar to the original figure. In such a case, an image model used for pattern matching can be created by two-dimensionally converting from design data such as CAD data.

しかし、測定しようとする図形が撮像カメラの光軸に対し垂直でないと、撮像された図形は投影歪をもつこととなる。本実施形態によれば、このような状態であっても、パターンマッチングに用いる画像モデルを作成できる。   However, if the figure to be measured is not perpendicular to the optical axis of the imaging camera, the captured figure will have a projection distortion. According to the present embodiment, an image model used for pattern matching can be created even in such a state.

図５に、斜め方向から直方体を撮像する状態の断面図を模式的に示す。直方体の上面の点（図５に＋で示す）は、カメラ撮像位置（１点である）を通って、光軸に垂直な撮像面（ＣＣＤ面）との交点に撮像される。図５においては、この対応関係をＡ→Ａ’、Ｂ→Ｂ’…のように示してある。なお、図５は断面図なので、Ａは点ではなく、実際はむしろ断面に垂直な線を示していることとなる。   FIG. 5 schematically shows a cross-sectional view of a state in which a rectangular parallelepiped is imaged from an oblique direction. A point on the upper surface of the rectangular parallelepiped (indicated by + in FIG. 5) passes through the camera imaging position (one point) and is imaged at an intersection with an imaging surface (CCD surface) perpendicular to the optical axis. In FIG. 5, this correspondence relationship is shown as A → A ′, B → B ′. Since FIG. 5 is a sectional view, A is not a point, but actually shows a line perpendicular to the section.

図５において撮像される画像は、既述の図４に示されるように、台形となる。台形では、図５から解るようにＥに対応する線分の方が、Ａに対応する線分よりも長くなる。次に、図６に、撮像される直方体の上面の長方形（撮像されて台形となる）を模式的に示す。図６において、１つの桝目は１画素を示す。通常の画像データでは、１画素は同じ明るさ（数値）で０〜２５５までの２５６階調となる。   The image picked up in FIG. 5 is a trapezoid as shown in FIG. In the trapezoidal shape, the line segment corresponding to E is longer than the line segment corresponding to A, as can be seen from FIG. Next, FIG. 6 schematically shows a rectangle on the upper surface of a rectangular parallelepiped to be imaged (captured into a trapezoid). In FIG. 6, one cell indicates one pixel. In normal image data, one pixel has 256 gradations from 0 to 255 with the same brightness (numerical value).

投影変換を用いた画像作成方法を説明するため、図６においては、１画素より細かい図形を描いてある（これは実際にはありえない）。図６においては、長方形の四隅が判るように描いてある。   In order to explain an image creation method using projection conversion, a figure smaller than one pixel is drawn in FIG. 6 (this is impossible in practice). In FIG. 6, the four corners of the rectangle are drawn.

画像データの明るさとしては、１画素に含まれる台形の面積×２５５を明るさとする。すなわち、図６の１画素にどれだけの台形の面積が含まれるかを算出すれば、図６の画像データの各画素の明るさが得られる（図６では、見やすくするため、背景を白、台形部分を黒としているので、説明文とは明るさが反転している）。   As the brightness of image data, the trapezoidal area contained in one pixel × 255 is set as the brightness. That is, by calculating how much trapezoidal area is included in one pixel of FIG. 6, the brightness of each pixel of the image data of FIG. 6 can be obtained (in FIG. 6, the background is white, Because the trapezoidal part is black, the brightness is reversed from the explanatory text).

このとき、直方体の上面の長方形の中心点を、同様に画像データ上に投影して、画像データ上での座標値を求め、画像モデルの原点として登録すると、この画像モデルを用いてサーチすれば、長方形の中心点を直接求めることができる。   At this time, when the center point of the rectangle on the upper surface of the rectangular parallelepiped is similarly projected onto the image data, the coordinate value on the image data is obtained and registered as the origin of the image model, the search can be performed using this image model. The center point of the rectangle can be obtained directly.

次に、実際の処理フローを図７に示す。先ず、ＣＡＤデータ等から、測定する図形データを点列の形にする（ステップＳ−１０）。測定する図形が長方形であれば４点の点列とする。測定する図形が曲線の場合には、曲線の特徴を表す点数の点列とする。たとえば円の場合には、１００〜１０００点程度で表す。   Next, an actual processing flow is shown in FIG. First, graphic data to be measured is converted into a point sequence from CAD data or the like (step S-10). If the figure to be measured is a rectangle, a point sequence of four points is used. When the figure to be measured is a curve, it is a point sequence of points representing the characteristics of the curve. For example, in the case of a circle, it is represented by about 100 to 1000 points.

これまで、図形として平面位置だけの２次元データとしていたが、測定対象の構造物上では、図形は基本的に３次元位置を持つ。このように、設計図としてのＣＡＤデータから図形として３次元位置データを取り出すことは容易に行える。   Until now, the figure has been two-dimensional data of only the plane position, but the figure basically has a three-dimensional position on the structure to be measured. In this way, it is easy to extract three-dimensional position data as a figure from CAD data as a design drawing.

上記の点列データとしては（Ｘ、Ｙ、Ｚ）の形式とする。既述の図５に示されるように、投影変換される図形はＡ〜Ｅの範囲にあり、画像データ上ではＡ’〜Ｅ’の範囲となる。   The point sequence data is in the format (X, Y, Z). As shown in FIG. 5 described above, the figure to be projected and converted is in the range of A to E, and is in the range of A 'to E' on the image data.

次いで、対象とする図形の画像データの範囲を決める（ステップＳ−１２）。具体的には、図形の各点をテスト的に投影変換することにより求める。画像データの範囲が決められると、図６に示されるように、モデル画像を作成する画像データの大きさが決められる。画像データの大きさが決められたら、画像データの各画素についての明るさを求めるため（画像データを作成するには各画素の明るさが必要）、各画素における図形の面積が求められる。   Next, a range of image data of the target graphic is determined (step S-12). Specifically, it is obtained by projectively converting each point of the figure. When the range of the image data is determined, the size of the image data for creating the model image is determined as shown in FIG. When the size of the image data is determined, the area of the figure in each pixel is obtained in order to obtain the brightness of each pixel of the image data (the brightness of each pixel is necessary to create image data).

各画素における図形の面積を求める方法について図８を用いて説明する。図８の枡は、図６における１画素（図６において、「図８で説明に使う画素の例」として示した）に対応する。図８でピックアップする点の条件は、図７のフローのステップＳ−１４に示した１）〜３）までの条件である。   A method for obtaining the area of the figure in each pixel will be described with reference to FIG. 8 corresponds to one pixel in FIG. 6 (shown in FIG. 6 as “an example of a pixel used for explanation in FIG. 8”). The conditions of the points picked up in FIG. 8 are the conditions from 1) to 3) shown in step S-14 of the flow of FIG.

図８では、図形を４点Ａ、Ｂ、Ｃ、Ｄで示し、当該画素は４点１、２、３、４で形成されるとする。   In FIG. 8, it is assumed that the figure is indicated by four points A, B, C, and D, and the pixel is formed by four points 1, 2, 3, and 4.

図７のフローのステップＳ−１４において、先ず、
１）図形の点列データが当該画素に含まれるか、という条件では、図形の点Ｃがこれに該当し、ピックアップ（抽出）される。次いで、
２）点列と点列を繋ぐ線分が当該画素四辺と交点があるか、という条件では、直線１−２と直線Ａ−Ｃの交点としてのａ、及び、直線２−４と直線Ｃ−Ｄの交点としてのｂがピックアップ（抽出）される。そして、
３）当該画素の四隅点が図形の内部となるか、という条件では、画素を構成する点２がピックアップ（抽出）される。 In step S-14 of the flow of FIG.
1) Under the condition that graphic point sequence data is included in the pixel, the graphic point C corresponds to this and is picked up (extracted). Then
2) On the condition that the line segment connecting the point sequence and the four sides of the pixel has an intersection, a as the intersection of the straight line 1-2 and the straight line AC, and the straight line 2-4 and the straight line C- B as an intersection of D is picked up (extracted). And
3) On the condition that the four corner points of the pixel are inside the figure, the point 2 constituting the pixel is picked up (extracted).

このようにピックアップ（抽出）された点を、次のステップ（ステップＳ−１６）で時計周りにａ→Ｃ→ｂ→２と並べ替える。並べ替えられた点を一周すると、当該部分の面積が得られる（ステップＳ−１８）。   The points picked up (extracted) in this way are rearranged in the next step (step S-16) in the order of a → C → b → 2. When the sorted points make a round, the area of the part is obtained (step S-18).

当該画素が図形に含まれる場合は明るさ（数値）を２５５（面積を１．０：画素間隔を１．０として）とし、当該画素に図形を全く含まない場合には明るさ（数値）を０とする。このように図７のフローに従って、図６の画像データの各画素の明るさを求めると、図６に模式的に示した画素データを作成することができる（図６では、見やすくするため、明るさを反転している）。   When the pixel is included in the figure, the brightness (numerical value) is set to 255 (area is 1.0: the pixel interval is 1.0). When the pixel does not include the graphic at all, the brightness (numerical value) is set. 0. As described above, when the brightness of each pixel of the image data in FIG. 6 is obtained according to the flow in FIG. 7, the pixel data schematically shown in FIG. 6 can be created (in FIG. Is reversed).

また図形の中心点等の特徴点（図形のコーナーの点でもよい）を投影変換して画像モデルの原点とすれば、パターンマッチングの結果から直接的にその測定点の位置を求めることができる。   Further, if a feature point (may be a corner point of the figure) such as the center point of the figure is projected and converted to be the origin of the image model, the position of the measurement point can be obtained directly from the result of pattern matching.

ステップＳ−１４において行われる、着目する点Ｏが四辺形の内部に含まれるか否かを調べる方法を、図９を参照して説明する。図９（Ａ）は、Ｏ点が四辺形ＥＦＧＨの内部にある場合を示す図であり、図９（Ｂ）は、Ｏ点が四辺形ＥＦＧＨの外部にある場合を示す図である。四辺形ＥＦＧＨのＥ点を出発して辺上をＥ点、Ｆ点、Ｇ点、Ｈ点の順に通るように動く点があるものとする。このときＥ点からＦ点に進む間に張る角度θ１をＥ点からＦ点へ向かう方向を正の方向にとって計る。   A method of examining whether or not the point of interest O is included in the inside of the quadrangle performed in step S-14 will be described with reference to FIG. FIG. 9A is a diagram showing a case where the O point is inside the quadrilateral EFGH, and FIG. 9B is a diagram showing a case where the O point is outside the quadrilateral EFGH. It is assumed that there is a point that moves from the point E of the quadrilateral EFGH so as to pass on the side in the order of point E, point F, point G, and point H. At this time, the angle θ1 stretched from the point E to the point F is measured with the direction from the point E to the point F as the positive direction.

同様に、Ｆ点からＧ点に進む間に張る角度をθ２、Ｇ点からＨ点に進む間に張る角度をθ３、Ｈ点からＥ点に進む間に張る角度をθ４として、それぞれ起点から到着点に向かう方向を正の方向にとって計るものとする。   Similarly, the angle stretched from the F point to the G point is θ2, the angle stretched from the G point to the H point is θ3, and the angle stretched from the H point to the E point is θ4. The direction toward the point is taken as the positive direction.

図９（Ａ）に示すＯ点が四辺形ＥＦＧＨの内部にある場合は、θ１＋θ２＋θ３＋θ４は２πとなる。一方、図９（Ｂ）に示すＯ点が四辺形ＥＦＧＨの外部にある場合は、θ１＋θ２＋θ３＋θ４は０となる。また、図示していないが、Ｏ点が四辺形ＥＦＧＨの辺上にある場合は、θ１＋θ２＋θ３＋θ４はπとなる。   When the point O shown in FIG. 9A is inside the quadrilateral EFGH, θ1 + θ2 + θ3 + θ4 is 2π. On the other hand, when the point O shown in FIG. 9B is outside the quadrilateral EFGH, θ1 + θ2 + θ3 + θ4 is zero. Although not shown, when the point O is on the side of the quadrilateral EFGH, θ1 + θ2 + θ3 + θ4 is π.

以上説明したように、θ１＋θ２＋θ３＋θ４を求めて、その値が、２πか、０か、あるいはπのいずれかであるかを知れば、着目するＯ点が四辺形ＥＦＧＨの内部に含まれるか否かを調べることができる。   As described above, if θ1 + θ2 + θ3 + θ4 is obtained and it is known whether the value is 2π, 0, or π, it is determined whether or not the target O point is included in the quadrilateral EFGH. You can investigate.

次に、図１０及び図１１を参照して、線分と線分の交点を求める場合の規約を説明する。図１０には、線分同士が重ならない場合を図示してあり、図１１には線分同士が重なる場合を図示してある。   Next, with reference to FIG.10 and FIG.11, the rule in the case of calculating | requiring the intersection of a line segment and a line segment is demonstrated. FIG. 10 illustrates a case where the line segments do not overlap each other, and FIG. 11 illustrates a case where the line segments overlap each other.

図１０（Ａ）に示されるように線分の延長線上において交点が存在する場合は、交点が存在しないものとして扱う。交点が存在すると判断するのは、図１０（Ｂ）に示されるように、線分の存在する範囲内で交点が存在する場合である。図１０（Ｃ）で示されるように、線分の端点が交点である場合も、交点が存在すると判定するものとする。図１１に示される場合のように、一の線分１と他の線分２とが重なる場合は、交点として２点をピックアップするものとする。   As shown in FIG. 10A, when an intersection exists on an extension line of a line segment, it is treated as an intersection does not exist. It is determined that the intersection exists as shown in FIG. 10B when the intersection exists within the range where the line segment exists. As shown in FIG. 10C, even when the end point of the line segment is an intersection, it is determined that the intersection exists. As shown in FIG. 11, when one line segment 1 and another line segment 2 overlap, two points are picked up as intersections.

次に、本発明に係る画像データ作成方法の他の実施の形態（第２の実施形態）について説明する。既述の第１の実施形態においては、測定対象とする図形が長方形（直線で形成される図形）の場合を取り上げたが、本実施形態においては、測定対象とする図形が曲線の場合を取り上げる。   Next, another embodiment (second embodiment) of the image data creation method according to the present invention will be described. In the above-described first embodiment, the case where the figure to be measured is a rectangle (the figure formed by a straight line) is taken up. However, in this embodiment, the case where the figure to be measured is a curve is taken up. .

図１２に、対象図形が円の場合を模式的に示す。図１２では、円周上に何点か選び出し、それらの点に＋印をつけて表示した。表示された各点は、投影変換されて（図１２では、カメラ撮像位置を通る直線で示す）、カメラ（ＣＣＤ）撮像面上の１点となる。なお、撮像面は断面図として描いている。点列データは第１の実施形態でも記述したようにＸ、Ｙ、Ｚの３次元座標とする。   FIG. 12 schematically shows a case where the target graphic is a circle. In FIG. 12, some points are selected on the circumference, and these points are displayed with a + mark. Each displayed point is projected and converted (indicated by a straight line passing through the camera imaging position in FIG. 12) to become one point on the camera (CCD) imaging surface. The imaging surface is drawn as a cross-sectional view. The point sequence data is assumed to be three-dimensional coordinates of X, Y and Z as described in the first embodiment.

図１２から容易に想定されるように、図形を点列の形（＋位置の点列で図形とする）で表現できれば、円の場合も長方形の場合と全く同じように、図７のフローでモデル画像を作成できる。ＣＡＤデータでは、円は中心の座標と半径とで表される。そして、ＣＡＤデータから容易に３次元点列データに変換できる。この場合、円の中心座標、半径、及び円の向き（３次元の方向）から３次元座標の点列データを作成すればよい。   As can be easily assumed from FIG. 12, if the figure can be expressed in the form of a point sequence (the figure is represented by a point sequence at the + position), the flow of FIG. Model images can be created. In CAD data, a circle is represented by center coordinates and a radius. The CAD data can be easily converted into three-dimensional point sequence data. In this case, point sequence data of three-dimensional coordinates may be created from the center coordinates of the circle, the radius, and the direction of the circle (three-dimensional direction).

点列データとしては１００〜１０００点であれば、モデル画像を作成するために充分である。ＣＡＤデータで表現されるデータは、一般的に点列データに変換可能である。またもともと点列データで表現された図形に対しては、問題なく適用できる。   If the point sequence data is 100 to 1000 points, it is sufficient to create a model image. Data expressed by CAD data can generally be converted into point sequence data. Also, it can be applied without problems to figures originally represented by point sequence data.

次に、本発明に係る画像データ作成方法の更に他の実施の形態（第３の実施形態）について説明する。既述の第１の実施形態においては、測定対象とする図形が長方形（直線で形成される図形）の場合を取り上げたが、本実施形態においては、測定対象とする図形が、２つの図形を組み合わせた場合を取り上げる。   Next, still another embodiment (third embodiment) of the image data creation method according to the present invention will be described. In the first embodiment described above, the case where the graphic to be measured is a rectangle (graphic formed by a straight line) has been taken up. However, in this embodiment, the graphic to be measured is two figures. Take the case of combination.

図１３に、直方体の２つの上面を投影変換して画像データを作成する状態を模式的に示す。図１３において、直方体１の上面と直方体２の上面の長方形がカメラ（ＣＣＤ）撮像面に投影されている。すなわち、図１３では、２つの長方形上のそれぞれ５点が、カメラ撮像位置の１点を通る直線で、カメラ撮像面に投影されている。   FIG. 13 schematically shows a state in which image data is created by projecting two upper surfaces of a rectangular parallelepiped. In FIG. 13, the rectangles of the upper surface of the rectangular parallelepiped 1 and the upper surface of the rectangular parallelepiped 2 are projected on the camera (CCD) imaging surface. That is, in FIG. 13, five points on each of the two rectangles are projected on the camera imaging surface with straight lines passing through one point of the camera imaging position.

撮像された図形（投影変換で作成された図形）を図１４に示す。初めに、下側の直方体２の上面について投影変換して画像が作成される。すなわち、図７のフローを実施する。この結果を灰色で表示する。   An imaged figure (a figure created by projection conversion) is shown in FIG. First, an image is created by projecting the upper surface of the lower rectangular parallelepiped 2. That is, the flow of FIG. 7 is performed. The result is displayed in gray.

次に、上側の直方体１の上面について投影変換して画像が作成される。すなわち、図７のフローを再度実施する。この結果を黒色で表示する。   Next, an image is created by projecting the upper surface of the upper rectangular parallelepiped 1. That is, the flow of FIG. 7 is performed again. This result is displayed in black.

既述の第１の実施形態においては、１つの画素の明るさを、１画素に含まれる台形の面積×２５５としていた。これに対し、本実施形態のように、２つの図形を投影する場合には、画像データ上での明るさの違いにより、図形を区別する必要がある。図１４に示されるように、中間の諧調で１つの図形を表すため、下側の図形の１画素の明るさを、１画素に含まれる下側台形の面積×１２７とし、上側の図形の１画素の明るさを、１画素に含まれる上側台形の面積×１２７＋１２８となるように変換する（図６と同様に、見やすくするため、明るさを反転している）。   In the first embodiment described above, the brightness of one pixel is the trapezoidal area contained in one pixel × 255. On the other hand, when projecting two graphics as in this embodiment, it is necessary to distinguish the graphics due to the difference in brightness on the image data. As shown in FIG. 14, in order to represent one figure with an intermediate gradation, the brightness of one pixel of the lower figure is set to the area of the lower trapezoid included in one pixel × 127, and 1 of the upper figure The brightness of the pixel is converted so as to be the area of the upper trapezoid included in one pixel × 127 + 128 (similar to FIG. 6, the brightness is inverted for easy viewing).

図１４では、中間の諧調（１２８段階の明るさ）を用いて２つの図形を組み合わせた画像を作成したが、実際の実行にあたっては、１２８段階の明るさの表示を変更することも必要となる場合がある。すなわち、上側の図形の明るさと下側の図形の明るさは、実施の条件にあわせて変更できるようにしておくことが好ましい。   In FIG. 14, an image in which two graphics are combined using intermediate gradation (128 levels of brightness) is created. However, in actual execution, it is necessary to change the display of 128 levels of brightness. There is a case. That is, it is preferable that the brightness of the upper figure and the brightness of the lower figure can be changed according to the conditions of implementation.

また、照明光がある場合には、下となる部分には必ず影ができることとなる。この影の大きさは、照明の条件により変わる。したがって、想定されるより大きめに影の領域を設定して、Don’t Care 画素とすることが好ましい。市販されている画像処理ソフトウエアで、Don’t Care 画素をサポートするものも多い。そのようなソフトウエアを使用すると、パターンマッチングでは、Don’t Care 画素はマッチング度合いの評価に反映されない。   In addition, when there is illumination light, a shadow is always formed on the lower part. The size of this shadow varies depending on the lighting conditions. Therefore, it is preferable to set a shadow area larger than assumed to be a Don't Care pixel. Many commercially available image processing software supports Don't Care pixels. When such software is used, in the pattern matching, the Don't Care pixel is not reflected in the evaluation of the matching degree.

図１５に、斜めハッチングでDon’t Care 画素を領域として示した。市販されている画像処理ソフトウエアでは、画像モデル登録用の画像データとDon’t Care 画素登録用の画像データとを別々に指定する必要がある。そのようなソフトウエアでは、図１４と図１５において、Don’t Care 画素領域のみの画像を用いればよい。   FIG. 15 shows Don't Care pixels as regions by diagonal hatching. In commercially available image processing software, it is necessary to separately specify image data for image model registration and image data for Don't Care pixel registration. In such software, the image of only the Don't Care pixel region in FIGS. 14 and 15 may be used.

本実施形態において、画像モデルの原点として、上側の直方体の上側長方形の中心点を用いるため、その点を投影変換し、図１４において白抜きの＋で示す。   In this embodiment, since the center point of the upper rectangular body of the upper rectangular parallelepiped is used as the origin of the image model, the point is projected and converted, and is indicated by white + in FIG.

本実施形態では、２つの図形が平行である（図１３に示されるように、２つの長方形が水平に位置している）が、２つの図形がそれぞれ勝手な方向を向いていても問題はない。すなわち、このような場合であっても、図７に示されるフローで画像データを作成できる。   In the present embodiment, the two figures are parallel (two rectangles are positioned horizontally as shown in FIG. 13), but there is no problem even if the two figures face each other. . That is, even in such a case, image data can be created by the flow shown in FIG.

なお、これまでの説明の際、図５、図１２、及び図１３において、撮像するカメラの光軸を描いたが、投影しようとする図形の法線方向とこの光軸との交差角度は３０度以内であることが望ましい。この交差角度は、２つの方向ベクトルから方向余弦を求めれば得られる。この方向ベクトルの向きを考慮すると、交差角度としては１５０〜１８０度の範囲が望ましい。これは、２行上で３０度以内の意味である。交差角度が９０度に近い角度となると、カメラの位置が少し変位しても、投影変換される図形の形が大きく変わるので、このような交差角度は好ましくない。   In the description so far, the optical axis of the camera to be imaged is drawn in FIGS. 5, 12, and 13, but the intersection angle between the normal direction of the figure to be projected and this optical axis is 30. It is desirable to be within degrees. This intersection angle can be obtained by obtaining a direction cosine from two direction vectors. Considering the direction of this direction vector, the crossing angle is preferably in the range of 150 to 180 degrees. This means within 30 degrees on two lines. When the intersection angle is close to 90 degrees, even if the camera position is slightly displaced, the shape of the figure to be projected and changed greatly changes, and such an intersection angle is not preferable.

なお、本実施形態において、２つの図形のみならず、図形を３つ以上にすることも容易に行えるが、３つ以上の図形の場合には、以下に記述する第４の実施形態の方が簡単に対応できる。   In this embodiment, not only two figures but also three or more figures can be easily formed. However, in the case of three or more figures, the fourth embodiment described below is more suitable. It can be easily handled.

次に、本発明に係る画像データ作成方法の更に他の実施の形態（第４の実施形態）について説明する。本実施形態は、画像モデルを線図形とする例である。既述の第１の実施形態から第３の実施形態までは、作成された画像データを直接画像モデルとして使用した。これに対し、本実施形態では、作成された画像データから、再度図形としての特徴を線として抽出し、線図形をパターンマッチングのモデルとして使用する。   Next, still another embodiment (fourth embodiment) of the image data creation method according to the present invention will be described. The present embodiment is an example in which the image model is a line figure. From the first embodiment to the third embodiment described above, the created image data is directly used as an image model. On the other hand, in this embodiment, the feature as a figure is extracted again as a line from the created image data, and the line figure is used as a pattern matching model.

先ず、既述の図１４の画像データを使用して、図１６（右側）に示されるように、図形の特徴を線として抽出する。そして、図１６（左側）に示す線図形をパターンマッチングのモデルとして用いる。図１６において左側の図と右側の図の差異は、図形の四隅位置における画素の取り扱い方によるものである。   First, as shown in FIG. 16 (right side), the feature of the figure is extracted as a line using the image data of FIG. 14 described above. Then, the line figure shown in FIG. 16 (left side) is used as a pattern matching model. In FIG. 16, the difference between the diagram on the left side and the diagram on the right side is due to how pixels are handled at the four corner positions of the figure.

既述の図１４の画像データでは、１画素が最小単位である。この１画素において、ある一定の方向と画素内での位置で特徴線の位置を記述すると、図１６の左側の図形となる。一方、図１４の画像データを微分して直接得られる形状は、図１６の右側の図形である。なお、四隅位置の画素では２方向となるが、このような画像処理は、複雑になるので好ましくない。そのため、図１６の両方の図形を示した。   In the image data of FIG. 14 described above, one pixel is the minimum unit. If the position of the feature line is described in a certain direction and the position in the pixel in this one pixel, the figure on the left side of FIG. 16 is obtained. On the other hand, the shape directly obtained by differentiating the image data in FIG. 14 is the right-hand shape in FIG. It should be noted that although there are two directions for the pixels at the four corner positions, such image processing is not preferable because it becomes complicated. Therefore, both figures in FIG. 16 are shown.

本実施形態において、線図形をパターンマッチングのモデルに使用するには、たとえばＣＯＧＮＥＸ社から市販されているソフトウエア（商品名：ＰＡＴＭＡＸ）によるサポートで実施できる。この場合、図１４をモデル画像として設定すると、図１６（左側）で示される図形がモデルとして作成される。上記のソフトウエア（ＰＡＴＭＡＸ）では、モデル設定方法を変更（これには、プログラムを変更する必要がある）するだけで、図１４のような画像モデルと図１６（左側）のような線図形モデルとを使い分けることができる。   In this embodiment, in order to use a line figure for a pattern matching model, for example, it can be implemented with support by software (trade name: PATMAX) commercially available from COGNEX. In this case, when FIG. 14 is set as a model image, the graphic shown in FIG. 16 (left side) is created as a model. In the above software (PATMAX), the image model as shown in FIG. 14 and the line figure model as shown in FIG. 16 (left side) can be obtained simply by changing the model setting method (this requires a program change). And can be used properly.

このように、画像モデルを線図形とした場合のメリットについては、ＣＯＧＮＥＸ社の資料に詳しいので、説明は省略する。   As described above, since the merit in the case where the image model is a line figure is detailed in the document of COGNEX, description thereof is omitted.

本実施形態において、画像モデルを線図形とした例を取り上げたのは、対象図形を３つ以上の図形とした場合にも容易に対応できるからである。既述の第３の実施形態で説明したように、３つ以上の図形を投影変換するには、それぞれの図形に対応した明るさを決めなければならない。対象物上で３つの図形それぞれの明るさが画像データとして充分に識別できるときには、第３の実施形態と同じやり方でよい結果が得られる。   In the present embodiment, the example in which the image model is a line figure is taken because it is possible to easily cope with a case where the target figure is three or more figures. As described in the third embodiment, in order to project and convert three or more figures, the brightness corresponding to each figure must be determined. When the brightness of each of the three figures on the object can be sufficiently identified as image data, good results can be obtained in the same manner as in the third embodiment.

しかし、傾きや方向の異なる図形では、同一図形上でも明るさが少しづつ変化する場合がある。そのような場合には、形状がほぼ同じでも、明るさ分布が異なることとなる。そして、明るさ分布が異なると、パターンマッチングのスコアは低下することとなる（画像として合致しないこととなる）。   However, in the case of graphics with different inclinations and directions, the brightness may change little by little even on the same graphic. In such a case, even if the shape is almost the same, the brightness distribution is different. If the brightness distribution is different, the pattern matching score decreases (the image does not match).

３つ以上の図形を用いて投影変換により画像データを作成する場合、それぞれの図形に対する諧調の違いは小さくなる。図１６（左側）の線図形は、画像データにおいて大きな諧調差がなくても、フィルター等で強調すれば得られる。そして線図形の画像モデルを用いると、形がほぼ同じで、明るさ分布が違う場合でも、良好な結果が得られる。図１６左側に示されるような線図形だけで、パターンマッチングを実施できると、作成された画像データの生の明るさは反映しない。したがって、本実施形態は、このような場合に、メリットがある。   When image data is created by projection conversion using three or more figures, the difference in gradation for each figure becomes small. The line figure in FIG. 16 (left side) can be obtained by emphasizing with a filter or the like even if there is no large gradation difference in the image data. When a line figure image model is used, good results can be obtained even when the shape is substantially the same and the brightness distribution is different. If pattern matching can be performed using only the line figure as shown on the left side of FIG. 16, the raw brightness of the created image data is not reflected. Therefore, this embodiment is advantageous in such a case.

次に、本発明に係る画像データ作成方法の更に他の実施の形態（第５の実施形態）について説明する。本実施形態は、構造物の外形を線図形画像モデルとする例である。既述の第４の実施形態では、線図形を画像モデルとする場合についての例を示したが、本実施形態では、構造物の外形を線図形画像モデルとする場合について説明する。   Next, still another embodiment (fifth embodiment) of the image data creation method according to the present invention will be described. This embodiment is an example in which the outer shape of a structure is a line figure image model. In the above-described fourth embodiment, an example in which a line figure is used as an image model has been described. However, in the present embodiment, a case where the outline of a structure is used as a line figure image model will be described.

構造物として図１７に、四面体を例として取り上げる。図１７に示されるように３次元ＣＡＤでは、四面体を構成する４つの平面の方向（各頂点の座標）は、設計データとして与えることができる。図１７において、四面体の頂点をＡ、Ｂ、Ｃ、及びＤとし、四面体の重心位置をＥとする。また四面体の４つの三角形の方向ベクトル（平面の法線ベクトル）が図１７に矢印で示されている。   As a structure, a tetrahedron is taken as an example in FIG. As shown in FIG. 17, in the three-dimensional CAD, the directions of the four planes (coordinates of each vertex) constituting the tetrahedron can be given as design data. In FIG. 17, the vertices of the tetrahedron are A, B, C, and D, and the center of gravity of the tetrahedron is E. Further, the direction vectors (plane normal vectors) of the four triangles of the tetrahedron are shown by arrows in FIG.

図１７において、撮像方向ベクトルと四面体の平面方向ベクトルとの交角が９０度より大きい平面のみが、四面体の外形データとしてモデル画像に寄与する。図１７の場合には、三角形ＡＢＤと三角形ＡＤＣの２つが寄与する。撮像方向ベクトルと平面方向ベクトルとの交角はベクトルの内積を用いて簡単に算出できる。   In FIG. 17, only the plane in which the intersection angle between the imaging direction vector and the plane direction vector of the tetrahedron is larger than 90 degrees contributes to the model image as the tetrahedron outline data. In the case of FIG. 17, two of triangle ABD and triangle ADC contribute. The intersection angle between the imaging direction vector and the plane direction vector can be easily calculated using the inner product of the vectors.

先ず、構造物を形成する４つの図形を順番に呼び出し、図７で示された画像データ作成のフローを実施する。画像データ作成の前に、撮像方向ベクトルとこの図形の平面方向ベクトルとの角度を計算し、該当しない場合には、画像データ作成のプロセスをパスする。図１８にこのようにして作成される画像データを示す。   First, the four figures forming the structure are called in order, and the image data creation flow shown in FIG. 7 is performed. Before the image data creation, the angle between the imaging direction vector and the plane direction vector of this figure is calculated. If not, the image data creation process is passed. FIG. 18 shows the image data created in this way.

平面図形の方向ベクトルを用いて、画像データ作成プロセスをパスするか否か既に決めてあるので、図７の画像データ作成フローの「画素の明るさの決定」（ステップＳ−１８）において当該画素に寄与するすべての図形からの面積を加え合わせれば、このフローを実行できる。   Since it has already been determined whether or not to pass the image data creation process using the direction vector of the plane figure, the pixel concerned in the “determination of pixel brightness” (step S-18) in the image data creation flow of FIG. This flow can be executed if the areas from all the figures that contribute to are added together.

図１８の画像データは、１画素より細かい図形データを示しているが、図６の説明で記述したように解釈する。すなわち、投影変換を用いた画像作成方法を説明するため、図１８においては、１画素より細かい図形を描いてある
既述の第２の実施形態では、２つの図形を明るさで識別したが、本実施形態においては、明るさで識別（区別）しない。図１８の画像データから線図形を抽出すると、図１６の説明で記述したように、四つの頂点については２方向になるので、特徴線分を使用しない。なおＣＯＧＮＥＸ社のソフトウエアでは、この点を特別に処理しなくてよい。また、本実施形態においては、四面体の重心位置を画像モデルの原点とする。この四面体の重心座標を投影変換して画像データ上に示す（図１８に白抜きの＋で示す）。 The image data in FIG. 18 shows graphic data finer than one pixel, but is interpreted as described in the explanation of FIG. That is, in order to explain an image creation method using projection transformation, in FIG. 18, a figure finer than one pixel is drawn. In the second embodiment described above, two figures are identified by brightness. In this embodiment, it is not identified (differentiated) by brightness. When a line figure is extracted from the image data of FIG. 18, as described in the explanation of FIG. 16, the four vertices are in two directions, and thus feature line segments are not used. Note that the COGNEX software does not need to deal with this point specially. In this embodiment, the center of gravity of the tetrahedron is set as the origin of the image model. The center of gravity coordinates of this tetrahedron are projected and converted and shown on the image data (indicated by white + in FIG. 18).

図１８に示される画像モデルは、ステレオ光学系で対象物の３次元測定する場合に有効である。四面体の重心位置は、通常の画像処理では測定できないが、本発明の画像モデルを用いて、撮像点の異なる２つ以上の画像データをサーチして（それぞれの画像でモデル画像を別々に作成・登録して）、その結果から直接対象物の３次元座標を得ることができる。すなわち、３次元座標値をサーチ結果から直接算出できる。このような画像モデルを用いると、直接見えない点（位置）の測定も実施できる。   The image model shown in FIG. 18 is effective when three-dimensionally measuring an object with a stereo optical system. The position of the center of gravity of the tetrahedron cannot be measured by normal image processing, but using the image model of the present invention, two or more image data with different imaging points are searched (a model image is created separately for each image). (Register) and the 3D coordinates of the object can be obtained directly from the result. That is, the three-dimensional coordinate value can be directly calculated from the search result. By using such an image model, it is possible to measure a point (position) that is not directly visible.

次に、カメラの撮像位置パラメータについて図１９により説明する。この説明は、一部で既述の図２０の説明と重複する。カメラの撮像位置パラメータとしては、カメラ撮像位置（Ｘc、 Ｙc、 Ｚc）、カメラ撮像の方向（Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度：Ｒx、Ｒy、Ｒz）、主点位置（画像データの中心点とカメラ光軸との差異Ｘo、Ｙo）及びカメラ焦点距離（ｆ）の９つを用いる。   Next, the imaging position parameters of the camera will be described with reference to FIG. This description partially overlaps the description of FIG. 20 described above. The camera imaging position parameters include camera imaging position (Xc, Yc, Zc), camera imaging direction (rotation angle around X axis, rotation angle around Y axis, rotation angle around Z axis: Rx, Ry, Rz) ), Nine principal point positions (difference Xo, Yo between the center point of the image data and the camera optical axis) and the camera focal length (f) are used.

これらの９つのパラメータは、基準とする座標系で３次元位置が既知である点を、撮像して得られた画像データ上で精密に測定すれば、公知の文献（たとえば、「写真による三次元測定（1983年共立出版）」）に基づいた式から算出できる。この場合、画像データ上の位置（画像データ上での座標）と３次元座標が既知である点を５点以上測定すればよい（３次元的に配置する必要あり）。   These nine parameters can be obtained from known documents (for example, “three-dimensional by photography” if a point whose three-dimensional position is known in the reference coordinate system is accurately measured on the image data obtained by imaging. It can be calculated from a formula based on measurement (1983 (Kyoritsu Shuppan)). In this case, it is only necessary to measure five or more points (positions on the image data) where the position on the image data (coordinates on the image data) and the three-dimensional coordinates are known (need to be arranged in three dimensions).

図１９に、カメラ撮像位置パラメータのキャリブレーション方法を概念的に示す。図１９では、座標系を決める面を基準面とし、その面に平行に第二基準面、第三基準面を設け、これら３つの面上に座標が既知の点９点を配置した。これらの９点は、図１９において直線で示されるように、画像データ上に撮像される。これらの９点の画像座標を精密に測定すれば、カメラ撮像位置パラメータが得られる。   FIG. 19 conceptually shows a camera imaging position parameter calibration method. In FIG. 19, a plane that determines the coordinate system is used as a reference plane, a second reference plane and a third reference plane are provided in parallel with the plane, and nine points with known coordinates are arranged on these three planes. These nine points are imaged on the image data as indicated by straight lines in FIG. If the image coordinates of these nine points are precisely measured, camera imaging position parameters can be obtained.

この測定の精度を高めるためには、当然のことであるが、３次元座標が正確であること、すなわち、３次元座標を精密に測定すること、及び画像データ上で精密に測定すること（目安としては１／１０画素より高い測定を行うこと）が必要である。また、測定点数を増やすこと、及び３次元的に測定点を分布させることも必要である。   In order to increase the accuracy of this measurement, it is natural that the three-dimensional coordinates are accurate, that is, the three-dimensional coordinates must be measured accurately and measured on the image data (standard). It is necessary to perform measurement higher than 1/10 pixel. It is also necessary to increase the number of measurement points and distribute the measurement points three-dimensionally.

また必要により光学系の歪みも補正することが好ましい。歪みを補正する方法、パラメータについても、１例が既述の公知文献に記述されている。そして、本発明の各実施形態を実施する前に、カメラの撮像位置パラメータをキャリブレーションしておくことが必要である。   It is also preferable to correct the distortion of the optical system as necessary. An example of the method and parameters for correcting distortion is described in the above-mentioned publicly known literature. And before implementing each embodiment of this invention, it is necessary to calibrate the imaging position parameter of a camera.

以上説明したように、本発明によれば、投影歪みの影響を取り入れた画像モデルを作成できる。斜め方向から撮像された画像データは必ず投影歪みがあるので、本発明は斜め方向から撮像された画像データをパターンマッチングするのに大変有効となる。ＣＡＤデータを読み取れるように画像処理システムを整えておけば、測定を実施しようとするときに、ＣＡＤデータから画像モデルを作成できる。   As described above, according to the present invention, it is possible to create an image model incorporating the influence of projection distortion. Since image data captured from an oblique direction always has a projection distortion, the present invention is very effective for pattern matching image data captured from an oblique direction. If an image processing system is prepared so that the CAD data can be read, an image model can be created from the CAD data when the measurement is to be performed.

また３次元測定を実施するためのステレオ画像処理システムでは、ステレオ光学系の一方または、両方とも斜め方向から撮像することとなるので、本発明は大変有効な手段となる。   In a stereo image processing system for performing three-dimensional measurement, one or both of the stereo optical systems capture images from an oblique direction, so the present invention is a very effective means.

以上、本発明に係る画像データ作成方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各種の態様が採り得る。   As mentioned above, although embodiment of the image data creation method which concerns on this invention was described, this invention is not limited to the said embodiment, Various aspects can be taken.

ステレオ光学系で長方形を撮像した状態を説明する概念図Conceptual diagram explaining the state of imaging a rectangle with a stereo optical system ステレオ光学系で長方形を撮像した他の状態を説明する概念図Conceptual diagram explaining another state of imaging a rectangle with a stereo optical system 斜め方向から円を撮像した状態を説明する概念図Conceptual diagram explaining the state of imaging a circle from an oblique direction 対象物を撮像しカメラの位置を少し移動させた状態を説明する概念図Conceptual diagram illustrating a state in which the object is imaged and the camera position is slightly moved 斜め方向から直方体を撮像する状態を説明する断面図Sectional drawing explaining the state which images a rectangular parallelepiped from an oblique direction 撮像される直方体の上面の長方形を模式的に示す図The figure which shows typically the rectangle of the upper surface of the rectangular parallelepiped imaged 画像データ作成の処理フローを示す図The figure which shows the processing flow of image data creation 各画素における図形の面積を求める方法について説明する図The figure explaining the method of calculating | requiring the area of the figure in each pixel 着目する点が四辺形の内部に含まれるか否かを調べる方法について説明する図The figure explaining the method of investigating whether the point of interest is included in the inside of the quadrilateral 線分と線分との交点の有り無しの判定について説明する図The figure explaining the judgment of the existence of the intersection of a line segment and a line segment 線分と線分とが重なる場合について説明する図The figure explaining the case where a line segment and a line segment overlap 斜め方向から曲線図形を撮像する状態を説明する図The figure explaining the state which picturizes a curve figure from the diagonal direction 直方体の２つの上面を投影変換して画像データを作成する状態を模式的に示す図The figure which shows typically the state which projects and converts the two upper surfaces of a rectangular parallelepiped, and produces image data 撮像される直方体の上面の複数の長方形を模式的に示す図The figure which shows typically the several rectangle of the upper surface of the rectangular parallelepiped imaged 撮像される直方体の上面の影となる部分を模式的に示す図The figure which shows typically the part which becomes a shadow of the upper surface of the rectangular parallelepiped imaged 線図形をパターンマッチングのモデルとして使用する状態を説明する図The figure explaining the state which uses a line figure as a model of pattern matching 構造物の外形を線図形画像モデルとする場合について説明する図The figure explaining the case where the outline of a structure is made into a line figure image model 構造物の外形を線図形画像モデルとする場合について説明する図The figure explaining the case where the outline of a structure is used as a line figure image model カメラの撮像位置パラメータについて説明する図The figure explaining the imaging position parameter of a camera 投影変換の原理について説明する図Diagram explaining the principle of projection transformation

Claims (7)

パターンマッチングのための対象図形の画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、
前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、該カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記画像データを作成することを特徴とする画像データ作成方法。 An image data creation method in which each pixel is created as image data having each brightness without actually capturing image data of a target graphic for pattern matching with an imaging camera ,
In order to obtain image data of a projected image projected on the imaging surface of the imaging camera when the target figure and its periphery are imaged by an imaging camera provided at a predetermined position, the imaging position parameter of the camera is used. When obtaining the projected image data by projecting and transforming the object graphic and its periphery onto the imaging plane , the object graphic is used as point sequence data, and the point sequence data is projected and transformed onto the image. In the form of point sequence data, a range of image data projected from the point sequence data on the image is determined, and in each pixel in the determined range, pixels that are inside the target configuration, Identify pixels that are external to the target graphic and pixels that share some points with the target graphic, and that are predetermined for pixels that are internal to the target graphic and pixels that share some points with the target graphic. Satisfy the condition Are extracted, the extracted points are rearranged clockwise, the area of the target graphic at each pixel is obtained using the rearranged points, and the brightness of each pixel is determined according to the obtained area. image data generating method characterized by generating the image data by. パターンマッチングのための対象図形の画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、
ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた撮像カメラで撮像した際に該撮像カメラの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記画像データを作成することを特徴とする画像データ作成方法。 An image data creation method in which each pixel is created as image data having each brightness without actually capturing image data of a target graphic for pattern matching with an imaging camera ,
In order to obtain image data of a projected image projected on the imaging surface of the imaging camera when the object graphic having CAD data and the periphery thereof are imaged by an imaging camera provided at a predetermined position, the CAD data and the When obtaining the image data obtained by projecting and transforming the target figure and its periphery onto the imaging plane using the imaging position parameter of the imaging camera, the target figure is used as point sequence data, and the point sequence data is converted into an image. Projection conversion is performed to form the point sequence data on the image, the range of the image data projected from the point sequence data on the image is determined, and in each pixel within the determined range, Identify pixels that are inside the target graphic, pixels that are outside the target graphic, and pixels that share some points with the target graphic, and pixels that are inside the target graphic and part of the target graphic of Points that satisfy a predetermined condition in pixels that share the same, rearrange the extracted points clockwise, determine the area of the target figure in each pixel using the rearranged points, and determine the calculated area An image data creation method, wherein the image data is created by determining the brightness of each pixel according to the method. 前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、
該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことを特徴とする請求項２に記載の画像データ作成方法。 As the CAD data of the target graphic, it has specific position data of the target graphic,
3. The image data generation method according to claim 2, wherein a specific position of the target graphic is used as a reference position and is associated with the image data subjected to the projection conversion. パターンマッチングのための対象図形のステレオ光学系を使用して３次元測定を目的とした画像である３次元画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、
前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記それぞれの結像面上に投影変換し投影変換された画像データにより前記対象図形の前記３次元画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記３次元画像データを作成することを特徴とする画像データ作成方法。 An image in which each pixel has its own brightness without actually capturing 3D image data, which is an image intended for 3D measurement, using a stereo optical system of an object graphic for pattern matching. an image data creation method of creating a data,
In order to obtain image data of a projection image projected on each imaging plane of the imaging camera when the target figure and the periphery thereof are imaged by a plurality of imaging cameras provided at predetermined positions, When obtaining the three-dimensional image data of the target graphic from the image data obtained by projecting and converting the target graphic and its periphery onto the respective imaging planes using the respective imaging position parameters , As point sequence data, the point sequence data is projected on the image to form the point sequence data on the image, the range of the image data to be projected of the target graphic is determined from the point sequence data on the image, In each pixel within the determined range, a pixel that is inside the target graphic, a pixel that is outside the target graphic, and a pixel that shares some points with the target graphic are identified, and the target graphic A point that satisfies a predetermined condition is extracted in an internal pixel and a pixel that shares some points with the target graphic, the extracted points are rearranged clockwise, and each pixel is used using the rearranged points. A method of creating image data, wherein the three-dimensional image data is created by obtaining an area of the target graphic in step (b) and determining brightness of each pixel according to the obtained area . パターンマッチングのための対象図形のステレオ光学系を使用して３次元測定を目的とした画像である３次元画像データを撮像カメラで実際に撮像することなしに、各画素がそれぞれの明度を有する画像データとして作成する画像データ作成方法であって、
ＣＡＤデータを有する前記対象図形及びその周縁を所定位置に設けられた複数台の撮像カメラで撮像した際に該撮像カメラのそれぞれの結像面に投影される投影画像の画像データを得るために、前記ＣＡＤデータと該撮像カメラのそれぞれの撮像位置パラメータを用いて前記対象図形及びその周縁を前記結像面上に投影変換し投影変換された画像データにより前記対象図形の前記３次元画像データを得る際、前記対象図形を点列データとし、該点列データを画像上に投影変換して画像上の点列データの形にして、前記画像上の点列データから前記対象図形の投影される画像データの範囲を決め、前記決められた範囲内の各画素において、前記対象図形の内部となる画素、前記対象図形の外部となる画素、及び前記対象図形と一部の点を共有する画素を識別し、前記対象図形の内部となる画素及び前記対象図形と一部の点を共有する画素において所定の条件を満たす点を抽出し、該抽出した点を時計回りに並べ替え、該並べ替えた点を用いて前記各画素における前記対象図形の面積を求め、該求めた面積に応じて前記各画素の明度を決定することにより前記３次元画像データを作成することを特徴とする画像データ作成方法。 An image in which each pixel has its own brightness without actually capturing 3D image data, which is an image intended for 3D measurement, using a stereo optical system of an object graphic for pattern matching. an image data creation method of creating a data,
In order to obtain image data of a projection image projected on each imaging plane of the imaging camera when the object graphic having CAD data and its peripheral edge are imaged by a plurality of imaging cameras provided at predetermined positions, Using the CAD data and the respective imaging position parameters of the imaging camera, the target figure and its periphery are projected and converted onto the imaging plane, and the three-dimensional image data of the target figure is obtained from the projected and converted image data. In this case, the target graphic is set as point sequence data, and the point sequence data is projected and converted onto an image to form the point sequence data on the image, and the target graphic is projected from the point sequence data on the image. A range of data is determined, and each pixel within the determined range shares a pixel inside the target graphic, a pixel outside the target graphic, and some points with the target graphic. Identifying pixels, extracting points satisfying a predetermined condition in pixels inside the target graphic and pixels sharing some points with the target graphic, rearranging the extracted points clockwise, Image data characterized in that the three-dimensional image data is created by determining the area of the target graphic at each pixel using the replaced point and determining the brightness of each pixel according to the determined area How to make. 前記対象図形のＣＡＤデータとして、該対象図形の特定位置データを有し、
該対象図形の特定位置を基準位置として、前記投影変換された画像データと関係付けておくことを特徴とする請求項５に記載の画像データ作成方法。 As the CAD data of the target graphic, it has specific position data of the target graphic,
6. The image data generation method according to claim 5, wherein a specific position of the target graphic is used as a reference position and is associated with the projection-converted image data. 前記所定の条件を満たす点とは、各画素の辺と前記点列を結ぶ線分との交点、各画素に含まれる点列及び前記対象図形の内部にある各画素の四隅の点のいずれかであることを特徴とする請求項１または２に記載の画像データ作成方法。 The point satisfying the predetermined condition is any of an intersection of a side of each pixel and a line segment connecting the point sequence, a point sequence included in each pixel, and four corner points of each pixel inside the target graphic. image data generating method according to claim 1 or 2, characterized in that.

Images