JP2017156968A - Information processing device, information processing method, program - Google Patents
Information processing device, information processing method, program Download PDFInfo
- Publication number
- JP2017156968A JP2017156968A JP2016039356A JP2016039356A JP2017156968A JP 2017156968 A JP2017156968 A JP 2017156968A JP 2016039356 A JP2016039356 A JP 2016039356A JP 2016039356 A JP2016039356 A JP 2016039356A JP 2017156968 A JP2017156968 A JP 2017156968A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- model
- information
- reference distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、被計測物体の位置姿勢を計測するための、形状モデルと画像特徴とを対応付けを行う方法に関する。 The present invention relates to a method for associating a shape model with an image feature for measuring the position and orientation of an object to be measured.
物体の位置姿勢を非接触で推定する技術の一つとして、被計測物体の形状モデルと被計測物体を観測した画像における物体像との差が小さくするように形状モデルの位置姿勢を推定する技術が知られている。この技術は、モデルフィッティングと呼ばれ、ロボットによる部品のビンピッキング等、不特定の位置姿勢に置かれた部品（被計測物体）をビジョンセンサにより位置姿勢を計測する場合等において利用される。 As a technique for estimating the position and orientation of an object without contact, a technique for estimating the position and orientation of a shape model so that the difference between the shape model of the measured object and the object image in the image of the measured object is reduced It has been known. This technique is called model fitting, and is used when the position and orientation of a part (object to be measured) placed at an unspecified position and orientation is measured by a vision sensor, such as bin picking of a part by a robot.
モデルフィッティングでは、形状モデルを構成する各幾何特徴毎に、観測された画像中に含まれる画像特徴との対応付けを行い、形状モデルの幾何特徴と画像特徴との差を計算する。そして、その差が小さくなるように被計測物体の位置及び姿勢を表す非線形パラメータを繰り返し推定する。ここで、モデルフィッティングにおける対応付け処理は、処理する幾何特徴のデータ量によっては探索処理量が膨大となるため、高速かつ効率的に対応付け処理を行う技術が要求されている。 In model fitting, each geometric feature constituting the shape model is associated with an image feature included in the observed image, and a difference between the geometric feature of the shape model and the image feature is calculated. Then, the non-linear parameter representing the position and orientation of the measured object is repeatedly estimated so that the difference becomes small. Here, associating processing in model fitting requires a search processing amount to be enormous depending on the amount of geometric feature data to be processed. Therefore, a technique for performing the associating processing quickly and efficiently is required.
特許文献１には、画像特徴としてエッジを利用した場合の形状モデルと画像特徴の対応付けを高速に行う方法が開示されている。この方法では、注目画素から距離が最短となるエッジまでの符号付き距離値を各画素に格納した符号付き距離場をあらかじめ生成し、形状モデルと画像特徴の対応探索時に、その符号付き距離場を参照することにより、高速に最近傍探索を行っている。 Japanese Patent Application Laid-Open No. 2004-133867 discloses a method for performing a high-speed association between a shape model and an image feature when an edge is used as an image feature. In this method, a signed distance field in which a signed distance value from the target pixel to the edge with the shortest distance is stored in each pixel is generated in advance, and the signed distance field is calculated when searching for correspondence between the shape model and the image feature. By referencing, the nearest neighbor search is performed at high speed.
しかしながら、特許文献１の方法では、モデルのエッジ点（幾何特徴）の位置に対して、画像上で単純に最近傍となるエッジ特徴（画像特徴）を対応付ける手法であり、モデルエッジ点の法線方向を考慮していない。そのため、対応付けの結果に誤りを多く含み、対応付け精度が低くなるという課題がある。 However, the method of Patent Document 1 is a method of simply associating an edge feature (image feature) that is the nearest neighbor on the image with the position of the model edge point (geometric feature). Does not consider the direction. Therefore, there are problems that the result of association includes many errors and the accuracy of association becomes low.
本発明は、以上の課題を鑑みてなされたものであり、モデル特徴と画像特徴とを高速かつ安定的に対応付け、精度よく物体の位置姿勢を推定することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to accurately associate a model feature with an image feature at high speed and estimate the position and orientation of an object with high accuracy.
上記課題を解決するために、本願発明の情報処理装置は、例えば、物体のモデル情報を保持するモデル保持手段と、前記物体を含む画像を取得する画像取得手段と、前記画像から前記物体を表す画像特徴を検出する特徴検出手段と、前記モデル情報を構成するモデル特徴の方向に基づいて、第１の方向における前記検出された画像特徴までの距離を格納した第１の参照距離情報と、前記第１の方向と異なる第２の方向における前記検出された画像特徴までの距離を格納した第２の参照距離情報とのうち、いずれかの参照距離情報を選択する選択手段と、前記選択手段により選択された参照距離情報と、前記座標変換手段により変換したモデル特徴の位置とに基づいて、前記モデル特徴に対応する画像特徴を対応付ける対応付け手段と、前記対応付け手段により対応付けられた結果に基づいて、前記物体の位置姿勢を導出する導出手段とを備える。 In order to solve the above problems, an information processing apparatus according to the present invention represents, for example, a model holding unit that holds model information of an object, an image acquisition unit that acquires an image including the object, and the object from the image Feature detection means for detecting an image feature; first reference distance information storing a distance to the detected image feature in a first direction based on a direction of the model feature constituting the model information; Selecting means for selecting any reference distance information out of second reference distance information storing a distance to the detected image feature in a second direction different from the first direction; and An association means for associating an image feature corresponding to the model feature based on the selected reference distance information and the position of the model feature transformed by the coordinate transformation means; Based on the result corresponding the marked section, and a derivation unit that derives the position and orientation of said object.
本発明により、モデル特徴と画像特徴とを高速かつ安定的に対応付けることができ、精度よく物体の位置姿勢を推定することができる。 According to the present invention, model features and image features can be associated with each other quickly and stably, and the position and orientation of an object can be estimated with high accuracy.
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
まず、本発明の各実施形態の詳細について説明する前に、各実施形態の情報装置のハードウェア構成について、図９を参照して説明する。同図において、ＣＰＵ９１０は、バス９００を介して接続する各デバイスを統括的に制御する。ＣＰＵ９１０は、読み出し専用メモリ（ＲＯＭ）９２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ９２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）９３０に一時記憶され、ＣＰＵ９１０によって適宜実行される。また、入力Ｉ／Ｆ９４０は、外部の装置（撮像装置など）から画像を情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ９５０は、外部装置に、該外部装置が処理可能な形式で、対応付けされた特徴などを出力信号として出力する。 First, before describing the details of each embodiment of the present invention, the hardware configuration of the information device of each embodiment will be described with reference to FIG. In the figure, a CPU 910 comprehensively controls devices connected via a bus 900. The CPU 910 reads and executes processing steps and programs stored in a read-only memory (ROM) 920. In addition to the operating system (OS), each processing program, device driver, and the like according to the present embodiment are stored in the ROM 920, temporarily stored in a random access memory (RAM) 930, and appropriately executed by the CPU 910. The input I / F 940 inputs an image from an external device (such as an imaging device) as an input signal in a format that can be processed by the information processing device 1. Further, the output I / F 950 outputs, as an output signal, a feature associated with the external device in a format that can be processed by the external device.
［実施形態１］
本実施形態では、本発明の情報処理装置及びその方法を、被計測物体の３次元形状モデルと画像中のエッジ特徴とに基づくモデルフィッティングにおける、３次元形状モデル中のモデルエッジ点と入力画像から検出したエッジ特徴とを対応付ける方法に適用した場合について説明する。
[Embodiment 1]
In the present embodiment, the information processing apparatus and method according to the present invention are obtained from a model edge point in a three-dimensional shape model and an input image in model fitting based on a three-dimensional shape model of an object to be measured and an edge feature in the image. A case where the method is applied to a method of associating detected edge features will be described.
本実施形態では、あらかじめ設定した探索方向の数だけ、探索方向を限定した符号付き距離場（以後、方向別符号付き距離場と称する）を複数生成する。そして、方向別符号付き距離場の中から、モデルエッジ点の画像上における法線方向に近い方向別符号付き距離場を選択して参照することで、モデルエッジ点の法線方向に対して最近傍となるエッジ特徴を参照する。これにより、対応付け精度の高い最近傍探索処理を高速に行うことが可能となる。モデルフィッティングを行うことで、被測定物体の位置姿勢の推定を行う利用例が挙げられる。 In the present embodiment, a plurality of signed distance fields (hereinafter referred to as direction-specific signed distance fields) are generated by limiting the number of search directions by the number of preset search directions. Then, by selecting and referencing a direction-specific signed distance field that is close to the normal direction on the model edge point image from the direction-specific signed distance field, Refers to neighboring edge features. As a result, it is possible to perform the nearest neighbor search process with high matching accuracy at high speed. An example of using the model fitting to estimate the position and orientation of an object to be measured is given.
次に、図１を参照して、本実施形態における情報処理装置１の機能構成を説明する。図１に示すように、情報処理装置１は、画像取得部１１０、形状モデル保持部１２０、特徴検出部１３０、方向別参照マップ生成部１４０、座標変換部１５０、方向別参照マップ選択部１６０、対応付け部１７０、残差算出部１８０、位置姿勢導出部１９０を備えている。 Next, a functional configuration of the information processing apparatus 1 in the present embodiment will be described with reference to FIG. As illustrated in FIG. 1, the information processing apparatus 1 includes an image acquisition unit 110, a shape model holding unit 120, a feature detection unit 130, a direction-specific reference map generation unit 140, a coordinate conversion unit 150, a direction-specific reference map selection unit 160, An association unit 170, a residual calculation unit 180, and a position / orientation derivation unit 190 are provided.
これらの各機能部は、上記説明した図９におけるＣＰＵ９１０が、ＲＯＭ９２０に格納されたプログラムをＲＡＭ９３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ９１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。 Each of these functional units is realized by the CPU 910 in FIG. 9 described above expanding the program stored in the ROM 920 in the RAM 930 and executing processing according to each flowchart described later. Further, for example, when hardware is configured as an alternative to software processing using the CPU 910, arithmetic units and circuits corresponding to the processing of each functional unit described here may be configured.
また、情報処理装置１は、外部の撮像装置１０に接続されている。撮像装置１０は、通常の画像を撮影するカメラである。撮影される画像は濃淡画像であってもよいしカラー画像であってもよい。また、各画素が奥行きの情報を持つ距離画像であってもよい。被計測物体の像が得られる限り、撮影される画像に制限はなく、いかなる画像を用いてもよい。本実施形態では撮像装置１０は各画素に輝度値が格納された濃淡画像を撮像するカメラであり、濃淡画像を出力するものとする。また、本実施形態における撮像装置１０の、焦点距離や主点位置、レンズ歪みパラメータなどの内部パラメータは、使用する機器の仕様を参照するか、または、以下の文献で開示される方法によって事前にキャリブレーションしておく。 The information processing apparatus 1 is connected to an external imaging apparatus 10. The imaging device 10 is a camera that captures a normal image. The captured image may be a gray image or a color image. Further, each pixel may be a distance image having depth information. As long as an image of the object to be measured is obtained, there is no limitation on the captured image, and any image may be used. In the present embodiment, the imaging device 10 is a camera that captures a grayscale image in which a luminance value is stored in each pixel, and outputs a grayscale image. Further, the internal parameters of the imaging apparatus 10 according to the present embodiment such as the focal length, the principal point position, and the lens distortion parameter are referred to in advance by the method disclosed in the following document, referring to the specification of the device to be used. Calibrate in advance.
Ｒ． Ｙ． Ｔｓａｉ、 “Ａ ｖｅｒｓａｔｉｌｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｈｉｇｈ−ａｃｃｕｒａｃｙ ３Ｄ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｍｅｔｒｏｌｏｇｙ ｕｓｉｎｇ ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ ＴＶ ｃａｍｅｒａｓ ａｎｄ ｌｅｎｓｅｓ ”、 ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、 ｖｏｌ．ＲＡ−３、 ｎｏ．４、 １９８７．
次に、情報処理装置１を構成する各部について説明する。
R. Y. Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shel TV encer and en l RA-3, no. 4, 1987.
Next, each part which comprises the information processing apparatus 1 is demonstrated.
画像取得部１１０は、撮像装置１０が撮影した画像を取得する。上述の通り、本実施形態では撮像装置１０は濃淡画像を撮像するカメラであり、画像取得部１１０は、インターフェースを介して濃淡画像を取得する。 The image acquisition unit 110 acquires an image captured by the imaging device 10. As described above, in the present embodiment, the imaging device 10 is a camera that captures a grayscale image, and the image acquisition unit 110 acquires a grayscale image via an interface.
形状モデル保持部１２０は、被計測物体の形状を表す３次元形状モデル２０を保持する。本実施形態では、３次元形状モデル（例えば、ＣＡＤモデルやポリゴンモデル）は、図２（ｂ）に示すような、モデル座標系における３次元位置と３次元方向から構成される局所的な３次元線分情報（以後、モデル特徴またはモデルエッジ点と称する）によって構成されるものとする。ただし、３次元形状モデルとして保持する形状情報は、被計測物体の形状または特徴を表す３次元座標情報を含む限り、表現形式に特に制限はない。例えば、単純な３次元点の集合や、稜線を表す３次元ラインの集合、３次元点３点で構成される面および線の集合で表されるポリゴン形式の形状情報など、他の表現で表しても良い。３点と３辺および１面により構成されるポリゴンの集合として、３次元形状モデルを表現してもよいし、単純な３次元点の集合として３次元形状を表現してもよい。また陰関数の組み合わせによりパラメトリックに３次元形状を表現する方法を用いてもよい。被計測物体の形状に即する限り、３次元形状モデルの表現方法に特に制限はない。形状モデル保持部１２０において保持される３次元形状モデルは、座標変換部１５０に入力される。 The shape model holding unit 120 holds a three-dimensional shape model 20 that represents the shape of the object to be measured. In this embodiment, a three-dimensional shape model (for example, a CAD model or a polygon model) is a local three-dimensional structure composed of a three-dimensional position and a three-dimensional direction in a model coordinate system as shown in FIG. It is assumed to be constituted by line segment information (hereinafter referred to as model features or model edge points). However, the shape information held as the three-dimensional shape model is not particularly limited in the expression format as long as it includes the three-dimensional coordinate information representing the shape or feature of the object to be measured. For example, a simple 3D point set, a 3D line set representing a ridgeline, a 3D surface and a polygonal shape information represented by a set of lines and 3D points, etc. May be. A three-dimensional shape model may be expressed as a set of polygons composed of three points, three sides, and one surface, or a three-dimensional shape may be expressed as a set of simple three-dimensional points. Alternatively, a method of expressing a three-dimensional shape parametrically by a combination of implicit functions may be used. As long as it conforms to the shape of the object to be measured, there is no particular limitation on the method of expressing the three-dimensional shape model. The three-dimensional shape model held in the shape model holding unit 120 is input to the coordinate conversion unit 150.
特徴検出部１３０では、画像取得部１１０から入力された二次元画像から画像特徴を検出する。本実施形態では画像特徴としてエッジ特徴を検出する。エッジ特徴とは、画像中の輝度が不連続に変化する点を表し、画像中の輝度勾配が極値となる位置をエッジ位置、勾配方向の法線をエッジ方向として定義する。ただし、本実施形態の画像特徴は、エッジ特徴に限られるものではなく、例えば、画像特徴としてＨａｒｒｉｓ特徴点やＦＡＳＴ特徴点などの、特徴点を検出してもよい。この場合、被計測物体の三次元形状モデルを三次元点群データによって表し、特徴点と三次元の点の対応に基づいて位置姿勢を算出する。また、特定の特徴のみ用いるのではなく、複数の特徴（特徴点とエッジ）を位置姿勢の算出に利用してもよい。以上に示すように、画像特徴としては、３次元形状モデルを構成するモデル点に対応する特徴である限り、いかなる特徴であっても特に問題ない。特徴検出処理の詳細については後述する。 The feature detection unit 130 detects image features from the two-dimensional image input from the image acquisition unit 110. In this embodiment, an edge feature is detected as an image feature. The edge feature represents a point where the luminance in the image changes discontinuously, and a position where the luminance gradient in the image becomes an extreme value is defined as an edge position, and a normal line of the gradient direction is defined as an edge direction. However, the image feature of the present embodiment is not limited to the edge feature. For example, a feature point such as a Harris feature point or a FAST feature point may be detected as the image feature. In this case, the 3D shape model of the measured object is represented by 3D point cloud data, and the position and orientation are calculated based on the correspondence between the feature points and the 3D points. Further, instead of using only specific features, a plurality of features (feature points and edges) may be used for calculating the position and orientation. As described above, the image feature is not particularly problematic as long as it is a feature corresponding to the model points constituting the three-dimensional shape model. Details of the feature detection processing will be described later.
方向別参照マップ生成部１４０では、特徴検出部１３０で検出したエッジ特徴に基づいて、モデルエッジ点に対応するエッジ特徴を高速に探索するための方向別参照マップ（参照距離情報）を生成する。方向別参照マップとは、画像を構成する各画素（各要素）、所定の探索方向において近傍となるエッジ特徴の位置を参照するための情報を格納したマップのことである。ここで、本実施形態における所定の探索方向とは、エッジ特徴を探索する画像上での方向を表す。本実施形態では、方向別参照マップとして方向別符号付き距離場を生成する。方向別符号付き距離場とは、着目する探索方向にそって、画素から最も近いエッジ特徴までの符号付き距離を画素値として保持した画像である。 The direction-specific reference map generation unit 140 generates a direction-specific reference map (reference distance information) for searching for edge features corresponding to model edge points at high speed based on the edge features detected by the feature detection unit 130. The direction-specific reference map is a map that stores information for referring to each pixel (each element) constituting the image and the position of an edge feature that is close in a predetermined search direction. Here, the predetermined search direction in the present embodiment represents a direction on an image for searching for edge features. In this embodiment, a direction-specific distance field is generated as a direction-specific reference map. The direction-specific signed distance field is an image in which a signed distance from a pixel to the nearest edge feature is held as a pixel value along a target search direction.
図３に、方向別符号付き距離場の例を示す。図４（ａ）は横方向、図４（ｂ）は縦方向、図４（ｃ）は斜め右上方向、図４（ｄ）は斜め右下方向に関する方向別符号付き距離場を表している。モデル点の画像上における法線方向に応じて、モデル点毎に適切な探索方向の方向別符号付き距離場を参照することで、モデル点の法線方向において、もっとも近接するエッジ特徴の位置を高速に探索することが可能になる。本実施形態では、方向別符号付き距離場として、画像上で横方向・縦方向・斜め右上方向・斜め右下方向の計４方向分の方向別符号付き距離場を生成する。ただし、方向別符号付き距離場として生成する方向や数は、以上に限るものでなく、例えば、画像上で縦・横の２方向のみからなる方向別符号付き距離場を生成しても良いし、斜め方向の分割数を増やして計１０方向の方向別符号付き距離場を生成しても良い。複数の探索方向に関する方向別符号付き距離場を生成する限り、生成する方法数と方向に制限はない。また、方向別符号付き距離場を保持する画像は、方向毎に画像を生成しても良いし、方向毎の符号付き距離場の画素値をＲＧＢ情報などのマルチプレーンの情報として保持し、複数の方向の方向別符号付き距離場の情報を１枚の画像で保持しても良い。複数の方向に関する方向別符号付き距離場の情報を保持する限り、方向別符号付き距離場を保持するデータ形式に制限はなく、いかなるデータ形式でも良い。方向別符号付き距離場の生成処理の詳細については後述する。 FIG. 3 shows an example of a signed distance field by direction. 4A shows the lateral direction, FIG. 4B shows the vertical direction, FIG. 4C shows the diagonal upper right direction, and FIG. 4D shows the signed distance field by direction with respect to the diagonal lower right direction. Depending on the normal direction of the model point on the image, refer to the signed distance field by direction of the appropriate search direction for each model point, so that the position of the edge feature closest to the model point in the normal direction can be determined. It becomes possible to search at high speed. In the present embodiment, a direction-specific signed distance field for four directions in the horizontal direction, the vertical direction, the diagonally upper right direction, and the diagonally lower right direction on the image is generated as the direction-specific distance field. However, the direction and the number to be generated as the direction-specific distance field are not limited to the above. For example, the direction-specific distance field including only the vertical and horizontal directions on the image may be generated. The number of diagonally divided distance fields may be generated by increasing the number of divisions in the oblique direction. As long as the direction-specific signed distance field for a plurality of search directions is generated, there is no limitation on the number of generated methods and directions. In addition, an image that holds a signed distance field for each direction may be generated for each direction, or a pixel value of a signed distance field for each direction is held as multi-plane information such as RGB information. The information on the signed distance field for each direction may be held as one image. As long as the information of the direction-specific signed distance field regarding a plurality of directions is held, the data format for holding the direction-specific signed distance field is not limited, and any data format may be used. Details of the process for generating the direction-specific signed distance field will be described later.
座標変換部１５０では、計測物体の位置及び姿勢の概略値、および、撮像装置１０の内部パラメータに基づき、モデル座標系で表されるモデル点の位置と方向を、画像座標系における位置と方向に変換を行う。座標変換処理の具体的な処理に関しては後述する。
方向別参照マップ選択部１６０では、座標変換部１５０により求められた、画像座標系におけるモデル点の方向に基づいて、モデル点の法線方向に最も探索方向が近い方向別参照マップを選択する。方向別参照マップの選択処理の詳細に関しては後述する。
The coordinate conversion unit 150 converts the position and direction of the model point represented in the model coordinate system to the position and direction in the image coordinate system based on the approximate values of the position and orientation of the measurement object and the internal parameters of the imaging device 10. Perform conversion. Specific processing of the coordinate conversion processing will be described later.
The direction-specific reference map selection unit 160 selects a direction-specific reference map that is closest to the normal direction of the model point based on the direction of the model point in the image coordinate system obtained by the coordinate conversion unit 150. Details of the selection process of the reference map for each direction will be described later.
対応付け部１７０は、座標変換部１５０により求められた画像座標系におけるモデル点の位置に基づいて、マップ選択部１６０により選択された方向別参照マップから最近傍となるエッジ特徴を参照することで、モデル点とエッジ特徴との対応付けを行う。対応付け処理の詳細に関しては後述する。 The associating unit 170 refers to the nearest edge feature from the reference map by direction selected by the map selecting unit 160 based on the position of the model point in the image coordinate system obtained by the coordinate converting unit 150. The model points are associated with the edge features. Details of the association processing will be described later.
残差算出部１８０は、情報処理装置１の対応付け部１７０から、モデルエッジ点とそれに対応付けられたエッジ特徴の組を取得し、モデルエッジ点とエッジ特徴との間の画像上での距離（以後、残差と称する）を算出する。処理の詳細は後述する。 The residual calculation unit 180 acquires a model edge point and a pair of edge features associated with the model edge point from the association unit 170 of the information processing apparatus 1, and the distance on the image between the model edge point and the edge feature. (Hereinafter referred to as residual) is calculated. Details of the processing will be described later.
位置姿勢導出部１９０では、残差算出部１８０において算出された残差情報に基づいて、残差が最小になるように、撮像装置１０と被測定物体との間の位置及び姿勢を導出（位置姿勢推定）する。処理の詳細については後述する。 The position / orientation deriving unit 190 derives the position and orientation between the imaging apparatus 10 and the object to be measured so that the residual is minimized based on the residual information calculated by the residual calculating unit 180 (position Posture estimation). Details of the processing will be described later.
以上が、情報処理装置１の構成の一例についての説明である。 The above is the description of an example of the configuration of the information processing apparatus 1.
次に、本実施形態に処理手順について図４を参照しながら説明する。図４は、本実施形態における特徴検出の処理手順を示すフローチャートである。 Next, a processing procedure according to the present embodiment will be described with reference to FIG. FIG. 4 is a flowchart showing a procedure for feature detection in the present embodiment.
（ステップＳ１１００）
まず、ステップＳ１１００において、座標変換部１５０は、モデル座標系で表現されているモデル点の位置と方向を画像特徴と同じ画像座標系へ幾何変換するための座標変換パラメータを取得する。具体的には、撮像装置１０に対する被測定物体の位置及び姿勢の概略値を座標変換パラメータとして入力する。本実施形態では、物体の置かれているおおよその位置や姿勢があらかじめわかっているものとして、その値を概略値として用いる。ただし、位置姿勢の概略値の設定方法は、以上の方法に限るものではなく、例えば、時間軸方向に連続して物体の位置姿勢を計測する場合には、前回（前時刻）の位置姿勢の計測値を概略の位置及び姿勢として用いてもよい。また、様々な姿勢で撮像した被計測物体の画像をテンプレートとして保持しておき、入力する画像に対してテンプレートマッチングを行うことによって、被計測物体の大まかな位置と姿勢を推定してもよい。被計測物体の６自由度の位置及び姿勢を得られる限り、入力する座標変換パラメータに制限はなく、いかなる形式であってもよい。ステップＳ１１００の処理を終了したら、ステップＳ１２００に進む。
(Step S1100)
First, in step S1100, the coordinate conversion unit 150 acquires coordinate conversion parameters for geometrically converting the position and direction of the model point expressed in the model coordinate system to the same image coordinate system as the image feature. Specifically, an approximate value of the position and orientation of the object to be measured with respect to the imaging apparatus 10 is input as a coordinate conversion parameter. In this embodiment, assuming that the approximate position and orientation where an object is placed are known in advance, the value is used as an approximate value. However, the method for setting the approximate value of the position and orientation is not limited to the above method. For example, when measuring the position and orientation of an object continuously in the time axis direction, the position and orientation of the previous (previous time) Measurement values may be used as approximate positions and orientations. Alternatively, the rough position and orientation of the measured object may be estimated by holding images of the measured object captured in various postures as templates and performing template matching on the input image. As long as the position and orientation of 6 degrees of freedom of the measurement object can be obtained, the input coordinate conversion parameters are not limited and may be in any format. When the process of step S1100 is completed, the process proceeds to step S1200.
（ステップＳ１２００）
次に、ステップＳ１２００において、画像取得部１１０は、撮像装置１０から濃淡画像を取得する。撮像装置１０から直接取得しなくても、予め撮像した画像を記憶媒体に記憶させておき、その記憶媒体を読み込むことによって、濃淡画像を取得してもかまわない。濃淡画像の取得が終了したら、画像取得部は、特徴検出部に取得した濃淡画像を送出する。ステップＳ１２００の処理を終了し、ステップＳ１３００に進む。
(Step S1200)
Next, in step S1200, the image acquisition unit 110 acquires a grayscale image from the imaging device 10. Even if the image is not directly acquired from the imaging device 10, a gray image may be acquired by storing an image captured in advance in a storage medium and reading the storage medium. When the acquisition of the grayscale image is completed, the image acquisition unit sends the acquired grayscale image to the feature detection unit. The process of step S1200 is terminated and the process proceeds to step S1300.
（ステップＳ１３００）
次に、ステップＳ１３００では、特徴検出部１３０は、ステップＳ１２００において取得した濃淡画像から画像特徴の検出を行う。本実施形態では、上述の通り、画像特徴としてエッジを検出する。なお、エッジとは濃度勾配の極値となる点である。本実施形態ではエッジ検出方法として、以下の文献で開示されるＣａｎｎｙエッジアルゴリズムを用いる。
(Step S1300)
Next, in step S1300, the feature detection unit 130 detects image features from the grayscale image acquired in step S1200. In the present embodiment, as described above, an edge is detected as an image feature. An edge is a point that is an extreme value of the density gradient. In this embodiment, as an edge detection method, the Canny edge algorithm disclosed in the following document is used.
Ｃａｎｎｙ、 Ｊ、 “Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｐｐｒｏａｃｈ Ｔｏ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ”、 ＩＥＥＥ Ｔｒａｎｓ。 Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 ８（６）：６７９-６９８、 １９８６。 Canny, J, “A Computational Approach To Edge Detection”, IEEE Trans. Pattern Analysis and Machine Intelligence, 8 (6): 679-698, 1986.
エッジ検出処理の結果、濃淡画像中でのエッジとなる画素の位置が得られる。なお、エッジ検出方法はこれに限るものではなく、例えば、Ｓｏｂｅｌフィルタやｐｒｅｗｉｔｔフィルタなどのエッジ検出フィルタを用いて、その応答値からエッジ位置を算出してもよい。また、上述したような画像全体からエッジを検出する方式に限らず、以下の文献で開示されているような、着目領域近傍で局所的にエッジ検出を行うような方法を用いても良い。 As a result of the edge detection process, the position of the pixel serving as the edge in the grayscale image is obtained. Note that the edge detection method is not limited to this, and the edge position may be calculated from the response value using an edge detection filter such as a Sobel filter or a prewitt filter. In addition to the method of detecting edges from the entire image as described above, a method of detecting edges locally in the vicinity of the region of interest as disclosed in the following document may be used.
Ｔ。 Ｄｒｕｍｍｏｎｄ ａｎｄ Ｒ。 Ｃｉｐｏｌｌａ、 “Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ
”、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 ｖｏｌ。２４、 ｎｏ。７、 ｐｐ。９３２−９４６、 ２００２。
T. Drummond and R. Cipolla, “Real-time visual tracking of complex structures
", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 7, pp. 932-946, 2002." Transactions on Pattern Analysis and Machine Intelligence, vol.
濃淡画像上で検出され、モデルエッジ点と対応づけられるエッジ特徴であれば、いかなる方法で検出しても問題はなく、その検出方法の選択に特に制限はない。濃淡画像から全ての画像エッジを検出する処理を終了すればステップＳ１３００の処理を終了し、ステップＳ１４００に進む。 As long as the edge feature is detected on the grayscale image and associated with the model edge point, there is no problem even if it is detected by any method, and the selection of the detection method is not particularly limited. If the process of detecting all image edges from the grayscale image is completed, the process of step S1300 is terminated, and the process proceeds to step S1400.
（ステップＳ１４００）
次に、ステップＳ１４００では、方向別参照マップ生成部１４０は、ステップＳ１３００において算出した画像エッジに基づいて、複数の方向別符号付き距離マップを生成する。本実施形態では、上述の通り、画像上で横方向・縦方向・斜め右上方向・斜め右下方向の計４方向分の方向別符号付き距離場を生成する。
(Step S1400)
Next, in step S1400, the direction-specific reference map generation unit 140 generates a plurality of direction-specific signed distance maps based on the image edges calculated in step S1300. In this embodiment, as described above, a signed distance field for each direction corresponding to a total of four directions in the horizontal direction, the vertical direction, the diagonal upper right direction, and the diagonal lower right direction is generated on the image.
まず、方向別符号付き距離場を格納する画像として、ステップＳ１２００において入力された画像と同サイズの画像を４つ生成する。そして、全ての画像に対し、ステップＳ１３００において検出した全てのエッジ特徴の位置の画素に０を代入し、それ以外の画素には未処理であるというフラグを立てる。そして、方向別符号付き距離場毎に、膨張する方向を限定した符号付き距離場の膨張処理を行う。具体的には、未処理である全ての画素に対して、限定する方向にそって隣接する画素をチェックし、隣接画素に符号付き距離値が格納されている場合、隣接画素の符号付き距離値に１だけ増減させた符号付き距離値を着目画素に格納する。例えば、横方向の方向別符号付き距離場の場合は、着目画素の左右の隣接画素をチェックし、左右の隣接画素に格納された符号付き距離値を参照して、着目画素の符号付き距離値を格納する。以上の処理を、１回分の膨張処理として、画像上での探索したい画素範囲の分だけ膨張処理を繰り返す事で、方向別符号付き距離場の生成を行う。膨張処理を行う回数は、手動で設定した固定値を用いても良いし、入力画像サイズの割合に応じて設定しても良い。また、被計測物体の概略位置姿勢のあいまい性が既知の場合は、概略位置姿勢を画像上に射影した範囲の値に応じて設定しても良い。または、各方向の方向付き距離場において未処理の画素が無くなるまで膨張処理を行っても良い。本実施形態では、膨張処理を行う回数は、画像サイズ長辺の４分の１の画素数より設定するものとする。 First, four images having the same size as the image input in step S1200 are generated as images for storing direction-specific distance fields. Then, for all the images, 0 is assigned to the pixels at the positions of all the edge features detected in step S1300, and the other pixels are flagged as unprocessed. Then, for each signed distance field by direction, a signed distance field expansion process that limits the expanding direction is performed. Specifically, for all the unprocessed pixels, adjacent pixels are checked along a limited direction, and when a signed distance value is stored in the adjacent pixel, a signed distance value of the adjacent pixel The signed distance value increased or decreased by 1 is stored in the target pixel. For example, in the case of a signed distance field by direction in the horizontal direction, the left and right adjacent pixels of the target pixel are checked, and the signed distance value of the target pixel is referred to by referring to the signed distance values stored in the left and right adjacent pixels. Is stored. The above process is performed as one expansion process, and the expansion process is repeated for the pixel range to be searched on the image, thereby generating a signed distance field by direction. The number of times of performing the expansion process may be a manually set fixed value, or may be set according to the ratio of the input image size. In addition, when the ambiguity of the approximate position and orientation of the measured object is known, the approximate position and orientation may be set according to the range value projected onto the image. Alternatively, the expansion process may be performed until there is no unprocessed pixel in the directional distance field in each direction. In this embodiment, the number of times of performing the expansion process is set from the number of pixels that is a quarter of the long side of the image size.
図５に、横方向の方向別符号付き距離場の膨張処理の例を示す。まず、初期状態（図５（ａ））では、エッジ位置の画素にのみ符号付き距離値が格納されている。そして、１回の膨張処理の結果（図５（ｂ））、エッジ位置の画素に横方向で隣接する画素に方向に応じた＋１または−１の符号付き距離値が格納される。そして、２回（図５（ｃ））３回（図５（ｄ））と膨張処理を繰り返す分だけ、横方向に拡張された符号付き距離場が生成される。なお、隣接画素の符号付き距離値が異なり、代入する符号付き距離値に複数の候補がある場合は、絶対値が小さい符号付き距離値を代入する。ただし、この場合の代入方法は以上に限るものではなく、例えば、絶対値が大きい符号付き距離値を選択しても良いし、単純に先に代入した方を選択しても良く、選択方法に特に制限はない。 FIG. 5 shows an example of expansion processing of a signed direction distance field in the horizontal direction. First, in the initial state (FIG. 5A), a signed distance value is stored only in the pixel at the edge position. As a result of one expansion process (FIG. 5B), a signed distance value of +1 or −1 corresponding to the direction is stored in a pixel adjacent in the horizontal direction to the pixel at the edge position. Then, a signed distance field expanded in the horizontal direction is generated by repeating the expansion process twice (FIG. 5C) and three times (FIG. 5D). If the signed distance values of adjacent pixels are different and there are a plurality of candidates for the signed distance value to be substituted, a signed distance value having a small absolute value is substituted. However, the substitution method in this case is not limited to the above. For example, a signed distance value having a large absolute value may be selected, or the one substituted first may be selected. There is no particular limitation.
以上、全ての方向に関する方向別符号付き距離場に対して、設定した回数だけ方向別符号付き距離場の膨張処理を繰り返し、方向別符号付き距離場の生成が完了すれば、ステップＳ１４００の処理を終了し、ステップＳ１５００に進む。 As described above, if the direction-specific signed distance field expansion process is repeated for the set number of times with respect to the direction-specific signed distance fields for all directions and the generation of the direction-specific signed distance field is completed, the process of step S1400 is performed. The process ends, and the process proceeds to step S1500.
（ステップＳ１５００）
次に、ステップＳ１５００では、座標変換部１５０は、ステップＳ１１００において入力された位置姿勢パラメータおよび撮像装置１０の内部パラメータを用いて、モデルエッジ点の座標変換処理を行う。
(Step S1500)
Next, in step S1500, the coordinate conversion unit 150 performs a model edge point coordinate conversion process using the position and orientation parameters input in step S1100 and the internal parameters of the imaging apparatus 10.
具体的には、まず、形状モデル保持部１２０から三次元形状モデル２０を取得する。そして、３次元形状モデル２０を構成する全てのモデルエッジ点に対して、モデル座標系において表現されるモデルエッジ点の位置と方向と、ステップＳ１１００において入力された位置姿勢パラメータおよび撮像装置１０の内部パラメータとを用いて、画像座標系におけるモデルエッジ点の位置と方向を算出する。 Specifically, first, the three-dimensional shape model 20 is acquired from the shape model holding unit 120. Then, for all model edge points constituting the three-dimensional shape model 20, the position and direction of the model edge point expressed in the model coordinate system, the position and orientation parameters input in step S1100, and the inside of the imaging device 10 Using the parameters, the position and direction of the model edge point in the image coordinate system are calculated.
全てのモデルエッジ点に対する座標変換処理が完了すれば、ステップＳ１５００の処理を終了し、ステップＳ１６００に進む。 When the coordinate conversion process for all model edge points is completed, the process of step S1500 is terminated, and the process proceeds to step S1600.
（ステップＳ１６００）
次に、ステップＳ１６００では、方向別参照マップ選択部１６０は、ステップＳ１５００において算出された画像座標系におけるモデルエッジ点の方向に基づいて、ステップＳ１４００において生成された複数の方向別符号付き距離場の中から、ステップＳ１６００の対応付け処理において参照する方向別符号付き距離場を選択する。
(Step S1600)
Next, in step S1600, the direction-specific reference map selection unit 160 generates a plurality of direction-specific signed distance fields generated in step S1400 based on the direction of the model edge point in the image coordinate system calculated in step S1500. A direction-specific signed distance field to be referred to in the association processing in step S1600 is selected from the inside.
まず、画像座標系におけるモデルエッジ点の方向から、モデルエッジ点の法線方向を算出する。ここで、モデルエッジ点の法線方向を（ｎｘ、ｎｙ）、方向別符号付き距離場の方向を（ｓｘ、ｓｙ）とすると、モデルエッジ点の法線方向と方向別符号付き距離場の方向との方向の差θは、以下の式より計算される。 First, the normal direction of the model edge point is calculated from the direction of the model edge point in the image coordinate system. Here, if the normal direction of the model edge point is (n x , n y ) and the direction of the signed distance field by direction is (s x , s y ), the normal direction of the model edge point and the direction-specific sign are added. The direction difference θ from the direction of the distance field is calculated from the following equation.
ステップＳ１４００において生成された複数の方向別符号付き距離場の探索方向に対して以上の計算を行い、方向の差θがもっとも小さい方向の方向別符号付き距離場を、対応探索に用いる方向別符号付き距離場として選択する。
The above calculation is performed on the search direction of the plurality of direction-specific distance fields generated in step S1400, and the direction-specific distance field in the direction having the smallest direction difference θ is used as the direction-specific code for the correspondence search. Select as a distance field.
なお、方向別符号付き距離場の選択方法は以上に限るものではなく、例えば、複数の方向別符号付き距離場に関して方向の差θが所定の範囲内となる場合に、複数の方向別符号付き距離場を対応探索に用いる方向別符号付き距離場として選択しても良いし、方向の差θが一定以上に大きい場合は、モデルエッジの法線方向に近い方向別符号付き距離場がないものとして取り扱っても良く、方向別符号付き距離場を選択する方法や数に特に制約はない。 The method for selecting the direction-specific distance field is not limited to the above. For example, when the direction difference θ is within a predetermined range for a plurality of direction-specific distance fields, a plurality of direction-specific signs are added. The distance field may be selected as the direction-by-direction signed distance field used for the correspondence search, and if the direction difference θ is larger than a certain value, there is no direction-by-direction signed distance field close to the normal direction of the model edge. There are no particular restrictions on the method and number of selection of the direction-specific signed distance field.
以上の処理を、全てのモデルエッジ点に対して行い、モデルエッジ点毎に参照する方向別符号付き距離場の選択が完了すれば、ステップＳ１６００の処理を終了し、ステップＳ１７００に進む。 The above process is performed for all model edge points, and if selection of the signed distance field by direction for each model edge point is completed, the process of step S1600 is terminated, and the process proceeds to step S1700.
（ステップＳ１７００）
次に、ステップＳ１７００では、対応付け部１７０は、ステップＳ１５００において算出した画像座標系におけるモデルエッジ点の位置と、ステップＳ１６００において選択した方向別符号付き距離場とに基づいて、モデルエッジ点に対応するエッジ特徴を探索して、モデルエッジ点とエッジ特徴との対応付けを行う。
(Step S1700)
Next, in step S1700, the associating unit 170 corresponds to the model edge point based on the position of the model edge point in the image coordinate system calculated in step S1500 and the signed distance field by direction selected in step S1600. The edge feature to be searched is searched, and the model edge point is associated with the edge feature.
まず、ステップＳ１６００において選択した方向別符号付き距離場において、ステップＳ１５００において算出した画像座標系におけるモデルエッジ点の位置にあたる画素を参照することで、モデルエッジ点の法線方向に最も近接するエッジ特徴までの距離を表す、符号付き距離値を取得する。ここで、画像座標系におけるモデルエッジ点の位置を（ｍｘ、ｍｙ）、取得した符号付き距離値をｄ、参照する方向別符号付き距離場の方向を（ｓｘ、ｓｙ）とすると、モデルエッジ点に対して探索方向において最近傍となるエッジ特徴の位置（ｅｘ、ｅｙ）は以下の式より算出できる。 First, by referring to the pixel corresponding to the position of the model edge point in the image coordinate system calculated in step S1500 in the direction-by-direction signed distance field selected in step S1600, the edge feature closest to the normal direction of the model edge point A signed distance value representing the distance to is acquired. Here, when the position of the model edge point in the image coordinate system is (m x , m y ), the obtained signed distance value is d, and the direction of the signed distance field by reference direction is (s x , s y ). The position (e x , e y ) of the edge feature closest to the model edge point in the search direction can be calculated from the following formula.
以上により算出したエッジ特徴の位置（ｅｘ、ｅｙ）を、モデルエッジ点に対応するエッジ特徴の位置として決定する。なお、ステップＳ１６００において、モデルエッジ点毎に複数の方向別符号付き距離場を選択している場合は、其々の方向別符号付き距離場によるエッジ特徴の位置を算出し、対応付け結果として複数のエッジ特徴の位置を保存する。また、ステップＳ１６００において、方向別符号付き距離場を選択しなかったモデルエッジ点に関しては、本ステップにおける処理をスキップする。
The edge feature positions (e x , e y ) calculated as described above are determined as the edge feature positions corresponding to the model edge points. In step S1600, when a plurality of direction-specific signed distance fields are selected for each model edge point, the position of the edge feature by each direction-specific signed distance field is calculated, and a plurality of matching results are obtained. Save the position of the edge feature. In step S1600, for the model edge point for which the direction-specific distance field is not selected, the processing in this step is skipped.
以上の処理を、全てのモデルエッジ点に対して行い、全てのモデルエッジ点に関するエッジ特徴の対応付け処理が完了したら、この処理を終了し、モデルエッジ点群とエッジ特徴群との対応付けの結果が決定される。 The above processing is performed for all model edge points, and when the edge feature association processing for all model edge points is completed, this processing is terminated, and the association between the model edge point group and the edge feature group is completed. The result is determined.
（ステップＳ１８００）
次に、ステップＳ１８００において、残差算出部１８０は、ステップＳ２１００において対応が算出されたモデルエッジ点とエッジ特徴との組に基づいて、モデルエッジ点とエッジ特徴との画像上での残差を算出する。一つのモデルエッジ点に対して複数のエッジ特徴が対応づけられている場合は、それぞれにおける残差を算出し、より残差が小さい方の残差をモデルエッジ点の残差として算出する。全てのモデルエッジ点に関する残差の算出が終了すれば、ステップＳ１８００の処理を終了し、ステップＳ１９００に進む。
(Step S1800)
Next, in step S1800, the residual calculation unit 180 calculates a residual on the image of the model edge point and the edge feature based on the pair of the model edge point and the edge feature whose correspondence is calculated in step S2100. calculate. When a plurality of edge features are associated with one model edge point, a residual in each is calculated, and a residual having a smaller residual is calculated as a residual of the model edge point. When the calculation of residuals for all model edge points is completed, the process of step S1800 is terminated, and the process proceeds to step S1900.
（ステップＳ１９００）
次に、ステップＳ１９００では、位置姿勢導出部１９０は、ステップＳ１８００において算出したモデルエッジ点とエッジ特徴間の残差に基づいて、三次元形状モデル２０と被測定物体間の位置及び姿勢を算出する。本ステップでは、モデルエッジ点とエッジ特徴間の残差が最小になるように、線形連立方程式を解くことで、位置姿勢の更新を行う。本処理に関しては本発明の本質に関わる話ではないため、記述は省略する。詳細は以下の文献に記述されている。
(Step S1900)
Next, in step S1900, the position / orientation deriving unit 190 calculates the position and orientation between the three-dimensional shape model 20 and the object to be measured based on the residual between the model edge point and the edge feature calculated in step S1800. . In this step, the position and orientation are updated by solving the linear simultaneous equations so that the residual between the model edge point and the edge feature is minimized. Since this processing is not related to the essence of the present invention, description thereof is omitted. Details are described in the following documents.
Ｔ Ｄｒｕｍｍｏｎｄ、 Ｒ Ｃｉｐｏｌｌａ、 “Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ”、Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ２４ （７）、 ９３２−９４６。 T Drummond, R Cipolla, “Real-time visual tracking of complex structures”, Pattern Analysis and Machine Intelligence, IEEE Transactions on 243 (246).
位置及び姿勢の更新処理が終了すればばステップＳ２３００の処理を終了し、ステップＳ２０００に進む。 If the position and orientation update process is completed, the process of step S2300 is terminated, and the process proceeds to step S2000.
（ステップＳ２０００）
次に、ステップＳ２０００では、位置姿勢導出部１９０は、ステップＳ１９００で更新した位置姿勢が、収束しているか否か、すなわち、さらに反復計算を必要とするか否かの判定を行う。具体的には、補正値がほぼ０である場合や、誤差ベクトルの二乗和の補正前と補正後の差がほぼ０である場合に収束したと判定する。収束していなければ、ステップＳ１８００に戻り、更新した位置姿勢を用いて、再度残差算出処理を行う。収束していると判断した場合は、この処理は終了する。
(Step S2000)
Next, in step S2000, the position / orientation deriving unit 190 determines whether or not the position / orientation updated in step S1900 has converged, that is, whether or not iterative calculation is required. Specifically, it is determined that convergence has occurred when the correction value is approximately 0, or when the difference before and after correction of the square sum of the error vectors is approximately 0. If not converged, the process returns to step S1800, and the residual calculation process is performed again using the updated position and orientation. If it is determined that the process has converged, this process ends.
以上の処理により、撮像装置と被測定物体間の相対的な位置姿勢の最終的な推定値が決定される。 With the above processing, a final estimated value of the relative position and orientation between the imaging apparatus and the object to be measured is determined.
本発明の情報処理装置１により、撮像装置１０と被測定物体間の位置及び姿勢の推定を高速に行うことが可能となる。 The information processing apparatus 1 according to the present invention makes it possible to estimate the position and orientation between the imaging apparatus 10 and the measured object at high speed.
以上に述べたように、本実施形態では、あらかじめ複数の探索方向に関して、方向別符号付き距離場を生成しておき、モデルエッジ点の画像上における法線方向に応じて、参照する方向別符号付き距離場を変えることで、モデルエッジ点の法線方向に対して最近傍となるエッジ特徴を高速に参照することができる。これにより、モデルエッジ点とエッジ特徴との対応付けを精度高くかつ高速に処理することが可能となる。そして、その結果を用いて位置姿勢推定を行うことにより、被測定物体の位置姿勢を安定的かつ高速に推定することが可能となる。 As described above, in this embodiment, a direction-specific distance field is generated in advance for a plurality of search directions, and the direction-specific code to be referred to is determined according to the normal direction on the image of the model edge point. By changing the attached distance field, the edge feature that is nearest to the normal direction of the model edge point can be referred to at high speed. As a result, the association between the model edge point and the edge feature can be processed with high accuracy and at high speed. Then, by performing position / orientation estimation using the result, the position / orientation of the object to be measured can be estimated stably and at high speed.
［変形例１］
上述の実施形態では、モデルエッジ点の法線方向に最近傍探索するために、モデルエッジ点の法線方向に基づいて方向別参照マップを選択する処理について述べた。しかし、方向別参照マップを選択する基準は、以上に述べた方法に限るものではない。
[Modification 1]
In the above-described embodiment, the process of selecting the reference map for each direction based on the normal direction of the model edge point in order to search for the nearest neighbor in the normal direction of the model edge point has been described. However, the criterion for selecting the direction-specific reference map is not limited to the method described above.
例えば、被計測物体または撮像装置が移動する状況において、画像上の被計測物体を時系列的にトラッキングするシチュエーションなど、次のフレームにおける被計測物体の画像上の位置がおおよそ予測できる場面では、物体の予測位置に向かって最近傍探索するように方向別参照マップを選択しても良い。 For example, in a situation where the object to be measured or the imaging device moves, in situations where the position of the object to be measured on the next frame can be roughly predicted, such as in situations where the object to be measured on the image is tracked in time series, the object The direction-specific reference map may be selected so that the nearest neighbor search is performed toward the predicted position.
具体的には、上述の実施形態におけるステップＳ１６００の方向別参照マップ選択処理において、モデルエッジ点の法線方向の代わりに、着目するモデルエッジ点の現時点の位置から予測位置へ向かう方向を、方向別参照マップを選択する基準として用いる。また、モデルエッジ点の画像上での速度ベクトルが既知である場合には、速度ベクトルに基づく方向を用いて、方向別参照マップを選択しても良い。モデル点の情報に基づいて選択する限り、方向別参照マップを選択する基準に制限はなく、いかなる基準で方向別参照マップを選択しても良い。また、この場合、入力画像から検出する画像特徴は、エッジ特徴でなくても良く、例えば、特徴点を検出して、特徴点位置を示す方向別参照マップを生成・選択しても良い。また、画像特徴として特徴点を検出する場合には、３次元形状モデルとしては、モデルエッジ点のような位置と方向を備える形式でなくても良く、例えば、３次元位置のみを保持するモデル点の集合を、３次元形状モデルとして利用しても良い。 Specifically, in the direction-specific reference map selection process in step S1600 in the above-described embodiment, the direction from the current position of the model edge point of interest to the predicted position is changed to the direction instead of the normal direction of the model edge point. Used as a criterion for selecting another reference map. When the velocity vector on the model edge point image is known, the direction-specific reference map may be selected using the direction based on the velocity vector. As long as the selection is made based on the model point information, the criteria for selecting the direction-specific reference map are not limited, and the direction-specific reference map may be selected by any criteria. In this case, the image feature detected from the input image may not be an edge feature. For example, a feature point may be detected, and a direction-specific reference map indicating the feature point position may be generated and selected. In addition, when detecting feature points as image features, the 3D shape model may not be in a form having a position and direction such as a model edge point. For example, a model point that holds only a 3D position May be used as a three-dimensional shape model.
以上、被計測物体の予測情報を用いて、方向別参照マップを選択することで、予測情報に基づくより確度の高い最近傍探索処理を行うことが可能になる。 As described above, by selecting the reference map for each direction using the prediction information of the measured object, it is possible to perform the nearest neighbor search process with higher accuracy based on the prediction information.
［変形例２］
上述の実施形態では、符号付き距離値を画素として格納した方向別符号付き距離場を方向別参照マップとして利用する方法について述べた。しかし、方向別参照マップとして利用するデータは、上述の方向別符号付き距離場に限るものではない。例えば、ステップＳ１３００において検出したエッジ特徴からエッジ位置とインデックス番号（インデックス値）を紐づけたエッジ特徴データベースを生成しておき、ステップＳ１４００における、方向別参照マップ生成において、各方向別参照マップの各画素に、所定の探索方向において最近傍となるエッジ特徴のインデックス番号を格納しても良い。この場合、ステップＳ１６００における対応付け処理は、画像座標系におけるモデルエッジ位置に基づいてインデックス番号を参照し、エッジ特徴データベースを介して、最近傍となるエッジ特徴の位置を参照する。以上のように、方向別参照マップとして保持する情報は、所定の探索方向において近傍となるエッジ位置が高速に参照可能である限り、いかなる情報を保持しても良く、方向別参照マップとして保持するデータ形式に特に制限はない。
[Modification 2]
In the above-described embodiment, the method of using the direction-specific distance field in which the signed distance value is stored as a pixel is used as the direction-specific reference map. However, the data used as the direction-specific reference map is not limited to the above-mentioned direction-specific signed distance field. For example, an edge feature database in which an edge position and an index number (index value) are associated with each other is generated from the edge feature detected in step S1300, and each direction reference map is generated in the direction-specific reference map generation in step S1400. The index number of the edge feature that is the nearest in the predetermined search direction may be stored in the pixel. In this case, the association processing in step S1600 refers to the index number based on the model edge position in the image coordinate system, and refers to the position of the nearest edge feature via the edge feature database. As described above, the information held as the reference map for each direction may hold any information as long as the edge positions that are close in the predetermined search direction can be referred to at high speed, and are held as the reference map for each direction. There is no particular limitation on the data format.
以上、方向別参照マップとして、エッジインデックスを保持することにより、モデルエッジ点の法線方向に向かって最近傍となるエッジ特徴を高速に参照することが可能になる。 As described above, by maintaining the edge index as the reference map for each direction, it becomes possible to refer to the edge feature that is closest to the normal direction of the model edge point at high speed.
［第２の実施形態］
第１の実施形態では、本発明において物体の位置・姿勢の推定に適用する方法について説明した。第２の実施形態では、本発明を物体の照合に適用する方法について説明する。
[Second Embodiment]
In the first embodiment, the method applied to the estimation of the position / orientation of an object in the present invention has been described. In the second embodiment, a method of applying the present invention to object matching will be described.
図６は、第２の実施形態にかかる情報処理装置２の機能ブロック図を示す。以下、第１の実施形態と同じ機能のものには同じ番号が付してあり、その説明を省略する。 FIG. 6 is a functional block diagram of the information processing apparatus 2 according to the second embodiment. Hereinafter, the same functions as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
本実施形態では、照合する対象の数だけ三次元形状モデルを保持しており、それぞれのモデルごとに、方向別エッジマップ選択部１６０、対応付け部１７０、残差算出部１８０の処理を行い、照合部６９０で残差の少ないモデルを照合されたモデルとして求める。 In the present embodiment, as many 3D shape models as the number of objects to be collated are held, and the direction-specific edge map selection unit 160, the association unit 170, and the residual calculation unit 180 are processed for each model, The collation unit 690 obtains a model with a small residual as a collated model.
形状モデル保持部６２０は、照合する対象である物体の形状を表す３次元形状モデルを保持する。３次元形状モデルの保持方法は、第１の実施形態における形状モデル保持部１２０と同一である。第１の実施形態と異なる点は、本実施形態では、照合する対象の数だけ、３次元形状モデルを複数保持する。 The shape model holding unit 620 holds a three-dimensional shape model representing the shape of an object that is a target to be collated. The method for holding the three-dimensional shape model is the same as that of the shape model holding unit 120 in the first embodiment. The difference from the first embodiment is that the present embodiment holds a plurality of three-dimensional shape models as many as the number of objects to be collated.
モデル照合部６９０は、画像内の特徴と３次元形状モデルとを照合する。この際、モデル照合部６９０は、処理の詳細については、後述する。 The model matching unit 690 matches the feature in the image with the three-dimensional shape model. At this time, the model matching unit 690 will be described in detail later.
次に、第２の実施形態の処理フローチャートについて説明する。ステップ７９００以外は第１の実施形態と同じであるので、省略する。ただし、本実施形態では、ステップＳ１６００〜１８００の処理については、形状モデル保存部６２０が保存するモデルの数だけ行われる。 Next, a processing flowchart of the second embodiment will be described. Since steps other than step 7900 are the same as those in the first embodiment, a description thereof will be omitted. However, in the present embodiment, the processes in steps S1600 to 1800 are performed by the number of models stored in the shape model storage unit 620.
（ステップＳ７９００）
続いて、ステップＳ７９００において、モデル照合部６９０は、３次元モデル（３次元形状モデル）ごとにステップＳ１８００で求められた残差に基づいて、計測データにもっとも類似する３次元モデル（３次元形状モデル）を判断する。本ステップでは、個々の３次元形状モデル中のモデルエッジの残差から、統計量として中央値を算出し、これを３次元形状モデルの照合度として保持する。全ての３次元形状モデルに対して、この残差の統計量の算出を行い、残差の統計量が最も小さくなる３次元形状モデルを判定することで、３次元形状モデルを照合する。なお、残差の統計量としては、残差の中央値以外でも、例えば平均値や最頻値を用いてもよい。残差の少なさを判定できる指標であれば、いずれの方法でよく、特に制限はない。
(Step S7900)
Subsequently, in step S7900, the model matching unit 690 determines the three-dimensional model (three-dimensional shape model) most similar to the measurement data based on the residual obtained in step S1800 for each three-dimensional model (three-dimensional shape model). ). In this step, a median value is calculated as a statistic from the residual of the model edge in each three-dimensional shape model, and this is held as a matching degree of the three-dimensional shape model. The residual statistic is calculated for all three-dimensional shape models, and the three-dimensional shape model is collated by determining the three-dimensional shape model having the smallest residual statistic. In addition, as a statistic of a residual, for example, an average value or a mode value may be used other than the median value of the residual. Any method can be used as long as it is an index capable of determining the small residual, and there is no particular limitation.
本実施形態によれば、高速かつ安定的にモデルの照合を行うことが可能になる。 According to the present embodiment, it is possible to perform model matching at high speed and stably.
［第３の実施形態］
本発明による情報処理装置１、２の好適な適用事例としては、以下のような形態も考えられる。すなわち、撮像装置１０により得られる濃淡画像を基に被測定物体３０の位置姿勢を推定し、推定された位置姿勢に基づいて産業用ロボットアーム５０を制御する。そして、ロボットアーム先端のロボットハンドにより被測定物体の把持（物体保持）などを行う利用例があげられる。以下、図７を用いて本発明の一実施形態である情報処理装置１の適用例を説明する。図７では、情報処理装置１とロボット５０を用いて被測定物体３０を把持するロボットシステムの構成例を示す。
[Third Embodiment]
As preferred application examples of the information processing apparatuses 1 and 2 according to the present invention, the following forms are also conceivable. That is, the position and orientation of the measurement object 30 are estimated based on the grayscale image obtained by the imaging apparatus 10, and the industrial robot arm 50 is controlled based on the estimated position and orientation. An example of use in which the object to be measured is held (object holding) by the robot hand at the tip of the robot arm is given. Hereinafter, an application example of the information processing apparatus 1 according to the embodiment of the present invention will be described with reference to FIG. FIG. 7 shows a configuration example of a robot system that grips the object 30 to be measured using the information processing apparatus 1 and the robot 50.
ロボット５０はロボットコントローラ４０により制御され、指令された位置に手先を移動させ物体の把持などを行うロボットである。被測定物体３０は、作業台に置かれる位置が変わるため、現在の被測定物体３０の位置姿勢を推定し、ロボットの把持制御を行う必要がある。 The robot 50 is controlled by the robot controller 40 and moves a hand to a commanded position to grip an object. Since the position of the object 30 to be measured changes on the work table, it is necessary to estimate the current position and orientation of the object 30 to be measured and to perform grip control of the robot.
撮像装置１０は、通常の濃淡画像を撮影するカメラであり、産業用ロボットアームの手先等の被測定物体３０を撮像できる位置に設置する。 The imaging device 10 is a camera that captures a normal gray image, and is installed at a position where an object to be measured 30 such as a hand of an industrial robot arm can be imaged.
情報処理装置１は、撮像装置１０から得られる濃淡画像を基に被測定物体３０の位置姿勢を推定する。情報処理装置１で推定された被測定物体３０の位置姿勢は、ロボット５０に入力され、被測定物体３０の把持などを行うようにロボットアームを制御する。本実施形態の情報処理装置により、ロボットシステムは被測定物体３０の位置が不定でも位置姿勢推定を行うことで、被測定物体３０を把持（保持）することが可能となる。 The information processing apparatus 1 estimates the position and orientation of the measured object 30 based on the grayscale image obtained from the imaging apparatus 10. The position and orientation of the measured object 30 estimated by the information processing apparatus 1 is input to the robot 50, and the robot arm is controlled so as to grip the measured object 30 and the like. With the information processing apparatus according to the present embodiment, the robot system can hold (hold) the measured object 30 by performing position and orientation estimation even if the position of the measured object 30 is indefinite.
＜実施形態の効果＞
第１の実施形態では、あらかじめ複数の探索方向に関して、方向別符号付き距離場を生成しておき、モデルエッジ点の画像上における法線方向に応じて、参照する方向別符号付き距離場を変えることで、モデルエッジ点の法線方向に対して最近傍となるエッジ特徴を高速に参照することができる。そして、濃淡画像から検出した特徴に、被測定物体の形状を表す三次元形状モデルが当てはまるようにモデルフィッティングを行うことで、被測定物体の位置姿勢の推定を行う方法について述べた。方向別に最近傍となるエッジ特徴を高速に参照できる方向別参照マップを用いて、モデルエッジ点とエッジ特徴との対応付け処理を高速に行い、その結果を用いて位置姿勢推定を行うことにより、被測定物体の位置姿勢を高速に推定することが可能となる。
<Effect of embodiment>
In the first embodiment, a direction-specific signed distance field is generated in advance for a plurality of search directions, and the direction-specific signed distance field is changed according to the normal direction on the model edge point image. As a result, the edge feature that is closest to the normal direction of the model edge point can be referred to at high speed. The method of estimating the position and orientation of the object to be measured by performing model fitting so that the three-dimensional shape model representing the shape of the object to be measured is applied to the feature detected from the grayscale image has been described. By using a direction-specific reference map that can quickly refer to edge features that are nearest to each direction, the model edge points and edge features are associated with each other at high speed, and the results are used to estimate the position and orientation. It becomes possible to estimate the position and orientation of the measured object at high speed.
第２の実施形態では、方向別に最近傍となるエッジ特徴を高速に参照できる方向別参照マップを用いて、モデルエッジ点とエッジ特徴との対応付け処理を高速に行い、その結果を用いてモデル照合を行うことにより、高速かつ安定的にモデルの照合を行うことが可能になる。 In the second embodiment, the model edge point and the edge feature are associated with each other at high speed using the direction-specific reference map that can quickly refer to the edge feature that is closest to each direction, and the model is obtained using the result. By performing collation, it is possible to perform model collation at high speed and stably.
第３の実施形態では、本発明の情報処理装置により、被測定物体の位置姿勢を推定し、推定結果に基づいてロボットシステムが被測定物体の把持および移動を行う方法を示した。これにより、被測定物体の位置が不定でもロボットシステムが被測定物体を把持することが可能となる。 In the third embodiment, the method of estimating the position and orientation of the object to be measured by the information processing apparatus of the present invention, and the robot system holding and moving the object to be measured based on the estimation result has been described. Thereby, even if the position of the measured object is indefinite, the robot system can hold the measured object.
＜定義＞
本願明細書の説明を通して、被計測物体の３次元モデル情報として、３次元位置と３次元方向の情報を備えるモデルエッジ点により構成されたモデルを例に説明した。しかし、３次元形状モデルとしては他の表現方式を用いても良い。例えば、単純な３次元点の集合や、稜線を表す３次元ラインの集合、３次元点３点で構成される面および線の集合で表されるポリゴン形式の形状情報など、他の表現で表しても良い。３点と３辺および１面により構成されるポリゴンの集合として、３次元形状モデルを表現してもよいし、単純な３次元点の集合として３次元形状を表現してもよい。また陰関数の組み合わせによりパラメトリックに３次元形状を表現する方法を用いてもよい。被計測物体の形状または特徴に即する限り、３次元形状モデルの表現方法に特に制限はない。
<Definition>
Through the description of the specification of the present application, as a three-dimensional model information of an object to be measured, a model constituted by model edge points having information of a three-dimensional position and a three-dimensional direction has been described as an example. However, other representation methods may be used as the three-dimensional shape model. For example, a simple 3D point set, a 3D line set representing a ridgeline, a 3D surface and a polygonal shape information represented by a set of lines and 3D points, etc. May be. A three-dimensional shape model may be expressed as a set of polygons composed of three points, three sides, and one surface, or a three-dimensional shape may be expressed as a set of simple three-dimensional points. Alternatively, a method of expressing a three-dimensional shape parametrically by a combination of implicit functions may be used. As long as it conforms to the shape or characteristics of the object to be measured, there is no particular limitation on the expression method of the three-dimensional shape model.
本願明細書における画像取得は、濃淡画像を取得するカメラによる入力に限るものでなく、対象像が得られる限り他の方式でもよい。例えば、濃淡画像であってもよいしカラー画像であってもよい。また、また、カメラにより撮影される画像に限るものではなく、記憶媒体等に保存されたファイルまたは外部ネットワークから読み込んだ画像を入力しても特に問題はない。また、各画素が奥行きの情報を持つ距離画像であってもよい。 The image acquisition in the present specification is not limited to the input by the camera that acquires the grayscale image, and other methods may be used as long as the target image is obtained. For example, it may be a gray image or a color image. Further, the present invention is not limited to an image photographed by a camera, and there is no particular problem even if a file stored in a storage medium or an image read from an external network is input. Further, each pixel may be a distance image having depth information.
本願明細書の説明を通して、座標変換パラメータは、被計測物体の置かれているおおよその位置や姿勢があらかじめわかっているものとして、その値を座標変換パラメータとして取得することを例に説明した。しかし、本願明細書における座標変換パラメータの取得は、これに限るものではない。例えば、時間軸方向に連続して物体の位置姿勢を計測する場合には、前回（前時刻）の位置姿勢の計測値を概略の位置及び姿勢として用いてもよいし、様々な姿勢で撮像した被計測物体の画像をテンプレートとして保持しておき、入力する画像に対してテンプレートマッチングを行うことによって、被計測物体の大まかな位置と姿勢を推定してもよい。被計測物体の６自由度の位置及び姿勢を得られる限り、入力する座標変換パラメータに制限はなく、いかなる形式であってもよい。 Throughout the description of the present specification, the coordinate conversion parameter is described as an example in which the approximate position and orientation of the measured object are known in advance and the value is acquired as the coordinate conversion parameter. However, the acquisition of the coordinate conversion parameter in the present specification is not limited to this. For example, when measuring the position and orientation of an object continuously in the time axis direction, the measurement value of the previous position (previous time) may be used as the approximate position and orientation, or images are taken in various orientations. The rough position and orientation of the measured object may be estimated by holding an image of the measured object as a template and performing template matching on the input image. As long as the position and orientation of 6 degrees of freedom of the measurement object can be obtained, the input coordinate conversion parameters are not limited and may be in any format.
本願明細書における画像から検出する画像特徴としては、３次元形状モデルとの対応付けを行うことが可能である特徴であれば、いかなる特徴であっても特に問題ない。例えば、エッジ特徴の他に、Ｈａｒｒｉｓ特徴点やＦＡＳＴ特徴点などの、特徴点を検出しても特に問題はない。 As the image feature detected from the image in the present specification, any feature can be used as long as it can be associated with the three-dimensional shape model. For example, in addition to edge features, there is no particular problem even if feature points such as Harris feature points and FAST feature points are detected.
本願明細書における方向別参照マップとしては、方向別参照マップを構成する各画素に、所定の方向において近傍となるエッジ特徴の位置を参照できる参照情報が格納されている限り、方向別参照マップとして生成する情報に特に制限はない。例えば、画素値毎に、着目する方向にそって最も近いエッジ画素までの符号付き距離を保持した方向別符号付き距離場を方向別参照マップとして生成しても良いし、画像から検出したエッジ特徴にインデックス番号を付与しておき、着目する方向にそって最も近いエッジ画素を示すインデックス番号を画素値として保持した方向別インデックスマップを、方向別参照マップとして生成してもよい。また、方向別参照マップを生成する方向の種類および数としては、画像上で横方向・縦方向・斜め右上方向・斜め右下方向の計４方向に限るものではなく、例えば、画像上で縦・横の２方向のみからなる方向別符号付き距離場を生成しても良いし、斜め方向の分割数を増やして計１０方向の方向別符号付き距離場を生成しても良い。複数の方向に関する方向別符号付き距離場を生成する限り、生成する方法数と方向に制限はない。また、方向別符号付き距離場を保持する画像は、方向毎に画像を生成しても良いし、方向毎の符号付き距離場の画素値をＲＧＢ情報などのマルチプレーンの情報として保持し、複数の方向の方向別符号付き距離場の情報を１枚の画像で保持しても良い。複数の方向に関する方向別符号付き距離場の情報を保持する限り、方向別符号付き距離場を保持するデータ形式に制限はなく、いかなるデータ形式でも良い。 As the reference map for each direction in this specification, as long as the reference information that can refer to the position of the edge feature in the predetermined direction is stored in each pixel constituting the reference map for each direction, the reference map for each direction is used. There is no particular limitation on the information to be generated. For example, for each pixel value, a direction-specific signed distance field that holds the signed distance to the nearest edge pixel along the direction of interest may be generated as a direction-specific reference map, or edge features detected from the image An index number for each direction may be assigned, and an index map for each direction in which an index number indicating the edge pixel closest to the target direction is held as a pixel value may be generated as a reference map for each direction. In addition, the types and number of directions for generating the direction-specific reference map are not limited to the four directions in the horizontal direction, vertical direction, diagonal upper right direction, and diagonal lower right direction on the image. A direction-specific distance field consisting only of two horizontal directions may be generated, or a total number of 10-direction direction-specific distance fields may be generated by increasing the number of diagonal divisions. As long as a direction-specific signed distance field for a plurality of directions is generated, there is no limit on the number of generated methods and directions. In addition, an image that holds a signed distance field for each direction may be generated for each direction, or a pixel value of a signed distance field for each direction is held as multi-plane information such as RGB information. The information on the signed distance field for each direction may be held as one image. As long as the information of the direction-specific signed distance field regarding a plurality of directions is held, the data format for holding the direction-specific signed distance field is not limited, and any data format may be used.
本願明細書における方向別参照マップを選択する方法としては、画像座標系におけるモデルエッジ点の法線方向に基づく方法に限るものはない。例えば、例えば、被計測物体を時系列的にトラッキングするシチュエーションなど、次のフレームにおける被計測物体の画像上の位置がおおよそ予測できる場面では、物体の予測位置に向かって最近傍探索するように方向別参照マップを選択しても良い。モデル点の情報に基づいて選択する限り、方向別参照マップを選択する基準に制限はなく、いかなる基準で方向別参照マップを選択しても良い。 The method for selecting the direction-specific reference map in the present specification is not limited to the method based on the normal direction of the model edge point in the image coordinate system. For example, in a situation where the position of the measured object on the image in the next frame can be roughly predicted, such as in a situation where the measured object is tracked in time series, the direction to search for the nearest neighbor toward the predicted position of the object Another reference map may be selected. As long as the selection is made based on the model point information, the criteria for selecting the direction-specific reference map are not limited, and the direction-specific reference map may be selected by any criteria.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Claims (12)
前記物体を含む画像を取得する画像取得手段と、
前記画像から前記物体を表す画像特徴を検出する特徴検出手段と、
前記モデル情報を構成するモデル特徴の方向に基づいて、第１の方向における前記検出された画像特徴までの距離を格納した第１の参照距離情報と、前記第１の方向と異なる第２の方向における前記検出された画像特徴までの距離を格納した第２の参照距離情報とのうち、いずれかの参照距離情報を選択する選択手段と、
前記選択手段により選択された参照距離情報と、前記座標変換手段により変換したモデル特徴の位置とに基づいて、前記モデル特徴に対応する画像特徴を対応付ける対応付け手段と、
前記対応付け手段により対応付けられた結果に基づいて、前記物体の位置姿勢を導出する導出手段とを備えることを特徴とする情報処理装置。 Model holding means for holding model information of the object;
Image acquisition means for acquiring an image including the object;
Feature detection means for detecting an image feature representing the object from the image;
First reference distance information storing a distance to the detected image feature in a first direction based on a direction of model features constituting the model information, and a second direction different from the first direction Selecting means for selecting any reference distance information from the second reference distance information storing the distance to the detected image feature in
Association means for associating an image feature corresponding to the model feature based on the reference distance information selected by the selection means and the position of the model feature transformed by the coordinate transformation unit;
An information processing apparatus comprising: a derivation unit that derives the position and orientation of the object based on the result of association by the association unit.
前記第２の参照距離情報は、前記画像の画素に対応した要素をもつ第２の参照マップであり、該第２の参照マップの要素は、該要素に対応する画素から前期第２の方向において最も近い前記画像特徴までの距離を格納することを特徴とする請求項１または２に記載の情報処理装置。 The first reference distance information is a first reference map having an element corresponding to a pixel of the image, and the element of the first reference map is in the first direction from the pixel corresponding to the element. Store the distance to the nearest image feature,
The second reference distance information is a second reference map having elements corresponding to the pixels of the image, and the elements of the second reference map are in the second direction from the pixels corresponding to the elements. The information processing apparatus according to claim 1, wherein a distance to the nearest image feature is stored.
前記概略位置姿勢に基づいて、前記画像におけるモデル特徴の方向を決定する手段とを備え、
前記選択手段は、前記決定された前記画像におけるモデル特徴の方向に基づいて、前記参照距離情報を選択することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 Means for obtaining the approximate position and orientation of the object;
Means for determining a direction of a model feature in the image based on the approximate position and orientation;
The information processing apparatus according to claim 1, wherein the selection unit selects the reference distance information based on a direction of a model feature in the determined image.
前記画像から前記物体を表す画像特徴を検出する特徴検出工程と、
物体のモデル情報を構成するモデル特徴の方向に基づいて、第１の方向における前記検出された画像特徴までの距離を格納した第１の参照距離情報と、前記第１の方向と異なる第２の方向における前記検出された画像特徴までの距離を格納した第２の参照距離情報とのうち、いずれかの参照距離情報を選択する選択工程と、
前記選択工程において選択された参照距離情報と、前記座標変換手段により変換したモデル特徴の位置とに基づいて、前記モデル特徴に対応する画像特徴を対応付ける対応付け工程と、
前記対応付け工程において応付けられた結果に基づいて、前記物体の位置姿勢を導出する導出工程を備えることを特徴とする情報処理方法。 An image acquisition step of acquiring an image including an object;
A feature detection step of detecting an image feature representing the object from the image;
First reference distance information storing a distance to the detected image feature in the first direction based on the direction of the model feature constituting the model information of the object, and a second different from the first direction A selection step of selecting any reference distance information from second reference distance information storing a distance to the detected image feature in a direction;
An association step of associating an image feature corresponding to the model feature based on the reference distance information selected in the selection step and the position of the model feature transformed by the coordinate transformation unit;
An information processing method comprising a derivation step of deriving a position and orientation of the object based on a result assigned in the association step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016039356A JP6719925B2 (en) | 2016-03-01 | 2016-03-01 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016039356A JP6719925B2 (en) | 2016-03-01 | 2016-03-01 | Information processing device, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017156968A true JP2017156968A (en) | 2017-09-07 |
| JP6719925B2 JP6719925B2 (en) | 2020-07-08 |
Family
ID=59809842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016039356A Active JP6719925B2 (en) | 2016-03-01 | 2016-03-01 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6719925B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019060695A (en) * | 2017-09-26 | 2019-04-18 | 富士ゼロックス株式会社 | Three-dimensional object detector, robot, and program |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178967A (en) * | 2013-03-15 | 2014-09-25 | 3D Media Co Ltd | Three-dimensional object recognition device and three-dimensional object recognition method |
-
2016
- 2016-03-01 JP JP2016039356A patent/JP6719925B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178967A (en) * | 2013-03-15 | 2014-09-25 | 3D Media Co Ltd | Three-dimensional object recognition device and three-dimensional object recognition method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019060695A (en) * | 2017-09-26 | 2019-04-18 | 富士ゼロックス株式会社 | Three-dimensional object detector, robot, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6719925B2 (en) | 2020-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| JP6415066B2 (en) | Information processing apparatus, information processing method, position and orientation estimation apparatus, robot system | |
| US11003939B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP5612916B2 (en) | Position / orientation measuring apparatus, processing method thereof, program, robot system | |
| JP3735344B2 (en) | Calibration apparatus, calibration method, and calibration program | |
| US9495750B2 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
| JP5839971B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6323993B2 (en) | Information processing apparatus, information processing method, and computer program | |
| JP6324025B2 (en) | Information processing apparatus and information processing method | |
| JP5480667B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, program | |
| KR100855657B1 (en) | System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor | |
| JP6092530B2 (en) | Image processing apparatus and image processing method | |
| JP2016103230A (en) | Image processor, image processing method and program | |
| JP2011085971A (en) | Apparatus, method, and program for processing image, recording medium, and image processing system | |
| JP6936974B2 (en) | Position / orientation estimation device, position / orientation estimation method and program | |
| JP6626338B2 (en) | Information processing apparatus, control method for information processing apparatus, and program | |
| JP2018022247A (en) | Information processing apparatus and control method thereof | |
| JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| JP6040264B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
| JP2014053018A (en) | Information processing device, control method for information processing device, and program | |
| JP5530391B2 (en) | Camera pose estimation apparatus, camera pose estimation method, and camera pose estimation program | |
| JP6719925B2 (en) | Information processing device, information processing method, and program | |
| JP2018200504A (en) | Geometric adjustment apparatus, method and program | |
| JP2007034964A (en) | Method and device for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter, and program for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200617 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6719925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |