JP2012086285A - Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program - Google Patents
Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program Download PDFInfo
- Publication number
- JP2012086285A JP2012086285A JP2010232961A JP2010232961A JP2012086285A JP 2012086285 A JP2012086285 A JP 2012086285A JP 2010232961 A JP2010232961 A JP 2010232961A JP 2010232961 A JP2010232961 A JP 2010232961A JP 2012086285 A JP2012086285 A JP 2012086285A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- homography matrix
- unit
- local
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラムに関する。 The present invention relates to a tracking robot device, a tracking robot control method, a tracking robot control program, a homography matrix acquisition device, a homography matrix acquisition method, and a homography matrix acquisition program.
従来、ハンド部に撮像装置を取り付けたマニピュレーターを制御し、撮像装置の位置および向きを自在に動かして検査対象物体を撮像し、その撮像画像に基づいて外観検査を行う検査システムが知られている（例えば、特許文献１参照）。この特許文献１には、ロボットのアームに取り付けられたカメラがあらかじめ検査対象物体を撮影して得た参照画像を記憶しておき、当該ロボットが、実際の検査対象物体の撮像画像と参照画像とに基づく視覚フィードバック制御に基づいて、アームの姿勢を制御し検査対象物体を追跡する技術が記載されている。
2. Description of the Related Art Conventionally, an inspection system that controls a manipulator having an imaging device attached to a hand unit, freely moves the position and orientation of the imaging device to image an object to be inspected, and performs an appearance inspection based on the captured image is known. (For example, refer to Patent Document 1). In this
しかしながら、上記のような従来の検査システムにおいては、トラッキングのリアルタイム性と安定性とはトレードオフの関係にある。すなわち、トラッキングの処理速度を速くしてリアルタイム性を確保しようとすると、検査対象物体の誤検出数が多くなる一方、トラッキングの処理時間に余裕をもたせると、検査対象物体の誤検出数は少なくなる。 However, in the conventional inspection system as described above, the real-time property of tracking and the stability are in a trade-off relationship. In other words, increasing the tracking processing speed to ensure real-time performance increases the number of erroneous detections of the inspection target object, while increasing the tracking processing time reduces the number of erroneous detections of the inspection target object. .
そこで、本発明は、上記事情に鑑みてなされたものであり、リアルタイム性を確保し且つ安定性の高いトラッキングを行うことのできる、追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラム、を提供することを目的とする。 Accordingly, the present invention has been made in view of the above circumstances, and can provide a tracking robot apparatus, a tracking robot control method, a tracking robot control program, a homography that can ensure real-time performance and perform highly stable tracking. An object is to provide a matrix acquisition device, a homography matrix acquisition method, and a homography matrix acquisition program.
［１］上記の課題を解決するため、本発明の一態様である追跡ロボット装置は、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部と、前記検査対象物体の参照画像データを記憶する参照画像記憶部と、前記撮像部が出力した画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、を備えることを特徴とする。
［２］上記［１］記載の追跡ロボット装置において、前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求めることを特徴とする。
［３］上記［２］記載の追跡ロボット装置において、前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算することを特徴とする。
[1] In order to solve the above-described problem, a tracking robot apparatus according to one aspect of the present invention includes a robot body including a movable arm portion and a hand portion movably provided on the arm portion, and the hand portion. An imaging unit that images the inspection target object and outputs image data; a reference image storage unit that stores reference image data of the inspection target object; an image data acquisition unit that captures image data output by the imaging unit; , Corresponding to the first image data captured by the image data acquisition unit, the reference image data stored in the reference image storage unit, and the second image data that is past image data than the first image data. A local homography matrix corresponding to the first image data is calculated based on the local homography matrix and the local homography corresponding to the calculated first image data is calculated. Using the local homography matrix acquisition unit for storing the Raffy matrix and the local homography matrix corresponding to the first image data calculated by the local homography matrix acquisition unit, the first image data is obtained. An image data conversion unit that generates converted image data by converting, and analyzes a correlation between the converted image data generated by the image data conversion unit and the reference image data stored in the reference image storage unit An image correlation analysis unit that calculates a degree of similarity, image feature points extracted from the first image data captured by the image data acquisition unit and the reference image data stored in the reference image storage unit, and these A feature point extraction unit for calculating a relative position of the feature point; and a global homology corresponding to the first image data based on the relative position of the feature point calculated by the feature point extraction unit. A global homography matrix acquisition unit that calculates a Luffy matrix and stores a global homography matrix corresponding to the calculated first image data, and the similarity calculated by the image correlation analysis unit exceeds a threshold value Includes reading and storing a local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit, and the similarity calculated by the image correlation analysis unit is equal to or less than the threshold value. A homography matrix transfer unit that reads and stores a global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit, and the homography matrix transfer unit To a local homography matrix corresponding to the first image data or a global homograph corresponding to the first image data. The matrix is read as homography matrix data, the posture of the robot body is calculated based on the read homography matrix data, and the operation of at least one of the arm unit and the hand unit of the robot body is performed. And a robot control unit for controlling.
[2] In the tracking robot device according to [1], the image correlation analysis unit calculates a normalized cross-correlation as an image correlation between the converted image data and the reference image data to obtain the similarity. It is characterized by that.
[3] In the tracking robot device according to the above [2], the local homography matrix acquisition unit stores the first image data, the reference image data, and the second homography matrix acquisition unit stored in the local homography matrix acquisition unit. A transformation matrix for calculating a local homography matrix corresponding to the first image data is calculated based on the local homography matrix corresponding to the image data of the first image data, and the calculated transformation matrix and the second The local homography matrix corresponding to the first image data is calculated based on the local homography matrix corresponding to the image data.
［４］上記の課題を解決するため、本発明の一態様である追跡ロボット制御方法は、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体の前記ハンド部に設けられた撮像部が、検査対象物体を撮像して画像データを出力する撮像ステップと、前記撮像ステップにおいて出力した画像データを取り込む画像データ取得ステップと、前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、前記ホモグラフィー行列転送ステップにおいて前記記憶部に記憶した、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして前記記憶部から読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御ステップと、を有することを特徴とする。
［５］上記［４］記載の追跡ロボット制御方法において、前記画像相関分析ステップは、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求めることを特徴とする。
［６］上記［５］記載の追跡ロボット制御方法において、前記局所的ホモグラフィー行列取得ステップは、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得ステップにおいて記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算することを特徴とする。
[4] In order to solve the above-described problem, a tracking robot control method according to an aspect of the present invention is provided in the hand portion of a robot body including a movable arm portion and a hand portion movably provided on the arm portion. An imaging step in which the obtained imaging unit images the inspection target object and outputs image data; an image data acquisition step for capturing image data output in the imaging step; and a first image captured in the image data acquisition step The first image data based on the data, the reference image data stored in the reference image storage unit, and the local homography matrix corresponding to the second image data that is image data past the first image data. The local homography matrix corresponding to is calculated, and the local homography matrix corresponding to the calculated first image data is stored. Using the local homography matrix corresponding to the first image data calculated in the local homography matrix acquisition step and the local homography matrix acquisition step to convert and convert the first image data Image data conversion step for generating image data, and calculating the similarity by analyzing the correlation between the converted image data generated in the image data conversion step and the reference image data stored in the reference image storage unit And a local homography matrix corresponding to the first image data stored in the local homography matrix acquisition step when the similarity calculated in the image correlation analysis step exceeds a threshold value. Is stored in the storage unit and calculated in the image correlation analysis step. When the similarity is equal to or less than the threshold, the first image data calculated and stored based on the relative position of the feature point of the image between the first image data and the reference image data stored in the reference image storage unit. A homography matrix transfer step of reading a global homography matrix corresponding to one image data and storing it in the storage unit, and corresponding to the first image data stored in the storage unit in the homography matrix transfer step A local homography matrix or a global homography matrix corresponding to the first image data is read from the storage unit as homography matrix data, and the posture of the robot body is determined based on the read homography matrix data. Calculate and operate at least one of the arm part and the hand part of the robot body And a robot control step for controlling.
[5] In the tracking robot control method according to [4] above, the image correlation analysis step calculates a normalized cross-correlation as an image correlation between the converted image data and the reference image data, and calculates the similarity. It is characterized by seeking.
[6] In the tracking robot control method according to [5] above, the local homography matrix acquisition step includes the first image data, the reference image data, and the local homography matrix acquisition step stored in the local homography matrix acquisition step. A transformation matrix for calculating a local homography matrix corresponding to the first image data is calculated based on the local homography matrix corresponding to the second image data, and the calculated transformation matrix and the first A local homography matrix corresponding to the first image data is calculated based on a local homography matrix corresponding to the second image data.
［７］上記の課題を解決するため、本発明の一態様である追跡ロボット制御プログラムは、可動のアーム部とこのアーム部に可動に設けられるハンド部とを備えるロボット本体と、前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部とを制御するための、前記検査対象物体の参照画像データを記憶する参照画像記憶部を備えたコンピューターを、前記撮像部が出力した画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、として機能させる。
［８］上記［７］記載の追跡ロボット制御プログラムにおいて、前記画像相関分析部は、前記変換画像データと前記参照画像データとの画像の相関として、正規化相互相関を計算して前記類似度を求める。
［９］上記［８］記載の追跡ロボット制御プログラムにおいて、前記局所的ホモグラフィー行列取得部は、前記第１の画像データと前記参照画像データと該局所的ホモグラフィー行列取得部に記憶された第２の画像データに対応する局所的ホモグラフィー行列とに基づいて、前記第１の画像データに対応する局所的ホモグラフィー行列を計算するための変換行列を計算し、この計算した変換行列と前記第２の画像データに対応する局所的ホモグラフィー行列とに基づいて前記第１の画像データに対応する局所的ホモグラフィー行列を計算する。
[7] In order to solve the above problem, a tracking robot control program according to an aspect of the present invention includes a robot body including a movable arm portion and a hand portion movably provided on the arm portion; The imaging unit outputs a computer provided with a reference image storage unit for storing the reference image data of the inspection target object for controlling the imaging unit provided to image the inspection target object and output the image data An image data acquisition unit that captures the image data, the first image data acquired by the image data acquisition unit, the reference image data stored in the reference image storage unit, and a past image than the first image data. Calculating a local homography matrix corresponding to the first image data based on the local homography matrix corresponding to the second image data being data; A local homography matrix acquisition unit that stores a local homography matrix corresponding to the calculated first image data; and a local homography matrix acquisition unit that calculates the local image corresponding to the first image data calculated by the local homography matrix acquisition unit An image data conversion unit that converts the first image data to generate converted image data using a homography matrix, and stores the converted image data generated by the image data conversion unit and the reference image storage unit. An image correlation analysis unit that analyzes the correlation of the image with the reference image data and calculates a similarity, the first image data captured by the image data acquisition unit, and the reference image storage unit Extracting feature points of an image from reference image data and calculating a relative position of these feature points; and a relative position of the feature points calculated by the feature point extraction unit And calculating a global homography matrix corresponding to the first image data, and storing a global homography matrix corresponding to the calculated first image data, and the image If the similarity calculated by the correlation analysis unit exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit is read and stored, and If the similarity calculated by the image correlation analysis unit is equal to or less than the threshold value, the global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit is read and stored. From the homography matrix transfer unit and the homography matrix transfer unit, the local homography matrix corresponding to the first image data or Reads out a global homography matrix corresponding to the first image data as homography matrix data, calculates the posture of the robot body based on the read homography matrix data, and the arm of the robot body And a robot control unit that controls at least one of the operation of the hand unit.
[8] In the tracking robot control program according to [7], the image correlation analysis unit calculates a normalized cross-correlation as an image correlation between the converted image data and the reference image data, and calculates the similarity. Ask.
[9] In the tracking robot control program according to [8], the local homography matrix acquisition unit is configured to store the first image data, the reference image data, and the local homography matrix acquisition unit stored in the local homography matrix acquisition unit. A transformation matrix for calculating a local homography matrix corresponding to the first image data is calculated based on the local homography matrix corresponding to the second image data, and the calculated transformation matrix and the first A local homography matrix corresponding to the first image data is calculated based on a local homography matrix corresponding to the second image data.
［１０］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得装置は、参照画像データを記憶する参照画像記憶部と、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、を備えることを特徴とする。 [10] In order to solve the above-described problem, a homography matrix acquisition device according to an aspect of the present invention includes a reference image storage unit that stores reference image data, an image data acquisition unit that captures image data, and the image data. The first image data captured by the acquisition unit, the reference image data stored in the reference image storage unit, and the local homology corresponding to the second image data that is image data that is past the first image data. A local homography matrix acquisition unit for calculating a local homography matrix corresponding to the first image data based on the graphy matrix and storing the local homography matrix corresponding to the calculated first image data; , Using the local homography matrix corresponding to the first image data calculated by the local homography matrix acquisition unit, the first image data. An image data conversion unit that converts the image data to generate converted image data, and analyzes an image correlation between the converted image data generated by the image data conversion unit and the reference image data stored in the reference image storage unit An image correlation analysis unit for calculating a similarity, and extracting image feature points from the first image data captured by the image data acquisition unit and the reference image data stored in the reference image storage unit. A feature point extraction unit that calculates the relative positions of these feature points; and a global homography matrix corresponding to the first image data based on the relative positions of the feature points calculated by the feature point extraction unit; A global homography matrix acquisition unit that stores a global homography matrix corresponding to the calculated first image data, and the similarity calculated by the image correlation analysis unit exceeds a threshold value In this case, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit is read and stored, and the similarity calculated by the image correlation analysis unit is the threshold value. A homography matrix transfer unit that reads and stores a global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit if And
［１１］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得方法は、画像データを取り込む画像データ取得ステップと、前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、を有することを特徴とする。 [11] In order to solve the above-described problem, a homography matrix acquisition method according to an aspect of the present invention includes an image data acquisition step of acquiring image data, and first image data acquired in the image data acquisition step and a reference Corresponding to the first image data based on the reference image data stored in the image storage unit and the local homography matrix corresponding to the second image data which is the past image data than the first image data. Calculating a local homography matrix, storing a local homography matrix corresponding to the calculated first image data, and storing the local homography matrix; and calculating the local homography matrix in the local homography matrix acquisition step. Transforming the first image data using a local homography matrix corresponding to one image data; The image data converting step for generating the converted image data, and analyzing the correlation of the image between the converted image data generated in the image data converting step and the reference image data stored in the reference image storage unit to determine the similarity An image correlation analysis step to calculate, and a local homography corresponding to the first image data stored in the local homography matrix acquisition step when the similarity calculated in the image correlation analysis step exceeds a threshold value A matrix is read and stored in a storage unit, and when the similarity calculated in the image correlation analysis step is equal to or less than the threshold value, the first image data and the reference image data stored in the reference image storage unit, Corresponding to the first image data calculated and stored based on the relative positions of the feature points of the image And having a homography matrix transfer step of storing in the storage unit reads the motor chromatography matrix, a.
［１２］上記の課題を解決するため、本発明の一態様であるホモグラフィー行列取得プログラムは、参照画像データを記憶する参照画像記憶部を備えたコンピューターを、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、として機能させる。 [12] In order to solve the above-described problem, a homography matrix acquisition program according to an aspect of the present invention includes a computer including a reference image storage unit that stores reference image data, and an image data acquisition unit that captures image data. , Corresponding to the first image data captured by the image data acquisition unit, the reference image data stored in the reference image storage unit, and the second image data that is past image data than the first image data. And calculating a local homography matrix corresponding to the first image data based on the local homography matrix and storing the local homography matrix corresponding to the calculated first image data A local homography line corresponding to the first image data calculated by the matrix acquisition unit and the local homography matrix acquisition unit; And converting the first image data to generate converted image data, the converted image data generated by the image data conversion unit, and the reference stored in the reference image storage unit An image correlation analysis unit that calculates the degree of similarity by analyzing the correlation of the image with the image data, the first image data captured by the image data acquisition unit, and the reference image data stored in the reference image storage unit A feature point extracting unit that extracts feature points of the image and calculating relative positions of the feature points, and corresponds to the first image data based on the relative positions of the feature points calculated by the feature point extracting unit. A global homography matrix acquisition unit that calculates a global homography matrix and stores a global homography matrix corresponding to the calculated first image data, and the image correlation analysis unit calculates When the similarity exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit is read and stored, and the image correlation analysis unit When the calculated similarity is equal to or less than the threshold value, a homography matrix transfer that reads and stores a global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit Function as part.
ここで、第１の画像データは現在のフレーム画像データであり、第２の画像データは第１の画像データよりも１フレーム前に該当するフレーム画像データである。なお、第２の画像データは第１の画像データよりも２フレーム以上前に該当するフレーム画像データであってもよい。
局所的ホモグラフィー行列は、並進が少なく且つ回転が小さい場合に有効なホモグラフィー行列である。また、大域的ホモグラフィー行列は、並進が多いかまたは回転が大きい場合、または並進が多く回転も大きい場合に用いられるロバストなホモグラフィー行列である。
第１の画像データに対応する局所的ホモグラフィー行列と第１の画像データに対応する大域的ホモグラフィー行列とのいずれのホモグラフィー行列を最終段に記憶するかは、第１の画像データをホモグラフィー行列変換した変換画像と参照画像との類似度に応じて決定する。つまり、変換画像と参照画像との画像相関が高い場合は第１の画像データに対応する局所的ホモグラフィー行列を最終段に記憶し、変換画像と参照画像との画像相関が低い場合は第１の画像データに対応する大域的ホモグラフィー行列を最終段に記憶する。
Here, the first image data is current frame image data, and the second image data is frame image data corresponding to one frame before the first image data. Note that the second image data may be frame image data corresponding to two or more frames before the first image data.
The local homography matrix is a homography matrix effective when the translation is small and the rotation is small. The global homography matrix is a robust homography matrix used when there is a lot of translation or a large rotation, or when there is a lot of translation and a large rotation.
Whether the homography matrix of the local homography matrix corresponding to the first image data or the global homography matrix corresponding to the first image data is stored in the final stage depends on whether the first image data is homologous. It is determined according to the similarity between the converted image obtained by the graphy matrix conversion and the reference image. That is, when the image correlation between the converted image and the reference image is high, a local homography matrix corresponding to the first image data is stored in the last stage, and when the image correlation between the converted image and the reference image is low, the first The global homography matrix corresponding to the image data is stored in the last stage.
一般的に、変換行列を計算してホモグラフィー行列を求める処理は、画像の特徴点を抽出して特徴点の相対位置を計算しこれら特徴点の相対位置によってホモグラフィー行列を求める処理よりもトラッキングの安定性（精度）が低い一方、処理負荷が大幅に軽い。また、変換行列の計算精度は、変換行列を計算するための空間領域が狭い（並進が少なく且つ回転が小さい）ほど高い。
よって、変換行列を計算しホモグラフィー行列を求めて記憶する処理を、変換画像と参照画像との画像相関が高い場合に限ることにより、トラッキングの高い安定性（高い精度）を確保することができる。
In general, the process of calculating the transformation matrix and obtaining the homography matrix is more tracking than the process of extracting the feature points of the image, calculating the relative positions of the feature points, and calculating the homography matrix based on the relative positions of these feature points. While the stability (accuracy) is low, the processing load is significantly lighter. In addition, the calculation accuracy of the transformation matrix is higher as the spatial region for calculating the transformation matrix is narrower (less translation and less rotation).
Therefore, high stability (high accuracy) of tracking can be ensured by limiting the process of calculating the transformation matrix and obtaining and storing the homography matrix only when the image correlation between the transformed image and the reference image is high. .
したがって、本発明の一態様である追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラムでは、変換画像と参照画像との画像相関が高い場合は、比較的処理負荷の軽い計算処理による局所的ホモグラフィー行列を最終段に記憶し、変換画と参照画像との画像相関が低い場合は、比較的処理負荷の重い大域的ホモグラフィー行列を最終段に記憶するようにした。 Therefore, in the tracking robot device, the tracking robot control method, the tracking robot control program, the homography matrix acquisition device, the homography matrix acquisition method, and the homography matrix acquisition program that are one embodiment of the present invention, When the image correlation is high, the local homography matrix by the calculation processing with a relatively low processing load is stored in the final stage. When the image correlation between the converted image and the reference image is low, the global processing load is relatively heavy. The homography matrix was stored in the last stage.
このように構成したことにより、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。これは、例えば、追跡ロボット装置において、検査対象物体の外観検査時間を短くするためにロボット本体の移動速度を速くした場合でも、トラッキングの誤認識が発生せず信頼性の高い外観検査を行うことができる。 With this configuration, tracking with a light processing load and high stability can be performed. In other words, real-time performance can be ensured and highly accurate tracking can be performed. This is because, for example, in a tracking robot apparatus, even if the moving speed of the robot body is increased in order to shorten the appearance inspection time of the object to be inspected, a reliable appearance inspection is performed without causing misrecognition of tracking. Can do.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
まず、本発明の一実施形態において用いられるホモグラフィー行列について説明する。三次元空間における撮像装置の座標系をＦ＊とし、この撮像装置が任意の点Ａを撮像して得る画像における点Ａの像をｐ（ボールド体）＊＝［ｕ＊ ｖ＊ １］Ｔとする。なお、“（ボールド体）”との記載は、その記載の直前の文字がボールド体であることを表し、その文字がベクトルまたは行列であることを示す。前記の撮像装置を移動し、その移動先における撮像装置の座標系をＦとし、この撮像装置が前記の点Ａを撮像して得る画像における点Ａの像をｐ（ボールド体）＝［ｕ ｖ １］Ｔとする。また、Ｆ＊とＦとの相対距離を表す並進ベクトルをｔ（ボールド体）とし、姿勢変化を表す回転ベクトルをＲ（ボールド体）とする。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
First, the homography matrix used in one embodiment of the present invention will be described. The coordinate system of the imaging device in the three-dimensional space is F *, and the image of the point A in the image obtained by imaging the arbitrary point A by this imaging device is p (bold body) * = [u * v * 1] T To do. The description “(bold)” indicates that the character immediately before the description is bold, and that the character is a vector or a matrix. An image of the point A in an image obtained by moving the image pickup device and imaging the point A by the image pickup device at the movement destination is F (bold body) = [u v 1] T. Also, a translation vector representing the relative distance between F * and F is t (bold body), and a rotation vector representing the posture change is R (bold body).
点Ａが平面π上に存在するとき、点ｐ（ボールド体）＊と点ｐ（ボールド体）との関係を表す式として下記の式（１）が成立する場合を考える。ただし、ｓは、点Ａと２つの座標系Ｆ＊とＦとの距離の割合で決まる値である。Ｇ（ボールド体）は、ホモグラフィー行列である。 Consider a case where the following expression (1) is established as an expression representing the relationship between the point p (bold body) * and the point p (bold body) when the point A exists on the plane π. However, s is a value determined by the ratio of the distance between the point A and the two coordinate systems F * and F. G (bold) is a homography matrix.
ホモグラフィー行列Ｇ（ボールド体）は、３行３列の行列であり、下記の式（２）のように表される。 The homography matrix G (bold body) is a matrix of 3 rows and 3 columns, and is represented by the following formula (2).
また、ホモグラフィー行列Ｇ（ボールド体）は、下記の式（３）のように表すことができる。ただし、ｄは、撮像装置と平面πとの間の距離、ｎ（ボールド体）は、平面πの法線ベクトルである。 In addition, the homography matrix G (bold body) can be expressed as the following equation (3). Here, d is a distance between the imaging device and the plane π, and n (bold body) is a normal vector of the plane π.
ホモグラフィー行列Ｇ（ボールド体）を推定することができれば、並進ベクトルｔ（ボールド体）、回転ベクトルＲ（ボールド体）、平面πの法線ベクトルｎ（ボールド体）、および撮像装置と平面πとの間の距離ｄを計算することができる。 If the homography matrix G (bold body) can be estimated, the translation vector t (bold body), the rotation vector R (bold body), the normal vector n (bold body) of the plane π, and the imaging device and the plane π The distance d between can be calculated.
平面π上に存在する全ての点における、各点の撮像画像への投影点の座標の組を、式（１）を用いて表すと以下のようになる。まず、値ｓを下記の式（４）のように定義する。 A set of coordinates of projection points on the captured image of each point at all points existing on the plane π is expressed as follows using Expression (1). First, the value s is defined as the following formula (4).
式（１）および式（４）により、下記の式（５）が成立する。ただし、ｗ（ボールド体）は、ホモグラフィー行列Ｇ（ボールド体）の関数であり、透視投影変換行列である。この透視投影変換行列を用いて点ｐ（ボールド体）＊を対応する点ｐ（ボールド体）に変換することを、透視投影変換と呼ぶ。 The following equation (5) is established by the equations (1) and (4). However, w (bold body) is a function of the homography matrix G (bold body) and is a perspective projection transformation matrix. Converting the point p (bold body) * to the corresponding point p (bold body) using this perspective projection transformation matrix is called perspective projection transformation.
式（５）によれば、平面π上に存在する点については、その平面πのホモグラフィー行列が既知であれば、一方の撮像画像上の点に対して他方の撮像画像上の対応する点を一意に求めることができる。
したがって、ホモグラフィー行列を求めることにより、元画像に対して、注目画像がどれだけ並進し、またどれだけ回転しているかを求める、言い換えると、注目領域のトラッキングを行うことができる。
According to Equation (5), for a point existing on the plane π, if the homography matrix of the plane π is known, a point on the other captured image corresponds to a point on the other captured image. Can be obtained uniquely.
Therefore, by obtaining the homography matrix, it is possible to obtain how much the image of interest is translated and how much is rotated with respect to the original image, in other words, the region of interest can be tracked.
次に、本実施形態であるホモグラフィー行列取得装置を適用した追跡ロボット装置を含む外観検査装置について説明する。
図１は、本実施形態において、外観検査装置に含まれる検査ロボット装置の概略の外観図である。同図に示すように、検査ロボット装置１０は、ロボット本体１２に撮像装置１１が取り付けられて構成される。
ロボット本体１２は、地面に固定された支持台１２ａと、旋回および屈伸動作が可能なアーム部１２ｂと、回転および首振り動作が可能なハンド部１２ｃとを含んで構成される。ロボット本体１２は、支持台１２ａとアーム部１２ｂとハンド部１２ｃとの組み合わせによって６軸の自由度を有し、撮像部１１の位置および向きを自在に変更することができる。
なお、ロボット本体１２の自由度は６軸に限られない。また、支持台１２ａは、壁や天井等、地面に対して固定された場所に設置してもよい。
Next, an appearance inspection apparatus including a tracking robot apparatus to which the homography matrix acquisition apparatus according to this embodiment is applied will be described.
FIG. 1 is a schematic external view of an inspection robot apparatus included in the external appearance inspection apparatus in the present embodiment. As shown in the figure, the
The
The degree of freedom of the
図２は、外観検査装置の概略の機能構成を表すブロック図である。同図に示すように、外観検査装置１は、検査ロボット装置１０と、画像解析装置２０と、ホモグラフィー行列取得装置３０と、ロボット制御装置４５とを備える。
検査ロボット装置１０は、図１にも示したように、撮像装置１１とロボット本体１２とを備える。撮像装置１１は、検査対象物体を撮像してその画像データを出力する。撮像装置１１は、例えば１２０フレーム／秒（ｆｐｓ；ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）のフレームレートで画像データを出力するビデオカメラ装置である。ロボット本体１２は、上述したように、取り付けた撮像装置１１を自由空間中で自在に移動させるためのロボット（マニピュレーター）である。
FIG. 2 is a block diagram illustrating a schematic functional configuration of the appearance inspection apparatus. As shown in the figure, the
As shown in FIG. 1, the
画像解析装置２０は、検査ロボット装置１０の撮像装置１１が連続して出力する画像データを順次取り込む。そして、画像解析装置２０は、取り込んだ画像データごとに、その画像に含まれる検査対象物体の外観の画像と、あらかじめ記憶したテンプレート画像データのテンプレート画像との比較を行って、検査対象物体の形状の不良等に関する検査結果データを出力する。テンプレート画像は、検査対象物体のリファレンス（例えば、検査対象物体の良品サンプル）を所望の方向から撮像して得られる画像である。
The
ホモグラフィー行列取得装置３０は、撮像装置１１が連続して出力する画像データを順次取り込む。そして、ホモグラフィー行列取得装置３０は、取り込んだ画像データごとに局所的ホモグラフィー行列を計算する。また、ホモグラフィー行列取得装置３０は、局所的ホモグラフィー行列を計算するレートよりも低いレートで、大域的ホモグラフィー行列を計算する。
The homography
局所的ホモグラフィー行列の局所的とは、この局所的ホモグラフィー行列を計算するために必要な空間領域が比較的狭いことを意味する。つまり、局所的ホモグラフィー行列は、並進が少なく且つ回転が小さい場合に有効なホモグラフィー行列である。画像データの注目領域と局所的ホモグラフィー行列とに基づいてトラッキングする場合、高い精度のトラッキングを行うことができる。
また、大域的ホモグラフィー行列の大域的とは、この大域的ホモグラフィー行列を計算するために必要な空間領域が比較的広いことを意味する。つまり、大域的ホモグラフィー行列は、並進が多いかまたは回転が大きい場合、または並進が多く回転も大きい場合に用いられるロバストなホモグラフィー行列である。
The locality of the local homography matrix means that a spatial region necessary for calculating the local homography matrix is relatively narrow. That is, the local homography matrix is a homography matrix effective when the translation is small and the rotation is small. When tracking is performed based on a region of interest of image data and a local homography matrix, high-accuracy tracking can be performed.
In addition, the global of the global homography matrix means that a spatial area necessary for calculating the global homography matrix is relatively wide. That is, the global homography matrix is a robust homography matrix that is used when there is a lot of translation or a large rotation, or when there is a lot of translation and a large rotation.
ホモグラフィー行列取得装置３０は、撮像装置１１から画像データを取り込むごとに、局所的ホモグラフィー行列を計算する。そして、ホモグラフィー行列取得装置３０は、その計算した局所的ホモグラフィー行列を用いて画像データを変換し、この変換した画像データの画像（変換画像）と参照画像との相関を求める。そして、相関が高い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列が読み出されるように制御する一方、相関が低い場合は、当該画像データに対応して計算した局所的ホモグラフィー行列の読み出しを禁止し、最新の大域的ホモグラフィー行列が読み出されるように制御する。ホモグラフィー行列取得装置３０は、このようにして計算した局所的ホモグラフィー行列または大域的ホモグラフィー行列をホモグラフィー行列データとして出力可能に記憶する。
The homography
ロボット制御装置４５は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込み、そのホモグラフィー行列データに基づいて、ロボット本体１２の姿勢を制御する。
The
外観検査装置１において、追跡ロボット装置は、検査ロボット装置１０とホモグラフィー行列取得装置３０とロボット制御装置４５とを含むものである。
In the
図３は、ホモグラフィー行列取得装置３０の機能構成を表すブロック図である。同図に示すように、ホモグラフィー行列取得装置３０は、画像データ取得部３１と、画像相関分析部３２と、画像データ変換部３３と、局所的ホモグラフィー行列計算部３４と、局所的ホモグラフィー行列記憶部３５と、ホモグラフィー行列転送部３６と、大域的ホモグラフィー行列記憶部３７と、参照画像記憶部３８と、特徴点抽出部３９と、大域的ホモグラフィー行列計算部４０とを備える。
FIG. 3 is a block diagram illustrating a functional configuration of the homography
参照画像記憶部３８は、検査対象物体のリファレンス（例えば、検査対象物体の良品サンプル）を所望の方向から撮像して得られる参照画像データを記憶する。参照画像記憶部３８は、例えばメモリーで実現される。
The reference
画像データ取得部３１は、検査ロボット装置１０の撮像装置１１が連続して出力する画像データを順次取り込む。画像データ取得部３１は、撮像装置１１から画像データ（現在の画像データ；第１の画像データ）を取り込むごとに、この現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。また、画像データ取得部３１は、局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレートで、撮像装置１１から取り込んだ画像データ（現在の画像データ）を特徴点抽出部３９に供給する。
例えば、撮像装置１１が１２０フレーム／秒のフレームレートで画像データを出力する場合、画像データ取得部３１は、そのフレームレートで画像データを順次取り込んで局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。また、画像データ取得部３１は、局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレート（例えば、２０フレーム／秒または３０フレーム／秒）で、撮像装置１１から取り込んだ画像データを特徴点抽出部３９に供給する。
The image
For example, when the
画像データ取得部３１は、局所的ホモグラフィー行列計算部３４と画像データ変換部３３と画像相関分析部３２とが実行する処理の時間よりも長い時間の間隔に対応するレートで、現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。
また、画像データ取得部３１は、特徴点抽出部３９と大域的ホモグラフィー行列計算部４０とが大域的ホモグラフィー行列を計算することのできる時間よりも長い時間の間隔に対応するレートで、現在の画像データを特徴点抽出部３９に供給する。
The image
Further, the image
画像データ変換部３３は、局所的ホモグラフィー行列計算部３４から供給される現在の画像データに対応する局所的ホモグラフィー行列と、画像データ取得部３１から供給される現在の画像データとを取り込む。画像データ変換部３３は、取り込んだ現在の画像データに対応する局所的ホモグラフィー行列を用いて現在の画像データを変換して変換画像データを生成し、この変換画像データを画像相関分析部３２に供給する。
The image
画像相関分析部３２は、画像データ変換部３３から供給される変換画像データと、参照画像記憶部３８から読み出す参照画像データとを取り込む。画像相関分析部３２は、変換画像データの画像（変換画像）と参照画像データの画像（参照画像）との画像相関を計算（分析）して、変換画像と参照画像との類似度を求める。画像相関分析部３２は、画像相関の計算方法として、例えば正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を適用して類似度を求める。
正規化相互相関によって類似度を計算する式は、例えば、下記の式（６）により表される。ただし、ＲＮＣＣは類似度、Ｔ（ｉ，ｊ）は参照画像の輝度値、Ｉ（ｉ，ｊ）は変換画像の輝度値である。
The image
A formula for calculating the similarity by the normalized cross-correlation is expressed by, for example, the following formula (6). Here, RNCC is the similarity, T (i, j) is the luminance value of the reference image, and I (i, j) is the luminance value of the converted image.
本実施形態において適用する式（６）によれば、類似度ＲＮＣＣは、０以上１以下の範囲内の値であり、画像の相関が高いほど１に近い値となる。類似度ＲＮＣＣが１である場合は、変換画像と参照画像とは一致していることとなる。 According to Expression (6) applied in the present embodiment, the similarity RNCC is a value within a range of 0 or more and 1 or less, and becomes a value closer to 1 as the correlation between images is higher. When the similarity RNCC is 1, the converted image and the reference image match.
なお、画像相関分析部３２は、正規化相互相関以外にも、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の計算によって類似度を求めてもよい。
In addition to the normalized cross-correlation, the image
画像相関分析部３２は、計算した類似度に応じて局所的ホモグラフィー行列の転送制御と、大域的ホモグラフィー行列の転送制御とを切り替える。具体的には、画像相関分析部３２は、例えば正規化相互相関を計算して得た類似度ＲＮＣＣと、あらかじめ記憶した閾値とを比較し、類似度ＲＮＣＣが閾値よりも大きいと判定した場合は、局所的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給する。一方、画像相関分析部３２は、類似度ＲＮＣＣが閾値以下であると判定した場合は、局所的ホモグラフィー行列計算部３４が計算した変換行列の精度が比較的低いと判断し、大域的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給する。
The image
画像相関分析部３２が正規化相互相関を計算する場合、画像相関分析部３２は、例えば、類似度ＲＮＣＣが取り得る値の範囲（０≦ＲＮＣＣ≦１）の中間値である０．５を、閾値として記憶する。ただし、閾値の最適値は、検査対象物体の画質や画像データ取得部３１が取り込む画像データのフレームレート等によって変わることがある。よって、画像相関分析部３２は、例えば実験的に試行して決定した閾値を記憶する。
When the image
なお、画像相関分析部３２は、画像データの画像全体を用いて画像相関を計算するのではなく、任意の注目領域のみを用いて画像相関を計算してもよい。例えば、画像データの画像の中央付近に任意の大きさの矩形領域を設定し、その矩形領域を画像相関の計算対象領域とする。このように画像相関の計算対象領域を絞ることにより、処理の負荷を軽減することができる。
Note that the image
局所的ホモグラフィー行列計算部３４は、画像データ取得部３１から供給される現在の画像データを取り込むと、参照画像記憶部３８から参照画像データを読み込むとともに、ホモグラフィー行列転送部３６から過去の画像データ（第２の画像データ）に対応する局所的ホモグラフィー行列を取り込む。そして、局所的ホモグラフィー行列計算部３４は、過去の画像データに対応する局所的ホモグラフィー行列に基づいて現在の画像データに対応する局所的ホモグラフィー行列を求めるための変換行列を計算する。
When the local homography
ここで、局所的ホモグラフィー行列計算部３４が実行する変換行列の計算の例について以下説明する。
参照画像データの画素数をｑとし、参照画像データのｉ番目の画素をｐ（ボールド体）＊ ｉとし、画素Ｐ（ボールド体）＊ ｉの輝度をＩ＊（ｐ（ボールド体）＊ ｉ）とする。
Here, an example of conversion matrix calculation executed by the local homography
The number of pixels of the reference image data is q, the i-th pixel of the reference image data is p (bold body) * i, and the luminance of the pixel P (bold body) * i is I * (p (bold body) * i ). And
局所的ホモグラフィー行列を想定するため、現在の画像データにおける画像の領域は、過去の画像データにおける画像の領域の近傍に存在すると仮定できる。よって、現在の画像データにおける画像の領域と、過去の画像データにおける画像の領域との光量の変化は少ないと仮定でき、下記の式（７）の近似式を用いることができる。ただし、Ｇ（ボールド体）（オーバーバー）は、現在の画像データに対応する局所的ホモグラフィー行列であり、Ｇ（ボールド体）（ハット）は、過去の画像データに対応する局所的ホモグラフィー行列であり、Ｇ（ボールド体）（ｘ（ボールド体））は、変換行列である。 Since a local homography matrix is assumed, it can be assumed that the region of the image in the current image data exists in the vicinity of the region of the image in the past image data. Therefore, it can be assumed that there is little change in the amount of light between the image area in the current image data and the image area in the past image data, and an approximate expression of the following equation (7) can be used. Where G (bold) (overbar) is a local homography matrix corresponding to the current image data, and G (bold) (hat) is a local homography matrix corresponding to past image data. G (bold body) (x (bold body)) is a transformation matrix.
変換行列Ｇ（ボールド体）（ｘ（ボールド体））におけるｘ（ボールド体）は、変換行列Ｇ（ボールド体）（ｘ（ボールド体））のパラメータであり、下記の式（８）のように表される。 X (bold body) in the transformation matrix G (bold body) (x (bold body)) is a parameter of the transformation matrix G (bold body) (x (bold body)), and is expressed by the following equation (8). expressed.
変換行列Ｇ（ボールド体）（ｘ（ボールド体））はリー群に属し、単位行列Ｉ（ボールド体）の近傍に存在する。ここで、行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までを下記の式（９）のとおりとする。 The transformation matrix G (bold field) (x (bold field)) belongs to the Lie group and exists in the vicinity of the unit matrix I (bold field). Here, the matrix A (bold body) 1 to the matrix A (bold body) 8 are represented by the following equation (9).
式（９）における行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までは、リー代数の基底である。これら行列Ａ（ボールド体）１から行列Ａ（ボールド体）８までを用いて、リー代数に属する零行列の近傍に存在する行列Ａ（ボールド体）（ｘ（ボールド体））を下記の式（１０）のように表す。 The matrix A (bold field) 1 to the matrix A (bold field) 8 in Equation (9) is the basis of the Lie algebra. Using these matrix A (bold field) 1 to matrix A (bold field) 8 , the matrix A (bold field) (x (bold field)) existing in the vicinity of the zero matrix belonging to the Lie algebra is expressed by the following formula ( 10).
リー群に属する単位行列Ｉ（ボールド体）の近傍に存在する変換行列Ｇ（ボールド体）（ｘ（ボールド体））と、リー代数に属する零行列の近傍に存在する行列Ａ（ボールド体）（ｘ（ボールド体））との関係は、指数関数を用いて下記の式（１１）として表すことができる。 A transformation matrix G (bold field) (x (bold field)) existing in the vicinity of the unit matrix I (bold field) belonging to the Lie group, and a matrix A (bold field) existing in the vicinity of the zero matrix belonging to the Lie algebra ( x (bold body)) can be expressed as an expression (11) below using an exponential function.
現在の画像データに対応する局所的ホモグラフィー行列Ｇ（ボールド体）（オーバーバー）を用いて画素Ｐ（ボールド体）＊ ｉを透視投影変換する。すなわち、画素Ｐ（ボールド体）＊ ｉに対応する画素Ｐ（ボールド体）ｉの輝度は、前記の式（５）および式（７）により、下記の式（１２）のように表される。 Perspective projection transformation is performed on the pixel P (bold body) * i using the local homography matrix G (bold body) (overbar) corresponding to the current image data. That is, the luminance of the pixel P (bold) i corresponding to the pixel P (bold) * i is the above formula (5) and (7), is expressed by the following equation (12).
よって、対応する画素同士の輝度の差ｙｉ（ｘ（ボールド体））は、下記の式（１３）のように表される。 Therefore, the luminance difference y i (x (bold body)) between corresponding pixels is expressed by the following equation (13).
過去および現在の画像データにおける全ての画素同士の輝度の差をまとめて、下記の式（１４）のように表す。 The luminance differences between all the pixels in the past and current image data are collectively expressed as the following formula (14).
局所的ホモグラフィー行列計算部３４は、式（１４）において、ｘ（ボールド体）＝ｘ（ボールド体）０のときにｙ（ボールド体）（ｘ（ボールド体））が下記の式（１５）となるｘ（ボールド体）０を計算する。局所的ホモグラフィー行列計算部３４は、ｘ（ボールド体）０をフィードバックさせて繰り返し計算して収束させる。この収束方法として、例えば、公知のＥＳＭ（Ｅｆｆｉｃｉｅｎｔ Ｓｅｃｏｎｄ−ｏｒｄｅｒ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄ）を適用できる。
The local homography
局所的ホモグラフィー行列計算部３４は、計算したｘ（ボールド体）０を代入した変換行列Ｇ（ボールド体）（ｘ（ボールド体）０）と、過去の画像データに対応する局所的ホモグラフィー行列とを用いて、式（７）を適用して現在の画像データに対応する局所的ホモグラフィー行列を計算する。そして、局所的ホモグラフィー行列計算部３４は、この計算した現在の画像データに対応する局所的ホモグラフィー行列を、画像データ変換部３３に供給するとともに局所的ホモグラフィー行列記憶部３５に記憶させる。
The local homography
局所的ホモグラフィー行列記憶部３５は、局所的ホモグラフィー行列計算部３４から供給される現在の画像データに対応する局所的ホモグラフィー行列を記憶する。局所的ホモグラフィー行列記憶部３５は、例えば書き込み可能なメモリーで実現される。
The local homography
特徴点抽出部３９は、画像データ取得部３１から供給される現在の画像データを取り込むとともに、参照画像記憶部３８から参照画像データを読み込む。そして、特徴点抽出部３９は、現在の画像データと参照画像データとから画像の特徴点を抽出し、現在画像と参照画像との特徴点の相対位置を計算する。特徴点抽出部３９は、例えば、画像の画素の輝度の変化率が所定値を超える箇所を特徴点として抽出する。また、特徴点抽出部３９は、複数の画素を含む小領域ごとに輝度のガウス分布の状態を調べ、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を求めて特徴点を抽出してもよい。
特徴量抽出部３９は、計算した相対位置の情報を大域的ホモグラフィー行列計算部４０に供給する。
The feature
The feature
大域的ホモグラフィー行列計算部４０は、特徴点抽出部３９から供給される、現在画像と参照画像との特徴点の相対位置の情報を取り込む。大域的ホモグラフィー行列計算部４０は、これら現在画像と参照画像との特徴点の相対位置の情報に基づいて、現在の画像データに対応する大域的ホモグラフィー行列を計算し、この大域的ホモグラフィー行列を大域的ホモグラフィー行列記憶部３７に記憶させる。
The global homography
大域的ホモグラフィー行列記憶部３７は、大域的ホモグラフィー行列計算部４０から供給される現在の画像データに対応する大域的ホモグラフィー行列を記憶する。大域的ホモグラフィー行列記憶部３７は、例えば書き込み可能なメモリーで実現される。
The global homography
ホモグラフィー行列転送部３６は、画像相関分析部３２の切り替え制御に応じて、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列と、大域的ホモグラフィー行列記憶部３７に記憶された最新の大域的ホモグラフィー行列とのいずれかを読み込んで、外部に出力可能に保持する。具体的には、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、局所的ホモグラフィー行列の転送制御指示を取り込むと、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列を読み込む。また、ホモグラフィー行列転送部３６は、大域的ホモグラフィー行列の転送制御指示を取り込むと、大域的ホモグラフィー行列記憶部３７に記憶された、最新の大域的ホモグラフィー行列を読み込む。ホモグラフィー行列転送部３６は、読み込んだ現在の画像データに対応する局所的ホモグラフィー行列または最新の大域的ホモグラフィー行列を、局所的ホモグラフィー行列データとして外部に出力可能に保持する。
The homography
ホモグラフィー行列取得装置３０において、局所的ホモグラフィー行列計算部３４と局所的ホモグラフィー行列記憶部３５とは、局所的ホモグラフィー行列取得部である。また、大域的ホモグラフィー行列計算部４０と大域的ホモグラフィー行列記憶部３７とは、大域的ホモグラフィー行列取得部である。
In the homography
次に、ホモグラフィー行列取得装置３０の動作について説明する。
図４は、ホモグラフィー行列取得装置３０の、局所的ホモグラフィー行列の計算処理を含む処理の手順を表すフローチャートである。また、図５は、ホモグラフィー行列取得装置３０の、大域的ホモグラフィー行列の計算処理の手順を表すフローチャートである。本実施形態では、ホモグラフィー行列取得装置３０は、図４のフローチャートに示される処理と、図５のフローチャートに示される処理とを、それぞれ独立したスレッドで並列に実行する。
Next, the operation of the homography
FIG. 4 is a flowchart showing a procedure of processing including calculation processing of a local homography matrix of the homography
まず、図４のフローチャートについて説明する。ステップＳ１０１において、画像データ取得部３１は、検査ロボット装置１０の撮像装置１１が出力する画像データ（現在の画像データ；第１の画像データ）を取り込むと、この取り込んだ現在の画像データを局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給する。
First, the flowchart of FIG. 4 will be described. In step S101, when the image
次に、ステップＳ１０２において、局所的ホモグラフィー行列計算部３４は、画像データ取得部３１から供給される現在の画像データを取り込むと、参照画像記憶部３８から参照画像データを読み込むとともに、ホモグラフィー行列転送部３６から過去の画像データ（第２の画像データ）に対応する局所的ホモグラフィー行列を取り込む。
Next, in step S102, when the local homography
次に、ステップＳ１０３において、局所的ホモグラフィー行列計算部３４は、過去の画像データに対応する局所的ホモグラフィー行列に基づいて現在の画像データに対応する局所的ホモグラフィー行列を求めるための変換行列を計算する。次に、局所的ホモグラフィー行列計算部３４は、計算した変換行列と過去の画像データに対応する局所的ホモグラフィー行列とを用いて現在の画像データに対応する局所的ホモグラフィー行列を計算する。次に、局所的ホモグラフィー行列計算部３４は、この計算した局所的ホモグラフィー行列を、画像データ変換部３３に供給するとともに局所的ホモグラフィー行列記憶部３５に記憶させる。
Next, in step S103, the local homography
次に、ステップＳ１０４において、画像データ変換部３３は、局所的ホモグラフィー行列計算部３４から供給された現在の画像データに対応する局所的ホモグラフィー行列と、画像データ取得部３１から供給された現在の画像データとを取り込む。次に、画像データ変換部３３は、現在の画像データに対応する局所的ホモグラフィー行列を用いて現在の画像データを変換して変換画像データを生成し、この変換画像データを画像相関分析部３２に供給する。次に、画像相関分析部３２は、画像データ変換部３３から供給された変換画像データと、参照画像記憶部３８から読み出した参照画像データとを取り込む。次に、画像相関分析部３２は、変換画像データの画像（変換画像）と参照画像データの画像（参照画像）との画像相関を、例えば正規化相互相関により計算し、変換画像と参照画像との類似度を求める。
Next, in step S <b> 104, the image
次に、ステップＳ１０５において、画像相関分析部３２は、画像相関を計算して得た類似度と、あらかじめ記憶した閾値とを比較し、類似度が閾値よりも大きいと判定した場合は、局所的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給してステップＳ１０６の処理に移る（Ｓ１０５：ＹＥＳ）。一方、画像相関分析部３２は、類似度が閾値以下であると判定した場合は、大域的ホモグラフィー行列の転送制御指示をホモグラフィー行列転送部３６に供給してステップＳ１０７の処理に移る（Ｓ１０５：ＮＯ）。
Next, in step S105, the image
ステップＳ１０６において、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、局所的ホモグラフィー行列の転送制御指示を取り込む。次に、ホモグラフィー行列転送部３６は、局所的ホモグラフィー行列記憶部３５に記憶された現在の画像データに対応する局所的ホモグラフィー行列を読み込んで外部に出力可能に保持する。
ステップＳ１０６の処理が終了するとステップＳ１０１の処理に戻る。
In step S <b> 106, the homography
When the process of step S106 ends, the process returns to step S101.
一方、ステップＳ１０７において、ホモグラフィー行列転送部３６は、画像相関分析部３２から供給される、大域的ホモグラフィー行列の転送制御指示を取り込む。次に、ホモグラフィー行列転送部３６は、大域的ホモグラフィー行列記憶部３７から最新の大域的ホモグラフィー行列を読み込む。
On the other hand, in step S <b> 107, the homography
次に、ステップＳ１０８において、ホモグラフィー行列転送部３６は、読み込んだ最新の大域的ホモグラフィー行列を外部に出力可能に保持する。
ステップＳ１０８の処理が終了するとステップＳ１０１の処理に戻る。
In step S108, the homography
When the process of step S108 ends, the process returns to step S101.
次に、図５のフローチャートについて説明する。ステップＳ２０１において、画像データ取得部３１は、図４のステップＳ１０１の処理において局所的ホモグラフィー行列計算部３４および画像データ変換部３３に供給するレートよりも低いレートで、検査ロボット装置１０の撮像装置１１が出力する画像データ（現在の画像データ）を取り込むと、その現在の画像データを特徴点抽出部３９に供給する。
Next, the flowchart of FIG. 5 will be described. In step S201, the image
次に、ステップＳ２０２において、特徴点抽出部３９は、画像データ取得部３１から供給される現在の画像データを取り込むとともに、参照画像記憶部３８から参照画像データを読み込む。次に、特徴点抽出部３９は、現在の画像データと参照画像データとから画像の特徴点を抽出して現在画像と参照画像との特徴点の相対位置を計算し、これら特徴点の相対位置の情報を大域的ホモグラフィー行列計算部４０に供給する。
Next, in step S <b> 202, the feature
次に、ステップＳ２０３において、大域的ホモグラフィー行列計算部４０は、特徴点抽出部３９から供給される、現在画像と参照画像との特徴点の相対位置の情報を取り込む。次に、大域的ホモグラフィー行列計算部４０は、これら現在画像と参照画像との特徴点の相対位置の情報に基づいて、現在の画像データに対応する大域的ホモグラフィー行列を計算する。
Next, in step S <b> 203, the global homography
次に、ステップＳ２０４において、大域的ホモグラフィー行列計算部４０は、計算した大域的ホモグラフィー行列を、大域的ホモグラフィー行列記憶部３７に記憶させる。
ステップＳ２０４の処理が終了するとステップＳ２０１の処理に戻る。
Next, in step S <b> 204, the global homography
When the process of step S204 ends, the process returns to step S201.
図４のフローチャートにおいて、ホモグラフィー行列取得装置３０がステップＳ１０１からステップＳ１０６までを繰り返す処理は、例えば、撮像装置１１から供給される画像データのフレームレートが１２０フレーム／秒である場合、そのフレームレートと同一のレートで処理する。一方、図５のフローチャートにおいて、ホモグラフィー行列取得装置３０がステップＳ２０１からステップＳ２０４までを繰り返す処理は、１２０フレーム／秒のフレームレートよりも低いレート（例えば、２０フレーム／秒または３０フレーム／秒）で処理する。
In the flowchart of FIG. 4, for example, when the frame rate of the image data supplied from the
よって、ホモグラフィー行列転送部３６が、大域的ホモグラフィー行列記憶部３７から現在の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶する処理（図４のステップＳ１０７およびステップＳ１０８の処理）を実行することにより、時間的には若干遅れた大域的ホモグラフィー行列が記憶されることになる。しかし、この若干の時間遅れは、トラッキングのリアルタイム性に影響を及ぼすものではない。
Therefore, a process in which the homography
次に、ロボット制御装置４５の動作について説明する。図６は、ロボット制御装置４５の処理手順を表すフローチャートである。同図のフローチャートの処理は、例えば、図４のステップＳ１０６およびステップＳ１０８の処理の次（ステップＳ１０１に戻る前）に実行されるものである。
まず、ステップＳ３０１において、ロボット制御装置４５は、ホモグラフィー行列取得装置３０から現在の画像データに対応するホモグラフィー行列データ、言い換えると、最新のホモグラフィー行列データを取り込む。
Next, the operation of the
First, in step S301, the
次に、ステップＳ３０２において、ロボット制御装置４５は、取り込んだホモグラフィー行列に基づいて検査ロボット装置１０のアーム先端の移動速度、つまり撮像装置１１の移動速度を計算する。
移動速度は、次のようにして計算することができる。三次元空間における撮像装置１１の座標系Ｆ＊と移動先における撮像装置１１の座標系Ｆとにおける、並進ベクトルの差分ｅ（ボールド体）νと、回転ベクトルの差分ｅ（ボールド体）ωとは、下記の式（１６）のように表される。
Next, in step S302, the
The moving speed can be calculated as follows. A translation vector difference e (bold body) ν and a rotation vector difference e (bold body) ω between the coordinate system F * of the
式（１６）により、差分を無くす方向に検査ロボット装置１０のアーム先端を移動させればよいため、撮像装置１１の移動速度は、下記の式（１７）のように表される。ただし、νは並進の速度、ωは回転の速度である。
Since the arm tip of the
次に、ステップＳ３０３において、ロボット制御装置４５は、撮像装置１１の速度に基づいて、ロボット本体１２の各関節の移動速度（並進速度および回転速度）を計算する。関節とは、支持台１２ａとアーム部１２ｂとの連結部分、アーム部１２ｂ同士の連結部分、およびアーム部１２ｂとハンド部１２ｃとの連結部分である。
ロボット本体１２の各関節の移動速度は、ヤコビ行列を用いて下記の式（１８）を計算することにより求めることができる。ただし、Ｊ（ボールド体）（ハット）−１は、ヤコビ行列Ｊ（ボールド体）（ハット）の逆行列である。
Next, in step S <b> 303, the
The movement speed of each joint of the
つぎに、ステップＳ３０４において、ロボット制御装置４５は、ロボット本体１２の各関節の移動速度（並進速度および回転速度）に基づいてロボット本体１２のアーム部１２ｂおよびハンド部１２ｃを制御して動作させる。
Next, in step S304, the
一般的に、変換行列を計算してホモグラフィー行列を求める処理は、画像の特徴点を抽出して特徴点の相対位置を計算しこれら特徴点の相対位置によってホモグラフィー行列を求める処理よりもトラッキングの安定性（精度）が低い一方、処理負荷が大幅に軽い。また、変換行列の計算精度は、変換行列を計算するための空間領域が狭い（並進が少なく且つ回転が小さい）ほど高い。
よって、変換行列を計算しホモグラフィー行列を求めて記憶する処理を、変換画像と参照画像との画像相関が高い場合に限ることにより、トラッキングの高い安定性（高い精度）を確保することができる。
したがって、本実施形態では、変換画像と参照画像との画像相関が高い場合は、比較的処理負荷の軽い計算処理による局所的ホモグラフィー行列を出力可能に記憶し、変換画像と参照画像との画像相関が低い場合は、比較的処理負荷の重い大域的ホモグラフィー行列を出力可能に記憶するようにした。
In general, the process of calculating the transformation matrix and obtaining the homography matrix is more tracking than the process of extracting the feature points of the image, calculating the relative positions of the feature points, and calculating the homography matrix based on the relative positions of these feature points. While the stability (accuracy) is low, the processing load is significantly lighter. In addition, the calculation accuracy of the transformation matrix is higher as the spatial region for calculating the transformation matrix is narrower (less translation and less rotation).
Therefore, high stability (high accuracy) of tracking can be ensured by limiting the process of calculating the transformation matrix and obtaining and storing the homography matrix only when the image correlation between the transformed image and the reference image is high. .
Therefore, in the present embodiment, when the image correlation between the converted image and the reference image is high, a local homography matrix by calculation processing with a relatively light processing load is stored so as to be output, and the image of the converted image and the reference image is stored. When the correlation is low, a global homography matrix with a relatively heavy processing load is stored so that it can be output.
以上により、本実施形態によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、追跡ロボット装置において、検査対象物体の外観検査時間を短くするためにロボット本体１２の移動速度を速くした場合でも、トラッキングの誤認識が発生せず信頼性の高い外観検査を行うことができる。
As described above, according to the present embodiment, tracking with a light processing load and high stability can be performed. In other words, real-time performance can be ensured and highly accurate tracking can be performed. Therefore, in the tracking robot apparatus, even when the moving speed of the
［実施形態の第１の変形例］
上述した実施形態の第１変形例について説明する。本第１変形例は、ホモグラフィー行列取得装置３０をハンディータイプのビデオカメラ装置に適用した例である。このビデオカメラ装置は、撮影中にフレーム画像から人物の顔の領域を検出し、その顔領域にピントを自動で合わせる機能を有するものである。
[First Modification of Embodiment]
A first modification of the above-described embodiment will be described. The first modification is an example in which the homography
図７は、本第１変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。同図に示すように、ビデオカメラ装置２は、ホモグラフィー行列取得装置３０と、レンズ光学系５０と、撮像部６０と、ピント調節量計算部７０と、ピント調節部８０と、画像記録奉９０とを備える。
FIG. 7 is a block diagram illustrating a schematic functional configuration of the video camera apparatus according to the first modification. As shown in the figure, the
レンズ光学系５０は、被写体から到来する光束を集光する。レンズ光学系５０は、対物レンズや集束レンズ等のレンズ群を含んで構成される。
撮像部６０は、固体撮像素子を備え、レンズ光学系５０を通して集光された光束をその固体撮像素子で撮像する。固体撮像素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。撮像部６０は、例えば１２０フレーム／秒のフレームレートで動画を撮像し、画像データを連続的にホモグラフィー行列取得装置３０および画像記録部９０それぞれに供給する。
画像記録部９０は、撮像部６０が出力する画像データを、例えば、磁気ハードディスクやメモリーカード等の記録媒体に記録する。
The lens
The
The
ホモグラフィー行列取得装置３０は、前述した一実施形態によるものと同様のものである。ただし、本第１変形例においては、ホモグラフィー行列取得装置３０の参照画像記憶部３８には、図７には図示しない顔検出処理部が画像データから検出した人物の顔画像データが記憶される。また、ホモグラフィー行列取得装置３０の画像相関分析部３２は、画像データにおける人物の顔が含まれる小領域（例えば、矩形領域）を用いて画像相関を計算する。ホモグラフィー行列取得装置３０は、参照画像記憶部３８に記憶された人物の顔画像データと、画像データにおける矩形領域の顔画像データとに基づいて、局所的ホモグラフィー行列および大域的ホモグラフィー行列を計算して記憶する。
The homography
ピント調節量計算部７０は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込む。そして、ピント調節量計算部７０は、取り込んだホモグラフィー行列データに基づいてピントを調節すべき画像領域（矩形領域）を特定し、その画像領域に対応する被写体の部位に対するピント調節量を計算する。このピント調節量の計算方法は、公知のオートフォーカス技術による。ピント調節量計算部７０は、計算したピント調節量データをピント調節部８０に供給する。
ピント調節部８０は、ピント調節量計算部７０から供給されるピント調節量データに基づいて、ピントを調節すべき画像領域に対応する被写体の部位（人物の顔）に対するピントを調整する。
The focus adjustment
Based on the focus adjustment amount data supplied from the focus adjustment
以上により、本第１の変形例によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、ハンディータイプのビデオカメラ装置において、人物の顔が速く移動した場合でも、トラッキングの誤認識が発生せず信頼性の高い自動ピント調節を行うことができる。 As described above, according to the first modification, tracking with a light processing load and high stability can be performed. In other words, real-time performance can be ensured and highly accurate tracking can be performed. Therefore, in a handy-type video camera device, even when a person's face moves quickly, misrecognition of tracking does not occur and highly reliable automatic focus adjustment can be performed.
［実施形態の第２の変形例］
前述した実施形態の第２変形例について説明する。本第２変形例は、ホモグラフィー行列取得装置３０を自動姿勢調整可能なビデオカメラ装置に適用した例である。このビデオカメラ装置は、例えばコンピューターのディスプレイ装置上またはその付近に設置されて使用されるものである。このように設置されて使用された場合、ビデオカメラ装置は、撮影中にフレーム画像からコンピューターの操作者である人物の顔の領域を検出し、その顔領域が画像フレームから外れないように当該ビデオカメラ装置の姿勢を調整する機能を有するものである。
[Second Modification of Embodiment]
A second modification of the above-described embodiment will be described. The second modification is an example in which the homography
図８は、本第２変形例であるビデオカメラ装置の概略の機能構成を表すブロック図である。同図に示すように、ビデオカメラ装置３は、撮像システム１００と、ホモグラフィー行列取得装置３０と、姿勢調節量計算部１１０とを備える。
FIG. 8 is a block diagram illustrating a schematic functional configuration of a video camera apparatus according to the second modification. As shown in the figure, the
撮像システム１００は、上述したように、被写体となる人物の顔を撮像可能なように設置される。撮像システム１００は、その機能構成として、撮像装置１０１と、姿勢調節部１０２とを備える。
撮像装置１０１は、例えば１２０フレーム／秒のフレームレートで動画を撮像し、撮像データである画像データを連続的にホモグラフィー行列取得装置３０に供給するとともに、外部（例えば、コンピューター）に供給する。
姿勢調節部１０２は、姿勢調節量計算部１１０から供給される姿勢調節量データに基づいて、撮像装置１０１の姿勢、つまり撮像方向を調節する。
As described above, the
The
The
ホモグラフィー行列取得装置３０は、前述した一実施形態によるものと同様のものである。ただし、本第１変形例においては、ホモグラフィー行列取得装置３０の参照画像記憶部３８には、図８には図示しない顔検出処理部が画像データから検出した人物の顔画像データが記憶される。ホモグラフィー行列取得装置３０は、参照画像記憶部３８に記憶された人物の顔画像データと、撮像装置１０１から取り込む画像データとに基づいて、局所的ホモグラフィー行列および大域的ホモグラフィー行列を計算して記憶する。
The homography
姿勢調節量計算部１１０は、ホモグラフィー行列取得装置３０からホモグラフィー行列データを取り込む。そして、姿勢調節量計算部７０は、取り込んだホモグラフィー行列データに基づいて、人物の顔の位置をフレーム画像の中央に一致させるようにフレーム画像の移動方向を特定し、その方向にフレーム画像が移動するように撮像装置１０１の姿勢の調節量を計算する。姿勢調節量計算部１１０は、計算した姿勢調節量データを撮像システム１００の姿勢調節部１０２に供給する。
The posture adjustment
以上により、本第２の変形例によれば、処理負荷が軽く且つ安定性の高いトラッキングを行うことができる。言い換えると、リアルタイム性を確保し且つ精度の高いトラッキングを行うことができる。よって、自動姿勢調整可能なビデオカメラ装置において、人物の顔が速く移動した場合でも、トラッキングの誤認識が発生せず信頼性の高いビデオカメラ装置の姿勢制御を行うことができる。 As described above, according to the second modification, tracking with a light processing load and high stability can be performed. In other words, real-time performance can be ensured and highly accurate tracking can be performed. Therefore, in a video camera device capable of automatic posture adjustment, even when the face of a person moves fast, misrecognition of tracking does not occur, and the posture control of the video camera device with high reliability can be performed.
なお、上述した一実施形態である追跡ロボット装置の一部、例えば、ホモグラフィー行列取得装置３０およびロボット制御装置４５の機能をコンピューターで実現するようにしてもよい。この場合、その制御機能を実現するための追跡ロボット制御プログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録された追跡ロボット制御プログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。
In addition, you may make it implement | achieve the function of a part of tracking robot apparatus which is one Embodiment mentioned above, for example, the function of the homography
また、同様に、ホモグラフィー行列取得装置３０のみの機能をコンピューターで実現するようにしてもよい。この場合、その制御機能を実現するためのホモグラフィー行列取得プログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたホモグラフィー行列取得プログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。
Similarly, the function of only the homography
なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺装置のハードウェアを含むものである。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリーカード等の可搬型記録媒体、コンピューターシステムに内蔵される磁気ハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバー装置やクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。 Note that the “computer system” here includes an OS (Operating System) and hardware of peripheral devices. The “computer-readable recording medium” refers to a portable recording medium such as a flexible disk, a magneto-optical disk, an optical disk, and a memory card, and a storage device such as a magnetic hard disk built in the computer system. Furthermore, a “computer-readable recording medium” dynamically holds a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, it is possible to include a server that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server device or a client. In addition, the above program may be for realizing a part of the above-described functions, and further, may be realized by combining the above-described functions with a program already recorded in the computer system. .
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to that embodiment, The design of the range which does not deviate from the summary of this invention, etc. are included.
１ 外観検査装置
１０ 検査ロボット装置
１１ 撮像装置
１２ ロボット本体
１２ａ 支持台
１２ｂ アーム部
１２ｃ ハンド部
２０ 画像解析装置
３０ ホモグラフィー行列取得装置
３１ 画像データ取得部
３２ 画像相関分析部
３３ 変換行列計算部
３４ 局所的ホモグラフィー行列計算部
３５ 局所的ホモグラフィー行列記憶部
３６ ホモグラフィー行列転送部
３７ 大域的穂葎フィー行列記憶部
３８ 参照画像記憶部
３９ 特徴点抽出部
４０ 大域的ホモグラフィー行列計算部
４５ ロボット制御装置
５０ レンズ光学系
６０ 撮像部
７０ ピント調節量計算部
８０ ピント調節部
９０ 画像記録部
１００ 撮像システム
１０１ 撮像装置
１０２ 姿勢調節部
１１０ 姿勢調節量計算部
DESCRIPTION OF
Claims (12)
前記ハンド部に設けられ、検査対象物体を撮像して画像データを出力する撮像部と、
前記検査対象物体の参照画像データを記憶する参照画像記憶部と、
前記撮像部が出力した画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、
を備えることを特徴とする追跡ロボット装置。 A robot body including a movable arm part and a hand part movably provided on the arm part;
An imaging unit that is provided in the hand unit and images the inspection object and outputs image data;
A reference image storage unit that stores reference image data of the inspection object;
An image data acquisition unit that captures image data output by the imaging unit;
The first image data captured by the image data acquisition unit, the reference image data stored in the reference image storage unit, and second image data that is past image data than the first image data. A local homography matrix that calculates a local homography matrix corresponding to the first image data based on the local homography matrix and stores the local homography matrix corresponding to the calculated first image data An acquisition unit;
An image data conversion unit that converts the first image data to generate converted image data using a local homography matrix corresponding to the first image data calculated by the local homography matrix acquisition unit; ,
An image correlation analysis unit that calculates a similarity by analyzing a correlation between the converted image data generated by the image data conversion unit and the reference image data stored in the reference image storage unit;
Feature point extraction that extracts image feature points from the first image data captured by the image data acquisition unit and the reference image data stored in the reference image storage unit, and calculates the relative positions of these feature points And
A global homography matrix corresponding to the first image data is calculated based on the relative position of the feature points calculated by the feature point extraction unit, and a global homography matrix corresponding to the calculated first image data A global homography matrix acquisition unit for storing
When the similarity calculated by the image correlation analysis unit exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit is read and stored. When the similarity calculated by the image correlation analysis unit is less than or equal to the threshold value, the global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit is read. A homography matrix transfer unit to store in
From the homography matrix transfer unit, a local homography matrix corresponding to the first image data or a global homography matrix corresponding to the first image data is read out as homography matrix data. A robot controller that calculates the posture of the robot body based on graphy matrix data and controls the operation of at least one of the arm unit and the hand unit of the robot body;
A tracking robot apparatus comprising:
ことを特徴とする請求項１記載の追跡ロボット装置。 The tracking robot apparatus according to claim 1, wherein the image correlation analysis unit obtains the similarity by calculating a normalized cross-correlation as an image correlation between the converted image data and the reference image data.
ことを特徴とする請求項２記載の追跡ロボット装置。 The local homography matrix acquisition unit is based on the first image data, the reference image data, and a local homography matrix corresponding to the second image data stored in the local homography matrix acquisition unit. And calculating a transformation matrix for calculating a local homography matrix corresponding to the first image data, and based on the calculated transformation matrix and the local homography matrix corresponding to the second image data. The tracking robot apparatus according to claim 2, wherein a local homography matrix corresponding to the first image data is calculated.
前記撮像ステップにおいて出力した画像データを取り込む画像データ取得ステップと、
前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、
前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、
前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、
前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、
前記ホモグラフィー行列転送ステップにおいて前記記憶部に記憶した、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして前記記憶部から読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御ステップと、
を有することを特徴とする追跡ロボット制御方法。 An imaging step in which an imaging unit provided in the hand unit of the robot body including a movable arm unit and a hand unit movably provided in the arm unit images an inspection target object and outputs image data;
An image data acquisition step for capturing the image data output in the imaging step;
The first image data captured in the image data acquisition step, the reference image data stored in the reference image storage unit, and the local corresponding to the second image data that is past image data than the first image data. A local homography matrix acquisition step of calculating a local homography matrix corresponding to the first image data based on the homography matrix and storing the local homography matrix corresponding to the calculated first image data When,
An image data conversion step of converting the first image data and generating converted image data using the local homography matrix corresponding to the first image data calculated in the local homography matrix acquisition step; ,
An image correlation analysis step of calculating a similarity by analyzing a correlation between the converted image data generated in the image data conversion step and the reference image data stored in the reference image storage unit;
When the similarity calculated in the image correlation analysis step exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition step is read and stored in the storage unit When the similarity calculated in the image correlation analysis step is equal to or less than the threshold value, relative positions of image feature points between the first image data and the reference image data stored in the reference image storage unit A homography matrix transfer step of reading a global homography matrix corresponding to the first image data calculated and stored based on
A local homography matrix corresponding to the first image data or a global homography matrix corresponding to the first image data stored in the storage unit in the homography matrix transfer step is used as homography matrix data. A robot control step of reading from the storage unit, calculating a posture of the robot body based on the read homography matrix data, and controlling at least one of the operation of the arm unit and the hand unit of the robot body When,
A tracking robot control method comprising:
ことを特徴とする請求項４記載の追跡ロボット制御方法。 5. The tracking robot control method according to claim 4, wherein the image correlation analysis step calculates a normalized cross-correlation as a correlation between the converted image data and the reference image data to obtain the similarity. .
ことを特徴とする請求項５記載の追跡ロボット制御方法。 The local homography matrix acquisition step is based on the first image data, the reference image data, and a local homography matrix corresponding to the second image data stored in the local homography matrix acquisition step. And calculating a transformation matrix for calculating a local homography matrix corresponding to the first image data, and based on the calculated transformation matrix and the local homography matrix corresponding to the second image data. The tracking robot control method according to claim 5, further comprising: calculating a local homography matrix corresponding to the first image data.
前記撮像部が出力した画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
前記ホモグラフィー行列転送部から、前記第１の画像データに対応する局所的ホモグラフィー行列または前記第１の画像データに対応する大域的ホモグラフィー行列を、ホモグラフィー行列データとして読み出し、この読み出したホモグラフィー行列データに基づいて前記ロボット本体の姿勢を計算して、前記ロボット本体の前記アーム部と前記ハンド部との少なくともいずれかの動作を制御するロボット制御部と、
として機能させる追跡ロボット制御プログラム。 A robot main body including a movable arm unit and a hand unit that is movably provided on the arm unit, and an imaging unit that is provided in the hand unit and images an inspection target object and outputs image data. A computer comprising a reference image storage unit for storing reference image data of the inspection object,
An image data acquisition unit that captures image data output by the imaging unit;
The first image data captured by the image data acquisition unit, the reference image data stored in the reference image storage unit, and second image data that is past image data than the first image data. A local homography matrix that calculates a local homography matrix corresponding to the first image data based on the local homography matrix and stores the local homography matrix corresponding to the calculated first image data An acquisition unit;
An image data conversion unit that converts the first image data to generate converted image data using a local homography matrix corresponding to the first image data calculated by the local homography matrix acquisition unit; ,
An image correlation analysis unit that calculates a similarity by analyzing a correlation between the converted image data generated by the image data conversion unit and the reference image data stored in the reference image storage unit;
Feature point extraction that extracts image feature points from the first image data captured by the image data acquisition unit and the reference image data stored in the reference image storage unit, and calculates the relative positions of these feature points And
A global homography matrix corresponding to the first image data is calculated based on the relative position of the feature points calculated by the feature point extraction unit, and a global homography matrix corresponding to the calculated first image data A global homography matrix acquisition unit for storing
When the similarity calculated by the image correlation analysis unit exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit is read and stored. When the similarity calculated by the image correlation analysis unit is less than or equal to the threshold value, the global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit is read. A homography matrix transfer unit to store in
From the homography matrix transfer unit, a local homography matrix corresponding to the first image data or a global homography matrix corresponding to the first image data is read out as homography matrix data. A robot controller that calculates the posture of the robot body based on graphy matrix data and controls the operation of at least one of the arm unit and the hand unit of the robot body;
Tracking robot control program that functions as.
請求項７記載の追跡ロボット制御プログラム。 The tracking robot control program according to claim 7, wherein the image correlation analysis unit obtains the similarity by calculating a normalized cross-correlation as an image correlation between the converted image data and the reference image data.
請求項８記載の追跡ロボット制御プログラム。 The local homography matrix acquisition unit is based on the first image data, the reference image data, and a local homography matrix corresponding to the second image data stored in the local homography matrix acquisition unit. And calculating a transformation matrix for calculating a local homography matrix corresponding to the first image data, and based on the calculated transformation matrix and the local homography matrix corresponding to the second image data. The tracking robot control program according to claim 8, wherein a local homography matrix corresponding to the first image data is calculated.
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
を備えることを特徴とするホモグラフィー行列取得装置。 A reference image storage unit for storing reference image data;
An image data acquisition unit for capturing image data;
The first image data captured by the image data acquisition unit, the reference image data stored in the reference image storage unit, and second image data that is past image data than the first image data. A local homography matrix that calculates a local homography matrix corresponding to the first image data based on the local homography matrix and stores the local homography matrix corresponding to the calculated first image data An acquisition unit;
An image data conversion unit that converts the first image data to generate converted image data using a local homography matrix corresponding to the first image data calculated by the local homography matrix acquisition unit; ,
An image correlation analysis unit that calculates a similarity by analyzing a correlation between the converted image data generated by the image data conversion unit and the reference image data stored in the reference image storage unit;
Feature point extraction that extracts image feature points from the first image data captured by the image data acquisition unit and the reference image data stored in the reference image storage unit, and calculates the relative positions of these feature points And
A global homography matrix corresponding to the first image data is calculated based on the relative position of the feature points calculated by the feature point extraction unit, and a global homography matrix corresponding to the calculated first image data A global homography matrix acquisition unit for storing
When the similarity calculated by the image correlation analysis unit exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit is read and stored. When the similarity calculated by the image correlation analysis unit is less than or equal to the threshold value, the global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit is read. A homography matrix transfer unit to store in
A homography matrix acquisition apparatus comprising:
前記画像データ取得ステップにおいて取り込んだ第１の画像データと参照画像記憶部に記憶された参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得ステップと、
前記局所的ホモグラフィー行列取得ステップにおいて計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換ステップと、
前記画像データ変換ステップにおいて生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析ステップと、
前記画像相関分析ステップにおいて計算した前記類似度が閾値を超える場合に、前記局所的ホモグラフィー行列取得ステップにおいて記憶した前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶部に記憶し、前記画像相関分析ステップにおいて計算した前記類似度が前記閾値以下である場合に、前記第１の画像データと前記参照画像記憶部に記憶された参照画像データとの画像の特徴点の相対位置に基づいて計算されて記憶された第１の画像データに対応する大域的ホモグラフィー行列を読み込んで前記記憶部に記憶するホモグラフィー行列転送ステップと、
を有することを特徴とするホモグラフィー行列取得方法。 An image data acquisition step for capturing image data;
The first image data captured in the image data acquisition step, the reference image data stored in the reference image storage unit, and the local corresponding to the second image data that is past image data than the first image data. A local homography matrix acquisition step of calculating a local homography matrix corresponding to the first image data based on the homography matrix and storing the local homography matrix corresponding to the calculated first image data When,
An image data conversion step of converting the first image data and generating converted image data using the local homography matrix corresponding to the first image data calculated in the local homography matrix acquisition step; ,
An image correlation analysis step of calculating a similarity by analyzing a correlation between the converted image data generated in the image data conversion step and the reference image data stored in the reference image storage unit;
When the similarity calculated in the image correlation analysis step exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition step is read and stored in the storage unit When the similarity calculated in the image correlation analysis step is equal to or less than the threshold value, relative positions of image feature points between the first image data and the reference image data stored in the reference image storage unit A homography matrix transfer step of reading a global homography matrix corresponding to the first image data calculated and stored based on
A homography matrix acquisition method characterized by comprising:
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ第１の画像データと前記参照画像記憶部に記憶された前記参照画像データと前記第１の画像データよりも過去の画像データである第２の画像データに対応する局所的ホモグラフィー行列とに基づいて第１の画像データに対応する局所的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する局所的ホモグラフィー行列を記憶する局所的ホモグラフィー行列取得部と、
前記局所的ホモグラフィー行列取得部が計算した前記第１の画像データに対応する局所的ホモグラフィー行列を用いて、前記第１の画像データを変換して変換画像データを生成する画像データ変換部と、
前記画像データ変換部が生成した前記変換画像データと前記参照画像記憶部に記憶された前記参照画像データとの画像の相関を分析して類似度を計算する画像相関分析部と、
前記画像データ取得部が取り込んだ前記第１の画像データと前記参照画像記憶部に記憶された前記参照画像データとから画像の特徴点を抽出し、これら特徴点の相対位置を計算する特徴点抽出部と、
前記特徴点抽出部が計算した前記特徴点の相対位置に基づいて第１の画像データに対応する大域的ホモグラフィー行列を計算し、この計算した第１の画像データに対応する大域的ホモグラフィー行列を記憶する大域的ホモグラフィー行列取得部と、
前記画像相関分析部が計算した前記類似度が閾値を超える場合には、前記局所的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する局所的ホモグラフィー行列を読み込んで記憶し、前記画像相関分析部が計算した前記類似度が前記閾値以下である場合には、前記大域的ホモグラフィー行列取得部に記憶された前記第１の画像データに対応する大域的ホモグラフィー行列を読み込んで記憶するホモグラフィー行列転送部と、
として機能させるホモグラフィー行列取得プログラム。 A computer equipped with a reference image storage unit for storing reference image data,
An image data acquisition unit for capturing image data;
The first image data captured by the image data acquisition unit, the reference image data stored in the reference image storage unit, and second image data that is past image data than the first image data. A local homography matrix that calculates a local homography matrix corresponding to the first image data based on the local homography matrix and stores the local homography matrix corresponding to the calculated first image data An acquisition unit;
An image data conversion unit that converts the first image data to generate converted image data using a local homography matrix corresponding to the first image data calculated by the local homography matrix acquisition unit; ,
An image correlation analysis unit that calculates a similarity by analyzing a correlation between the converted image data generated by the image data conversion unit and the reference image data stored in the reference image storage unit;
Feature point extraction that extracts image feature points from the first image data captured by the image data acquisition unit and the reference image data stored in the reference image storage unit, and calculates the relative positions of these feature points And
A global homography matrix corresponding to the first image data is calculated based on the relative position of the feature points calculated by the feature point extraction unit, and a global homography matrix corresponding to the calculated first image data A global homography matrix acquisition unit for storing
When the similarity calculated by the image correlation analysis unit exceeds a threshold, the local homography matrix corresponding to the first image data stored in the local homography matrix acquisition unit is read and stored. When the similarity calculated by the image correlation analysis unit is less than or equal to the threshold value, the global homography matrix corresponding to the first image data stored in the global homography matrix acquisition unit is read. A homography matrix transfer unit to store in
Homography matrix acquisition program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010232961A JP2012086285A (en) | 2010-10-15 | 2010-10-15 | Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010232961A JP2012086285A (en) | 2010-10-15 | 2010-10-15 | Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012086285A true JP2012086285A (en) | 2012-05-10 |
Family
ID=46258482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010232961A Withdrawn JP2012086285A (en) | 2010-10-15 | 2010-10-15 | Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012086285A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104858877A (en) * | 2015-04-28 | 2015-08-26 | 国家电网公司 | Automatic replacement control system for high-voltage line drop switch and control method |
| CN104942816A (en) * | 2015-04-28 | 2015-09-30 | 国家电网公司 | Automatic changing control system and automatic changing control method on basis of laser technologies for line dropping switches |
| CN105093934A (en) * | 2015-08-17 | 2015-11-25 | 哈尔滨工业大学 | Distributed finite time tracking control method for multi-robot system in view of interference and model uncertainty |
| JP2017100242A (en) * | 2015-12-02 | 2017-06-08 | グローリー株式会社 | Inspection robot system |
| CN113052900A (en) * | 2021-04-23 | 2021-06-29 | 深圳市商汤科技有限公司 | Position determination method and device, electronic equipment and storage medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195582A (en) * | 2000-01-12 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | Device and method for detecting image, device and system for three-dimensional display, display controller, and program storage medium |
| JP2003302345A (en) * | 2002-04-11 | 2003-10-24 | Denso Wave Inc | Inspection method using robot and inspection system |
| JP2006146760A (en) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | Image transformation method and image transformation system |
| JP2008107860A (en) * | 2005-06-20 | 2008-05-08 | Mitsubishi Electric Information Technology Centre Europa Bv | Method for estimating transformation between image pair, method for expressing image, device for this method, controller, and computer program |
| WO2009042265A1 (en) * | 2007-09-26 | 2009-04-02 | Honda Motor Co., Ltd. | 3d beverage container localizer |
| JP2010152664A (en) * | 2008-12-25 | 2010-07-08 | Nissei Corp | Sensorless motor-driven robot using image |
-
2010
- 2010-10-15 JP JP2010232961A patent/JP2012086285A/en not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001195582A (en) * | 2000-01-12 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | Device and method for detecting image, device and system for three-dimensional display, display controller, and program storage medium |
| JP2003302345A (en) * | 2002-04-11 | 2003-10-24 | Denso Wave Inc | Inspection method using robot and inspection system |
| JP2006146760A (en) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | Image transformation method and image transformation system |
| JP2008107860A (en) * | 2005-06-20 | 2008-05-08 | Mitsubishi Electric Information Technology Centre Europa Bv | Method for estimating transformation between image pair, method for expressing image, device for this method, controller, and computer program |
| WO2009042265A1 (en) * | 2007-09-26 | 2009-04-02 | Honda Motor Co., Ltd. | 3d beverage container localizer |
| JP2010152664A (en) * | 2008-12-25 | 2010-07-08 | Nissei Corp | Sensorless motor-driven robot using image |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104858877A (en) * | 2015-04-28 | 2015-08-26 | 国家电网公司 | Automatic replacement control system for high-voltage line drop switch and control method |
| CN104942816A (en) * | 2015-04-28 | 2015-09-30 | 国家电网公司 | Automatic changing control system and automatic changing control method on basis of laser technologies for line dropping switches |
| CN105093934A (en) * | 2015-08-17 | 2015-11-25 | 哈尔滨工业大学 | Distributed finite time tracking control method for multi-robot system in view of interference and model uncertainty |
| CN105093934B (en) * | 2015-08-17 | 2017-08-25 | 哈尔滨工业大学 | Consider interference and the distributed finite time tracking controller design method of multi-robot system of model uncertainty |
| JP2017100242A (en) * | 2015-12-02 | 2017-06-08 | グローリー株式会社 | Inspection robot system |
| CN113052900A (en) * | 2021-04-23 | 2021-06-29 | 深圳市商汤科技有限公司 | Position determination method and device, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111147741B (en) | Focusing processing-based anti-shake method and device, electronic equipment and storage medium | |
| KR101964861B1 (en) | Cameara apparatus and method for tracking object of the camera apparatus | |
| CN107471218B (en) | Binocular vision-based hand-eye coordination method for double-arm robot | |
| JP6090786B2 (en) | Background difference extraction apparatus and background difference extraction method | |
| JP6030617B2 (en) | Image processing apparatus and image processing method | |
| CN105741325B (en) | A kind of method and movable object tracking equipment of tracked mobile target | |
| CN105100580B (en) | Monitoring system and control method for monitoring system | |
| WO2019238113A1 (en) | Imaging method and apparatus, and terminal and storage medium | |
| JP2016516977A (en) | Generating a 3D model of the environment | |
| JP2015070328A (en) | Imaging apparatus and control method for the same | |
| JP5799516B2 (en) | Robot apparatus, inspection apparatus, inspection program, and inspection method | |
| JP2012185752A (en) | Robot device, position/attitude detecting device, position/attitude detecting program, and position/attitude detecting method | |
| JP2012086285A (en) | Tracking robot device, tracking robot control method, tracking robot control program, homography matrix acquisition device, homography matrix acquisition method, and homography matrix acquisition program | |
| JP2018189580A (en) | Camera calibration device and camera calibration program | |
| JP2014095553A (en) | Camera pause estimation device and camera pause estimation program | |
| JP4699056B2 (en) | Automatic tracking device and automatic tracking method | |
| JP2019062340A (en) | Image shake correction apparatus and control method | |
| WO2020257999A1 (en) | Method, apparatus and platform for image processing, and storage medium | |
| JP6178646B2 (en) | Imaging apparatus and image shake correction processing method | |
| JP2016081252A (en) | Image processor and image processing method | |
| CN114594770A (en) | Inspection method for inspection robot without stopping | |
| JP4469757B2 (en) | Image processing device | |
| JP7153505B2 (en) | moving body | |
| JP7013205B2 (en) | Image shake correction device and its control method, image pickup device | |
| JP2020120362A (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120127 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131011 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20141218 |