JP3474772B2 - Sensor calibration method and device, and recording medium recording sensor calibration program - Google Patents
Sensor calibration method and device, and recording medium recording sensor calibration programInfo
- Publication number
- JP3474772B2 JP3474772B2 JP16163198A JP16163198A JP3474772B2 JP 3474772 B2 JP3474772 B2 JP 3474772B2 JP 16163198 A JP16163198 A JP 16163198A JP 16163198 A JP16163198 A JP 16163198A JP 3474772 B2 JP3474772 B2 JP 3474772B2
- Authority
- JP
- Japan
- Prior art keywords
- pressure sensor
- geometrical
- camera image
- region
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measuring Fluid Pressure (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、圧力センサとカメ
ラで物体の運動を計測する（スポーツやリハビリテーシ
ョンなどで運動解析を行うための姿勢計測を行う）とき
に、圧力センサのデータとカメラの画像データとの対応
付けを行うセンサキャリブレーション方法、センサキャ
リブレーション装置及びセンサキャリブレーションプロ
グラムを記録した記録媒体に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to data of a pressure sensor and an image of a camera when measuring the motion of an object with a pressure sensor and a camera (performing a posture measurement for a motion analysis in sports or rehabilitation). The present invention relates to a sensor calibration method for associating with data, a sensor calibration device, and a recording medium recording a sensor calibration program.
【０００２】[0002]
【従来の技術】圧力センサとカメラの対応付けを行う従
来の方法として、時間的な対応付けを行う方法がある。
これは、圧力データとカメラ画像との計測時刻を対応付
ける方法であり、次の２つの方法がある。2. Description of the Related Art As a conventional method for associating a pressure sensor with a camera, there is a method for temporal association.
This is a method of associating the measurement times of the pressure data and the camera image, and there are the following two methods.
【０００３】（１）タイムコードを利用する方法
圧力センサ、カメラの計測時に独立にタイムコードを付
与しておき、タイムコードをキーに圧力データとカメラ
画像との時間を対応付ける。(1) Method of using time code A time code is provided independently when measuring the pressure sensor and the camera, and the time between the pressure data and the camera image is associated with the time code as a key.
【０００４】（２）外部同期信号を利用する方法
カメラ、または、圧力センサを外部同期信号に合わせて
計測することにより圧力データとカメラ画像との時間を
対応付ける。(2) Method of utilizing external synchronization signal By measuring the camera or the pressure sensor in accordance with the external synchronization signal, the time between the pressure data and the camera image is associated.
【０００５】一方、圧力データとカメラ画像との空間的
な対応付けを行う従来の方法はない。On the other hand, there is no conventional method for spatially associating pressure data with camera images.
【０００６】[0006]
【発明が解決しようとする課題】上記したように従来の
技術には、圧力データとカメラ画像との空間的な対応付
けを行う方法はなく、また、上記従来の時間的な対応付
け方法を空間的な対応付けに発展させることは困難であ
った。As described above, the conventional technique does not have a method for spatially associating the pressure data with the camera image, and the conventional temporal associating method is spatially associated. It was difficult to develop it into a specific correspondence.
【０００７】本発明は、圧力センサによる圧力データと
映像入力部によるカメラ画像との空間的な対応付けを行
う方法、装置およびその方法を記録した記録媒体を提供
することを課題とする。An object of the present invention is to provide a method and apparatus for spatially associating pressure data from a pressure sensor with a camera image from a video input unit, and a recording medium recording the method.
【０００８】[0008]
【課題を解決するための手段】本発明は、以下に列記す
る発明により上記の課題を解決する。The present invention solves the above problems by the inventions listed below.
【０００９】本発明（１）は、物体が接地したときの圧
力分布を接地圧分布として計測する圧力センサと、運動
する物体のカメラ画像を取り込む映像入力部との対応関
係を求めるセンサキャリブレーション方法において、映
像入力部により圧力センサを撮影したカメラ画像を取り
込み、前記取り込んだカメラ画像における圧力センサ領
域を検出し、前記検出した圧力センサ領域から圧力セン
サについての幾何学的特徴を抽出し、予め記憶していた
実際の圧力センサについての幾何学的特徴と前記カメラ
画像における圧力センサ領域から抽出した圧力センサに
ついての幾何学的特徴とを比較することにより前記圧力
センサと前記映像入力部との対応関係を求めることを特
徴とするセンサキャリブレーション方法である。The present invention (1) is a sensor calibration method for obtaining a correspondence relationship between a pressure sensor for measuring a pressure distribution when an object is in contact with the ground as a contact pressure distribution and a video input section for capturing a camera image of a moving object. In, a camera image obtained by capturing the pressure sensor by the video input unit is captured, a pressure sensor region in the captured camera image is detected, geometrical features of the pressure sensor are extracted from the detected pressure sensor region, and stored in advance. By comparing the geometrical characteristics of the actual pressure sensor with the geometrical characteristics of the pressure sensor extracted from the pressure sensor area in the camera image, the correspondence relationship between the pressure sensor and the video input unit. Is a sensor calibration method.
【００１０】あるいは、圧力センサを撮影したカメラ画
像を取り込む映像入力部と、前記取り込んだカメラ画像
から圧力センサ領域を検出する圧力センサ領域抽出部
と、前記検出した圧力センサ領域から前記圧力センサに
ついての幾何学的特徴を抽出する特徴抽出部と、実際の
圧力センサについての幾何学的特徴を予め記憶しておく
特徴記憶部と、前記抽出した圧力センサについての幾何
学的特徴と前記特徴記憶部に予め記憶した実際の圧力セ
ンサについての幾何学的特徴とを比較して前記圧力セン
サと前記映像入力部との対応関係を求める対応付け処理
部とを、具備することを特徴とするセンサキャリブレー
ション装置である。Alternatively, a video input section for taking in a camera image of the pressure sensor, a pressure sensor area extracting section for detecting a pressure sensor area from the taken camera image, and a pressure sensor for the pressure sensor from the detected pressure sensor area are provided. A feature extraction unit that extracts geometric features, a feature storage unit that stores in advance geometric features of actual pressure sensors, a geometric feature of the extracted pressure sensors and the feature storage unit. A sensor calibration device comprising: a correspondence processing unit that compares a geometrical feature of an actual pressure sensor stored in advance to obtain a correspondence relation between the pressure sensor and the image input unit. Is.
【００１１】あるいは、物体が接地したときの圧力分布
を接地圧分布として計測する圧力センサと、運動する物
体のカメラ画像を取り込む映像入力部との対応関係を求
めるセンサキャリブレーション方法における、映像入力
部により圧力センサを撮影したカメラ画像を取り込む手
順と、前記取り込んだカメラ画像における圧力センサ領
域を検出する手順と、前記検出した圧力センサ領域から
前記圧力センサについての幾何学的特徴を抽出する手順
と、予め記憶していた実際の圧力センサについての幾何
学的特徴と前記カメラ画像における圧力センサ領域から
抽出した圧力センサについての幾何学的特徴とを比較す
ることにより前記圧力センサと前記映像入力部との対応
関係を求める手順とを、コンピュータで実行するための
プログラムを該コンピュータが読み取り可能な記録媒体
に記録したことを特徴とするセンサキャリブレーション
プログラムを記録した記録媒体である。Alternatively, a video input unit in a sensor calibration method for obtaining a correspondence relationship between a pressure sensor for measuring a pressure distribution when an object is grounded as a ground pressure distribution and a video input unit for capturing a camera image of a moving object. A procedure of capturing a camera image of a pressure sensor captured by the procedure, a procedure of detecting a pressure sensor area in the captured camera image, and a procedure of extracting a geometrical feature of the pressure sensor from the detected pressure sensor area, By comparing the geometrical characteristics of the actual pressure sensor stored in advance and the geometrical characteristics of the pressure sensor extracted from the pressure sensor area in the camera image, the pressure sensor and the video input unit are compared. A program for executing the procedure for obtaining the correspondence on a computer Computer is a recording medium recording the sensor calibration program characterized by recording on a recording medium readable.
【００１２】本発明（２）は、前記圧力センサについて
の幾何学的特徴を、前記圧力センサの端点の位置とした
ことを特徴とするセンサキャリブレーション方法であ
る。The present invention (2) is the sensor calibration method, wherein the geometrical feature of the pressure sensor is the position of the end point of the pressure sensor.
【００１３】本発明（３）は、前記圧力センサについて
の幾何学的特徴を、前記圧力センサ上に固定的に設定し
たマーカーの位置としたことを特徴とするセンサキャリ
ブレーション方法である。The present invention (3) is the sensor calibration method, wherein the geometrical feature of the pressure sensor is the position of a marker fixedly set on the pressure sensor.
【００１４】本発明（４）は、前記圧力センサについて
の幾何学的特徴を、前記圧力センサの形状から算出する
ことを特徴とするセンサキャリブレーション方法であ
る。The present invention (4) is a sensor calibration method characterized in that geometrical characteristics of the pressure sensor are calculated from the shape of the pressure sensor.
【００１５】本発明（５）は、前記圧力センサについて
の幾何学的特徴を、前記圧力センサ上に固定的に設定し
た図形の形状から算出することを特徴とするセンサキャ
リブレーション方法である。The present invention (5) is a sensor calibration method characterized in that geometrical characteristics of the pressure sensor are calculated from the shape of a figure fixedly set on the pressure sensor.
【００１６】本発明（６）は、前記圧力センサと前記映
像入力部との対応関係を求める過程において、カメラ画
像における圧力センサ領域の複数の端点の位置から消失
点を算出し、前記算出した消失点から前記複数の端点を
結ぶ直線の実空間での方向ベクトルを算出し、予め記憶
していた実際の圧力センサについての実空間での端点の
位置関係を読み出し、前記算出した方向ベクトルと前記
読み出した実空間での端点の位置関係から回転行列を算
出し、前記算出した回転行列と前記カメラ画像における
圧力センサ領域の端点の位置とから並進ベクトルを算出
し、前記算出した回転行列と前記算出した並進ベクトル
とから前記圧力センサと前記映像入力部との対応関係を
求めることを特徴とするセンサキャリブレーション方法
である。According to the present invention (6), in the process of obtaining the correspondence between the pressure sensor and the image input unit, vanishing points are calculated from the positions of a plurality of end points of the pressure sensor area in the camera image, and the calculated vanishing points are calculated. A direction vector in a real space of a straight line connecting the plurality of end points from a point is calculated, the positional relationship between the end points in the real space of the actual pressure sensor stored in advance is read, and the calculated direction vector and the read The rotation matrix is calculated from the positional relationship of the end points in the real space, the translation vector is calculated from the calculated rotation matrix and the position of the end point of the pressure sensor region in the camera image, and the calculated rotation matrix and the calculated value. The sensor calibration method is characterized in that a correspondence relationship between the pressure sensor and the image input unit is obtained from a translation vector.
【００１７】あるいは、前記圧力センサと前記映像入力
部との対応関係を求める手順において、カメラ画像にお
ける圧力センサ領域の複数の端点の位置から消失点を算
出する手順と、前記算出した消失点から前記複数の端点
を結ぶ直線の実空間での方向ベクトルを算出する手順
と、予め記憶していた実際の圧力センサについての実空
間での端点の位置関係を読み出す手順と、前記算出した
方向ベクトルと前記読み出した実空間での端点の位置関
係から回転行列を算出する手順と、前記算出した回転行
列と前記カメラ画像における圧力センサ領域の端点の位
置とから並進ベクトルを算出する手順と、前記算出した
回転行列と前記算出した並進ベクトルとから前記圧力セ
ンサと前記映像入力部との対応関係を求める手順とを、
有することを特徴とするセンサキャリブレーションプロ
グラムを記録した記録媒体である。Alternatively, in the procedure for obtaining the correspondence between the pressure sensor and the image input unit, the procedure for calculating vanishing points from the positions of a plurality of end points of the pressure sensor area in the camera image, and the procedure for calculating the vanishing points from the calculated vanishing points are used. A procedure for calculating a direction vector in a real space of a straight line connecting a plurality of end points, a procedure for reading the positional relationship between the end points in the real space for an actual pressure sensor stored in advance, the calculated direction vector and the A procedure for calculating a rotation matrix from the read positional relationship of the end points in the real space, a procedure for calculating a translation vector from the calculated rotation matrix and the position of the end point of the pressure sensor region in the camera image, and the calculated rotation A procedure of obtaining a correspondence relationship between the pressure sensor and the image input unit from a matrix and the calculated translation vector,
A recording medium having a sensor calibration program recorded therein.
【００１８】本発明（７）は、物体が接地したときの圧
力分布を接地圧分布として計測する圧力センサと、運動
する物体のカメラ画像を取り込む映像入力部との対応関
係を求めるセンサキャリブレーション方法において、圧
力センサ上に置かれた物体を圧力センサと映像入力部で
同時に計測し、前記圧力センサで計測した圧力分布から
物体の接地領域を検出し、前記検出した接地領域から物
体の幾何学的特徴を抽出し、前記映像入力部で取り込ん
だカメラ画像における物体領域を検出し、前記検出した
物体領域から物体の幾何学的特徴を抽出し、前記物体の
接地領域から抽出した物体の幾何学的特徴と前記カメラ
画像における物体領域から抽出した物体の幾何学的特徴
とを比較することにより前記圧力センサと前記映像入力
部との対応関係を求めることを特徴とするセンサキャリ
ブレーション方法である。The present invention (7) is a sensor calibration method for obtaining a correspondence between a pressure sensor for measuring a pressure distribution when an object is in contact with the ground as a contact pressure distribution and a video input unit for capturing a camera image of a moving object. In, the object placed on the pressure sensor is simultaneously measured by the pressure sensor and the image input unit, the ground area of the object is detected from the pressure distribution measured by the pressure sensor, and the geometrical shape of the object is detected from the detected ground area. The feature is extracted, the object area in the camera image captured by the video input unit is detected, the geometrical characteristic of the object is extracted from the detected object area, and the geometrical shape of the object extracted from the grounded area of the object. By comparing the feature and the geometric feature of the object extracted from the object region in the camera image, the correspondence between the pressure sensor and the image input unit can be determined. A sensor calibration method characterized by Mel.
【００１９】あるいは、圧力センサ上の物体の圧力分布
を計測する圧力センサ部と、前記計測した圧力分布から
物体の接地領域を検出する物体圧力領域抽出部と、前記
検出した物体の接地領域から幾何学的特徴を抽出する圧
力特徴抽出部と、前記圧力センサ上の物体のカメラ画像
を取り込む映像入力部と、前記取り込んだカメラ画像に
おける物体領域を検出する物体領域抽出部と、前記検出
した物体領域から物体の幾何学的特徴を抽出する画像特
徴抽出部と、前記物体の接地領域から抽出した物体の幾
何学的特徴と前記カメラ画像における物体領域から抽出
した物体の幾何学的特徴とを比較し、前記圧力センサと
前記映像入力部との対応関係を求める対応付け部とを、
具備することを特徴とするセンサキャリブレーション装
置である。Alternatively, a pressure sensor section for measuring the pressure distribution of the object on the pressure sensor, an object pressure area extraction section for detecting the grounded area of the object from the measured pressure distribution, and a geometrical shape for the grounded area of the detected object Feature extraction unit for extracting a biological feature, a video input unit for capturing a camera image of an object on the pressure sensor, an object region extraction unit for detecting an object region in the captured camera image, and the detected object region An image feature extraction unit for extracting geometrical features of the object from the object, comparing the geometrical feature of the object extracted from the ground area of the object with the geometrical feature of the object extracted from the object region in the camera image. A correspondence unit that obtains a correspondence relationship between the pressure sensor and the video input unit,
It is a sensor calibration device characterized by comprising.
【００２０】あるいは、物体が接地したときの圧力分布
を接地圧分布として計測する圧力センサと、運動する物
体のカメラ画像を取り込む映像入力部との対応関係を求
めるセンサキャリブレーション方法における、圧力セン
サ上に置かれた物体を圧力センサと映像入力部で同時に
計測する手順と、前記圧力センサで計測した圧力分布か
ら物体の接地領域を検出する手順と、前記検出した接地
領域から物体の幾何学的特徴を抽出する手順と、前記映
像入力部で取り込んだカメラ画像における物体領域を検
出する手順と、前記検出した物体領域から物体の幾何学
的特徴を抽出する手順と、前記物体の接地領域から抽出
した物体の幾何学的特徴と前記カメラ画像における物体
領域から抽出した物体の幾何学的特徴とを比較すること
により前記圧力センサと前記映像入力部との対応関係を
求める手順とを、コンピュータで実行するためのプログ
ラムを該コンピュータが読み取り可能な記録媒体に記録
したことを特徴とするセンサキャリブレーションプログ
ラムを記録した記録媒体である。Alternatively, in the sensor calibration method in the sensor calibration method for obtaining the correspondence between the pressure sensor for measuring the pressure distribution when the object is in contact with the ground as the contact pressure distribution and the video input unit for capturing the camera image of the moving object. Procedure for simultaneously measuring an object placed on the object with a pressure sensor and an image input section, a procedure for detecting a ground area of the object from the pressure distribution measured by the pressure sensor, and a geometrical feature of the object from the detected ground area To extract the object area in the camera image captured by the video input unit, to extract the geometrical features of the object from the detected object area, and to extract from the ground area of the object By comparing the geometrical features of the object with the geometrical features of the object extracted from the object region in the camera image, A recording medium storing a sensor calibration program, in which a program for executing the program on a computer is recorded on a recording medium readable by the computer. is there.
【００２１】本発明（８）は、前記物体の幾何学的特徴
を、圧力センサ上に置いた複数の物体の領域の中心位置
としたことを特徴とするセンサキャリブレーション方法
である。The present invention (8) is the sensor calibration method, wherein the geometrical feature of the object is the center position of a plurality of regions of the object placed on the pressure sensor.
【００２２】本発明（９）は、前記物体の幾何学的特徴
を、圧力センサ上に置いた物体領域の形状から算出する
ことを特徴とするセンサキャリブレーション方法であ
る。The present invention (9) is the sensor calibration method, wherein the geometrical feature of the object is calculated from the shape of the object region placed on the pressure sensor.
【００２３】本発明（１０）は、物体が接地したときの
圧力分布を接地圧分布として計測する圧力センサと、運
動する物体のカメラ画像を取り込む映像入力部との対応
関係を求めるセンサキャリブレーション方法において、
圧力センサ上に置かれた物体を圧力センサで計測し、前
記計測した圧力分布から前記物体の接地領域を検出し、
前記検出した接地領域から前記物体の幾何学的特徴を抽
出し、前記接地領域から抽出した物体の幾何学的特徴の
位置関係が予め設定した位置関係になるように、前記圧
力センサ上に置く物体の位置を誘導し、前記誘導した後
のカメラ画像における物体領域を検出し、前記検出した
物体領域から前記物体の幾何学的特徴を抽出し、前記接
地領域から抽出した物体の幾何学的特徴と前記カメラ画
像における物体領域から抽出した物体の幾何学的特徴と
を比較することにより前記圧力センサと前記映像入力部
との対応関係を求めることを特徴とするセンサキャリブ
レーション方法である。The present invention (10) is a sensor calibration method for obtaining a correspondence between a pressure sensor for measuring a pressure distribution when an object is in contact with the ground as a contact pressure distribution and a video input unit for capturing a camera image of a moving object. At
An object placed on the pressure sensor is measured by the pressure sensor, and the ground area of the object is detected from the measured pressure distribution,
An object placed on the pressure sensor so that the geometrical characteristics of the object are extracted from the detected ground area and the positional relationship of the geometrical characteristics of the object extracted from the ground area is a preset positional relationship. The position of the object, the object area in the camera image after the guiding is detected, the geometrical characteristic of the object is extracted from the detected object area, and the geometrical characteristic of the object extracted from the ground area The sensor calibration method is characterized in that a correspondence relationship between the pressure sensor and the image input unit is obtained by comparing geometrical characteristics of an object extracted from an object region in the camera image.
【００２４】あるいは、圧力センサ上の物体の圧力分布
を計測する圧力センサ部と、前記計測した圧力分布から
物体の接地領域を検出する物体圧力領域抽出部と、前記
検出した物体の接地領域から幾何学的特徴を抽出する圧
力特徴抽出部と、前記物体の接地領域から抽出した幾何
学的特徴が予め設定した位置関係になるように前記物体
を前記圧力センサ上に置く物体の目標位置を提示し、該
幾何学的特徴が該予め設定した位置関係と一致した場合
には、カメラ画像の取り込みを指示するフィードバック
処理部と、前記指示を受けて前記圧力センサ上の物体の
カメラ画像を取り込む映像入力部と、前記取り込んだカ
メラ画像における物体領域を検出する物体領域抽出部
と、前記検出した物体領域から幾何学的特徴を抽出する
画像特徴抽出部と、前記物体の接地領域から抽出した幾
何学的特徴と前記カメラ画像における物体領域から抽出
した物体の幾何学的特徴とを比較し、前記圧力センサと
前記映像入力部との対応関係を求める対応付け部とを、
具備することを特徴とするセンサキャリブレーション装
置である。Alternatively, a pressure sensor section for measuring the pressure distribution of the object on the pressure sensor, an object pressure area extraction section for detecting the grounding area of the object from the measured pressure distribution, and a geometrical shape for the grounding area of the detected object And presents a target position of the object on which the object is placed so that the geometrical feature extracted from the ground area of the object has a preset positional relationship. If the geometrical feature matches the preset positional relationship, a feedback processing unit for instructing to capture a camera image, and a video input for capturing the camera image of the object on the pressure sensor in response to the instruction. Unit, an object region extraction unit that detects an object region in the captured camera image, an image feature extraction unit that extracts geometrical features from the detected object region, An associating unit that compares the geometrical feature extracted from the grounded region of the object with the geometrical feature of the object extracted from the object region in the camera image, and obtains a corresponding relationship between the pressure sensor and the video input unit. And
It is a sensor calibration device characterized by comprising.
【００２５】あるいは、物体が接地したときの圧力分布
を接地圧分布として計測する圧力センサと、運動する物
体のカメラ画像を取り込む映像入力部との対応関係を求
めるセンサキャリブレーション方法における、圧力セン
サ上に置かれた物体を圧力センサで計測する手順と、前
記圧力センサで計測した圧力分布から前記物体の接地領
域を検出する手順と、前記検出した接地領域から前記物
体の幾何学的特徴を抽出する手順と、前記接地領域から
抽出した物体の幾何学的特徴が予め設定した位置関係に
なるように、前記圧力センサ上に置く物体の位置を誘導
する手順と、前記誘導した後のカメラ画像における物体
領域を検出する手順と、前記検出した物体領域から該物
体の幾何学的特徴を抽出する手順と、前記接地領域から
抽出した物体の幾何学的特徴と前記カメラ画像における
物体領域から抽出した幾何学的特徴とを比較することに
より前記圧力センサと前記映像入力部との対応関係を求
める手順とを、コンピュータで実行するためのプログラ
ムを該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするセンサキャリブレーションプログラ
ムを記録した記録媒体である。Alternatively, on the pressure sensor in the sensor calibration method in the sensor calibration method for obtaining the correspondence relationship between the pressure sensor that measures the pressure distribution when the object is grounded as the ground pressure distribution and the video input unit that captures the camera image of the moving object. Procedure for measuring an object placed on the object with a pressure sensor, procedure for detecting a ground area of the object from the pressure distribution measured by the pressure sensor, and extraction of geometrical features of the object from the detected ground area. A procedure, a procedure for guiding the position of the object placed on the pressure sensor so that the geometrical characteristics of the object extracted from the ground area have a preset positional relationship, and an object in the camera image after the guiding. A procedure for detecting a region, a procedure for extracting a geometrical feature of the object from the detected object region, and a procedure for extracting the geometric feature of the object from the grounded region. And a geometric feature extracted from an object region in the camera image to obtain a correspondence relationship between the pressure sensor and the image input unit, a program for executing the program on a computer. A recording medium having a sensor calibration program recorded on a computer-readable recording medium.
【００２６】本発明（１１）は、前記接地領域から抽出
した物体の幾何学的特徴の位置関係が所定の位置関係に
なるように、前記圧力センサ上に置く物体の位置を誘導
する過程では、予め記憶した実際の物体の幾何学的特徴
を読み出し、前記読み出した実際の物体の幾何学的特徴
での位置関係から物体の目標位置を算出し、前記算出し
た目標位置と前記接地領域から抽出した幾何学的特徴の
位置とが一致するように前記物体の移動を誘導し、前記
目標位置と前記接地領域から抽出した幾何学的特徴での
位置とが一致した場合に、カメラ画像の取り込みを映像
入力部に指示することを特徴とするセンサキャリブレー
ション方法である。According to the present invention (11), in the process of inducing the position of the object placed on the pressure sensor so that the geometrical relationship of the geometrical features of the object extracted from the ground area has a predetermined positional relationship, The geometrical characteristics of the actual object stored in advance are read out, the target position of the object is calculated from the positional relationship in the read out geometrical characteristics of the actual object, and extracted from the calculated target position and the grounded area. The movement of the object is guided so that the position of the geometrical feature matches, and when the target position and the position of the geometrical feature extracted from the ground contact region match, the capture of the camera image is imaged. The sensor calibration method is characterized by instructing an input unit.
【００２７】あるいは、前記接地領域から抽出した物体
の幾何学的特徴の位置関係が所定の位置関係になるよう
に、前記圧力センサ上に置く物体の位置を誘導する手順
において、予め設定した実際の物体の幾何学的特徴を読
み出す手順と、前記読み出した物体の幾何学的特徴での
位置関係から物体の目標位置を算出する手順と、前記算
出した目標位置と前記接地領域から抽出した物体の幾何
学的特徴の位置とが一致するように前記物体の移動を誘
導する手順と、前記目標位置と前記前記接地領域から抽
出した物体の幾何学的特徴の位置とが一致した場合に、
カメラ画像の取り込みを映像入力部に指示する手順と
を、有することを特徴とするセンサキャリブレーション
プログラムを記録した記録媒体である。Alternatively, in the procedure of guiding the position of the object placed on the pressure sensor so that the positional relationship of the geometrical features of the object extracted from the ground area becomes a predetermined positional relationship, a preset actual A procedure for reading out the geometrical characteristics of the object, a procedure for calculating the target position of the object from the positional relationship in the geometrical characteristics of the read-out object, and a geometry of the object extracted from the calculated target position and the ground area. When the procedure for guiding the movement of the object so that the position of the geometrical feature coincides with the position of the geometrical feature of the object extracted from the target position and the ground area,
And a procedure for instructing a video input unit to capture a camera image, the recording medium having a sensor calibration program recorded therein.
【００２８】[0028]
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings.
【００２９】図１に本発明（１）、（２）、（３）、
（４）、（５）、（６）の実施形態例を説明する構成図
を示す。図１において、１０１は映像入力部、１０２は
圧力センサ領域抽出部、１０３は特徴抽出部、１０４は
特徴記憶部、１０５は対応付け処理部である。FIG. 1 shows the present inventions (1), (2), (3),
The block diagram explaining embodiment example of (4), (5), (6) is shown. In FIG. 1, 101 is a video input unit, 102 is a pressure sensor area extraction unit, 103 is a feature extraction unit, 104 is a feature storage unit, and 105 is an association processing unit.
【００３０】映像入力部１０１は、圧力センサを撮影し
たカメラ画像を取り込み、圧力センサ領域抽出部１０２
に出力する。その撮影する様子を図２に示す。図２にお
いて、１０１は映像入力部、２０１ａは圧力センサであ
る。The video input unit 101 takes in a camera image of the pressure sensor, and the pressure sensor region extraction unit 102.
Output to. The state of photographing is shown in FIG. In FIG. 2, 101 is an image input unit and 201a is a pressure sensor.
【００３１】圧力センサ領域抽出部１０２は、カメラ画
像における圧力センサ領域を検出し、検出した領域を特
徴抽出部１０３に出力する。圧力センサ２０１ａが特定
の色である場合には、カメラ画像からその色領域を切り
出すことで圧力センサ領域が検出できる。また、圧力セ
ンサ２０１ａを設置する前のカメラ画像を背景画像とし
て取り込んでおき、背景画像との差分により圧力センサ
領域を検出することもできる。The pressure sensor area extraction unit 102 detects the pressure sensor area in the camera image and outputs the detected area to the feature extraction unit 103. When the pressure sensor 201a has a specific color, the pressure sensor area can be detected by cutting out the color area from the camera image. It is also possible to capture the camera image before installing the pressure sensor 201a as a background image and detect the pressure sensor area by the difference from the background image.
【００３２】特徴抽出部１０３は、検出した圧力センサ
領域から圧力センサ２０１ａについての幾何学的特徴を
抽出し、対応付け処理部１０５に出力する。The feature extraction unit 103 extracts the geometric feature of the pressure sensor 201a from the detected pressure sensor region and outputs it to the association processing unit 105.
【００３３】対応付け処理部１０５は、特徴記憶部１０
４にデータの読み出し要求を出す。特徴記憶部１０４
は、予め記憶していた実際の圧力センサについての幾何
学的特徴を対応付け処理部１０５に出力する。対応付け
処理部１０５は、特徴抽出部１０３より受けたカメラ画
像から求めた圧力センサ２０１ａについての幾何学的特
徴と、特徴記憶部１０４より受けた実際の圧力センサに
ついての幾何学的特徴とを比較して圧力センサ２０１ａ
と映像入力部１０１との対応関係を求める。The association processing unit 105 includes the feature storage unit 10
A data read request is issued to 4. Feature storage unit 104
Outputs the geometrical characteristics of the actual pressure sensor stored in advance to the association processing unit 105. The association processing unit 105 compares the geometrical characteristic of the pressure sensor 201a obtained from the camera image received from the characteristic extracting unit 103 with the geometrical characteristic of the actual pressure sensor received from the characteristic storage unit 104. And pressure sensor 201a
The correspondence relationship between the video input unit 101 and the video input unit 101 is obtained.
【００３４】次に、本発明（２）について、圧力センサ
の形状が長方形の場合を例に、特徴抽出部１０３と対応
付け処理部１０５の実施形態例を説明する。Next, with respect to the present invention (2), an embodiment of the feature extraction unit 103 and the association processing unit 105 will be described by taking the case where the pressure sensor has a rectangular shape as an example.
【００３５】特徴抽出部１０３で検出する圧力センサに
ついての幾何学的特徴は、圧力センサの端点の位置であ
る。圧力センサ抽出部１０２で検出した圧力センサ領域
のコーナーを検出することで４つの端点の位置が検出で
きる。The geometric feature of the pressure sensor detected by the feature extraction unit 103 is the position of the end point of the pressure sensor. The positions of the four end points can be detected by detecting the corners of the pressure sensor area detected by the pressure sensor extraction unit 102.
【００３６】対応付け処理部１０５の実施形態例を説明
する。圧力センサとカメラとの対応関係を図３に示す。
圧力センサの４つの端点がＰ０、Ｐ１、Ｐ２、Ｐ３で、
Ｐ０を原点、Ｐ０Ｐ１の方向をＸ軸、Ｐ０Ｐ３の方向を
Ｙ軸とした座標系が圧力センサを基準としたＸＹＺ座標
系である。一方、カメラのレンズ中心を基準とした座標
系がＸｃＹｃＺｃ座標系で、カメラ画像はｕｖ座標系で
表現される。ここで、
ｕ＝（Ｘｃ／Ｚｃ）ｆ，ｖ＝（Ｙｃ／Ｚｃ）ｆ …（１）
の関係が成り立つ。ｆはカメラの焦点距離である。ま
た、ＸｃＹｃＺｃ座標系とＸＹＺ座標系の関係は、
（Ｘｃ，Ｙｃ，Ｚｃ）T＝Ｒ（Ｘ，Ｙ，Ｚ）T＋ｔ …（２）
で表される。Ｒは３行３列の回転行列、ｔは３次元の並
進ベクトルである。Ｔは転置行列を示す。式（１）、式
（２）より圧力センサを中心とするＸＹＺ座標系とカメ
ラ画像のｕｖ座標系が対応付けられるので、対応付け処
理部１０５の処理は回転行列Ｒと並進ベクトルｔを求め
ることである。An example of the embodiment of the association processing unit 105 will be described. The correspondence between the pressure sensor and the camera is shown in FIG.
The four end points of the pressure sensor are P0, P1, P2 and P3,
A coordinate system in which P0 is the origin, the direction of P0P1 is the X axis, and the direction of P0P3 is the Y axis is an XYZ coordinate system with the pressure sensor as a reference. On the other hand, the coordinate system based on the lens center of the camera is represented by the XcYcZc coordinate system, and the camera image is represented by the uv coordinate system. Here, the relationship of u = (Xc / Zc) f, v = (Yc / Zc) f (1) holds. f is the focal length of the camera. The relationship between the XcYcZc coordinate system and the XYZ coordinate system is expressed by (Xc, Yc, Zc) T = R (X, Y, Z) T + t (2). R is a rotation matrix of 3 rows and 3 columns, and t is a three-dimensional translation vector. T represents a transposed matrix. Since the XYZ coordinate system centered on the pressure sensor and the uv coordinate system of the camera image are associated with each other by the equations (1) and (2), the processing of the association processing unit 105 is to obtain the rotation matrix R and the translation vector t. Is.
【００３７】本発明（６）の実施形態例を説明する対応
付け処理部１０５の処理手順を図４に示す。FIG. 4 shows the processing procedure of the association processing unit 105 for explaining the embodiment of the present invention (6).
【００３８】まず、特徴抽出部１０３より圧力センサの
端点の位置座標が入力されると、消失点の算出を行う
（４１）。図５に圧力センサを撮影したカメラ画像を示
す。同図に示すように、圧力センサの端点Ｐ０とＰ１、
Ｐ３とＰ２を結ぶ直線の交点（ｑ２、ｒ２）、Ｐ２とＰ
１、Ｐ３とＰ０を結ぶ直線の交点（ｑ１、ｒ１）が消失
点である。First, when the position coordinates of the end points of the pressure sensor are input from the feature extraction unit 103, the vanishing point is calculated (41). FIG. 5 shows a camera image of the pressure sensor. As shown in the figure, the end points P0 and P1 of the pressure sensor,
Intersection (q2, r2) of the straight line connecting P3 and P2, P2 and P
1, the intersection (q1, r1) of the straight line connecting P3 and P0 is the vanishing point.
【００３９】次に、直線Ｐ０Ｐ１の実空間での方向ベク
トルを算出する（４２）。カメラの焦点距離をｆとする
と、直線Ｐ０Ｐ１の消失点が（ｑ２、ｒ２）であること
から、直線Ｐ０Ｐ１の方向ベクトルは（ｑ２、ｒ２、−
ｆ）となる。Next, the direction vector of the straight line P0P1 in the real space is calculated (42). Since the vanishing point of the straight line P0P1 is (q2, r2) where the focal length of the camera is f, the direction vector of the straight line P0P1 is (q2, r2, −).
f).
【００４０】次に、直線Ｐ０Ｐ３の実空間での方向ベク
トルを算出する（４３）。直線Ｐ０Ｐ３の消失点が（ｑ
１、ｒ１）であることから、直線Ｐ０Ｐ３の方向ベクト
ルは（ｑ１、ｒ１、−ｆ）となる。Next, the direction vector of the straight line P0P3 in the real space is calculated (43). The vanishing point of the straight line P0P3 is (q
1, r1), the direction vector of the straight line P0P3 is (q1, r1, -f).
【００４１】次に、Ｐ０、Ｐ１、Ｐ３の実空間での位置
関係を読み出す（４４）。本実施形態例では、圧力セン
サを基準とする座標系においてＰ０が原点、Ｐ１（５
０、０、０）、Ｐ３（０、２５０、０）であることを記
憶しておき、それらの座標値を読み出す。Next, the positional relationship of P0, P1 and P3 in the real space is read (44). In this embodiment, P0 is the origin and P1 (5
0, 0, 0) and P3 (0, 250, 0) are stored, and their coordinate values are read.
【００４２】次に、回転行列Ｒを算出する（４５）。Ｘ
ｃ軸、Ｙｃ軸、Ｚｃ軸を回転させて、Ｘ軸、Ｙ軸、Ｚ軸
に一致させるような回転行列を求めればよい。従って、
ベクトル（１、０、０）、（０、１、０）をＸｃ軸のま
わりにα、Ｙｃ軸の回りにβ、Ｚｃ軸の回りのγだけ回
転させて、それぞれ（ｑ２、ｒ２、−ｆ）、（ｑ１、ｒ
１、−ｆ）の方向になるようなα、β、γを求めればよ
い。この回転は、次式で表せる。Next, the rotation matrix R is calculated (45). X
It is only necessary to rotate the c-axis, the Yc-axis, and the Zc-axis to obtain a rotation matrix that matches the X-axis, the Y-axis, and the Z-axis. Therefore,
The vectors (1, 0, 0) and (0, 1, 0) are rotated by α around the Xc axis, β around the Yc axis, and γ around the Zc axis, respectively, to obtain (q2, r2, -f). ), (Q1, r
[Alpha], [beta], and [gamma] such that the direction of (1, -f) is obtained. This rotation can be expressed by the following equation.
【００４３】[0043]
【数１】 [Equation 1]
【００４４】[0044]
【数２】 [Equation 2]
【００４５】ここで、回転行列Ｒは、Here, the rotation matrix R is
【００４６】[0046]
【数３】 [Equation 3]
【００４７】である。式（３）、式（４）よりα、β、
γを求めることにより回転行列が算出できる。It is From equations (3) and (4), α, β,
The rotation matrix can be calculated by obtaining γ.
【００４８】最後に並進ベクトルを算出する（４６）。
ＸｃＹｃＺｃ座標系の原点をＰ０としたときに、算出し
た回転行列でＰ０Ｐ１、Ｐ０Ｐ３を回転させ、Ｐ０、Ｐ
１、Ｐ３を（ａ，ｂ，ｃ）だけ移動させた後の点を
（Ｘ’０，Ｙ’０，Ｚ’０）、（Ｘ’１，Ｙ’１，Ｚ’
１）、（Ｘ’３，Ｙ’３，Ｚ’３）とすると、
（Ｘ’０，Ｙ’０，Ｚ’０）＝（ａ，ｂ，ｃ）T
（Ｘ’１，Ｙ’１，Ｚ’１）＝Ｒ（５０、０、０）T＋（ａ，ｂ，ｃ）T
（Ｘ’３，Ｙ’３，Ｚ’３）＝Ｒ（０、２５０、０）T＋（ａ，ｂ，ｃ）T
以上の式…（６）
となる。Finally, the translation vector is calculated (46).
When the origin of the XcYcZc coordinate system is P0, P0P1 and P0P3 are rotated by the calculated rotation matrix to obtain P0 and P0.
1, the point after moving P3 by (a, b, c) is (X'0, Y'0, Z'0), (X'1, Y'1, Z '
1) and (X'3, Y'3, Z'3), (X'0, Y'0, Z'0) = (a, b, c) T (X'1, Y'1, Z'1) = R (50,0,0) T + (a, b, c) T (X'3, Y'3, Z'3) = R (0,250,0) T + (a, b, c) T or more expressions ... is (6).
【００４９】（Ｘ’０，Ｙ’０，Ｚ’０）、（Ｘ’１，
Ｙ’１，Ｚ’１）、（Ｘ’３，Ｙ’３，Ｚ’３）の画像
への投影後の位置がカメラ画像で計測される点であるの
で、
ｕｉ＝（Ｘ’ｉ／Ｚ’ｉ）ｆ
ｖｉ＝（Ｙ’ｉ／Ｚ’ｉ）ｆ
ｉ＝０，１，３
以上の式…（７）
式（６）、式（７）より並進ベクトル（ａ，ｂ，ｃ）が
求められる。(X'0, Y'0, Z'0), (X'1,
Since the positions of Y'1, Z'1) and (X'3, Y'3, Z'3) after being projected on the image are points measured by the camera image, ui = (X'i / Z 'i) f vi = (Y'i / Z'i) f i = 0,1,3 The above equations (7) From the equations (6) and (7), the translation vector (a, b, c) is Desired.
【００５０】次に、本発明（３）について、特徴抽出部
１０３と対応付け処理部１０５の実施形態例を説明す
る。Next, regarding the present invention (3), an embodiment of the feature extraction unit 103 and the association processing unit 105 will be described.
【００５１】特徴抽出部１０３において、圧力センサ上
に色マーカーを付けておけば、カメラ画像におけるマー
カーの位置検出は閾値処理により検出できる。In the feature extraction unit 103, if a color marker is attached to the pressure sensor, the position of the marker in the camera image can be detected by threshold processing.
【００５２】対応付け処理部１０５は、本発明（２）の
実施形態例と同様の処理で実現可能である。また、ｎ個
のマーカーを用意しておけば、位置関係が既知であるｎ
個の点のカメラ画像での位置から実空間におけるｎ個の
位置を算出する問題はＰｎＰ問題と呼ばれ、多くの解法
があるのでそれらを適用することでも実現できる（参考
文献：出口光一郎“画像と空間” 昭晃堂のｐｐ．１２
８−１４２）。The association processing section 105 can be realized by the same processing as that of the embodiment of the present invention (2). If n markers are prepared, the positional relationship is known n
The problem of calculating n positions in the real space from the positions of the points in the camera image is called the PnP problem, and there are many solution methods, so it can be realized by applying them (reference: Koichiro Deguchi "Image And space "Shokoido's pp.12
8-142).
【００５３】次に、本発明（４）について、圧力センサ
の形状が長方形の場合を例に、特徴抽出部１０３と対応
付け処理部１０５の実施形態例を説明する。Next, with respect to the present invention (4), an embodiment of the feature extraction unit 103 and the association processing unit 105 will be described by taking the case where the pressure sensor has a rectangular shape as an example.
【００５４】本実施形態例では、圧力センサの形状が長
方形のときには２組の平行線があることから、それらの
平行線から検出できる消失点を特徴抽出部１０３で求め
る幾何学的特徴とした場合について説明する。この場合
には、本発明（２）の実施形態例と同様の処理で圧力セ
ンサとカメラとの対応付けが実現できる。ここで、消失
点を求めるときに、長方形のコーナーではなく、領域の
境界線から各辺を最もよく表す直線を検出することで、
消失点を精度よく求めることができる。In the present embodiment, when the shape of the pressure sensor is rectangular, there are two sets of parallel lines. Therefore, when the vanishing point that can be detected from these parallel lines is used as the geometric feature obtained by the feature extraction unit 103. Will be described. In this case, the pressure sensor and the camera can be associated with each other by the same processing as the embodiment of the present invention (2). Here, when finding the vanishing point, by detecting the straight line that best represents each side from the boundary line of the region, instead of the corner of the rectangle,
The vanishing point can be obtained accurately.
【００５５】次に、本発明（５）について、特徴抽出部
１０３と対応付け処理部１０５の実施形態例を説明す
る。Next, regarding the present invention (5), an embodiment of the feature extraction unit 103 and the association processing unit 105 will be described.
【００５６】圧力センサ上に図形を特定の色で描いてお
けば、圧力センサの領域の内部より、その特定の色の領
域を検出することにより圧力センサ上の図形が求められ
る。圧力センサ上の図形を長方形にしておけば本発明
（４）の実施形態例と同様の処理で圧力センサとカメラ
との対応付けが実現できる。If a graphic is drawn in a specific color on the pressure sensor, the graphic on the pressure sensor can be obtained by detecting the area of the specific color from the inside of the area of the pressure sensor. If the figure on the pressure sensor is made rectangular, the pressure sensor and the camera can be associated with each other by the same processing as that of the embodiment of the present invention (4).
【００５７】次に、本発明（７）、（８）、（９）の実
施形態例を説明する。Next, embodiments of the present invention (7), (8) and (9) will be described.
【００５８】図６に本発明（７）、（８）、（９）の実
施形態例を説明する構成図を示す。図６において、１０
１は映像入力部、２０１は圧力センサ部、２０２は物体
圧力領域抽出部、２０３は圧力特徴抽出部、２０４は物
体領域抽出部、２０５は画像特徴抽出部、２０６は対応
付部である。FIG. 6 shows a block diagram for explaining an embodiment of the present invention (7), (8) and (9). In FIG. 6, 10
Reference numeral 1 is a video input unit, 201 is a pressure sensor unit, 202 is an object pressure region extraction unit, 203 is a pressure feature extraction unit, 204 is an object region extraction unit, 205 is an image feature extraction unit, and 206 is a correspondence unit.
【００５９】圧力センサ部２０１は、物体の圧力分布を
計測し、物体圧力領域抽出部２０２に出力する。物体圧
力領域抽出部２０２は、圧力センサ部２０１より受けた
圧力分布から物体の接地領域を検出し、圧力特徴抽出部
２０３に出力する。圧力特徴抽出部２０３は、物体圧力
領域抽出部２０２より受けた接地領域から幾何学的特徴
を抽出し、対応付け部２０６に出力する。映像入力部１
０１は、圧力センサ上の物体のカメラ画像を取り込み、
物体領域抽出部２０４に出力する。物体領域抽出部２０
４は、映像入力部１０１より受けたカメラ画像における
物体領域を検出し、画像特徴抽出部２０５に出力する。
画像特徴抽出部２０５は、物体領域抽出部２０４より受
けた物体領域から幾何学的特徴を抽出し、対応付け部２
０６に出力する。対応付け部２０６は、圧力分布から求
めた物体の幾何学的特徴とカメラ画像から求めた物体の
幾何学的特徴とを比較し、圧力センサとカメラとの対応
関係を求める。The pressure sensor unit 201 measures the pressure distribution of the object and outputs it to the object pressure region extraction unit 202. The object pressure area extraction unit 202 detects the ground contact area of the object from the pressure distribution received from the pressure sensor unit 201, and outputs it to the pressure feature extraction unit 203. The pressure feature extraction unit 203 extracts a geometric feature from the contact area received from the object pressure area extraction unit 202 and outputs it to the association unit 206. Video input section 1
01 captures the camera image of the object on the pressure sensor,
It is output to the object area extraction unit 204. Object region extraction unit 20
4 detects the object area in the camera image received from the video input unit 101 and outputs it to the image feature extraction unit 205.
The image feature extraction unit 205 extracts geometrical features from the object region received from the object region extraction unit 204, and the association unit 2
It outputs to 06. The associating unit 206 compares the geometrical characteristics of the object obtained from the pressure distribution with the geometrical characteristics of the object obtained from the camera image, and obtains the correspondence relationship between the pressure sensor and the camera.
【００６０】次に、本発明（８）の実施形態例につい
て、物体圧力領域抽出部２０２、圧力特徴抽出部２０
３、物体領域抽出部２０４、画像特徴抽出部２０５、対
応付け部２０６の動作例を説明する。Next, with respect to the embodiment of the present invention (8), the object pressure region extraction unit 202 and the pressure feature extraction unit 20.
3, an operation example of the object region extraction unit 204, the image feature extraction unit 205, and the association unit 206 will be described.
【００６１】本実施形態例では、図７に示すように、４
個の円筒状の物体を圧力センサ２０１ｂ上におき、映像
入力部１０１と圧力センサ部２０１で計測した場合を例
に説明する。In this embodiment, as shown in FIG.
A case will be described as an example in which one cylindrical object is placed on the pressure sensor 201b and measurement is performed by the image input unit 101 and the pressure sensor unit 201.
【００６２】圧力センサ部２０１で計測した圧力分布を
図８に、映像入力部１０１で計測したカメラ画像を図９
に示す。The pressure distribution measured by the pressure sensor unit 201 is shown in FIG. 8, and the camera image measured by the video input unit 101 is shown in FIG.
Shown in.
【００６３】物体圧力領域抽出部２０２の接地領域の検
出は、圧力分布において圧力値を有する連結領域を求め
ればよい。圧力特徴抽出部２０３は、各接地領域の中心
を幾何学的特徴として求める。物体領域抽出部２０４は
円筒状の物体の上部に特定の色、または反射トリオ（例
えば赤外光を反射するもの）を塗ることで、カメラ画像
からその物体領域を抽出できる。画像特徴抽出部２０５
は、各物体領域の中心位置を求める。対応付け部２０６
は、本発明（３）の実施形態例と同様の処理により圧力
センサとカメラとの対応関係を求める。To detect the grounded area of the object pressure area extraction unit 202, a connected area having a pressure value in the pressure distribution may be obtained. The pressure feature extraction unit 203 obtains the center of each ground area as a geometric feature. The object area extraction unit 204 can extract the object area from the camera image by applying a specific color or a reflection trio (for example, one that reflects infrared light) on the upper portion of the cylindrical object. Image feature extraction unit 205
Calculates the center position of each object area. Associating unit 206
Calculates the correspondence between the pressure sensor and the camera by the same processing as the embodiment of the present invention (3).
【００６４】次に、本発明（９）の実施形態例につい
て、物体圧力領域抽出部２０２、圧力特徴抽出部２０
３、物体領域抽出部２０４、画像特徴抽出部２０５、対
応付け部２０６の動作例を説明する。Next, regarding the embodiment of the present invention (9), the object pressure region extraction unit 202 and the pressure feature extraction unit 20 are described.
3, an operation example of the object region extraction unit 204, the image feature extraction unit 205, and the association unit 206 will be described.
【００６５】本実施形態例では、図１０に示すように長
方形の形状をした物体を１個だけ圧力センサ２０１ｃ上
に置いた場合について説明する。In this embodiment, a case will be described in which only one object having a rectangular shape is placed on the pressure sensor 201c as shown in FIG.
【００６６】圧力センサ部２０１で計測した圧力分布を
図１１、映像入力部１０１で計測したカメラ画像を図１
２に示す。The pressure distribution measured by the pressure sensor unit 201 is shown in FIG. 11, and the camera image measured by the video input unit 101 is shown in FIG.
2 shows.
【００６７】物体圧力領域抽出部２０２の接地領域の検
出は、圧力分布において圧力値を有する連結領域を求め
ればよい。圧力特徴抽出部２０３は、接地領域を長方形
として頂点の位置関係を検出し、対応付け部２０６に出
力する。物体領域抽出部２０４は長方形の物体の上部に
特定の色、または反射トリオを塗ることで、カメラ画像
からその物体領域を抽出する。画像特徴抽出部２０５
は、物体領域から検出できる２つの消失点を幾何学的特
徴として求める。対応付け部２０６は、本発明（４）の
実施形態例と同様の処理により圧力センサとカメラとの
対応関係を求める。To detect the grounded area of the object pressure area extraction unit 202, a connected area having a pressure value in the pressure distribution may be obtained. The pressure feature extraction unit 203 detects the positional relationship of the vertices with the ground area as a rectangle and outputs it to the association unit 206. The object area extracting unit 204 extracts the object area from the camera image by applying a specific color or a reflection trio on the upper portion of the rectangular object. Image feature extraction unit 205
Calculates two vanishing points that can be detected from the object area as geometric features. The associating unit 206 obtains the correspondence relationship between the pressure sensor and the camera by the same processing as in the embodiment of the present invention (4).
【００６８】次に、本発明（１０）、（１１）の実施形
態例を説明する。Next, embodiments of the present invention (10) and (11) will be described.
【００６９】図１３に、本発明（１０）、（１１）の実
施形態例を説明する構成図を示す。図１３において、１
０１は映像入力部、２０１は圧力センサ部、２０２は物
体圧力領域抽出部、２０３は圧力特徴抽出部、２０４は
物体領域抽出部、２０５は画像特徴抽出部、２０６は対
応付部、３０１はフィードバック処理部である。FIG. 13 is a block diagram showing an embodiment of the present inventions (10) and (11). In FIG. 13, 1
01 is a video input unit, 201 is a pressure sensor unit, 202 is an object pressure region extraction unit, 203 is a pressure feature extraction unit, 204 is an object region extraction unit, 205 is an image feature extraction unit, 206 is a correspondence unit, and 301 is feedback. It is a processing unit.
【００７０】圧力センサ部２０１は、物体の圧力分布を
計測し物体圧力領域抽出部２０２に出力する。物体圧力
領域抽出部２０２は、圧力センサ部２０１より受けた圧
力分布から物体の接地領域を検出し、圧力特徴抽出部２
０３に出力する。圧力特徴抽出部２０３は、物体圧力領
域抽出部２０２より受けた接地領域から幾何学的特徴を
抽出し、フィードバック処理部３０１に出力する。The pressure sensor unit 201 measures the pressure distribution of the object and outputs it to the object pressure region extraction unit 202. The object pressure area extraction unit 202 detects the ground contact area of the object from the pressure distribution received from the pressure sensor unit 201, and the pressure feature extraction unit 2
Output to 03. The pressure feature extraction unit 203 extracts a geometric feature from the contact area received from the object pressure area extraction unit 202 and outputs it to the feedback processing unit 301.
【００７１】フィードバック処理部３０１は圧力特徴抽
出部２０３より受けた幾何学的特徴を予め設定した位置
関係になるように、圧力センサに置く物体の目標位置を
提示し、圧力センサ部２０１に圧力データを取り込む命
令を出す。圧力特徴抽出部２０３より受けた幾何学的特
徴が予め設定した位置関係と一致した場合には、圧力セ
ンサ部２０１への取り込み命令をやめ、映像入力部１０
１に画像の取り込みを行う指示を出すとともに、圧力特
徴抽出部２０３より受けた幾何学的特徴を対応付け部２
０６に出力する。映像入力部１０１は、圧力センサ上の
物体のカメラ画像を取り込み物体領域抽出部２０４に出
力する。物体領域抽出部２０４は、映像入力部１０１よ
り受けたカメラ画像における物体領域を検出し画像特徴
抽出部２０５に出力する。画像特徴抽出部２０５は、物
体領域抽出部２０４より受けた物体領域から幾何学的特
徴を抽出し対応付け部２０６に出力する。対応付け部２
０６は、圧力分布から求めた物体の幾何学的特徴とカメ
ラ画像から求めた物体の幾何学的特徴とを比較し、圧力
センサとカメラとの対応関係を求める。The feedback processing unit 301 presents the target position of the object to be placed on the pressure sensor so that the geometrical feature received from the pressure feature extracting unit 203 has a preset positional relationship, and the pressure sensor unit 201 receives the pressure data. Issue a command to capture. When the geometric feature received from the pressure feature extraction unit 203 matches the preset positional relationship, the capturing instruction to the pressure sensor unit 201 is stopped, and the video input unit 10 is stopped.
1, and the geometric feature received from the pressure feature extracting unit 203 is associated with the associating unit 2
It outputs to 06. The video input unit 101 captures the camera image of the object on the pressure sensor and outputs it to the object region extraction unit 204. The object area extraction unit 204 detects the object area in the camera image received from the video input unit 101 and outputs it to the image feature extraction unit 205. The image feature extraction unit 205 extracts geometric features from the object region received from the object region extraction unit 204 and outputs the geometric features to the association unit 206. Association unit 2
At 06, the geometrical characteristics of the object obtained from the pressure distribution are compared with the geometrical characteristics of the object obtained from the camera image, and the correspondence relationship between the pressure sensor and the camera is obtained.
【００７２】映像入力部１０１、圧力センサ部２０１、
物体圧力領域抽出部２０２、圧力特徴抽出部２０３、物
体領域抽出部２０４、画像特徴抽出部２０５、対応付け
部２０６の実施形態例は、本発明（７）の実施形態例と
同様である。以下では、フィードバック処理部３０１の
実施形態例を、図７に示すように、４個の円筒状の物体
を圧力センサ上におく場合を例に説明する。The image input section 101, the pressure sensor section 201,
The embodiment examples of the object pressure region extraction unit 202, the pressure feature extraction unit 203, the object region extraction unit 204, the image feature extraction unit 205, and the association unit 206 are the same as the embodiment example of the present invention (7). In the following, an embodiment of the feedback processing unit 301 will be described as an example in which four cylindrical objects are placed on the pressure sensor as shown in FIG. 7.
【００７３】本発明（１１）の実施形態例を説明するフ
ィードバック処理部３０１の処理手順を図１４に示す。FIG. 14 shows the processing procedure of the feedback processing unit 301 for explaining the embodiment of the present invention (11).
【００７４】圧力センサ部２０１で圧力分布を計測し、
圧力特徴抽出部２０３より４個の接地領域の中心が幾何
学的特徴として出力される。これを受け取る（１４１）
とフィードバック処理部３０１の処理が開始される。The pressure distribution is measured by the pressure sensor unit 201,
The centers of the four ground areas are output from the pressure feature extraction unit 203 as geometric features. Receive this (141)
Then, the processing of the feedback processing unit 301 is started.
【００７５】まず、予め設定した幾何学的特徴の位置関
係を読み出す（１４２）。本実施形態例では、４個の接
地領域の中心が長方形の頂点となるように物体が設置す
るように設定した場合について説明する。First, the positional relationship of preset geometric features is read (142). In the present embodiment, a case will be described in which the object is set so that the centers of the four ground areas are the vertices of a rectangle.
【００７６】次に、Ｐ０を検出する（１４３）。圧力特
徴抽出部２０３より出力される４個の接地領域の中心の
なかで、（ｕ、ｖ）座標値の和が最小の点をＰ０とす
る。Next, P0 is detected (143). Among the centers of the four ground areas output from the pressure feature extraction unit 203, the point with the smallest sum of (u, v) coordinate values is P0.
【００７７】次に、Ｐ２を検出する（１４４）。Ｐ０か
ら最も離れた点をＰ２とする。Next, P2 is detected (144). The point farthest from P0 is P2.
【００７８】次に、残り２つの点Ｐ１、Ｐ３の目標位置
を算出する（１４５）。Ｐ１、Ｐ３の目標の位置をＰ０
Ｐ２を対角線とする長方形の他の頂点の位置とする。Next, the target positions of the remaining two points P1 and P3 are calculated (145). Set the target position of P1 and P3 to P0
Let P2 be the position of another vertex of a rectangle having a diagonal line.
【００７９】次に、Ｐ０、Ｐ１、Ｐ２、Ｐ３の計測位置
とそれらの目標位置との関係をモニタに表示する（１４
６）。表示した例を図１５に示す。Next, the relationship between the measurement positions of P0, P1, P2, P3 and their target positions is displayed on the monitor (14
6). The displayed example is shown in FIG.
【００８０】次に、計測した接地領域中心と目標位置が
一致したかを判別する（１４７）。一致しない場合は、
圧力センサ上の物体の位置を目標位置に近づくように移
動させ、圧力センサ部２０１に物体の圧力分布の計測を
命令し、計測された圧力データを取り込む（１４８）。
一致した場合には、映像入力部１０１に画像の取り込み
を行う指示を出し（１４９）、４個の接地領域の中心位
置を対応付け部２０６に出力する（１５０）。Next, it is determined whether the measured center of the contact area and the target position match (147). If they do not match,
The position of the object on the pressure sensor is moved so as to approach the target position, the pressure sensor unit 201 is instructed to measure the pressure distribution of the object, and the measured pressure data is fetched (148).
If they match, the video input unit 101 is instructed to capture an image (149), and the center positions of the four contact areas are output to the associating unit 206 (150).
【００８１】また、計測した接地領域の中心位置と目標
位置との関係を表示するときに、差の大きさや一致した
ことを音で表すことも有効である。Further, when displaying the relationship between the measured center position of the grounding area and the target position, it is also effective to express the magnitude of the difference and the fact that the difference is coincident with a sound.
【００８２】なお、図１、図６、図１３で示した手段の
一部もしくは全部を、コンピュータを用いて機能させる
ことができること、あるいは、図４、図１４で示した処
理の手順をコンピュータで実行させることができること
は言うまでもなく、コンピュータをその手段として機能
させるためのプログラム、あるいは、コンピュータでそ
の処理の手順を実行させるためのプログラムを、そのコ
ンピュータが読み取り可能な記録媒体、例えば、ＦＤ
（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカー
ド、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し
て提供し、配布することが可能である。It should be noted that a part or all of the means shown in FIGS. 1, 6 and 13 can be made to function by using a computer, or the processing procedure shown in FIGS. Needless to say, it is possible to execute a program for causing a computer to function as that means, or a program for causing a computer to execute the procedure of the processing, on a computer-readable recording medium such as an FD.
(Floppy disk), MO, ROM, memory card, CD, DVD, removable disk, etc. can be recorded, provided, and distributed.
【００８３】[0083]
【発明の効果】以上説明したように、本発明によれば、
カメラ画像における圧力センサの領域から検出した幾何
学的特徴と、予め記憶していた、あるいは、圧力データ
から計測した実際の圧力センサにおける幾何学的特徴と
を比較することにより圧力センサと映像入力装置との対
応関係を求める手段を有するので、圧力センサとカメラ
との空間的な対応付けを行うことができる。As described above, according to the present invention,
The pressure sensor and the video input device are compared by comparing the geometrical characteristic detected from the area of the pressure sensor in the camera image with the geometrical characteristic of the actual pressure sensor which is stored in advance or measured from the pressure data. Since there is a means for obtaining the correspondence between the pressure sensor and the camera, it is possible to perform the spatial correspondence between the pressure sensor and the camera.
【図面の簡単な説明】[Brief description of drawings]
【図１】本発明（１）、（２）、（３）、（４）、
（５）、（６）の実施形態例を説明する構成図である。FIG. 1 shows the present inventions (1), (2), (3), (4),
It is a block diagram explaining the embodiment example of (5) and (6).
【図２】上記実施形態例において、圧力センサをカメラ
で撮影する様子を示す図である。FIG. 2 is a diagram showing how a pressure sensor is photographed by a camera in the above embodiment.
【図３】本発明（２）の実施形態例での圧力センサを基
準とした座標系とカメラを基準とした座標系の関係を説
明する図である。FIG. 3 is a diagram illustrating a relationship between a coordinate system based on a pressure sensor and a coordinate system based on a camera according to an embodiment of the present invention (2).
【図４】本発明（６）の実施形態例を説明する対応付け
処理部の処理手順を示す図である。FIG. 4 is a diagram showing a processing procedure of an association processing unit for explaining an embodiment example of the present invention (6).
【図５】本発明（６）の実施形態例でのカメラ画像にお
ける圧力センサを示す図である。FIG. 5 is a diagram showing a pressure sensor in a camera image according to an embodiment of the present invention (6).
【図６】本発明（７）、（８）、（９）の実施形態例を
説明する構成図である。FIG. 6 is a configuration diagram illustrating an embodiment of the present invention (7), (8), and (9).
【図７】本発明（８）の実施形態例での物体を計測する
様子を示す図である。FIG. 7 is a diagram showing how an object is measured in an embodiment example of the present invention (8).
【図８】本発明（８）の実施形態例での圧力データの例
を示す図である。FIG. 8 is a diagram showing an example of pressure data in the embodiment of the present invention (8).
【図９】本発明（８）の実施形態例でのカメラ画像の例
を示す図である。FIG. 9 is a diagram showing an example of a camera image in the embodiment of the present invention (8).
【図１０】本発明（９）の実施形態例での物体を計測す
る様子を示す図である。FIG. 10 is a diagram showing how an object is measured in an embodiment example of the present invention (9).
【図１１】本発明（９）の実施形態例での圧力データの
例を示す図である。FIG. 11 is a diagram showing an example of pressure data in the embodiment of the present invention (9).
【図１２】本発明（９）の実施形態例でのカメラ画像の
例を示す図である。FIG. 12 is a diagram showing an example of a camera image in the embodiment example of the present invention (9).
【図１３】本発明（１０）、（１１）の実施形態例の構
成を示す図である。FIG. 13 is a diagram showing a configuration of an embodiment example of the present invention (10), (11).
【図１４】本発明（１１）の実施形態例を説明するフィ
ードバック処理部の処理手順を示す図である。FIG. 14 is a diagram showing a processing procedure of a feedback processing unit for explaining an embodiment example of the present invention (11).
【図１５】本発明（１１）の実施形態例での計測した位
置と目標位置との関係を表示した例を示す図である。FIG. 15 is a diagram showing an example of displaying a relationship between a measured position and a target position in the embodiment example of the present invention (11).
１０１…映像入力部 １０２…圧力センサ領域抽出部 １０３…特徴抽出部 １０４…特徴記憶部 １０５…対応付け処理部 ２０１…圧力センサ部 ２０２…物体圧力領域抽出部 ２０３…圧力特徴抽出部 ２０４…物体領域抽出部 ２０５…画像特徴抽出部 ２０６…対応付部 ３０１…フィードバック処理部 101 ... Video input section 102 ... Pressure sensor area extraction unit 103 ... Feature extraction unit 104 ... Feature storage unit 105 ... Correlation processing unit 201 ... Pressure sensor section 202 ... Object pressure area extraction unit 203 ... Pressure feature extraction unit 204 ... Object region extraction unit 205 ... Image feature extraction unit 206 ... Corresponding section 301 ... Feedback processing unit
Claims (19)
分布として計測する圧力センサと、運動する物体のカメ
ラ画像を取り込む映像入力部との対応関係を求めるセン
サキャリブレーション方法において、映像入力部により
圧力センサを撮影したカメラ画像を取り込み、 前記取り込んだカメラ画像における圧力センサ領域を検
出し、 前記検出した圧力センサ領域から圧力センサについての
幾何学的特徴を抽出し、 予め記憶していた実際の圧力センサについての幾何学的
特徴と前記カメラ画像における圧力センサ領域から抽出
した圧力センサについての幾何学的特徴とを比較するこ
とにより前記圧力センサと前記映像入力部との対応関係
を求める、 ことを特徴とするセンサキャリブレーション方法。1. A sensor calibration method for obtaining a correspondence relationship between a pressure sensor that measures a pressure distribution when an object touches the ground as a ground pressure distribution and a video input unit that captures a camera image of a moving object. The camera image captured by the pressure sensor is captured by, the pressure sensor area in the captured camera image is detected, the geometrical characteristics of the pressure sensor are extracted from the detected pressure sensor area, and the actual stored in advance is stored. Determining the correspondence between the pressure sensor and the video input unit by comparing the geometric feature of the pressure sensor and the geometric feature of the pressure sensor extracted from the pressure sensor region in the camera image. A characteristic sensor calibration method.
を、前記圧力センサの端点の位置とした、 ことを特徴とする請求項１記載のセンサキャリブレーシ
ョン方法。2. The sensor calibration method according to claim 1, wherein the geometrical feature of the pressure sensor is a position of an end point of the pressure sensor.
を、前記圧力センサ上に固定的に設定したマーカーの位
置とした、 ことを特徴とする請求項１記載のセンサキャリブレーシ
ョン方法。3. The sensor calibration method according to claim 1, wherein the geometric feature of the pressure sensor is a position of a marker fixedly set on the pressure sensor.
を、前記圧力センサの形状から算出する、 ことを特徴とする請求項１記載のセンサキャリブレーシ
ョン方法。4. The sensor calibration method according to claim 1, wherein geometrical characteristics of the pressure sensor are calculated from a shape of the pressure sensor.
を、前記圧力センサ上に固定的に設定した図形の形状か
ら算出する、 ことを特徴とする請求項１記載のセンサキャリブレーシ
ョン方法。5. The sensor calibration method according to claim 1, wherein geometrical characteristics of the pressure sensor are calculated from a shape of a figure fixedly set on the pressure sensor.
応関係を求める過程では、 カメラ画像における圧力センサ領域の複数の端点の位置
から消失点を算出し、 前記算出した消失点から前記複数の端点を結ぶ直線の実
空間での方向ベクトルを算出し、 予め記憶していた実際の圧力センサについての実空間で
の端点の位置関係を読み出し、 前記算出した方向ベクトルと前記読み出した実空間での
端点の位置関係から回転行列を算出し、 前記算出した回転行列と前記カメラ画像における圧力セ
ンサ領域の端点の位置とから並進ベクトルを算出し、 前記算出した回転行列と前記算出した並進ベクトルとか
ら前記圧力センサと前記映像入力部との対応関係を求め
る、 ことを特徴とする請求項２記載のセンサキャリブレーシ
ョン方法。6. The process of obtaining the correspondence between the pressure sensor and the video input unit calculates vanishing points from the positions of a plurality of end points of a pressure sensor area in a camera image, and calculates the vanishing points from the calculated vanishing points. Calculate the direction vector of the straight line connecting the end points in the real space, read the positional relationship of the end points in the real space of the actual pressure sensor stored in advance, the calculated direction vector and the read in the real space The rotation matrix is calculated from the positional relationship of the end points, the translation vector is calculated from the calculated rotation matrix and the position of the end point of the pressure sensor region in the camera image, and the calculated rotation matrix and the calculated translation vector The sensor calibration method according to claim 2, wherein a correspondence relationship between a pressure sensor and the image input unit is obtained.
分布として計測する圧力センサと、運動する物体のカメ
ラ画像を取り込む映像入力部との対応関係を求めるセン
サキャリブレーション方法において、 圧力センサ上に置かれた物体を圧力センサと映像入力部
で同時に計測し、 前記圧力センサで計測した圧力分布から物体の接地領域
を検出し、 前記検出した接地領域から物体の幾何学的特徴を抽出
し、 前記映像入力部で取り込んだカメラ画像における物体領
域を検出し、 前記検出した物体領域から物体の幾何学的特徴を抽出
し、 前記物体の接地領域から抽出した物体の幾何学的特徴と
前記カメラ画像における物体領域から抽出した物体の幾
何学的特徴とを比較することにより前記圧力センサと前
記映像入力部との対応関係を求める、 ことを特徴とするセンサキャリブレーション方法。7. A sensor calibration method for obtaining a correspondence relationship between a pressure sensor that measures a pressure distribution when an object is in contact with the ground as a contact pressure distribution and a video input unit that captures a camera image of a moving object. The object placed on the is simultaneously measured by the pressure sensor and the image input unit, the ground area of the object is detected from the pressure distribution measured by the pressure sensor, and the geometrical feature of the object is extracted from the detected ground area, The object area in the camera image captured by the video input unit is detected, the geometrical characteristic of the object is extracted from the detected object area, and the geometrical characteristic of the object extracted from the ground area of the object and the camera image To determine the correspondence between the pressure sensor and the image input unit by comparing the geometrical characteristics of the object extracted from the object region in Sensor calibration method according to claim.
上に置いた複数の物体の領域の中心位置とした、 ことを特徴とする請求項７記載のセンサキャリブレーシ
ョン方法。8. The sensor calibration method according to claim 7, wherein the geometrical feature of the object is a center position of a region of a plurality of objects placed on the pressure sensor.
上に置いた物体領域の形状から算出する、 ことを特徴とする請求項７記載のセンサキャリブレーシ
ョン方法。9. The sensor calibration method according to claim 7, wherein the geometrical feature of the object is calculated from the shape of the object region placed on the pressure sensor.
圧分布として計測する圧力センサと、運動する物体のカ
メラ画像を取り込む映像入力部との対応関係を求めるセ
ンサキャリブレーション方法において、 圧力センサ上に置かれた物体を圧力センサで計測し、 前記計測した圧力分布から前記物体の接地領域を検出
し、 前記検出した接地領域から前記物体の幾何学的特徴を抽
出し、 前記接地領域から抽出した物体の幾何学的特徴の位置関
係が予め設定した位置関係になるように、前記圧力セン
サ上に置く物体の位置を誘導し、 前記誘導した後のカメラ画像における物体領域を検出
し、 前記検出した物体領域から前記物体の幾何学的特徴を抽
出し、 前記接地領域から抽出した物体の幾何学的特徴と前記カ
メラ画像における物体領域から抽出した物体の幾何学的
特徴とを比較することにより前記圧力センサと前記映像
入力部との対応関係を求める、 ことを特徴とするセンサキャリブレーション方法。10. A sensor calibration method for obtaining a correspondence relationship between a pressure sensor that measures a pressure distribution when an object is in contact with the ground as a contact pressure distribution and a video input unit that captures a camera image of a moving object. The object placed on the is measured with a pressure sensor, the ground area of the object is detected from the measured pressure distribution, the geometrical feature of the object is extracted from the detected ground area, and the ground area is extracted from the ground area. The position of the object placed on the pressure sensor is guided so that the positional relationship of the geometrical features of the object becomes a preset positional relationship, the object region in the camera image after the guiding is detected, and the detected position is detected. The geometrical feature of the object is extracted from the object region, and the geometrical feature of the object extracted from the grounded region and the object region in the camera image are extracted. It was by comparing the geometric features of the object determining the correspondence between the image input unit and the pressure sensor, the sensor calibration method characterized by.
学的特徴の位置関係が所定の位置関係になるように、前
記圧力センサ上に置く物体の位置を誘導する過程では、 予め記憶した実際の物体の幾何学的特徴を読み出し、 前記読み出した実際の物体の幾何学的特徴での位置関係
から物体の目標位置を算出し、 前記算出した目標位置と前記接地領域から抽出した幾何
学的特徴の位置とが一致するように前記物体の移動を誘
導し、 前記目標位置と前記接地領域から抽出した幾何学的特徴
での位置とが一致した場合に、カメラ画像の取り込みを
映像入力部に指示する、 ことを特徴とする請求項１０記載のセンサキャリブレー
ション方法。11. The process of deriving the position of the object placed on the pressure sensor so that the positional relationship of the geometrical features of the object extracted from the ground area has a predetermined positional relationship, The geometrical characteristics of the object are read out, the target position of the object is calculated from the positional relationship in the geometrical characteristics of the read-out actual object, and the calculated target position and the geometrical characteristics extracted from the ground area are The movement of the object is guided so that the position matches, and when the target position and the position of the geometric feature extracted from the ground area match, the video input unit is instructed to capture the camera image. The sensor calibration method according to claim 10, wherein:
り込む映像入力部と、 前記取り込んだカメラ画像から圧力センサ領域を検出す
る圧力センサ領域抽出部と、 前記検出した圧力センサ領域から前記圧力センサについ
ての幾何学的特徴を抽出する特徴抽出部と、 実際の圧力センサについての幾何学的特徴を予め記憶し
ておく特徴記憶部と、 前記抽出した圧力センサについての幾何学的特徴と前記
特徴記憶部に予め記憶した実際の圧力センサについての
幾何学的特徴とを比較して前記圧力センサと前記映像入
力部との対応関係を求める対応付け処理部とを、 具備することを特徴とするセンサキャリブレーション装
置。12. A video input unit that captures a camera image of a pressure sensor, a pressure sensor region extraction unit that detects a pressure sensor region from the captured camera image, and a pressure sensor region from the detected pressure sensor region. A feature extraction unit that extracts geometric features, a feature storage unit that stores in advance geometric features of the actual pressure sensor, and a geometric feature of the extracted pressure sensor and the feature storage unit. A sensor calibration device comprising: a correspondence processing unit that compares a geometrical feature of an actual pressure sensor stored in advance to obtain a correspondence relation between the pressure sensor and the image input unit. .
する圧力センサ部と、 前記計測した圧力分布から物体の接地領域を検出する物
体圧力領域抽出部と、 前記検出した物体の接地領域から幾何学的特徴を抽出す
る圧力特徴抽出部と、 前記圧力センサ上の物体のカメラ画像を取り込む映像入
力部と、 前記取り込んだカメラ画像における物体領域を検出する
物体領域抽出部と、 前記検出した物体領域から物体の幾何学的特徴を抽出す
る画像特徴抽出部と、 前記物体の接地領域から抽出した物体の幾何学的特徴と
前記カメラ画像における物体領域から抽出した物体の幾
何学的特徴とを比較し、前記圧力センサと前記映像入力
部との対応関係を求める対応付け部とを、 具備することを特徴とするセンサキャリブレーション装
置。13. A pressure sensor unit for measuring a pressure distribution of an object on a pressure sensor, an object pressure region extraction unit for detecting a grounding region of the object from the measured pressure distribution, and a geometrical shape for the grounding region of the detected object. Feature extraction unit that extracts a biological feature, a video input unit that captures a camera image of an object on the pressure sensor, an object region extraction unit that detects an object region in the captured camera image, and the detected object region An image feature extraction unit that extracts the geometrical features of the object from the object, compares the geometrical feature of the object extracted from the grounded region of the object with the geometrical feature of the object extracted from the object region in the camera image. A sensor calibration device, comprising: an associating unit that obtains a corresponding relationship between the pressure sensor and the image input unit.
する圧力センサ部と、 前記計測した圧力分布から物体の接地領域を検出する物
体圧力領域抽出部と、 前記検出した物体の接地領域から幾何学的特徴を抽出す
る圧力特徴抽出部と、 前記物体の接地領域から抽出した幾何学的特徴が予め設
定した位置関係になるように前記物体を前記圧力センサ
上に置く物体の目標位置を提示し、該幾何学的特徴が該
予め設定した位置関係と一致した場合には、カメラ画像
の取り込みを指示するフィードバック処理部と、 前記指示を受けて前記圧力センサ上の物体のカメラ画像
を取り込む映像入力部と、 前記取り込んだカメラ画像における物体領域を検出する
物体領域抽出部と、 前記検出した物体領域から幾何学的特徴を抽出する画像
特徴抽出部と、 前記物体の接地領域から抽出した幾何学的特徴と前記カ
メラ画像における物体領域から抽出した物体の幾何学的
特徴とを比較し、前記圧力センサと前記映像入力部との
対応関係を求める対応付け部とを、 具備することを特徴とするセンサキャリブレーション装
置。14. A pressure sensor unit for measuring a pressure distribution of an object on a pressure sensor, an object pressure region extraction unit for detecting a grounding region of the object from the measured pressure distribution, and a geometrical shape for the grounding region of the detected object. Presents a target position of the object on which the object is placed so that the geometrical feature extracted from the ground area of the object has a preset positional relationship. A feedback processing unit for instructing to capture a camera image when the geometrical feature matches the preset positional relationship; and a video input for receiving the camera image of the object on the pressure sensor in response to the instruction. A unit, an object region extraction unit that detects an object region in the captured camera image, an image feature extraction unit that extracts geometric features from the detected object region, and An associating unit that compares the geometrical feature extracted from the grounded region of the object with the geometrical feature of the object extracted from the object region in the camera image, and obtains a corresponding relationship between the pressure sensor and the video input unit. A sensor calibration device comprising:
圧分布として計測する圧力センサと、運動する物体のカ
メラ画像を取り込む映像入力部との対応関係を求めるセ
ンサキャリブレーション方法における、 映像入力部により圧力センサを撮影したカメラ画像を取
り込む手順と、 前記取り込んだカメラ画像における圧力センサ領域を検
出する手順と、 前記検出した圧力センサ領域から前記圧力センサについ
ての幾何学的特徴を抽出する手順と、 予め記憶していた実際の圧力センサについての幾何学的
特徴と前記カメラ画像における圧力センサ領域から抽出
した圧力センサについての幾何学的特徴とを比較するこ
とにより前記圧力センサと前記映像入力部との対応関係
を求める手順とを、 コンピュータで実行するためのプログラムを該コンピュ
ータが読み取り可能な記録媒体に記録した、 ことを特徴とするセンサキャリブレーションプログラム
を記録した記録媒体。15. A video input unit in a sensor calibration method for obtaining a correspondence relationship between a pressure sensor for measuring a pressure distribution when an object is grounded as a ground pressure distribution and a video input unit for capturing a camera image of a moving object. A procedure of capturing a camera image of a pressure sensor captured by the procedure, a procedure of detecting a pressure sensor area in the captured camera image, a procedure of extracting a geometrical feature of the pressure sensor from the detected pressure sensor area, By comparing the geometrical characteristics of the actual pressure sensor stored in advance and the geometrical characteristics of the pressure sensor extracted from the pressure sensor area in the camera image, the pressure sensor and the video input unit are compared. A program for executing the procedure for obtaining the correspondence on a computer Chromatography data is recorded in a recording medium readable recording medium recording a sensor calibration program, characterized in that.
対応関係を求める手順では、 カメラ画像における圧力センサ領域の複数の端点の位置
から消失点を算出する手順と、 前記算出した消失点から前記複数の端点を結ぶ直線の実
空間での方向ベクトルを算出する手順と、 予め記憶していた実際の圧力センサについての実空間で
の端点の位置関係を読み出す手順と、 前記算出した方向ベクトルと前記読み出した実空間での
端点の位置関係から回転行列を算出する手順と、 前記算出した回転行列と前記カメラ画像における圧力セ
ンサ領域の端点の位置とから並進ベクトルを算出する手
順と、 前記算出した回転行列と前記算出した並進ベクトルとか
ら前記圧力センサと前記映像入力部との対応関係を求め
る手順とを、 有することを特徴とする請求項１５記載のセンサキャリ
ブレーションプログラムを記録した記録媒体。16. The procedure of obtaining the correspondence between the pressure sensor and the image input unit, the procedure of calculating vanishing points from the positions of a plurality of end points of the pressure sensor region in the camera image, and the procedure of calculating the vanishing points from the calculated vanishing points. A procedure of calculating a direction vector in a real space of a straight line connecting a plurality of end points, a procedure of reading a positional relationship between end points in a real space of an actual pressure sensor stored in advance, the calculated direction vector and the A procedure of calculating a rotation matrix from the read positional relationship of the end points in the real space, a procedure of calculating a translation vector from the calculated rotation matrix and the position of the end point of the pressure sensor region in the camera image, and the calculated rotation And a procedure for obtaining a correspondence relationship between the pressure sensor and the image input unit from a matrix and the calculated translation vector. Recording medium recording the sensor calibration program in claim 15.
圧分布として計測する圧力センサと、運動する物体のカ
メラ画像を取り込む映像入力部との対応関係を求めるセ
ンサキャリブレーション方法における、 圧力センサ上に置かれた物体を圧力センサと映像入力部
で同時に計測する手順と、 前記圧力センサで計測した圧力分布から物体の接地領域
を検出する手順と、 前記検出した接地領域から物体の幾何学的特徴を抽出す
る手順と、 前記映像入力部で取り込んだカメラ画像における物体領
域を検出する手順と、 前記検出した物体領域から物体の幾何学的特徴を抽出す
る手順と、 前記物体の接地領域から抽出した物体の幾何学的特徴と
前記カメラ画像における物体領域から抽出した物体の幾
何学的特徴とを比較することにより前記圧力センサと前
記映像入力部との対応関係を求める手順とを、 コンピュータで実行するためのプログラムを該コンピュ
ータが読み取り可能な記録媒体に記録した、 ことを特徴とするセンサキャリブレーションプログラム
を記録した記録媒体。17. A sensor calibration method for determining a correspondence between a pressure sensor that measures a pressure distribution when an object is in contact with the ground as a contact pressure distribution and a video input unit that captures a camera image of a moving object. Procedure of simultaneously measuring an object placed on the object with a pressure sensor and an image input unit, a procedure of detecting a ground area of the object from the pressure distribution measured by the pressure sensor, and a geometrical feature of the object from the detected ground area To extract the object area in the camera image captured by the video input unit, to extract the geometrical features of the object from the detected object area, extracted from the ground area of the object The pressure sensor by comparing the geometrical features of the object with the geometrical features of the object extracted from the object region in the camera image. A recording medium on which a sensor calibration program is recorded, wherein a program for executing on a computer is recorded in a recording medium readable by the computer, and a procedure for obtaining a correspondence relationship between the image input unit and the image input unit.
圧分布として計測する圧力センサと、運動する物体のカ
メラ画像を取り込む映像入力部との対応関係を求めるセ
ンサキャリブレーション方法における、 圧力センサ上に置かれた物体を圧力センサで計測する手
順と、 前記圧力センサで計測した圧力分布から前記物体の接地
領域を検出する手順と、 前記検出した接地領域から前記物体の幾何学的特徴を抽
出する手順と、 前記接地領域から抽出した物体の幾何学的特徴が予め設
定した位置関係になるように、前記圧力センサ上に置く
物体の位置を誘導する手順と、 前記誘導した後のカメラ画像における物体領域を検出す
る手順と、 前記検出した物体領域から該物体の幾何学的特徴を抽出
する手順と、 前記接地領域から抽出した物体の幾何学的特徴と前記カ
メラ画像における物体領域から抽出した幾何学的特徴と
を比較することにより前記圧力センサと前記映像入力部
との対応関係を求める手順とを、 コンピュータで実行するためのプログラムを該コンピュ
ータが読み取り可能な記録媒体に記録した、 ことを特徴とするセンサキャリブレーションプログラム
を記録した記録媒体。18. A sensor calibration method for obtaining a correspondence relationship between a pressure sensor that measures a pressure distribution when an object is grounded as a ground pressure distribution and a video input unit that captures a camera image of a moving object. A procedure for measuring an object placed on the object with a pressure sensor, a procedure for detecting a ground area of the object from the pressure distribution measured by the pressure sensor, and a geometrical feature of the object is extracted from the detected ground area. A procedure, a procedure for guiding the position of the object placed on the pressure sensor so that the geometrical characteristics of the object extracted from the ground area have a preset positional relationship, and an object in the camera image after the guiding. A step of detecting a region, a step of extracting geometrical features of the object from the detected object region, and a geometry of the object extracted from the grounded region A computer program for executing a procedure for obtaining a correspondence relationship between the pressure sensor and the video input unit by comparing a physical feature with a geometric feature extracted from an object region in the camera image. A recording medium on which a sensor calibration program is recorded, which is recorded on a readable recording medium.
学的特徴の位置関係が所定の位置関係になるように、前
記圧力センサ上に置く物体の位置を誘導する手順では、 予め設定した実際の物体の幾何学的特徴を読み出す手順
と、 前記読み出した物体の幾何学的特徴での位置関係から物
体の目標位置を算出する手順と、 前記算出した目標位置と前記接地領域から抽出した物体
の幾何学的特徴の位置とが一致するように前記物体の移
動を誘導する手順と、 前記目標位置と前記前記接地領域から抽出した物体の幾
何学的特徴の位置とが一致した場合に、カメラ画像の取
り込みを映像入力部に指示する手順とを、 有することを特徴とする請求項１８記載のセンサキャリ
ブレーションプログラムを記録した記録媒体。19. The procedure of deriving the position of the object placed on the pressure sensor so that the positional relationship of the geometrical features of the object extracted from the ground area has a predetermined positional relationship, A procedure for reading out the geometrical characteristics of the object, a procedure for calculating the target position of the object from the positional relationship in the read-out geometrical characteristics of the object, and the geometry of the object extracted from the calculated target position and the ground area. Of guiding the movement of the object so that the position of the geometrical feature coincides with the position of the geometrical feature of the object extracted from the target area and the contact area The recording medium recording the sensor calibration program according to claim 18, further comprising: a procedure for instructing a video input unit to take in the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16163198A JP3474772B2 (en) | 1998-06-10 | 1998-06-10 | Sensor calibration method and device, and recording medium recording sensor calibration program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16163198A JP3474772B2 (en) | 1998-06-10 | 1998-06-10 | Sensor calibration method and device, and recording medium recording sensor calibration program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11351996A JPH11351996A (en) | 1999-12-24 |
| JP3474772B2 true JP3474772B2 (en) | 2003-12-08 |
Family
ID=15738868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16163198A Expired - Fee Related JP3474772B2 (en) | 1998-06-10 | 1998-06-10 | Sensor calibration method and device, and recording medium recording sensor calibration program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3474772B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5175230B2 (en) * | 2009-02-03 | 2013-04-03 | 株式会社トヨタＩｔ開発センター | Automatic camera calibration apparatus and automatic calibration method |
| CN106482895A (en) * | 2016-11-08 | 2017-03-08 | 黄伟 | A kind of checker of automatic inspection pressure vacuum gauge |
| CN107281709B (en) * | 2017-06-27 | 2019-04-05 | 深圳市酷浪云计算有限公司 | A kind of extracting method and device, electronic equipment of sport video segment |
| CN113984279B (en) * | 2021-10-31 | 2023-01-31 | 西安汉唐分析检测有限公司 | Batch full-automatic calibration method for pointer type pressure gauges |
| CN114882461B (en) * | 2022-05-25 | 2023-09-29 | 阿波罗智能技术(北京)有限公司 | Equipment environment recognition method and device, electronic equipment and automatic driving vehicle |
-
1998
- 1998-06-10 JP JP16163198A patent/JP3474772B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11351996A (en) | 1999-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5388932B2 (en) | Information processing apparatus and control method thereof | |
| JP5058686B2 (en) | Information processing method and information processing apparatus | |
| JP4792824B2 (en) | Motion analysis device | |
| KR100785594B1 (en) | Image process apparatus | |
| EP1986154A1 (en) | Model-based camera pose estimation | |
| CN110926330B (en) | Image processing apparatus, image processing method, and program | |
| JP6955369B2 (en) | Information processing equipment, control methods and programs for information processing equipment | |
| JP5196825B2 (en) | Image processing apparatus and image processing method | |
| WO2021129305A1 (en) | Calibration rod testing method for optical motion capture system, device, apparatus, and storage medium | |
| US10810738B1 (en) | Marker-less alignment of digital 3D face and jaw models | |
| US10839481B1 (en) | Automatic marker-less alignment of digital 3D face and jaw models | |
| JP2005326247A (en) | Calibrator, calibration method, and calibration program | |
| CN109171817A (en) | Three-dimensional breast ultrasound scan method and ultrasonic scanning system | |
| JP3474772B2 (en) | Sensor calibration method and device, and recording medium recording sensor calibration program | |
| US11989928B2 (en) | Image processing system | |
| JPH1079029A (en) | Stereoscopic information detecting method and device therefor | |
| CN112073640A (en) | Panoramic information acquisition pose acquisition method, device and system | |
| JP2003006618A (en) | Method and device for generating three-dimensional model and computer program | |
| JP2006113832A (en) | Stereoscopic image processor and program | |
| JP4926598B2 (en) | Information processing method and information processing apparatus | |
| JP2011112379A (en) | Image processing device and image processing program | |
| JP2005031044A (en) | Three-dimensional error measuring device | |
| KR20220115223A (en) | Method and apparatus for multi-camera calibration | |
| JP2002135807A (en) | Method and device for calibration for three-dimensional entry | |
| JPH0882505A (en) | Calibration method of camera parameter and measuring method of object position |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080919 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080919 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090919 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090919 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100919 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100919 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |