JP2015132540A - Distance measuring device and robot picking system - Google Patents
Distance measuring device and robot picking system Download PDFInfo
- Publication number
- JP2015132540A JP2015132540A JP2014004121A JP2014004121A JP2015132540A JP 2015132540 A JP2015132540 A JP 2015132540A JP 2014004121 A JP2014004121 A JP 2014004121A JP 2014004121 A JP2014004121 A JP 2014004121A JP 2015132540 A JP2015132540 A JP 2015132540A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- distance measuring
- measuring device
- light
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、ステレオカメラを用いて対象物との距離を測定する測距装置及びこれを適用したロボットピッキングシステムに関する。 The present invention relates to a distance measuring device that measures a distance from an object using a stereo camera and a robot picking system to which the distance measuring device is applied.
従来、計測(測距)対象物を2つのカメラ(ステレオカメラ)で撮影し、得られた2つの画像を用いて計測対象までの距離情報を得る「ステレオ測距」と呼ばれる技術が知られている。
この「ステレオ測距」では、2つのカメラで撮影した2つの画像間に生じる視差Δを利用して、三角測量の原理により奥行きを算出するが、ステレオ測距において視差Δを求めるためには、ウィンドマッピングを行って各画像において互いに対応する点(対応点)を探し出す必要がある。
特に視差Δが発生する方向における2つのカメラの並進ズレ(水平ズレとも言う)が発生すると、そのズレがそのまま視差Δの誤差となってしまい、正確な距離を算出できなくなる。
距離測定可能なステレオカメラをFA(ファクトリーオートメーション)におけるロボットピッキング等に応用する場合には、特に正確な測距が求められ並進ズレの影響も顕著である。
Conventionally, a technique called “stereo distance measurement” is known in which a measurement (distance measurement) object is photographed by two cameras (stereo cameras) and distance information to the measurement object is obtained using the two obtained images. Yes.
In this “stereo ranging”, the depth is calculated by the principle of triangulation using the parallax Δ generated between two images taken by two cameras, but in order to obtain the parallax Δ in the stereo ranging, It is necessary to search for corresponding points (corresponding points) in each image by performing window mapping.
In particular, when a translational shift (also referred to as a horizontal shift) between two cameras in the direction in which the parallax Δ occurs, the shift becomes an error of the parallax Δ as it is, and an accurate distance cannot be calculated.
When a stereo camera capable of measuring distance is applied to robot picking or the like in FA (factory automation), particularly accurate distance measurement is required and the influence of translational deviation is remarkable.
ロボットピッキングとは、バラ積みされたピッキング対象物(ワーク)をステレオカメラにて撮影して得た距離画像から最も掴みやすい(最も近い)ワークを検出し、そのワークをロボットアームによって掴んで別の場所に移動させるというものである。
ロボットアームが確実にワークを掴むためにはステレオカメラが常に正しく距離測定をできていなければならないが、振動や温度変化などでカメラの位置が数μmずれてしまうことがある(並進ズレ)。
その結果、ステレオカメラによる正確な距離を算出できなくなり、ロボットアームがワークを掴み損ねる事態が発生し得る。
Robot picking is a method of detecting the easiest (closest) workpiece from a distance image obtained by shooting a picked object (work) stacked in bulk with a stereo camera. It is to move to a place.
In order for the robot arm to reliably grasp the workpiece, the stereo camera must always be able to measure the distance correctly, but the camera position may be shifted by several μm due to vibration or temperature change (translational displacement).
As a result, an accurate distance cannot be calculated by the stereo camera, and the robot arm may fail to grasp the workpiece.
それに対し、特許文献1には、レーザ光によって空中にプラズマによる発光点(空中可視像)を形成し、この発光点を基準点としてステレオカメラのキャリブレーションを行う手法が開示されている。
より具体的には、特許文献1では、予め設定した上記の発光点とステレオカメラとの距離と、ステレオカメラで測距した発光点までの距離を比較することにより、ステレオカメラにおけるカメラ同士の位置ずれ等を検知し、それを校正する。
この方法によれば、キャリブレーションボードを使って人力にてキャリブレーションを行う必要がなく、生産性の向上を図ることが出来る。
On the other hand, Patent Document 1 discloses a method of forming a light emission point (aerial visible image) by plasma in the air with laser light and calibrating the stereo camera using this light emission point as a reference point.
More specifically, in Patent Document 1, by comparing the distance between the preset light emission point and the stereo camera and the distance to the light emission point measured by the stereo camera, the positions of the cameras in the stereo camera are compared. Detect misalignment and calibrate it.
According to this method, it is not necessary to perform calibration manually using a calibration board, and productivity can be improved.
特許文献1においては、ステレオカメラのキャリブレーションを行うにあたって基準点として使用する空中発光点とステレオカメラとの距離を、レーザ発光器のレンズ光学系の焦点距離によって設定している。
しかしながら、そのレンズ光学系に対する温度変化や振動などの影響を考慮すると、必ずしも空中発光点とステレオカメラとの距離を一定に制御可能であるとは言えない。
そのため、キャリブレーションの基準となる発光点のまでの距離の精度を確保しにくく、信頼性の高い正確な校正を行うことが出来ない。
上記の問題点を鑑みて、本発明は、信頼性の高いキャリブレーションが可能な測距装置を提供することを目的とする。
In Patent Document 1, the distance between the air emitting point used as a reference point and the stereo camera used for calibration of the stereo camera is set by the focal length of the lens optical system of the laser emitter.
However, considering the influence of temperature change and vibration on the lens optical system, it cannot be said that the distance between the air emitting point and the stereo camera can be controlled to be constant.
For this reason, it is difficult to ensure the accuracy of the distance to the light emitting point that is the reference for calibration, and it is not possible to perform highly accurate and accurate calibration.
In view of the above problems, an object of the present invention is to provide a distance measuring device capable of highly reliable calibration.
上記の課題を解決するために、請求項1の発明は、複数のレンズを介して複数の画像情報を取得する撮像手段と、前記複数の画像情報に基づいて測距対象に対する測距を行う測距制御手段と、少なくとも一つの発光部を有し、任意の投光面に少なくとも一つのスポット光を形成可能な光源と、を備え、前記測距制御手段は、前記投光面に形成した前記スポットまでの距離に基づいて、前記測距対象に対する測距結果を校正する測距装置を特徴とする。 In order to solve the above-described problem, the invention of claim 1 is directed to an imaging unit that acquires a plurality of pieces of image information through a plurality of lenses, and a distance measurement that performs distance measurement on a distance measurement object based on the plurality of pieces of image information. A distance control unit; and a light source having at least one light emitting unit and capable of forming at least one spot light on an arbitrary light projecting surface, wherein the distance measurement control unit is formed on the light projecting surface. A distance measuring device that calibrates a distance measurement result for the distance measurement object based on a distance to a spot is characterized.
上記のように構成したので、本発明によれば、信頼性の高いキャリブレーションを行うことが可能な測距装置を実現することが出来る。 Since it comprised as mentioned above, according to this invention, the ranging apparatus which can perform highly reliable calibration is realizable.
以下に、図面を参照して本発明の実施の形態を詳細に説明する。
まず、図1、図2を用いて、本実施形態に係る測距装置の前提となるステレオ測距の原理を説明する。
図1、図2は、「ステレオ測距」で用いられる三角測量の原理を利用した測距方法の原理を説明する図である。
「ステレオ測距」を用いた測距方法においては、1対の2次元センサと1対のレンズとを組み合わせることにより、2つのカメラを構成し、計測対象物のずれ(視差)を検出し、三角測量の原理で距離を計測する。
Embodiments of the present invention will be described below in detail with reference to the drawings.
First, the principle of stereo distance measurement, which is a premise of the distance measuring apparatus according to the present embodiment, will be described with reference to FIGS.
1 and 2 are diagrams for explaining the principle of a distance measuring method using the principle of triangulation used in “stereo distance measurement”.
In the distance measurement method using “stereo distance measurement”, a pair of two-dimensional sensors and a pair of lenses are combined to form two cameras and detect a deviation (parallax) of a measurement object, The distance is measured by the principle of triangulation.
図1に示すステレオカメラ装置106において、計測対象物101からの光を同一の光学系からなる2つのカメラ102a、102bを配置して撮影する場合を考える。
カメラ102aは、レンズ103a、二次元センサ105bを備え、カメラ102bは、レンズ103a、二次元センサ105bを備えている。
レンズ103aを通して得た計測対象物像104aと、レンズ103bを通して得た計測対象物像104bは、計測対象物101上の同一点が視差Δだけずれて2次元センサ105a、105b(図2)に至る。そして、これらの計測対象物像は、複数の受光素子(画素)で受光されて電気信号に変換される。
ここでレンズ103a、103bの光軸間の距離は基線長と呼ばれ、これをBとし、レンズと被写体との距離をA、レンズの焦点距離をfとしたとき、A≫fであるときには次式(1)が成り立つ。
A=Bf/Δ・・・式(1)
基線長B、およびレンズの焦点距離fは既知であるから、視差Δを検出すれば(式1)を用いて被写体までの距離Aを算出することができる。
なお、上記の方法は、2つの2次元センサに映った計測対象物101について、画素の輝度値の分布特性に基づいて対応点を探し出す方法である。対応点の探索には、差分絶対値和(SAD:Sum Of Absolute Difference)相関法や位置限定相関法(POC:Phase-Only Correlation)などを適用出来る。
Consider a case where the
The
The
Here, the distance between the optical axes of the
A = Bf / Δ Expression (1)
Since the baseline length B and the focal length f of the lens are known, the distance A to the subject can be calculated using (Equation 1) if the parallax Δ is detected.
In addition, said method is a method of searching a corresponding point based on the distribution characteristic of the luminance value of a pixel about the
以上の前提に基づいて本発明の測距装置の構成を詳細に説明する。
図3は、本実施形態に係る測距装置の構成を示す図である。
図3に示すように、本実施形態に係る測距装置1は、ステレオ画像を撮影するためのステレオカメラ10と、ステレオカメラ10によって取得したステレオ画像を用いて測距を行うための制御を行う測距制御部Ctrを備えている。
ステレオカメラ10は、第1カメラ(基準カメラ)11及び第2カメラ(参照カメラ)12と、これらのステレオカメラのキャリブレーションを行うための基準となるパターン35を投光面20に投射するレーザ装置13と、を備えている。なお、図3の例では、ステレオカメラ10において、レーザ装置13は、第1カメラ11、第2カメラ12の間に配置されている。
第1カメラ11は、被写体(測距対象物)からの光を取り込む第1レンズ11aと、第1レンズ11aからの入射光に基づく画像を取得する撮像素子(撮像手段)11bとを備えている。
Based on the above premise, the configuration of the distance measuring apparatus of the present invention will be described in detail.
FIG. 3 is a diagram illustrating a configuration of the distance measuring apparatus according to the present embodiment.
As illustrated in FIG. 3, the distance measuring device 1 according to the present embodiment performs control for performing distance measurement using a
The
The
また、第2カメラ12は、第1レンズ11aと同様に被写体からの光を取り込む第2レンズ12aと、第2レンズ12aからの入射光に基づく画像を取得する撮像素子(撮像手段)12bと、を備えている。
第1レンズ11a、第2レンズ12aの焦点距離やF値などの光学仕様は互いに同じである。
また、第1カメラ11の撮像素子11b、第2カメラ12の撮像素子12bのセンササイズや画素ピッチなどセンサ仕様も互いに同じである。
さらに、第1カメラ11、第2カメラ12の第1レンズ11a、第2レンズ12aは、互いに光軸が平行となるように配置されている。
また、レーザ装置13は、後述するようなレーザ光束を出射するレーザ光源13bとレーザ用レンズ13aとを備えている。
Similarly to the
The optical specifications such as the focal length and F number of the
Also, the sensor specifications such as the sensor size and pixel pitch of the
Furthermore, the
Further, the
図4は、図3に示すレーザ光源13bの概要を示す概略斜視図である。
図4に示すレーザ光源13bは、VCSEL(Vertical Cavity Surface Emitting LASER:垂直共振器面発光レーザ)と呼ばれる複数の発光点(発光部)30を備え、これらの発光点から複数のレーザ光(レーザ光束L1)を出射可能なレーザ光源である。
レーザ光源13が備える複数の発光点30から出射されたレーザ光束L1は、その光軸上に配置されるレーザ用レンズ13aに取り込まれ、図3に示すように出射方向前方の任意の投光面20に結像されて発光パターンを形成する。
発光点30が複数存在するため、投光面20には複数の結像点(スポット)35を有する発光パターン(スポット群)が形成されることになる。
レーザ光源13bにおける発光点30の位置は、半導体プロセスによって精度良く位置決めされているため、投光面20に投影される複数のスポット35は高い位置精度を保っている。
ステレオカメラ10のキャリブレーションを行うにあたってスポット35は必ずしも複数である必要はなく、一つであっても構わない。
4 is a schematic perspective view showing an outline of the
The
Laser beams L1 emitted from a plurality of
Since there are a plurality of
Since the position of the
When the calibration of the
しかしながら、特にロボットピッキングで用いる測距装置などでは、約1m離れた1m四方の領域において誤差±1mm以下といった非常に高い測距の精度が求められる。従って、その場合には、図4に示すようにレーザ光源13bに複数の発光点30を備え、複数のスポット35を投光面20に形成してこれら複数のスポット35を用いてキャリブレーションを行うことが望ましい。
また、スポット35を形成するために用いる光源は、レーザ光源に限定されず、LED等を用いても良いが、より正確なパターンを形成するためには、レーザ光源を用いることが望ましい。
However, particularly in a distance measuring device used in robot picking, an extremely high distance measuring accuracy of ± 1 mm or less is required in a 1 m square area separated by about 1 m. Therefore, in this case, as shown in FIG. 4, the
The light source used to form the
以下では、複数の発光点を有するレーザ光源を用いて複数のスポットからなる発光パターンを形成する場合の例について説明する。
図5、図6は、本実施形態の測距装置を適用したロボットピッキングシステムにおいて、測距装置の動作及びキャリブレーションの態様を説明する図である。
図5に示すように、ロボット80によりピッキングするワークWが積載された箱90を直上位置から撮影可能な位置にステレオカメラ10を設置する。
ステレオカメラ10によって測距可能な範囲は、第1カメラ、第2カメラの画角が重なる領域であり、この領域内に収まるように箱90を配置する。
Below, the example in the case of forming the light emission pattern which consists of a some spot using the laser light source which has a some light emission point is demonstrated.
5 and 6 are diagrams for explaining the operation and calibration mode of the distance measuring device in the robot picking system to which the distance measuring device of the present embodiment is applied.
As shown in FIG. 5, the
The range that can be measured by the
一例に係るロボットピッキングの手順として、ステレオカメラ10でワークWを撮影し、測距制御部Ctrは、箱90内の(レンズから)ワークWまでの距離A1を測定し、距離画像を生成する。
生成された距離画像は、測距制御部Ctrと接続されたロボット80に入力される。
そのワークWをロボット80でピッキングした後、再度ステレオカメラ10で箱90内のワークWを撮影し、同様に最もピッキングしやすいワークを検知し、そのワークWをロボット80でピッキングする。
距離画像をもとにロボット80がピッキングを行う方法は、従来周知(例えば特開2002−90113公報)であるので、詳細な説明を割愛する。
この工程を繰り返して箱90の中のワークWを1つずつロボット80によりピッキングし、全てをピッキングし終わったら、空になった箱90は図示しないコンベアや人力により移動する。
なお、最もピッキングしやすいワークの検出は、測距装置1からロボット80に入力された距離画像を用いて、ロボット80側で行っても良い。すなわち、測距装置1からの出力を用いてロボットが動作する。これにより、作業を止めることなく、ロボットピッキングを行うことが出来、作業効率を向上することが出来る。
As a robot picking procedure according to an example, a work W is photographed by the
The generated distance image is input to the
After picking the work W with the
Since the method in which the
By repeating this process, the workpieces W in the
Note that the most pickable workpiece may be detected on the
箱90が移動されると、図6に示すようにワークがない状態になるので、このタイミングでステレオカメラ10のキャリブレーションを行う。
図5に示すピッキングの工程において、測距装置1では組み付け誤差や、温度などの環境変化、振動によって生じるカメラ間の並進誤差によらず正確な測距を行えるよ、う、視差演算によって算出した距離を、校正データを用いて校正する。
この校正データを作成したり、経時の環境変化や振動に伴う並進誤差の変動に対応するために校正データを修正することが、本実施形態における「キャリブレーション」である。
キャリブレーション工程において、測距装置1は、図6に示すようにレーザ装置13からレーザ光束L1を出射し、例えば床面などの任意の距離(1m程度)離れた投光面20に対して複数のスポット35を形成する。
測距装置1(のレンズ)からスポット35(投光面20)までの距離A2は、レンズにずれが生じない限りは常に一定である。本実施形態の測距装置1は、このスポット35までの距離A2を用いて、下記に詳述するステレオカメラ10のキャリブレーションを行う。すなわち、これら複数のスポットを基準点としてステレオカメラのキャリブレーション(校正)を行う。
キャリブレーションが終了すると、再びワークWが運ばれてきて、図5に示すようにロボット80によるピッキングが行われる。
When the
In the picking process shown in FIG. 5, the distance measuring device 1 is calculated by parallax calculation so that accurate distance measurement can be performed regardless of assembly errors, environmental changes such as temperature, and translation errors between cameras caused by vibration. Calibrate the distance using the calibration data.
“Calibration” in the present embodiment is to create this calibration data, or to correct the calibration data in order to cope with changes in the translation error due to environmental changes and vibrations over time.
In the calibration process, the distance measuring device 1 emits a laser beam L1 from the
The distance A2 from the distance measuring device 1 (the lens thereof) to the spot 35 (light projection surface 20) is always constant as long as there is no deviation in the lens. The distance measuring device 1 of the present embodiment uses the distance A2 to the
When the calibration is completed, the workpiece W is carried again and picking by the
図7は、本実施形態にかかる測距装置の測距制御部の構成を示す機能ブロック図である。
図7を用いて、本実施形態の測距装置による測距動作及びキャリブレーションの方法を説明する。
測距制御部Ctrは、制御部50と、画像入力部51と、距離画像生成部52と、校正データ保持部53と、校正ずれ判定部54と、校正データ生成部55と、対象物検知部56と、画像出力部57と、を備えている。
制御部50は、本実施形態に係る測距装置の機能を実現するための制御プログラムを実行するCPU(Central Processing Unit)と、制御プログラムを格納するROM(Read Only Memory)と、制御プログラムやその他の一時データが展開されるRAM(Random Access Memory)を備える。
画像入力部51は、2つのカメラ(第1カメラ11、第2カメラ12)と測距制御部Ctrとのインターフェイスであり、これらのカメラで撮影・取得された2つの画像を測距制御部Ctrに取り込む。
FIG. 7 is a functional block diagram showing the configuration of the distance measurement control unit of the distance measuring apparatus according to the present embodiment.
A distance measuring operation and calibration method by the distance measuring apparatus of the present embodiment will be described with reference to FIG.
The distance measurement control unit Ctr includes a
The
The
距離画像生成部52は、画像入力部51によって取り込まれた2つの画像を用いて視差演算を行い測距対象物までの距離を算出し、距離画像を生成する。
また、校正データ保持部53には、距離画像生成部52が算出した距離を校正するための校正データが保持されている。
距離画像生成部52は、第1カメラ11、第2カメラ12の組み付け誤差や温度などの環境変化、あるいは振動に関わらず正確な測距を行うために、ステレオ画像を用いた視差演算によって算出した距離を、この校正データを用いて校正する。
すなわち校正データは、上記の式(1)A=Bf/Δにおいて、組み付け誤差や環境変化による第1カメラ11、第2カメラ12のズレによる基線長B/視差Δ(図1を参照)の変化を吸収して正確な距離Aを算出するための係数である。
第1カメラ11と第2カメラ12の互いのズレにより基線長Bが既知の値とは異なる基線長B’、さらに異なる視差Δ’となっている場合でも、距離A’に対して(B/Δ)/(B’/Δ’)を掛け合わせることにより正確な距離Aを得ることが出来る。
校正データとしての(B/Δ)/(B’/Δ’)は、ステレオカメラ10から予め決められた(既知の)基準距離aにある基準対象物をステレオカメラ10によって測距し、測距結果Aと基準距離aとを比較することによって(比率を求めることで)得ることが出来る。
なお、温度などの室内環境は、常に刻々と変化するものであるため、必要に応じて校正データを修正する。
The distance
The calibration
The distance
That is, the calibration data is a change in the baseline length B / parallax Δ (see FIG. 1) due to the displacement of the
Even when the baseline length B is different from the known value due to the mutual displacement of the
(B / Δ) / (B ′ / Δ ′) as calibration data is obtained by measuring the distance of a reference object at a predetermined (known) reference distance a from the
It should be noted that the indoor environment such as temperature is constantly changing, so that the calibration data is corrected as necessary.
本実施形態の測距装置は、図1、図2に示したレーザ装置13から照射された発光パターン(スポット35)との距離を基準距離aとして校正データの修正の是非を判断し、校正データの修正を行うものである。
ロボットピッキング等を行う現場ではステレオカメラ10を構成するする2つのカメラ11、12は、例えば天井における予め決められた位置に固定されており、スポット35を投光する投光面20までの距離(基準距離a)も予め決まっている。
基準距離aは、校正データ保持部53に保持されており、本実施形態の場合、図6に示す距離A2と同じである。
校正ずれ判定部54は距離画像生成部52が求めた距離と校正データ保持部53に保持される基準距離aとを比較する。
比較の結果、その差違|a−A|が所定未満であれば、校正ずれ判定部54は、正確な測距が出来ており現在の校正データを使用可能(校正ずれ無し)と判定し、所定以上の差異であれば、校正データの修正/作成要と判定する。
校正ずれ有りと判定した場合、校正ずれ判定部54は、基準距離aと測距結果Aの比較結果を校正データ生成部55に出力する。
校正データ生成部55は、校正ずれ判定部54による判定結果に基づいてステレオカメラ10の校正データを修正し、修正したデータを校正データ保持部53に修正したデータを送る。
The distance measuring apparatus according to the present embodiment determines whether or not the calibration data should be corrected using the distance from the light emission pattern (spot 35) irradiated from the
At the site where robot picking or the like is performed, the two
The reference distance a is held in the calibration
The calibration
As a result of the comparison, if the difference | a−A | is less than a predetermined value, the calibration
When it is determined that there is a calibration deviation, the calibration
The calibration
距離画像生成部52は、校正データ保持部53に格納された修正済みの校正データに基づいて測距結果Aの誤差を修正した距離画像を生成する。
対象物検知部56は、生成された距離画像を用いて最もピッキングし易い(高さ方向で最も近い)ワークを検知し、ロボット80に対して指示を行う。
画像出力部57は、測距制御部Ctrとロボット80との通信インターフェイスであり、生成した距離画像や最もピッキングのし易いワークについての情報をロボット80に対して出力する。
The distance
The
The image output unit 57 is a communication interface between the distance measurement control unit Ctr and the
距離画像生成部52、校正ずれ判定部54、校正データ生成部55、対象物検知部56は、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などハードウェアを用いて実現することが出来る。また、これらの処理部は、制御部50が有するCPUによるソフトウェア処理によって実現することも出来る。
さらに、測距制御部Ctrは、ステレオカメラを接続したパーソナルコンピュータとして実現しても良く、この場合、上記処理部は、パーソナルコンピュータのCPUによるソフトウェア処理によって実現される。
なお、上記の校正データの修正、作成処理は、あくまで一例であり、実現可能なその他の方法であっても構わない。
The distance
Further, the distance measurement control unit Ctr may be realized as a personal computer to which a stereo camera is connected. In this case, the processing unit is realized by software processing by the CPU of the personal computer.
Note that the above-described correction and creation processing of calibration data is merely an example, and other methods that can be realized may be used.
図8は、本実施形態に係る測距装置の動作を説明するフローチャートである。
まず、電源投入に伴い制御部50がステレオカメラ10を始動させる(ステップS101)。
ステレオカメラが始動すると、制御部50はステレオカメラの校正モードを開始する(ステップS102)。
制御部50は、校正モードとしてレーザ装置13を作動させ(ステップS103)、図3、図6で説明したスポット35を形成する(ステップS104)。
次に、制御部50は、距離画像生成部52を制御して、第1カメラ11、第2カメラ12によって取得したスポット画像を用いてスポット35が形成される投光面20までの予め決められた(既知の)距離を測定させる(ステップS105)。この時、上記したように、距離画像生成部52は、校正データ保持部53に保持される校正データを用いて測距結果に対して校正を行っている。
次に、制御部50は、校正ずれ判定部54を制御し、ステップS105で測定した距離(測距結果)Aと校正データ保持部53に保持される基準距離aとを比較する(ステップS106)。
FIG. 8 is a flowchart for explaining the operation of the distance measuring apparatus according to the present embodiment.
First, when the power is turned on, the
When the stereo camera is started, the
The
Next, the
Next, the
比較の結果、測距結果Aと基準距離aとの間に所定値以上のズレがある場合(ステップS107でYes)、制御部50は、校正データ保持部53に保持される校正データに修正(初回起動の場合など校正データが存在しない場合は新たに作成)が必要と判断する。そして、制御部50は、校正データ生成部55に校正データの修正/作成を行わせる(ステップS108)。校正データの修正方法は、上記の通りである。
そして、制御部50は、全てのスポットについて測距結果Aと基準距離aとの比較が終わったか否かを判断する(ステップS109)。
比較が終わっていれば(ステップS109でYes)、校正モードを終了する(ステップS109)。
比較が終わっていなければ、次のスポットについて、ステップS105〜ステップS108の処理を繰り返す。
ステップS107において測距結果Aと基準距離aとの間に所定値以上のズレがない場合(ステップS107でNo)、制御部50は、全てのスポットについて測距結果Aと基準距離aとの比較が終わったか否かを判断する(ステップS109)。
比較が終わっていれば(ステップS109でYes)、校正モードを終了する(ステップS110)。
比較が終わっていなければ、次のスポットについて、ステップS105〜ステップS108の処理を繰り返す。
As a result of the comparison, when there is a deviation of a predetermined value or more between the distance measurement result A and the reference distance a (Yes in step S107), the
Then, the
If the comparison has been completed (Yes in step S109), the calibration mode is terminated (step S109).
If the comparison has not been completed, the processing from step S105 to step S108 is repeated for the next spot.
If there is no deviation of a predetermined value or more between the distance measurement result A and the reference distance a in step S107 (No in step S107), the
If the comparison has been completed (Yes in step S109), the calibration mode is terminated (step S110).
If the comparison has not been completed, the processing from step S105 to step S108 is repeated for the next spot.
校正モード終了後には、ロボット80によってピッキングすべきワークWが運ばれてきて、ロボット80によるワークWのピッキングが始まる。
すべてのワークWのピッキングが終了すると、ワークWを入れていた箱90は空となって移動する。空の箱が移動したら次のワークが同様にして運ばれてくる。
次のワークWが運ばれて来るまでのワークWが存在しない時間に上記に示したキャリブレーションを行う。ただし、必ずしもワークWが存在しない時に毎回校正を行う必要はなく、定期的にキャリブレーションを行えばよい。
After the end of the calibration mode, the work W to be picked is carried by the
When all the workpieces W have been picked, the
The calibration described above is performed at a time when there is no workpiece W until the next workpiece W is carried. However, it is not always necessary to perform calibration every time when the workpiece W is not present, and calibration may be performed periodically.
制御部50は、対象物検知部56を制御して、ロボット80でピッキングすべきワークの有無を検知する(ステップS111)。
ワークがあると検知した場合(ステップS111でYes)、制御部50は、ロボットアームによってワークが全てピックされて、対象物検知部56によってワークが検知されなくなる(ステップS111でNo)のを待機する。
対象物検知部56によってワークが検知されなくなると、制御部50は、ステップS102に戻り、校正モードを再び開始する。
ステップS102からステップS110までのループは、測距装置1の電源OFFまで繰り返されるものとする。
The
When it is detected that there is a workpiece (Yes in step S111), the
When the workpiece is no longer detected by the
The loop from step S102 to step S110 is repeated until the power of the distance measuring device 1 is turned off.
図9は、本実施形態の測距装置が備えるレーザ装置を用いた発光パターン生成の他の態様を示す図である。
図4で説明したようにレーザ装置13は、その内部に複数の発光点30を有するレーザ光源13bが搭載されている。
例えば図9(a)に示すように、レーザ光源13bが備える全ての発光点30が発光した場合は、投光面20には、全ての発光点30に対応するスポット35が結像する。
一方、図9(b)に示すように、レーザ光源13bの一部の発光点30が発光した場合には、投光面20には一部の発光点30に対応するスポット35のみが結像する。
すなわち、レーザ光源13bにおいて、発光する発光点30の数や位置を変えることで、投光面20におけるスポットの数や位置を変えることが出来る。
従って、ステレオカメラ10の第1レンズ11a、第2レンズ12aの画角が大きい場合には、より広い領域でスポット35が結像面に結像するように発光する発光点30の数を増やす。
その一方で、第1レンズ11a、第2レンズ12aの画角が小さい場合には、より狭い領域で結像するように発光させる発光点30の数を減らすことが出来る。
FIG. 9 is a diagram illustrating another aspect of light emission pattern generation using the laser device included in the distance measuring device of the present embodiment.
As described with reference to FIG. 4, the
For example, as shown in FIG. 9A, when all the
On the other hand, as shown in FIG. 9B, when a part of the
That is, in the
Therefore, when the angle of view of the
On the other hand, when the angle of view of the
ロボットピッキングにおいて、ピッキングを行うワークが同じであっても、その数に応じてワークを入れる箱90の大きさが異なる場合がある。ワークの数は、生産台数や生産規模によって変化する。
生産規模が大きく箱90が大きい場合には、画角の広いレンズを使い、生産規模が小さく箱が小さい場合には画角の狭いレンズを使うことになり、それに応じてスポットの形成領域を大小させることとなる。
そのような場合でも、レーザ装置13の部品交換の必要は無く、制御部50による制御によってレーザ光源13bの発光点30の数を変えるだけで対応することが出来る。
このように、画角の異なるレンズに応じてレーザ光が形成するスポットの位置も異なるようにすることでレンズ仕様に合わせた最適な発光パターンを提供できる。
In robot picking, even if the workpieces to be picked are the same, the size of the
When the production scale is large and the
Even in such a case, it is not necessary to replace the parts of the
In this way, an optimum light emission pattern that matches the lens specifications can be provided by making the positions of the spots formed by the laser light different according to the lenses having different angles of view.
また、発光させる発光点30は全て同時に発光させる必要は必ずしもない。
発光点30を順次発光させ、スポット35を一つずつ用いて複数回のキャリブレーションを繰り返すように制御してもよい。
また、図4を用いて上記に説明したように、レーザ光源13bにおける発光点30の位置は、半導体プロセスによって精度良く位置決めされているため、投光面20に投影される複数のスポット35は高い位置精度を保っている。
Further, it is not always necessary for all the
It is also possible to control the
Further, as described above with reference to FIG. 4, since the position of the
上記の特許文献1では、複数の発光点を空中に形成するために、1つの半導体レーザ光源からの出射光を、反射部材を回動させるなどして光を走査させている。
VCSELを用いた本実施形態のレーザ光源13bは、上述した特許文献1とは異なり複数のスポット35を生成するための可動部を必要としないため、振動や経時変化に対しても安定で、繰り返し再現性も高い。
よって、スポットの形成位置のばらつきが小さくなり、本実施形態によっては、より正確且つ信頼性の高いキャリブレーションを行うことが出来る。
その結果、頻繁に校正を行う必要が無くなり、生産性の向上を実現することが出来る。
また従来は、図11に示すようなキャリブレーションボード200に設けられたパターン201をステレオカメラにて撮影し、得られた距離と、現実のキャリブレーションボードとステレオカメラの距離に基づいてキャリブレーションを行っていた。
しかし、このキャリブレーション方法は人手が必要であるため、キャリブレーションの度に生産ラインの停止が必要であるなど生産性の面において大きな問題点を抱えていた。
それに対し、本実施形態の測距装置においては、レーザ光源13bによって、距離が既知の投光面にスポットを形成し、それを利用してキャリブレーションを行うため、自動的な処理が可能であり、生産性を大幅に向上することが可能である。
In Patent Document 1 described above, in order to form a plurality of light emitting points in the air, light emitted from one semiconductor laser light source is scanned by rotating a reflecting member.
The
Therefore, the variation in the spot formation position is reduced, and depending on the present embodiment, more accurate and highly reliable calibration can be performed.
As a result, it is not necessary to frequently perform calibration, and productivity can be improved.
Conventionally, a
However, since this calibration method requires manpower, the production line has to be stopped every time calibration is performed.
On the other hand, in the distance measuring apparatus according to the present embodiment, the
[変形例]
図10は、本実施形態に係る測距装置の変形構成例を示す図である。
なお、図10では、測距制御部Ctrについては表示を省略している。
図10に示す変形例は、図3に示す構成よりも広い領域を用いてステレオカメラのキャリブレーションを行うことが出来る構成である。
図3、図4に示す構成と同様に、レーザ光源13bは複数の発光点30を有するVCSELである。
VCSELの発光点30は、例えば、「光通信用面発光レーザ(VCSEL)の高性能化に関する研究 平成15年度 大儀義孝」においては8×8の発光点30が250μm間隔で配置されている。
この場合、レーザ光源13bの幅方向両端側の発光点30は1750μm離れることになる。
[Modification]
FIG. 10 is a diagram illustrating a modified configuration example of the distance measuring apparatus according to the present embodiment.
In FIG. 10, the display of the distance measurement control unit Ctr is omitted.
The modification shown in FIG. 10 is a configuration in which the stereo camera can be calibrated using a wider area than the configuration shown in FIG.
Similar to the configuration shown in FIGS. 3 and 4, the
The VCSEL emission points 30 are, for example, 8 × 8 emission points 30 arranged at intervals of 250 μm in “Study on High Performance of Surface Emitting Laser for Optical Communication (VCSEL) FY2003 Yoshitaka Ogi”.
In this case, the
レーザ用レンズ13aの焦点距離をf=10mとし、測距対象物像を結像させるための第1レンズ11a、第2レンズ12aの焦点距離を夫々1000mmとすると、投光面20には175mm角のなかに8×8のスポットが形成されることになる。
画角の大きいレンズで広い領域を測距するステレオカメラの場合、スポット35が形成される領域が狭く、レンズの画角内でスポット35が存在しない部分が出てくることがある。これでは、ステレオカメラの正しいキャリブレーションができなくなることがある。
そこで、図10に示すステレオカメラ10Aでは、より広い領域にスポット35を形成できるように、レーザ用レンズ13aから出射するレーザ光束L1の光路上にビームスプリッタ(光学手段)60を配置している。
そして、レーザ光束L1を、このビームスプリッタ60によってレーザ光束L1の光路と同方向に直進するレーザ光束L10と、レーザ光束L1の光路と直交する方向(90度)に光路(進路)を変更されるレーザ光束L11とに分割する。
When the focal length of the
In the case of a stereo camera that measures a wide area with a lens having a large angle of view, the area where the
Therefore, in the
Then, the laser beam L1 is changed by the
レーザ光束L10は、その光路上に配置された第3レンズ62から出射して投光面20Aにスポット35を形成する。
また、光路を変更されたレーザ光束L11は、その光路上に配置されたミラー61によって光路をさらに90度(直交方向)変更されて、第4レンズ63から出射して投光面20Bにスポット35を形成する。なお、レーザ光束L10とレーザ光束L11の光路は、互いに平行である。
このように、ビームスプリッタ60によってレーザ光源13bからのレーザ光束L1を分割し、発光パターンを2つ照射出来るようにしたことで、図3の場合に比べてより広い領域を使ってステレオカメラのキャリブレーションを行うことが出来る。
これにより画角の広いレンズで大きい面積を測距するステレオカメラであっても、正確にキャリブレーションを行うことが可能となる。
The laser beam L10 is emitted from the
Further, the laser beam L11 whose optical path has been changed has its optical path further changed by 90 degrees (orthogonal direction) by the
In this way, the laser beam L1 from the
As a result, even a stereo camera that measures a large area with a lens having a wide angle of view can be accurately calibrated.
以上説明したように、本実施形態の測距装置においては、レーザ光源13bから出射されたレーザ光によって複数のスポットを形成し、これを基準としてステレオカメラのキャリブレーションを行う。よって、本実施形態の測距装置では「キャリブレーションボード」を用いて人手でキャリブレーションを行う必要がなくロボットピッキングの生産性を高めることができる。
また、キャリブレーションの基準点となる複数のスポット35は、反射部材を回動させて、光を走査させて形成するのではなく、予め発光点の位置が高精度に位置決めされているVCSELと呼ばれるマルチビーム光源を用いる。従って、振動や経時によるズレが生じることなく、高いキャリブレーション精度を確保することが出来る。
なお、本実施形態では、ステレオカメラとして、レンズ及び撮像素子よりなるカメラユニットを複数備えるカメラを例示したが、それに限定されるものではない。
As described above, in the distance measuring apparatus according to the present embodiment, a plurality of spots are formed by the laser light emitted from the
The plurality of
In the present embodiment, a camera including a plurality of camera units each including a lens and an image sensor is illustrated as a stereo camera. However, the present invention is not limited to this.
単一又は複数の撮像素子上に、複数(2つ)のレンズを含むレンズアレイを配置した構成としてもよい。本実施形態で説明したカメラユニット間の並進ズレは発生しえないが、温度変化によってレンズアレイが変形、膨張するなどしてレンズ間の距離(基線長)が変化するため、本実施形態と同様の課題が発生し、本発明の解決手段が適用し得る。
また、レンズ及び撮像素子の組み合わせのうち、少なくともレンズについては2つに限らず、3つ又はそれ以上のレンズを備えるようにしても良い。
また、本実施形態の測距装置は,ロボットピッキングに限らず、精密な測距が求められるその他の用途に使用可能であることは言うまでも無い。
A lens array including a plurality (two) of lenses may be arranged on a single or a plurality of image sensors. Although the translational deviation between the camera units described in the present embodiment cannot occur, the distance (baseline length) between the lenses changes due to the lens array deforming or expanding due to a temperature change. Therefore, the solution of the present invention can be applied.
Of the combination of the lens and the image sensor, at least the lens is not limited to two, and three or more lenses may be provided.
Needless to say, the distance measuring device according to the present embodiment is not limited to robot picking, but can be used for other purposes that require precise distance measurement.
[第1の発明]
第1の発明おいて、複数のレンズ11a、12aを介して複数の画像情報を取得する撮像手段11b、12bと、複数の画像情報に基づいて測距対象に対する測距を行う測距制御手段Ctrと、少なくとも一つの発光部30を有し、任意の投光面20に少なくとも一つのスポット光35を形成可能な光源と、を備え、測距制御手段Ctrは、投光面20に形成したスポット35までの距離に基づいて、測距対象に対する測距結果を校正する。
レーザ光源13bによって投光面に正確なスポットを形成し、それを基準として測距結果の構成(キャリブレーション)を行うため、自動的且つ正確な処理が可能であり、生産性を大幅に向上することが可能である。
[First invention]
In the first invention, imaging means 11b and 12b for acquiring a plurality of image information via a plurality of
The
[第2の発明]
第2の発明においては、測距制御手段Ctrは、各レンズ間の位置ずれによる測距結果の変動を校正する。
本発明によれば、環境変化や振動などレンズ間の位置ずれに応じて信頼性の高いキャリブレーションを行い、精度の高い測距を可能とすることが出来る。
[Second invention]
In the second invention, the distance measurement control means Ctr calibrates the variation in the distance measurement result due to the positional deviation between the lenses.
According to the present invention, highly reliable calibration can be performed according to a positional deviation between lenses such as environmental changes and vibrations, and highly accurate distance measurement can be performed.
[第3の発明]
測距制御手段Ctrは、予め決められた投光面20までの距離と、投光面20に形成したスポット光35に対する実際の測距距離と、を比較し、この比較結果に基づいて、測距対象に対する測距結果を校正する。
予め距離が決められた投光面に形成したスポット光までの距離を測定した結果と予め距離が決められた投光面までの距離を比較することで、正確にレンズ間の位置ずれを検知するとともに、キャリブレーションも正確に行うことが出来る。
[Third invention]
The distance measurement control means Ctr compares the predetermined distance to the
By comparing the result of measuring the distance to the spotlight formed on the projection surface with a predetermined distance and the distance to the projection surface with a predetermined distance, the positional deviation between the lenses is accurately detected. At the same time, calibration can be performed accurately.
[第4の発明]
本発明においては、光源13bは複数の発光部30を備え、複数の発光部30のうちの発光する発光部30をレンズの画角に応じて切り換え可能である。
これによれば、画角の異なるレンズに応じてレーザ光が形成するスポットの位置も異なるようにすることでレンズ仕様に合わせた最適なパターンを生成出来る。
[Fourth Invention]
In the present invention, the
According to this, it is possible to generate an optimum pattern according to the lens specifications by changing the positions of the spots formed by the laser light according to the lenses having different angles of view.
[第5の発明]
光源13bから出射された光を複数系統に分割し、一以上のスポット光を含むパターンを投光面に複数形成する光学手段(ビームスプリッタ)60を備えた。
これにより、ビームスプリッタ60によってレーザ光源13bからのレーザ光束L1を分割し、発光パターンを2つ照射出来るようにしたことで、図3の場合に比べてより広い領域を使ってステレオカメラのキャリブレーションを行うことが出来る。
これにより画角の広いレンズで大きい面積を測距するステレオカメラであっても、信頼性の高いキャリブレーションを行うことが可能となる。
[Fifth Invention]
Optical means (beam splitter) 60 for dividing the light emitted from the
As a result, the laser beam L1 from the
As a result, even a stereo camera that measures a large area with a lens having a wide angle of view can perform calibration with high reliability.
[第6の発明]
測距装置に接続されたピッキングロボットが、測距装置によって測定されたピッキング対象までの距離を用いてピッキング動作を行う。
本発明によれば、スポット光を用いた信頼性の高いキャリブレーションを行うことによりピッキング対象までの距離を正確に測定できるため、正確にピッキングを行い、生産性を著しく向上させることが出来る。
[Sixth Invention]
A picking robot connected to the distance measuring device performs a picking operation using the distance to the picking target measured by the distance measuring device.
According to the present invention, since the distance to the picking target can be accurately measured by performing highly reliable calibration using spot light, the picking can be performed accurately and the productivity can be significantly improved.
1 測距装置、10 ステレオカメラ、10A ステレオカメラ、11 第1カメラ、11a レンズ、11b 撮像素子、12 第2カメラ、12a レンズ、12b 撮像素子、13 レーザ装置、13a レーザ用レンズ、13b レーザ光源、20 投光面、20A 投光面、20B 投光面、30 発光点、35 スポット、50 制御部、51 画像入力部、52 距離画像生成部、53 校正データ保持部、54 校正ずれ判定部、55 校正データ生成部、56 対象物検知部、57 画像出力部、60 ビームスプリッタ、80 ロボット、90 箱 DESCRIPTION OF SYMBOLS 1 Distance measuring device, 10 Stereo camera, 10A Stereo camera, 11 1st camera, 11a lens, 11b Image sensor, 12 2nd camera, 12a lens, 12b Image sensor, 13 Laser apparatus, 13a Laser lens, 13b Laser light source, 20 light emitting surface, 20A light emitting surface, 20B light emitting surface, 30 light emitting points, 35 spots, 50 control unit, 51 image input unit, 52 distance image generating unit, 53 calibration data holding unit, 54 calibration deviation determining unit, 55 Calibration data generation unit, 56 Object detection unit, 57 Image output unit, 60 Beam splitter, 80 Robot, 90 boxes
Claims (6)
前記複数の画像情報に基づいて測距対象に対する測距を行う測距制御手段と、
少なくとも一つの発光部を有し、任意の投光面に少なくとも一つのスポット光を形成可能な光源と、を備え、
前記測距制御手段は、前記投光面に形成した前記スポットまでの距離に基づいて、前記測距対象に対する測距結果を校正することを特徴とする測距装置。 An imaging means for acquiring a plurality of pieces of image information via a plurality of lenses;
Ranging control means for measuring a distance to a ranging object based on the plurality of image information;
A light source having at least one light emitting unit and capable of forming at least one spot light on an arbitrary light projecting surface;
The distance measuring device calibrates a distance measurement result for the distance measuring object based on a distance to the spot formed on the light projecting surface.
前記測距制御手段は、前記各レンズ間の位置ずれによる前記測距結果の変動を校正することを特徴とする測距装置。 The distance measuring device according to claim 1,
The distance measuring device calibrates a variation in the distance measurement result due to a positional deviation between the lenses.
前記測距制御手段は、予め決められた前記投光面までの距離と、前記投光面に形成した前記スポット光に対する実際の測距距離と、を比較し、該比較結果に基づいて、前記測距対象に対する測距結果を校正することを特徴とする測距装置。 The distance measuring device according to claim 1 or 2,
The ranging control means compares a predetermined distance to the projection surface with an actual ranging distance with respect to the spot light formed on the projection surface, and based on the comparison result, A distance measuring apparatus that calibrates a distance measurement result for a distance measurement object.
前記光源は複数の前記発光部を備え、
前記複数の発光部のうちの発光する発光部を前記レンズの画角に応じて切り換え可能であることを特徴とする測距装置。 The distance measuring device according to any one of claims 1 to 3,
The light source includes a plurality of the light emitting units,
A distance measuring device characterized in that a light emitting portion emitting light among the plurality of light emitting portions can be switched in accordance with an angle of view of the lens.
前記光源から出射された光を複数系統に分割し、一以上の前記スポット光を含むパターンを前記投光面に複数形成する光学手段を備えたことを特徴とする測距装置。 In the distance measuring device according to any one of claims 1 to 4,
A distance measuring apparatus comprising optical means for dividing light emitted from the light source into a plurality of systems and forming a plurality of patterns including one or more spot lights on the light projection surface.
前記ピッキングロボットは、前記測距装置によって測定されたピッキング対象までの距離を用いてピッキング動作を行うことを特徴とするロボットピッキングシステム。 A distance measuring device according to any one of claims 1 to 5, and a picking robot connected to the distance measuring device,
The picking robot performs a picking operation using a distance to a picking object measured by the distance measuring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014004121A JP6287231B2 (en) | 2014-01-14 | 2014-01-14 | Ranging device and robot picking system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014004121A JP6287231B2 (en) | 2014-01-14 | 2014-01-14 | Ranging device and robot picking system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015132540A true JP2015132540A (en) | 2015-07-23 |
JP6287231B2 JP6287231B2 (en) | 2018-03-07 |
Family
ID=53899847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014004121A Active JP6287231B2 (en) | 2014-01-14 | 2014-01-14 | Ranging device and robot picking system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6287231B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107218904A (en) * | 2017-07-14 | 2017-09-29 | 北京航空航天大学 | A kind of line structured light vision sensor calibration method based on sawtooth target |
CN107255443A (en) * | 2017-07-14 | 2017-10-17 | 北京航空航天大学 | Binocular vision sensor field calibration method and device under a kind of complex environment |
WO2018193579A1 (en) * | 2017-04-20 | 2018-10-25 | 矢崎総業株式会社 | Image recognition device |
CN108734741A (en) * | 2017-04-18 | 2018-11-02 | 松下知识产权经营株式会社 | Camera bearing calibration, camera correction program and camera means for correcting |
JP2018204950A (en) * | 2017-05-30 | 2018-12-27 | 株式会社東海理化電機製作所 | Image recognition apparatus |
JP2020098151A (en) * | 2018-12-18 | 2020-06-25 | 株式会社デンソー | Sensor calibration method and sensor calibration device |
CN113155756A (en) * | 2021-03-31 | 2021-07-23 | 中国科学院长春光学精密机械与物理研究所 | Light spot online calibration method |
WO2022004248A1 (en) * | 2020-06-30 | 2022-01-06 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09273931A (en) * | 1996-04-03 | 1997-10-21 | Sokkia Co Ltd | Surveying method |
US20010001578A1 (en) * | 1999-02-04 | 2001-05-24 | Francois Blais | Virtual multiple aperture 3-d range sensor |
CN1605827A (en) * | 2004-11-11 | 2005-04-13 | 天津大学 | Multifunctional vision sensor with binocular spatial structure |
JP2008304344A (en) * | 2007-06-08 | 2008-12-18 | Kumamoto Univ | Target detector |
WO2009119229A1 (en) * | 2008-03-26 | 2009-10-01 | コニカミノルタホールディングス株式会社 | Three-dimensional imaging device and method for calibrating three-dimensional imaging device |
-
2014
- 2014-01-14 JP JP2014004121A patent/JP6287231B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09273931A (en) * | 1996-04-03 | 1997-10-21 | Sokkia Co Ltd | Surveying method |
US20010001578A1 (en) * | 1999-02-04 | 2001-05-24 | Francois Blais | Virtual multiple aperture 3-d range sensor |
CN1605827A (en) * | 2004-11-11 | 2005-04-13 | 天津大学 | Multifunctional vision sensor with binocular spatial structure |
JP2008304344A (en) * | 2007-06-08 | 2008-12-18 | Kumamoto Univ | Target detector |
WO2009119229A1 (en) * | 2008-03-26 | 2009-10-01 | コニカミノルタホールディングス株式会社 | Three-dimensional imaging device and method for calibrating three-dimensional imaging device |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018179981A (en) * | 2017-04-18 | 2018-11-15 | パナソニックIpマネジメント株式会社 | Camera calibration method, camera calibration program and camera calibration device |
CN108734741A (en) * | 2017-04-18 | 2018-11-02 | 松下知识产权经营株式会社 | Camera bearing calibration, camera correction program and camera means for correcting |
WO2018193579A1 (en) * | 2017-04-20 | 2018-10-25 | 矢崎総業株式会社 | Image recognition device |
JP2018204950A (en) * | 2017-05-30 | 2018-12-27 | 株式会社東海理化電機製作所 | Image recognition apparatus |
CN107218904B (en) * | 2017-07-14 | 2020-03-17 | 北京航空航天大学 | Line structured light vision sensor calibration method based on sawtooth target |
CN107255443A (en) * | 2017-07-14 | 2017-10-17 | 北京航空航天大学 | Binocular vision sensor field calibration method and device under a kind of complex environment |
CN107218904A (en) * | 2017-07-14 | 2017-09-29 | 北京航空航天大学 | A kind of line structured light vision sensor calibration method based on sawtooth target |
CN107255443B (en) * | 2017-07-14 | 2020-09-01 | 北京航空航天大学 | Method and device for calibrating binocular vision sensor in site in complex environment |
JP2020098151A (en) * | 2018-12-18 | 2020-06-25 | 株式会社デンソー | Sensor calibration method and sensor calibration device |
JP7056540B2 (en) | 2018-12-18 | 2022-04-19 | 株式会社デンソー | Sensor calibration method and sensor calibration device |
WO2022004248A1 (en) * | 2020-06-30 | 2022-01-06 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
CN113155756A (en) * | 2021-03-31 | 2021-07-23 | 中国科学院长春光学精密机械与物理研究所 | Light spot online calibration method |
CN113155756B (en) * | 2021-03-31 | 2022-10-04 | 中国科学院长春光学精密机械与物理研究所 | Light spot online calibration method |
Also Published As
Publication number | Publication date |
---|---|
JP6287231B2 (en) | 2018-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6287231B2 (en) | Ranging device and robot picking system | |
CN107957237B (en) | Laser projector with flash alignment | |
US9689971B2 (en) | Laser ranging calibration method and apparatus using the same | |
KR100753885B1 (en) | Image obtaining apparatus | |
US20170161889A1 (en) | Laser projection system and method | |
EP2435783B1 (en) | Hybrid sensor | |
US10737387B2 (en) | Robot arm calibration device and method thereof | |
US20120062706A1 (en) | Non-contact sensing system having mems-based light source | |
CN104180792B (en) | laser projection system and method with motion compensation | |
KR102469816B1 (en) | 3D reconstruction system and 3D reconstruction method | |
JP3594706B2 (en) | Light source position adjustment device | |
JP2017019072A (en) | Position measurement system | |
US20150085108A1 (en) | Lasergrammetry system and methods | |
US11650299B2 (en) | Calibration method for solid-state LiDAR system | |
US20220048199A1 (en) | Referencing pose manipulation system for marker based tracking of position measurement system | |
JP2019049484A (en) | Object detection system and object detection program | |
US20170309035A1 (en) | Measurement apparatus, measurement method, and article manufacturing method and system | |
WO2022068818A1 (en) | Apparatus and method for calibrating three-dimensional scanner and refining point cloud data | |
CN108387176B (en) | Method for measuring repeated positioning precision of laser galvanometer | |
US20210156881A1 (en) | Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking | |
CN116105600B (en) | Aiming target method based on binocular camera, processing device and laser tracker | |
JP6714393B2 (en) | Measuring device, system, measuring method, and article manufacturing method | |
CN116342710B (en) | Calibration method of binocular camera for laser tracker | |
JP2018116032A (en) | Measurement device for measuring shape of target measurement object | |
US20220155065A1 (en) | Measurement apparatus, control apparatus, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6287231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |