JP2014159989A - Object detector and robot system - Google Patents

Object detector and robot system Download PDF

Info

Publication number
JP2014159989A
JP2014159989A JP2013030144A JP2013030144A JP2014159989A JP 2014159989 A JP2014159989 A JP 2014159989A JP 2013030144 A JP2013030144 A JP 2013030144A JP 2013030144 A JP2013030144 A JP 2013030144A JP 2014159989 A JP2014159989 A JP 2014159989A
Authority
JP
Japan
Prior art keywords
lens
unit
light source
liquid
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013030144A
Other languages
Japanese (ja)
Inventor
Yuji Ichimaru
勇二 一丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP2013030144A priority Critical patent/JP2014159989A/en
Priority to CN201310740927.4A priority patent/CN103994728A/en
Publication of JP2014159989A publication Critical patent/JP2014159989A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an object detector capable of taking images with high accuracy and detecting a three-dimensional outer shape of an object with high accuracy, and a robot system.SOLUTION: A sensor unit 300 comprises: a laser light source 321 for radiating laser slit light; a rotation mirror 322 for moving, in a predetermined scanning direction, a projection portion of the laser slit light, radiated from the laser light source 321, toward a workpiece, and a motor 323; a camera 310 that consecutively takes images of the appearance of the workpiece including the moving projection portion, at a predetermined frame rate, when the projection portion of the laser slit light is moved on the workpiece due to that the motor 323 rotates the rotation mirror 322; lens units 350, 360 provided on a laser light source 321 and the camera 310, and a characteristic adjustment unit 339 that can adjust optical characteristics of each of the lens units 350, 360 when the camera 310 takes images consecutively.

Description

開示の実施形態は、物体検出装置及びロボットシステムに関する。   Embodiments disclosed herein relate to an object detection device and a robot system.

特許文献1には、光切断法により物体の検出を行う技術が記載されている。光切断法では、光源から照射された光の物体への投影部位を走査方向に移動させ、その移動する投影部位を含む物体の外観を所望の間隔で連続撮像することにより、物体の三次元的な外形形状を検出する。   Patent Document 1 describes a technique for detecting an object by a light cutting method. In the light cutting method, the projection part of the light irradiated from the light source onto the object is moved in the scanning direction, and the appearance of the object including the moving projection part is continuously imaged at a desired interval, thereby three-dimensionally displaying the object. A simple outer shape.

特開2009−250844号公報JP 2009-250844 A

上記のような光切断法では、高精度な撮像を行って、物体の三次元的な外形形状を高精度に検出することが望まれている。   In the light cutting method as described above, it is desired to perform highly accurate imaging and detect the three-dimensional outer shape of an object with high accuracy.

本発明はこのような問題に鑑みてなされたものであり、高精度な撮像を行うことができ、物体の三次元的な外形形状を高精度に検出できる物体検出装置及びロボットシステムを提供することを目的とする。   The present invention has been made in view of such problems, and provides an object detection device and a robot system that can perform high-precision imaging and can detect the three-dimensional outer shape of an object with high accuracy. With the goal.

上記課題を解決するため、本発明の一の観点によれば、検出対象の物体を検出する物体検出装置であって、光を照射する光源と、前記光源から照射された前記光の前記物体への投影部位を、所定の走査方向へ移動させる走査部と、前記走査部が前記物体上での前記光の前記投影部位を移動させる際に、前記移動する投影部位を含む前記物体の外観を所望の間隔で連続撮像するカメラと、前記光源又は前記カメラに設けたレンズユニットと、前記カメラが連続撮像を行う際に前記レンズユニットの光学特性を調整可能な特性調整部と、を有することを特徴とする、物体検出装置が適用される。   In order to solve the above-described problem, according to one aspect of the present invention, an object detection device that detects an object to be detected, the light source for irradiating light, and the object of the light emitted from the light source A scanning unit that moves the projection part of the object in a predetermined scanning direction, and when the scanning part moves the projection part of the light on the object, the appearance of the object including the moving projection part is desired. And a lens unit provided in the light source or the camera, and a characteristic adjusting unit capable of adjusting optical characteristics of the lens unit when the camera performs continuous imaging. An object detection device is applied.

本発明によれば、高精度な撮像を行うことができるので、物体の三次元的な外形形状を高精度に検出することができる。   According to the present invention, since highly accurate imaging can be performed, the three-dimensional outer shape of an object can be detected with high accuracy.

一実施の形態のロボットシステムの全体構成の一例を表すシステム構成図である。1 is a system configuration diagram illustrating an example of an overall configuration of a robot system according to an embodiment. センサユニットの構成の一例を一部透視した状態で表す側面図である。It is a side view expressed in the state where a part of example of composition of a sensor unit was seen through. センサユニットの構成の一例を一部透視した状態で表す側面図である。It is a side view expressed in the state where a part of example of composition of a sensor unit was seen through. センサユニットの構成の一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of a structure of a sensor unit. センサユニットの構成の一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of a structure of a sensor unit. カメラから出力された撮像フレームの一例を表す説明図である。It is explanatory drawing showing an example of the imaging frame output from the camera. レンズユニットの構成の一例を模式的に表す模式図である。It is a schematic diagram which represents typically an example of a structure of a lens unit. センサコントローラの機能的構成の一例を表すブロック図である。It is a block diagram showing an example of a functional composition of a sensor controller. 液体レンズの焦点位置を説明するための説明図である。It is explanatory drawing for demonstrating the focus position of a liquid lens. N回目のスキャン時に、カメラから出力された複数の撮像フレーム、及び、距離画像生成部により生成された距離画像の一例を表す説明図である。It is explanatory drawing showing an example of the distance image produced | generated by the several imaging frame output from the camera at the time of the Nth scan, and the distance image generation part. N+1回目のスキャン時に、カメラから出力された複数の撮像フレーム、及び、距離画像生成部により生成された距離画像の一例を表す説明図である。It is explanatory drawing showing an example of the several image frame output from the camera at the time of the (N + 1) th scan, and the distance image produced | generated by the distance image production | generation part. 合成画像生成部により生成される合成画像の一例を表す説明図である。It is explanatory drawing showing an example of the synthesized image produced | generated by the synthesized image production | generation part.

以下、一実施の形態について図面を参照しつつ説明する。   Hereinafter, an embodiment will be described with reference to the drawings.

まず、図1を参照しつつ、本実施形態のロボットシステムの全体構成の一例を説明する。   First, an example of the entire configuration of the robot system according to the present embodiment will be described with reference to FIG.

図1に示すように、本実施形態のロボットシステム1は、ストッカ20(容器)と、ロボット100と、コンベア30と、センサユニット300(物体検出装置)と、ロボットコントローラ200(コントローラ)とを有する。   As shown in FIG. 1, the robot system 1 of this embodiment includes a stocker 20 (container), a robot 100, a conveyor 30, a sensor unit 300 (object detection device), and a robot controller 200 (controller). .

ストッカ20は、例えば樹脂や金属等で形成された箱状の容器であり、ロボット100の近傍に配置された台座21上に配置されている。このストッカ20の内部には、複数の検出対象のワークW(物体)が無作為(バラバラ)に入れられている。なお、各ワークWは、ストッカ20等のような容器に入れられていなくてもよく、台座21上等のような適宜の載置面に載置されていてもよい。また、各ワークW及びそれらの形状としては、特に限定されるものではなく、種々考えられる。このとき、各ワークW及びそれらの形状は、互いに一致又は類似していてもよいし、互いに異なっていてもよい。但し、各図中では、各ワークWの形状を簡略化して楕円形状で図示している。   The stocker 20 is a box-shaped container made of, for example, resin or metal, and is disposed on a pedestal 21 disposed in the vicinity of the robot 100. Inside the stocker 20, a plurality of workpieces W (objects) to be detected are randomly placed. Each workpiece W may not be placed in a container such as the stocker 20 or may be placed on an appropriate placement surface such as on the base 21. Moreover, it does not specifically limit as each workpiece | work W and those shapes, Various are considered. At this time, each workpiece | work W and those shapes may mutually correspond or are similar, and may mutually differ. However, in each drawing, the shape of each workpiece W is simplified and shown in an elliptical shape.

ロボット100は、ストッカ20内の複数のワークWを順次保持して移送する移送作業(いわゆるランダム・ビン・ピッキング)を行う。ロボット100としては、上記のような移送作業を行うことが可能なものであれば特に限定されるものではないが、例えば垂直多関節ロボットや水平多関節ロボット(スカラロボット)等が使用可能である。この例では、ロボット100として垂直多関節ロボットを適用し、ロボット100は、適宜の固定面(例えば床部等)に固定された基台101と、基台101に回転自在に設けられたアーム部102とを有する。アーム部102は、基台101側からその反対の先端側にかけて複数の間接を有する。このアーム部102には、上記複数の間接をそれぞれ駆動する複数のサーボモータ(図示せず)が内蔵されている。また、アーム部102の先端には、ワークWを保持可能な保持装置103が設けられている。   The robot 100 performs a transfer operation (so-called random bin picking) for sequentially holding and transferring a plurality of workpieces W in the stocker 20. The robot 100 is not particularly limited as long as it can perform the transfer operation as described above. For example, a vertical articulated robot or a horizontal articulated robot (scalar robot) can be used. . In this example, a vertical articulated robot is applied as the robot 100, and the robot 100 includes a base 101 fixed to an appropriate fixing surface (for example, a floor portion) and an arm unit rotatably provided on the base 101. 102. The arm part 102 has a plurality of indirects from the base 101 side to the opposite tip side. The arm portion 102 incorporates a plurality of servo motors (not shown) for driving the plurality of indirects, respectively. A holding device 103 capable of holding the workpiece W is provided at the tip of the arm unit 102.

保持装置103としては、ワークWを保持可能なものであれば特に限定されるものではないが、例えば、指部材によりワークWを把持(保持の一態様)可能な把持装置、エアや電磁力等により駆動してワークWを吸着(保持の一態様)可能な吸着装置等が使用可能である。この例では、保持装置103として把持装置を適用し、保持装置103は、ワークWを把持可能な一対の指部材103aを有する。一対の指部材103aは、保持装置103に内蔵された適宜のアクチュエータ(図示せず)により駆動され、互いの間隔を拡張・縮小することにより開閉動作する。なお、保持装置103としては、上記のような構造を備えたものに限定されるものではなく、例えば、複数の指部材を有し、これら複数の指部材が揺動することによりワークWを掴むグリッパ装置等も使用可能である。   The holding device 103 is not particularly limited as long as it can hold the workpiece W. For example, a holding device that can hold the workpiece W with a finger member (an aspect of holding), air, electromagnetic force, or the like It is possible to use a suction device or the like that can be driven by this to suck the workpiece W (one mode of holding). In this example, a gripping device is applied as the holding device 103, and the holding device 103 has a pair of finger members 103a capable of gripping the workpiece W. The pair of finger members 103a is driven by an appropriate actuator (not shown) built in the holding device 103, and opens / closes by expanding / reducing the mutual distance. The holding device 103 is not limited to the one having the above-described structure. For example, the holding device 103 has a plurality of finger members, and the plurality of finger members swing to grip the workpiece W. A gripper device or the like can also be used.

このようなロボット100は、ストッカ20内の複数のワークWを把持装置103の指部材103aにより1つずつ順次把持し、コンベア30において予め設定された載置位置へ移送して載置することにより、移送作業を行う。   Such a robot 100 sequentially grips a plurality of workpieces W in the stocker 20 one by one with the finger members 103a of the gripping device 103, and transfers and places the workpieces to a preset placement position on the conveyor 30. , Perform the transfer work.

コンベア30は、予め設定された載置位置に載置されたワークWを、次の工程に係る設備に搬送する。   The conveyor 30 conveys the workpiece W placed at a preset placement position to equipment related to the next step.

センサユニット300は、光切断法により、ストッカ20内の複数のワークWをそれぞれ検出し、それら複数のワークWそれぞれの三次元的な外形形状(三次元的な位置及び姿勢も含む。以下同様)である三次元形状を検出する。このセンサユニット300は、ストッカ20の上方に位置するように、適宜の支持部材50により支持されている。センサユニット300については、後でより詳しく説明する。   The sensor unit 300 detects a plurality of workpieces W in the stocker 20 by a light cutting method, and each of the plurality of workpieces W has a three-dimensional outer shape (including a three-dimensional position and orientation; the same applies hereinafter). A three-dimensional shape is detected. The sensor unit 300 is supported by an appropriate support member 50 so as to be positioned above the stocker 20. The sensor unit 300 will be described in more detail later.

ロボットコントローラ200は、例えば演算器、記憶装置、入力装置等を有するコンピュータで構成され、ロボット100及びセンサユニット300と相互通信可能に接続されている。このロボットコントローラ200は、センサユニット300により検出されたストッカ20内の複数のワークWそれぞれの三次元形状を表す三次元形状情報に基づいて、ロボット100全体の動作(例えば、アーム部102の各間接の駆動、把持装置103の指部材103aの開閉動作等)を制御する。ロボットコントローラ200については、後でより詳しく説明する。   The robot controller 200 is composed of, for example, a computer having an arithmetic unit, a storage device, an input device, and the like, and is connected to the robot 100 and the sensor unit 300 so as to communicate with each other. The robot controller 200 operates based on the three-dimensional shape information representing the three-dimensional shape of each of the plurality of workpieces W in the stocker 20 detected by the sensor unit 300 (for example, each indirect of the arm unit 102). And the opening / closing operation of the finger member 103a of the gripping device 103 are controlled. The robot controller 200 will be described in detail later.

次に、図2〜図5を参照しつつ、センサユニット300の構成の一例を説明する。   Next, an example of the configuration of the sensor unit 300 will be described with reference to FIGS.

図2〜図5に示すように、センサユニット300は、レーザスキャナ320と、カメラ310と、カメラ310に設けたレンズユニット350と、センサコントローラ330とを有する。   As shown in FIGS. 2 to 5, the sensor unit 300 includes a laser scanner 320, a camera 310, a lens unit 350 provided in the camera 310, and a sensor controller 330.

レーザスキャナ320は、レーザ光源ユニット320Aと、回転ミラー322と、モータ323(駆動装置)と、角度検出器324とを備える。なお、回転ミラー322及びモータ323が走査部に対応する。また、レーザ光源ユニット320Aは、レーザ光源321(光源)と、レーザ光源321に設けたレンズユニット360とを備え、これらが共通の筐体326に収納されて形成されている。レーザ光源321は、スリット状のレーザ光(光。以下、「レーザスリット光」という)Lを照射する。レンズユニット360は、レーザ光源321と回転ミラー322との間に設けられ、レーザ光源321から照射されたレーザスリット光Lを屈折させ集光させる。レンズユニット360については、後でより詳しく説明する。回転ミラー322は、レンズユニット360を通過したレーザスリット光Lを受光し、ワークW等へ向けて反射させ、ワークW等へ投影させる。モータ323は、回転ミラー322を回転させ、回転ミラー322の回転角度を変化させる。モータ323により回転ミラー322を回転させることにより、ワークW等の投影対象となる複数の投影領域からなる全投影領域TT内のワークW等上でのレーザスリット光Lの投影部位を、矢印Aで示す方向(所定の走査方向。以下、「走査方向A」という)へ移動させることができる。角度検出器324は、回転ミラー322の回転角度を検出する。   The laser scanner 320 includes a laser light source unit 320A, a rotating mirror 322, a motor 323 (driving device), and an angle detector 324. The rotating mirror 322 and the motor 323 correspond to the scanning unit. The laser light source unit 320 </ b> A includes a laser light source 321 (light source) and a lens unit 360 provided in the laser light source 321, and these are housed in a common housing 326. The laser light source 321 irradiates slit-shaped laser light (light; hereinafter referred to as “laser slit light”) L. The lens unit 360 is provided between the laser light source 321 and the rotary mirror 322, and refracts and condenses the laser slit light L emitted from the laser light source 321. The lens unit 360 will be described in more detail later. The rotating mirror 322 receives the laser slit light L that has passed through the lens unit 360, reflects it toward the workpiece W, etc., and projects it onto the workpiece W, etc. The motor 323 rotates the rotating mirror 322 and changes the rotation angle of the rotating mirror 322. By rotating the rotating mirror 322 by the motor 323, the projection part of the laser slit light L on the work W etc. in the entire projection area TT composed of a plurality of projection areas to be projected such as the work W is indicated by an arrow A. It can be moved in the direction shown (predetermined scanning direction; hereinafter referred to as “scanning direction A”). The angle detector 324 detects the rotation angle of the rotary mirror 322.

カメラ310は、上記のように全投影領域TT内のワークW等上でのレーザスリット光Lの投影部位が走査方向Aへ移動する際に、その移動する投影部位を含む全投影領域TT内のワークW等の外観を、所望のフレームレート(間隔)で連続撮像する。具体的には、カメラ310は、レーザスリット光Lの投影部位が、全投影領域TTの反走査方向(矢印Aで示す方向の反対方向)側端部の投影領域で生じてから、走査方向Aに順次移動し、全投影領域TTの走査方向A側端部の投影領域に至るまでの間(つまり、全投影領域TTの全域にわたる間)、連続撮像を行う。そして、カメラ310は、上記連続撮像に対応する複数の撮像フレームF(後述の図6参照)を出力する。図6に、カメラ310から出力された撮像フレームFの一例を示す。図6に示すように、撮像フレームFには、全投影領域TT内のワークW等の外観と、上記のように刻々と移動していく当該ワークW等上でのレーザスリット光Lの投影部位の挙動とが含まれている。   When the projection part of the laser slit light L on the workpiece W or the like in the entire projection area TT moves in the scanning direction A as described above, the camera 310 in the entire projection area TT including the projection part to move is moved. The external appearance of the workpiece W or the like is continuously imaged at a desired frame rate (interval). Specifically, the camera 310 scans in the scanning direction A after the projected portion of the laser slit light L occurs in the projection region at the end of the entire projection region TT in the opposite scanning direction (the direction opposite to the direction indicated by the arrow A). Are sequentially moved, and continuous imaging is performed until the projection area reaches the projection area at the end in the scanning direction A side of the entire projection area TT (that is, over the entire area of the entire projection area TT). Then, the camera 310 outputs a plurality of imaging frames F (see FIG. 6 described later) corresponding to the continuous imaging. FIG. 6 shows an example of the imaging frame F output from the camera 310. As shown in FIG. 6, in the imaging frame F, the appearance of the work W etc. in the entire projection area TT and the projection part of the laser slit light L on the work W etc. moving every moment as described above. And behaviors are included.

レンズユニット350は、上記ワークW等上でのレーザスリット光Lの投影部位とカメラ310の撮像素子311との間に設けられ、投影部位で反射されたレーザスリット光Lを屈折させ集光させる。レンズユニット350については、後でより詳しく説明する。   The lens unit 350 is provided between the projection part of the laser slit light L on the workpiece W or the like and the image sensor 311 of the camera 310, and refracts and condenses the laser slit light L reflected by the projection part. The lens unit 350 will be described in more detail later.

センサコントローラ330は、例えば演算器や記憶装置等を有するコンピュータで構成され、センサユニット300全体の動作を制御する。このセンサコントローラ330は、カメラ310から出力された複数の撮像フレームFに基づいて、ストッカ20内の複数のワークWをそれぞれ検出し、それら複数のワークWそれぞれの三次元形状を検出する。センサコントローラ330については、後でより詳しく説明する。   The sensor controller 330 is composed of, for example, a computer having an arithmetic unit, a storage device, and the like, and controls the operation of the entire sensor unit 300. The sensor controller 330 detects the plurality of workpieces W in the stocker 20 based on the plurality of imaging frames F output from the camera 310, and detects the three-dimensional shape of each of the plurality of workpieces W. The sensor controller 330 will be described in more detail later.

次に、図7を参照しつつ、レンズユニット350,360の構成の一例を説明する。   Next, an example of the configuration of the lens units 350 and 360 will be described with reference to FIG.

図7に示すように、レンズユニット350は、円筒部材351の両端部に光透過性を有する蓋部材352,353が接合されて構成された円筒容器354を有する。円筒容器354の内部には、絶縁性及び光透過性を有する非電解液からなる第1の液体355と、導電性及び光透過性を有する電解液からなる第2の液体356とが、隣接して封入されている。第1の液体355及び第2の液体356は、互いに非混和性を有し、互いに屈折率が異なる。これら第1の液体355及び第2の液体356により、液体レンズLL1が構成されている。液体レンズLL1は、上記ワークW等上でのレーザスリット光Lの投影部位とカメラ310の撮像素子311との間に設けられている。また、円筒容器354の内壁には、第2の液体356に所望の電圧を印加するための電極357がリング状に形成されている。上記第1の液体355及び第2の液体356は、絶縁体358を介してこの電極357に接触している。   As shown in FIG. 7, the lens unit 350 includes a cylindrical container 354 configured by joining light-transmissive lid members 352 and 353 to both ends of the cylindrical member 351. Inside the cylindrical container 354, a first liquid 355 made of a non-electrolytic solution having insulating properties and light transmittance and a second liquid 356 made of an electrolytic solution having conductivity and light permeability are adjacent to each other. Are enclosed. The first liquid 355 and the second liquid 356 are immiscible with each other and have different refractive indexes. The first liquid 355 and the second liquid 356 constitute a liquid lens LL1. The liquid lens LL1 is provided between the projected portion of the laser slit light L on the workpiece W or the like and the imaging element 311 of the camera 310. An electrode 357 for applying a desired voltage to the second liquid 356 is formed in a ring shape on the inner wall of the cylindrical container 354. The first liquid 355 and the second liquid 356 are in contact with the electrode 357 through an insulator 358.

このようなレンズユニット350では、適宜の電圧印加装置359により第2の液体356と電極357との間に電圧が印加されると、その印加電圧の大小に応じて、第1の液体355と第2の液体356との界面IF1の曲率が変化する。これにより、液体レンズLL1の屈折力、つまり液体レンズLL1の焦点距離や画角等の光学特性が変化する。   In such a lens unit 350, when a voltage is applied between the second liquid 356 and the electrode 357 by an appropriate voltage application device 359, the first liquid 355 and the second liquid 355 are changed according to the magnitude of the applied voltage. The curvature of the interface IF1 with the second liquid 356 changes. This changes the refractive power of the liquid lens LL1, that is, the optical characteristics such as the focal length and the angle of view of the liquid lens LL1.

また、レンズユニット360は、上記レンズユニット350と同様の構成である。すなわち、レンズユニット360は、円筒部材361の両端部に光透過性を有する蓋部材362,363が接合されて構成された円筒容器364を有する。円筒容器364の内部には、絶縁性及び光透過性を有する非電解液からなる第1の液体365と、導電性及び光透過性を有する電解液からなる第2の液体366とが、隣接して封入されている。第1の液体365及び第2の液体366は、互いに非混和性を有し、互いに屈折率が異なる。これら第1の液体365及び第2の液体366により、液体レンズLL2(レンズ)が構成されている。液体レンズLL2は、レーザ光源321と回転ミラー322との間に設けられている。また、円筒容器364の内壁には、第2の液体366に所望の電圧を印加するための電極367がリング状に形成されている。上記第1の液体365及び第2の液体366は、絶縁体368を介してこの電極367に接触している。   The lens unit 360 has the same configuration as the lens unit 350 described above. That is, the lens unit 360 includes a cylindrical container 364 configured by joining light-transmissive lid members 362 and 363 to both ends of the cylindrical member 361. Inside the cylindrical container 364, a first liquid 365 made of a non-electrolytic solution having insulating properties and light permeability and a second liquid 366 made of an electrolytic solution having conductivity and light permeability are adjacent to each other. Are enclosed. The first liquid 365 and the second liquid 366 are immiscible with each other and have different refractive indexes. The first liquid 365 and the second liquid 366 constitute a liquid lens LL2 (lens). The liquid lens LL2 is provided between the laser light source 321 and the rotary mirror 322. Further, an electrode 367 for applying a desired voltage to the second liquid 366 is formed in a ring shape on the inner wall of the cylindrical container 364. The first liquid 365 and the second liquid 366 are in contact with the electrode 367 through an insulator 368.

このようなレンズユニット360では、適宜の電圧印加装置369により第2の液体366と電極367との間に電圧が印加されると、その印加電圧の大小に応じて、第1の液体365と第2の液体366との界面IF2の曲率が変化する。これにより、液体レンズLL2の屈折力、つまり液体レンズLL2の焦点距離や画角等の光学特性が変化する。   In such a lens unit 360, when a voltage is applied between the second liquid 366 and the electrode 367 by an appropriate voltage application device 369, the first liquid 365 and the second liquid 365 are changed according to the magnitude of the applied voltage. The curvature of the interface IF2 with the second liquid 366 changes. Accordingly, the refractive power of the liquid lens LL2, that is, the optical characteristics such as the focal length and the angle of view of the liquid lens LL2 change.

次に、図8を参照しつつ、センサコントローラ330の機能的構成の一例を説明する。   Next, an example of a functional configuration of the sensor controller 330 will be described with reference to FIG.

図8に示すように、センサコントローラ330は、光源制御部341と、モータ制御部342と、カメラ制御部338と、特性調整部339と、画像取得部331と、画像記憶部332と、距離画像生成部333と、距離画像記憶部334と、合成画像生成部336と、検出部340とを備える。   As shown in FIG. 8, the sensor controller 330 includes a light source control unit 341, a motor control unit 342, a camera control unit 338, a characteristic adjustment unit 339, an image acquisition unit 331, an image storage unit 332, and a distance image. A generation unit 333, a distance image storage unit 334, a composite image generation unit 336, and a detection unit 340 are provided.

光源制御部341は、上記レーザ光源321を制御し、レーザスリット光Lを照射させる。モータ制御部342は、上記角度検出器324により検出された上記回転ミラー322の回転角度情報を入力し、その入力した回転角度情報に基づいて、上記モータ323を制御し、回転ミラー322を回転させる。カメラ制御部338は、上記カメラ310を制御し、レーザスリット光Lの投影部位が全投影領域TTの全域にわたる間に、複数回の連続撮像を行わせ、対応する複数の撮像フレームFを出力させる。   The light source control unit 341 controls the laser light source 321 to irradiate the laser slit light L. The motor control unit 342 receives rotation angle information of the rotating mirror 322 detected by the angle detector 324, controls the motor 323 based on the input rotation angle information, and rotates the rotating mirror 322. . The camera control unit 338 controls the camera 310 so that the laser slit light L is projected continuously over the entire projection area TT, and a plurality of continuous imaging frames F are output. .

ここで、カメラ310が上記複数回の連続撮像を行う1回のスキャンの際に、ワークW等の位置が異なったり、ワークW等の表面に凹凸等が存在する等により、当該ワークW等上でのレーザスリット光Lの投影部位に凹凸が存在する場合がある。この場合、投影部位が凹部であるか凸部であるかにより、レーザ光源321からワークW等の表面(投影部位)までのレーザスリット光Lの光路長や、ワークW等の表面(投影部位)からカメラ310の撮像素子311までのレーザスリット光Lの光路長が異なることとなる。従って、上記の場合に、上記各レンズユニット350,360の焦点距離や画角等を仮に固定値にすると、各レンズユニット350,360の焦点位置を、当該各レンズユニット350,360の焦点距離が互いに異なる複数の位置に対応させるのが困難となるおそれがある。このため、レーザ光源321からワークW等の表面までのレーザスリット光Lの光路長の違い(レンズユニット360の焦点距離の違い)や、ワークW等の表面からカメラ310の撮像素子311までのレーザスリット光Lの光路長の違い(レンズユニット350の焦点距離の違い)により、高精度な撮像が困難となるおそれがある。そこで本実施形態では、上記各レンズユニット350,360の焦点距離や画角等の光学特性を調整可能な特性調整部339が設けられている。   Here, when the camera 310 performs the above-described multiple times of continuous imaging, the position of the work W or the like is different or the surface of the work W or the like is uneven. There may be irregularities in the projected portion of the laser slit light L. In this case, the optical path length of the laser slit light L from the laser light source 321 to the surface (projection site) of the workpiece W or the surface of the workpiece W (projection site) depending on whether the projection site is a recess or a projection. Therefore, the optical path length of the laser slit light L from the image sensor 311 of the camera 310 to the image sensor 311 is different. Therefore, in the above case, if the focal length and the angle of view of the lens units 350 and 360 are set to fixed values, the focal position of the lens units 350 and 360 is changed to the focal length of the lens units 350 and 360. It may be difficult to correspond to a plurality of different positions. Therefore, the difference in the optical path length of the laser slit light L from the laser light source 321 to the surface of the workpiece W (difference in the focal length of the lens unit 360), or the laser from the surface of the workpiece W or the like to the image sensor 311 of the camera 310. Due to the difference in the optical path length of the slit light L (difference in the focal length of the lens unit 350), there is a possibility that high-accuracy imaging becomes difficult. Therefore, in the present embodiment, a characteristic adjustment unit 339 capable of adjusting optical characteristics such as focal lengths and field angles of the lens units 350 and 360 is provided.

特性調整部339は、上記1回のスキャンの際に、上記各レンズユニット350,360の光学特性を調整する。具体的には、特性調整部339は、各レンズユニット350,360の各液体レンズLL1,LL2の位置を動かすことなく、当該各液体レンズLL1,LL2の光学特性を調整する。すなわち、特性調整部339は、上記電圧印加装置359がレンズユニット350の第2の液体356と電極357との間に印加する電圧、及び、上記電圧印加装置369がレンズユニット360の第2の液体366と電極367との間に印加する電圧を増減し、上記各界面IF1,IF2の曲率を変化させることで、各液体レンズLL1,LL2の光学特性を調整する。   The characteristic adjustment unit 339 adjusts the optical characteristics of the lens units 350 and 360 during the one scan. Specifically, the characteristic adjustment unit 339 adjusts the optical characteristics of the liquid lenses LL1 and LL2 without moving the positions of the liquid lenses LL1 and LL2 of the lens units 350 and 360. That is, the characteristic adjusting unit 339 includes the voltage applied by the voltage applying device 359 between the second liquid 356 of the lens unit 350 and the electrode 357, and the voltage applying device 369 of the second liquid of the lens unit 360. The optical characteristics of the liquid lenses LL1 and LL2 are adjusted by increasing or decreasing the voltage applied between the electrode 367 and the electrode 367 and changing the curvatures of the interfaces IF1 and IF2.

本実施形態では、特性調整部339は、各液体レンズLL1,LL2の焦点位置を、当該各液体レンズLL1,LL2の焦点距離が互いに異なる複数の位置の間で切り替えるように、各電圧印加装置359,369が印加する電圧を増減する。この例では、図9(a)に示すように、液体レンズLL1の焦点距離が互いに異なる複数の位置として、上側位置P1a及び下側位置P1bの2つの位置が設定されている。上側位置P1aは、液体レンズLL1の焦点距離が相対的に短い短焦点距離となる位置(範囲)である。下側位置P1bは、液体レンズLL1の焦点距離が上記短焦点距離よりも長い長焦点距離となる位置(範囲)である。また、この例では、図9(b)に示すように、液体レンズLL2の焦点距離が互いに異なる複数の位置として、上側位置P2a及び下側位置P2bの2つの位置が設定されている。上側位置P2aは、液体レンズLL2の焦点距離が相対的に短い短焦点距離となる位置(範囲)である。下側位置P2bは、液体レンズLL2の焦点距離が上記短焦点距離よりも長い長焦点距離となる位置(範囲)である。なお、図9(b)中では、説明の便宜上、レーザ光源321、液体レンズLL2、回転ミラー322、及びワークW等が同一直線上にあるかのように図示している。   In the present embodiment, the characteristic adjustment unit 339 switches the voltage application devices 359 so that the focal positions of the liquid lenses LL1 and LL2 are switched between a plurality of positions where the focal lengths of the liquid lenses LL1 and LL2 are different from each other. , 369 increase or decrease the voltage applied. In this example, as shown in FIG. 9A, two positions of an upper position P1a and a lower position P1b are set as a plurality of positions where the focal lengths of the liquid lens LL1 are different from each other. The upper position P1a is a position (range) where the focal length of the liquid lens LL1 is a relatively short short focal length. The lower position P1b is a position (range) where the focal length of the liquid lens LL1 is a long focal length longer than the short focal length. In this example, as shown in FIG. 9B, two positions of an upper position P2a and a lower position P2b are set as a plurality of positions where the focal lengths of the liquid lens LL2 are different from each other. The upper position P2a is a position (range) where the focal length of the liquid lens LL2 is a relatively short short focal length. The lower position P2b is a position (range) where the focal length of the liquid lens LL2 is a long focal length longer than the short focal length. In FIG. 9B, for convenience of explanation, the laser light source 321, the liquid lens LL2, the rotating mirror 322, the workpiece W, and the like are illustrated as if they are on the same straight line.

なお、上記各上側位置P1a,P2aを第1位置に対応させた場合には、上記各短焦点距離が第1焦点距離に対応すると共に、上記各下側位置P1b,P2bが第2位置に対応し、上記各長焦点距離が第2焦点距離に対応する。逆に、上記各下側位置P1b,P2bを第1位置に対応させた場合には、上記各長焦点距離が第1焦点距離に対応すると共に、上記各上側位置P1a,P2aが第2位置に対応し、上記各短焦点距離が第2焦点距離に対応する。   When the upper positions P1a and P2a correspond to the first position, the short focal lengths correspond to the first focal lengths, and the lower positions P1b and P2b correspond to the second positions. The long focal lengths correspond to the second focal length. Conversely, when the lower positions P1b and P2b are made to correspond to the first position, the long focal lengths correspond to the first focal length, and the upper positions P1a and P2a are set to the second position. Correspondingly, each short focal length corresponds to a second focal length.

そして、特性調整部339は、各液体レンズLL1,LL2の焦点位置を、上記各上側位置P1a,P2aと上記各下側位置P1b,P2bとに、カメラ310の撮像タイミングに対応する切替タイミングで交互に切り替えるように、各電圧印加装置359,369が印加する電圧を交互に増減する。   The characteristic adjustment unit 339 alternates the focal positions of the liquid lenses LL1 and LL2 between the upper positions P1a and P2a and the lower positions P1b and P2b at the switching timing corresponding to the imaging timing of the camera 310. The voltage applied by each voltage application device 359, 369 is increased or decreased alternately so as to switch to

例えば、特性調整部339は、1回のスキャンにおける複数回の切替タイミングのうち、n回目(nは正の奇数)の切替タイミング(1,3,5,7・・・回目の切替タイミング)に対応して、各液体レンズLL1,LL2の焦点位置を各上側位置P1a,P2aに切り替え、n+1回目の切替タイミング(2,4,6,8・・・回目の切替タイミング)に対応して、各液体レンズLL1,LL2の焦点位置を各下側位置P1b,P2bに切り替えるように、各電圧印加装置359,369が印加する電圧を増減する。なお、以下では、このような各液体レンズLL1,LL2の焦点位置の切替パターンを「第1切替パターン」という。又は、特性調整部339は、1回のスキャンにおける複数回の切替タイミングのうち、n回目の切替タイミングに対応して、各液体レンズLL1,LL2の焦点位置を各下側位置P1b,P2bに切り替え、n+1回目の切替タイミングに対応して、各液体レンズLL1,LL2の焦点位置を各上側位置P1a,P2aに切り替えるように、各電圧印加装置359,369が印加する電圧を増減する。なお、以下では、このような各液体レンズLL1,LL2の焦点位置の切替パターンを「第2切替パターン」という。   For example, the characteristic adjustment unit 339 sets the n-th (n is a positive odd number) switching timing (1, 3, 5, 7... The first switching timing) among a plurality of switching timings in one scan. Correspondingly, the focus positions of the liquid lenses LL1 and LL2 are switched to the upper positions P1a and P2a, and corresponding to the (n + 1) th switching timing (2, 4, 6, 8... The voltages applied by the voltage application devices 359 and 369 are increased or decreased so that the focal positions of the liquid lenses LL1 and LL2 are switched to the lower positions P1b and P2b. Hereinafter, such a switching pattern of the focal positions of the liquid lenses LL1 and LL2 is referred to as a “first switching pattern”. Alternatively, the characteristic adjustment unit 339 switches the focal positions of the liquid lenses LL1 and LL2 to the lower positions P1b and P2b corresponding to the nth switching timing among a plurality of switching timings in one scan. In response to the (n + 1) th switching timing, the voltages applied by the voltage application devices 359 and 369 are increased or decreased so that the focal positions of the liquid lenses LL1 and LL2 are switched to the upper positions P1a and P2a. Hereinafter, such a switching pattern of the focal positions of the liquid lenses LL1 and LL2 is referred to as a “second switching pattern”.

本実施形態では、特性調整部339は、時間的に異なる複数回のスキャンで、上記第1切替パターンと上記第2切替パターンとを交互に繰り返すように、各電圧印加装置359,369が印加する電圧を増減する。   In the present embodiment, the characteristic adjustment unit 339 applies the voltage application devices 359 and 369 so that the first switching pattern and the second switching pattern are alternately repeated in a plurality of scans that are different in time. Increase or decrease the voltage.

例えば、特性調整部339は、N回目(Nは正の奇数)のスキャン(1,3,5,7・・・回目のスキャン)では、上記第1切替パターンに対応するように各液体レンズLL1,LL2の焦点位置を切り替え、N+1回目のスキャン(2,4,6,8・・・回目のスキャン)では、上記第2切替パターンに対応するように各液体レンズLL1,LL2の焦点位置を切り替えるように、各電圧印加装置359,369が印加する電圧を増減する。又は、特性調整部339は、N回目のスキャンでは、上記第2切替パターンに対応するように各液体レンズLL1,LL2の焦点位置を切り替え、N+1回目のスキャンでは、上記第1切替パターンに対応するように各液体レンズLL1,LL2の焦点位置を切り替えるように、各電圧印加装置359,369が印加する電圧を増減してもよい。但し、以下では、説明の便宜上、特性調整部339は、N回目のスキャンでは、上記第1切替パターンに対応するように各液体レンズLL1,LL2の焦点位置を切り替え、N+1回目のスキャンでは、上記第2切替パターンに対応するように各液体レンズLL1,LL2の焦点位置を切り替えるように、各電圧印加装置359,369が印加する電圧を増減する場合を説明する。   For example, in the N-th scan (N is a positive odd number) scan (1, 3, 5, 7,..., The first scan), the characteristic adjustment unit 339 adjusts each liquid lens LL1 so as to correspond to the first switching pattern. , LL2 are switched, and in the (N + 1) th scan (2, 4, 6, 8,..., The second scan), the focus positions of the liquid lenses LL1 and LL2 are switched so as to correspond to the second switching pattern. As described above, the voltage applied by each of the voltage applying devices 359 and 369 is increased or decreased. Alternatively, the characteristic adjustment unit 339 switches the focal positions of the liquid lenses LL1 and LL2 so as to correspond to the second switching pattern in the Nth scan, and corresponds to the first switching pattern in the N + 1th scan. Thus, the voltages applied by the voltage application devices 359 and 369 may be increased or decreased so as to switch the focal positions of the liquid lenses LL1 and LL2. However, in the following, for convenience of explanation, the characteristic adjustment unit 339 switches the focal positions of the liquid lenses LL1 and LL2 so as to correspond to the first switching pattern in the Nth scan, and in the N + 1th scan, A case where the voltages applied by the voltage application devices 359 and 369 are increased or decreased so as to switch the focal positions of the liquid lenses LL1 and LL2 so as to correspond to the second switching pattern will be described.

また、本実施形態では、上記カメラ制御部338は、上記N回目のスキャンと上記N+1回目のスキャンとで、撮像開始タイミングをずらずように、カメラ310を制御する。   In the present embodiment, the camera control unit 338 controls the camera 310 so that the imaging start timing is not shifted between the Nth scan and the N + 1th scan.

画像取得部331は、上記カメラ310から出力された複数の撮像フレームFを取得する。画像取得部331により取得された複数の撮像フレームFは、画像記憶部332に記憶される。   The image acquisition unit 331 acquires a plurality of imaging frames F output from the camera 310. The plurality of imaging frames F acquired by the image acquisition unit 331 are stored in the image storage unit 332.

距離画像生成部333は、上記1回のスキャンごとに、画像記憶部332に記憶された当該スキャンでの複数の撮像フレームFを用いて、三角測量の原理により、カメラ310とワークW等との距離を算出する。具体的には、距離画像生成部333は、当該スキャンでの複数の撮像フレームFのそれぞれにおいて表されている、複数のレーザスリット光Lの投影部位の挙動のうち、ピントが合っている各部分の上記距離を算出する。そして、距離画像生成部333は、全投影領域TT内のワークW等の外観画像の上記ピントが合っていた各部分に、上記算出した距離情報を含ませた、1つの距離画像DP(後述の図10後段及び図11後段参照)を生成する。距離画像生成部333により生成された距離画像DPは、距離画像記憶部334に記憶される。   The distance image generation unit 333 uses the plurality of imaging frames F in the scan stored in the image storage unit 332 for each of the above scans, and uses the triangulation principle to determine whether the camera 310 and the workpiece W or the like. Calculate the distance. Specifically, the distance image generation unit 333 is in each of the portions in focus among the behaviors of the projected portions of the plurality of laser slit lights L represented in each of the plurality of imaging frames F in the scan. The above distance is calculated. Then, the distance image generation unit 333 includes one distance image DP (described later) in which the calculated distance information is included in each portion of the appearance image of the work W or the like in the entire projection area TT that is in focus. (See the latter part of FIG. 10 and the latter part of FIG. 11). The distance image DP generated by the distance image generation unit 333 is stored in the distance image storage unit 334.

図10に、上記N回目のスキャン時に、カメラ310から出力された複数の撮像フレームF、及び、距離画像生成部333により生成された距離画像DPの一例を示す。なお、図10上段及び後述の図11上段中では、説明の便宜上、複数のワークWがストッカ20内に入れられているのではなく、複数(この例では2つ)のワークWが台座21上に載置されている状態でカメラ310により撮像された場合に対応する複数の撮像フレームFを図示している。また、以下では、説明の便宜上、M回目(Mは正の整数)の撮像に対応するM個目の撮像フレームFを「撮像フレームFM」、M+1回目の撮像に対応するM+1個目の撮像フレームFを「撮像フレームFM1」という。   FIG. 10 illustrates an example of the plurality of imaging frames F output from the camera 310 and the distance image DP generated by the distance image generation unit 333 during the Nth scan. In the upper part of FIG. 10 and the upper part of FIG. 11 described later, for convenience of explanation, a plurality of (two in this example) workpieces W are not placed in the stocker 20 but on the base 21. A plurality of imaging frames F corresponding to a case where the imaging is performed by the camera 310 in a state where the camera is mounted on the camera are illustrated. Hereinafter, for convenience of explanation, the M-th imaging frame F corresponding to the M-th imaging (M is a positive integer) is referred to as “imaging frame FM”, and the M + 1-th imaging frame corresponding to the M + 1-th imaging. F is referred to as “imaging frame FM1”.

図10上段に示すように、N回目のスキャン時にカメラ310から出力された複数の撮像フレームFのうち、M個目の撮像フレームFMには、上記各上側位置P1a,P2a内に存在するワークWの上面にピントが合って、当該各上側位置P1a,P2a外に存在するワークWの下面(台座21の上面)にピントが合っていないレーザスリット光Lの投影部位の挙動が表されている。一方、M+1個目の撮像フレームFM1には、上記各下側位置P1b,P2b外に存在するワークWの上面にピントが合っておらず、当該各下側位置P1b,P2b内に存在するワークWの下面(台座21の上面)にピントが合っているレーザスリット光Lの投影部位の挙動が表されている。なお、図10上段及び後述の図11上段中では、ピントが合っているレーザスリット光Lの投影部位の挙動を細線、ピントが合っていないレーザスリット光Lの投影部位の挙動を太線で図示している。また、図10下段に示すように、N回目のスキャン時に上記図10上段に示す複数の撮像フレームFを用いて生成された距離画像DPは、台座21上の2つのワークWの外観画像の上記ピントが合っていた各部分Paに距離情報を含む。   As shown in the upper part of FIG. 10, among the plurality of imaging frames F output from the camera 310 during the N-th scan, the M-th imaging frame FM includes the workpiece W present in each of the upper positions P1a and P2a. The behavior of the projected portion of the laser slit light L that is not in focus on the lower surface of the workpiece W (the upper surface of the pedestal 21) outside the upper positions P1a and P2a is shown. On the other hand, the M + 1-th imaging frame FM1 is not focused on the upper surface of the work W existing outside the lower positions P1b and P2b, and the work W existing in the lower positions P1b and P2b. The behavior of the projected portion of the laser slit light L that is in focus on the lower surface (the upper surface of the pedestal 21) is shown. In the upper part of FIG. 10 and the upper part of FIG. 11 to be described later, the behavior of the projected portion of the laser slit light L that is in focus is indicated by a thin line, and the behavior of the projected portion of the laser slit light L that is not in focus is indicated by a bold line. ing. As shown in the lower part of FIG. 10, the distance image DP generated using the plurality of imaging frames F shown in the upper part of FIG. 10 during the N-th scan is the above-described appearance image of the two workpieces W on the base 21. Each portion Pa in focus includes distance information.

図11に、上記N+1回目のスキャン時に、カメラ310から出力された複数の撮像フレームF、及び、距離画像生成部333により生成された距離画像DPの一例を示す。   FIG. 11 shows an example of the plurality of imaging frames F output from the camera 310 and the distance image DP generated by the distance image generation unit 333 during the N + 1th scan.

図11上段に示すように、N+1回目のスキャン時にカメラ310から出力された複数の撮像フレームFのうち、M個目の撮像フレームFMには、上記各上側位置P1a,P2a内に存在するワークWの上面にピントが合って、当該各上側位置P1a,P2a外に存在するワークWの下面(台座21の上面)にピントが合っていないレーザスリット光Lの投影部位の挙動が表されている。一方、M+1個目の撮像フレームFM1には、上記各下側位置P1b,P2b外に存在するワークWの上面にピントが合っておらず、当該各下側位置P1b,P2b内に存在するワークWの下面(台座21の上面)にピントが合っているレーザスリット光Lの投影部位の挙動が表されている。また、図11下段に示すように、N+1回目のスキャン時に上記図11上段に示す複数の撮像フレームFを用いて生成された距離画像DPは、台座21上の2つのワークWの外観画像の上記ピントが合っていた各部分Pbに距離情報を含む。   As shown in the upper part of FIG. 11, among the plurality of imaging frames F output from the camera 310 during the N + 1th scan, the Mth imaging frame FM includes the workpiece W existing in each of the upper positions P1a and P2a. The behavior of the projected portion of the laser slit light L that is not in focus on the lower surface of the workpiece W (the upper surface of the pedestal 21) outside the upper positions P1a and P2a is shown. On the other hand, the M + 1-th imaging frame FM1 is not focused on the upper surface of the work W existing outside the lower positions P1b and P2b, and the work W existing in the lower positions P1b and P2b. The behavior of the projected portion of the laser slit light L that is in focus on the lower surface (the upper surface of the pedestal 21) is shown. Further, as shown in the lower part of FIG. 11, the distance image DP generated using the plurality of imaging frames F shown in the upper part of FIG. 11 at the time of the (N + 1) th scan is the above-described appearance image of the two workpieces W on the base 21. Each portion Pb in focus includes distance information.

図8に示すように、合成画像生成部336は、各スキャンが終了するごとに、距離画像記憶部334に記憶された時間的に互いに異なる複数回(この例では2回)のスキャンでの複数(この例では2つ)の距離画像DPを合成し、合成画像CP(後述の図12参照)を生成する。合成画像CPは、ストッカ20内の複数のワークWそれぞれの三次元形状を検出するための画像である。具体的には、合成画像生成部336は、各スキャンが終了するごとに、最新のスキャンでの距離画像DPと、その直前のスキャンでの距離画像DPとを合成し、合成画像CPを生成する。すなわち、合成画像生成部336は、最新のスキャンに基づく距離画像DPのうち距離情報を含む部分と、その直前のスキャンに基づく距離画像DPのうち部分とを合成する。これにより、合成画像生成部336は、最新のスキャンに基づく距離画像DPで距離情報を含まない部分を、その直前のスキャンに基づく距離画像DPで距離情報を含む部分で補完する。このようにすることで、合成画像生成部336は、合成画像CPを生成する。合成画像生成部336により生成された合成画像CPは、検出部340へ出力される。   As illustrated in FIG. 8, the composite image generation unit 336 performs a plurality of scans that are stored in the distance image storage unit 334 at different times (in this example, two times) after each scan. The two distance images DP (in this example) are combined to generate a combined image CP (see FIG. 12 described later). The composite image CP is an image for detecting the three-dimensional shape of each of the plurality of workpieces W in the stocker 20. Specifically, the composite image generation unit 336 generates a composite image CP by combining the distance image DP of the latest scan and the distance image DP of the immediately preceding scan every time each scan is completed. . In other words, the composite image generation unit 336 combines the portion including the distance information in the distance image DP based on the latest scan and the portion of the distance image DP based on the immediately preceding scan. As a result, the composite image generation unit 336 supplements a portion that does not include distance information in the distance image DP based on the latest scan with a portion that includes distance information in the distance image DP based on the immediately preceding scan. In this way, the composite image generation unit 336 generates a composite image CP. The composite image CP generated by the composite image generation unit 336 is output to the detection unit 340.

図12に、合成画像生成部336により、上記図10下段及び図11下段に示す距離画像DP,DPが合成されて生成された合成画像CPの一例を示す。   FIG. 12 shows an example of a composite image CP generated by combining the distance images DP and DP shown in the lower part of FIG. 10 and the lower part of FIG.

図12に示すように、上記図10下段及び図11下段に示す距離画像DP,DPが合成されて生成された合成画像CPは、台座21上の2つのワークWの外観画像の上記各部分Pa,Pb(つまり、当該外観画像のほぼ全部)に距離情報を含む。   As shown in FIG. 12, the composite image CP generated by combining the distance images DP and DP shown in the lower part of FIG. 10 and the lower part of FIG. 11 is the part Pa of the appearance image of the two works W on the pedestal 21. , Pb (that is, almost the entire appearance image) includes distance information.

図8に示すように、検出部340は、各スキャンが終了するごとに、合成画像生成部336から出力される合成画像CPを取得する。そして、検出部340は、上記取得した合成画像CPを用いて、ストッカ20内の複数のワークWそれぞれの三次元形状を検出する。検出部340による検出結果を表す検出信号は、上記ロボットコントローラ200へ出力される。   As illustrated in FIG. 8, the detection unit 340 acquires the composite image CP output from the composite image generation unit 336 every time each scan ends. And the detection part 340 detects the three-dimensional shape of each of the some workpiece | work W in the stocker 20 using the said synthesized image CP acquired. A detection signal representing a detection result by the detection unit 340 is output to the robot controller 200.

これにより、ロボットコントローラ200は、検出部340から出力された上記検出信号を取得する。そして、ロボットコントローラ200は、上記取得した検出信号で表される三次元形状情報に基づいて、1つのワークW(例えば最も保持し易いワークW等)を保持して移送するように、上記ロボット100を動作させる。   Thereby, the robot controller 200 acquires the detection signal output from the detection unit 340. Then, the robot controller 200 holds and transfers one workpiece W (for example, the workpiece W that is most easily held) based on the three-dimensional shape information represented by the acquired detection signal. To work.

以上説明したように、本実施形態のセンサユニット300には、カメラ310及びレーザ光源321に設けた各レンズユニット350,360の光学特性を調整可能な特性調整部339が設けられている。特性調整部339は、1回のスキャンの際に、各レンズユニット350,360の光学特性を調整することが可能である。この結果、上記ワークW等の表面の凹凸に対応して上記1回のスキャン中において高速で光学特性を切り替えることができる。したがって、高精度な撮像を行うことができ、ワークWの三次元形状を高精度に検出することができる。   As described above, the sensor unit 300 of the present embodiment is provided with the characteristic adjustment unit 339 that can adjust the optical characteristics of the lens units 350 and 360 provided in the camera 310 and the laser light source 321. The characteristic adjustment unit 339 can adjust the optical characteristics of the lens units 350 and 360 during one scan. As a result, the optical characteristics can be switched at a high speed during the one scan corresponding to the surface irregularities of the workpiece W or the like. Therefore, highly accurate imaging can be performed, and the three-dimensional shape of the workpiece W can be detected with high accuracy.

また、本実施形態では特に、レーザスリット光Lを照射するレーザ光源321が設けられ、レンズユニット360が、レーザ光源321と回転ミラー322との間に液体レンズLL2を有する。これにより、レーザスリット光Lを走査してカメラ310が連続撮像することでワークWの三次元形状を検出する構成において、上記ワークW等の表面の凹凸に対応した高精度な撮像を行うことができる。この結果、ワークWの三次元形状を高精度に検出することができる。   In the present embodiment, in particular, a laser light source 321 that irradiates the laser slit light L is provided, and the lens unit 360 includes a liquid lens LL2 between the laser light source 321 and the rotating mirror 322. Accordingly, in the configuration in which the camera 310 continuously captures images by scanning the laser slit light L and detects the three-dimensional shape of the workpiece W, high-accuracy imaging corresponding to the irregularities on the surface of the workpiece W or the like can be performed. it can. As a result, the three-dimensional shape of the workpiece W can be detected with high accuracy.

また、本実施形態では特に、レーザ光源321とレンズユニット360とが共通の筐体326に収納されてレーザ光源ユニット320Aが形成される。このレーザ光源ユニット320Aを用いることで、レーザ光源321及びレンズユニット360を別々の筐体に収納する場合に比べてセンサユニット300を小型化できる。   In the present embodiment, in particular, the laser light source 321 and the lens unit 360 are housed in a common housing 326 to form the laser light source unit 320A. By using the laser light source unit 320A, the sensor unit 300 can be downsized as compared with the case where the laser light source 321 and the lens unit 360 are housed in separate housings.

また、本実施形態では特に、レーザ光源321から照射されたレーザスリット光Lを受光しワークW等へ向けて反射させる回転ミラー322と、回転ミラー322の回転角度を変化させ上記ワークW等上でのレーザスリット光Lの投影部位を移動させるモータ323とが設けられている。これら回転ミラー322及びモータ323を用いることで、上記ワークW等へ向けて反射させるレーザスリット光Lを走査方向Aに容易に移動させることができる。   Further, in the present embodiment, in particular, the rotating mirror 322 that receives the laser slit light L emitted from the laser light source 321 and reflects it toward the workpiece W, etc., and the rotation angle of the rotating mirror 322 is changed and the workpiece W or the like is changed. And a motor 323 for moving the projected portion of the laser slit light L. By using the rotating mirror 322 and the motor 323, the laser slit light L reflected toward the workpiece W or the like can be easily moved in the scanning direction A.

また、本実施形態では特に、特性調整部339が、液体レンズLL2の位置を動かすことなく当該液体レンズLL2の光学特性を調整可能である。これにより、適宜の駆動機構等によりレンズの位置を変位させる場合と異なり、液体レンズLL2の位置を動かすことなく、上記ワークW等の表面の凹凸に対応した高精度な撮像を行うことができる。また、液体レンズLL2の位置を変位させるための適宜の駆動機構等の設置のためのスペースや費用を削減できるので、センサユニット300を小型化及び低コスト化できる。   In the present embodiment, in particular, the characteristic adjustment unit 339 can adjust the optical characteristic of the liquid lens LL2 without moving the position of the liquid lens LL2. Thereby, unlike the case where the position of the lens is displaced by an appropriate drive mechanism or the like, high-accuracy imaging corresponding to the surface irregularities of the workpiece W or the like can be performed without moving the position of the liquid lens LL2. In addition, since the space and cost for installing an appropriate drive mechanism for displacing the position of the liquid lens LL2 can be reduced, the sensor unit 300 can be reduced in size and cost.

また、本実施形態では特に、レンズユニット360に液体レンズLL2が設けられ、レンズユニット360が、液体レンズLL2の第2の液体366に所望の電圧を印加するための電極367を有し、特性調整部339が、電圧印可装置360が第2の液体366と電極367との間に印加する電圧を増減可能である。これにより、第2の液体366と電極367との間への電圧大小で焦点距離や画角等を応答性よく自在に変えられる液体レンズLL2の性質を利用して、液体レンズLL2の位置を動かすことなく、上記ワークW等の表面の凹凸に対応した高精度な撮像を行うことができる。   In the present embodiment, in particular, the lens unit 360 is provided with the liquid lens LL2, and the lens unit 360 includes an electrode 367 for applying a desired voltage to the second liquid 366 of the liquid lens LL2, and the characteristic adjustment is performed. The unit 339 can increase or decrease the voltage applied by the voltage applying device 360 between the second liquid 366 and the electrode 367. As a result, the position of the liquid lens LL2 is moved by utilizing the property of the liquid lens LL2 that can freely change the focal length, the angle of view, and the like with high and small voltages between the second liquid 366 and the electrode 367. Without any problem, high-accuracy imaging corresponding to the surface irregularities of the workpiece W or the like can be performed.

また、本実施形態では特に、特性調整部339が、液体レンズLL2の焦点位置を、互いに異なる焦点距離を与える複数の位置の間で切り替えるように、電圧印可装置360が第2の液体366と電極367との間に印加する電圧を増減する。これにより、上記ワークW等の表面の凹凸等によりレーザ光源321から上記ワークW等の表面までのレーザスリット光Lの光路長が長くなったり短くなったりする場合であっても、これに対応して上記1回のスキャン中において応答性よく高速で液体レンズLL2の焦点距離を切り替え、高精度な撮像を行うことができる。   In the present embodiment, in particular, the voltage applying device 360 switches the second liquid 366 and the electrode so that the characteristic adjusting unit 339 switches the focal position of the liquid lens LL2 between a plurality of positions giving different focal distances. The voltage applied between 367 is increased or decreased. Accordingly, even when the optical path length of the laser slit light L from the laser light source 321 to the surface of the workpiece W or the like becomes longer or shorter due to unevenness or the like on the surface of the workpiece W or the like, this is handled. Thus, during the one scan, the focal length of the liquid lens LL2 can be switched at high speed with high responsiveness, and highly accurate imaging can be performed.

また、本実施形態では特に、特性調整部339が、液体レンズLL2の焦点位置を、上側位置P2aと下側位置P2bとに、交互に切り替えるように、電圧印可装置360が第2の液体366と電極367との間に印加する電圧を交互に増減する。これにより、レーザ光源321から上記ワークW等の表面までのレーザスリット光Lの光路長が相対的に短くなる上記ワークW等の凸部に投影するときには、液体レンズLL2の焦点位置を上側位置P2aとし、レーザ光源321から上記ワークW等の表面までのレーザスリット光Lの光路長が相対的に長くなる上記ワークW等の凹部に投影するときには、液体レンズLL2の焦点位置を下側位置P2bとすることができる。この結果、確実に高精度な撮像を行うことができる。   In the present embodiment, in particular, the voltage applying device 360 is connected to the second liquid 366 so that the characteristic adjusting unit 339 alternately switches the focal position of the liquid lens LL2 between the upper position P2a and the lower position P2b. The voltage applied between the electrodes 367 is increased or decreased alternately. Accordingly, when the laser slit light L from the laser light source 321 to the surface of the workpiece W or the like is projected onto the convex portion of the workpiece W or the like where the optical path length is relatively short, the focal position of the liquid lens LL2 is set to the upper position P2a. When the laser slit light L is projected from the laser light source 321 to the concave portion of the workpiece W or the like where the optical path length of the laser slit light L from the surface of the workpiece W or the like is relatively long, the focal position of the liquid lens LL2 is can do. As a result, highly accurate imaging can be performed reliably.

また、本実施形態のロボットシステム1では、ロボット100により、ストッカ20内の複数のワークWが順次保持され移送される。本実施形態では、上記複数のワークWの移送の際、ロボットコントローラ200の制御に基づいて、上記のようにしてセンサユニット300により検出された各ワークWの三次元形状に応じて、ロボット100が動作する。これにより、上記複数のワークWの移送を円滑かつ確実に行うことができる。また、前述したようにして各ワークWの三次元形状が高精度に検出されることから、ロボット100による上記複数のワークWの移送を、確実に円滑に行うことができる。また、本実施形態のように、センサユニット300において、特性調整部339が液体レンズLL2の位置を動かすことなく当該液体レンズLL2の光学特性を調整可能である場合、液体レンズLL2の位置を変位させるための適宜の駆動機構等の設置のためのスペースや費用を削減することができるので、センサユニット300を小型化及び低コスト化できる。また、このようにセンサユニット300を小型化できる結果、周囲物との干渉を回避することができる。   In the robot system 1 of the present embodiment, the plurality of workpieces W in the stocker 20 are sequentially held and transferred by the robot 100. In the present embodiment, the robot 100 moves according to the three-dimensional shape of each workpiece W detected by the sensor unit 300 based on the control of the robot controller 200 when transferring the plurality of workpieces W. Operate. Thereby, the said several workpiece | work W can be transferred smoothly and reliably. Further, since the three-dimensional shape of each workpiece W is detected with high accuracy as described above, the plurality of workpieces W can be reliably and smoothly transferred by the robot 100. Further, as in the present embodiment, in the sensor unit 300, when the characteristic adjustment unit 339 can adjust the optical characteristic of the liquid lens LL2 without moving the position of the liquid lens LL2, the position of the liquid lens LL2 is displaced. Therefore, it is possible to reduce the space and cost for installing an appropriate drive mechanism and the like, so that the sensor unit 300 can be reduced in size and cost. In addition, as a result of the downsizing of the sensor unit 300 in this way, interference with surrounding objects can be avoided.

なお、実施の形態は、上記内容に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。   The embodiment is not limited to the above contents, and various modifications can be made without departing from the spirit and technical idea of the embodiment.

すなわち、上記実施形態においては、第2の液体356と電極357との間への印加電圧を増減して液体レンズLL1の焦点距離を調整すると共に、第2の液体366と電極367との間への印加電圧を増減して液体レンズLL2の焦点距離を調整するとき、特性調整部339は、各液体レンズLL1,LL2の焦点位置を、各上側位置P1a,P2aと各下側位置P1b,P2bとに、交互に切り替えるように、上記各印加電圧を交互に増減していた。しかしながら、本開示の実施形態はこれに限定されるものではない。例えば、特性調整部339が、各液体レンズLL1,LL2の焦点位置を、互いに異なる焦点距離を与える3つ以上の位置の間で切り替えるように、上記各印可電圧を増減してもよい。あるいは、特性調整部339が、カメラ310による1つの撮像フレームF(第1撮像フレーム)の撮像時における上記各印加電圧を、当該撮像フレームFよりも1つ前の撮像フレームF(第2撮像フレーム)の撮像結果に基づいて設定してもよい。この場合には、各液体レンズLL1,LL2の焦点距離の微細な調整を精度よく行うことができるので、さらに確実に高精度な撮像を行うことができる。   That is, in the above embodiment, the applied voltage between the second liquid 356 and the electrode 357 is increased or decreased to adjust the focal length of the liquid lens LL1, and between the second liquid 366 and the electrode 367. When adjusting the focal length of the liquid lens LL2 by increasing or decreasing the applied voltage, the characteristic adjustment unit 339 sets the focal positions of the liquid lenses LL1 and LL2 to the upper positions P1a and P2a and the lower positions P1b and P2b. In addition, the applied voltages are increased or decreased alternately so as to be switched alternately. However, embodiments of the present disclosure are not limited to this. For example, the applied voltage may be increased or decreased so that the characteristic adjusting unit 339 switches the focal positions of the liquid lenses LL1 and LL2 between three or more positions that give different focal distances. Alternatively, the characteristic adjustment unit 339 uses the applied voltage at the time of imaging one imaging frame F (first imaging frame) by the camera 310 as the imaging frame F (second imaging frame) immediately before the imaging frame F. ) May be set based on the imaging result. In this case, since the fine adjustment of the focal lengths of the liquid lenses LL1 and LL2 can be performed with high accuracy, highly accurate imaging can be performed more reliably.

また、上記実施形態においては、センサユニット300は、ストッカ20の上方に位置するように、支持部材50により支持されていたが、本開示の実施形態はこれに限定されるものではない。例えば、センサユニット300は、ロボット100の適宜の部位(例えばアーム部102の先端側等)に取り付けられていてもよい。このようにセンサユニット300をロボット100に取り付けた上で用いる場合でも、上述のようにしてセンサユニット300を小型化できる結果、周囲物との干渉を回避することができる。   Moreover, in the said embodiment, although the sensor unit 300 was supported by the support member 50 so that it might be located above the stocker 20, embodiment of this indication is not limited to this. For example, the sensor unit 300 may be attached to an appropriate part of the robot 100 (for example, the distal end side of the arm unit 102). Even when the sensor unit 300 is used after being attached to the robot 100 as described above, the sensor unit 300 can be reduced in size as described above, and interference with surrounding objects can be avoided.

また、上記実施形態においては、各レンズユニット350,360は、レンズとして液体レンズLL1,LL2を備え、特性制御部339は、上記各印可電圧を増減することにより各液体レンズLL1,LL2の屈折力を変化させることで、各レンズの位置を動かすことなく当該各レンズの光学特性を調整していた。しかしながら、本開示の実施形態はこれに限定されるものではない。例えば、レンズユニットが、液体レンズ以外のレンズ(例えば液晶レンズ等の可変焦点レンズ)を備え、特性制御部が、適宜の手法を用いてレンズの屈折力を変化させることで、レンズの位置を動かすことなく当該レンズの光学特性を調整してもよい。あるいは、レンズユニットが、複数のレンズとこれら複数のレンズを駆動する適宜の駆動機構とを備え、特性制御部が、駆動機構を駆動させることにより複数のレンズの位置関係を調整することで、レンズユニットの光学特性を調整してもよい。   In the above embodiment, the lens units 350 and 360 include the liquid lenses LL1 and LL2 as lenses, and the characteristic control unit 339 increases or decreases the applied voltages to increase the refractive power of the liquid lenses LL1 and LL2. By changing, the optical characteristic of each lens is adjusted without moving the position of each lens. However, embodiments of the present disclosure are not limited to this. For example, the lens unit includes a lens other than a liquid lens (for example, a variable focus lens such as a liquid crystal lens), and the characteristic control unit moves the lens position by changing the refractive power of the lens using an appropriate method. The optical characteristics of the lens may be adjusted without any problem. Alternatively, the lens unit includes a plurality of lenses and an appropriate driving mechanism for driving the plurality of lenses, and the characteristic control unit adjusts the positional relationship of the plurality of lenses by driving the driving mechanism. The optical characteristics of the unit may be adjusted.

また、上記実施形態においては、レーザ光源321とレンズユニット360とが共通の筐体326に収納されてレーザ光源ユニット320Aが形成されていたが、本開示の実施形態はこれに限定されるものではない。例えば、レーザ光源321とレンズユニット360とは、別々の筐体に収納されてもよい。   In the above embodiment, the laser light source 321 and the lens unit 360 are housed in the common housing 326 to form the laser light source unit 320A. However, the embodiment of the present disclosure is not limited to this. Absent. For example, the laser light source 321 and the lens unit 360 may be housed in separate housings.

また、上記実施形態においては、光源としてレーザスリット光Lを照射するレーザ光源321を用いていたが、本開示の実施形態はこれに限定されるものではない。例えば、光源としてパターン光等の光を照射する適宜の光源(例えばプロジェクタ等)を用いてもよい。   Moreover, in the said embodiment, although the laser light source 321 which irradiates the laser slit light L as a light source was used, embodiment of this indication is not limited to this. For example, an appropriate light source (such as a projector) that emits light such as pattern light may be used as the light source.

また、上記実施形態においては、レーザ光源321及びカメラ310の両方にレンズユニット350,360を設けていたが、本開示の実施形態はこれに限定されるものではない。例えば、レーザ光源321及びカメラ310のどちらか片方のみに、レンズユニットを設けてもよい。   Moreover, in the said embodiment, although the lens units 350 and 360 were provided in both the laser light source 321 and the camera 310, embodiment of this indication is not limited to this. For example, a lens unit may be provided in only one of the laser light source 321 and the camera 310.

また、上記実施形態においては、モータ323により回転ミラー322を回転させることにより、レーザ光源321から照射されたレーザスリット光LのワークW等への照射部位を移動させていたが、本開示の実施形態はこれに限定されるものではない。例えば、レーザ光源321等の光源から照射される光の向きを変化させたり光源自体を移動させることにより、光源から照射された光のワークW等への照射部位を移動させてもよい。この場合、光源から照射される光の向きを変化させたり当該光源自体を移動させる構成が、走査部に対応する。   In the above embodiment, the irradiation part of the laser slit light L irradiated from the laser light source 321 to the workpiece W or the like is moved by rotating the rotating mirror 322 by the motor 323. The form is not limited to this. For example, by changing the direction of light emitted from a light source such as the laser light source 321, or by moving the light source itself, the irradiation part of the light emitted from the light source to the workpiece W or the like may be moved. In this case, a configuration in which the direction of light emitted from the light source is changed or the light source itself is moved corresponds to the scanning unit.

また、上記実施形態においては、センサユニット300をロボットシステム1に適用していたが、センサユニットはロボットシステム以外にも適用可能である。   Moreover, in the said embodiment, although the sensor unit 300 was applied to the robot system 1, a sensor unit is applicable besides a robot system.

また、図8中に示す矢印は、信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。   Moreover, the arrows shown in FIG. 8 show an example of the signal flow, and do not limit the signal flow direction.

また、以上既に述べた以外にも、上記実施形態等による手法を適宜組み合わせて利用してもよい。   In addition to those already described above, the methods according to the above embodiments may be used in appropriate combination.

その他、一々例示はしないが、上記実施形態等は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。   In addition, although not illustrated one by one, the above-described embodiments and the like are implemented with various modifications within a range not departing from the gist thereof.

1 ロボットシステム
20 ストッカ(容器)
100 ロボット
200 ロボットコントローラ(コントローラ)
300 センサユニット(物体検出装置)
310 カメラ
320 レーザ光源ユニット
321 レーザ光源(光源)
322 回転ミラー
323 モータ(駆動装置)
326 筐体
339 特性調整部
350 レンズユニット
360 レンズユニット
365 第1の液体
366 第2の液体
367 電極
F 撮像フレーム
L レーザスリット光(光、スリット状のレーザ光)
LL2 液体レンズ(レンズ)
W ワーク(物体)
1 Robot system 20 Stocker (container)
100 robot 200 robot controller (controller)
300 Sensor unit (object detection device)
310 camera 320 laser light source unit 321 laser light source (light source)
322 Rotating mirror 323 Motor (drive device)
326 Case 339 Characteristic adjustment unit 350 Lens unit 360 Lens unit 365 First liquid 366 Second liquid 367 Electrode F Imaging frame L Laser slit light (light, slit-shaped laser light)
LL2 liquid lens (lens)
W Work (object)

Claims (11)

検出対象の物体を検出する物体検出装置であって、
光を照射する光源と、
前記光源から照射された前記光の前記物体への投影部位を、所定の走査方向へ移動させる走査部と、
前記走査部が前記物体上での前記光の前記投影部位を移動させる際に、前記移動する投影部位を含む前記物体の外観を所望の間隔で連続撮像するカメラと、
前記光源又は前記カメラに設けたレンズユニットと、
前記カメラが連続撮像を行う際に前記レンズユニットの光学特性を調整可能な特性調整部と、
を有することを特徴とする、物体検出装置。
An object detection device for detecting an object to be detected,
A light source that emits light;
A scanning unit that moves a projection portion of the light emitted from the light source onto the object in a predetermined scanning direction;
When the scanning unit moves the projection part of the light on the object, a camera that continuously images the appearance of the object including the moving projection part at a desired interval;
A lens unit provided in the light source or the camera;
A characteristic adjusting unit capable of adjusting optical characteristics of the lens unit when the camera performs continuous imaging;
An object detection apparatus comprising:
前記光源は、
スリット状のレーザ光を照射するレーザ光源であり、
前記レンズユニットは、
前記レーザ光源と前記走査部との間に設けられたレンズを有する
ことを特徴とする、請求項1記載の物体検出装置。
The light source is
It is a laser light source that irradiates slit-shaped laser light,
The lens unit is
The object detection apparatus according to claim 1, further comprising a lens provided between the laser light source and the scanning unit.
前記レーザ光源と前記レンズユニットとが共通の筐体に収納されてレーザ光源ユニットを形成する
ことを特徴とする、請求項2記載の物体検出装置。
The object detection apparatus according to claim 2, wherein the laser light source and the lens unit are housed in a common housing to form a laser light source unit.
前記走査部は、
前記レーザ光源から照射された前記レーザ光を受光し前記物体へ向けて反射させる回転ミラーと、
前記回転ミラーの回転角度を変化させ前記物体上での前記レーザ光の前記投影部位を移動させる駆動装置と、
を有することを特徴とする、請求項2又は3記載の物体検出装置。
The scanning unit
A rotating mirror that receives the laser light emitted from the laser light source and reflects it toward the object;
A driving device that changes a rotation angle of the rotating mirror to move the projection part of the laser beam on the object;
The object detection device according to claim 2, further comprising:
前記特性調整部は、
前記レンズの位置を動かすことなく前記レンズの光学特性を調整可能に構成されている
ことを特徴とする、請求項4記載の物体検出装置。
The characteristic adjusting unit is
The object detection device according to claim 4, wherein optical characteristics of the lens can be adjusted without moving the position of the lens.
前記レンズは、
封入された液体により構成された液体レンズであり、
前記レンズユニットは、
前記液体レンズの前記液体に所望の電圧を印加するための電極を有し、
前記特性調整部は、
前記電極に印加する電圧を増減可能に構成されている
ことを特徴とする、請求項5記載の物体検出装置。
The lens is
A liquid lens composed of an encapsulated liquid;
The lens unit is
An electrode for applying a desired voltage to the liquid of the liquid lens;
The characteristic adjusting unit is
The object detection apparatus according to claim 5, wherein the voltage applied to the electrode can be increased or decreased.
前記特性調整部は、
前記液体レンズの焦点位置を、互いに異なる焦点距離を与える複数の位置の間で切り替えるように、前記電極に印加する電圧を増減する
ことを特徴とする、請求項6記載の物体検出装置。
The characteristic adjusting unit is
The object detection apparatus according to claim 6, wherein the voltage applied to the electrode is increased or decreased so that the focal position of the liquid lens is switched between a plurality of positions giving different focal lengths.
前記特性調整部は、
前記液体レンズの焦点位置を、第1焦点距離を与える第1位置と、第1焦点距離より長い第2焦点距離を与える第2位置とに、交互に切り替えるように、前記電極に印加する電圧を交互に増減する
ことを特徴とする、請求項7記載の物体検出装置。
The characteristic adjusting unit is
The voltage applied to the electrodes is switched so that the focal position of the liquid lens is switched alternately between a first position that provides a first focal length and a second position that provides a second focal length longer than the first focal length. The object detection apparatus according to claim 7, wherein the object detection apparatus increases or decreases alternately.
前記特性調整部は、
前記カメラによる第1撮像フレームの撮像時における前記電極への印加電圧を、前記第1撮像フレームより1つ前の撮像フレームである第2撮像フレームの撮像結果に基づいて設定する
ことを特徴とする、請求項6記載の物体検出装置。
The characteristic adjusting unit is
A voltage applied to the electrode when the first imaging frame is imaged by the camera is set based on an imaging result of a second imaging frame that is an imaging frame immediately before the first imaging frame. The object detection device according to claim 6.
複数の前記物体が入った容器と、
前記容器内の前記複数の物体を順次保持して移送するロボットと、
請求項1乃至9のいずれか1項に記載の物体検出装置と、
前記物体検出装置により検出された前記容器内の前記複数の物体それぞれの三次元形状に基づいて前記ロボットを動作させるコントローラと、
を有することを特徴とする、ロボットシステム。
A container containing a plurality of the objects;
A robot for sequentially holding and transferring the plurality of objects in the container;
The object detection device according to any one of claims 1 to 9,
A controller for operating the robot based on a three-dimensional shape of each of the plurality of objects in the container detected by the object detection device;
A robot system comprising:
前記物体検出装置は、
前記ロボットに取り付けられている
ことを特徴とする、請求項10記載のロボットシステム。
The object detection device includes:
The robot system according to claim 10, wherein the robot system is attached to the robot.
JP2013030144A 2013-02-19 2013-02-19 Object detector and robot system Pending JP2014159989A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013030144A JP2014159989A (en) 2013-02-19 2013-02-19 Object detector and robot system
CN201310740927.4A CN103994728A (en) 2013-02-19 2013-12-26 Object detector and robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013030144A JP2014159989A (en) 2013-02-19 2013-02-19 Object detector and robot system

Publications (1)

Publication Number Publication Date
JP2014159989A true JP2014159989A (en) 2014-09-04

Family

ID=51308962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013030144A Pending JP2014159989A (en) 2013-02-19 2013-02-19 Object detector and robot system

Country Status (2)

Country Link
JP (1) JP2014159989A (en)
CN (1) CN103994728A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056087A1 (en) * 2014-10-08 2016-04-14 富士機械製造株式会社 Image acquisition device and robot device
JP2020076680A (en) * 2018-11-09 2020-05-21 株式会社キーエンス Displacement measuring device
CN112518126A (en) * 2020-12-14 2021-03-19 航天智造(上海)科技有限责任公司 Intelligent welding system based on large depth of field laser profiler
JPWO2020084850A1 (en) * 2018-10-23 2021-09-16 パナソニックIpマネジメント株式会社 Light detection system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108253229B (en) * 2017-12-29 2020-04-24 深圳市越疆科技有限公司 Control method and device for safe operation of mechanical structure and terminal equipment
JP7045194B2 (en) * 2018-01-11 2022-03-31 株式会社ミツトヨ Lens measuring device and lens measuring method
JP7077807B2 (en) * 2018-06-12 2022-05-31 オムロン株式会社 Image inspection system and its control method
JP7135495B2 (en) * 2018-06-26 2022-09-13 セイコーエプソン株式会社 3D measuring device, control device and robot system
DE102020112352A1 (en) * 2019-05-30 2020-12-03 Panasonic I-Pro Sensing Solutions Co., Ltd. Camera and robot system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002357408A (en) * 2001-03-25 2002-12-13 Omron Corp Optical measuring device
JP2010043954A (en) * 2008-08-12 2010-02-25 Tokyo Seimitsu Co Ltd Dimension measuring apparatus
JP2010164595A (en) * 2010-05-07 2010-07-29 Shin Gijutsu Consul:Kk Three-dimensional object image scanner
JP2010197112A (en) * 2009-02-24 2010-09-09 Keyence Corp Optical type displacement meter
JP2012093104A (en) * 2010-10-25 2012-05-17 Yaskawa Electric Corp Shape measuring device, robot system, and shape measuring method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101144913A (en) * 2007-10-16 2008-03-19 东南大学 Three-dimensional stereo display
JP5593750B2 (en) * 2010-03-12 2014-09-24 オムロン株式会社 Image processing method and image processing apparatus
CN102466825A (en) * 2010-11-16 2012-05-23 中国科学院兰州化学物理研究所 Electrowetting zoom lens based on ion liquid
CN102096126A (en) * 2011-01-07 2011-06-15 南京邮电大学 Ion liquid-based microfluidic varifocus lens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002357408A (en) * 2001-03-25 2002-12-13 Omron Corp Optical measuring device
JP2010043954A (en) * 2008-08-12 2010-02-25 Tokyo Seimitsu Co Ltd Dimension measuring apparatus
JP2010197112A (en) * 2009-02-24 2010-09-09 Keyence Corp Optical type displacement meter
JP2010164595A (en) * 2010-05-07 2010-07-29 Shin Gijutsu Consul:Kk Three-dimensional object image scanner
JP2012093104A (en) * 2010-10-25 2012-05-17 Yaskawa Electric Corp Shape measuring device, robot system, and shape measuring method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056087A1 (en) * 2014-10-08 2016-04-14 富士機械製造株式会社 Image acquisition device and robot device
JPWO2020084850A1 (en) * 2018-10-23 2021-09-16 パナソニックIpマネジメント株式会社 Light detection system
JP7445872B2 (en) 2018-10-23 2024-03-08 パナソニックIpマネジメント株式会社 light detection system
JP7499445B2 (en) 2018-10-23 2024-06-14 パナソニックIpマネジメント株式会社 Optical Detection System
JP2020076680A (en) * 2018-11-09 2020-05-21 株式会社キーエンス Displacement measuring device
JP7219060B2 (en) 2018-11-09 2023-02-07 株式会社キーエンス Displacement measuring device
CN112518126A (en) * 2020-12-14 2021-03-19 航天智造(上海)科技有限责任公司 Intelligent welding system based on large depth of field laser profiler

Also Published As

Publication number Publication date
CN103994728A (en) 2014-08-20

Similar Documents

Publication Publication Date Title
JP2014159989A (en) Object detector and robot system
JP5267722B2 (en) Laser radar equipment
JP5135672B2 (en) Laser irradiation state detection method and laser irradiation state detection system
US8452449B2 (en) Position control method and robot
JP5944876B2 (en) Distance measuring device using laser light
JP4970211B2 (en) 3D shape measuring instrument
US20120218464A1 (en) Method and system for structured light 3D camera
US11312029B2 (en) Three-dimensional measuring apparatus, robot, and robot system
CN104061878A (en) Shape Measuring Apparatus
US9964757B2 (en) Laser scanning microscope apparatus and control method
JP2020001109A (en) Robot control device and robot system
JP2016035403A (en) Laser ranging device
JP2015152612A5 (en)
KR101823671B1 (en) Laser type 3D scanner and method for fast scanning thereof
KR20180092738A (en) Apparatus and method for obtaining depth information using digital micro-mirror device
JP7310218B2 (en) Three-dimensional measuring method, three-dimensional measuring device and robot system
JP2927179B2 (en) 3D shape input device
JP2009508289A (en) Carrier platform with 5 degrees of freedom
JP4753657B2 (en) Surface shape measuring apparatus and surface shape measuring method
JP7318190B2 (en) Shape measuring device, shape measuring method and shape measuring program
JP2020159732A (en) Three-dimensional measurement method, three-dimensional measurement device, and robot system
JP2020159731A (en) Three-dimensional measurement method, three-dimensional measurement device, and robot system
JP7268553B2 (en) Rocking angle control method, three-dimensional measuring device and robot system
JP2020196116A (en) Camera and robot system
JP2021033190A (en) Optical scanner, optical measuring device, and robot

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141225