JP2018014362A - Manufacturing device for electronic apparatus and cable shape estimation program - Google Patents
Manufacturing device for electronic apparatus and cable shape estimation program Download PDFInfo
- Publication number
- JP2018014362A JP2018014362A JP2016141642A JP2016141642A JP2018014362A JP 2018014362 A JP2018014362 A JP 2018014362A JP 2016141642 A JP2016141642 A JP 2016141642A JP 2016141642 A JP2016141642 A JP 2016141642A JP 2018014362 A JP2018014362 A JP 2018014362A
- Authority
- JP
- Japan
- Prior art keywords
- cable
- data
- cross
- point
- shape data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Automatic Assembly (AREA)
- Manipulator (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、電子機器の製造装置、及びケーブル形状推定プログラムに関する。 The present invention relates to an electronic device manufacturing apparatus and a cable shape estimation program.
情報処理装置などの電子機器は、ハードディスク装置、メモリ、CPU、電源装置等の多数の部品と、部品を収容する筐体とを有し、筐体内には配線用のケーブルが設けられている。 An electronic apparatus such as an information processing apparatus has a large number of components such as a hard disk device, a memory, a CPU, and a power supply device, and a housing for housing the components, and a wiring cable is provided in the housing.
電子機器を製造する際には、ケーブルを所定位置(例えば筐体の壁部近傍)に這わせるなどして、ケーブルが邪魔にならないようにする必要がある。この作業は、ケーブルフォーミングと呼ばれている。ケーブルフォーミングをロボットを用いて行う場合、ロボットが把持すべきケーブルの位置や姿勢を正確に把握する必要がある。 When manufacturing an electronic device, it is necessary to prevent the cable from getting in the way, for example, by turning the cable to a predetermined position (for example, near the wall of the housing). This operation is called cable forming. When cable forming is performed using a robot, it is necessary to accurately grasp the position and posture of the cable to be gripped by the robot.
なお、従来、柔軟で長尺な部材の形状を記述する3Dデータを得るための技術や、ロボットによるワークの搬送に関する技術が知られている(例えば、特許文献1,2等参照)。また、三次元形状の測定に関する技術も知られている(例えば、特許文献3〜5等参照)。
Conventionally, a technique for obtaining 3D data describing the shape of a flexible and long member and a technique related to the transfer of a workpiece by a robot are known (see, for example,
ケーブルを撮像した画像からケーブルの形状認識を行う場合、ケーブルは不定形であるため、直線や円弧等を用いたマッチング処理を行うことが難しい。このため、従来は、ケーブルの端部からケーブルと背景との境目であるエッジを抽出し、追跡する処理により、ケーブルの形状を認識する方法が採用されている。 When the shape of the cable is recognized from an image obtained by capturing the cable, since the cable is indefinite, it is difficult to perform a matching process using a straight line, an arc, or the like. For this reason, conventionally, a method of recognizing the shape of the cable by extracting and tracking an edge that is a boundary between the cable and the background from the end portion of the cable is employed.
しかしながら、形状認識対象のケーブルの上に別のケーブルが交差している場合や、形状認識対象のケーブルが輪を形成し、一部が交差した状態になっている場合には、交差部分でケーブルを正確に追跡できず、ケーブルの形状を誤認識するおそれがある。また、誤認識が発生した場合、ロボットを用いたケーブルフォーミングに失敗する可能性が高くなる。 However, if another cable crosses the shape recognition target cable, or if the shape recognition target cable forms a ring and partly intersects, the cable at the intersection Cannot be tracked accurately, and the shape of the cable may be erroneously recognized. Further, when erroneous recognition occurs, there is a high possibility that cable forming using a robot will fail.
1つの側面では、本発明は、ケーブルを予め定めた状態に遷移させる作業を正確に行うことが可能な電子機器の製造装置、及びケーブル形状を精度よく推定することが可能なケーブル形状推定プログラムを提供することを目的とする。 In one aspect, the present invention provides an electronic device manufacturing apparatus capable of accurately performing an operation of shifting a cable to a predetermined state, and a cable shape estimation program capable of accurately estimating a cable shape. The purpose is to provide.
一つの態様では、電子機器の製造装置は、電子機器の部品の一部にケーブルが接続された状態で、前記ケーブルを撮影した画像データから、2次元面内の格子点に対応する前記ケーブルの表面上の点の3次元位置データを取得する取得部と、前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成する設定部と、前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する処理部と、前記処理部の生成結果に基づいて把持装置に前記ケーブルを把持させ、前記把持装置を移動させて前記ケーブルを移動させる制御部と、を備え、前記処理部は、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、該特徴点と前記延伸方向を破棄し、前記空間データを破棄されていない最新の延伸方向に沿って所定距離移動する、電子機器の製造装置である。 In one aspect, the manufacturing apparatus of an electronic device has the cable corresponding to the lattice points in a two-dimensional plane from image data obtained by photographing the cable in a state where the cable is connected to a part of the component of the electronic device. An acquisition unit that acquires three-dimensional position data of a point on the surface; a setting unit that generates spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable; and the existing in the spatial data Generates the cross-sectional shape data of the cable from the point where the three-dimensional position data is acquired, specifies the extending direction of the cable based on the cross-sectional shape data, and specifies the feature point satisfying a predetermined condition in the cross-sectional shape data The spatial data is moved based on the specified feature points and the extending direction, the process is repeatedly executed, and the shape data of the cable is determined from the processing result. A control unit that causes the gripping device to grip the cable based on a generation result of the processing unit, and moves the gripping device to move the cable. When the bending radius of the cable calculated based on the feature point of the cross-sectional shape data is less than a predetermined threshold, the feature point and the extension direction are discarded, and the spatial data is not discarded. An electronic device manufacturing apparatus that moves a predetermined distance along a stretching direction.
一つの側面として、ケーブルを予め定めた状態に遷移させる作業を正確に行うことができる。 As one aspect, it is possible to accurately perform the operation of transitioning the cable to a predetermined state.
以下、電子機器の製造装置の一実施形態について、図1〜図22に基づいて詳細に説明する。 Hereinafter, an embodiment of an electronic device manufacturing apparatus will be described in detail with reference to FIGS.
本実施形態に係る電子機器の製造装置100は、図1に示すように、把持装置としてのロボット10と、3Dカメラ12と、ケーブル認識装置14と、制御部としてのロボットコントローラ16と、を備えている。
As shown in FIG. 1, the electronic
ロボット10は、一例として、ケーブル44の一端及び他端に設けられているコネクタ46A,46Bをプリント基板42に設けられたコネクタに接続するとともに、ケーブルフォーミングを実行するロボットである。ケーブルフォーミングは、ケーブル44を予め定められた状態に遷移させる配線作業を意味する。本実施形態では、ケーブルフォーミングは、図7(c)に示すように、プリント基板42の外周の一部に沿ってケーブル44を這わせる作業であるものとする。なお、ケーブル44は、太さが一定で断面円形の柔軟な紐状部材であり、形状が不定で随時3次元的に変形する。なお、ケーブル44が延びる方向(延伸方向)には連続性がある(曲げには一定の曲率がある)。
As an example, the
3Dカメラ12は、例えば、3D点群カメラや3Dスキャナ等であり、ケーブル44近傍の3D画像を撮影する。3Dカメラ12が撮影した3D画像は、ケーブル認識装置14に送信される。
The
ケーブル認識装置14は、3Dカメラ12が撮影した3D画像から3D点群データを取得し、3D点群データに基づいてケーブルフォーミング対象のケーブル44の状態を認識し、認識結果をロボットコントローラ16に出力する。この場合、ケーブル認識装置14は、ケーブル44の一端(コネクタ46A近傍)からケーブル44の追跡処理を行い、一端から所定長さの箇所の姿勢や存在位置(XYZ座標)を認識する。
The
ロボットコントローラ16は、ロボット10を制御して、プリント基板42へのケーブル44の組み付け(接続)作業を実行する。また、ロボットコントローラ16は、ケーブル認識装置14の認識結果に基づいてロボット10を制御し、ケーブル44を予め定めた状態(図7(c)の状態)に遷移させるケーブルフォーミングを実行する。
The
ここで、ケーブル認識装置14について、詳細に説明する。図2(a)には、ケーブル認識装置14のハードウェア構成が示されている。図2(a)に示すように、ケーブル認識装置14は、CPU(Central Processing Unit)90、ROM(Read Only Memory)92、RAM(Random Access Memory)94、記憶部(ここではHDD(Hard Disk Drive))96、ネットワークインタフェース97、及び可搬型記憶媒体用ドライブ99等を備えている。これらケーブル認識装置14の構成各部は、バス98に接続されている。ケーブル認識装置14では、ROM92あるいはHDD96に格納されているプログラム(ケーブル形状推定プログラムを含む)、或いは可搬型記憶媒体用ドライブ99が可搬型記憶媒体91から読み取ったプログラム(ケーブル形状推定プログラムを含む)をCPU90が実行することにより、図2(b)に示す各部の機能が実現されている。
Here, the
図2(b)には、ケーブル認識装置14の機能ブロック図が示されている。ケーブル認識装置14は、CPU90がプログラムを実行することにより、図2(b)に示す、取得部としてのケーブル3Dデータ取得部20、特定部としてのケーブル端点延伸方向計測部22、設定部としてのサーチボリューム設定部24、ケーブル断面・延伸方向算出部26、着目点更新部28、ケーブル形状推定部30、及び通信部32、として機能する。
FIG. 2B shows a functional block diagram of the
ケーブル3Dデータ取得部20は、3Dカメラ12によって撮影された画像データ(3D画像)を取得する。なお、3D画像は、少なくともケーブルフォーミング対象(追跡対象)のケーブル44全体を撮影したものである。また、ケーブル3Dデータ取得部20は、取得した3D画像から、2次元面内の格子点に対応するケーブル44の表面上の点の3次元位置データ(「3D点群データ」と呼ぶ)を取得する。図3には、3D画像の一例が示されている。図3に示す格子点は、3Dカメラ12のピクセルに対応する点である。ケーブル3Dデータ取得部20は、図3に示すように、3Dカメラ12のピクセルに対応する2次元面(XY面)内の格子点ごとにケーブル44表面の高さ位置(Z座標)を取得し、格子点それぞれのXY座標及び取得したZ座標を含む3次元データを3D点群データとする。
The cable 3D
図15(a)には、3D点群データの一例(ケーブル44付近を拡大した画像)が示されており、図15(b)には、図15(a)の一部を切り出し、視線を変えてケーブル44の断面を垂直に見た状態が示されている。図15(b)において点線にて示すように、3D点群データにはケーブル44の断面上半分(円弧状部分)のデータが含まれていることが明らかである。
FIG. 15A shows an example of 3D point cloud data (an image obtained by enlarging the vicinity of the cable 44), and FIG. 15B shows a part of FIG. In other words, a state where the cross section of the
図2(b)に戻り、ケーブル端点延伸方向計測部22は、3D画像データからケーブル44の一端近傍の点を着目点とし、該着目点においてケーブル44が延びる方向(延伸方向)を特定する。なお、「着目点」とは、ケーブル44の形状探索の基準となる点である。ケーブル端点延伸方向計測部22は、予め用意してあるコネクタ46Aの3D CADモデルを用いたモデルマッチングにより、3D画像からコネクタ46Aの位置、姿勢を特定する。そして、ケーブル端点延伸方向計測部22は、コネクタ46Aの位置、姿勢から定まるケーブルの所定位置(例えば、図4(a)に示すようなケーブル44とコネクタ46Aの境目部分のうち最も高い位置)を着目点とする。また、ケーブル端点延伸方向計測部22は、コネクタ46Aの姿勢に基づいて、着目点におけるケーブル44の延伸方向を特定する。ここで、着目点と延伸方向とにより規定される所定長さのベクトルを主軸ベクトル(図4(a)参照)と呼ぶものとする。
Returning to FIG. 2B, the cable end point extension
サーチボリューム設定部24は、ケーブル44の断面形状を推定するために着目すべき範囲として、サーチボリュームを生成(設定)する。サーチボリュームは、着目点を内部に含み、ケーブル44の延伸方向に所定幅を有する直方体状の空間データである。具体的には、サーチボリュームは、図4(b)において点線で示すような一辺がbの正方形の面を有する所定幅aの空間である。ここで、サーチボリュームの所定幅a(図4(b)参照)は、例えば、カメラの1ピクセルの寸法(図3の格子点間距離)の1.5倍程度であり、正方形の面の一辺の寸法bは、ケーブル44の直径に所定値αを加算した程度の寸法であるものとする。
The search
ケーブル断面・延伸方向算出部26は、サーチボリューム内に存在する3D点群データからケーブル44の断面形状データを生成し、該断面形状データに基づいて、ケーブル44の延伸方向を新たに算出する(図4(c)参照)。また、ケーブル44の特徴点(サーチボリューム内に存在する3D点群データのうち最も高い位置にある点)を特定する。ケーブル断面・延伸方向算出部26は、算出した延伸方向と特定した特徴点の情報(主軸ベクトルの情報)をデータ格納部36に格納する。また、ケーブル断面・延伸方向算出部26は、ケーブルフォーミング対象のケーブル(追跡しているケーブル)44の上に別のケーブル又は追跡しているケーブル44自身が交差しているか否かを判定する。そして、交差していると判定した場合には、ケーブル断面・延伸方向算出部26は、サーチボリューム設定部24と協働して、交差による影響を受けないように処理を実行する。
The cable cross section / extension
着目点更新部28は、ケーブル断面・延伸方向算出部26が算出した新たな延伸方向と特徴点とに基づいて、図4(c)に示すような新たな着目点を設定する(着目点を更新する)。 The point-of-interest update unit 28 sets a new point of interest as shown in FIG. 4C based on the new extension direction and feature points calculated by the cable cross-section / extension direction calculation unit 26 (the point of interest is changed). Update).
ケーブル形状推定部30は、サーチボリューム設定部24、ケーブル断面・延伸方向算出部26、着目点更新部28が処理を繰り返し実行した結果に基づいて、ケーブル44の形状データを生成(推定)する。すなわち、ケーブル形状推定部30は、図5に示すようにケーブル44の延伸方向に沿って順次設定されるサーチボリュームを用いて順次算出された、ケーブル44の主軸ベクトルの情報をデータ格納部36から取得する。そして、ケーブル形状推定部30は、取得した情報に基づいて、ケーブル44の端部から所定長さm(図7(a)参照)よりも離れた箇所を特定する。更にケーブル形状推定部30は、特定した箇所が存在する位置(XYZ座標)と当該箇所におけるケーブル44の姿勢、すなわちロボット10がケーブルフォーミングにおいて把持すべきケーブル44の位置及び姿勢を推定する。
The cable
通信部32は、ケーブル形状推定部30の推定結果に基づく指示をロボットコントローラ16に送信する。ロボットコントローラ16は、ロボット10を制御してロボット10にケーブル44を把持させ、ケーブル44を把持したロボット10を移動させることで、ケーブル44を予め定めた状態に遷移させる(ケーブルフォーミングを実行する)。
The
(電子機器の製造装置100の処理)
次に、本実施形態の電子機器の製造装置100が実行する処理について、詳細に説明する。
(Processing of electronic device manufacturing apparatus 100)
Next, processing executed by the electronic
図6には、電子機器の製造装置100により実行される一連の処理がフローチャートにて示されている。以下、図6に基づいて、電子機器の製造装置100の処理の概要について説明する。
FIG. 6 is a flowchart showing a series of processes executed by the electronic
図6の処理では、まず、ステップS10において、ロボットコントローラ16が、予め定められた手順でロボット10を駆動し、ケーブル44の両端のコネクタ46A,46Bをプリント基板42上のコネクタに挿入する。これにより、プリント基板42にケーブル44が接続される。なお、ケーブル44をプリント基板42に接続する作業は、ケーブルフォーミングを実行するロボットとは別のロボットが実行してもよいし、人(作業者)が実行してもよい。図7(a)には、ケーブル44がプリント基板42に接続された状態が示されている。
In the process of FIG. 6, first, in step S <b> 10, the
次いで、ステップS14では、ケーブル認識装置14が、ケーブルの認識処理を実行する。ケーブルの認識処理は、図8のフローチャートに沿って実行されるが、詳細については後述する。
Next, in step S14, the
次いで、ステップS16では、ケーブル認識装置14が、ケーブル44の一端から所定長さ(m)の箇所の位置、姿勢の情報(具体的には、図7(a)に示すベクトルV(n)の情報)を取得する。ケーブル認識装置14は、取得したケーブル44の位置、姿勢の情報をロボットコントローラ16に送信する。
Next, in step S16, the
次いで、ステップS18では、ロボットコントローラ16が、ケーブル認識装置14から受信した情報に基づいて、ケーブル44の一端から所定長さ(m)の箇所にロボット10のハンドを移動する。次いで、ステップS20では、ロボットコントローラ16は、ロボット10のハンドでケーブル44を把持する。図7(b)には、ロボット10のハンドがケーブル44を把持した状態が示されている。なお、ロボットコントローラ16は、ケーブル44を把持する際に、ロボット10のハンドがベクトルV(n)に略直交する方向に開くようにロボット10の姿勢を制御する。
Next, in step S <b> 18, the
次いで、ステップS22では、ロボットコントローラ16は、ロボット10を図7(c)に示す位置まで駆動し、ケーブル44をプリント基板42の角部に引っ掛ける。
Next, in step S <b> 22, the
次いで、ステップS24では、ロボットコントローラ16はロボット10を制御して、ケーブル44の把持を解除し、ロボット10をプリント基板42上から退避させる。
Next, in step S <b> 24, the
以上により、電子機器の製造装置100による一連の処理が終了する。
Thus, a series of processes by the electronic
(ステップS14の処理について)
次に、ステップS14の処理(ケーブルの認識処理)について、図8、図9、図16のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。
(About processing of step S14)
Next, the process of step S14 (cable recognition process) will be described in detail along the flowcharts of FIGS. 8, 9, and 16 with reference to other drawings as appropriate.
図8の処理では、まず、ステップS30において、ケーブル端点延伸方向計測部22が、3Dカメラ12から3D画像を取得し、形状を推定するケーブル(追跡対象のケーブル)の一端に設けられたコネクタ46Aの3D姿勢を計測する。この場合、予め用意してあるコネクタ46Aの3D CADモデルを用いたモデルマッチングにより、コネクタ46Aの位置、姿勢を特定する。
In the process of FIG. 8, first, in step S30, the cable end extension
次いで、ステップS32では、ケーブル端点延伸方向計測部22が、ケーブル端の主軸ベクトルを取得する。具体的には、ケーブル端点延伸方向計測部22は、図4(a)に示すようなケーブル44とコネクタ46Aの境目部分のうち最も高い位置を着目点とし、コネクタ46Aの姿勢と、部品の設計情報からケーブル44の延伸方向を特定し、着目点と延伸方向とにより規定されるベクトルをケーブル端の主軸ベクトルとする。なお、ケーブル端点延伸方向計測部22は、例えば、コネクタ46Aの特定の辺が延びる方向をケーブル44の延伸方向として特定することができる。
Next, in step S <b> 32, the cable end point extension
次いで、ステップS34では、ケーブル3Dデータ取得部20が、3Dカメラ12から3D点群データを取得する。
Next, in step S <b> 34, the cable 3D
次いで、ステップS36では、サーチボリューム設定部24が、ケーブル端の主軸ベクトルを用いてサーチボリュームを設定する。サーチボリューム設定部24は、図10(a)に示すように、ケーブル端(着目点)を含み、主軸ベクトルの方向に所定幅aを有する直方体状のサーチボリュームを設定する。なお、図10(a)において、白丸は3D点群データを示している。
Next, in step S36, the search
次いで、ステップS38では、ケーブル断面・延伸方向算出部26が、カウンタiを0に設定する。
Next, in step S38, the cable cross section / extension
次いで、ステップS40では、ケーブル断面・延伸方向算出部26が、断面探索処理を実行する。ステップS40においては、図9のフローチャートに沿った処理が実行される。
Next, in step S40, the cable cross-section / extension
図9の処理では、ケーブル断面・延伸方向算出部26は、まずステップS70において、3D点群データからサーチボリューム内の点を抽出する。図10(a)の例では、図10(b)に示すように、サーチボリューム内に含まれる黒丸で示す3D点群データが抽出されたものとする。
In the process of FIG. 9, the cable cross section / extension
次いで、ステップS72では、ケーブル断面・延伸方向算出部26が、図10(c)において一点鎖線で示すように、抽出した点を用いて楕円フィッティングし、ケーブルの断面形状データ(楕円形状データ)を得る。図11(a)には、ケーブル44の3D画像の例が示されている。例えば、ステップS70において抽出された点が、黒丸で示されているとする。この場合、抽出された点を含む断面(A−A線断面であり、YZ断面)は、ケーブル44の垂直断面(B−B線断面)からずれているため、図11(b)に示すように、楕円形となる。一方、垂直断面は、図11(c)に示すように、真円となる。
Next, in step S72, the cable cross-section / stretch
次いで、ステップS74では、ケーブル断面・延伸方向算出部26が、抽出した点のうち最も高い位置にある点を特徴点P(i)(ここではP(0))として抽出する。図10(d)においては、特徴点P(0)が黒丸にて示されている。
Next, in step S74, the cable cross-section / extension
次いで、ステップS76では、ケーブル断面・延伸方向算出部26が、取得した楕円形状データの歪からケーブル44の垂直断面を計算する。次いで、ステップS78では、ケーブル断面・延伸方向算出部26が、ケーブル44の垂直断面の法線ベクトルを主軸ベクトルV(i)(ここではV(0))とする。これらステップS76、S78では、ケーブル断面・延伸方向算出部26は、ステップS72で取得した楕円形状データの長軸、短軸の比及び長軸、短軸の方向から楕円面の法線ベクトルと、垂直断面(真円面)との差(図11(a)の角度θ)を算出する。そして、ケーブル断面・延伸方向算出部26は、格子方向(図11(a)ではX方向)に延びるベクトルを差(θ)の分だけずらしたベクトルを主軸ベクトルV(i)とする。なお、ケーブル断面・延伸方向算出部26は、ステップS74で抽出した特徴点とステップS78で抽出した主軸ベクトルの情報をデータ格納部36に格納する。ステップS78の後は、図8のステップS46に移行する。
Next, in step S76, the cable cross section / extension
ステップS46に移行すると、着目点更新部28が、iを1インクリメントする(i=i+1)。 In step S46, the point-of-interest update unit 28 increments i by 1 (i = i + 1).
次いで、ステップS48では、着目点更新部28が、主軸ベクトルV(i−1)(ここでは、V(0))を中心とする小型サーチボリュームを設定する。小型サーチボリュームは、図12(a)に示すように、特徴点P(0)から延びる主軸ベクトルV(0)を中心軸とする断面正方形(又は長方形)の直方体状の空間であるものとする。なお、小型サーチボリュームは、例えば円柱状の空間データであってもよい。 Next, in step S48, the point-of-interest update unit 28 sets a small search volume centered on the principal axis vector V (i-1) (here, V (0)). As shown in FIG. 12A, the small search volume is assumed to be a rectangular parallelepiped space having a square section (or rectangle) with the main axis vector V (0) extending from the feature point P (0) as the central axis. . The small search volume may be cylindrical space data, for example.
次いで、ステップS50では、着目点更新部28が、小型サーチボリュームに含まれる点(新たな着目点)を探索する。ここでは、図12(b)において黒丸で示す点が新たな着目点として探索されたものとする。なお、小型サーチボリュームの大きさとしては、複数の点が含まれないような大きさとすることが好ましい。ただし、これに限らず、小型サーチボリュームに複数の点が含まれる場合には、例えば、複数の点のうち特徴点P(i)に最も近い点を探索し、新たな着目点とすればよい。 Next, in step S50, the target point update unit 28 searches for a point (new target point) included in the small search volume. Here, it is assumed that a point indicated by a black circle in FIG. 12B is searched as a new point of interest. The size of the small search volume is preferably set so as not to include a plurality of points. However, the present invention is not limited thereto, and when a plurality of points are included in the small search volume, for example, a point closest to the feature point P (i) among the plurality of points may be searched for as a new point of interest. .
次いで、ステップS52では、サーチボリューム設定部24が、探索された着目点を含み、主軸ベクトルV(i−1)(ここでは、V(0))の方向に所定幅を有するサーチボリュームを設定する。図12(b)には、新たに設定されたサーチボリュームが示されている。
Next, in step S52, the search
次いで、ステップS54では、ケーブル断面・延伸方向算出部26が、断面探索処理(図9)を実行する。なお、断面探索処理については、前述したのと同様の手順で実行される。したがって、断面探索処理により、図12(c)において黒丸で示すようにサーチボリューム内の点が抽出され、特徴点P(i)と、主軸ベクトルV(i)が取得される。なお、ステップS50において探索された着目点(図12(b)の黒丸の点)と特徴点P(i)とは、同一の場合もあれば、異なる場合もある。図13(a)には、楕円形状データに基づいて、黒丸で示す特徴点P(i)(=P(1))が取得された状態が示されており、図13(b)には、楕円形状データに基づいて、主軸ベクトルV(i)(=V(1))が取得された状態が示されている。
Next, in step S54, the cable cross-section / extension
次いで、図8のステップS55では、ケーブル断面・延伸方向算出部26が、現在の特徴点(P(i))の前に2つの特徴点が得られているか否かを判断する。このステップS55の判断が否定された場合、すなわち、i<2の場合には、後述するステップS56において算出する必要のあるケーブルの曲げ半径を算出できず、ケーブルの交差の有無を判定できないため、ケーブル断面・延伸方向算出部26は、ステップS56をスキップして、ステップS57に移行する。
Next, in step S55 of FIG. 8, the cable cross-section / extension
ステップS57に移行すると、ケーブル形状推定部30は、1つ前の特徴点P(i−1)と今回の特徴点P(i)のケーブル差分長D(i)を算出する。この場合、特徴点P(i−1)のXYZ座標を(x(i-1),y(i-1),z(i-1))、特徴点P(i)のXYZ座標を(x(i),y(i),z(i))とすると、次式(1)を用いて、D(i)を算出することができる。
D(i)={(x(i-1)−x(i))2+(y(i-1)−y(i))2+(z(i-1)−z(i))2}1/2 …(1)
In step S57, the cable
D (i) = {(x (i−1) −x (i)) 2 + (y (i−1) −y (i)) 2 + (z (i−1) −z (i)) 2 } 1/2 (1)
なお、図14には、ケーブル差分長D(i)が模式的に(平面的に)示されている。 In FIG. 14, the cable differential length D (i) is schematically (planarly) shown.
次いで、ステップS58では、ケーブル形状推定部30が、ケーブル端(特徴点P(0))からi番目の特徴点(P(i))までのケーブル差分長の総和を求め、L(i)とする。すなわち、ケーブル形状推定部30は、D(1)、D(2)、…、D(i)の和を求め、L(i)とする。
Next, in step S58, the cable
次いで、ステップS60では、ケーブル形状推定部30が、長さL(i)の値が長さmの値より大きいか否かを判断する。ここで、長さmとは、図7(a)に示すように、プリント基板42の一辺(図7(a)では短辺)の長さであるものとする。すなわち、ステップS60では、図7(c)に示すように、ケーブルフォーミングの際にプリント基板42の角部に位置する箇所までケーブル44の形状を追跡できたか否かを判断しているといえる。ステップS60の判断が否定された場合には、ケーブル形状推定部30は、ステップS46に戻り、ステップS46〜S60の処理・判断を繰り返し実行する。
Next, in step S60, the cable
(ステップS56の処理について)
次に、ステップS55の判断が肯定された場合に実行されるステップS56の処理について、図16のフローチャートに沿って詳細に説明する。このステップS56においては、ケーブル断面・延伸方向算出部26及びサーチボリューム設定部24が、ケーブル交差認識処理を実行する。本処理においては、追跡しているケーブルの曲げ半径を算出した結果に基づいてケーブルが交差しているか否かを判定し、交差している場合に当該交差を考慮した処理を実行する。
(About processing of step S56)
Next, the process of step S56 executed when the determination of step S55 is affirmed will be described in detail along the flowchart of FIG. In step S56, the cable cross section / extension
図16の処理では、まず、ステップS102において、ケーブル断面・延伸方向算出部26は、現在の特徴点P(i)及び直前2つの特徴点P(i−1)、P(i−2)の3点から曲げ半径rを計算する。この場合、図17に示すように、3つの特徴点P(i)〜P(i−2)の座標から、円の方程式を求め、求めた方程式が示す円の半径を曲げ半径rとする。
In the process of FIG. 16, first, in step S102, the cable cross-section / extension
次いで、ステップS104では、ケーブル断面・延伸方向算出部26は、曲げ半径rがケーブルの最小曲げ半径R以上(r≧R)か否かを判断する。ステップS104の判断が肯定される場合とは、ケーブルが交差している可能性が低いことを意味する。この場合、図16の処理を終了し、図8のステップS57に移行する。
Next, in step S104, the cable cross-section / extension
一方、ステップS104の判断が否定された場合、すなわち、曲げ半径rが最小曲げ半径R未満であった場合には、ケーブル断面・延伸方向算出部26は、ステップS106に移行する。ステップS106に移行する場合とは、図18(a)に示すように追跡しているケーブル(形状推定を行っているケーブル)の上にケーブルが交差している可能性が高いことを意味している。ケーブルが交差している場合、図18(b)において実線矢印で示す正しい追跡方向に沿ってケーブルを追跡すべき(サーチボリュームを移動させるべき)ところ、誤った追跡方向(破線矢印方向)に沿ってケーブルを追跡するおそれがある。したがって、本実施形態では、ケーブルが交差している場合には、正しくケーブルを追跡するために、図16のステップS106〜S110の処理を実行することとしている。
On the other hand, if the determination in step S104 is negative, that is, if the bending radius r is less than the minimum bending radius R, the cable cross-section / extension
ステップS106に移行すると、ケーブル断面・延伸方向算出部26は、最新の主軸ベクトルを破棄し(データ格納部36に格納せず)、1つ前の主軸ベクトルを最新の主軸ベクトルとする。すなわち、ケーブル断面・延伸方向算出部26は、最新の主軸ベクトルを、直前に得られた主軸ベクトルV(i)では更新しないこととする。
In step S106, the cable cross-section / extension
次いで、ステップS108では、ケーブル断面・延伸方向算出部26が、ステップS104の判断が連続して否定されているか否かを判断する。このステップS108の判断が否定された場合には、ステップS110に移行するが、肯定された場合には、図16の処理を終了し、図8のステップS57に移行する。
Next, in step S108, the cable cross-section / extension
ステップS108の判断が否定され、ステップS110に移行すると、サーチボリューム設定部24は、ケーブル断面・延伸方向算出部26の指示の下、サーチボリュームを所定距離だけ最新の主軸ベクトルの方向にスキップする。なお、所定距離の具体例については、後述する。
If the determination in step S108 is negative and the process proceeds to step S110, the search
ここで、図19、図20に基づいて、図16の処理について具体的に説明する。なお、図19、図20においては、説明の簡素化のため、追跡しているケーブルの延伸方向がY軸方向と一致した状態が示されている。 Here, the processing of FIG. 16 will be described in detail with reference to FIGS. 19 and 20 show a state in which the extension direction of the cable being tracked coincides with the Y-axis direction for simplification of description.
例えば、図19において、(1)で示す位置にサーチボリュームがある場合(S52)、サーチボリューム内の3D点群データの全てが、追跡しているケーブル上の点のデータである。したがって、この場合には、図20(a)において破線で示すような、追跡しているケーブルの形状を反映した楕円形状データが得られる(S72)。この場合の主軸ベクトルは、図19、図20(a)に示すように、特徴点P(s)を基点とする主軸ベクトルV(s)となる(S74〜S78)。ケーブル断面・延伸方向算出部26は、取得した主軸ベクトルのデータ(特徴点のデータを含む)をデータ格納部36に格納する。
For example, in FIG. 19, when there is a search volume at the position indicated by (1) (S52), all of the 3D point cloud data in the search volume is point data on the cable being tracked. Therefore, in this case, elliptical shape data reflecting the shape of the cable being tracked as shown by a broken line in FIG. 20A is obtained (S72). As shown in FIGS. 19 and 20A, the main axis vector in this case is a main axis vector V (s) having the feature point P (s) as a base point (S74 to S78). The cable cross-section / stretch
次いで、図19において(2)で示す位置にサーチボリュームが移動した場合(S52)、サーチボリューム内の3D点群データには、追跡しているケーブル上の点のデータ(●)と、交差しているケーブル上の点のデータ(△)が含まれている。この場合、3D点群データを楕円フィッティングすると図20(b)において破線で示すような、追跡しているケーブルの形状を反映していない楕円形状データが得られ(S72)、特徴点P(s+1)を基点とする主軸ベクトルV(s+1)が得られる(S74〜S78)。ただし、この場合には、主軸ベクトルV(s+1)の方向がV(s)と比べて極端に異なっており、曲げ半径rが最小曲げ半径R未満になる(S104:否定)ので、主軸ベクトルV(s+1)及び特徴点P(s+1)を破棄して(データ格納部36に格納せず)、V(s)を最新の主軸ベクトルのままとする(S106)。また、サーチボリュームについては、主軸ベクトルV(s)の方向に沿って所定距離だけスキップさせ、図19において(3)で示す位置に移動させる(S110)。 Next, when the search volume is moved to the position indicated by (2) in FIG. 19 (S52), the 3D point cloud data in the search volume intersects with the data (●) of the point on the cable being tracked. The data (△) of the points on the cable is included. In this case, when the 3D point cloud data is elliptically fitted, elliptical shape data that does not reflect the shape of the cable being tracked is obtained as shown by a broken line in FIG. 20B (S72), and the feature point P (s + 1) is obtained. ) As a base point is obtained (S74 to S78). However, in this case, the direction of the principal axis vector V (s + 1) is extremely different from V (s), and the bending radius r is less than the minimum bending radius R (S104: negative). (S + 1) and the feature point P (s + 1) are discarded (not stored in the data storage unit 36), and V (s) remains as the latest spindle vector (S106). Further, the search volume is skipped by a predetermined distance along the direction of the principal axis vector V (s) and moved to the position indicated by (3) in FIG. 19 (S110).
次いで、図19において(3)で示す位置にサーチボリュームが移動した場合、サーチボリューム内の3D点群データには、追跡しているケーブル上の点のデータ(●)と、交差しているケーブル上の点のデータ(△)が含まれている。この場合、3D点群データを楕円フィッティングすると図20(c)において破線で示すような、追跡しているケーブルの形状を反映していない楕円形状データが得られ、特徴点P(s+2)を基点とする主軸ベクトルV(s+2)が得られる。ただし、この場合には、主軸ベクトルV(s+2)の方向がV(s)と比べて極端に異なっており、曲げ半径rが最小曲げ半径R未満になる(S104:否定)ので、主軸ベクトルV(s+2)及び特徴点P(s+2)は破棄して(データ格納部36に格納せず)、V(s)を最新の主軸ベクトルのままとする(S106)。なお、この段階では、ステップS104の判断が連続して否定されているため、サーチボリュームは所定距離スキップさせずに、図8のステップS57に移行する。 Next, when the search volume is moved to the position indicated by (3) in FIG. 19, the 3D point cloud data in the search volume includes the data of the point on the cable being traced (●) and the intersecting cable. Data for the upper point (Δ) is included. In this case, when the 3D point group data is elliptically fitted, elliptical shape data that does not reflect the shape of the cable being tracked is obtained, as indicated by the broken line in FIG. 20C, and the feature point P (s + 2) is used as the base point. A principal axis vector V (s + 2) is obtained. However, in this case, the direction of the principal axis vector V (s + 2) is extremely different from that of V (s), and the bending radius r is less than the minimum bending radius R (S104: negative). (S + 2) and the feature point P (s + 2) are discarded (not stored in the data storage unit 36), and V (s) remains as the latest spindle vector (S106). At this stage, since the determination in step S104 is continuously denied, the search volume does not skip a predetermined distance and proceeds to step S57 in FIG.
次いで、図19において(4)で示す位置にサーチボリュームが移動した場合(S52)、サーチボリューム内の3D点群データのすべてが、追跡しているケーブル上の点のデータであるので、図20(d)において破線で示すような追跡しているケーブルの形状を反映した楕円形状データが得られる(S72)。この場合、特徴点P(s+3)を基点とする主軸ベクトルV(s+3)が得られる。ここで、主軸ベクトルV(s+3)の方向は、V(s)と近似し、曲げ半径rが最小曲げ半径R以上になる(S104:肯定)ので、最新の主軸ベクトルを主軸ベクトルV(s+3)で更新する(データ格納部36に格納する)。 Next, when the search volume is moved to the position indicated by (4) in FIG. 19 (S52), all of the 3D point cloud data in the search volume is the data of the points on the cable being tracked. Ellipse shape data reflecting the shape of the cable being tracked as shown by the broken line in (d) is obtained (S72). In this case, a principal axis vector V (s + 3) having the feature point P (s + 3) as a base point is obtained. Here, the direction of the principal axis vector V (s + 3) approximates to V (s), and the bending radius r becomes equal to or larger than the minimum bending radius R (S104: affirmative), so that the latest principal axis vector is the principal axis vector V (s + 3). (The data is stored in the data storage unit 36).
なお、図19のようなサーチボリュームのスキップが行われた場合、図8のステップS57においては、ケーブル形状推定部30は、特徴点P(s+3)とデータ格納部36に格納されている直前の特徴点P(s)との差分長を算出するものとする。
If the search volume is skipped as shown in FIG. 19, the cable
ここで、ステップS110においてサーチボリュームをスキップさせる距離(所定距離)の一例について、図21、図22に基づいて説明する。 Here, an example of the distance (predetermined distance) at which the search volume is skipped in step S110 will be described with reference to FIGS.
図21に示すようにケーブルが交差した場合において、Y軸方向に関して重なる幅が最小となるのは、ケーブルが直交するときである。また、そのときの幅は、交差しているケーブル(上側に位置するケーブル)の横幅(ケーブルの断面が円形であれば直径)Qと同値である。したがって、ケーブル断面・延伸方向算出部26は、サーチボリュームをスキップさせる所定距離をQとする。これにより、ケーブルの形状推定精度を維持しつつ、処理量(サーチボリュームを用いた処理の回数)を削減することが可能となる。なお、交差しているケーブルは、近傍に位置する他のケーブルの場合もあれば、追跡しているケーブル自身である場合もある。このように交差する可能性のあるケーブルが複数存在する場合には、複数のケーブルの直径のうち最も小さい値だけサーチボリュームをスキップさせるようにすればよい。
When the cables cross as shown in FIG. 21, the overlapping width in the Y-axis direction is minimized when the cables are orthogonal. Further, the width at that time is equal to the lateral width Q (the diameter if the cross section of the cable is circular) Q of the intersecting cables (the cables located on the upper side). Therefore, the cable cross section / extension
なお、サーチボリュームをスキップする方法としては、図22に示すような方法を採用してもよい。すなわち、ケーブル断面・延伸方向算出部26は、まず、図22(a)に示すように、最新の主軸ベクトルの方向に延びるエッジ抽出領域を現在のサーチボリュームの近傍に設定する。そして、ケーブル断面・延伸方向算出部26は、画像データのエッジ抽出領域内において、交差しているケーブルのエッジ候補を抽出する。ここで、エッジ候補とは、ケーブルと背景との境目部分と推定される箇所を意味し、画像データの明度の変化や色彩の変化等に基づいて推定することができる。次いで、ケーブル断面・延伸方向算出部26は、エッジ候補のうち、交差しているケーブルの横幅(直径)Qだけ離れた平行なエッジ候補を、2本のエッジとして抽出する。図22(b)には、抽出された2本のエッジが太線にて示されている。次いで、ケーブル断面・延伸方向算出部26は、サーチボリューム設定部24を介して、最新の主軸ベクトルと、現在のサーチボリュームから遠い側のエッジとが交差する点まで、サーチボリュームをスキップする。このようにサーチボリュームをスキップすることで、図21の場合と同様、ケーブルの形状推定精度を維持しつつ、処理量(サーチボリュームを用いた処理の回数)を削減することができる。
As a method for skipping the search volume, a method as shown in FIG. 22 may be employed. That is, the cable cross section / extension
図8に戻り、ステップS46〜S60の処理・判断が繰り返し実行され、ステップS60の判断が肯定された場合、すなわち、ケーブル44の一端から長さmよりも離れた箇所までケーブル44を追跡できた場合には、ステップS62に移行する。なお、ここでは、一例として、L(i)がmを超えた段階のiの値がnであったとする。ステップS62では、通信部32は、ケーブル形状推定部30の指示の下、主軸ベクトルV(i)(ここではV(n))をロボットコントローラ16に送信する。なお、主軸ベクトルV(n)のデータには、特徴点P(n)の座標値も含まれている。
Returning to FIG. 8, when the processes and determinations in steps S46 to S60 are repeatedly performed and the determination in step S60 is affirmative, that is, the
以上により、ステップS14のケーブルの認識処理が終了する。 Thus, the cable recognition process in step S14 is completed.
なお、主軸ベクトルV(n)のデータを取得したロボットコントローラ16は図6のステップS16以降の処理を実行する。これにより、ロボット10は、正確に推定されたケーブルの位置、姿勢に基づいて、ケーブル44を図7(c)の状態に遷移させる処理(ケーブルフォーミング)を正確に行うことができる。
Note that the
なお、上記実施形態では、サーチボリューム設定部24、ケーブル断面・延伸方向算出部26、着目点更新部28、ケーブル形状推定部30を含んで、ケーブルの形状データを生成する処理部としての機能が実現されている。
In the above embodiment, the search
以上、詳細に説明したように、本実施形態によると、ケーブル3Dデータ取得部20が、ケーブル44を撮影した3D画像から、ケーブル44の表面上の点の3D点群データを取得し、サーチボリューム設定部24が、3D画像からケーブル44の一端近傍において、サーチボリュームを設定(生成)する。また、ケーブル形状推定部30は、ケーブル断面・延伸方向算出部26の処理(主軸ベクトルの更新処理)と、サーチボリューム設定部24の処理(サーチボリュームを移動する処理)との繰り返し結果に基づいてケーブル44の形状データを生成(形状を推定)する。この場合、ケーブル断面・延伸方向算出部26は、特徴点に基づいてケーブルの曲げ半径rを算出し、該曲げ半径rが所定の閾値(最小曲げ半径R)未満の場合には、最新の主軸ベクトルを更新せず、サーチボリューム設定部24を介して、サーチボリュームを最新の主軸ベクトルの方向に所定距離だけスキップする。このように、ケーブルの曲げ半径rが最小曲げ半径R未満の場合に、最新の主軸ベクトルを更新しないこととしているので、ケーブルが交差する場合でも、追跡しているケーブルを正確に追跡し、形状を推定することができる。また、サーチボリュームをスキップすることにより、ケーブルを追跡する際の処理量(サーチボリュームを用いた楕円フィッティングの回数)を低減することができる。また、本実施形態では、3D点群データを用いた楕円フィッティングを行うことで、ケーブル44のエッジ部分を用いずにケーブル44の形状を一端近傍から延伸方向に沿って追跡することができる。したがって、ノイズ等の影響を受けずに、精度よくケーブル44の形状を特定することが可能となる。更に、精度よく特定された形状を用いることで、ケーブルフォーミングを正確に行うことができる。
As described above in detail, according to the present embodiment, the cable 3D
また、本実施形態では、サーチボリュームをスキップさせる距離を、交差しているケーブルの直径Qと同一の距離としている。これにより、ケーブルの形状推定精度を落とさずに、処理量を低減することが可能となっている。 In this embodiment, the distance for skipping the search volume is the same distance as the diameter Q of the intersecting cables. As a result, the processing amount can be reduced without reducing the accuracy of cable shape estimation.
また、本実施形態では、ケーブル44の一端にコネクタ46Aが設けられ、ケーブル端点延伸方向計測部22は、3D画像から特定されるコネクタ46Aの位置及び姿勢に基づいて、ケーブルの一端近傍の着目点と延伸方向とを特定する。このように、定型の物体であるコネクタ46Aの位置及び姿勢を用いることで、不定形のケーブル44の一端近傍の着目点と延伸方向とを精度よく特定することができる。
In the present embodiment, a
また、本実施形態では、ケーブル形状推定部30は、ケーブル44の一端から所定長さ(m)を超える箇所の姿勢及や位置を推定する。これにより、ケーブルフォーミングに必要な情報を推定することができる。
In the present embodiment, the cable
また、本実施形態では、着目点更新部28は、着目点を更新する際に、図12(a)に示すような小型サーチボリュームを用いる。これにより、主軸ベクトルが通る点や主軸ベクトルとの距離が最短である点などを新たな着目点とするような場合と比べ、簡易な処理で新たな着目点を設定することができる。 In the present embodiment, the point-of-interest update unit 28 uses a small search volume as shown in FIG. 12A when updating the point of interest. As a result, a new point of interest can be set with a simple process compared to a case where a point through which the main axis vector passes or a point having the shortest distance from the main axis vector is used as a new point of interest.
なお、上記実施形態では、3Dカメラ12を用いる場合について説明したが、これに限らず、2次元画像を撮影可能なカメラを用いることとしてもよい。この場合、2次元画像の色の濃淡や輝度等に基づいて、格子点に対応するケーブル表面の点の高さ位置を検出することで、3D点群データを生成することとしてもよい。
In the above-described embodiment, the case where the
なお、上記実施形態では、ケーブル44の両端にコネクタ46A,46Bが設けられている場合について説明したが、これに限られるものではない。すなわち、ケーブル44の両端は、プリント基板42等にはんだ付け等されてもよい。この場合、ケーブル44の端部がプリント基板42の面に対してほぼ垂直に接続される場合には、図8のステップS32において、ケーブル端点延伸方向計測部22は、ケーブル端の特徴点の延伸方向をプリント基板42の法線方向に設定してもよい。
In the above embodiment, the case where the
なお、上記実施形態では、図20に示すように、サーチボリューム内の3D点群データの全てを用いて楕円フィッティングを行う場合について説明したが、これに限られるものではない。例えば、図23、図24に示すような方法で楕円フィッティングを行うこととしてもよい。 In the above embodiment, as shown in FIG. 20, the case where the elliptical fitting is performed using all of the 3D point cloud data in the search volume has been described, but the present invention is not limited to this. For example, ellipse fitting may be performed by a method as shown in FIGS.
図23には、サーチボリューム(1)〜(5)が示され、図24(a)〜(e)には、サーチボリューム(1)〜(5)に対応する楕円フィッティングの例が示されている。 FIG. 23 shows search volumes (1) to (5), and FIGS. 24 (a) to (e) show examples of elliptic fittings corresponding to search volumes (1) to (5). Yes.
図23において、(1)で示す位置にサーチボリュームがある場合、サーチボリューム内の3D点群データは、追跡しているケーブル上の点のデータであるので、図24(a)において破線で示すような楕円形状データが得られる。この場合の主軸ベクトルは、図24(a)においてV(s)で示されている。次いで、図23において(2)で示す位置にサーチボリュームが移動した場合、サーチボリューム内の3D点群データには、追跡しているケーブル上の点のデータ(●)と、交差しているケーブル上の点のデータ(△)が含まれている。この場合、楕円フィッティングの際にノイズ除去処理等を行うことにより、図24(b)に示すように、追跡しているケーブル断面の楕円フィッティングと交差しているケーブル断面の楕円フィッティングとを行うことができる。図24(b)においては、2つの楕円の特徴点のうち、ケーブル曲げ半径が大きくなる特徴点を有する方の楕円の主軸ベクトルV(s+1)を最新の主軸ベクトルとし、それ以外の主軸ベクトルV(k+1)は破棄する。 In FIG. 23, when there is a search volume at the position indicated by (1), the 3D point cloud data in the search volume is data of the point on the cable being tracked. Such elliptical shape data is obtained. The principal axis vector in this case is indicated by V (s) in FIG. Next, when the search volume is moved to the position indicated by (2) in FIG. 23, the 3D point cloud data in the search volume includes the data of the point on the cable being traced (●) and the intersecting cable. Data for the upper point (Δ) is included. In this case, by performing noise removal processing or the like at the time of ellipse fitting, as shown in FIG. 24B, the elliptical fitting of the tracked cable cross section and the elliptical fitting of the crossing cable section are performed. Can do. In FIG. 24 (b), the principal axis vector V (s + 1) of the ellipse having the characteristic point that increases the cable bending radius among the feature points of the two ellipses is set as the latest principal axis vector, and the other principal axis vector V is obtained. (K + 1) is discarded.
次いで、図23において(3)で示す位置にサーチボリュームが移動した場合、サーチボリューム内の3D点群データには、交差しているケーブル上の点のデータ(△)のみが含まれている。この場合、3D点群データを楕円フィッティングすると図24(c)において破線で示すような楕円形状データが得られ、主軸ベクトルV(k+2)が得られる。ただし、この場合には、主軸ベクトルV(k+2)の方向が最新の主軸ベクトルV(s+1)と比べて極端に異なっており、曲げ半径rが最小曲げ半径R未満になる(S104:否定)ので、主軸ベクトルV(k+2)は破棄して、V(s+1)を最新の主軸ベクトルとする(S106)。また、サーチボリュームについては、主軸ベクトルV(s+1)の方向に沿って所定距離だけスキップさせ、図23において(4)で示す位置に移動させる(S110)。 Next, when the search volume is moved to the position indicated by (3) in FIG. 23, the 3D point group data in the search volume includes only the data (Δ) of the points on the intersecting cables. In this case, when the 3D point group data is elliptically fitted, elliptical shape data as indicated by a broken line in FIG. 24C is obtained, and a principal axis vector V (k + 2) is obtained. However, in this case, the direction of the principal axis vector V (k + 2) is extremely different from the latest principal axis vector V (s + 1), and the bending radius r is less than the minimum bending radius R (S104: No). The spindle vector V (k + 2) is discarded, and V (s + 1) is set as the latest spindle vector (S106). Further, the search volume is skipped by a predetermined distance along the direction of the principal axis vector V (s + 1) and moved to the position indicated by (4) in FIG. 23 (S110).
次いで、図23において(4)で示す位置にサーチボリュームが移動した場合、サーチボリューム内の3D点群データには、追跡しているケーブル上の点のデータ(●)と、交差しているケーブル上の点のデータ(△)が含まれている。この場合、楕円フィッティングの際にノイズ除去処理等を行うことにより、図24(d)に示すように、追跡しているケーブル断面の楕円フィッティングと交差しているケーブル断面の楕円フィッティングとを行うことができる。図24(d)においては、2つの楕円の特徴点のうち、ケーブル曲げ半径が大きくなる特徴点を有する方の楕円の主軸ベクトルV(s+3)を最新の主軸ベクトルとし、それ以外の主軸ベクトルV(k+3)は破棄する。 Next, when the search volume is moved to the position indicated by (4) in FIG. 23, the 3D point cloud data in the search volume includes the data of the point on the cable being traced (●) and the intersecting cable. Data for the upper point (Δ) is included. In this case, by performing noise removal processing or the like at the time of elliptical fitting, as shown in FIG. 24 (d), the elliptical fitting of the tracked cable cross section and the elliptical fitting of the crossing cable section are performed. Can do. In FIG. 24 (d), the principal axis vector V (s + 3) of the ellipse having the characteristic point that increases the cable bending radius among the feature points of the two ellipses is set as the latest principal axis vector, and the other principal axis vector V is obtained. Discard (k + 3).
次いで、図23において(5)で示す位置にサーチボリュームが移動した場合、サーチボリューム内の3D点群データは、追跡しているケーブル上の点のデータであるので、図24(e)において破線で示すような楕円形状データが得られる。この場合の主軸ベクトルは、図24(a)においてV(s+4)で示されている。この場合、主軸ベクトルV(s+4)の方向がV(s+3)と近似し、曲げ半径rが最小曲げ半径R以上になる(S104:肯定)ので、主軸ベクトルV(s+4)を最新の主軸ベクトルとする。 Next, when the search volume is moved to the position indicated by (5) in FIG. 23, since the 3D point cloud data in the search volume is data of the point on the cable being tracked, the broken line in FIG. Ellipse shape data as shown in FIG. The principal axis vector in this case is indicated by V (s + 4) in FIG. In this case, the direction of the principal axis vector V (s + 4) approximates to V (s + 3), and the bending radius r becomes equal to or greater than the minimum bending radius R (S104: affirmative). To do.
以上のようなノイズ除去処理等を用いた楕円フィッティングを行うこととしても、上記実施形態と同様、ケーブルが交差している場合に、正確にケーブルを追跡することができる。 Even when performing elliptic fitting using the above-described noise removal processing or the like, the cables can be accurately traced when the cables cross each other as in the above-described embodiment.
なお、上記実施形態では、特徴点を楕円の最高点とする場合について説明したが、これに限らず、特徴点は、その他の所定条件を満たす点(例えば楕円の中心点など)であってもよい。 In the above embodiment, the case where the feature point is the highest point of the ellipse has been described. However, the present invention is not limited to this, and the feature point may be a point that satisfies other predetermined conditions (for example, the center point of the ellipse). Good.
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。 The above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the processing apparatus should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium (except for a carrier wave).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.
なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
(付記1) 電子機器の部品の一部にケーブルが接続された状態で、前記ケーブルを撮影した画像データから、2次元面内の格子点に対応する前記ケーブルの表面上の点の3次元位置データを取得する取得部と、
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成する設定部と、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する処理部と、
前記処理部の生成結果に基づいて把持装置に前記ケーブルを把持させ、前記把持装置を移動させて前記ケーブルを移動させる制御部と、
を備え、
前記処理部は、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、該特徴点と前記延伸方向を前記形状データの生成に使用せず、前記空間データを破棄されていない最新の延伸方向に沿って所定距離移動する、
ことを特徴とする電子機器の製造装置。
(付記2) 前記ケーブルは垂直断面の形状が円形であり、
前記所定距離は、前記垂直断面の直径と同一の距離であることを特徴とする付記1に記載の電子機器の製造装置。
(付記3) 前記処理部は、前記曲げ半径が所定の閾値未満の場合に、前記画像データから前記ケーブルと交差するケーブルのエッジ部分を特定し、特定した前記エッジ部分に基づく距離だけ前記空間データを移動する、ことを特徴とする付記1に記載の電子機器の製造装置。
(付記4) 前記処理部は、
前記曲げ半径が所定の閾値以上であった場合に特定された特徴点を記憶部に記憶しておき、
前記記憶部に記憶されている特徴点のうち、直前に記憶された2以上の特徴点と、新たに特定された前記特徴点とに基づいて前記ケーブルの曲げ半径を算出する、ことを特徴とする付記1〜3のいずれかに記載の電子機器の製造装置。
(付記5) 電子機器の部品の一部にケーブルが接続された状態で、前記ケーブルを撮影した画像データから、2次元面内の格子点に対応する前記ケーブルの表面上の点の3次元位置データを取得する取得部と、
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成する設定部と、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する処理部と、
前記処理部の生成結果に基づいて把持装置に前記ケーブルを把持させ、前記把持装置を移動させて前記ケーブルを移動させる制御部と、
を備え、
前記処理部は、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、前記特徴点と前記延伸方向とを前記形状データの生成に使用しない、
ことを特徴とする電子機器の製造装置。
(付記6) 前記処理部は、
前記曲げ半径が所定の閾値以上であった場合に特定された特徴点を記憶部に記憶しておき、
前記記憶部に記憶されている特徴点のうち、直前に記憶された2以上の特徴点と、新たに特定された前記特徴点とに基づいて前記ケーブルの曲げ半径を算出する、ことを特徴とする付記5に記載の電子機器の製造装置。
(付記7) ケーブルを撮影した画像データから、2次元面内の格子点に対応する前記ケーブルの表面上の点の3次元位置データを取得し、
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成し、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する、
処理をコンピュータに実行させ、
前記ケーブルの形状データを生成する処理では、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、該特徴点と前記延伸方向を前記形状データの生成に使用せず、前記空間データを破棄されていない最新の延伸方向に沿って所定距離移動する、
ことを特徴とするケーブル形状推定プログラム。
(付記8) 前記ケーブルは垂直断面の形状が円形であり、
前記所定距離は、前記垂直断面の直径と同一の距離であることを特徴とする付記7に記載のケーブル形状推定プログラム。
(付記9) 前記ケーブルの形状データを生成する処理において、前記曲げ半径が所定の閾値未満の場合に、前記画像データから前記ケーブルと交差するケーブルのエッジ部分を特定し、特定した前記エッジ部分に基づく距離だけ前記空間データを移動する、ことを特徴とする付記7に記載のケーブル形状推定プログラム。
(付記10) 前記ケーブルの形状データを生成する処理において、
前記曲げ半径が所定の閾値以上であった場合に特定された特徴点を記憶部に記憶しておき、
前記記憶部に記憶されている特徴点のうち、直前に記憶された2以上の特徴点と、新たに特定された前記特徴点とに基づいて前記ケーブルの曲げ半径を算出する、ことを特徴とする付記7〜9のいずれかに記載のケーブル形状推定プログラム。
(付記11) ケーブルを撮影した画像データから、2次元面内の格子点に対応する前記ケーブルの表面上の点の3次元位置データを取得し、
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成し、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する、
処理をコンピュータに実行させ、
前記ケーブルの形状データを生成する処理では、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、前記特徴点と前記延伸方向とを前記形状データの生成に使用しない、
ことを特徴とするケーブル形状推定プログラム。
In addition, the following additional remarks are disclosed regarding description of the above embodiment.
(Additional remark 1) The three-dimensional position of the point on the surface of the said cable corresponding to the lattice point in a two-dimensional surface from the image data which image | photographed the said cable in the state in which the cable was connected to some components of an electronic device An acquisition unit for acquiring data;
A setting unit that generates spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable;
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data A processing unit that identifies a feature point that satisfies a predetermined condition, moves the spatial data based on the identified feature point and the extension direction, repeatedly executes a process, and generates the shape data of the cable from the processing result; ,
A control unit for causing the gripping device to grip the cable based on the generation result of the processing unit, and moving the gripping device to move the cable;
With
The processing unit uses the feature point and the extending direction to generate the shape data when the bending radius of the cable calculated based on the feature point of the specified cross-sectional shape data is less than a predetermined threshold. Without moving the space data a predetermined distance along the latest stretching direction that has not been discarded,
An electronic apparatus manufacturing apparatus characterized by the above.
(Appendix 2) The cable has a circular vertical cross-section,
The apparatus for manufacturing an electronic device according to
(Additional remark 3) When the said bending radius is less than a predetermined threshold value, the said process part specifies the edge part of the cable which cross | intersects the said cable from the said image data, and only the distance based on the specified said edge part is said spatial data. The electronic apparatus manufacturing apparatus according to
(Supplementary Note 4)
The feature point specified when the bending radius is equal to or greater than a predetermined threshold is stored in the storage unit,
Of the feature points stored in the storage unit, the bending radius of the cable is calculated based on two or more feature points stored immediately before and the newly specified feature points. The electronic device manufacturing apparatus according to any one of
(Additional remark 5) The three-dimensional position of the point on the surface of the said cable corresponding to the lattice point in a two-dimensional surface from the image data which image | photographed the said cable in the state in which the cable was connected to some components of an electronic device An acquisition unit for acquiring data;
A setting unit that generates spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable;
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data A processing unit that identifies a feature point that satisfies a predetermined condition, moves the spatial data based on the identified feature point and the extension direction, repeatedly executes a process, and generates the shape data of the cable from the processing result; ,
A control unit for causing the gripping device to grip the cable based on the generation result of the processing unit, and moving the gripping device to move the cable;
With
When the bending radius of the cable calculated based on the specified feature point of the cross-sectional shape data is less than a predetermined threshold, the processing unit generates the feature point and the extending direction in generating the shape data. do not use,
An electronic apparatus manufacturing apparatus characterized by the above.
(Supplementary Note 6) The processing unit includes:
The feature point specified when the bending radius is equal to or greater than a predetermined threshold is stored in the storage unit,
Of the feature points stored in the storage unit, the bending radius of the cable is calculated based on two or more feature points stored immediately before and the newly specified feature points. The electronic device manufacturing apparatus according to
(Supplementary note 7) Acquire three-dimensional position data of points on the surface of the cable corresponding to lattice points in a two-dimensional plane from image data obtained by photographing the cable;
Generate spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable,
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data Identify feature points that satisfy a predetermined condition, move the spatial data based on the identified feature points and the extension direction, repeatedly execute the process, and generate the shape data of the cable from the process result.
Let the computer execute the process,
In the process of generating the shape data of the cable, when the bending radius of the cable calculated based on the feature point of the specified cross-sectional shape data is less than a predetermined threshold, the feature point and the extending direction are It is not used for generation of shape data, and the spatial data is moved a predetermined distance along the latest stretching direction that has not been discarded.
A cable shape estimation program characterized by that.
(Appendix 8) The cable has a circular vertical cross-section,
The cable shape estimation program according to appendix 7, wherein the predetermined distance is the same distance as the diameter of the vertical section.
(Additional remark 9) In the process which produces | generates the shape data of the said cable, when the said bending radius is less than a predetermined threshold value, the edge part of the cable which cross | intersects the said cable is specified from the said image data, and the specified said edge part is The cable shape estimation program according to appendix 7, wherein the spatial data is moved by a distance based on the distance.
(Supplementary Note 10) In the process of generating the shape data of the cable,
The feature point specified when the bending radius is equal to or greater than a predetermined threshold is stored in the storage unit,
Of the feature points stored in the storage unit, the bending radius of the cable is calculated based on two or more feature points stored immediately before and the newly specified feature points. The cable shape estimation program according to any one of appendices 7 to 9.
(Additional remark 11) From the image data which image | photographed the cable, the 3-dimensional position data of the point on the surface of the said cable corresponding to the lattice point in a 2-dimensional surface are acquired,
Generate spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable,
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data Identify feature points that satisfy a predetermined condition, move the spatial data based on the identified feature points and the extension direction, repeatedly execute the process, and generate the shape data of the cable from the process result.
Let the computer execute the process,
In the process of generating the shape data of the cable, when the bending radius of the cable calculated based on the feature point of the specified cross-sectional shape data is less than a predetermined threshold, the feature point and the extending direction are determined. Not used to generate the shape data,
A cable shape estimation program characterized by that.
10 ロボット(把持装置)
16 ロボットコントローラ(制御部)
20 ケーブル3Dデータ取得部(取得部)
24 サーチボリューム設定部(設定部)
26 ケーブル断面・延伸方向算出部(処理部の一部)
28 着目点更新部(処理部の一部)
30 ケーブル形状推定部(処理部の一部)
36 データ格納部(記憶部)
44 ケーブル
100 電子機器の製造装置
10 Robot (gripping device)
16 Robot controller (control unit)
20 Cable 3D data acquisition unit (acquisition unit)
24 Search volume setting part (setting part)
26 Cable cross section / stretch direction calculation part (part of processing part)
28 Point of Interest Updater (part of the processor)
30 Cable shape estimation unit (part of processing unit)
36 Data storage (storage)
44
Claims (7)
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成する設定部と、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する処理部と、
前記処理部の生成結果に基づいて把持装置に前記ケーブルを把持させ、前記把持装置を移動させて前記ケーブルを移動させる制御部と、
を備え、
前記処理部は、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、該特徴点と前記延伸方向を前記形状データの生成に使用せず、前記空間データを破棄されていない最新の延伸方向に沿って所定距離移動する、
ことを特徴とする電子機器の製造装置。 3D position data of a point on the surface of the cable corresponding to a lattice point in a 2D plane is acquired from image data obtained by photographing the cable with a cable connected to a part of an electronic device component. An acquisition unit;
A setting unit that generates spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable;
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data A processing unit that identifies a feature point that satisfies a predetermined condition, moves the spatial data based on the identified feature point and the extension direction, repeatedly executes a process, and generates the shape data of the cable from the processing result; ,
A control unit for causing the gripping device to grip the cable based on the generation result of the processing unit, and moving the gripping device to move the cable;
With
The processing unit uses the feature point and the extending direction to generate the shape data when the bending radius of the cable calculated based on the feature point of the specified cross-sectional shape data is less than a predetermined threshold. Without moving the space data a predetermined distance along the latest stretching direction that has not been discarded,
An electronic apparatus manufacturing apparatus characterized by the above.
前記所定距離は、前記垂直断面の直径と同一の距離であることを特徴とする請求項1に記載の電子機器の製造装置。 The cable has a circular vertical cross section,
The apparatus for manufacturing an electronic device according to claim 1, wherein the predetermined distance is the same distance as a diameter of the vertical section.
前記曲げ半径が所定の閾値以上であった場合に特定された特徴点を記憶部に記憶しておき、
前記記憶部に記憶されている特徴点のうち、直前に記憶された2以上の特徴点と、新たに特定された前記特徴点とに基づいて前記ケーブルの曲げ半径を算出する、ことを特徴とする請求項1〜3のいずれか一項に記載の電子機器の製造装置。 The processor is
The feature point specified when the bending radius is equal to or greater than a predetermined threshold is stored in the storage unit,
Of the feature points stored in the storage unit, the bending radius of the cable is calculated based on two or more feature points stored immediately before and the newly specified feature points. The apparatus for manufacturing an electronic device according to any one of claims 1 to 3.
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成する設定部と、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する処理部と、
前記処理部の生成結果に基づいて把持装置に前記ケーブルを把持させ、前記把持装置を移動させて前記ケーブルを移動させる制御部と、
を備え、
前記処理部は、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、前記特徴点と前記延伸方向とを前記形状データの生成に使用しない、
ことを特徴とする電子機器の製造装置。 3D position data of a point on the surface of the cable corresponding to a lattice point in a 2D plane is acquired from image data obtained by photographing the cable with a cable connected to a part of an electronic device component. An acquisition unit;
A setting unit that generates spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable;
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data A processing unit that identifies a feature point that satisfies a predetermined condition, moves the spatial data based on the identified feature point and the extension direction, repeatedly executes a process, and generates the shape data of the cable from the processing result; ,
A control unit for causing the gripping device to grip the cable based on the generation result of the processing unit, and moving the gripping device to move the cable;
With
When the bending radius of the cable calculated based on the specified feature point of the cross-sectional shape data is less than a predetermined threshold, the processing unit generates the feature point and the extending direction in generating the shape data. do not use,
An electronic apparatus manufacturing apparatus characterized by the above.
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成し、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する、
処理をコンピュータに実行させ、
前記ケーブルの形状データを生成する処理では、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、該特徴点と前記延伸方向を前記形状データの生成に使用せず、前記空間データを破棄されていない最新の延伸方向に沿って所定距離移動する、
ことを特徴とするケーブル形状推定プログラム。 Obtaining 3D position data of points on the surface of the cable corresponding to lattice points in a 2D plane from image data obtained by photographing the cable;
Generate spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable,
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data Identify feature points that satisfy a predetermined condition, move the spatial data based on the identified feature points and the extension direction, repeatedly execute the process, and generate the shape data of the cable from the process result.
Let the computer execute the process,
In the process of generating the shape data of the cable, when the bending radius of the cable calculated based on the feature point of the specified cross-sectional shape data is less than a predetermined threshold, the feature point and the extending direction are It is not used for generation of shape data, and the spatial data is moved a predetermined distance along the latest stretching direction that has not been discarded.
A cable shape estimation program characterized by that.
前記ケーブルの一端部近傍において前記ケーブルの延伸方向に所定幅を有する空間データを生成し、
前記空間データ内に存在する前記3次元位置データが取得された点から前記ケーブルの断面形状データを生成し、該断面形状データに基づいて前記ケーブルの延伸方向を特定するとともに前記断面形状データのうち所定条件を満たす特徴点を特定し、特定した前記特徴点と前記延伸方向に基づいて前記空間データを移動する、処理を繰り返し実行して、処理結果から前記ケーブルの形状データを生成する、
処理をコンピュータに実行させ、
前記ケーブルの形状データを生成する処理では、特定した前記断面形状データの特徴点に基づいて算出した前記ケーブルの曲げ半径が所定の閾値未満であった場合に、前記特徴点と前記延伸方向とを前記形状データの生成に使用しない、
ことを特徴とするケーブル形状推定プログラム。 Obtaining 3D position data of points on the surface of the cable corresponding to lattice points in a 2D plane from image data obtained by photographing the cable;
Generate spatial data having a predetermined width in the extending direction of the cable in the vicinity of one end of the cable,
The cross-sectional shape data of the cable is generated from the point at which the three-dimensional position data existing in the spatial data is acquired, and the extending direction of the cable is specified based on the cross-sectional shape data and the cross-sectional shape data Identify feature points that satisfy a predetermined condition, move the spatial data based on the identified feature points and the extension direction, repeatedly execute the process, and generate the shape data of the cable from the process result.
Let the computer execute the process,
In the process of generating the shape data of the cable, when the bending radius of the cable calculated based on the feature point of the specified cross-sectional shape data is less than a predetermined threshold, the feature point and the extending direction are determined. Not used to generate the shape data,
A cable shape estimation program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016141642A JP6677113B2 (en) | 2016-07-19 | 2016-07-19 | Electronic device manufacturing apparatus and cable shape estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016141642A JP6677113B2 (en) | 2016-07-19 | 2016-07-19 | Electronic device manufacturing apparatus and cable shape estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018014362A true JP2018014362A (en) | 2018-01-25 |
JP6677113B2 JP6677113B2 (en) | 2020-04-08 |
Family
ID=61021337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016141642A Active JP6677113B2 (en) | 2016-07-19 | 2016-07-19 | Electronic device manufacturing apparatus and cable shape estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6677113B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119178A (en) * | 2019-01-23 | 2020-08-06 | 日本電気株式会社 | Wiring work inspection system, information processing device, wiring work inspection method, and program |
CN115908431A (en) * | 2023-03-09 | 2023-04-04 | 国网山东省电力公司东营供电公司 | Cable positioning and accommodating method for power transmission and transformation project |
WO2023199623A1 (en) * | 2022-04-13 | 2023-10-19 | ソニーグループ株式会社 | Information processing device and information processing method |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0374900A (en) * | 1989-08-15 | 1991-03-29 | Yutaka Arima | Electric circuit three-dimensional automatic wiring |
JPH06274613A (en) * | 1993-03-19 | 1994-09-30 | Fujitsu Ltd | Curve approximating device |
JP2004005061A (en) * | 2002-05-30 | 2004-01-08 | Yaskawa Electric Corp | Object detection method |
JP2004283373A (en) * | 2003-03-20 | 2004-10-14 | Toshiba Corp | Analyzer of luminal structure |
US20060269108A1 (en) * | 2005-02-07 | 2006-11-30 | Viswanathan Raju R | Registration of three dimensional image data to 2D-image-derived data |
JP2007205802A (en) * | 2006-01-31 | 2007-08-16 | Sumitomo Electric Ind Ltd | Cable shape state measuring method, cable shape state measuring system used in it, cable shape state measuring program, and cable state evaluation method |
JP2011017611A (en) * | 2009-07-09 | 2011-01-27 | National Institute Of Advanced Industrial Science & Technology | Three-dimensional curved surface recognition method and manipulation system |
JP2013205219A (en) * | 2012-03-28 | 2013-10-07 | Sumitomo Electric Ind Ltd | Cable analysis system, cable analysis method, and computer program |
JP2014085901A (en) * | 2012-10-25 | 2014-05-12 | Fujitsu Ltd | Information processor, drawing method, and program |
CN104380036A (en) * | 2012-06-13 | 2015-02-25 | 株式会社岛精机制作所 | Synthesis-parameter generation device for three-dimensional measurement apparatus |
-
2016
- 2016-07-19 JP JP2016141642A patent/JP6677113B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0374900A (en) * | 1989-08-15 | 1991-03-29 | Yutaka Arima | Electric circuit three-dimensional automatic wiring |
JPH06274613A (en) * | 1993-03-19 | 1994-09-30 | Fujitsu Ltd | Curve approximating device |
JP2004005061A (en) * | 2002-05-30 | 2004-01-08 | Yaskawa Electric Corp | Object detection method |
JP2004283373A (en) * | 2003-03-20 | 2004-10-14 | Toshiba Corp | Analyzer of luminal structure |
US20060269108A1 (en) * | 2005-02-07 | 2006-11-30 | Viswanathan Raju R | Registration of three dimensional image data to 2D-image-derived data |
JP2007205802A (en) * | 2006-01-31 | 2007-08-16 | Sumitomo Electric Ind Ltd | Cable shape state measuring method, cable shape state measuring system used in it, cable shape state measuring program, and cable state evaluation method |
JP2011017611A (en) * | 2009-07-09 | 2011-01-27 | National Institute Of Advanced Industrial Science & Technology | Three-dimensional curved surface recognition method and manipulation system |
JP2013205219A (en) * | 2012-03-28 | 2013-10-07 | Sumitomo Electric Ind Ltd | Cable analysis system, cable analysis method, and computer program |
CN104380036A (en) * | 2012-06-13 | 2015-02-25 | 株式会社岛精机制作所 | Synthesis-parameter generation device for three-dimensional measurement apparatus |
JP2014085901A (en) * | 2012-10-25 | 2014-05-12 | Fujitsu Ltd | Information processor, drawing method, and program |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119178A (en) * | 2019-01-23 | 2020-08-06 | 日本電気株式会社 | Wiring work inspection system, information processing device, wiring work inspection method, and program |
JP7196631B2 (en) | 2019-01-23 | 2022-12-27 | 日本電気株式会社 | WIRING WORK INSPECTION SYSTEM, INFORMATION PROCESSING DEVICE, WIRING WORK INSPECTION METHOD, AND PROGRAM |
WO2023199623A1 (en) * | 2022-04-13 | 2023-10-19 | ソニーグループ株式会社 | Information processing device and information processing method |
CN115908431A (en) * | 2023-03-09 | 2023-04-04 | 国网山东省电力公司东营供电公司 | Cable positioning and accommodating method for power transmission and transformation project |
Also Published As
Publication number | Publication date |
---|---|
JP6677113B2 (en) | 2020-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348279B (en) | Object recognition processing apparatus and method, and object sorting apparatus and method | |
CN111325796B (en) | Method and apparatus for determining pose of vision equipment | |
JP3735344B2 (en) | Calibration apparatus, calibration method, and calibration program | |
US7471809B2 (en) | Method, apparatus, and program for processing stereo image | |
US11667036B2 (en) | Workpiece picking device and workpiece picking method | |
KR101926563B1 (en) | Method and apparatus for camera tracking | |
JP6677113B2 (en) | Electronic device manufacturing apparatus and cable shape estimation program | |
JP6192088B2 (en) | Object detection method and object detection apparatus | |
WO2022021156A1 (en) | Method and apparatus for robot to grab three-dimensional object | |
CN108592919B (en) | Drawing and localization method, device, storage medium and terminal device | |
US20180285684A1 (en) | Object attitude detection device, control device, and robot system | |
JP2009229226A (en) | Object detection device and method for detecting object | |
JP2019185664A (en) | Control device, object detection system, object detection method, and program | |
WO2020166424A1 (en) | Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system | |
JP6922348B2 (en) | Information processing equipment, methods, and programs | |
JP6729092B2 (en) | Electronic equipment manufacturing device and cable shape estimation program | |
US11145048B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program | |
JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
JP3066173B2 (en) | Pattern matching method | |
JP2008224641A (en) | System for estimation of camera attitude | |
CN116160458B (en) | Multi-sensor fusion rapid positioning method, equipment and system for mobile robot | |
JP2011203148A (en) | Estimation device, estimation method and estimation program | |
JP2010145219A (en) | Movement estimation device and program | |
CN115638788A (en) | Semantic vector map construction method, computer equipment and storage medium | |
JPH07146121A (en) | Recognition method and device for three dimensional position and attitude based on vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6677113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |