JP2018180756A - コネクタの姿勢認識装置、端末部把持装置、コネクタの姿勢認識方法及び端末部の把持方法 - Google Patents

Abstract

【課題】コネクタの姿勢を、なるべく簡易に機械学習でき、かつ、なるべく細かく認識できるようにすることを目的とする。【解決手段】撮像されたコネクタ画像に基づいてコネクタの姿勢を認識するコネクタの姿勢認識装置であって、コネクタを撮像する撮像部５８と、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像に基づいて機械学習を行い、前記撮像部で撮像されたコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力する適合信頼性判定部６５ａと、複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタの姿勢を演算するコネクタ姿勢演算部６５ｂとを含むコネクタ姿勢認識部６５とを備える。【選択図】図５

Description

この発明は、ワイヤーハーネス又はサブアッシー等の電線集合体の端末のコネクタをロボットハンド等で把持するための技術に関する。

特許文献１は、複数の電線端部をコネクタハウジングに挿入等して複数の電線をまとめた仮結を製造し、複数の仮結を組立図板上に配設し、当該組立図板上で、複数の仮結から最終的なワイヤーハーネスを製造する技術を開示している。また、複数の仮結は、各端部がスリット状の仮結端部保持部によって保持された状態で、組立図板に対して供給されることが開示されている。

特開２０１２−１６９３０２号公報

ところで、ワイヤーハーネスの製造作業をロボット装置にて行うことが検討されている。

しかしながら、ワイヤーハーネスの製造作業においては、ワイヤーハーネス又はサブアッシーの端末部は、スリット状の仮結端部保持部によって保持された状態で、運搬、提供されることが多い。このため、ワイヤーハーネス又はサブアッシーの端末のコネクタの姿勢は不揃いであることが通常である。

コネクタの向きを認識する方法として、複数のコネクタの姿勢の画像を準備し、これを学習用データとして人工知能に機械学習を行わせることが考えられる。

しかしながら、上記方法によると、コネクタの姿勢を細かく認識するためには、多数の学習用データを準備する必要がある。例えば、１度単位でコネクタの姿勢を認識するためには、１度から３６０度の範囲の１度毎に、学習用画像を準備する必要がある。また、人工知能がある程度精度よく学習を完了するためには、１度毎に１０００枚程度の画像が必要となる。このため、３６００００枚もの画像を準備する必要がある。

しかも、ワイヤーハーネス又はサブアッシーでは、複数種類のコネクタが用いられるため、それぞれのコネクタの種類毎に、上記のような機械学習を行うことは、現実的には難しい。

そこで、本発明は、コネクタの姿勢を、なるべく簡易に機械学習でき、かつ、なるべく細かく認識できるようにすることを目的とする。

上記課題を解決するため、第１の態様は、撮像されたコネクタ画像に基づいてコネクタの姿勢を認識するコネクタの姿勢認識装置であって、コネクタを撮像する撮像部と、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像に基づいて機械学習を行い、前記撮像部で撮像されたコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力する適合信頼性判定部と、前記複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタの姿勢を演算するコネクタ姿勢演算部とを含むコネクタ姿勢認識部とを備える。

第２の態様は、第１の態様に係るコネクタの姿勢認識装置であって、前記コネクタ姿勢演算部は、前記複数のコネクタ姿勢を表す角度と、前記複数のコネクタ姿勢のそれぞれに対応するスコアとに基づいて、コネクタの姿勢を算出するものである。

第３の態様は、第２の態様に係るコネクタの姿勢認識装置であって、前記コネクタ姿勢演算部は、前記複数のコネクタ姿勢を表す角度に、それぞれに対応するスコアを重み付けた加重平均を算出して、コネクタの姿勢を算出するものである。

第４の態様は、第１から第３のいずれか１つの態様に係るコネクタの姿勢認識装置であって、前記コネクタ姿勢認識部において、前記コネクタ姿勢は、コネクタの前後方向の軸を中心として４５度未満の角度で区分されているものである。

第５の態様に係る端末部把持装置は、第１から第４のいずれか１つの態様に係るコネクタの姿勢認識装置と、コネクタから複数の電線群が延出する端末部を有する電線集合体の端末部を把持及び把持解除可能な把持部と、前記把持部を移動させる移動機構部とを含み、コネクタの姿勢認識装置で演算されたコネクタの姿勢に応じて、前記把持部の姿勢を変更して端末部を把持する把持用ロボットと、を備える。

上記課題を解決するため、第６の態様は、撮像されたコネクタ画像に基づいてコネクタの姿勢を認識するコネクタの姿勢認識方法であって、（ａ）姿勢認識装置が、複数に区分されたコネクタ姿勢のそれぞれに対して準備された複数のコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力可能なように機械学習するステップと、（ｂ）前記姿勢認識装置が、撮像されたコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力するステップと、（ｃ）前記姿勢認識装置が、前記複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタの姿勢を演算するステップとを備える。

第７の態様に係る端末部の把持方法は、把持用ロボットが、第６の態様に係るコネクタの姿勢認識方法で演算されたコネクタの姿勢に応じて、把持部の姿勢を変更して前記把持部により、コネクタから複数の電線群が延出する端末部を有する電線集合体の端末部を把持する。

第１〜第７の態様によると、機械学習を行う際には、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像に基づいて機械学習を行うため、なるべく簡易に機械学習できる。また、前記撮像部で撮像されたコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力し、複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタの姿勢を算出するため、複数に区分されたコネクタ姿勢よりも細かくコネクタ姿勢を認識できる。

第２の態様によると、複数のコネクタ姿勢を表す角度に、複数のコネクタ姿勢のそれぞれに対応するスコアを考慮することで、コネクタの姿勢を算出することができる。

第４の態様によると、コネクタ姿勢は、コネクタの前後方向の軸を中心として４５度未満の角度で区分されているため、コネクタの本来の姿勢から大きくズレることなく、コネクタの姿勢の認識できる。

第５及び第７の態様によると、コネクタの姿勢認識装置で演算されたコネクタの姿勢に応じて、前記把持部の姿勢を変更して端末部を把持するため、コネクタを所望の姿勢にすることができる。

ワイヤーハーネスの製造支援装置を示す概略斜視図である。 ハンドが端末部挟持部に挟持された端末部のコネクタを把持する動作を示す説明図である。 ハンドと傾いて挟持されているコネクタとの関係を示す説明図である。 制御ユニットの電気的構成を示すブロック図である。 コネクタ姿勢認識部の機能ブロック図である。 適合性信頼判定部が機械学習を行う層構造を示す説明図である。 適合性信頼判定部が撮像部で撮像されたコネクタ画像に基づいて適合信頼性を判定する層構造を示す説明図である。 コネクタの姿勢認識方法を含む端末部の把持方法を示すフローチャートである。 ハンドと傾いて挟持されているコネクタとの関係を示す説明図である。 ハンドと傾いて挟持されているコネクタとの関係を示す説明図である。 ハンドが保持具に端末部を保持させる動作を示す説明図である。

以下、実施形態に係るコネクタの姿勢認識装置、端末部把持装置、コネクタの姿勢認識方法及び端末部の把持方法について説明する。

図１はワイヤーハーネスの製造支援装置２０を示す概略斜視図である。この製造支援装置２０に、コネクタの姿勢認識装置、端末部把持装置、コネクタの姿勢認識方法及び端末部の把持方法が実装されている。

ワイヤーハーネスの製造支援装置２０は、複数の電線１１が複数のコネクタ１２を介してまとめられた、電線集合体としてのサブアッシー１４、１５を、組立図板３０上に配設するものであり、特に、移替用ロボット装置５０のハンド５２で、端末部１３を把持する際に、コネクタ１２が所定の姿勢となるようにするための構成を備えている。

以下では、サブアッシー１４、１５を組立図板３０に配設する前提構成について説明してから、コネクタ１２の姿勢を認識するための構成、及び、端末部を把持するための構成について説明する。

＜前提構成について＞
ワイヤーハーネスの製造支援装置２０は、サブアッシー１４、１５を、組立図板３０上に配設するものであり、ワイヤーハーネス組立用補助装置としての組立図板３０と、保持バー４２と、端末部把持装置として端末部を移動させる移替用ロボット装置５０とを備える。

ここで、ワイヤーハーネス１０は、端部にコネクタ１２が取付けられた複数の電線１１を、車両等における配線形態に合わせて分岐及び結束したものである。ワイヤーハーネス１０を組立てるにあたっては、ワイヤーハーネス１０を構成する全ての電線１１の一部である複数の電線１１の端部をコネクタ１２に接続してまとめたサブアッシー１４、１５を製造しておき、これを他のサブアッシー１４、１５及び他の電線１１と組合わせて、１つのまとまったワイヤーハーネス１０に組立てる作業が実施される。本ワイヤーハーネスの製造支援装置２０は、保持バー４２に保持されたサブアッシー１４、１５等を、組立図板３０に移し替えるものである。なお、各図では、コネクタ１２から延出する電線が単純化して１本の線で描かれているが、実際には、複数の電線１１が延出していることが多い。また、本例では、サブアッシー１４、１５を移し替える例で説明するが、電線１１が単独で保持バー４２に保持されており、当該電線１１が組立図板３０に移し替えられてもよい。

組立図板３０は、サブアッシー１４、１５等を保持可能な保持具３４が複数立設された構成とされている。より具体的には、組立図板３０は、図板本体３２と、保持具３４とを備える。

図板本体３２は、方形板状に形成されており、フレーム等によって所定の高さ位置に支持されている。

保持具３４は、ワイヤーハーネス１０を保持する治具であり、例えば、上端部にＵ字状部分が形成された治具である。

保持具３４のうちの少なくとも１つは、端末部１３を保持可能な端末部保持部である。ここで、端末部１３は、サブアッシー１４、１５又はワイヤーハーネス１０の各端末部１３、すなわち、コネクタ１２及びコネクタ１２から延出する電線１１部分を意味する。通常、端末部１３のコネクタ１２は、扁平な直方体形状に形成されており、その内部に縦横に並ぶようにキャビティが形成されている。電線１１は、端部の端子が各キャビティに挿入されており、電線１１は各キャビティから延出している。キャビティは、コネクタ１２の幅方向（正面視した場合の長手方向）に沿って比較的多数形成され、コネクタ１２の高さ方向（正面視した場合の短手方向）に沿って比較的少数形成されている。このため、複数の電線１１は、コネクタ１２の幅方向において扁平な形態で延出している（図２参照）。一方、保持具３４の上端部にＵ字状部分が形成されており、このＵ字状部分の内部は、高さ方向の寸法よりも幅方向の寸法の方が小さく、幅方向の寸法は、コネクタ１２から延出する電線１１の群の扁平方向の幅と同じかこれよりも大きく、当該群の幅方向の寸法よりも小さい。このため、保持具３４は、コネクタ１２の幅方向を保持具３４のＵ字状部分の開口から奥側に向う方向に沿わせた姿勢で、当該コネクタ１２を含む端末部１３を保持する。

なお、ワイヤーハーネス１０の端部を保持する保持具としては、コネクタ１２を保持可能なセット凹部が形成された構成であり、当該コネクタ１２を保持することで、ワイヤーハーネス１０の端末部１３を保持する構成であることも考えられる。この場合も、端末部１３は、コネクタ１２をセット凹部にセットする方向に対してコネクタ１２が所定姿勢で保たれた状態で、保持される。

保持バー４２は、サブアッシー１４、１５等の端末部１３を取出可能に挟持する端末部挟持部４４が複数設けられた構成とされている。ここでは、保持バー４２は、長尺部材の延在方向に沿って間隔をあけて複数箇所に端末部挟持部４４が複数形成された構成とされている。端末部挟持部４４は、保持バー４２の上側面から下方の途中に至るように形成されたスリットである。スリットは、ゴム板等の弾性部材で形成された部分に形成されている。保持バー４２を水平姿勢に配設した状態で、端末部挟持部４４の上側からサブアッシー１４、１５の端末部１３（コネクタ１２から延出する電線１１の群）を挿入することで、スリットが弾性的に開く。そして、スリット形成部分が弾性的に閉じようとする力によって、端末部１３が端末部挟持部４４に対して取出可能な状態で保持される。また、当該端末部挟持部４４に挟持されたサブアッシー１４、１５の端末部１３スリットの開口側に抜くと、当該端末部挟持部４４から取出すことができる。

上記のような端末部挟持部４４は、弾性部材で形成されたスリットに、コネクタ１２から延出する電線１１の群を挟持する構成であるため、電線１１の群の幅に応じて開くことができる。このため、端末部挟持部４４は、コネクタ１２の幅方向をスリットの延在方向に沿わせた姿勢でも、コネクタ１２の幅方向をスリットの延在方向に対して傾けた姿勢でも、当該端末部１３を保持することができる。つまり、端末部挟持部４４において挟持された端末部１３のコネクタ１２の姿勢は、不定である。

保持バー４２は、保持バー保持部４０によって組立図板３０周りの待機位置で保持可能に構成されている。保持バー保持部４０は、例えば、保持バー４２を上方から嵌込可能なセット凹部４１が形成された部材である。保持バー保持部４０は、例えば、保持バー４２に保持されたサブアッシー１４、１５の一つの端末部を保持具３４に保持させた状態で、当該サブアッシー１４、１５の他の端部を保持バー４２に保持させたままの状態とすることができるように、組立図板３０の近くの位置に設けられている。

なお、待機位置において保持バー４２が保持された状態で、当該保持バー４２にはサブアッシー１４、１５等が保持される。サブアッシー１４、１５は、通常、複数の端末部１３が端末部挟持部４４に保持され、その中間部がＵ字状に垂れ下がった状態となっている。サブアッシー１４、１５の端末部１３を保持具３４に移し替える際に、サブアッシー１４、１５の中間部が保持バー４２等に干渉しないようにするため、サブアッシー１４、１５の中間部は、保持バー４２に対して組立図板３０側に垂れ下がっていることが好ましい。

移替用ロボット装置５０は、ハンド５２と、ハンド移動機構部５６とを備える。この移替用ロボット装置５０は、組立図板３０の周りに設けられている。ハンド５２は、端末部１３を把持及び把持解除可能に構成された把持部の一例である。ハンド移動機構部５６は、ハンド５２を移動させる移動機構部の一例であり、ここでは、一般的な垂直多関節ロボット装置により構成されており、その先端部に上記ハンド５２が取付けられている。ハンド移動機構部５６は、その他、直交ロボット装置等であってもよい。

そして、サブアッシー１４、１５等が保持された保持バー４２が、上記保持バー保持部４０にセットされる。この状態で、移替用ロボット装置５０が、ハンド５２によって保持バー４２の各端末部挟持部４４に挟持された端末部１３を把持する。この後、ハンド移動機構部５６によってハンド５２を移動させることによって、当該ハンド５２で把持された端末部１３をいずれかの保持具３４に向けて移動させ、この後、当該端末部１３を保持具３４に保持させる。これを各端末部１３に対して繰返し行い、保持バー４２から組立図板３０に向けて、サブアッシー１４、１５を移し替える。

上記移替用ロボット装置５０の動作は、制御ユニット６０によって制御される。特に、制御ユニット６０の制御下、ハンド５２が端末部１３を把持する際、後述する姿勢認識装置７０で演算されたコネクタ１２の姿勢に応じて、ハンド５２の姿勢を変更して端末部１３を把持する。このため、制御ユニット６０及び移替用ロボット装置５０は、端末部把持装置としての構成を備えている。

図２はハンド５２が端末部挟持部４４に挟持された端末部１３のコネクタ１２を把持する動作を示す説明図である。ここでは、ハンド５２が端末部１３のコネクタ１２を把持する例で説明するが、当該コネクタ１２から延出する電線１１の束を把持してもよい。

同図に示すように、移替用ロボット装置５０のハンド移動機構部５６は、複数のアームが関節構造を介して連結された構成とされており、その先端部には、ハンド５２が取付けられている。ハンド５２は、エアシリンダ、油圧シリンダ等により構成される駆動部５２ａと、当該駆動部５２ａにより開閉駆動される一対の爪部５２Ｆとを備える。

上記駆動部５２ａを含むベース部分に撮像部５８が設けられている。撮像部５８は、ＣＣＤカメラ等によって構成されており、サブアッシー１４、１５の端末部１３、特に、コネクタ１２を撮像可能に構成されている。撮像部５８の撮像画像は、後に説明するように、ハンド５２が所定の端末部挟持部４４の端末部１３を把持する際に、ハンド５２の姿勢を補正するための画像として供される。

上記したように、移替用ロボット装置５０は、保持バー４２の複数の端末部挟持部４４部のいずれかで挟持された端末部１３をハンド５２で把持し、当該ハンド５２をいずれかの保持具３４に向けて移動させ、当該ハンド５２で把持された端末部１３を保持具に保持させる動作を実行する。

上記したように、端末部挟持部４４において挟持された端末部１３のコネクタ１２の姿勢は、不定である。このため、図３に示すように、コネクタ１２の幅方向が、スリットの延在方向である上下方向（重力方向）に対して傾いていると、ハンド５２は、コネクタ１２を安定して把持することができない。例えば、ハンド５２は、コネクタ１２を傾いた姿勢のまま把持することがあり得る。また、ハンド５２は、コネクタ１２を、その幅方向を一対の爪部５２Ｆを結ぶ方向に一致させた姿勢で把持することがあり得る。また、ハンド５２は、コネクタ１２を、その幅方向を一対の爪部５２Ｆの延在方向に一致させた姿勢で把持することもあり得る。ハンド５２によるコネクタ１２の把持姿勢が安定していないと、ハンド５２によるコネクタ１２の移動途中でコネクタ１２が脱落する、ハンド５２が端末部１３を保持具３４に保持させる際に、コネクタ１２から延出する電線１１の束を保持具３４の上側のＵ字状開口部分に収めることができないといった事態が生じ得る。また、保持具がコネクタ１２を嵌め込む凹部が形成された構成であれば、当該コネクタを保持具に嵌め込むことができないといった事態が生じ得る。上記は、ハンド５２が端末部１３の電線１１の束を把持する場合においても、同様の問題として生じ得る。

そこで、コネクタ１２の姿勢を認識し、認識されたコネクタ１２の姿勢に応じてハンド５２の姿勢を補正した後、当該ハンド５２によって端末部１３（ここでは、コネクタ１２）を把持すべく、下記構成を採用している。

コネクタ１２の姿勢認識装置７０は、上記撮像部５８と、制御ユニット６０とを備えており、端末部把持装置７２は、当該姿勢認識装置７０と移替用ロボット装置５０とを備えた構成とされている。

図４は制御ユニット６０の電気的構成を示すブロック図である。

制御ユニット６０は、ＣＰＵ６２、ＲＡＭ６３、記憶部６４等がバスライン６１を介して相互接続された一般的なコンピュータによって構成されている。記憶部６４は、フラッシュメモリ或はハードディスク装置等の不揮発性の記憶装置によって構成されており、基本プログラム、バー位置データ、布線データ及び移し替えプログラム６４ａを記憶している。バー位置データは、待機位置に保持された保持バー４２におけるサブアッシー１４、１５の各端部の位置（各端末部挟持部４４の位置データ、端部がどの端末部挟持部４４に保持されているか等のデータ）に関するデータであり、布線データは、組立図板３０におけるサブアッシー１４、１５の布線経路（特に、端部をどの保持具３４に保持させるか）に関するデータである。移し替えプログラム６４ａには、バー位置データにおけるサブアッシー１４、１５の端部の各保持位置データ及び布線データにおける保持具の各位置データ等を参照して、サブアッシー１４、１５の各端部等を組立図板３０に移し替えるべく、移替用ロボット装置５０のハンド５２の開閉制御、及び、ハンド５２の移動制御を行って、サブアッシー１４、１５を保持バー４２から組立図板３０に移し替えていく指令が記述されている。移し替えプログラム６４ａには、コネクタ姿勢認識部としての指令を記述した姿勢認識モジュール６４ｂが含まれている。移し替えプログラム６４ａを実行する際には、姿勢認識モジュール６４ｂの実行により演算されたコネクタ１２の姿勢に応じて、ハンド５２の姿勢を変更して端末部を把持する処理を実行する。また、入出力部６６を通じて、撮像部５８の出力が制御ユニット６０に入力されると共に、コネクタ姿勢認識部を機械学習させるための学習用画像データが入力される。さらに、制御ユニット６０からの制御指令が入出力３７を通じて移替用ロボット装置５０に与えられる。

図５は、姿勢認識モジュール６４ｂにより実現されるコネクタ姿勢認識部６５の機能ブロック図である。コネクタ姿勢認識部６５は、適合性信頼判定部６５ａと、コネクタ姿勢演算部６５ｂとを備える。

適合性信頼判定部６５ａは、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像（学習用画像データ）に基づいて機械学習を行い、撮像部５８で撮像されたコネクタ画像に基づいて、複数に区分されたコネクタ１２の姿勢のそれぞれに対する、コネクタ１２の姿勢の適合信頼性にするスコアを出力する。つまり、適合性信頼判定部６５ａは、機械学習部である。

図６は、適合性信頼判定部６５ａが機械学習を行う層構造を示す説明図である。適合性信頼判定部６５ａは、入力層と、ＣＮＮ（Convolutional Neural Network）層と、max-pooling層と、識別層と、出力層とを備える。

機械学習を行うにあたって、複数に区分されたコネクタ姿勢のそれぞれに対して準備された複数のコネクタ画像が学習用データとして準備される。コネクタ姿勢の複数の区分は、例えば、コネクタ１２の前後方向（コネクタ１２のうち電線が延出する側が後ろ、その反対側が前）の軸を中心として、一定角度毎に区分される。そして、各区分されたコネクタ姿勢毎に、複数のコネクタ画像を準備する。ある程度精度の高い機械学習を行うためには、１つの区分毎に、１０００枚のコネクタ画像を準備することが好ましい。

学習用のコネクタ画像は、入力層からＣＮＮ層及びmax-pooling層を介して識別層に入力される。ＣＮＮ層では、コネクタ画像に対して複数のフィルタによって畳み込み処理を行い、当該コネクタ画像から局所領域毎にパターンを抽出した特徴画像を得る。なお、フィルタは、学習によって最適化される。max-pooling層では、局所領域内において最も特徴的な出力（最大値）に統合する。これらのＣＮＮ層及びmax-pooling層は、機械学習において画像の特徴を抽出すべく実装される周知の層であり、必要に応じて複数セット（例えば、２層×３セット）実装される。

識別層は、パーセプトロンを多層（ここでは２層）に組合わせた周知の多層ニューラルネットワークによって構成されている。出力層は、上記のように複数に区分されたコネクタ１２の姿勢のそれぞれに対する出力ノードを有している。

そして、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像（学習用画像データ）を、教師有りデータとして入力することで、機械学習部としての適合性信頼判定部６５ａにおいて、各区分毎のコネクタ姿勢のコネクタ画像の画像特徴とコネクタ１２の姿勢（角度）との関係を、非線形モデルで表現するように機械学習され、複数に区分されたコネクタ１２の姿勢のそれぞれに対する、コネクタ１２の姿勢の適合信頼性に関するスコアを出力可能なように機械学習がなされる。

なお、コネクタ１２の姿勢を区分する角度は、コネクタ１２の幅方向が水平に近いか上下方向に近いかを認識するため、４５度未満であることが好ましい。もっとも、コネクタ１２の姿勢を区分する角度を１度等の小さな値にしてしまうと、多数のコネクタ画像を準備する必要があるため、ある程度大きい角度（例えば、５度以上）であることが好ましい。ここでは、コネクタ１２の前後方向の軸を中心として、３０度毎に区分し、０度〜３０度、３０度〜６０度、６０度〜９０度、・・・、３３０度〜３６０度の１２個に区分した例で説明する。例えば、出力ノード（１）は０度〜３０度に対応し、出力ノード（２）は３０度〜６０度に対応し、以下、同様に、各出力ノードが３０度毎に各コネクタ１２の姿勢に対応する。なお、コネクタ１２の姿勢が各境界の値（例えば、０度、３０度等）である場合には、当該境界によって規定されるいずれのコネクタ１２の姿勢に分類されてもよいが、小さい側の姿勢又は大きい側の姿勢に統一して分類されることが好ましい。コネクタ１２の角度は、一定の初期姿勢を基準に、一定方向への回転角度θとして把握することができる（図６の左側のコネクタ１２参照）。なお、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像（学習用画像データ）は、区分する角度範囲内の中央角度に近いものであることが好ましいが、これは必須ではなく、当該区分された角度範囲内のものであればよい。

図７は、適合性信頼判定部６５ａが撮像部５８で撮像されたコネクタ画像に基づいて適合信頼性を判定する層構造を示す説明図である。

同図に示すように、撮像部５８で撮像されたコネクタ画像が入力層に入力されると、ＣＮＮ層、max-pooling層及び識別層を経て、適合信頼性が判定される。出力層における出力は、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアとして出力される。ここでは、スコアは、０以上、１以下の範囲で、かつ、全てのスコアの合計が１となる値として出力される。スコアが１である場合が最も適合信頼性が高く、スコアが０である場合が最も適合信頼性が低い。

図５に戻って、コネクタ姿勢演算部６５ｂは、適合性信頼判定部６５ａから出力される、複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタ１２の姿勢を演算する。ここでは、コネクタ姿勢演算部６５ｂは、複数のコネクタ姿勢を表す角度と、複数のコネクタ姿勢のそれぞれに対応するスコアとに基づいて、コネクタ１２の姿勢を算出する。より具体的には、コネクタ姿勢演算部６５ｂは、複数のコネクタ姿勢を表す角度に、それぞれに対応するスコアを重み付けた加重平均を算出して、コネクタの姿勢を算出する。複数のコネクタ姿勢を表す角度は、複数に区分されたコネクタ姿勢を示す角度であり、例えば、各区分を規定する角度の中央値とすることができる。

例えば、図７に示すように、撮像部５８で撮像されたコネクタ１２について、適合性信頼判定部６５ａにおいて、出力ノード（１）（０度〜３０度）のスコアとして０．３５が出力され、出力ノード（２）（３０度〜６０度）のスコアとして０．８０が出力され、出力ノード（３）（６０度〜９０度）のスコアとして０．０５が出力され、他の出力ノードのスコアは０であったとする。この場合、コネクタの姿勢（角度θ）は、[（０度＋３０度）／２]×０．３５＋[（３０度＋６０度）／２]×０．６＋[（６０度＋９０度）／２]×０．０５＝３６度として演算される。

このように、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像に基づいて機械学習を行った場合でも、それよりも細かい角度でコネクタ１２の姿勢を認識することが可能となる。例えば、３０度単位で区分されたコネクタ姿勢のそれぞれのコネクタ画像に基づいて機械学習を行った場合でも、１度単位でコネクタ１２の姿勢を認識することができる。

図８は、撮像されたコネクタ画像に基づいてコネクタの姿勢を認識するコネクタの姿勢認識方法を含む端末部の把持方法を示すフローチャートである。図８において、ステップＳ１は、ワイヤーハーネスの製造支援装置２０が、サブアッシー１４、１５を、組立図板３０上に移し替える作業を行う前になされるステップであり、ステップＳ２〜Ｓ６は、ワイヤーハーネスの製造支援装置２０が、サブアッシー１４、１５を、組立図板３０上に移し替える作業を行う際になされるステップである。

まず、ステップＳ１において、姿勢認識装置７０が、複数に区分されたコネクタ姿勢のそれぞれに対して準備された複数のコネクタ画像に基づいて、複数に区分されたコネクタ１２の姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力可能なように機械学習する（ステップ(ａ)）。機械学習された姿勢認識装置７０が、移替用ロボット装置５０を制御する制御ユニット６０として実装される。

移替用ロボット装置５０が、ハンド５２によって所定の端末部挟持部４４に挟持された端末部を把持する際に、次ステップＳ２が実行される。ステップＳ２では、姿勢認識装置７０が、撮像部５８を介して撮像されたコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタ１２の姿勢の適合信頼性に関するスコアを出力する（ステップ（ｂ））。なお、撮像部５８によるコネクタ１２の撮像は、把持対象となるコネクタ１２を対象として行われる。この際、把持対象となるコネクタ１２を挟持する端末部挟持部４４に対して相対的に一定位置に配設した状態で行うことが好ましい。

次ステップＳ３において、コネクタ姿勢演算部６５ｂは、複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタ１２の姿勢を演算する（ステップ（ｃ））。コネクタ１２の姿勢は、上記したように、所定の軸を中心とする一定姿勢からの傾き角度として出力される。

そして、移替用ロボット装置５０が、演算されたコネクタ１２の姿勢に応じて、ハンド５２の姿勢を補正して当該ハンド５２により端末部１３を把持する。

例えば、図９に示すように、コネクタ１２の前後方向の軸を中心とし、幅方向が上下方向に沿っている姿勢を基準として、コネクタ１２がθ度傾いていると演算されると、ハンド移動機構部５６によってハンド５２姿勢を当該同じ方向にθ度傾けるようにする。そして、図１０に示すように、一対の爪部５２Ｆを閉じてコネクタ１２を把持する。これにより、一対の爪部５２Ｆを結ぶ方向にコネクタ１２の高さ方向が延在する姿勢で、ハンド５２によってコネクタ１２が把持される。

この後、ハンド移動機構部５６によってハンド５２を、移し替え先の保持具３４に向けて移動させる。そして、例えば、図１１に示すように、コネクタ１２の幅方向が上下方向に沿った姿勢となるように、ハンド移動機構部５６によってハンド５２の姿勢を変更し、その後、端末部１３を保持具３４に向けて移動させる。この状態では、コネクタ１２の幅方向が上下方向に沿った姿勢となっているため、当該コネクタ１２から延出する電線１１の束は比較的狭い幅内に存在するため、保持具３４のＵ字状開口内に収めるように容易に保持させることができる。

以上のように構成されたコネクタの姿勢認識装置７０、コネクタの姿勢認識方法によると、機械学習を行う際には、複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像に基づいて機械学習を行うため、なるべく簡易に機械学習できる。また、撮像部５８で撮像されたコネクタ画像に基づいて、複数に区分されたコネクタ１２の姿勢のそれぞれに対する、コネクタ１２の姿勢の適合信頼性に関するスコアを出力し、複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタ１２の姿勢を算出するため、複数に区分されたコネクタ姿勢よりも細かくコネクタ姿勢を認識できる。

例えば、コネクタ１２の姿勢を１度単位で機械学習させようとすると、１度当り１０００枚程度のコネクタ画像が必要となり、３６００００枚ものコネクタ画像が必要となる。しかも、ワイヤーハーネスでは、形状、色等が異なる多種類のコネクタが存在するため、それぞれの種類のコネクタについて機械学習を行わせようことは困難である。

本例では、コネクタ１２の姿勢を３０度単位で機械学習させているため、１２０００枚程度と、上記の場合よりも格段に少ないコネクタ画像を準備すればよい。

そして、実際のコネクタ姿勢を演算する際には、複数のコネクタ姿勢を表す角度に、複数のコネクタ姿勢のそれぞれに対応するスコアを考慮し、より具体的には、複数のコネクタ姿勢を表す角度に、それぞれに対応するスコアを重み付けた加重平均を算出して、コネクタ１２の姿勢を算出するため、区分した角度範囲よりも細かい角度で、コネクタ１２の姿勢を認識することができる。

この際、コネクタ姿勢は、コネクタ１２の前後方向の軸を中心として４５度以下の角度で区分すれば、コネクタ１２の本来の姿勢から大きくずれることなく、コネクタ１２の姿勢を認識することが可能となる。

また、姿勢認識装置７０で演算されたコネクタ１２の姿勢に応じて、ハンド５２の姿勢を変更して端末部１３を把持するため、ハンド５２が把持するコネクタ１２の姿勢を所望の姿勢にすることができる。

これにより、ハンド５２からコネクタ１２が脱落すること等を抑制でき、また、ハンド５２が端末部１３を保持具３４に把持させる作業等を確実に実施できる。

｛変形例｝
なお、上記実施形態では、撮像部５８がハンド５２に搭載されている例で説明したが、ハンド移動機構部５６に搭載されていてもよいし、保持バー４２に保持される各端末部１３を撮像可能な一定位置に支持されていてもよい。

上記実施形態では、電線集合体がサブアッシー１４、１５である例で説明したが、電線集合体は、複数の電線が所定の配線形態に組立てられたワイヤーハーネスであり、当該ワイヤーハーネスの端部のコネクタの姿勢を認識する装置、又は、把持する装置であってもよい。

サブアッシー１４、１５又はワイヤーハーネスの端末部の移動先としては、組立図板３０上における保持具３４の他、コネクタを接続可能なコネクタ接続部を備え、接続されたコネクタ内の端子に接触する検査ピン等によって、電線の接続の適否を検査する検査装置であること等が想定される。

なお、上記実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組合わせることができる。

以上のようにこの発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ ワイヤーハーネス
１１ 電線
１２ コネクタ
１３ 端末部
１４、１５ サブアッシー
３４ 保持具
４０ 保持バー保持部
４４ 端末部挟持部
５０ 移替用ロボット装置
５２ ハンド
５６ ハンド移動機構部
５８ 撮像部
６０ 制御ユニット
６４ｂ 姿勢認識モジュール
６５ コネクタ姿勢認識部
６５ａ 適合性信頼判定部
６５ｂ コネクタ姿勢演算部
７０ 姿勢認識装置
７２ 端末部把持装置

Claims (7)

1. 撮像されたコネクタ画像に基づいてコネクタの姿勢を認識するコネクタの姿勢認識装置であって、
   コネクタを撮像する撮像部と、
   複数に区分されたコネクタ姿勢のそれぞれのコネクタ画像に基づいて機械学習を行い、前記撮像部で撮像されたコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力する適合信頼性判定部と、前記複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタの姿勢を演算するコネクタ姿勢演算部とを含むコネクタ姿勢認識部と、
   を備えるコネクタの姿勢認識装置。
2. 請求項１に記載のコネクタの姿勢認識装置であって、
   前記コネクタ姿勢演算部は、前記複数のコネクタ姿勢を表す角度と、前記複数のコネクタ姿勢のそれぞれに対応するスコアとに基づいて、コネクタの姿勢を算出する、コネクタの姿勢認識装置。
3. 請求項２に記載のコネクタの姿勢認識装置であって、
   前記コネクタ姿勢演算部は、前記複数のコネクタ姿勢を表す角度に、それぞれに対応するスコアを重み付けた加重平均を算出して、コネクタの姿勢を算出する、コネクタの姿勢認識装置。
4. 請求項１から請求項３のいずれか１項に記載のコネクタの姿勢認識装置であって、
   前記コネクタ姿勢認識部において、前記コネクタ姿勢は、コネクタの前後方向の軸を中心として４５度未満の角度で区分されている、コネクタの姿勢認識装置。
5. 請求項１から請求項４のいずれか１項に記載のコネクタの姿勢認識装置と、
   コネクタから複数の電線群が延出する端末部を有する電線集合体の端末部を把持及び把持解除可能な把持部と、前記把持部を移動させる移動機構部とを含み、コネクタの姿勢認識装置で演算されたコネクタの姿勢に応じて、前記把持部の姿勢を変更して端末部を把持する把持用ロボットと、
   を備える端末部把持装置。
6. 撮像されたコネクタ画像に基づいてコネクタの姿勢を認識するコネクタの姿勢認識方法であって、
   （ａ）姿勢認識装置が、複数に区分されたコネクタ姿勢のそれぞれに対して準備された複数のコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力可能なように機械学習するステップと、
   （ｂ）前記姿勢認識装置が、撮像されたコネクタ画像に基づいて、複数に区分されたコネクタの姿勢のそれぞれに対する、コネクタの姿勢の適合信頼性に関するスコアを出力するステップと、
   （ｃ）前記姿勢認識装置が、前記複数のコネクタ姿勢のそれぞれに対するスコアに基づいてコネクタの姿勢を演算するステップと、
   を備えるコネクタの姿勢認識方法。
7. 把持用ロボットが、請求項６に記載のコネクタの姿勢認識方法で演算されたコネクタの姿勢に応じて、把持部の姿勢を変更して前記把持部により、コネクタから複数の電線群が延出する端末部を有する電線集合体の端末部を把持する、端末部の把持方法。