JP2020078852A - 学習システム、及びロボット位置調整システム - Google Patents

学習システム、及びロボット位置調整システム Download PDF

Info

Publication number
JP2020078852A
JP2020078852A JP2018213733A JP2018213733A JP2020078852A JP 2020078852 A JP2020078852 A JP 2020078852A JP 2018213733 A JP2018213733 A JP 2018213733A JP 2018213733 A JP2018213733 A JP 2018213733A JP 2020078852 A JP2020078852 A JP 2020078852A
Authority
JP
Japan
Prior art keywords
robot
work
image data
work robot
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018213733A
Other languages
English (en)
Other versions
JP7207704B2 (ja
Inventor
木村 哲也
Tetsuya Kimura
哲也 木村
厚史 生田
Atushi Ikuta
厚史 生田
義久 鈴木
Yoshihisa Suzuki
義久 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ASAHI TEKKO KK
Original Assignee
ASAHI TEKKO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ASAHI TEKKO KK filed Critical ASAHI TEKKO KK
Priority to JP2018213733A priority Critical patent/JP7207704B2/ja
Publication of JP2020078852A publication Critical patent/JP2020078852A/ja
Application granted granted Critical
Publication of JP7207704B2 publication Critical patent/JP7207704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】学習システム及びロボット位置調整システムにおいて、無人搬送車又は台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、作業用ロボットによる作業上のトラブルを防ぐ。【解決手段】ロボット2から送信された画像データ(無人搬送車の各停止位置においてカメラ4により撮影された画像データ)と、集中制御操作盤7で作業者により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行う。そして、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定し、ロボット2のアーム5の位置に問題があるときに、サーバ8等が、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。これにより、ロボット2による作業上のトラブルを防げる。【選択図】図3

Description

本発明は、学習システム、及びロボット位置調整システムに係り、特に、ロボットの作業位置を調整する技術に関する。
従来から、図14に示すように、複数の(生産)ラインを有する工場では、各ラインにおける部品又は製品の加工・組み立て等の作業を、別々の時間帯に行う場合には、作業者が、複数のライン間を移動して、これらのラインにおける作業を行うことが多い。
一方、近年は、工場における(生産)ラインにおいて、無人搬送車に作業用ロボットを載置した移動ロボットを、走行路に沿って走行させながら、ラインにおける各設備前に停止させて、自動で、加工、組み立て等の作業を行うようにしたロボットシステムが登場している(例えば、特許文献1参照)。
特開2002−73171号公報
しかしながら、上記特許文献1に示されるようなロボットシステムでは、無人搬送車の停止位置が、予め決められた所定の停止位置からずれたために、作業用ロボットの(作業)位置にずれが生じて、作業用ロボットの作業の停止や、作業用ロボットによる加工、組み立て等の作業の失敗といった、作業上のトラブルを引き起こすことがある。
特に、上記の移動ロボットを、工場における複数のラインに共通して用いた場合には、1つのラインのみに用いた場合と比べて、ライン上における無人搬送車の停止位置となる設備の数と種類が多いため、無人搬送車の停止位置が、予め決められた所定の停止位置からずれる可能性が高くなるので、上記の作業用ロボットによる作業上のトラブルが発生し易い。
上記の問題は、作業用ロボットを搭載した台車を、作業者が走行路に沿って走行させながら、ライン上の各設備前(各作業位置)に停止させて、加工、組み立て等の作業を行うようにした場合も、同様である。
本発明は、上記課題を解決するものであり、無人搬送車又は台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、作業用ロボットによる作業上のトラブルを防ぐことが可能な学習システム、及びロボット位置調整システムを提供することを目的とする。
上記課題を解決するために、本発明の第1の態様による学習システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、前記移動ロボットと通信を行うコンピュータとを備えた学習システムであって、前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記コンピュータは、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部とを備える。
この学習システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記機械学習部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うようにしてもよい。
本発明の第2の態様による学習システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、前記作業用ロボットと通信を行うコンピュータとを備えた学習システムであって、前記作業用ロボットは、前記ライン上の各作業位置において、前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記コンピュータは、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部とを備える。
この学習システムにおいて、前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記機械学習部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うようにしてもよい。
本発明の第3の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの制御を行うロボット制御部と、前記移動ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、前記コンピュータは、前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部とを備える。
このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。
このロボット位置調整システムにおいて、前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであるようにしてもよい。
本発明の第4の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、前記ロボット制御部は、学習済のニューラルネットワークを用いて、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する。
このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。
本発明の第5の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの制御を行うロボット制御部と、前記作業用ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、前記作業用ロボットは、前記ライン上の各作業位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、前記コンピュータは、前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部とを備える。
このロボット位置調整システムにおいて、前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。
このロボット位置調整システムにおいて、前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであるようにしてもよい。
本発明の第6の態様によるロボット位置調整システムは、カメラを有する、工場のラインにおける作業用ロボットと、前記作業用ロボットを搭載した台車と、前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、前記ロボット制御部は、学習済のニューラルネットワークを用いて、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する。
このロボット位置調整システムにおいて、前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定するようにしてもよい。
本発明の第1の態様による学習システムによれば、ロボット側送信部から送信された画像データ(無人搬送車の各停止位置においてカメラにより撮影された画像データ)と、ユーザにより入力された、作業用ロボットの位置に問題があるか否かを示す位置正誤情報とに基づいて、ニューラルネットワークの機械学習を行うことができる。そして、この機械学習後の学習済ニューラルネットワークは、ロボット側送信部から送信された画像データに基づいて、作業用ロボットの位置に問題があるか否かを判定することができる。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定することができるので、この判定結果に基づいて、作業用ロボットによる作業上のトラブルを未然に防ぐことができる。
本発明の第2の態様による学習システムによれば、ロボット側送信部から送信された画像データ(作業用ロボットのライン上における各作業位置において、カメラにより撮影された画像データ)と、ユーザにより入力された、作業用ロボットの位置に問題があるか否かを示す位置正誤情報とに基づいて、ニューラルネットワークの機械学習を行うことができる。そして、この機械学習後の学習済ニューラルネットワークは、ロボット側送信部から送信された画像データに基づいて、作業用ロボットの位置に問題があるか否かを判定することができる。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定することができるので、この判定結果に基づいて、作業用ロボットによる作業上のトラブルを未然に防ぐことができる。
本発明の第3の態様によるロボット位置調整システムによれば、コンピュータが、学習済のニューラルネットワークを用いて、ロボット側送信部から送信された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、ロボット制御部に、作業用ロボットの位置を調整するための指示コマンドを送信するように制御する。そして、ロボット制御部が、コンピュータから受信した指示コマンドに基づいて、作業用ロボットを動かして、作業用ロボットの位置を調整する。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。
本発明の第4の態様によるロボット位置調整システムによれば、ロボット制御部が、学習済のニューラルネットワークを用いて、無人搬送車の各停止位置においてカメラにより撮影された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整するように制御する。これにより、無人搬送車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。
本発明の第5の態様によるロボット位置調整システムによれば、コンピュータが、学習済のニューラルネットワークを用いて、ロボット側送信部から送信された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、ロボット制御部に、作業用ロボットの位置を調整するための指示コマンドを送信するように制御する。そして、ロボット制御部が、コンピュータから受信した指示コマンドに基づいて、作業用ロボットを動かして、作業用ロボットの位置を調整する。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。
本発明の第6の態様によるロボット位置調整システムによれば、ロボット制御部が、学習済のニューラルネットワークを用いて、作業用ロボットの各作業位置においてカメラにより撮影された画像データに基づき、作業用ロボットの位置に問題があるか否かを判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整するように制御する。これにより、台車の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車の停止位置のずれに起因する作業用ロボットの位置ずれが、問題のあるレベルか否か(作業用ロボットの位置に問題があるか否か)を判定して、この判定の結果、作業用ロボットの位置に問題があるときに、作業用ロボットの位置を調整することができる。従って、作業用ロボットによる作業上のトラブルを防ぐことができる。
本発明の第1の実施形態の学習・ロボット位置調整システムにおける移動ロボットの側面図。 (a)(b)は、それぞれ、同移動ロボットの無人搬送車の電気的ブロック構成図と、この無人搬送車の回転式レーザレーダの電気的ブロック構成図。 上記学習・ロボット位置調整システムの電気的ブロック構成図。 図3中のサーバのCPUの機能ブロック構成図。 工場のラインに配置された設備(マシニングセンタ)における、ロボットの作業の様子を示す図。 上記移動ロボットを、工場における複数のラインにおいて、共通して用いた場合の説明図。 上記移動ロボットを、走行路の両側に設備が配置された複数のラインに、共通して用いた場合の説明図。 学習済のアーム位置正誤判定NNとアーム位置調整プログラムを、集中制御操作盤のメモリに格納したロボット位置調整システムの電気的ブロック構成図。 学習済のアーム位置正誤判定NNとアーム位置調整プログラムを、ロボットコントローラのメモリに格納したロボット位置調整システムの電気的ブロック構成図。 学習済のアーム位置正誤判定NNとアーム位置調整プログラムを、ロボットに搭載したロボットコントローラのメモリに格納したロボット位置調整システムの電気的ブロック構成図。 本発明の第2の実施形態の学習・ロボット位置調整システムにおける台車付きロボットの側面図。 同学習・ロボット位置調整システムの電気的ブロック構成図。 上記台車付きロボットを、工場における複数のラインにおいて、共通して用いた場合の説明図。 従来の複数のラインを有する工場における作業の説明図。
以下、本発明を具体化した実施形態による学習システム、及びロボット位置調整システムについて、図面を参照して説明する。
まず、本発明の第1の実施形態による学習システム、及びロボット位置調整システムにおける移動ロボットについて、図1を参照して説明する。移動ロボット1は、工場のラインにおける作業用ロボットであるロボット2と、このロボット2を移動させる無人搬送車3を備えている。図1に示すように、ロボット2は、無人搬送車3の台座15上に取り付けられており、無人搬送車3の移動と停止に伴い、ライン上の各作業位置(ライン上の各設備の位置)に順次移動して、停止する。上記のロボット2は、カメラ4と、アーム5と、ハンド6とを備えている。カメラ4は、イメージセンサを内蔵しており、ロボット2の周辺の画像を、時々刻々と撮影して、ロボットコントローラ9(図3参照)を介して、図3に示す集中制御操作盤7及びサーバ8に送信する。アーム5は、例えば、垂直多関節型や、水平多関節型のロボットアームである。
移動ロボット1におけるカメラ4は、図1に実線で示すように、ハンド6の横に取り付けてもよいし、図1に破線で示すように、ロボット2の基台部2aの上に取り付けてもよいし、無人搬送車3の台座15に設置したポール16に取り付けてもよい。図1において、ロボット2の基台部2aの上に取り付けた場合のカメラに、4´の符号を付し、ポール16に取り付けた場合のカメラに、4″の符号を付している。
上記の無人搬送車3は、回転式レーザレーダ11、前輪13a、後輪13b、前輪用と後輪用のエンコーダ付きモータユニット12a,12b、取っ手14、及び台座15を備えている。上記の前輪13aの数は、1つ又は2つであり、後輪13bの数は、2つである。上記の取っ手14は、移動ロボット1を、あるラインから別のラインに移動する(図6参照)際に、ユーザに把持される。上記の台座15は、ロボット2を載置するための台である。
次に、上記図1に加えて、図2(a)(b)を参照して、無人搬送車3の電気的ブロック構成について、説明する。上記の回転式レーザレーダ11は、図2(b)に示すように、レーザ光を発するレーザ投光器11aと、レーザ投光器11aから発せられたレーザ光に対する、リフレクタR(図2(a)参照)からの反射光を受光するフォトダイオードから構成されたレーザ受光器11bと、上記のレーザ投光器11a及びレーザ受光器11bを含むレーダ本体11cを回転可能に支持する回転台11dと、回転台11dを回転させるためのエンコーダ付きモータユニット11eとを備えている。
また、無人搬送車3は、装置全体の制御・演算を行うAGVコントローラ20を備えている。このAGVコントローラ20は、例えば、上記のエンコーダ付きモータユニット11eによる回転台11dの回転の制御や、レーザ投光器11a及びレーザ受光器11bの制御や、後述する駆動回路21a、21b及び操舵回路22a、22bの制御や、後述する各リフレクタRまでの距離と方向の検出(演算)等を行う。
無人搬送車3(のAGVコントローラ20)は、上記の回転式レーザレーダ11を用いて、回転式レーザレーダ11から、工場のラインにおける走行路(図6の76a〜76c等参照)に配置された各リフレクタRまでの距離と方向の検出を行う。AGVコントローラ20は、レーザ投光器11aによるレーザ光の出射から、レーザ受光器11bによる各リフレクタRからの反射光の受光までの時間に基づいて、上記の各リフレクタRまでの距離を求める。また、AGVコントローラ20は、上記のエンコーダ付きモータユニット11eに内蔵されたエンコーダからの出力値に基づいて、上記の回転台11dの回転角を求めることにより、レーザ受光器11bによる各リフレクタRからの反射光の受光時における、各リフレクタRの方向の検出を行う。
各リフレクタRを、工場のラインにおける(無人搬送車3の)走行路に沿って配置した上で、AGVコントローラ20が、上記の各リフレクタRまでの距離と方向の検出を行うことにより、無人搬送車3が、走行路上の適切な位置を走行するようにすることができる。
また、図1及び図2(a)に示すエンコーダ付きモータユニット12a,12bは、それぞれ、前輪13a、後輪13bの駆動・操舵を行う。また、図2(a)に示す駆動回路21aと操舵回路22aは、前輪13aの駆動用と操舵用の回路であり、駆動回路21bと操舵回路22bは、後輪13bの駆動用と操舵用の回路である。
次に、図3を参照して、第1の実施形態による学習・ロボット位置調整システム10の電気的ブロック構成について、説明する。この学習・ロボット位置調整システム10は、請求項1及び2における学習システムと、請求項5乃至7におけるロボット位置調整システムの両方の構成要件を含んだものである。すなわち、この学習・ロボット位置調整システム10は、請求項1及び2における学習システムと、請求項5乃至7におけるロボット位置調整システムの両方に相当する。図3に示すように、学習・ロボット位置調整システム10は、上記の移動ロボット1と、移動ロボット1におけるロボット2の制御用のコントローラであるロボットコントローラ9(ロボット制御部)と、集中制御操作盤7と、ネットワーク(インターネット17)を介して集中制御操作盤7と通信を行う、クラウド上のサーバ8(請求項における「コンピュータ」)と、補助操作盤18とを備えている。
移動ロボット1のロボット2は、上記のカメラ4と、アーム5と、ハンド6とに加えて、送受信回線31(ロボット側送信部)を備えている。上記の送受信回線31は、ロボットコントローラ9との有線又は無線による通信用の回路である。この送受信回線31は、無人搬送車3の各停止位置においてカメラ4により撮影された画像データを、ロボットコントローラ9と集中制御操作盤7とを介して、サーバ8に送信する。
上記のロボットコントローラ9は、マイクロコントローラを用いて構成され、ロボット作業用のプログラムを用いて、ロボット2のアーム5やハンド6の動作を制御する。また、ロボットコントローラ9は、サーバ8から、インターネット17と、集中制御操作盤7とを介して受信した指示コマンドに基づいて、ロボット2を動かす。ロボットコントローラ9は、CPU33と、送受信回線34と、メモリ35を備えている。CPU33は、ロボットコントローラ9全体の制御・演算を行う。送受信回線34は、ロボット2(の送受信回線31)、及び集中制御操作盤7(の送受信回線42)との有線又は無線による通信用の回路である。メモリ35は、上記のロボット作業用のプログラム等のデータを記憶している。
上記の集中制御操作盤7は、ラインにおける各種装置の制御や、各種装置への指示入力に用いられる。この集中制御操作盤7は、CPU41と、送受信回線42と、メモリ43と、操作部44(請求項における位置正誤情報入力部)と、モニタ45とを備えている。集中制御操作盤7の操作部44は、ロボット2の動作設定を行うためのロボットコントローラ9への入力指示操作や、後述するサーバ8側のアーム位置正誤判定ニューラルネットワーク(以下、「アーム位置正誤判定NN」という)55の機械学習用の訓練(学習)データセットを作成するための位置正誤情報の入力に用いられる。この位置正誤情報は、ライン上の各設備でロボット2が作業をしている時における、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)に問題があるか否かを示す情報(いわゆるアノテーションデータ)である。
集中制御操作盤7における作業者は、無人搬送車3の各停止位置(ロボット2の各作業位置)においてロボット2のカメラ4から送られる、作業中のロボット2の周辺の画像をモニタ45で見て、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)に問題がないと判断した場合は、操作部44を用いて、ロボット2の位置に問題がない旨を示す位置正誤情報を入力し、ロボット2の位置に問題があると判断した場合は、操作部44を用いて、ロボット2の位置に問題がある旨を示す位置正誤情報を入力する。上記の「ロボット2の位置に問題がある」場合とは、ロボット2の位置(より正確に言うと、ロボット2のアーム5の位置)にずれが生じたために、ロボット2の作業の停止や、ロボット2による加工、組み立て等の作業の失敗といった、作業上のトラブルが実際に発生した場合、及びこれらのトラブルが発生してもおかしくなかった場合を意味する。
上記のサーバ8は、CPU51と、送受信回線52(請求項における「コンピュータ側送信部」)と、ハードディスク53(請求項における「ニューラルネットワーク記憶部」)と、操作部58と、メモリ59を備えている。CPU51は、サーバ8全体の制御・演算を行う。ハードディスク53は、訓練データセット54と、アーム位置正誤判定NN55と、学習プログラム56と、アーム位置調整プログラム57とを格納している。
上記のアーム位置正誤判定NN55は、ロボット2(の送受信回線31)から送信された、無人搬送車3の各停止位置(ロボット2の各作業位置)においてロボット2のカメラ4により撮影された画像データに基づいて、(現在の)ロボット2のアーム5の位置に問題があるか否かを判定するニューラルネットワークである。このアーム位置正誤判定NN55は、物体認識(画像のクラス分類)を行うタイプのニューラルネットワークであり、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)をベースにしたものであることが望ましい。
上記の訓練データセット54は、無人搬送車3の各停止位置においてロボット2のカメラ4から送られる、作業中のロボット2の周辺の画像のうち、上記の位置正誤情報が入力された時の画像のデータ(画像データ)と、この画像データに対応する位置正誤情報とから構成される教師データのデータセットである。上記の学習プログラム56は、訓練データセット54に格納された上記の画像データと位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うためのプログラムである。上記のアーム位置調整プログラム57は、上記のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するためのプログラムである。
図4は、サーバ8側のCPU51の機能ブロックを示す。サーバ8側のCPU51は、機械学習部61と、位置正誤判定部62と、コマンド送信制御部63とを有している。機械学習部61は、訓練データセット54に格納された上記の画像データと位置正誤情報(ロボット2の送受信回線31から送信された画像データと、集中制御操作盤7の操作部44からユーザにより入力された位置正誤情報)とに基づいて、アーム位置正誤判定NN55の機械学習を行う。位置正誤判定部62は、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された、(無人搬送車3の各停止位置においてカメラ4により撮影された)画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。コマンド送信制御部63は、位置正誤判定部62による判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。
次に、上記の図3及び図4に加えて、図5を参照して、上記のロボット2のアーム5の位置の調整について、さらに説明する。図5は、工場のラインに配置された設備がマシニングセンタ71である場合における、ロボット2の作業の様子を示している。図5において、ロボット2は、ハンド6にワーク72を把持しており、このワーク72は、作業時におけるロボット2のアーム5の位置が正しい場合には、マシニングセンタ71の冶具73に応じた固定位置(図中に破線で示す位置)にセットされて、刃具74により切削される。ところが、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれて、作業時におけるロボット2のアーム5の位置に問題がある場合には、ロボット2の作業の停止や、ロボット2による切削等の作業の失敗といった、作業上のトラブルを引き起こす可能性がある。
本実施形態の学習・ロボット位置調整システム10では、アーム位置正誤判定NN55の学習時には、上記のように、ロボット2のアーム5の位置に問題がある場合(作業上のトラブルが実際に発生した場合、及びこれらのトラブルが発生してもおかしくなかった場合)に、集中制御操作盤7における作業者が、操作部44を用いて、ロボット2のアーム5の位置に問題がある旨を示す位置正誤情報を入力する。逆に、ロボット2のアーム5の位置に問題がない場合には、作業者が、操作部44を用いて、ロボット2のアーム5の位置に問題がない旨を示す位置正誤情報を入力する。そして、サーバ8(の機械学習部61)が、上記のロボット2の作業時に、ロボット2側のカメラ4から送信された画像データと、上記の集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行う。なお、この時点では、ロボット2のアーム5の位置に問題がある場合でも、上記のサーバ8側のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いた、ロボット2のアーム5の位置の(自動)調整は、行わない。
そして、上記のサーバ8によるアーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、例えば、サーバ8側のシステム管理者が、サーバ8側のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いた、ロボット2のアーム5の位置の(自動)調整処理を開始するように、操作部58により指示する。
上述したロボット2のアーム5の位置の(自動)調整処理が開始されると、サーバ8のCPU51(の位置正誤判定部62)は、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データ(ロボット2の作業時にカメラ4から送信されたロボット2の周辺の画像のデータ)に基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。そして、サーバ8のCPU51(のコマンド送信制御部63)は、学習済のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、ロボット2による作業上のトラブルを防ぐことができる。
上記ロボット2のアーム5の位置調整処理時には、学習済のアーム位置正誤判定NN55が、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題がないと判定するまで、ロボット2のアーム5の位置を繰り返し調整する。
本実施形態では、図6に示すように、移動ロボット1は、工場における複数のラインにおいて、共通して用いられる。具体的には、作業者が、図5に示す移動ロボット1の取っ手14を把持して、例えば、図6に示すラインAにおける作業を行っていた移動ロボット1を、ラインAからラインBに移動させて、移動ロボット1が、ラインBにおける作業を行うようにさせる。このように、移動ロボット1は、その日の各ラインの稼働スケジュールに従って、ラインA〜Cで、代わる代わる使用される。
図6において、符号79a〜79fは、ラインA〜Cに配置されたマシニングセンタ等の設備を示し、符号76a〜76cは、それぞれ、ラインA〜Cの各々における走行路を示す。また、符号77a〜77cは、それぞれ、ラインA〜Cの各々におけるパーツフィード装置を示し、符号78a〜78cは、それぞれ、ラインA〜Cの各々における完成品排出コンベアを示し、符号18a〜18cは、それぞれ、ラインA〜Cの各々における補助操作盤を示す。上記のパーツフィード装置77a〜77cは、移動ロボット1へのワーク供給用の装置である。また、完成品排出コンベア78a〜78cは、マシニングセンタ等の設備79a〜79fによる加工又は組み立て工程後の完成品を排出するためのコンベアである。
また、図6における(1)〜(4)は、ラインA〜Cにおける無人搬送車3の各停止位置である。上記の(1)は、ロボット2がワーク(パーツ)を受け取る位置であり、(2)と(3)は、ロボット2が、各ラインにおける1番目と2番目の作業を行う位置であり、(4)は、ロボット2が、完成品を完成品排出コンベア78a〜78c(又は完成品排出コンベア78a〜78c上の段ボールの中)に載置する位置である。
図6に示すように、移動ロボット1を、工場における複数のラインに共通して用いた場合には、1つのラインのみに用いた場合と比べて、ライン上における無人搬送車3の停止位置となる設備(図6では、設備79a〜79f)の数と種類が多いため、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれる可能性が高くなるので、ロボット2による作業上のトラブルが発生し易い。
しかしながら、本実施形態の学習・ロボット位置調整システム10によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、サーバ8のCPU51(の位置正誤判定部62)が、学習済のアーム位置正誤判定NN55を用いて、移動ロボット1が、複数のラインのうちのいずれのラインに位置するときにも、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定する。そして、サーバ8のCPU51(のコマンド送信制御部63)が、学習済のアーム位置正誤判定NN55を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、送受信回線52を用いて、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。従って、移動ロボット1を、工場における複数のラインにおいて、共通して用いた場合でも、ロボット2のアーム5の位置に問題がある場合には、ロボット2のアーム5の位置を調整することができる。
本実施形態の学習・ロボット位置調整システム10、及びその移動ロボット1が適用可能な工場のラインは、図6に示すような走行路76a〜76cの片側に各設備79a〜79fが配置されたラインに限られず、図7に示すような走行路76d、76eの両側に各設備79g〜79nが配置されたラインであってもよい。
図7において、符号79g〜79nは、ラインA、Bに配置されたマシニングセンタ等の設備を示し、符号76d、76eは、それぞれ、ラインA、Bの各々における走行路を示す。また、符号77d〜77gは、それぞれ、ラインA、Bの各々におけるパーツフィード装置を示し、符号78d〜78gは、それぞれ、ラインA、Bの各々における完成品排出コンベアを示し、符号18d、18eは、それぞれ、ラインA、Bの各々における補助操作盤を示す。
上記のサーバ8によるアーム位置正誤判定NN55の機械学習が進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、図8及び図9に示すように、この学習済アーム位置正誤判定NN81を、アーム位置調整プログラム57と共に、集中制御操作盤7のメモリ43、又はロボットコントローラ9のメモリ35に格納してもよい。図8に示すように、集中制御操作盤7のメモリ43に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納したロボット位置調整システム80では、集中制御操作盤7が、請求項におけるロボット位置調整システムの「コンピュータ」に相当する。また、図9に示すように、ロボットコントローラ9のメモリ35に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納したロボット位置調整システムが、ロボット位置調整システム83である。これらの図8及び図9において、図3と同等の電気的ブロックには同一の符号を付し、その説明を省略する。
また、図10に示すロボット位置調整システム85のように、ロボット2自体に、マイクロコントローラ等のプロセッサで構成されたロボットコントローラ86を搭載して、このロボットコントローラ86内のメモリ88に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納するようにしてもよい。図10においても、図3と同等の電気的ブロックには同一の符号を付し、その説明を省略する。
ただし、学習・ロボット位置調整システム10が適用される工場のラインにおける設備の種類、配置、数等の変更が多い場合には、図3に示すサーバ8のハードディスク53に格納したアーム位置正誤判定NN55の機械学習を常時継続しながら、このサーバ8のアーム位置正誤判定NN55とアーム位置調整プログラム57を用いて、ロボット2のアーム5の位置に問題があるか否かの判定と、ロボット2のアーム5の位置の調整処理を行うようにした方が望ましい。
上記のように、第1の実施形態の学習・ロボット位置調整システム10によれば、ロボット2の送受信回線31から送信された画像データ(無人搬送車3の各停止位置においてカメラ4により撮影された画像データ)と、集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うことができる。
また、第1の実施形態の学習・ロボット位置調整システム10によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になった後は、サーバ8が、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
また、図8に示す学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を集中制御操作盤7のメモリ43に格納した場合にも、上記のアーム位置正誤判定NN55が学習済のニューラルネットワークであるとみなせる状態になった後における学習・ロボット位置調整システム10と同様な作用と効果を得ることができる。具体的には、集中制御操作盤7が、学習済アーム位置正誤判定NN81を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、集中制御操作盤7から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
また、図9に示すロボット位置調整システム83、及び図10に示すロボット位置調整システム85においても、ロボットコントローラ9又はロボットコントローラ86が、学習済アーム位置正誤判定NN81を用いて、無人搬送車3の各停止位置においてカメラ4により撮影された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するように制御する。これにより、無人搬送車3の停止位置が、予め決められた所定の停止位置からずれた場合でも、この無人搬送車3の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2の位置に問題があるか否か)を判定して、この判定の結果、ロボット2の位置に問題があるときに、ロボット2の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
次に、図11乃至図13参照して、本発明の第2の実施形態の学習・ロボット位置調整システム95、及びこの学習・ロボット位置調整システム95における台車付きロボット91について、説明する。図11及び図13において、上記図1及び図6と同等の部材には同一の符号を付して、その説明を省略する。また、図12において、上記図3と同等の電気的ブロックには、同一の符号を付して、その説明を省略する。
図11は、第2の実施形態の学習・ロボット位置調整システム95における台車付きロボット91を示す。第1の実施形態の学習・ロボット位置調整システム10は、無人搬送車3の台座15上にロボット2を取り付けた(搭載した)移動ロボット1を備えていたが、第2の実施形態の学習・ロボット位置調整システム95は、上記の移動ロボット1の代わりに、台車92の台座96上にロボット2を取り付けた(搭載した)台車付きロボット91を備えている。これ以外の構成については、第1の実施形態の学習・ロボット位置調整システム10と、第2の実施形態の学習・ロボット位置調整システム95とは、同様である。
上記の台車92は、上記のロボット2が取り付けられる台座96に加えて、前後の車輪93と、取っ手97とを備えている。上記の取っ手97は、第1の実施形態における無人搬送車3の取っ手14と同様に、台車付きロボット91を、あるラインから別のラインに移動する(図13参照)際に、ユーザに把持される。第2の実施形態では、図13に示すように、工場の各ラインにおける走行路(図13の例では、走行路76a〜76c)には、レール94(図13の例では、レール94a〜94c)が配設されており、台車92の前後の車輪93は、このレール94に嵌め込まれて、このレール94上を移動する。
本実施形態においても、図13に示すように、台車付きロボット91に取り付けられたロボット2は、工場における複数のラインにおいて、共通して用いられる。具体的には、作業者が、図11に示す台車付きロボット91の取っ手97を把持して、例えば、図13に示すラインAにおける作業を行っていた台車付きロボット91を、ラインAからラインBに移動させて(台車92の前後の車輪93を、ラインAにおけるレール94aから取り外して、ラインBにおけるレール94bに嵌め込んで)、台車付きロボット91のロボット2を、ラインBにおける各作業位置に移動させて、ラインBの各設備を用いた作業を行うようにさせる。このように、台車付きロボット91は、その日の各ラインの稼働スケジュールに従って、ラインA〜Cで、代わる代わる使用される。
図12は、第2の実施形態の学習・ロボット位置調整システム95の電気的ブロック構成を示す。この電気的ブロック構成は、移動ロボット1が、台車付きロボット91に代わる点以外は、図3に示す第1の実施形態の学習・ロボット位置調整システム10の電気的ブロック構成と同じである。
第2の実施形態の学習・ロボット位置調整システム95によれば、第1の実施形態の学習・ロボット位置調整システム10と同様に、ロボット2の送受信回線31から送信された画像データ(ロボット2のライン上における各作業位置において、カメラ4により撮影された画像データ)と、集中制御操作盤7の操作部44から作業者(ユーザ)により入力された位置正誤情報とに基づいて、アーム位置正誤判定NN55の機械学習を行うことができる。
また、第2の実施形態の学習・ロボット位置調整システム95によれば、アーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になった後は、サーバ8が、学習済のアーム位置正誤判定NN55を用いて、ロボット2の送受信回線31から送信された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボットコントローラ9に、ロボット2のアーム5の位置を調整するための指示コマンドを送信するように制御する。そして、ロボットコントローラ9が、サーバ8から受信した指示コマンドに基づいて、ロボット2を動かして、ロボット2のアーム5の位置を調整する。これにより、台車92の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車92の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2のアーム5の位置に問題があるか否か)を判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
なお、第2の実施形態においても、サーバ8によるアーム位置正誤判定NN55の機械学習がある程度進んで、アーム位置正誤判定NN55が、学習済のニューラルネットワークであるとみなせる状態になると、第1の実施形態におけるロボット位置調整システム80及びロボット位置調整システム83(図8及び図9参照)と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを、集中制御操作盤7のメモリ43、又はロボットコントローラ9のメモリ35に格納してもよい。また、第1の実施形態におけるロボット位置調整システム85(図10参照)と同様に、ロボット2自体に、ロボットコントローラ86を搭載して、このロボットコントローラ86内のメモリ88に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57とを格納するようにしてもよい。
また、第2の実施形態においても、図8に示す第1の実施形態におけるロボット位置調整システム80と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を集中制御操作盤7のメモリ43に格納した場合に、上記のアーム位置正誤判定NN55が学習済のニューラルネットワークであるとみなせる状態になった後における学習・ロボット位置調整システム95と同様な作用と効果を得ることができる。
また、第2の実施形態においても、図9及び図10に示す第1の実施形態におけるロボット位置調整システム83及びロボット位置調整システム85と同様に、学習済アーム位置正誤判定NN81とアーム位置調整プログラム57を、ロボットコントローラ9のメモリ35又はロボットコントローラ86のメモリ88に格納した場合に、ロボットコントローラ9又はロボットコントローラ86が、学習済アーム位置正誤判定NN81を用いて、ロボット2の各作業位置においてカメラ4により撮影された画像データに基づき、ロボット2のアーム5の位置に問題があるか否かを判定して、この判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整するように制御する。これにより、台車92の停止位置が、予め決められた所定の停止位置からずれた場合でも、この台車92の停止位置のずれに起因するロボット2のアーム5の位置ずれが、問題のあるレベルか否か(ロボット2の位置に問題があるか否か)を判定して、この判定の結果、ロボット2の位置に問題があるときに、ロボット2の位置を調整することができる。従って、ロボット2による作業上のトラブルを防ぐことができる。
変形例:
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
変形例1:
上記の各実施形態では、ロボット2側の送受信回線31から送信された画像データと、集中制御操作盤7の操作部44から作業者により入力された位置正誤情報とを、インターネット17を介して、クラウド上のサーバ8に送信して、サーバ8のハードディスク53に格納されたアーム位置正誤判定NN55の機械学習を行うようにした。けれども、ロボットのアームの位置に問題があるか否かを判定するニューラルネットワークを、工場の構内に配されたコンピュータのハードディスク等に格納して、この工場構内に配されたコンピュータに格納されたニューラルネットワークの機械学習を行うようにしてもよい。
変形例2:
また、上記の各実施形態では、請求項における「学習済のニューラルネットワーク」が、ロボット2のアーム5の位置に問題があるか否かを判定するニューラルネットワークであり、この「学習済のニューラルネットワーク」を用いた判定の結果、ロボット2のアーム5の位置に問題があるときに、ロボット2のアーム5の位置を調整する場合の例を示した。けれども、本発明の学習システム及びロボット位置調整システムは、これに限られず、例えば、「学習済のニューラルネットワーク」が、ロボットのハンドの位置に問題があるか否かを判定するニューラルネットワークであり、この学習済のニューラルネットワークを用いた判定の結果、ロボットのハンドの位置に問題があるときに、ロボットのハンドの位置を調整するようにしてもよい。また、「学習済のニューラルネットワーク」が、ロボットの先端、中央、又は後端の位置に問題があるか否かを判定するニューラルネットワークであり、この学習済のニューラルネットワークを用いた判定の結果、ロボットの先端、中央、又は後端の位置に問題があるときに、ロボットの先端、中央、又は後端の位置を調整するようにしてもよい。
変形例3:
また、上記第1の実施形態では、ロボット2が無人搬送車3の台座15上に取り付けられる(搭載される)場合の例を示したが、これに限られず、例えば、ロボット自体に車輪を取り付けて、無人搬送車が、ロボットの背面を押すことにより、ロボットを移動させてもよい。また、ロボットを無人搬送車の前部に取り付けてもよい。
変形例4:
また、上記第1の実施形態では、無人搬送車3が、いわゆるレーザ誘導方式の無人搬送車である場合の例を示したが、無人搬送車の誘導方式は、これに限られず、例えば、磁気誘導方式であってもよいし、磁気誘導とレーザ誘導とを併用したマルチ誘導方式であってもよい。
1 移動ロボット
2 ロボット(作業用ロボット)
3 無人搬送車
4 カメラ
7 集中制御操作盤(コンピュータ)
8 サーバ(コンピュータ)
9、86 ロボットコントローラ(ロボット制御部)
10、95 学習・ロボット位置調整システム(学習システム、及びロボット位置調整システム)
31 送受信回線(ロボット側送信部)
44 操作部(位置正誤情報入力部)
52 送受信回線(コンピュータ側送信部)
53 ハードディスク(ニューラルネットワーク記憶部)
55 アーム位置正誤判定NN(作業用ロボットの位置に問題があるか否かを判定するニューラルネットワーク、及び学習済のニューラルネットワーク)
61 機械学習部
62 位置正誤判定部
63 コマンド送信制御部
80、83、85 ロボット位置調整システム
81 学習済アーム位置正誤判定NN(学習済のニューラルネットワーク)
92 台車
A,B,C ライン

Claims (14)

  1. カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、
    前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、
    前記移動ロボットと通信を行うコンピュータとを備えた学習システムであって、
    前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
    前記コンピュータは、
    前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、
    前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部と
    を備える学習システム。
  2. 前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
    前記機械学習部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うことを特徴とする請求項1に記載の学習システム。
  3. カメラを有する、工場のラインにおける作業用ロボットと、
    前記作業用ロボットを搭載した台車と、
    前記作業用ロボットの位置に問題があるか否かを示す位置正誤情報を入力するための位置正誤情報入力部と、
    前記作業用ロボットと通信を行うコンピュータとを備えた学習システムであって、
    前記作業用ロボットは、前記ライン上の各作業位置において、前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
    前記コンピュータは、
    前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定するニューラルネットワークを記憶するニューラルネットワーク記憶部と、
    前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行う機械学習部と
    を備える学習システム。
  4. 前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
    前記機械学習部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データと、前記位置正誤情報入力部からユーザにより入力された前記位置正誤情報とに基づいて、前記ニューラルネットワークの機械学習を行うことを特徴とする請求項3に記載の学習システム。
  5. カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、
    前記作業用ロボットの制御を行うロボット制御部と、
    前記移動ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、
    前記移動ロボットは、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
    前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、
    前記コンピュータは、
    前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、
    学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、
    前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部と
    を備えるロボット位置調整システム。
  6. 前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
    前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項5に記載のロボット位置調整システム。
  7. 前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、
    前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであることを特徴とする請求項5又は請求項6に記載のロボット位置調整システム。
  8. カメラを有する、工場のラインにおける作業用ロボット、及び前記作業用ロボットを移動させる無人搬送車を備えた移動ロボットと、
    前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、
    前記ロボット制御部は、
    学習済のニューラルネットワークを用いて、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、
    前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する
    ロボット位置調整システム。
  9. 前記移動ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
    前記位置正誤判定部は、前記移動ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記無人搬送車の各停止位置において前記カメラにより撮影された画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項8に記載のロボット位置調整システム。
  10. カメラを有する、工場のラインにおける作業用ロボットと、
    前記作業用ロボットを搭載した台車と、
    前記作業用ロボットの制御を行うロボット制御部と、
    前記作業用ロボットと通信を行うコンピュータとを備えたロボット位置調整システムであって、
    前記作業用ロボットは、前記ライン上の各作業位置において前記カメラにより撮影された画像データを、前記コンピュータに送信するロボット側送信部を備え、
    前記ロボット制御部は、前記コンピュータから受信した指示コマンドに基づいて、前記作業用ロボットを動かし、
    前記コンピュータは、
    前記ロボット制御部に前記指示コマンドを送信するコンピュータ側送信部と、
    学習済のニューラルネットワークを用いて、前記ロボット側送信部から送信された前記画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部と、
    前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記コンピュータ側送信部を用いて、前記ロボット制御部に、前記作業用ロボットの位置を調整するための指示コマンドを送信するように制御するコマンド送信制御部と
    を備えるロボット位置調整システム。
  11. 前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
    前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項10に記載のロボット位置調整システム。
  12. 前記位置正誤判定部は、前記ロボット側送信部から送信された前記画像データに基づいて、前記作業用ロボットのアームの位置に問題があるか否かを判定し、
    前記コマンド送信制御部が送信するように制御する指示コマンドは、前記作業用ロボットのアームの位置を調整するための指示コマンドであることを特徴とする請求項10又は請求項11に記載のロボット位置調整システム。
  13. カメラを有する、工場のラインにおける作業用ロボットと、
    前記作業用ロボットを搭載した台車と、
    前記作業用ロボットの制御を行うロボット制御部とを備えたロボット位置調整システムであって、
    前記ロボット制御部は、
    学習済のニューラルネットワークを用いて、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定する位置正誤判定部を備え、
    前記位置正誤判定部による判定の結果、前記作業用ロボットの位置に問題があるときに、前記作業用ロボットの位置を調整するように制御する
    ロボット位置調整システム。
  14. 前記作業用ロボットは、前記工場における複数のラインにおいて、共通して用いられ、
    前記位置正誤判定部は、前記作業用ロボットが、前記複数のラインのうちのいずれのラインに位置するときにも、前記作業用ロボットの各作業位置において前記カメラにより撮影された画像データに基づき、前記作業用ロボットの位置に問題があるか否かを判定することを特徴とする請求項13に記載のロボット位置調整システム。
JP2018213733A 2018-11-14 2018-11-14 学習システム、及びロボット位置調整システム Active JP7207704B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018213733A JP7207704B2 (ja) 2018-11-14 2018-11-14 学習システム、及びロボット位置調整システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018213733A JP7207704B2 (ja) 2018-11-14 2018-11-14 学習システム、及びロボット位置調整システム

Publications (2)

Publication Number Publication Date
JP2020078852A true JP2020078852A (ja) 2020-05-28
JP7207704B2 JP7207704B2 (ja) 2023-01-18

Family

ID=70801303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018213733A Active JP7207704B2 (ja) 2018-11-14 2018-11-14 学習システム、及びロボット位置調整システム

Country Status (1)

Country Link
JP (1) JP7207704B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097536A1 (ja) * 2020-11-05 2022-05-12 Dmg森精機株式会社 ロボット搭載移動装置及びシステムの位置決め制御方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018240A (ja) * 2006-07-11 2008-01-31 Siemens Ag 産業用ロボットを備えたx線システム
JP2009083095A (ja) * 2007-09-29 2009-04-23 Ihi Corp ロボット装置の制御方法及びロボット装置
JP2012232370A (ja) * 2011-04-28 2012-11-29 Seiko Epson Corp ロボットコントローラー、簡易設置型ロボット、及び簡易設置型ロボットの制御方法
US20150306761A1 (en) * 2014-04-29 2015-10-29 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots
JP2016129923A (ja) * 2015-01-14 2016-07-21 サンナイス株式会社 無人車
US20170008168A1 (en) * 2015-07-10 2017-01-12 Board Of Trustees Of Michigan State University Navigational Control of Robotic Systems and Other Computer-Implemented Processes Using Developmental Network with Turing Machine Learning
JP2017090277A (ja) * 2015-11-11 2017-05-25 国立大学法人九州大学 把持情報取得装置、ロボット教示装置及びロボット制御装置、並びに把持情報取得方法、ロボット教示方法及びロボット制御方法
JP2018043338A (ja) * 2016-09-16 2018-03-22 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法
JP2018051721A (ja) * 2016-09-30 2018-04-05 キヤノン株式会社 異常検出装置、異常検出方法及びプログラム
JP2018118341A (ja) * 2017-01-24 2018-08-02 三菱重工エンジン&ターボチャージャ株式会社 作業ロボット及び生産システム
JP2018149669A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 学習装置及び学習方法
JP2018158439A (ja) * 2018-03-15 2018-10-11 株式会社東芝 物体ハンドリング装置、制御装置、および較正方法
JP2018161692A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018240A (ja) * 2006-07-11 2008-01-31 Siemens Ag 産業用ロボットを備えたx線システム
JP2009083095A (ja) * 2007-09-29 2009-04-23 Ihi Corp ロボット装置の制御方法及びロボット装置
JP2012232370A (ja) * 2011-04-28 2012-11-29 Seiko Epson Corp ロボットコントローラー、簡易設置型ロボット、及び簡易設置型ロボットの制御方法
US20150306761A1 (en) * 2014-04-29 2015-10-29 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots
JP2016129923A (ja) * 2015-01-14 2016-07-21 サンナイス株式会社 無人車
US20170008168A1 (en) * 2015-07-10 2017-01-12 Board Of Trustees Of Michigan State University Navigational Control of Robotic Systems and Other Computer-Implemented Processes Using Developmental Network with Turing Machine Learning
JP2017090277A (ja) * 2015-11-11 2017-05-25 国立大学法人九州大学 把持情報取得装置、ロボット教示装置及びロボット制御装置、並びに把持情報取得方法、ロボット教示方法及びロボット制御方法
JP2018043338A (ja) * 2016-09-16 2018-03-22 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法
JP2018051721A (ja) * 2016-09-30 2018-04-05 キヤノン株式会社 異常検出装置、異常検出方法及びプログラム
JP2018118341A (ja) * 2017-01-24 2018-08-02 三菱重工エンジン&ターボチャージャ株式会社 作業ロボット及び生産システム
JP2018149669A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 学習装置及び学習方法
JP2018161692A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2018158439A (ja) * 2018-03-15 2018-10-11 株式会社東芝 物体ハンドリング装置、制御装置、および較正方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097536A1 (ja) * 2020-11-05 2022-05-12 Dmg森精機株式会社 ロボット搭載移動装置及びシステムの位置決め制御方法
JP2022074725A (ja) * 2020-11-05 2022-05-18 Dmg森精機株式会社 ロボット搭載移動装置及びシステムの位置決め制御方法
JP7133604B2 (ja) 2020-11-05 2022-09-08 Dmg森精機株式会社 ロボット搭載移動装置及びシステムの位置決め制御方法

Also Published As

Publication number Publication date
JP7207704B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
JP6458052B2 (ja) 自走式関節ロボット
US7643890B1 (en) Remote management of portable construction devices
WO2016103304A1 (ja) 生産システム
US10775764B2 (en) Control method, working system, and manufacturing method
US20200198154A1 (en) Method of Controlling Surface Treatment System
CN104831912B (zh) 一种建筑墙面施工机器人行走引导装置及方法
JP2020078852A (ja) 学習システム、及びロボット位置調整システム
CN111992895A (zh) 一种智能打标***与方法
CN117519213B (zh) 一种多机器人协同货运控制方法及***、存储介质
KR20120103429A (ko) 학습형 강관 이음부 자동용접 장치
CN111775147B (zh) 一种可移动机器人智能控制***
JP2008036714A (ja) ワーク搬送装置の制御方法および制御装置
US11077559B2 (en) Support robot and methods of use thereof
JP5988918B2 (ja) 溶接装置、複数の溶接装置を備える溶接システム、および溶接装置に用いられるプログラム
JP5150003B1 (ja) ロール体取扱システム、ロール体供給方法およびロール体搬送装置
US20210229273A1 (en) Control method and control device for mobile robot, and robot system
CN110936184B (zh) 零件加工设备及方法
JP2611225B2 (ja) 無人搬送車
JP2017088329A (ja) 金属板の重ね合わせ装置及び重ね合わせ方法
KR20200075498A (ko) 무인운반차의 턴테이블 동기화 및 위치보정 시스템
JP2016224903A (ja) 搬送車両
JP2021018485A (ja) 移動体の制御装置及び移動体
CN110822907B (zh) 一种用于烧结机车维修的回转装置及其位置补偿方法
CN111971634A (zh) 双模式自动引导的载运器
US20220267102A1 (en) Conveyance system, conveyance method, and conveyance program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7207704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150