JP2022102930A - 制御システム、および学習済モデルの作成方法 - Google Patents
制御システム、および学習済モデルの作成方法 Download PDFInfo
- Publication number
- JP2022102930A JP2022102930A JP2020218011A JP2020218011A JP2022102930A JP 2022102930 A JP2022102930 A JP 2022102930A JP 2020218011 A JP2020218011 A JP 2020218011A JP 2020218011 A JP2020218011 A JP 2020218011A JP 2022102930 A JP2022102930 A JP 2022102930A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- skilled worker
- control
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 52
- 238000012545 processing Methods 0.000 claims description 50
- 238000005520 cutting process Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 8
- 238000011144 upstream manufacturing Methods 0.000 claims description 7
- 229910000831 Steel Inorganic materials 0.000 description 79
- 239000010959 steel Substances 0.000 description 79
- 239000000463 material Substances 0.000 description 62
- 230000002452 interceptive effect Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000013480 data collection Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000013707 sensory perception of sound Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 102100033591 Calponin-2 Human genes 0.000 description 2
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 102100033620 Calponin-1 Human genes 0.000 description 1
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Numerical Control (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】実施形態の制御システムは、熟練作業者の対象物の着目点を撮像するカメラによって撮像された画像のデータを取得すると共に、前記熟練作業者が機械を操作した内容を示す操作信号のデータを取得する取得部と、前記画像のデータを学習データ、前記操作信号のデータを教師データとして学習された学習済モデルに、前記画像のデータを入力することで、前記機械を操作するための信号を生成する推論部と、前記推論部によって生成された信号を前記機械に与える制御部と、を備える。
【選択図】図4
Description
図1は、制御システムの一例である鋼材加工システム1の概略図である。鋼材加工システム1は、例えば、コイル支持部10と、アンコイラ20と、ラフレベラ30と、サイドトリマ40と、第1カメラ71と、第2カメラ72と、制御装置100と、学習済モデル作成装置200とを備える。ここでは、制御装置100と学習済モデル作成装置200とが別体の装置としているが、これに限られない。制御装置100と学習済モデル作成装置200とは一体的に形成されてもよい。
図4は、制御装置100の機能構成の一例を示すブロック図である。制御装置100は、例えば、機械操作部110と、機械表示部120と、取得部130と、処理部140と、記憶部150と、制御部160と、通信部170と、インタラクティブ・ユーザ・インターフェイス部190とを備える。制御装置100は、第1カメラ71および第2カメラ72と有線で接続されている。
図7は、学習済モデル作成装置200の機能構成の一例を示すブロック図である。学習済モデル作成装置200は、例えば、処理部240と、記憶部250と、通信部270とを備える。記憶部250と通信部270は、上述した記憶部150と通信部170と同様の構成であってよく、詳細な説明は省略する。また、学習済モデル作成装置200は、上述したインタラクティブ・ユーザ・インターフェイス部190と同様の構成を備えていてもよい。また、学習済モデル作成装置200は、第1カメラ71、第2カメラ72、および機械操作部110と直接接続されていてもよい。
次に、制御装置100による推定処理について詳細に説明する。図13は、画像データから抽出される学習済モデルへの入力データの一例を示す図である。図14は、制御装置100による推定処理における概念図である。図15は、制御装置100による推定処理の一例を示すフローチャートである。先に、操作者はインタラクティブ・ユーザ・インターフェイス部190を介して、鋼材10Aの種類を選択しておく。こうすることで、鋼材の種類ごとに取得されたデータに基づいて、鋼材の種類ごとに学習済モデルを作成することができる。
まず、インタラクティブ・ユーザ・インタフェース部190に含まれる操作機能の一例について説明する。インタラクティブ・ユーザ・インタフェース部190は、鋼板選択ボタンと、お手本OKボタンと、自動ボタンと、手動ボタンとを含む。鋼板選択ボタンは、作業者がデータに鋼板種類をラベリングするボタン押すと、ONでSW.点灯、更に押すとOFFで消灯となる。お手本OKボタンは、作業者が正しいデータであると認定するボタン押すとONでSW.点灯、板抜けセンサ信号でOFF消灯となる。自動ボタンは、コイル巻き出しはじめに頻繁にレバー操作しなくても鋼板が流れるようになった時に、自動センタリング・アシストを開始するためのボタンであり、押すと自動になり点灯、コイル終端信号で点滅し、再度押すと手動に切り替わり消灯となる。手動ボタンは、緊急時のシステム動作を停止し手動に戻すボタンであり、押すとONでSW.点灯、もう一度押すとOFFでSW.消灯となる。
制御装置100は、教師データとする操作履歴情報を取得する際に、熟練作業者の鋼材10Aの着目点に関する情報(例えば、上述の着目情報)をインタラクティブ・ユーザ・インタフェース部190に表示させてもよい。インタラクティブ・ユーザ・インタフェース部190に表示される着目情報は、テキスト情報であってもよく、第1カメラ71(あるいは第2カメラ72)により撮像された画像をリアルタイムに表示する画面上に重畳して、着目箇所を目立たせるマーカ等であってもよい。
Claims (9)
- 熟練作業者の対象物の着目点を撮像するカメラによって撮像された画像のデータを取得すると共に、前記熟練作業者が機械を操作した内容を示す操作信号のデータを取得する取得部と、
前記画像のデータを学習データ、前記操作信号のデータを教師データとして学習された学習済モデルに、前記画像のデータを入力することで、前記機械を操作するための信号を生成する推論部と、
前記推論部によって生成された信号を前記機械に与える制御部と、
を備える制御システム。 - 前記画像のデータを学習データ、前記操作信号のデータを教師データとして前記学習済モデルを学習する学習処理部を更に備える、
請求項1記載の制御システム。 - 前記制御部は、前記着目点に関する情報を、前記機械を操作する操作者が目視可能な表示部に表示させ、
前記取得部は、さらに、前記表示部に前記着目点に関する情報が表示されている期間において入力された前記熟練作業者と別の熟練作業者が前記機械を操作した内容を示す操作信号のデータを取得し、
前記学習処理部は、前記画像のデータを学習データとし、前記別の熟練作業者が前記機械を操作した内容を示す操作信号のデータを教師データとして学習済モデルを学習する
請求項2に記載の制御システム。 - 前記制御部は、前記機械を操作する操作者が目視可能な表示部に、前記推論部により推定された操作内容を表示させる、
請求項1に記載の制御システム。 - 操作部をさらに備え、
前記制御部は、複数の前記画像のうち前記操作部を介して熟練作業者により選択された画像に対して、良好な教師データであること示すラベリング情報を付与する、
請求項1に記載の制御システム。 - 前記制御部は、前記推論部により推定された操作内容に基づく制御が規定範囲内であるか否かを判定し、規定範囲内でない場合、前記規定範囲内の制御を実行する、
請求項1に記載の制御システム。 - 前記制御部は、前記推論部により推定された操作内容に基づく自動制御を実行中に、操作部を介して操作を受け付け場合、前記操作部を介して受け付けた操作に基づく手動制御に切り替える、
請求項1に記載の制御システム。 - 搬送中のシート状部材の端部を搬送方向に沿って切断する切断位置を含む所定エリアを撮像するカメラから画像のデータを取得する共に、前記切断位置よりも搬送方向の上流側において前記シート状部材の搬送位置を調整する調整装置を操作した内容を示す操作信号のデータを取得する取得部と、
前記切断位置において熟練作業者が着目する所定のエリアを撮像した複数の画像のデータを学習データ、前記操作信号のデータを教師データとして学習された学習済モデルに、前記画像のデータを入力することで、前記調整装置を操作するための信号を生成する推論部と、
前記推論部により推定された操作内容に基づいて、前記調整装置を制御する制御部と、
を備える制御システム。 - 搬送中のシート状部材の端部を搬送方向に沿って切断する切断位置において熟練作業者が着目する所定のエリアを撮像した複数の撮像画像を取得し、
前記切断位置よりも搬送方向の上流側において前記シート状部材の搬送位置を調整する調整装置に対する操作履歴を示す情報を取得し、
前記複数の撮像画像に基づき得られた情報を学習データとし、前記操作履歴を示す情報とを教師データとして、前記調整装置に対する操作と前記シート状部材の搬送状況との関係性を学習させた学習モデルを作成する、
学習済モデルの作成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020218011A JP7129673B2 (ja) | 2020-12-25 | 2020-12-25 | 制御システム、および学習済モデルの作成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020218011A JP7129673B2 (ja) | 2020-12-25 | 2020-12-25 | 制御システム、および学習済モデルの作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022102930A true JP2022102930A (ja) | 2022-07-07 |
JP7129673B2 JP7129673B2 (ja) | 2022-09-02 |
Family
ID=82273259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020218011A Active JP7129673B2 (ja) | 2020-12-25 | 2020-12-25 | 制御システム、および学習済モデルの作成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7129673B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002066627A (ja) * | 2000-08-25 | 2002-03-05 | Aida Engineering Co Ltd | チューブミルライン及びロールフォーミングライン |
JP2014083572A (ja) * | 2012-10-25 | 2014-05-12 | Jfe Steel Corp | 鋼板搬送装置および鋼板の搬送制御方法 |
JP2017138282A (ja) * | 2016-02-05 | 2017-08-10 | トヨタ自動車株式会社 | 自動運転システム |
JP2018206286A (ja) * | 2017-06-09 | 2018-12-27 | 川崎重工業株式会社 | 動作予測システム及び動作予測方法 |
JP2020052539A (ja) * | 2018-09-25 | 2020-04-02 | トヨタ自動車株式会社 | 学習画像選別装置 |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
WO2020235471A1 (ja) * | 2019-05-17 | 2020-11-26 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の自動走行システム |
-
2020
- 2020-12-25 JP JP2020218011A patent/JP7129673B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002066627A (ja) * | 2000-08-25 | 2002-03-05 | Aida Engineering Co Ltd | チューブミルライン及びロールフォーミングライン |
JP2014083572A (ja) * | 2012-10-25 | 2014-05-12 | Jfe Steel Corp | 鋼板搬送装置および鋼板の搬送制御方法 |
JP2017138282A (ja) * | 2016-02-05 | 2017-08-10 | トヨタ自動車株式会社 | 自動運転システム |
JP2018206286A (ja) * | 2017-06-09 | 2018-12-27 | 川崎重工業株式会社 | 動作予測システム及び動作予測方法 |
JP2020052539A (ja) * | 2018-09-25 | 2020-04-02 | トヨタ自動車株式会社 | 学習画像選別装置 |
WO2020075423A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
WO2020235471A1 (ja) * | 2019-05-17 | 2020-11-26 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の自動走行システム |
Also Published As
Publication number | Publication date |
---|---|
JP7129673B2 (ja) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10732623B2 (en) | Remotely operated mobile robot and robot control system | |
JP7156731B2 (ja) | 作業支援装置、作業支援方法及びプログラム | |
EP3682415B1 (en) | Image acquisition device and method of controlling the same | |
JP6343953B2 (ja) | プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム | |
JP2013140563A (ja) | 印刷システム、画像形成装置及び方法 | |
JP4586092B2 (ja) | 複数のロボット機構部を備えたロボットシステム | |
US20050267633A1 (en) | Vehicle appraisal assisting robot and vehicle appraisal system using the robot | |
CA2949356A1 (en) | Asset estimate generation system | |
CN106863807A (zh) | 一种3d打印机的故障提示方法及装置 | |
JP2007235613A (ja) | 遠隔制御装置 | |
CN113442950A (zh) | 基于多车辆的自动驾驶控制方法、装置和设备 | |
JP2022102930A (ja) | 制御システム、および学習済モデルの作成方法 | |
JP2007011880A (ja) | 自動販売機の制御システム | |
US10560578B2 (en) | Methods and systems for providing interactive support sessions | |
US10872606B2 (en) | Device control apparatus and device control method | |
JP2010081041A (ja) | 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法 | |
WO2020071222A1 (ja) | 情報処理方法、及び、情報処理システム | |
US11217248B2 (en) | Conversation device and conversation system | |
CN109129460B (zh) | 机器人管理*** | |
JP2016184242A (ja) | 情報案内システム | |
JP2021037904A (ja) | 対象物検知装置、対象物検知システムおよび対象物検知方法 | |
US20220161437A1 (en) | Robot and control system | |
EP3467465A1 (en) | A system and a method for monitoring the position of a blocking device, and a method of edging an ophthalmic lens | |
WO2018158881A1 (ja) | 作業指示システム、情報処理装置、プログラム及び作業指示方法 | |
US20240203221A1 (en) | Monitoring device and monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201225 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7129673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |