JP6683666B2 - 識別コード読取装置及び機械学習装置 - Google Patents
識別コード読取装置及び機械学習装置 Download PDFInfo
- Publication number
- JP6683666B2 JP6683666B2 JP2017194037A JP2017194037A JP6683666B2 JP 6683666 B2 JP6683666 B2 JP 6683666B2 JP 2017194037 A JP2017194037 A JP 2017194037A JP 2017194037 A JP2017194037 A JP 2017194037A JP 6683666 B2 JP6683666 B2 JP 6683666B2
- Authority
- JP
- Japan
- Prior art keywords
- identification code
- image
- read
- data
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 47
- 230000000007 visual effect Effects 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 27
- 239000000463 material Substances 0.000 claims description 6
- 238000004381 surface treatment Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000004821 distillation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000002173 cutting fluid Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Toxicology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
●黒セル(黒バー)と白セル(白バー)とのコントラストが低い
●黒セル(黒バー)と白セル(白バー)とが反転して検出される
●生産物の表面形状などが原因で識別コードの形状が歪んで検出される
●打痕やドリル孔等で形成され識別コードの規格を厳密に満たしていない
●表面に付着した切削液等の影響で識別コードの一部の色合い等が異なって検出される
●手順1)識別コードとしたい文字列を決定する。
●手順2)文字列から理想的な識別コードを生成する。これを教師データとする。
●手順3)実際に識別コードを読み取る面に対して、識別コードを付与する。
●手順4)付与した識別コードを様々な状況で撮像した画像を入力データとする。
●手順5)入力データ、教師データの対を学習データとして、学習データを多数集める。
●手順6)学習データで学習器の学習を行う。
図1は第1の実施形態による識別コード読取装置の要部を示す概略的なハードウェア構成図である。識別コード読取装置1は、例えばロボットを制御するロボットコントローラにインタフェースや有線/無線ネットワークを介して接続されたパソコン等のコンピュータとして実装することができる。また、識別コード読取装置1は、例えばロボットを制御するロボットコントローラにインタフェースや有線/無線ネットワークを介して接続されたセルコンピュータ、ホストコンピュータ、クラウドコンピュータ等のサーバコンピュータとして実装することができる。本実施形態による識別コード読取装置1が備えるCPU11は、識別コード読取装置1を全体的に制御するプロセッサである。CPU11は、ROM12に格納されたシステム・プログラムをバス20を介して読み出し、該システム・プログラムに従って識別コード読取装置1全体を制御する。RAM13には一時的な計算データや表示データ、図示しない入力部を介してオペレータが入力した各種データ等が一時的に格納される。
出力部40は、デコード部30によりデコードされた文字列を表示装置などの外部装置へと出力する。
なお、三層以上の層を為すニューラルネットワーク(CNN:Convolutional Neural Networkを含む)を用いた、いわゆるディープラーニングの手法を用いることも可能である。
また、上記した実施形態では、視覚センサ4で撮像した識別コードの画像に対して正規化以外の前処理は行なっていないが、学習部110による理想的な画像の推定を行なう前に、画像中に映っている識別コードの位置や姿勢や大きさが、理想的な識別コードと同じになるように画像に変換を加えてもよい。
2 ロボットコントローラ
3 識別コード付与装置
4 視覚センサ
5 ロボット
6 識別コード生成装置
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
18,19,21 インタフェース
20 バス
30 デコード部
40 出力部
100 機械学習装置
101 プロセッサ
102 ROM
103 RAM
104 不揮発性メモリ
106 状態観測部
108 ラベルデータ取得部
110 学習部
112 誤差計算部
114 モデル更新部
122 画像出力部
170 システム
172 ネットワーク
Claims (8)
- 生産物の表面に付与された識別コードを、視覚センサを用いて読み取る識別コード読取装置であって、
前記視覚センサで読み取った識別コードの画像に対する前記識別コードの理想的な画像の推定を学習する機械学習装置を備え、
前記機械学習装置は、
前記視覚センサで読み取った識別コードの画像に係る読取画像データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記識別コードの理想的な画像に係る理想画像データを、ラベルデータとして取得するラベルデータ取得部と、
前記状態変数と前記ラベルデータとを用いて、前記読取画像データと、前記理想画像データとを関連付けて学習する学習部と、
を備える識別コード読取装置。 - 前記学習部による学習結果を用いて前記読取画像データから前記識別コードの理想的な画像を推定して出力する画像出力部を更に備える、
請求項1に記載の識別コード読取装置。 - 前記画像出力部は、複数の読取画像データのそれぞれから推定される前記識別コードの複数の理想的な画像に基づいて、前記識別コードの理想的な画像を推定して出力する、
請求項2に記載の識別コード読取装置。 - 前記状態観測部は、更に前記生産物の素材、表面処理の方法、又は識別コードを付与する方法に係る付与状態データを環境の現在状態を表す状態変数として観測する、
請求項1〜3のいずれか1つに記載の識別コード読取装置。 - 前記読み取り画像データは、前記視覚センサがアーム先端部に固定された、或いは、前記生産物がアーム先端部に把持された、ロボットを制御して前記識別コードを読み取ることで得られたものである、
請求項1〜4のいずれか1つに記載の識別コード読取装置。 - 請求項5に記載の識別コード読取装置における学習用データの取得方法であって、
前記視覚センサがアーム先端部に固定された、或いは、前記生産物がアーム先端部に把持された、ロボットを制御して前記識別コードを読み取ることにより少なくとも1つの前記読み取り画像データを取得するステップ、
を実行する学習用データの取得方法。 - 請求項5に記載の識別コード読取装置における識別コードの付与方法であって、
識別コード付与装置がアームの先端部に固定された、或いは、前記生産物がアーム先端部に把持されたロボットを制御して前記識別コードを前記生産物に付与するステップ、
を実行する識別コードの付与方法。 - 視覚センサで読み取った識別コードの画像に対する前記識別コードの理想的な画像の推定を学習する機械学習装置であって、
前記視覚センサで読み取った識別コードの画像に係る読取画像データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記識別コードの理想的な画像に係る理想画像データを、ラベルデータとして取得するラベルデータ取得部と、
前記状態変数と前記ラベルデータとを用いて、前記読取画像データと、前記理想画像データとを関連付けて学習する学習部と、
を備える機械学習装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194037A JP6683666B2 (ja) | 2017-10-04 | 2017-10-04 | 識別コード読取装置及び機械学習装置 |
CN201811158864.0A CN109614830B (zh) | 2017-10-04 | 2018-09-30 | 识别代码读取装置以及机器学习装置 |
US16/150,430 US10960550B2 (en) | 2017-10-04 | 2018-10-03 | Identification code reading apparatus and machine learning device |
DE102018007826.5A DE102018007826A1 (de) | 2017-10-04 | 2018-10-04 | Identifikationscode-lesevorrichtung und maschinelle lernvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194037A JP6683666B2 (ja) | 2017-10-04 | 2017-10-04 | 識別コード読取装置及び機械学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019067278A JP2019067278A (ja) | 2019-04-25 |
JP6683666B2 true JP6683666B2 (ja) | 2020-04-22 |
Family
ID=65728142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017194037A Active JP6683666B2 (ja) | 2017-10-04 | 2017-10-04 | 識別コード読取装置及び機械学習装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10960550B2 (ja) |
JP (1) | JP6683666B2 (ja) |
CN (1) | CN109614830B (ja) |
DE (1) | DE102018007826A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022100505A1 (de) | 2021-01-18 | 2022-07-21 | Keyence Corporation | Optische-Informationen-Lesevorrichtung |
US11694048B2 (en) | 2021-03-03 | 2023-07-04 | Keyence Corporation | Optical information reading device |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7522435B2 (ja) | 2020-05-21 | 2024-07-25 | 国立大学法人 鹿児島大学 | コード復号装置、コード復号方法及びプログラム |
PL3961477T3 (pl) | 2020-08-24 | 2023-08-14 | Saint-Gobain Glass France | Sposób wykrywania i odczytu kodu matrycowego naniesionego na szklane podłoże |
WO2022211064A1 (ja) * | 2021-03-31 | 2022-10-06 | 株式会社デンソーウェーブ | 情報読取装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3822592B2 (ja) * | 2003-10-24 | 2006-09-20 | 東芝テリー株式会社 | 無線タグ所有物体の特定装置及び方法 |
JP2007090448A (ja) * | 2005-09-27 | 2007-04-12 | Honda Motor Co Ltd | 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット |
US9164507B2 (en) * | 2013-12-06 | 2015-10-20 | Elwha Llc | Systems and methods for modeling driving behavior of vehicles |
US9881349B1 (en) * | 2014-10-24 | 2018-01-30 | Gopro, Inc. | Apparatus and methods for computerized object identification |
US9805296B2 (en) * | 2016-02-23 | 2017-10-31 | The Chinese University Of Hong Kong | Method and apparatus for decoding or generating multi-layer color QR code, method for recommending setting parameters in generation of multi-layer QR code, and product comprising multi-layer color QR code |
CN108698178B (zh) | 2016-02-26 | 2020-12-15 | 株式会社富士 | 机器人手臂控制*** |
CN107077659A (zh) * | 2016-09-26 | 2017-08-18 | 达闼科技(北京)有限公司 | 一种智能库存管理***、服务器、方法、终端和程序产品 |
JP6266746B2 (ja) | 2016-12-28 | 2018-01-24 | 株式会社キーエンス | 光学的情報読取装置 |
CN107220577A (zh) * | 2017-05-12 | 2017-09-29 | 广州智慧城市发展研究院 | 一种基于机器学习的二维码定位方法及*** |
-
2017
- 2017-10-04 JP JP2017194037A patent/JP6683666B2/ja active Active
-
2018
- 2018-09-30 CN CN201811158864.0A patent/CN109614830B/zh active Active
- 2018-10-03 US US16/150,430 patent/US10960550B2/en active Active
- 2018-10-04 DE DE102018007826.5A patent/DE102018007826A1/de active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022100505A1 (de) | 2021-01-18 | 2022-07-21 | Keyence Corporation | Optische-Informationen-Lesevorrichtung |
US11854163B2 (en) | 2021-01-18 | 2023-12-26 | Keyence Corporation | Optical information reading device |
US11694048B2 (en) | 2021-03-03 | 2023-07-04 | Keyence Corporation | Optical information reading device |
US12039400B2 (en) | 2021-03-03 | 2024-07-16 | Keyence Corporation | Optical information reading device |
Also Published As
Publication number | Publication date |
---|---|
US10960550B2 (en) | 2021-03-30 |
US20190099892A1 (en) | 2019-04-04 |
CN109614830A (zh) | 2019-04-12 |
DE102018007826A1 (de) | 2019-04-04 |
CN109614830B (zh) | 2021-06-01 |
JP2019067278A (ja) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6683666B2 (ja) | 識別コード読取装置及び機械学習装置 | |
CN109816624B (zh) | 外观检查装置 | |
JP6810087B2 (ja) | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 | |
CN109814615B (zh) | 控制装置以及机器学习装置 | |
CN105082132B (zh) | 力‑扭矩任务的快速机器人模仿学习 | |
CN106256512B (zh) | 包括机器视觉的机器人装置 | |
JP6629815B2 (ja) | 寿命推定装置及び機械学習装置 | |
JP7458741B2 (ja) | ロボット制御装置及びその制御方法及びプログラム | |
US11059180B2 (en) | Control device and machine learning device | |
Huang et al. | Grasping novel objects with a dexterous robotic hand through neuroevolution | |
CN114730407A (zh) | 使用神经网络对工作环境中的人类行为进行建模 | |
JP7209657B2 (ja) | 情報処理装置及び方法 | |
JP7148322B2 (ja) | 画像処理装置 | |
CN114585487A (zh) | 通过使用基于视觉的机器人任务模型训练模拟到真实模型来减轻现实差距 | |
CN110942083A (zh) | 拍摄装置以及拍摄*** | |
JP7372076B2 (ja) | 画像処理システム | |
CN116724224A (zh) | 加工面判定装置、加工面判定程序、加工面判定方法、加工***、推论装置及机器学习装置 | |
US20210142049A1 (en) | Motion recognition apparatus, motion recognition method, non-transitory computer readable storage medium, and motion recognition system | |
JP7376318B2 (ja) | アノテーション装置 | |
JP7502448B2 (ja) | 検査装置 | |
WO2022065273A1 (ja) | 外観検査のためのモデル作成装置及び外観検査装置 | |
US20240265691A1 (en) | Trained model generating device, trained model generating method, and recognition device | |
Kanakis et al. | Check for updates Cognitive Exoskeletons: Harnessing AI for Enhanced Wearable Robotics in Shipbuilding | |
JP6637021B2 (ja) | 切削液供給タイミング制御装置及び機械学習装置 | |
CN117813184A (zh) | 机器人的保持形态决定装置、保持形态决定方法、以及机器人控制*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190906 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6683666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |