JP7446615B2 - データセット生成装置、生成方法、プログラム、システム、機械学習装置、物体認識装置、及びピッキングシステム - Google Patents
データセット生成装置、生成方法、プログラム、システム、機械学習装置、物体認識装置、及びピッキングシステム Download PDFInfo
- Publication number
- JP7446615B2 JP7446615B2 JP2020186651A JP2020186651A JP7446615B2 JP 7446615 B2 JP7446615 B2 JP 7446615B2 JP 2020186651 A JP2020186651 A JP 2020186651A JP 2020186651 A JP2020186651 A JP 2020186651A JP 7446615 B2 JP7446615 B2 JP 7446615B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- template
- unit
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000010801 machine learning Methods 0.000 title claims description 42
- 238000003860 storage Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000013075 data extraction Methods 0.000 claims description 15
- 238000013480 data collection Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 10
- 241000220225 Malus Species 0.000 description 10
- 240000003768 Solanum lycopersicum Species 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 244000144730 Amygdalus persica Species 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Description
(1.1 データセット生成装置)
図1は、第1実施形態に係るデータセット生成装置1の構成例を説明する図である。本実施形態のデータセット生成装置1は、インターネット回線等を介して情報通信可能に接続された画像データベース2から取得した画像データに基づいて学習用データセットを生成する。生成された学習用データセット(以下単に学習データセットという)は、いわゆる物体認識用ニューラルネットワークの学習に活用することができる。
図8は、一実施形態の機械学習装置10を説明する概略構成図である。機械学習装置10は、学習部101と、学習モデル記憶部102とを備える。機械学習装置10は、例えば、プロセッサとしての中央演算装置(CPU)、記憶媒体としての読み出し専用メモリ(ROM)およびランダムアクセスメモリ(RAM)、入出力インタフェース(I/Oインタフェース)等がバスを介して接続されて構成される情報処理装置である。機械学習装置10が実現される具体的な態様は特に制限されず、コントローラ、コンピュータ、或いはサーバとして実現されてよい。機械学習装置10が備える記憶媒体には、後述する各機能部がそれぞれに有する各機能を実行するためのプログラム(制御プログラム)が格納されている。
図9は、学習部101が構築した学習モデルが適用されるピッキングシステム100の概略構成図である。本実施形態のピッキングシステム100は、ロボット制御装置30と、センサ4と、ピッキングロボット110とを含んで構成される。
(2.1 ピッキングシステム)
以下、第2実施形態のピッキングシステム200について説明する。
2 画像データベース
4 センサ
10 機械学習装置
11 クラス選択部
12 データ抽出部
13 テンプレート作成部
14 データセット生成部
20 物体認識装置
21 認識部
31 ロボット制御部(制御部)
100、200 ピッキングシステム
101、104 学習部
102、103 学習モデル記憶部
110 ピッキングロボット
111 把持部
Claims (15)
- 所定の物体を認識するための機械学習に用いる学習用データセットを生成するデータセット生成装置であって、
分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースから抽出する前記画像データに含まれる前記物体の分類を選択するクラス選択部と、
選択された前記分類に関する情報がラベル付けされた対象物体を含む画像データを前記画像データベースから抽出するデータ抽出部と、
抽出した前記画像データから前記対象物体を切り出してテンプレート画像を作成するテンプレート作成部と、
少なくとも一つ以上の前記テンプレート画像と当該テンプレート画像にラベル付けされた前記分類に関する情報とを含む画像データを学習用データセットとして生成するデータセット生成部と、を備え、
前記データセット生成部は、少なくとも二つ以上の前記テンプレート画像が山積みに配置された状態の画像と当該テンプレート画像に個別にラベル付けされた前記分類に関する情報とを含む画像データを前記学習用データセットとして生成する、データセット生成装置。 - 作成された前記テンプレート画像から、前記学習用データセットの生成に用いる前記テンプレート画像を選択するテンプレート選択部をさらに備える、請求項1に記載のデータセット生成装置。
- 前記学習用データセットの生成に用いる前記テンプレート画像を加工するテンプレート加工部をさらに備える、請求項1又は2に記載のデータセット生成装置。
- 前記クラス選択部は、前記所定の物体に類似する物体の分類をさらに選択する、請求項1から3のいずれか一項に記載のデータセット生成装置。
- 前記テンプレート画像の配置方法を決定するテンプレート配置部をさらに備える、請求項1から4のいずれか一項に記載のデータセット生成装置。
- 少なくとも一つ以上の前記テンプレート画像を含む画像に背景を合成する背景合成部をさらに備える、請求項1から5のいずれか一項に記載のデータセット生成装置。
- 前記学習データセットは、前記テンプレート画像が配置された領域を示すセグメント情報をさらに含む、請求項1から6のいずれか一項に記載のデータセット生成装置。
- 前記学習データセットは、少なくとも二つ以上の前記テンプレート画像が配置された場合は、当該テンプレート画像が配置された領域を個別に示す複数のセグメント情報を含む、請求項1から7のいずれか一項に記載のデータセット生成装置。
- 請求項1から8のいずれか一項に記載のデータセット生成装置が生成した学習用データセットを用いた機械学習装置であって、
前記学習用データセットを教師データとする深層学習により、入力画像に含まれる対象物体の領域を認識する学習モデルを構築する学習部と、
前記学習モデルを記憶する学習モデル記憶部と、を備える機械学習装置。 - 請求項9に記載の機械学習装置により構築された学習モデルが記憶される学習モデル記憶部と、
前記学習モデル記憶部に記憶された前記学習モデルを用いて、入力画像に含まれる対象物体の領域を認識する認識部と、を備える物体認識装置。 - 請求項9に記載の機械学習装置により生成された学習モデルが記憶される学習モデル記憶部と、
ピッキングする対象物体を含む画像を取得するセンサと、
前記学習モデル記憶部に記憶された前記学習モデルを用いて、前記センサが取得した画像に含まれる前記対象物体の領域をピクセル単位で認識する認識部と、
把持部を有するピッキングロボットと、
前記ピッキングロボットを制御する制御部と、を備え、
前記制御部は、前記認識部が認識した前記対象物体が存在する領域に基づいて、前記把持部が前記対象物体を把持するように前記ピッキングロボットを制御する、ピッキングシステム。 - ピッキングシステムであって、
分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースから抽出する前記画像データに含まれる前記物体の分類を選択するクラス選択部と、
選択された前記分類に関する情報がラベル付けされた対象物体を含む画像データを前記画像データベースから抽出するデータ抽出部と、
抽出した前記画像データから前記対象物体を切り出してテンプレート画像を作成するテンプレート作成部と、
少なくとも一つ以上の前記テンプレート画像と当該テンプレート画像にラベル付けされた前記分類に関する情報とを含む画像データを学習用データセットとして生成するデータセット生成部と、
前記学習用データセットを教師データとする深層学習により、入力画像に含まれる対象物体の領域を認識する学習モデルを構築する学習部と、
前記学習モデルを記憶する学習モデル記憶部と、
を備える機械学習装置により生成された学習モデルが記憶される学習モデル記憶部と、
ピッキングする対象物体を含む画像を取得するセンサと、
前記学習モデル記憶部に記憶された前記学習モデルを用いて、前記センサが取得した画像に含まれる前記対象物体の領域をピクセル単位で認識する認識部と、
把持部を有するピッキングロボットと、
前記ピッキングロボットを制御する制御部と、を備え、
前記制御部は、前記認識部が認識した前記対象物体が存在する領域に基づいて、前記把持部が前記対象物体を把持するように前記ピッキングロボットを制御し、
前記ピッキングシステムは、さらに、
前記センサが取得した画像に基づいて、前記把持部による前記対象物体の把持が成功した場合における当該対象物体を含む画像と当該対象物体の領域を示すセグメント情報とを含む画像データを学習用データセットとして収集するデータ収集部と、
前記データ収集部が収集した前記学習用データセットを教師データとする深層学習により、入力画像に含まれる対象物体の領域をピクセル単位で認識する学習モデルを構築する第2学習部と、を備える、ピッキングシステム。 - 所定の物体を認識するための機械学習に用いる学習用データセットを生成するデータセット生成方法であって、
分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースから抽出する前記画像データに含まれる前記物体の分類を選択するクラス選択ステップと、
選択された前記分類に関する情報がラベル付けされた対象物体を含む画像データを前記画像データベースから抽出するデータ抽出ステップと、
抽出した前記画像データから前記対象物体を切り出してテンプレート画像を作成するテンプレート作成ステップと、
少なくとも一つ以上の前記テンプレート画像と当該テンプレート画像にラベル付けされた前記分類に関する情報とを含む画像データを学習用データセットとして生成するデータセット生成ステップと、を含み、
前記データセット生成ステップは、少なくとも二つ以上の前記テンプレート画像が山積みに配置された状態の画像と当該テンプレート画像に個別にラベル付けされた前記分類に関する情報とを含む画像データを前記学習用データセットとして生成する、データセット生成方法。 - 所定の物体を認識するための機械学習に用いる学習用データセットを生成するプログラムであって、
分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースから抽出する前記画像データに含まれる前記物体の分類を選択するクラス選択ステップと、
選択された前記分類に関する情報がラベル付けされた対象物体を含む画像データを前記画像データベースから抽出するデータ抽出ステップと、
抽出した前記画像データから前記対象物体を切り出してテンプレート画像を作成するテンプレート作成ステップと、
少なくとも一つ以上の前記テンプレート画像と当該テンプレート画像にラベル付けされた前記分類に関する情報とを含む画像データを学習用データセットとして生成するデータセット生成ステップと、を含み、
前記データセット生成ステップは、少なくとも二つ以上の前記テンプレート画像が山積みに配置された状態の画像と当該テンプレート画像に個別にラベル付けされた前記分類に関する情報とを含む画像データを前記学習用データセットとして生成する、プログラム。 - 所定の物体を認識するための機械学習に用いる学習用データセットを生成するデータセット生成システムであって、
分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースから抽出する前記画像データに含まれる前記物体の分類を選択するクラス選択部と、
選択された前記分類に関する情報がラベル付けされた対象物体を含む画像データを前記画像データベースから抽出するデータ抽出部と、
抽出した前記画像データから前記対象物体を切り出してテンプレート画像を作成するテンプレート作成部と、
少なくとも一つ以上の前記テンプレート画像と当該テンプレート画像にラベル付けされた前記分類に関する情報とを含む画像データを学習用データセットとして生成するデータセット生成部と、を備え、
前記データセット生成部は、少なくとも二つ以上の前記テンプレート画像が山積みに配置された状態の画像と当該テンプレート画像に個別にラベル付けされた前記分類に関する情報とを含む画像データを前記学習用データセットとして生成する、データセット生成システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020186651A JP7446615B2 (ja) | 2020-11-09 | 2020-11-09 | データセット生成装置、生成方法、プログラム、システム、機械学習装置、物体認識装置、及びピッキングシステム |
PCT/JP2021/031185 WO2022097353A1 (ja) | 2020-11-09 | 2021-08-25 | データセット生成装置、方法、プログラム及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020186651A JP7446615B2 (ja) | 2020-11-09 | 2020-11-09 | データセット生成装置、生成方法、プログラム、システム、機械学習装置、物体認識装置、及びピッキングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022076296A JP2022076296A (ja) | 2022-05-19 |
JP7446615B2 true JP7446615B2 (ja) | 2024-03-11 |
Family
ID=81457745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020186651A Active JP7446615B2 (ja) | 2020-11-09 | 2020-11-09 | データセット生成装置、生成方法、プログラム、システム、機械学習装置、物体認識装置、及びピッキングシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7446615B2 (ja) |
WO (1) | WO2022097353A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7501858B2 (ja) | 2022-06-08 | 2024-06-18 | 株式会社QTnet | 判定方法及び情報処理装置 |
WO2024122206A1 (ja) * | 2022-12-07 | 2024-06-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150541A (ja) | 2010-01-21 | 2011-08-04 | Sony Corp | 学習装置、学習方法、及びプログラム |
JP2016057918A (ja) | 2014-09-10 | 2016-04-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017120672A (ja) | 2017-04-07 | 2017-07-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2018088630A (ja) | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | 火災監視システム |
JP2019028876A (ja) | 2017-08-02 | 2019-02-21 | 株式会社ディジタルメディアプロフェッショナル | 機械学習用教師データ生成装置及び生成方法 |
JP2020095537A (ja) | 2018-12-13 | 2020-06-18 | Awl株式会社 | 学習用データセット自動生成システム、サーバ、及び学習用データセット自動生成プログラム |
-
2020
- 2020-11-09 JP JP2020186651A patent/JP7446615B2/ja active Active
-
2021
- 2021-08-25 WO PCT/JP2021/031185 patent/WO2022097353A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150541A (ja) | 2010-01-21 | 2011-08-04 | Sony Corp | 学習装置、学習方法、及びプログラム |
JP2016057918A (ja) | 2014-09-10 | 2016-04-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2018088630A (ja) | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | 火災監視システム |
JP2017120672A (ja) | 2017-04-07 | 2017-07-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019028876A (ja) | 2017-08-02 | 2019-02-21 | 株式会社ディジタルメディアプロフェッショナル | 機械学習用教師データ生成装置及び生成方法 |
JP2020095537A (ja) | 2018-12-13 | 2020-06-18 | Awl株式会社 | 学習用データセット自動生成システム、サーバ、及び学習用データセット自動生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022076296A (ja) | 2022-05-19 |
WO2022097353A1 (ja) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109483573B (zh) | 机器学习装置、机器人***以及机器学习方法 | |
Rao et al. | Deep convolutional neural networks for sign language recognition | |
CN110532984B (zh) | 关键点检测方法、手势识别方法、装置及*** | |
JP7446615B2 (ja) | データセット生成装置、生成方法、プログラム、システム、機械学習装置、物体認識装置、及びピッキングシステム | |
JP2019058960A (ja) | ロボットシステム及びワーク取り出し方法 | |
US11928594B2 (en) | Systems and methods for creating training data | |
WO2020050111A1 (ja) | 動作認識方法及び装置 | |
CN105765624B (zh) | 内容感知图像旋转 | |
JP2019057250A (ja) | ワーク情報処理装置およびワークの認識方法 | |
JP2022045905A (ja) | 混合サイズデパレタイジング | |
US20210069908A1 (en) | Three-dimensional computer vision system for robotic devices | |
Cheng et al. | 6d pose estimation with correlation fusion | |
JP4596253B2 (ja) | 画像処理システム、学習装置および方法、画像認識装置および方法、記録媒体、並びにプログラム | |
CN113971746A (zh) | 基于单次人手示教的垃圾分类方法、装置及分拣智能*** | |
CN114131603A (zh) | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 | |
JP6994212B1 (ja) | 人工知能(ai)の学習装置、摘果対象物推定装置、推定システム、及び、プログラム | |
CN116276973A (zh) | 基于深度学习的视觉感知抓取训练方法 | |
CN113436293B (zh) | 一种基于条件生成式对抗网络的智能抓取图像生成方法 | |
Sharma et al. | Backbone neural network design of single shot detector from rgb-d images for object detection | |
CN212724028U (zh) | 视觉机器人抓取*** | |
WO2022003828A1 (ja) | 加工プログラム検索装置および加工プログラム検索方法 | |
Willaume et al. | The graph matching optimization methodology for thin object recognition in pick and place tasks | |
Sefat et al. | SingleDemoGrasp: Learning to Grasp From a Single Image Demonstration | |
KR20240087573A (ko) | 모바일 매니퓰레이터를 이용한 키팅 계획 시스템 및 방법 | |
US20230267614A1 (en) | Discriminative 3D Shape Modeling for Few-Shot Instance Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7446615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |