JP7283631B2 - 教師データ変換装置、教師データ変換方法、及び、プログラム - Google Patents
教師データ変換装置、教師データ変換方法、及び、プログラム Download PDFInfo
- Publication number
- JP7283631B2 JP7283631B2 JP2022510328A JP2022510328A JP7283631B2 JP 7283631 B2 JP7283631 B2 JP 7283631B2 JP 2022510328 A JP2022510328 A JP 2022510328A JP 2022510328 A JP2022510328 A JP 2022510328A JP 7283631 B2 JP7283631 B2 JP 7283631B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- teacher data
- orientation
- learning
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 46
- 238000000034 method Methods 0.000 title claims description 34
- 230000009466 transformation Effects 0.000 claims description 75
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 101100238361 Danio rerio paqr5a gene Proteins 0.000 description 1
- 101100350985 Mus musculus Paqr5 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Description
本発明の他の観点によれば、画像と、前記画像内の物体のカテゴリ及び位置、大きさを含む物体情報と、を含む第1教師データの前記物体情報に基づいて特定される前記物体の画像である物体画像を入力すると、前記物体画像に対応する幾何変換パラメータを出力するように学習された学習済みの第1ニューラルネットワークを記憶し、前記第1ニューラルネットワークから出力された前記幾何変換パラメータに基づいて前記物体の向きを算出し、前記算出部が算出した前記物体の向きを前記第1教師データに追加することで、画像と、前記画像内の物体のカテゴリ及び位置、大きさ、向きを含む物体情報と、を含む第2教師データを生成する、教師データ変換方法が提供される。
以下、図5を参照して、第1実施形態を説明する。
次に、第2実施形態を説明する。なお、説明の便宜上、同一の機能ブロックに異なる符号を付す場合がある。
ユーザが事前に作成した画像と画像に対応する物体のカテゴリ・位置・大きさ情報を持つ第1教師データから物体の向きに応じた画像の補正方法を学習するフェーズ。
(教師データ変換フェーズ)
学習された画像の補正方法から物体の向き情報を導出し、その情報を用いて第1教師データを第2教師データに変換するフェーズ。
(物体検出器学習フェーズ)
変換後の第2教師データを用いて物体検出器を学習するフェーズ。
(予測フェーズ)
学習済みの物体検出器(学習済みモデル)を用いて物体検出を行うフェーズ。
ステップS104では、ユーザは予測用の画像データ120に対して学習済みの物体検出器119を用いて物体検出を行う。入力された画像データ120に対して、画像に写っている物体のカテゴリ、位置、大きさ、向きの予測が行われ、バウンディングボックスなどの形式で予測結果が出力される。向きを考慮した物体検出手法は、例として非特許文献1を用いる。
ステップS309では、変換処理が全ての教師データに対して実施されているか否かを確認する。まだ処理を終えていないデータがあれば、S302から処理を継続する。変換処理が全ての教師データに対して実施されたら、処理を終了する。
即ち、検知対象のカテゴリ毎に自己学習型幾何変換器109を用意することで、各カテゴリでの変換方法をより精度良く学習することができる。物体の位置、大きさ、向きをより正確に捉えられるようになるため、変換後の教師データの質や物体検出精度の向上が期待できる。
0°回転と360°回転では回転の結果は同じだが値自体が異なるため、このような物体の向き情報が教師データに含まれていると精度が出にくい可能性がある。
1001 記憶部
1002 算出部
1003 生成部
Claims (9)
- 画像と、前記画像内の物体のカテゴリ及び位置、大きさを含む物体情報と、を含む第1教師データの前記物体情報に基づいて特定される前記物体の画像である物体画像を入力すると、前記物体画像に対応する幾何変換パラメータを出力するように学習された学習済みの第1ニューラルネットワークを記憶する記憶部と、
前記第1ニューラルネットワークから出力された前記幾何変換パラメータに基づいて前記物体の向きを算出する算出部と、
前記算出部が算出した前記物体の向きを前記第1教師データに追加することで、画像と、前記画像内の物体のカテゴリ及び位置、大きさ、向きを含む物体情報と、を含む第2教師データを生成する生成部と、
を含む、
教師データ変換装置。 - 請求項1に記載の教師データ変換装置であって、
前記第1ニューラルネットワークを学習により生成する学習部を更に備え、
前記学習部は、
前記物体画像を前記第1ニューラルネットワークに入力することにより前記第1ニューラルネットワークから出力された前記幾何変換パラメータに基づいて前記物体画像を幾何変換し、
第2ニューラルネットワークに前記幾何変換された物体画像を入力することにより前記第2ニューラルネットワークから出力されたカテゴリと、前記第1教師データに含まれるカテゴリと、の予測誤差を算出し、
前記予測誤差が小さくなるように前記第1ニューラルネットワーク及び前記第2ニューラルネットワークの重み付け係数をそれぞれ更新することにより前記第1ニューラルネットワークを学習する、
教師データ変換装置。 - 請求項1又は2に記載の教師データ変換装置であって、
前記幾何変換パラメータは、前記物体画像を回転させるためのパラメータを含む、
教師データ変換装置。 - 請求項3に記載の教師データ変換装置であって、
前記幾何変換パラメータは、更に、前記物体画像を拡大、縮小、平行移動の少なくとも何れか1つを実行するためのパラメータを更に含む、
教師データ変換装置。 - 請求項1から4までの何れか1項に記載の教師データ変換装置であって、
前記幾何変換パラメータは、前記物体画像をアフィン変換するためのパラメータである、
教師データ変換装置。 - 請求項1から5までの何れか1項に記載の教師データ変換装置であって、
前記幾何変換パラメータは幾何変換行列であり、
前記算出部は、前記幾何変換行列の逆行列である逆幾何変換行列に基づいて前記物体の向きを算出する、
教師データ変換装置。 - 請求項1から6までの何れか1項に記載の教師データ変換装置であって、
前記物体の向きは、向きに対応する単位円上の座標値により表現される、
教師データ変換装置。 - 画像と、前記画像内の物体のカテゴリ及び位置、大きさを含む物体情報と、を含む第1教師データの前記物体情報に基づいて特定される前記物体の画像である物体画像を入力すると、前記物体画像に対応する幾何変換パラメータを出力するように学習された学習済みの第1ニューラルネットワークを記憶し、
前記第1ニューラルネットワークから出力された前記幾何変換パラメータに基づいて前記物体の向きを算出し、
算出した前記物体の向きを前記第1教師データに追加することで、画像と、前記画像内の物体のカテゴリ及び位置、大きさ、向きを含む物体情報と、を含む第2教師データを生成する、
教師データ変換方法。 - コンピュータに、請求項8に記載された教師データ変換方法を実行するためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/014031 WO2021192225A1 (ja) | 2020-03-27 | 2020-03-27 | 教師データ変換装置、教師データ変換方法、及び、非一時的な記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021192225A1 JPWO2021192225A1 (ja) | 2021-09-30 |
JPWO2021192225A5 JPWO2021192225A5 (ja) | 2022-10-24 |
JP7283631B2 true JP7283631B2 (ja) | 2023-05-30 |
Family
ID=77889952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022510328A Active JP7283631B2 (ja) | 2020-03-27 | 2020-03-27 | 教師データ変換装置、教師データ変換方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230143661A1 (ja) |
JP (1) | JP7283631B2 (ja) |
WO (1) | WO2021192225A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024054680A (ja) * | 2022-10-05 | 2024-04-17 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びコンピュータプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017515189A (ja) | 2014-03-07 | 2017-06-08 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 写真管理 |
WO2018163404A1 (ja) | 2017-03-10 | 2018-09-13 | 三菱電機株式会社 | 顔向き推定装置および顔向き推定方法 |
JP2019164836A (ja) | 2019-06-19 | 2019-09-26 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5431830B2 (ja) * | 2009-08-18 | 2014-03-05 | Necソフト株式会社 | 部品検出装置、部品検出方法、プログラムおよび記録媒体 |
JP6617085B2 (ja) * | 2016-08-31 | 2019-12-04 | 株式会社デンソーアイティーラボラトリ | 物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラム |
JP6995714B2 (ja) * | 2018-07-30 | 2022-01-17 | Kddi株式会社 | 特定装置、特定方法及び特定プログラム |
-
2020
- 2020-03-27 JP JP2022510328A patent/JP7283631B2/ja active Active
- 2020-03-27 WO PCT/JP2020/014031 patent/WO2021192225A1/ja active Application Filing
- 2020-03-27 US US17/908,419 patent/US20230143661A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017515189A (ja) | 2014-03-07 | 2017-06-08 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 写真管理 |
WO2018163404A1 (ja) | 2017-03-10 | 2018-09-13 | 三菱電機株式会社 | 顔向き推定装置および顔向き推定方法 |
JP2019164836A (ja) | 2019-06-19 | 2019-09-26 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
Also Published As
Publication number | Publication date |
---|---|
WO2021192225A1 (ja) | 2021-09-30 |
JPWO2021192225A1 (ja) | 2021-09-30 |
US20230143661A1 (en) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10332312B2 (en) | Shape prediction model compression for face alignment | |
JP4740688B2 (ja) | 平面形状モーフィングのための知覚に基づくアプローチ | |
WO2019102962A1 (ja) | 学習装置、学習方法、及び、記録媒体 | |
JP2015232869A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6880618B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP7283631B2 (ja) | 教師データ変換装置、教師データ変換方法、及び、プログラム | |
WO2022252640A1 (zh) | 图像分类预处理、图像分类方法、装置、设备及存储介质 | |
US8295646B2 (en) | Resolution converting method | |
US20230162413A1 (en) | Stroke-Guided Sketch Vectorization | |
US10019651B1 (en) | Robust shape prediction for face alignment | |
CN114742722A (zh) | 文档矫正方法、装置、电子设备及存储介质 | |
CN111149101A (zh) | 一种目标图案查找方法及计算机可读存储介质 | |
CN110827301A (zh) | 用于处理图像的方法和装置 | |
WO2018118099A1 (en) | Shape prediction for face alignment | |
CN114240770A (zh) | 一种图像处理方法、装置、服务器及存储介质 | |
KR102051597B1 (ko) | 내용 기반 영상 크기 조절 장치 및 방법 | |
US11210551B2 (en) | Iterative multi-directional image search supporting large template matching | |
CN110298229B (zh) | 视频图像处理方法及装置 | |
JP2010066865A (ja) | 差分抽出装置及び差分抽出プログラム | |
CN116363641A (zh) | 一种图像处理方法、装置及电子设备 | |
WO2013027572A1 (ja) | 隆線方向抽出装置、隆線方向抽出方法、隆線方向抽出プログラム | |
JP2019219765A (ja) | 情報処理装置及び情報処理方法 | |
JP2010044586A (ja) | 2次元コード読取装置とそのプログラム | |
JP4380308B2 (ja) | 顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
JP6814484B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220825 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7283631 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |