JP7331926B2 - 学習装置、物体検出装置、学習方法、及び、プログラム - Google Patents
学習装置、物体検出装置、学習方法、及び、プログラム Download PDFInfo
- Publication number
- JP7331926B2 JP7331926B2 JP2021528683A JP2021528683A JP7331926B2 JP 7331926 B2 JP7331926 B2 JP 7331926B2 JP 2021528683 A JP2021528683 A JP 2021528683A JP 2021528683 A JP2021528683 A JP 2021528683A JP 7331926 B2 JP7331926 B2 JP 7331926B2
- Authority
- JP
- Japan
- Prior art keywords
- domain
- image
- learning
- frame
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
特開2018-5520号公報
実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成する特徴抽出手段と、
前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出する物体検出手段と、
前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力するドメイン識別手段と、
を備え、
前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる。
特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
ドメイン識別手段により、前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
学習手段により、前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記学習手段により、前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる。
特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる処理を前記コンピュータに実行させる。
本実施形態では、大量の画像を用いて物体検出装置の学習を行うために、疑似画像を用いる。稀有な事象や予測が難しい事象については、十分な数の実画像を得ることは難しい。そこで、少数の実画像に加えて、多数の疑似画像を用いて学習を行うことにより、物体検出の精度を向上させる。
次に、本発明の第1実施形態について説明する。
(ハードウェア構成)
図2は、第1実施形態に係る学習装置のハードウェア構成を示すブロック図である。図示のように、学習装置1は、インタフェース(IF)2と、プロセッサ3と、メモリ4と、記録媒体5と、データベース(DB)15と、を備える。
次に、本実施形態による学習処理の基本原理を説明する。本実施形態の学習処理は、画像から物体を検出する物体検出装置を学習するものである。図3は、学習装置1の基本原理を示す。学習装置1は、特徴抽出部11と、確信度算出部12と、枠統合部13と、ドメイン識別部14とを備える。なお、特徴抽出部11、確信度算出部12及び枠統合部13は、物体検出装置に相当するブロック(以下、「物体検出ブロック」と呼ぶ。)であり、基本的に物体検出アルゴリズムSSD(Single Shot Multibox Detector)に従って動作する。
図4は、学習装置1の機能構成を示すブロック図である。学習装置1は、機能的には、特徴抽出部21と、物体検出部22と、ドメイン識別部23と、ドメイン領域判別部24とを備える。なお、特徴抽出部21と物体検出部22は、物体検出ブロックに相当する。
次に、学習装置1による学習処理の全体の流れについて説明する。図8は、学習処理のフローチャートである。この処理は、図2に示すプロセッサ3が、予め用意されたプログラムを実行し、図4に示す各構成要素として動作することにより実現される。
次に、学習処理により学習が完了した物体検出装置による物体検出について説明する。物体検出装置は、図2に示すようなハードウェア構成を有するPC(Personal Computer)などの端末装置により構成される。図9は、物体検出装置の機能構成を示すブロック図である。物体検出装置50は、基本的に図4に示す学習装置1の物体検出ブロックと同様に構成され、特徴抽出部21と、物体検出部22とを備える。
次に、本発明の学習装置の第2実施形態について説明する。図11は、第2実施形態に係る学習装置の機能構成を示す。なお、第2実施形態の学習装置も、図2に示すハードウェア構成を有する。
上記の実施形態では、SSDにより生成される特徴マップの各セルに対して複数の枠を設定している。その代わりに、SSDと同様の枠(いわゆるRegion Proposal)に準じたものを用いる物体学習、検出方式(例えばM2DetやRefineDetなど)であれば、それらから得られる枠と特徴マップを用いて実施してもよい。
2 インタフェース
3 プロセッサ
4 メモリ
5 記録媒体
6 データベース
11、21、91 特徴抽出部
12 確信度算出部
13 枠統合部
14、23、93 ドメイン識別部
22、92 物体検出部
24 ドメイン領域判別部
Claims (9)
- 実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成する特徴抽出手段と、
前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出する物体検出手段と、
前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力するドメイン識別手段と、
を備え、
前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる学習装置。 - 前記ドメイン識別手段は、前記入力画像の前記枠により規定される領域が、実画像データのドメインと疑似画像データのドメインのいずれに対応するかを識別する請求項1に記載の学習装置。
- 疑似画像の属性情報に基づいて、当該疑似画像における疑似画像データの領域を示すドメイン領域情報を生成するドメイン領域判別手段を備え、
前記ドメイン識別手段は、前記ドメイン領域情報に基づいて、前記枠毎のドメイン識別結果の正解データを生成し、当該正解データを用いてドメイン識別の学習を行う請求項2に記載の学習装置。 - 前記ドメイン識別手段は、前記疑似画像における疑似画像データの領域と、前記入力画像の前記枠により規定される領域との位置関係に基づいて、前記ドメイン識別結果の正解データを生成する請求項3に記載の学習装置。
- 前記ドメイン識別性情報は、実画像データのドメインと疑似画像データのドメインの違いを示す情報である請求項1乃至4のいずれか一項に記載の学習装置。
- 前記疑似画像は、実画像データと疑似画像データを合成して作成されている請求項1乃至5のいずれか一項に記載の学習装置。
- 請求項1乃至6のいずれか一項に記載の学習装置により学習された特徴抽出手段及び物体検出手段を備える物体検出装置。
- 入力画像から特徴を抽出し、前記入力画像に含まれる物体を検出する物体検出装置の学習方法であって、
特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
ドメイン識別手段により、前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
学習手段により、前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記学習手段により、前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる学習方法。 - コンピュータを備え、入力画像から特徴を抽出して前記入力画像に含まれる物体を検出する物体検出装置の学習処理を行うプログラムであって、
特徴抽出手段により、実画像及び疑似画像を含む入力画像から特徴抽出を行って特徴マップを生成し、前記特徴マップ上に設定した枠を示す枠情報を生成し、
物体検出手段により、前記特徴マップに基づいて、前記入力画像に含まれる物体を前記枠毎に検出し、
前記入力画像を構成するドメインを前記枠毎に識別し、ドメイン間に共通しない特徴を示すドメイン識別性情報を出力し、
前記特徴抽出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴を抽出するように学習させ、
前記物体検出手段を、前記ドメイン識別性情報に基づいて、ドメインの違いに依らない共通の特徴に基づいて物体を検出するように学習させる処理を前記コンピュータに実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/025075 WO2020261362A1 (ja) | 2019-06-25 | 2019-06-25 | 学習装置、物体検出装置、学習方法、及び、記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2020261362A1 JPWO2020261362A1 (ja) | 2020-12-30 |
JPWO2020261362A5 JPWO2020261362A5 (ja) | 2022-03-08 |
JP7331926B2 true JP7331926B2 (ja) | 2023-08-23 |
Family
ID=74060818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021528683A Active JP7331926B2 (ja) | 2019-06-25 | 2019-06-25 | 学習装置、物体検出装置、学習方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US12046000B2 (ja) |
JP (1) | JP7331926B2 (ja) |
WO (1) | WO2020261362A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312479B (zh) * | 2021-05-13 | 2023-05-30 | 杭州中科睿鉴科技有限公司 | 跨领域虚假新闻检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800768A (zh) | 2018-12-15 | 2019-05-24 | 中国人民解放军陆军工程大学 | 半监督gan的散列特征表示学习方法 |
US10325201B1 (en) | 2019-01-31 | 2019-06-18 | StradVision, Inc. | Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005520A (ja) | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
JP6964234B2 (ja) | 2016-11-09 | 2021-11-10 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置およびプログラム |
JP6572269B2 (ja) | 2017-09-06 | 2019-09-04 | 株式会社東芝 | 学習装置、学習方法、およびプログラム |
US10311335B1 (en) * | 2018-09-05 | 2019-06-04 | StradVision, Inc. | Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same |
-
2019
- 2019-06-25 US US17/618,550 patent/US12046000B2/en active Active
- 2019-06-25 JP JP2021528683A patent/JP7331926B2/ja active Active
- 2019-06-25 WO PCT/JP2019/025075 patent/WO2020261362A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800768A (zh) | 2018-12-15 | 2019-05-24 | 中国人民解放军陆军工程大学 | 半监督gan的散列特征表示学习方法 |
US10325201B1 (en) | 2019-01-31 | 2019-06-18 | StradVision, Inc. | Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately |
JP2020126608A (ja) | 2019-01-31 | 2020-08-20 | 株式会社ストラドビジョンStradvision,Inc. | 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置 |
Non-Patent Citations (4)
Title |
---|
Yaroslav Ganin, et al.,"Domain-Adversarial Training of Neural Networks",Journal of Machine Learning Research,Vol.17,2016年,全35頁,[online], [令和5年7月1日検索], インターネット, <URL: https://www.jmlr.org/papers/v17/15-239.html> and <URL: https://www.jmlr.org/papers/volume17/15-239/15-239.pdf>. |
Yaroslav Ganin, et al.,"Unsupervised Domain Adaptation by Backpropagation",Proceedings of the 32nd International Conference on Machine Learning,PMLR 37:1180-1189,2015年,全10頁,[online], [令和5年7月1日検索], インターネット, <URL: http://proceedings.mlr.press/v37/ganin15.html> and <URL: http://proceedings.mlr.press/v37/ganin15.pdf>. |
伊本 貴士,「AIの教科書」,第1版,日本,日経BP,2019年06月10日,第400~409頁,ISBN: 978-4-296-10284-6. |
宮本 圭一郎(外2名),「PyTorchニューラルネットワーク 実装ハンドブック」,第1版,日本,株式会社 秀和システム,2019年01月01日,第182~204頁,ISBN: 978-4-7980-5547-3. |
Also Published As
Publication number | Publication date |
---|---|
US20220414918A1 (en) | 2022-12-29 |
JPWO2020261362A1 (ja) | 2020-12-30 |
WO2020261362A1 (ja) | 2020-12-30 |
US12046000B2 (en) | 2024-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102635987B1 (ko) | 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체 | |
JP6823523B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2024039598A (ja) | 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム | |
CN112001983B (zh) | 生成遮挡图像的方法、装置、计算机设备和存储介质 | |
CN111062486B (zh) | 一种评价数据的特征分布和置信度的方法及装置 | |
WO2016095068A1 (en) | Pedestrian detection apparatus and method | |
CN108765540B (zh) | 一种基于图像与集成学习的重光照方法 | |
KR102414823B1 (ko) | 금융 서비스를 위한 금융 세그먼트 분화 방법 및 이러한 방법을 수행하는 장치 | |
JP7331926B2 (ja) | 学習装置、物体検出装置、学習方法、及び、プログラム | |
CN111626379A (zh) | 肺炎x光图像检测方法 | |
JP6713422B2 (ja) | 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム | |
CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
JP6892844B2 (ja) | 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム | |
CN114898155B (zh) | 车辆定损方法、装置、设备及存储介质 | |
CN111126566A (zh) | 基于gan模型的异常家具布局数据检测方法 | |
CN115543762A (zh) | 一种磁盘smart数据扩充方法、***及电子设备 | |
CN109598201A (zh) | 动作检测方法、装置、电子设备及可读存储介质 | |
JP7445672B2 (ja) | ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法 | |
CN108334935A (zh) | 精简输入的深度学习神经网络方法、装置和机器人*** | |
CN113763332A (zh) | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 | |
JP2022072149A (ja) | 機械学習プログラム、装置、及び方法 | |
JP7027361B2 (ja) | 情報処理装置及びプログラム | |
CN114594746B (zh) | 改性橡胶智能生产检测控制方法及*** | |
KR102485528B1 (ko) | 금융 서비스를 위한 금융 모델 및 금융 데이터 가치 평가 방법 및 이러한 방법을 수행하는 장치 | |
CN111553418B (zh) | 神经元重建错误的检测方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7331926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |