JP7111175B2 - 物体認識システム、認識装置、物体認識方法および物体認識プログラム - Google Patents
物体認識システム、認識装置、物体認識方法および物体認識プログラム Download PDFInfo
- Publication number
- JP7111175B2 JP7111175B2 JP2020556651A JP2020556651A JP7111175B2 JP 7111175 B2 JP7111175 B2 JP 7111175B2 JP 2020556651 A JP2020556651 A JP 2020556651A JP 2020556651 A JP2020556651 A JP 2020556651A JP 7111175 B2 JP7111175 B2 JP 7111175B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- type
- learning model
- server
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Description
図1は、本発明による物体認識システムの第一の実施形態の構成例を示すブロック図である。また、図2は、本発明による物体認識システムの動作例を示す説明図である。本実施形態の物体認識システム10は、認識装置100と、サーバ200とを備えている。認識装置100は、例えば、車両に搭載され、後述する撮像装置300により撮像された画像中の物体を学習モデルを用いて認識する。
次に、本発明による物体認識システムの第二の実施形態を説明する。第二の実施形態では、画像が撮影された場所の位置情報を用いて、優先的に学習に用いるデータを選択する方法を説明する。図7は、本発明による物体認識システムの第二の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム10aは、認識装置100aと、サーバ200aとを備えている。
次に、本発明による物体認識システムの第三の実施形態を説明する。第二の実施形態では、位置情報に基づいて、種別が判定できなかった物体が多数撮影された場所(密集場所)が特定された。本実施形態では、サーバに対して送信される種別判定不可画像を制限する方法を説明する。図11は、本発明による物体認識システムの第三の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム10bは、認識装置100bと、サーバ200bとを備えている。
次に、本発明による物体認識システムの第四の実施形態を説明する。第四の実施形態では、認識装置が、種別判定不可画像が撮影された時刻の情報(以下、時刻情報と記す。)をサーバに送信して、追加学習を行う方法を説明する。図14は、本発明による物体認識システムの第四の実施形態の構成例を示すブロック図である。本実施形態の物体認識システム10cは、認識装置100cと、サーバ200cとを備えている。
次に、本発明による物体認識システムの第五の実施形態を説明する。第五の実施形態では、種別の判定ができなかった物体が検出された場合に、その物体を学習するためのデータを増加させて、学習器による学習を効率化する方法を説明する。
次に、本発明による物体認識システムの第六の実施形態を説明する。第六の実施形態では、第五の実施形態で説明した画像データベースから、より適切な画像を取得する方法を説明する。
100,100a,100b,100c,100d,100e 認識装置
110 第一記憶部
120 学習モデル入力部
130 第一物体認識部
140,142 画像送信部
150 位置情報送信部
160 時刻送信部
170 方位情報送信部
180 カメラ情報送信部
200,200a,200b,200c,200d,200e サーバ
210,212,214 第二記憶部
220,222 第二物体認識部
230 教師データ入力部
240,242 学習器
250 学習モデル送信部
260 位置集計部
270,272 優先度決定部
280 送信許可位置情報送信部
290,292 画像データ取得部
300 撮像装置
400 物体検出装置
Claims (10)
- 撮像画像中の物体を認識する認識装置と、
学習モデルを生成するサーバとを備え、
前記認識装置は、
学習モデルを用いて画像中の物体の種別を判定する第一物体認識部と、
前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、当該種別判定不可画像を前記サーバに送信する画像送信部とを含み、
前記サーバは、
前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成する学習器と、
生成された前記学習モデルを前記認識装置に送信する学習モデル送信部とを含み、
前記認識装置の第一物体認識部は、送信された前記学習モデルを用いて画像中の物体の種別を判定する
ことを特徴とする物体認識システム。 - サーバは、
第一物体認識部が用いる学習モデルよりも認識精度の高い学習モデルを用いて、認識装置から受信した種別判定不可画像中の物体の種別を判定する第二物体認識部を含む
請求項1記載の物体認識システム。 - 認識装置は、
種別判定不可画像が撮影された場所を示す位置情報をサーバに送信する位置情報送信部を含み、
サーバは、
受信した前記位置情報を集計する位置集計部と、
集計された位置情報が多いほど、当該位置情報が示す場所で撮影された種別判定不可画像の優先度を高くするように決定する優先度決定部とを含み、
学習器は、優先度のより高い種別判定不可画像を含む学習データを優先的に用いて学習モデルを生成する
請求項1または請求項2記載の物体認識システム。 - サーバは、
当該サーバへの送信を許可する種別判定不可画像の撮影場所を示す位置情報である送信許可位置情報を認識装置に送信する送信許可位置情報送信部を含み、
位置集計部は、位置が近接する位置情報をグループ化するように集計して、種別判定不可画像が予め定めた基準よりも多く撮影された場所である密集場所を特定し、
前記送信許可位置情報送信部は、特定された前記密集場所を示す情報を送信許可位置情報として認識装置に送信し、
認識装置の画像送信部は、前記送信許可位置情報が示す場所以外で撮影された種別判定不可画像のサーバへの送信を抑制する
請求項3記載の物体認識システム。 - 認識装置は、種別判定不可画像が撮影された時刻を示す時刻情報をサーバに送信する時刻情報送信部を含み、
優先度決定部は、学習に用いられる画像の優先度を決定する方法を規定したポリシであって当該画像が撮影された時刻の時間幅に基づいて規定されるポリシである優先度ポリシにしたがって、密集場所で撮影された種別判定不可画像に対して設定する優先度を決定する
請求項3または請求項4記載の物体認識システム。 - 認識装置は、
種別判定不可画像が撮影された場所の位置情報をサーバに送信する位置情報送信部と、
前記種別判定不可画像が撮影された方位を示す方位情報をサーバに送信する方位情報送信部とを含み、
サーバは、
位置情報及び方位情報に基づいて画像を特定可能な画像データベースから、受信した位置情報および方位情報により特定される画像を取得する画像データ取得部を含み、
学習器は、画像データ取得部によって取得された画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成する
請求項1から請求項5のうちのいずれか1項に記載の物体認識システム。 - 学習モデルを用いて画像中の物体の種別を判定する物体認識部と、
前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信する画像送信部とを備え、
前記物体認識部は、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定する
ことを特徴とする認識装置。 - 撮像画像中の物体を認識する認識装置が、学習モデルを用いて画像中の物体の種別を判定し、
前記認識装置が、前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信し、
前記サーバが、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて学習モデルを生成し、
前記サーバが、生成された前記学習モデルを前記認識装置に送信し、
前記認識装置が、送信された前記学習モデルを用いて画像中の物体の種別を判定する
ことを特徴とする物体認識方法。 - 学習モデルを用いて画像中の物体の種別を判定し、
前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信し、
前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信し、受信した学習モデルを用いて画像中の物体の種別を判定する
ことを特徴とする学習モデル更新方法。 - コンピュータに、
学習モデルを用いて画像中の物体の種別を判定する物体認識処理、および、
前記種別が判定できなかった画像である種別判定不可画像に含まれる物体のうち、当該物体が立体物として検出された物体である場合、学習モデルを生成するサーバに対して当該種別判定不可画像を送信する画像送信処理を実行させ、
前記物体認識処理で、前記種別判定不可画像に対して教師ラベルが付与された学習データに基づいて前記サーバが生成した学習モデルを受信させ、受信された学習モデルを用いて画像中の物体の種別を判定させる
ための物体認識プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018207870 | 2018-11-05 | ||
JP2018207870 | 2018-11-05 | ||
PCT/JP2019/036340 WO2020095545A1 (ja) | 2018-11-05 | 2019-09-17 | 物体認識システム、認識装置、物体認識方法および物体認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020095545A1 JPWO2020095545A1 (ja) | 2021-09-30 |
JP7111175B2 true JP7111175B2 (ja) | 2022-08-02 |
Family
ID=70612342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556651A Active JP7111175B2 (ja) | 2018-11-05 | 2019-09-17 | 物体認識システム、認識装置、物体認識方法および物体認識プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11783602B2 (ja) |
JP (1) | JP7111175B2 (ja) |
WO (1) | WO2020095545A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11928799B2 (en) * | 2020-06-29 | 2024-03-12 | Samsung Electronics Co., Ltd. | Electronic device and controlling method of electronic device |
EP4177733A4 (en) * | 2020-07-03 | 2023-11-22 | Sony Group Corporation | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM AND PROGRAM |
WO2022004447A1 (ja) * | 2020-07-03 | 2022-01-06 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム |
WO2022004448A1 (ja) * | 2020-07-03 | 2022-01-06 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム |
JP7514468B2 (ja) | 2020-07-22 | 2024-07-11 | カラクリ株式会社 | 情報処理装置、システム、プログラム、及び方法 |
JP7508957B2 (ja) * | 2020-09-09 | 2024-07-02 | トヨタ自動車株式会社 | 情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ |
US20220254144A1 (en) * | 2021-02-05 | 2022-08-11 | Home Depot Product Authority, Llc | Product image classification |
JP2024079205A (ja) * | 2022-11-30 | 2024-06-11 | 株式会社リコー | 表示システム、表示方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007006488A (ja) | 2005-06-20 | 2007-01-11 | Samsung Electronics Co Ltd | イメージに係る情報をユーザーに提供する方法及びシステム、並びにこのための移動通信端末機 |
JP2012150552A (ja) | 2011-01-17 | 2012-08-09 | Horiuchi Denki Seisakusho:Kk | 物体認識処理装置及び物体認識処理方法 |
JP2018097506A (ja) | 2016-12-12 | 2018-06-21 | 株式会社日立製作所 | 衛星画像処理システム及び方法 |
WO2018168515A1 (ja) | 2017-03-14 | 2018-09-20 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6814977B2 (ja) | 2016-10-07 | 2021-01-20 | パナソニックIpマネジメント株式会社 | 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム |
JP2018073275A (ja) | 2016-11-02 | 2018-05-10 | 三菱自動車工業株式会社 | 画像認識装置 |
US11257132B1 (en) * | 2018-05-04 | 2022-02-22 | Allstate Insurance Company | Processing systems and methods having a machine learning engine for providing a surface dimension output |
-
2019
- 2019-09-17 US US17/288,607 patent/US11783602B2/en active Active
- 2019-09-17 JP JP2020556651A patent/JP7111175B2/ja active Active
- 2019-09-17 WO PCT/JP2019/036340 patent/WO2020095545A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007006488A (ja) | 2005-06-20 | 2007-01-11 | Samsung Electronics Co Ltd | イメージに係る情報をユーザーに提供する方法及びシステム、並びにこのための移動通信端末機 |
JP2012150552A (ja) | 2011-01-17 | 2012-08-09 | Horiuchi Denki Seisakusho:Kk | 物体認識処理装置及び物体認識処理方法 |
JP2018097506A (ja) | 2016-12-12 | 2018-06-21 | 株式会社日立製作所 | 衛星画像処理システム及び方法 |
WO2018168515A1 (ja) | 2017-03-14 | 2018-09-20 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20210390283A1 (en) | 2021-12-16 |
US11783602B2 (en) | 2023-10-10 |
WO2020095545A1 (ja) | 2020-05-14 |
JPWO2020095545A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7111175B2 (ja) | 物体認識システム、認識装置、物体認識方法および物体認識プログラム | |
Wang et al. | Development of UAV-based target tracking and recognition systems | |
US10824914B2 (en) | Apparatus and method of data generation for object detection based on generative adversarial networks | |
US10586102B2 (en) | Systems and methods for object tracking | |
US11074470B2 (en) | System and method for automatically improving gathering of data using a data gathering device | |
US11887318B2 (en) | Object tracking | |
CN108460427B (zh) | 一种分类模型训练方法、装置以及分类方法及装置 | |
US10325169B2 (en) | Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction | |
WO2018161217A1 (en) | A transductive and/or adaptive max margin zero-shot learning method and system | |
CN108932273B (zh) | 图片筛选方法及装置 | |
CN110991385A (zh) | 一种识别船只行驶轨迹的方法、装置及电子设备 | |
CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
CN114071015A (zh) | 一种联动抓拍路径的确定方法、装置、介质及设备 | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶*** | |
JP6973509B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
WO2020237674A1 (zh) | 目标跟踪方法、目标跟踪装置和无人机 | |
JP6443144B2 (ja) | 情報出力装置、情報出力プログラム及び情報出力方法、並びに情報出力システム | |
CN115661556B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
JP7155265B2 (ja) | 分類子をトレーニングおよび更新するための方法およびシステム | |
KR102543818B1 (ko) | 차량 번호판 인식 시스템, 방법, 장치 및 차량 번호판 인식 관리 장치 | |
CN115249354A (zh) | 一种点云数据处理方法、装置、设备及存储介质 | |
CN116127165A (zh) | 车辆的位置更新方法、装置、存储介质及电子装置 | |
CN116129368A (zh) | 一种图片处理的方法、装置、***及存储介质 | |
CN112016393A (zh) | 车辆参数获取方法、装置、设备和存储介质 | |
CN117333686A (zh) | 目标定位方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220704 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7111175 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |