JPWO2018173846A1 - 物体検出装置、物体検出方法および物体検出プログラム - Google Patents
物体検出装置、物体検出方法および物体検出プログラム Download PDFInfo
- Publication number
- JPWO2018173846A1 JPWO2018173846A1 JP2019507568A JP2019507568A JPWO2018173846A1 JP WO2018173846 A1 JPWO2018173846 A1 JP WO2018173846A1 JP 2019507568 A JP2019507568 A JP 2019507568A JP 2019507568 A JP2019507568 A JP 2019507568A JP WO2018173846 A1 JPWO2018173846 A1 JP WO2018173846A1
- Authority
- JP
- Japan
- Prior art keywords
- detection
- certainty factor
- image
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、本発明の実施形態について図面を参照して説明する。図1は、第1の実施形態の物体検出装置100の例を示すブロック図である。図1に示すように、物体検出装置100は、検出モデル記憶部1と、検出画像記憶部2と、パラメータ調整用画像記憶部3と、物体検出部4と、確信度計算部5と、確信度記憶部6と、検出閾値決定部7と、検出閾値記憶部8と、パラメータ設定部9と、検出結果記憶部10とを備える。
物体検出部4は、入力された画像全体に対して、予め定めておいた2以上の調整用の粒度tに対応するスライディング幅を用いて、スライディングウィンドウを移動させつつ、各検出領域に対して、機械学習からの分類結果を示す出力値に基づく確信度を取得し、その結果を基に検出結果を出力する。物体検出部4は、粒度tごとに、検出結果として各検出領域における確信度を検出閾値決定部7に送る。
物体検出部4は、入力された画像に対して、指定されたウィンドウ設定パラメータにより示されるスライディング幅および検出閾値を用いて、スライディングウィンドウを移動させつつ、機械学習からの分類結果を示す出力値に基づく確信度を取得し、その結果を基に検出結果を出力する。物体検出部4は、検出結果として検出画像において対象物の座標を検出結果記憶部10に格納する。
確信度計算部5は、格納されている確信度を返信する。
確信度計算部5は、機械学習を用いて、送られてきた座標の検出領域に対する確信度を計算する。確信度計算部5は、例えば、検出モデル記憶部1に格納されている学習済みの機械学習モデル(予測モデル)と、検出領域座標周辺の画像データ(画素値等)とを用いて、該検出領域に対する確信度を計算する。
次に、本発明の第2の実施形態を説明する。第1の実施形態では、パラメータ調整用画像を用いて調整された検出粒度に対応する検出閾値に従って、検出対象領域を狭めながら該検出対象領域内を網羅的にスライドさせながら確信度を算出して最終的な検出結果を得た。本実施形態では、第1の実施形態の方法よりも更に確信度の計算回数を削減する。
なお、上記の実施形態では、検出画像から船などの特定の対象物を検出する例を示したが、例えば、対象物が複数(例えば、船と飛行機と車、第1の船と第2の船、など)ある場合にも上記の方法は適用可能である。その場合、対象物として分類したい物体をカテゴリに分けて、カテゴリごとに予測モデルおよびパラメータ調整用画像を切り替えて上記の方法を実施すればよい。
1 検出モデル記憶部
2 検出画像記憶部
3 パラメータ調整用画像記憶部
4 物体検出部
5 確信度計算部
6 確信度記憶部
7 検出閾値決定部
8 検出閾値記憶部
9 パラメータ設定部
10 検出結果記憶部
1000 コンピュータ
1001 CPU
1002 主記憶装置
1003 補助記憶装置
1004 インタフェース
1005 ディスプレイ装置
1006 入力デバイス
50 物体検出装置
501 第1の物体検出手段
502 パラメータ決定手段
503 第2の物体検出手段
Claims (10)
- 検出対象物の座標が既知の第1画像から、所定の予測モデルを利用して、前記第1画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第1の物体検出手段と、
前記第1画像から取得される前記確信度に基づいて、検出対象物の存否が未知の第2画像から検出対象物を検出する際に用いるパラメータであって、前記確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定手段と、
前記パラメータを基に前記第2画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、前記予測モデルを利用して、絞り込まれた前記検出領域候補から切り出される検出領域の各々に対して前記確信度を取得し、取得した前記確信度を基に検出対象物を検出する第2の物体検出手段とを備えた
ことを特徴とする物体検出装置。 - 前記パラメータ決定手段は、前記第1画像から取得される前記確信度と検出対象物の座標とに基づいて、前記検出閾値を決定する
請求項1記載の物体検出装置。 - 前記パラメータ決定手段は、前記第1画像における検出対象物の座標に基づいて検出対象物が所定面積比率以上存在する検出領域を物体領域とし、前記物体領域の中で最小の前記確信度を検出閾値に決定する
請求項1または請求項2記載の物体検出装置。 - 前記第2の物体検出手段は、同一画像に対し、1回目で、画像全体を検出領域候補にして、前記確信度を取得し、2回目以降で、前回の前記確信度が検出閾値以上の検出領域を検出領域候補にして、前記確信度を取得する
請求項1から請求項3のうちのいずれかに記載の物体検出装置。 - 前記第1の物体検出手段は、各々が異なるスライディング幅に対応する3以上の調整用粒度を用いて、前記調整用粒度ごとに、前記第1画像全体を検出領域候補にして、前記確信度を取得し、
前記パラメータ決定手段は、前記第1画像から取得される前記調整用粒度ごとの各検出領域の前記確信度と検出対象物の座標とに基づき、2以上の検出粒度および各検出粒度における検出閾値を決定し、
前記第2の物体検出手段は、前記2以上の検出粒度の中からスライディング幅が大きい順に選択される1の検出粒度に対応するスライディング幅および検出閾値を用いて、検出領域候補から前記確信度の取得および次回の検出領域候補の決定を行う
請求項4記載の物体検出装置。 - 前記パラメータ決定手段は、前記調整用粒度ごとに、検出閾値および検出対象物が存在する検出領域である物体領域の数を求め、前記物体領域の数から求まる各検出粒度における平均検出数を基に、前記調整用粒度の中から2以上の検出粒度を決定する
請求項5記載の物体検出装置。 - 前記第1の物体検出手段は、所定のスライディング幅に対応する1つの調整用粒度を用いて、前記第1画像全体を検出領域候補にして前記確信度を取得し、
前記パラメータ決定手段は、前記第1画像から取得される前記確信度と検出対象物の座標とに基づき、前記調整用粒度における検出閾値を求め、前記調整用粒度およびその検出閾値を、前記検出粒度およびその検出閾値とし、
前記第2の物体検出手段は、同一画像に対し、1回目で、画像全体を検出領域候補にし、該検出領域候補から、前記検出粒度に対応するスライディング幅および前記検出閾値を用いて、検出領域の切り出し、各検出領域の前記確信度の取得および次回の検出領域候補における検出領域の初期位置の決定を行い、2回目で、前回の前記確信度が検出閾値以上の検出領域を検出領域候補にして、各検出領域候補で前記初期位置から検出領域の移動を開始し、かつ各検出領域候補内における検出領域の移動方向および移動量を、移動前の検出領域の位置周辺から取得される前記確信度を基に決定しながら、移動先の検出領域における前記確信度を取得する
請求項1または請求項2記載の物体検出装置。 - 画像の識別子と、検出領域の座標と、該検出領域から前記予測モデルを用いて取得された前記確信度とを対応づけて記憶する確信度記憶手段と、
画像の識別子および検出領域の座標が入力されると、前記確信度記憶手段に、入力された画像の識別子が示す画像の前記入力された座標と所定の閾値以内の距離にある座標の検出領域から取得された前記確信度が記憶されている場合、記憶されている前記確信度を返し、記憶されていない場合、入力された画像の識別子が示す画像の前記入力された座標の検出領域における前記確信度を前記予測モデルを用いて計算する確信度計算手段とを備え、
前記第1の物体検出手段および前記第2の物体検出手段は、前記確信度計算手段を用いて前記確信度を取得する
請求項1から請求項7のうちのいずれかに記載の物体検出装置。 - 検出対象物の座標が既知の第1画像から、所定の予測モデルを利用して、前記第1画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得し、
前記第1画像から取得される前記確信度に基づいて、検出対象物の存否が未知の第2画像から検出対象物を検出する際に用いるパラメータであって、前記確信度に対する閾値である検出閾値を含むパラメータを決定し、
前記パラメータを基に前記第2画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、前記予測モデルを利用して、絞り込まれた前記検出領域候補から切り出される検出領域の各々に対して前記確信度を取得し、取得した前記確信度を基に検出対象物を検出する
ことを特徴とする物体検出方法。 - コンピュータに、
検出対象物の座標が既知の第1画像から、所定の予測モデルを利用して、前記第1画像の複数位置から切り出される検出領域の各々に対する確信度であって、その検出領域内に検出対象物が存在する確からしさを示す確信度を取得する第1の物体検出処理、
前記第1画像から取得される前記確信度に基づいて、検出対象物の存否が未知の第2画像から検出対象物を検出する際に用いるパラメータであって、前記確信度に対する閾値である検出閾値を含むパラメータを決定するパラメータ決定処理、および
前記パラメータを基に前記第2画像全領域から検出領域の切出元とする検出領域候補の絞り込みを行った上で、前記予測モデルを利用して、絞り込まれた前記検出領域候補から切り出される検出領域の各々に対して前記確信度を取得し、取得した前記確信度を基に検出対象物を検出する第2の物体検出処理
を実行させるための物体検出プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017055679 | 2017-03-22 | ||
JP2017055679 | 2017-03-22 | ||
PCT/JP2018/009643 WO2018173846A1 (ja) | 2017-03-22 | 2018-03-13 | 物体検出装置、物体検出方法および物体検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018173846A1 true JPWO2018173846A1 (ja) | 2019-11-07 |
JP6766950B2 JP6766950B2 (ja) | 2020-10-14 |
Family
ID=63585248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019507568A Active JP6766950B2 (ja) | 2017-03-22 | 2018-03-13 | 物体検出装置、物体検出方法および物体検出プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11107231B2 (ja) |
JP (1) | JP6766950B2 (ja) |
WO (1) | WO2018173846A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11151726B2 (en) * | 2018-01-10 | 2021-10-19 | Canon Medical Systems Corporation | Medical image processing apparatus, X-ray diagnostic apparatus, and medical image processing method |
US10223611B1 (en) * | 2018-03-08 | 2019-03-05 | Capital One Services, Llc | Object detection using image classification models |
CN112862855B (zh) * | 2019-11-12 | 2024-05-24 | 北京京邦达贸易有限公司 | 图像标注方法、装置、计算设备及存储介质 |
US11216867B2 (en) * | 2020-05-01 | 2022-01-04 | Meta Platforms, Inc. | Arranging information describing items within a page maintained in an online system based on an interaction with a link to the page |
CN112115803B (zh) * | 2020-08-26 | 2023-10-13 | 深圳市优必选科技股份有限公司 | 口罩状态提醒方法、装置及移动终端 |
CN113435260A (zh) * | 2021-06-07 | 2021-09-24 | 上海商汤智能科技有限公司 | 图像检测方法和相关训练方法及相关装置、设备及介质 |
CN115294505B (zh) * | 2022-10-09 | 2023-06-20 | 平安银行股份有限公司 | 风险物体检测及其模型的训练方法、装置及电子设备 |
CN117765480B (zh) * | 2024-02-20 | 2024-05-10 | 天科院环境科技发展(天津)有限公司 | 一种道路沿线野生动物迁徙预警方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009140369A (ja) * | 2007-12-07 | 2009-06-25 | Sony Corp | 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム |
JP2014211854A (ja) * | 2012-06-01 | 2014-11-13 | 株式会社リコー | 対象物認識装置、対象物認識方法及び対象物認識用プログラム |
JP2015001966A (ja) * | 2013-06-18 | 2015-01-05 | 株式会社デンソー | 物体検出装置 |
JP2015177300A (ja) * | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像認識装置および画像認識方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000206029A (ja) * | 1998-11-11 | 2000-07-28 | Sekisui Chem Co Ltd | 粒状模様測定装置及び粒状模様評価方法、並びに粒状模様測定プログラム若しくは粒状模様評価プログラムを記録したコンピュ―タ読み取り可能な記録媒体、並びに粒状模様評価方法を用いた塗装条件設定方法 |
US6578017B1 (en) * | 1999-02-26 | 2003-06-10 | Information Decision Technologies, Llc | Method to aid object detection in images by incorporating contextual information |
US8649604B2 (en) * | 2007-03-05 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
US8223831B2 (en) * | 2007-06-22 | 2012-07-17 | Samsung Electronics Co., Ltd. | System and method for periodic pattern detection for motion compensated interpolation |
WO2013136395A1 (ja) * | 2012-03-12 | 2013-09-19 | 日本電気株式会社 | 検知装置、検知方法、プログラムが格納された記憶媒体 |
EP2940656B1 (en) | 2012-12-25 | 2024-01-31 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
KR101473991B1 (ko) * | 2013-05-30 | 2014-12-24 | 주식회사 에스원 | 얼굴 검출 방법 및 그 장치 |
JP2015049702A (ja) | 2013-09-02 | 2015-03-16 | 日本電気株式会社 | 対象認識装置、対象認識方法、およびプログラム |
US9456170B1 (en) * | 2013-10-08 | 2016-09-27 | 3Play Media, Inc. | Automated caption positioning systems and methods |
JP2015104016A (ja) * | 2013-11-26 | 2015-06-04 | キヤノン株式会社 | 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体 |
US9235904B1 (en) * | 2014-06-20 | 2016-01-12 | Nec Laboratories America, Inc. | Object detection with Regionlets re-localization |
-
2018
- 2018-03-13 JP JP2019507568A patent/JP6766950B2/ja active Active
- 2018-03-13 US US16/483,791 patent/US11107231B2/en active Active
- 2018-03-13 WO PCT/JP2018/009643 patent/WO2018173846A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009140369A (ja) * | 2007-12-07 | 2009-06-25 | Sony Corp | 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム |
JP2014211854A (ja) * | 2012-06-01 | 2014-11-13 | 株式会社リコー | 対象物認識装置、対象物認識方法及び対象物認識用プログラム |
JP2015001966A (ja) * | 2013-06-18 | 2015-01-05 | 株式会社デンソー | 物体検出装置 |
JP2015177300A (ja) * | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像認識装置および画像認識方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190392606A1 (en) | 2019-12-26 |
US11107231B2 (en) | 2021-08-31 |
JP6766950B2 (ja) | 2020-10-14 |
WO2018173846A1 (ja) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018173846A1 (ja) | 物体検出装置、物体検出方法および物体検出プログラム | |
CN106886795B (zh) | 基于图像中的显著物体的物体识别方法 | |
US9754160B2 (en) | Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium | |
US9098775B2 (en) | Multi-class identifier, method, and computer-readable recording medium | |
US9501703B2 (en) | Apparatus and method for recognizing traffic sign board | |
WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及***、电子装置及存储介质 | |
CN110874564A (zh) | 分类车线后补像素检测车线的方法及装置 | |
JP5127392B2 (ja) | 分類境界確定方法及び分類境界確定装置 | |
CN107622274B (zh) | 用于图像处理的神经网络训练方法、装置以及计算机设备 | |
EP3203417B1 (en) | Method for detecting texts included in an image and apparatus using the same | |
CN109063625A (zh) | 一种基于级联深度网络的人脸关键点检测方法 | |
Khan et al. | PASSENGER DETECTION AND COUNTING FOR PUBLIC TRANSPORT SYSTEM. | |
US11900664B2 (en) | Reading system, reading device, reading method, and storage medium | |
CN114937086B (zh) | 多图像目标检测的训练方法、检测方法及相关产品 | |
WO2014181386A1 (ja) | 車両判別装置 | |
Joo et al. | Real‐Time Depth‐Based Hand Detection and Tracking | |
CN112651274A (zh) | 路上障碍物检测装置、路上障碍物检测方法及记录介质 | |
CN114902299A (zh) | 图像中关联对象的检测方法、装置、设备和存储介质 | |
JP2020177648A (ja) | 遺留物誤検出の認識方法、装置及び画像処理装置 | |
CN113762220A (zh) | 目标识别方法、电子设备、计算机可读存储介质 | |
JP2014010633A (ja) | 画像認識装置、画像認識方法、及び画像認識プログラム | |
CN112560856A (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
CN109657577B (zh) | 一种基于熵和运动偏移量的动物检测方法 | |
CN115271096B (zh) | 点云处理和机器学习模型训练方法、装置及自动驾驶车辆 | |
CN111460917A (zh) | 基于多模态信息融合的机场异常行为检测***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6766950 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |