JP2024066084A - 物体検出装置および物体検出方法 - Google Patents
物体検出装置および物体検出方法 Download PDFInfo
- Publication number
- JP2024066084A JP2024066084A JP2022175367A JP2022175367A JP2024066084A JP 2024066084 A JP2024066084 A JP 2024066084A JP 2022175367 A JP2022175367 A JP 2022175367A JP 2022175367 A JP2022175367 A JP 2022175367A JP 2024066084 A JP2024066084 A JP 2024066084A
- Authority
- JP
- Japan
- Prior art keywords
- detection result
- machine learning
- detection
- image
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 293
- 238000010801 machine learning Methods 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 83
- 230000001629 suppression Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013480 data collection Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
物体検出技術として背景差分を用いる手法が存在する。特許文献1に記載の道路交通異常検出方法は、入力画像から背景画像を除去して車両画像のみを抽出する。
以下に本発明を実施するための形態(実施形態)における物体検出装置について説明する。物体検出装置は、背景差分手法を用いた物体検出結果と、機械学習を用いた物体検出結果とが一致した場合に、物体を検出したと判定する。物体検出装置は、背景差分では物体が検出されない場合であっても、機械学習における検出の確信度が所定値より高い場合には、物体を検出したと判定してもよい。また物体検出装置は、背景差分手法で物体が検出され、機械学習では検出されなかった画像を、機械学習モデル(物体検出モデル)の再学習用データとして収集する。
図1は、本実施形態に係る物体検出装置100の機能ブロック図である。物体検出装置100はコンピュータであり、制御部110、記憶部120、および入出力部180を備える。入出力部180には、ディスプレイやキーボード、マウスなどのユーザインターフェイス機器が接続される。入出力部180は通信デバイスを備えており、カメラ200が撮像した画像(撮像画像)を受信する。
記憶部120は、ROM(Read Only Memory)やRAM(Random Access Memory)、SSD(Solid State Drive)などの記憶機器を含んで構成される。記憶部120には、画像データベース130、物体検出モデル121、背景画像122、およびプログラム128が記憶される。
物体検出モデル121は、画像に写る物体を検出する機械学習モデルである。詳しく説明すると物体検出モデル121は、撮像画像を入力とし、当該撮像画像に写る物体の位置、当該物体の種別、および当該物体の検出の確信度を出力する機械学習処理が用いる機械学習モデルである。物体検出モデル121は、例えば畳み込みニューラルネットワークやVision Transformerを用いた機械学習モデルである。
プログラム128は、物体検出処理(後記する図6参照)の手順の記述を含む。
制御部110は、CPU(Central Processing Unit)を含んで構成され、画像取得部111、背景差分処理部112、機械学習処理部113、誤検出抑制部114、および再学習用データ収集部115が備わる。制御部110は、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)などを含んで構成されてもよい。
画像取得部111は、カメラ200の撮像画像を取得し、タイムスタンプ(撮像日時情報)とともに画像データベース130に格納する。
背景差分処理部112は、撮像画像と背景画像122との差分を算出することで物体を検出する。以下に背景差分処理部112の物体検出結果を説明する。
図1に戻って制御部110の説明を続ける。機械学習処理部113は、物体検出モデル121を用いて撮像画像に写る物体を検出する。図4は、本実施形態に係る機械学習処理部113の検出結果を説明するための画像330である。機械学習処理部113は、検出結果(機械学習検出結果)として、非常口サイン312を示すバウンディングボックス332、「非常口サイン」という物体種別および確信度、並びに、車両313を示すバウンディングボックス333、「乗用車」という物体種別および確信度を出力する。確信度は、検出結果の確からしさであり、例えば0~100の数値で示される。非常口サイン312は物体検出の対象外であるが、物体として検出される。このように機械学習処理部113が出力する検出結果には、誤検出(バウンディングボックス332参照)が含まれる。機械学習処理部113は、検出結果を画像データベース130に記録する。
図1に戻って制御部110の説明を続ける。誤検出抑制部114は、背景差分処理部112が出力する背景差分検出結果、および機械学習処理部113が出力する機械学習検出結果の双方に含まれる物体を物体検出結果として出力する。背景差分検出結果には差分画像321,323(図3参照)が含まれ、機械学習検出結果にはバウンディングボックス332,333(図4参照)が含まれる。
誤検出抑制部114は、背景差分検出結果に含まれる物体の位置と機械学習検出結果に含まれる物体の位置とが一致する場合に、当該物体を検出する。
再学習用データ収集部115は、物体検出モデル121の再学習用の撮像画像を収集する。詳しく説明すると再学習用データ収集部115は、背景差分検出結果と機械学習検出結果とが異なり、対応しない差分画像やバウンディングボックスが含まれる場合には、背景差分処理部112、および機械学習処理部113の入力である撮像画像を再学習用データに含める。再学習用データ収集部115は、再学習用データとして収集した撮像画像を画像データベース130に記録する。
図6は、本実施形態に係る物体検出処理のフローチャートである。図6を参照しながら物体検出装置100が撮像画像ごとに繰り返し実行する物体検出処理を説明する。
ステップS11において画像取得部111は、カメラ200から撮像画像を取得し、画像データベース130に格納する。
ステップS13において機械学習処理部113は、物体検出モデル121を用いてステップS11で取得した撮像画像から物体を検出して、機械学習検出結果として出力する。
ステップS14において誤検出抑制部114は、ステップS12,S13の何れかで物体が検出されれば(ステップS14→YES)ステップS15に進み、ステップS12,S13の何れでも物体が検出されなければ(ステップS14→NO)物体検出処理を終了する。
ステップS19において誤検出抑制部114は、ステップS18で記録された物体を検出結果として出力する。出力先は、例えば入出力部180を介して通信可能な監視システムであり、物体の位置や種別を含む。なお、最近傍検出物体は、以降の繰り返し処理の対象から外される。
ステップS20において誤検出抑制部114は、処理対象検出物体を、誤検出された物体であるという検出結果を、画像データベース130に記録する。この検出結果には、背景差分処理部112および機械学習処理部113の何れが検出したかを含む。
物体検出装置100は、背景差分手法を用いた背景差分検出結果と、物体検出モデル121を用いた機械学習検出結果とが一致した場合に、物体を検出したと判定する。また物体検出装置100は、背景差分検出結果と機械学習検出結果とが一致しなかった物体を含む撮像画像を再学習用データとして収集する。
誤検出抑制部114は、背景差分処理部112、および機械学習処理部113の双方が検出した場合に検出対象の物体と判定している。誤検出抑制部114は、機械学習処理部113が出力する確信度に応じて判定基準を変えてもよい。
また誤検出抑制部114は、背景差分検出結果に含まれる物体の形状または大きさと、機械学習検出結果に含まれる物体の種別とが対応しない場合には、当該物体を検出しない。
再学習用データ収集部115は、背景差分検出結果と機械学習検出結果とが異なる撮像画像を再学習用データとして収集する。これは、領域352,354(図5参照)に含まれる撮像画像を収集していることになる。これに対して再学習用データ収集部115は、背景差分処理部112が検出した物体で、機械学習処理部113が検出していない物体を含む撮像画像を再学習用データとして収集してもよい。このような撮像画像は、領域354に含まれる。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。機械学習処理部113は、検出した物体の位置を、辺が撮像画像の辺に平行となる物体を囲う矩形のバウンディングボックスで示しているが、これに限らず物体を囲う多角形や曲線であってもよい。多角形や曲線の場合における差分画像との一致の判定は、多角形や曲線が囲む領域と差分画像の重なり度合いを基に判定してもよい。例えば重なる領域が、差分画像やバウンディングボックスの所定比以上の面積であれば一致と判定してもよい。
111 画像取得部
112 背景差分処理部
113 機械学習処理部
114 誤検出抑制部
115 再学習用データ収集部
121 物体検出モデル
122 背景画像
128 プログラム
130 画像データベース
140 判定基準テーブル
また本発明に係る物体検出装置は、背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、を備え、前記誤検出抑制部は、前記背景差分検出結果に含まれる物体の形状または大きさと、前記機械学習検出結果に含まれる物体の種別とが対応しない場合には、当該物体を検出しない。
本発明に係る物体検出装置は、背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像、および、前記機械学習検出結果に含まれる物体と位置とが一致する物体が前記背景差分検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部と、を備える。
また本発明に係る物体検出装置は、 背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部と、を備える。
Claims (7)
- 背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、を備える
物体検出装置。 - 前記誤検出抑制部は、
前記背景差分検出結果に含まれる物体の位置と前記機械学習検出結果に含まれる物体の位置とが一致する場合に、当該物体を検出する
請求項1に記載の物体検出装置。 - 前記誤検出抑制部は、
前記機械学習検出結果に含まれる物体の検出の確信度が所定値以上である場合に、当該物体を検出する
請求項1に記載の物体検出装置。 - 前記誤検出抑制部は、
前記背景差分検出結果に含まれる物体の形状または大きさと、前記機械学習検出結果に含まれる物体の種別とが対応しない場合には、当該物体を検出しない
請求項1に記載の物体検出装置。 - 前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像、および、前記機械学習検出結果に含まれる物体と位置とが一致する物体が前記背景差分検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部を備える
請求項1に記載の物体検出装置。 - 前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部を備える
請求項1に記載の物体検出装置。 - 物体検出装置が、
背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力するステップと、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力するステップと、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出するステップと、を実行する
物体検出手法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022175367A JP7280426B1 (ja) | 2022-11-01 | 2022-11-01 | 物体検出装置および物体検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022175367A JP7280426B1 (ja) | 2022-11-01 | 2022-11-01 | 物体検出装置および物体検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7280426B1 JP7280426B1 (ja) | 2023-05-23 |
JP2024066084A true JP2024066084A (ja) | 2024-05-15 |
Family
ID=86395866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022175367A Active JP7280426B1 (ja) | 2022-11-01 | 2022-11-01 | 物体検出装置および物体検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7280426B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058751A (ja) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP2016085487A (ja) * | 2014-10-22 | 2016-05-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2022142165A (ja) * | 2021-03-16 | 2022-09-30 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
-
2022
- 2022-11-01 JP JP2022175367A patent/JP7280426B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058751A (ja) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP2016085487A (ja) * | 2014-10-22 | 2016-05-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2022142165A (ja) * | 2021-03-16 | 2022-09-30 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7280426B1 (ja) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aboah et al. | Real-time multi-class helmet violation detection using few-shot data sampling technique and yolov8 | |
CN108960266B (zh) | 图像目标检测方法及装置 | |
Breitenstein et al. | Systematization of corner cases for visual perception in automated driving | |
CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
CN110781768A (zh) | 目标对象检测方法和装置、电子设备和介质 | |
CN109344886B (zh) | 基于卷积神经网络的遮挡号牌判别方法 | |
Ye et al. | Application of lightweight railway transit object detector | |
Benjdira et al. | TAU: A framework for video-based traffic analytics leveraging artificial intelligence and unmanned aerial systems | |
Khan et al. | Helmet and number plate detection of motorcyclists using deep learning and advanced machine vision techniques | |
CN115393598A (zh) | 一种基于非显著区域对象挖掘的弱监督语义分割方法 | |
Khan et al. | A novel deep learning based anpr pipeline for vehicle access control | |
Ham et al. | Investigating the influential factors for practical application of multi-class vehicle detection for images from unmanned aerial vehicle using deep learning models | |
Yang et al. | YOLOv8-Lite: A Lightweight Object Detection Model for Real-time Autonomous Driving Systems | |
CN116824541A (zh) | 基于双通道的行人过街意向预测方法、模型及装置 | |
JP7280426B1 (ja) | 物体検出装置および物体検出方法 | |
Caballo et al. | YOLO-based Tricycle Detection from Traffic Video | |
Wang et al. | ATG-PVD: ticketing parking violations on a drone | |
Chaturvedi et al. | Detection of traffic rule violation in University campus using deep learning model | |
CN113449629B (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 | |
JP2024516642A (ja) | 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
CN111402185A (zh) | 一种图像检测方法及装置 | |
Xu et al. | Crowd density estimation based on improved Harris & OPTICS Algorithm | |
Umar et al. | Traffic violation detection system using image processing | |
CN117274957B (zh) | 一种基于深度学习的道路交通标志检测方法及*** | |
Fu | Construction site safety helmet wearing detection method based on improved YOLOv5 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7280426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |