JP7280426B1 - Object detection device and object detection method - Google Patents

Object detection device and object detection method Download PDF

Info

Publication number
JP7280426B1
JP7280426B1 JP2022175367A JP2022175367A JP7280426B1 JP 7280426 B1 JP7280426 B1 JP 7280426B1 JP 2022175367 A JP2022175367 A JP 2022175367A JP 2022175367 A JP2022175367 A JP 2022175367A JP 7280426 B1 JP7280426 B1 JP 7280426B1
Authority
JP
Japan
Prior art keywords
detection result
machine learning
detection
image
object included
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022175367A
Other languages
Japanese (ja)
Other versions
JP2024066084A (en
Inventor
貴広 上原
昇 蛯子
大輔 武内
優里 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2022175367A priority Critical patent/JP7280426B1/en
Application granted granted Critical
Publication of JP7280426B1 publication Critical patent/JP7280426B1/en
Publication of JP2024066084A publication Critical patent/JP2024066084A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】物体検出における誤検出を抑制して検出精度向上を可能とする。【解決手段】物体検出装置１００は、背景差分の手法を用いて画像（カメラ２００の撮像画像）に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部１１２と、機械学習の手法を用いて画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部１１３と、背景差分検出結果および機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部１１４と、を備える。誤検出抑制部１１４は、背景差分検出結果に含まれる物体の位置と機械学習検出結果に含まれる物体の位置とが一致する場合に、当該物体を検出してもよいし、機械学習検出結果に含まれる物体の検出の確信度が所定値以上である場合に、当該物体を検出してもよい。【選択図】図１Kind Code: A1 A detection accuracy can be improved by suppressing erroneous detection in object detection. An object detection apparatus (100) detects an object included in an image (an image captured by a camera (200)) using a background subtraction method, and a background subtraction processing unit (112) that outputs a background subtraction detection result as a detection result. , a machine learning processing unit 113 that detects an object contained in an image using a machine learning technique and outputs a machine learning detection result that is a detection result; and an erroneous detection suppression unit 114 that detects an object included in the . The erroneous detection suppression unit 114 may detect the object when the position of the object included in the background difference detection result and the position of the object included in the machine learning detection result match, or may detect the object in the machine learning detection result. An object may be detected when the certainty of detection of the included object is greater than or equal to a predetermined value. [Selection drawing] Fig. 1

Description

本発明は、撮像画像に含まれる物体を検出する物体検出装置および物体検出方法に関する。 The present invention relates to an object detection device and an object detection method for detecting an object included in a captured image.

製造やセキュリティ、社会基盤など様々な分野において、カメラが撮像した画像に写る検出対象を見つける物体検出が行われている。物体検出技術は、例えば道路監視用カメラの撮像画像から車道上にある障害物の検出や、防犯カメラの撮像画像から侵入者の検出に用いられる。
物体検出技術として背景差分を用いる手法が存在する。特許文献１に記載の道路交通異常検出方法は、入力画像から背景画像を除去して車両画像のみを抽出する。 2. Description of the Related Art In various fields such as manufacturing, security, and social infrastructure, object detection is performed to find a detection target in an image captured by a camera. Object detection technology is used, for example, to detect obstacles on a roadway from images taken by road surveillance cameras, and to detect intruders from images taken by security cameras.
A technique using background subtraction exists as an object detection technique. The road traffic abnormality detection method described in Patent Document 1 removes the background image from the input image and extracts only the vehicle image.

特開平０６－２７４７８６号公報JP-A-06-274786

背景差分手法を用いた物体検出は、カメラの振動、光源の移動などの外部影響を受けやすく、誤検出が多いという問題がある。他の手法として、機械学習技術の１つである深層学習（Deep Learning）が存在する。しかし、学習データが少ないと検出精度が低く、検出対象と色合いや形状が似ている物体を誤検出してしまうという問題がある。深層学習の検出精度向上のためには再学習用の画像データ（再学習用データ）の収集が必要だが、カメラの撮像画像のなかで検出対象の物体が存在している画像は一部しかない。このため、再学習用データの収集には、膨大な画像のなかから深層学習の検出精度向上に寄与する画像のみを収集するという困難な問題がある。 Object detection using the background subtraction method is susceptible to external influences such as camera vibration and light source movement, and has the problem of many false detections. Another technique is deep learning, which is one of machine learning techniques. However, when the amount of learning data is small, the detection accuracy is low, and there is a problem that an object similar in color and shape to the detection target is erroneously detected. In order to improve the detection accuracy of deep learning, it is necessary to collect image data for re-learning (re-learning data), but only a part of the images captured by the camera contain objects to be detected. . For this reason, collection of data for re-learning presents a difficult problem of collecting only images that contribute to improving the detection accuracy of deep learning from among a huge number of images.

本発明は、このような背景に鑑みてなされたものであり、物体検出における誤検出を抑制して検出精度向上を可能とする物体検出装置および物体検出方法を提供することを課題とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an object detection apparatus and an object detection method capable of suppressing erroneous detection in object detection and improving detection accuracy.

上記した課題を解決するため、本発明に係る物体検出装置は、背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、を備え、前記誤検出抑制部は、前記背景差分検出結果に含まれる物体の位置と前記機械学習検出結果に含まれる物体の位置とが一致する場合に、当該物体を検出する。
また本発明に係る物体検出装置は、背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、を備え、前記誤検出抑制部は、前記背景差分検出結果に含まれる物体の形状または大きさと、前記機械学習検出結果に含まれる物体の種別とが対応しない場合には、当該物体を検出しない。
本発明に係る物体検出装置は、背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像、および、前記機械学習検出結果に含まれる物体と位置とが一致する物体が前記背景差分検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部と、を備える。
また本発明に係る物体検出装置は、 背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部と、を備える。
In order to solve the above-described problems, an object detection apparatus according to the present invention includes a background subtraction processing unit that detects an object included in an image using a background subtraction technique and outputs a background subtraction detection result that is a detection result; A machine learning processing unit that detects an object contained in the image using a machine learning technique and outputs a machine learning detection result that is a detection result; and based on the background difference detection result and the machine learning detection result, an erroneous detection suppressing unit that detects an object included in an image, wherein the erroneous detection suppressing unit matches the position of the object included in the background difference detection result with the position of the object included in the machine learning detection result. If so, detect the object.
Further, the object detection apparatus according to the present invention detects an object included in an image using a background subtraction method, and uses a background subtraction processing unit that outputs a background subtraction detection result, which is a detection result, and a machine learning method. A machine learning processing unit that detects an object included in the image and outputs a machine learning detection result as a detection result, and detects the object included in the image based on the background difference detection result and the machine learning detection result. and an erroneous detection suppressing unit, wherein the erroneous detection suppressing unit, when the shape or size of the object included in the background difference detection result does not correspond to the type of the object included in the machine learning detection result, , does not detect the object.
An object detection apparatus according to the present invention uses a background subtraction technique to detect an object included in an image, and a background subtraction processing unit that outputs a background subtraction detection result, which is a detection result, and a machine learning technique. A machine learning processing unit that detects an object included in an image and outputs a machine learning detection result as a detection result, and detects an object included in the image based on the background difference detection result and the machine learning detection result. an erroneous detection suppressing unit, the image in which the machine learning detection result does not include an object whose position matches the object included in the background difference detection result, and the object and the position included in the machine learning detection result. a re-learning data collection unit that collects the images in which the matching object is not included in the background difference detection result as re-learning data for the machine learning model used by the machine learning processing unit.
Further, the object detection apparatus according to the present invention detects an object included in an image using a background subtraction method, and uses a background subtraction processing unit that outputs a background subtraction detection result, which is a detection result, and a machine learning method. A machine learning processing unit that detects an object included in the image and outputs a machine learning detection result as a detection result, and detects the object included in the image based on the background difference detection result and the machine learning detection result. and an erroneous detection suppressing unit, and the machine learning model used by the machine learning processing unit for re-learning the image in which an object whose position matches that of the object included in the background difference detection result is not included in the machine learning detection result. and a re-learning data collection unit that collects data for learning.

本発明によれば、物体検出における誤検出を抑制して検出精度向上を可能とする物体検出装置および物体検出方法を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 Advantageous Effects of Invention According to the present invention, it is possible to provide an object detection device and an object detection method capable of suppressing erroneous detection in object detection and improving detection accuracy. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.

本実施形態に係る物体検出装置の機能ブロック図である。1 is a functional block diagram of an object detection device according to this embodiment; FIG. 本実施形態に係る物体検出処理を説明するための撮像画像である。It is a picked-up image for demonstrating the object detection process which concerns on this embodiment. 本実施形態に係る背景差分処理部の検出結果を説明するための画像である。8 is an image for explaining the detection result of the background subtraction processing unit according to the embodiment; 本実施形態に係る機械学習処理部の検出結果を説明するための画像である。It is an image for explaining the detection result of the machine learning processing unit according to the present embodiment. 本実施形態に係る再学習用データを説明するための図である。It is a figure for demonstrating the data for relearning which concerns on this embodiment. 本実施形態に係る物体検出処理のフローチャートである。4 is a flowchart of object detection processing according to the embodiment; 本実施形態の変形例に係る判定基準テーブルのデータ構成図である。FIG. 11 is a data configuration diagram of a determination criterion table according to a modified example of the present embodiment;

≪物体検出装置の概要≫
以下に本発明を実施するための形態（実施形態）における物体検出装置について説明する。物体検出装置は、背景差分手法を用いた物体検出結果と、機械学習を用いた物体検出結果とが一致した場合に、物体を検出したと判定する。物体検出装置は、背景差分では物体が検出されない場合であっても、機械学習における検出の確信度が所定値より高い場合には、物体を検出したと判定してもよい。また物体検出装置は、背景差分手法で物体が検出され、機械学習では検出されなかった画像を、機械学習モデル（物体検出モデル）の再学習用データとして収集する。 ≪Outline of the object detection device≫
An object detection device in a form (embodiment) for carrying out the present invention will be described below. The object detection device determines that an object has been detected when the object detection result using the background subtraction method and the object detection result using machine learning match. The object detection apparatus may determine that an object has been detected when the degree of certainty of detection in machine learning is higher than a predetermined value, even if the object is not detected by background subtraction. Also, the object detection device collects images in which an object is detected by the background subtraction method but not detected by machine learning, as data for re-learning a machine learning model (object detection model).

このような物体検出装置によれば、背景差分手法や機械学習を単独で用いた物体検出より高精度に物体を検出できるようになる。また、物体検出装置が収集した再学習用データを用いて機械学習モデルを再訓練することで、さらなる物体検出精度の向上が見込める。 According to such an object detection device, an object can be detected with higher accuracy than object detection using only a background subtraction method or machine learning. In addition, by retraining the machine learning model using the re-learning data collected by the object detection device, further improvement in object detection accuracy can be expected.

≪物体検出装置の構成≫
図１は、本実施形態に係る物体検出装置１００の機能ブロック図である。物体検出装置１００はコンピュータであり、制御部１１０、記憶部１２０、および入出力部１８０を備える。入出力部１８０には、ディスプレイやキーボード、マウスなどのユーザインターフェイス機器が接続される。入出力部１８０は通信デバイスを備えており、カメラ２００が撮像した画像（撮像画像）を受信する。 <<Configuration of object detection device>>
FIG. 1 is a functional block diagram of an object detection device 100 according to this embodiment. Object detection apparatus 100 is a computer and includes control unit 110 , storage unit 120 , and input/output unit 180 . User interface devices such as a display, a keyboard, and a mouse are connected to the input/output unit 180 . The input/output unit 180 includes a communication device and receives an image captured by the camera 200 (captured image).

≪物体検出装置：記憶部≫
記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などの記憶機器を含んで構成される。記憶部１２０には、画像データベース１３０、物体検出モデル１２１、背景画像１２２、およびプログラム１２８が記憶される。 ≪Object detection device: storage section≫
The storage unit 120 includes a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an SSD (Solid State Drive). The storage unit 120 stores an image database 130 , an object detection model 121 , a background image 122 and a program 128 .

画像データベース１３０には、カメラ２００から受信した撮像画像、タイムスタンプ、および検出された物体が関連付けられて記憶される。検出された物体については、後記する。
物体検出モデル１２１は、画像に写る物体を検出する機械学習モデルである。詳しく説明すると物体検出モデル１２１は、撮像画像を入力とし、当該撮像画像に写る物体の位置、当該物体の種別、および当該物体の検出の確信度を出力する機械学習処理が用いる機械学習モデルである。物体検出モデル１２１は、例えば畳み込みニューラルネットワークやVision Transformerを用いた機械学習モデルである。 The image database 130 stores captured images received from the camera 200, time stamps, and detected objects in association with each other. The detected objects will be described later.
The object detection model 121 is a machine learning model for detecting objects appearing in images. More specifically, the object detection model 121 is a machine learning model used by machine learning processing that takes a captured image as an input and outputs the position of an object in the captured image, the type of the object, and the certainty of detection of the object. . The object detection model 121 is, for example, a machine learning model using a convolutional neural network or Vision Transformer.

背景画像１２２は、撮影画像から背景差分手法を用いて物体を検出する際に参照される画像である。背景画像１２２は、検出対象となる物体が写っていない撮像画像である。背景画像１２２は、例えば検出対象となる物体が写っていないカメラ２００が撮像した複数の撮像画像の平均値となる画像である。
プログラム１２８は、物体検出処理（後記する図６参照）の手順の記述を含む。 The background image 122 is an image that is referenced when an object is detected from the captured image using the background subtraction method. The background image 122 is a captured image in which an object to be detected is not captured. The background image 122 is, for example, an image that is the average value of a plurality of captured images captured by the camera 200 in which the object to be detected is not captured.
The program 128 includes a description of the procedure for object detection processing (see FIG. 6, which will be described later).

≪物体検出装置：制御部≫
制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、画像取得部１１１、背景差分処理部１１２、機械学習処理部１１３、誤検出抑制部１１４、および再学習用データ収集部１１５が備わる。制御部１１０は、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などを含んで構成されてもよい。 <<Object detection device: Control unit>>
The control unit 110 includes a CPU (Central Processing Unit), and includes an image acquisition unit 111, a background difference processing unit 112, a machine learning processing unit 113, an erroneous detection suppression unit 114, and a relearning data collection unit 115. . The control unit 110 may be configured including a GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), and the like.

≪制御部：画像取得部、背景差分処理部≫
画像取得部１１１は、カメラ２００の撮像画像を取得し、タイムスタンプ（撮像日時情報）とともに画像データベース１３０に格納する。
背景差分処理部１１２は、撮像画像と背景画像１２２との差分を算出することで物体を検出する。以下に背景差分処理部１１２の物体検出結果を説明する。 <<Control unit: image acquisition unit, background difference processing unit>>
The image acquisition unit 111 acquires an image captured by the camera 200 and stores it in the image database 130 together with a time stamp (image date and time information).
The background difference processing unit 112 detects an object by calculating the difference between the captured image and the background image 122 . The object detection result of the background difference processing unit 112 will be described below.

図２は、本実施形態に係る物体検出処理を説明するための撮像画像３１０である。撮像画像３１０は、カメラ２００がトンネル内を写した画像であって、照明灯３１１、非常口サイン３１２、および車両３１３が写っている。照明灯３１１、非常口サイン３１２、および車両３１３のなかで検出対象となる物体は車両３１３である。 FIG. 2 is a captured image 310 for explaining object detection processing according to this embodiment. A captured image 310 is an image of the inside of a tunnel captured by the camera 200 , and includes a lighting lamp 311 , an emergency exit sign 312 and a vehicle 313 . The vehicle 313 is the object to be detected among the lighting lamp 311 , the emergency exit sign 312 , and the vehicle 313 .

図３は、本実施形態に係る背景差分処理部１１２の検出結果を説明するための画像３２０である。背景差分処理部１１２は、背景画像１２２との差分として、照明灯３１１に対応する差分画像３２１と、車両３１３に対応する差分画像３２３とを検出する。照明灯３１１は物体検出の対象外であるが、輝度が変化するために誤検出する場合がある。このように背景差分処理部１１２が出力する検出結果（背景差分検出結果）である差分画像３２１，３２３には、誤検出（差分画像３２１）が含まれる。背景差分処理部１１２は、検出結果を画像データベース１３０に記録する。 FIG. 3 is an image 320 for explaining the detection result of the background difference processing unit 112 according to this embodiment. The background difference processing unit 112 detects a difference image 321 corresponding to the lighting lamp 311 and a difference image 323 corresponding to the vehicle 313 as differences from the background image 122 . Although the lighting lamp 311 is not subject to object detection, it may be erroneously detected due to changes in luminance. In this way, the difference images 321 and 323, which are the detection results (background difference detection results) output by the background difference processing unit 112, include erroneous detection (the difference image 321). The background difference processing unit 112 records the detection result in the image database 130 .

以上に説明したように物体検出装置１００は、背景差分の手法を用いて画像（撮像画像）に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部１１２を備える。 As described above, the object detection apparatus 100 includes the background subtraction processing unit 112 that detects an object included in an image (captured image) using a background subtraction technique and outputs a background subtraction detection result that is a detection result. .

≪制御部：機械学習処理部≫
図１に戻って制御部１１０の説明を続ける。機械学習処理部１１３は、物体検出モデル１２１を用いて撮像画像に写る物体を検出する。図４は、本実施形態に係る機械学習処理部１１３の検出結果を説明するための画像３３０である。機械学習処理部１１３は、検出結果（機械学習検出結果）として、非常口サイン３１２を示すバウンディングボックス３３２、「非常口サイン」という物体種別および確信度、並びに、車両３１３を示すバウンディングボックス３３３、「乗用車」という物体種別および確信度を出力する。確信度は、検出結果の確からしさであり、例えば０～１００の数値で示される。非常口サイン３１２は物体検出の対象外であるが、物体として検出される。このように機械学習処理部１１３が出力する検出結果には、誤検出（バウンディングボックス３３２参照）が含まれる。機械学習処理部１１３は、検出結果を画像データベース１３０に記録する。 ≪Control section: Machine learning processing section≫
Returning to FIG. 1, the description of the control unit 110 is continued. The machine learning processing unit 113 uses the object detection model 121 to detect an object appearing in the captured image. FIG. 4 is an image 330 for explaining the detection result of the machine learning processing unit 113 according to this embodiment. As detection results (machine learning detection results), the machine learning processing unit 113 determines the bounding box 332 indicating the emergency exit sign 312, the object type and certainty of "emergency exit sign", and the bounding box 333 indicating the vehicle 313, "passenger car". It outputs the object type and the degree of certainty. Confidence is the degree of certainty of the detection result, and is indicated by a numerical value from 0 to 100, for example. Although the emergency exit sign 312 is not subject to object detection, it is detected as an object. The detection results output by the machine learning processing unit 113 in this way include erroneous detections (see the bounding box 332). The machine learning processing unit 113 records the detection result in the image database 130 .

以上に説明したように物体検出装置１００は、機械学習の手法を用いて画像（撮像画像）に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部１１３を備える。 As described above, the object detection apparatus 100 includes the machine learning processing unit 113 that detects an object included in an image (captured image) using a machine learning technique and outputs a machine learning detection result that is a detection result. .

≪制御部：誤検出抑制部≫
図１に戻って制御部１１０の説明を続ける。誤検出抑制部１１４は、背景差分処理部１１２が出力する背景差分検出結果、および機械学習処理部１１３が出力する機械学習検出結果の双方に含まれる物体を物体検出結果として出力する。背景差分検出結果には差分画像３２１，３２３（図３参照）が含まれ、機械学習検出結果にはバウンディングボックス３３２，３３３（図４参照）が含まれる。 ≪Control section: False detection suppression section≫
Returning to FIG. 1, the description of the control unit 110 is continued. The false detection suppression unit 114 outputs an object included in both the background difference detection result output by the background difference processing unit 112 and the machine learning detection result output by the machine learning processing unit 113 as an object detection result. The background difference detection result includes difference images 321 and 323 (see FIG. 3), and the machine learning detection result includes bounding boxes 332 and 333 (see FIG. 4).

このなかで、バウンディングボックス３３３と差分画像３２３とは、位置が重なり（位置が一致するとも記す）、バウンディングボックス３３３は差分画像３２３を囲んで含んでいる。このような場合に誤検出抑制部１１４は、バウンディングボックス３３３と差分画像３２３とは、同じ物体を検出していると判定し、機械学習検出結果に含まれる物体種別「乗用車」と確信度と合わせて物体検出結果として出力する。換言すれば誤検出抑制部１１４は、背景差分検出結果および機械学習検出結果のうち、何れか一方のみに含まれる検出結果は誤検出と見なして、物体検出結果には含めない。誤検出抑制部１１４は、誤検出を含めて検出結果を画像データベース１３０に記録する。 Among them, the bounding box 333 and the difference image 323 overlap each other (also referred to as matching in position), and the bounding box 333 surrounds and includes the difference image 323 . In such a case, the erroneous detection suppression unit 114 determines that the bounding box 333 and the difference image 323 detect the same object. output as the object detection result. In other words, the erroneous detection suppression unit 114 regards a detection result included in only one of the background difference detection result and the machine learning detection result as an erroneous detection, and does not include it in the object detection result. The erroneous detection suppression unit 114 records the detection results including erroneous detections in the image database 130 .

以上に説明したように物体検出装置１００は、背景差分検出結果および機械学習検出結果を基に、画像（撮像画像）に含まれる物体を検出する誤検出抑制部１１４を備える。
誤検出抑制部１１４は、背景差分検出結果に含まれる物体の位置と機械学習検出結果に含まれる物体の位置とが一致する場合に、当該物体を検出する。 As described above, the object detection apparatus 100 includes the erroneous detection suppression unit 114 that detects an object included in an image (captured image) based on the background difference detection result and the machine learning detection result.
The erroneous detection suppression unit 114 detects the object when the position of the object included in the background difference detection result matches the position of the object included in the machine learning detection result.

≪制御部：再学習用データ収集部≫
再学習用データ収集部１１５は、物体検出モデル１２１の再学習用の撮像画像を収集する。詳しく説明すると再学習用データ収集部１１５は、背景差分検出結果と機械学習検出結果とが異なり、対応しない差分画像やバウンディングボックスが含まれる場合には、背景差分処理部１１２、および機械学習処理部１１３の入力である撮像画像を再学習用データに含める。再学習用データ収集部１１５は、再学習用データとして収集した撮像画像を画像データベース１３０に記録する。 ≪Control section: Re-learning data collection section≫
The relearning data collection unit 115 collects captured images for relearning of the object detection model 121 . More specifically, when the background difference detection result and the machine learning detection result are different and include non-corresponding difference images or bounding boxes, the relearning data collection unit 115 performs the background difference processing unit 112 and the machine learning processing unit. The captured image that is the input of 113 is included in the re-learning data. The relearning data collection unit 115 records captured images collected as relearning data in the image database 130 .

図５は、本実施形態に係る再学習用データを説明するための図である。マル「〇」は検出対象物体を含む撮像画像を示し、バツ「×」は検出対象物体を含まない撮像画像を示す。楕円３５１に含まれるマルとバツとは、機械学習処理部１１３が物体を検出した撮像画像を示す。楕円３５５に含まれるマルとバツとは、背景差分処理部１１２が物体を検出した撮像画像を示す。楕円３５１の内側で楕円３５５の外側の領域３５２にあるバツは、機械学習処理部１１３が誤検出した物体を含む撮像画像である。楕円３５５の内側で楕円３５１の外側の領域３５４にあるバツは、背景差分処理部１１２が誤検出した物体を含む撮像画像である。領域３５４にあるマルは、機械学習処理部１１３が未検出の検出対象物体を含む撮像画像であり、再学習用データとなる撮像画像である。 FIG. 5 is a diagram for explaining relearning data according to the present embodiment. A circle “◯” indicates a captured image including a detection target object, and a cross “X” indicates a captured image not including the detection target object. Circles and crosses included in the ellipse 351 indicate captured images in which the machine learning processing unit 113 has detected an object. Circles and crosses included in the ellipse 355 indicate captured images in which the background subtraction processing unit 112 has detected an object. A cross in a region 352 inside the ellipse 351 and outside the ellipse 355 is a captured image including an object erroneously detected by the machine learning processing unit 113 . A cross in a region 354 inside the ellipse 355 and outside the ellipse 351 is a captured image including an object erroneously detected by the background subtraction processing unit 112 . A circle in an area 354 is a captured image including a detection target object that has not been detected by the machine learning processing unit 113, and is a captured image that is used as re-learning data.

再学習用データ収集部１１５は、領域３５２，３５４にある撮像画像を再学習用データとして収集する。換言すれば再学習用データ収集部１１５は、背景差分検出結果および機械学習検出結果が異なる撮像画像を収集する。収集された再学習用データは、人手で検出対象物体を含む再学習用データが抽出され、検出対象物体にバウンディングボックスと物体種別が付与（アノテーション）されて、物体検出モデル１２１の再学習に利用される。 The relearning data collection unit 115 collects captured images in the regions 352 and 354 as relearning data. In other words, the relearning data collection unit 115 collects captured images with different background difference detection results and machine learning detection results. From the collected re-learning data, the re-learning data including the detection target object is manually extracted, the detection target object is annotated with a bounding box and object type, and used for re-learning of the object detection model 121. be done.

以上に説明したように物体検出装置１００は、背景差分検出結果に含まれる物体と位置とが一致する物体が機械学習検出結果に含まれない画像（撮像画像）、および、機械学習検出結果に含まれる物体と位置とが一致する物体が背景差分検出結果に含まれない画像を、機械学習処理部１１３が用いる機械学習モデル（物体検出モデル１２１）の再学習用データとして収集する再学習用データ収集部１１５を備える。 As described above, the object detection apparatus 100 detects an image (captured image) in which the machine learning detection result does not include an object whose position matches that of the object included in the background difference detection result, and an object included in the machine learning detection result. Re-learning data collection for collecting, as re-learning data for the machine learning model (object detection model 121) used by the machine learning processing unit 113, an image in which the background difference detection result does not include an object whose position matches that of the object used in the machine learning processing unit 113. A unit 115 is provided.

≪物体検出処理≫
図６は、本実施形態に係る物体検出処理のフローチャートである。図６を参照しながら物体検出装置１００が撮像画像ごとに繰り返し実行する物体検出処理を説明する。
ステップＳ１１において画像取得部１１１は、カメラ２００から撮像画像を取得し、画像データベース１３０に格納する。 ≪Object detection processing≫
FIG. 6 is a flowchart of object detection processing according to this embodiment. Object detection processing that the object detection apparatus 100 repeatedly executes for each captured image will be described with reference to FIG. 6 .
In step S<b>11 , the image acquisition unit 111 acquires a captured image from the camera 200 and stores it in the image database 130 .

ステップＳ１２において背景差分処理部１１２は、背景差分の手法を用いてステップＳ１１で取得した撮像画像から物体を検出して、背景差分検出結果として出力する。
ステップＳ１３において機械学習処理部１１３は、物体検出モデル１２１を用いてステップＳ１１で取得した撮像画像から物体を検出して、機械学習検出結果として出力する。
ステップＳ１４において誤検出抑制部１１４は、ステップＳ１２，Ｓ１３の何れかで物体が検出されれば（ステップＳ１４→ＹＥＳ）ステップＳ１５に進み、ステップＳ１２，Ｓ１３の何れでも物体が検出されなければ（ステップＳ１４→ＮＯ）物体検出処理を終了する。 In step S12, the background subtraction processing unit 112 detects an object from the captured image acquired in step S11 using a background subtraction method, and outputs the result as a background subtraction detection result.
In step S13, the machine learning processing unit 113 detects an object from the captured image acquired in step S11 using the object detection model 121, and outputs it as a machine learning detection result.
In step S14, the erroneous detection suppression unit 114 proceeds to step S15 if an object is detected in either step S12 or S13 (step S14→YES), and proceeds to step S15 if an object is not detected in either step S12 or S13 (step S14→NO) End the object detection process.

ステップＳ１５において誤検出抑制部１１４は、背景差分検出結果および機械学習検出結果に含まれる検出物体（図３記載の差分画像３２１，３２３、図４記載のバウンディングボックス３３２，３３３参照）ごとにステップＳ１６～Ｓ２０の処理を繰り返す。以下、この繰り返す処理の対象となる検出物体を処理対象検出物体と記す。 In step S15, the erroneous detection suppressing unit 114 performs step S16 for each detected object (see the difference images 321 and 323 in FIG. 3 and the bounding boxes 332 and 333 in FIG. 4) included in the background difference detection result and the machine learning detection result. The processing of to S20 is repeated. A detected object to be subjected to this repeated processing is hereinafter referred to as a processed detected object.

ステップＳ１６において誤検出抑制部１１４は、処理対象検出物体に最も近く、処理対象検出物体になっていない（未処理の）検出物体を探す。誤検出抑制部１１４は、処理対象物体が背景差分検出結果に含まれれば、機械学習検出結果に含まれる検出物体のなかで最も近い検出物体を探す。また誤検出抑制部１１４は、処理対象物体が機械学習検出結果に含まれれば、背景差分検出結果に含まれる検出物体のなかで最も近い検出物体を探す。処理対象検出物体および検出物体（以下、最近傍検出物体と記す）は、一方が背景差分検出結果に含まれ、他方は機械学習検出結果に含まれる。 In step S16, the erroneous detection suppression unit 114 searches for a (unprocessed) detected object that is closest to the target detected object and that is not the target detected object. If the object to be processed is included in the background difference detection result, the erroneous detection suppression unit 114 searches for the closest detected object among the detected objects included in the machine learning detection result. Also, if the object to be processed is included in the machine learning detection result, the erroneous detection suppression unit 114 searches for the closest detected object among the detected objects included in the background difference detection result. One of the detected object to be processed and the detected object (hereinafter referred to as the nearest detected object) is included in the background difference detection result, and the other is included in the machine learning detection result.

ステップＳ１７において誤検出抑制部１１４は、ステップＳ１６で見つかった最近傍検出物体の位置と処理対象検出物体の位置とが一致すれば（ステップＳ１７→ＹＥＳ）ステップＳ１８に進み、不一致ならば（ステップＳ１７→ＮＯ）ステップＳ２０に進む。ここで位置が一致するとは、最近傍検出物体および処理対象検出物体のうち機械学習検出結果に含まれる一方のバウンディングボックスが、背景差分検出結果に含まれる他方の差分画像を含む（囲う）ということである。 In step S17, the erroneous detection suppression unit 114 proceeds to step S18 if the position of the nearest detected object found in step S16 and the position of the target detected object match (step S17→YES), and if they do not match (step S17 →NO) Proceed to step S20. Here, matching positions means that the bounding box of one of the closest detected object and the target detected object included in the machine learning detection result includes (encloses) the other difference image included in the background difference detection result. is.

ステップＳ１８において誤検出抑制部１１４は、最近傍検出物体と処理対象検出物体とが、背景差分処理部１１２と機械学習処理部１１３との双方が検出した物体であるという検出結果を、画像データベース１３０に記録する。
ステップＳ１９において誤検出抑制部１１４は、ステップＳ１８で記録された物体を検出結果として出力する。出力先は、例えば入出力部１８０を介して通信可能な監視システムであり、物体の位置や種別を含む。なお、最近傍検出物体は、以降の繰り返し処理の対象から外される。
ステップＳ２０において誤検出抑制部１１４は、処理対象検出物体を、誤検出された物体であるという検出結果を、画像データベース１３０に記録する。この検出結果には、背景差分処理部１１２および機械学習処理部１１３の何れが検出したかを含む。 In step S18, the erroneous detection suppressing unit 114 sends the detection result that the closest detected object and the processing target detected object are objects detected by both the background subtraction processing unit 112 and the machine learning processing unit 113 to the image database 130. to record.
In step S19, the erroneous detection suppression unit 114 outputs the object recorded in step S18 as a detection result. The output destination is, for example, a monitoring system that can communicate via the input/output unit 180, and includes the position and type of the object. Note that the closest detected object is excluded from subsequent repeated processing.
In step S<b>20 , the erroneous detection suppressing unit 114 records in the image database 130 the detection result that the detected object to be processed is an erroneously detected object. This detection result includes which of the background difference processing unit 112 and the machine learning processing unit 113 has detected.

≪物体検出装置の特徴≫
物体検出装置１００は、背景差分手法を用いた背景差分検出結果と、物体検出モデル１２１を用いた機械学習検出結果とが一致した場合に、物体を検出したと判定する。また物体検出装置１００は、背景差分検出結果と機械学習検出結果とが一致しなかった物体を含む撮像画像を再学習用データとして収集する。 ≪Characteristics of the object detection device≫
The object detection apparatus 100 determines that an object has been detected when the background difference detection result using the background difference method and the machine learning detection result using the object detection model 121 match. Further, the object detection apparatus 100 collects, as re-learning data, captured images including objects for which the background difference detection result and the machine learning detection result do not match.

物体検出装置１００によれば、背景差分手法や機械学習を単独で用いた物体検出より高精度に物体を検出できるようになる。また、物体検出装置１００が収集した再学習用データを用いて物体検出モデル１２１を再訓練することで、さらなる物体検出精度の向上が見込める。 According to the object detection apparatus 100, an object can be detected with higher accuracy than the object detection using the background subtraction method or machine learning alone. By retraining the object detection model 121 using the re-learning data collected by the object detection apparatus 100, further improvement in object detection accuracy can be expected.

≪変形例：物体検出の判定基準≫
誤検出抑制部１１４は、背景差分処理部１１２、および機械学習処理部１１３の双方が検出した場合に検出対象の物体と判定している。誤検出抑制部１１４は、機械学習処理部１１３が出力する確信度に応じて判定基準を変えてもよい。 ≪Modification: Criteria for object detection≫
The erroneous detection suppression unit 114 determines that an object is a detection target when detected by both the background difference processing unit 112 and the machine learning processing unit 113 . The erroneous detection suppressing unit 114 may change the determination criteria according to the confidence level output by the machine learning processing unit 113 .

図７は、本実施形態の変形例に係る判定基準テーブル１４０のデータ構成図である。判定基準テーブル１４０は記憶部１２０に記憶され、誤検出抑制部１１４が参照する。テーブルの列は機械学習処理部１１３が出力する確信度を示し、行は背景差分処理部１１２の検出結果を示す。誤検出抑制部１１４は、背景差分処理部１１２が検出した物体であって、機械学習処理部１１３の確信度が４０以上であれば、物体と判定する。また、誤検出抑制部１１４は、背景差分処理部１１２が未検出であっても、機械学習処理部１１３の確信度が８０以上であれば、物体と判定する。換言すれば誤検出抑制部１１４は、機械学習処理部１１３が出力した確信度が十分高く所定値以上であれば、背景差分処理部１１２の結果によらず物体と判定する。 FIG. 7 is a data configuration diagram of the determination criteria table 140 according to a modification of this embodiment. The determination criteria table 140 is stored in the storage unit 120 and referred to by the erroneous detection suppression unit 114 . The columns of the table indicate the degrees of confidence output by the machine learning processing unit 113 , and the rows indicate the detection results of the background difference processing unit 112 . The erroneous detection suppression unit 114 determines that an object is an object detected by the background difference processing unit 112 and if the certainty factor of the machine learning processing unit 113 is 40 or higher. Further, even if the background difference processing unit 112 has not detected an object, the false detection suppression unit 114 determines that the object is an object if the machine learning processing unit 113 has a certainty factor of 80 or higher. In other words, the erroneous detection suppression unit 114 determines that an object is an object regardless of the result of the background difference processing unit 112 if the certainty factor output by the machine learning processing unit 113 is sufficiently high and equal to or greater than a predetermined value.

また別の判定基準として、機械学習処理部１１３が出力する物体種別と、背景差分処理部１１２が出力する差分画像とが対応するかを、判定基準に含めてもよい。誤検出抑制部１１４は、例えば物体種別と差分画像の形状や大きさとが対応しているかを判定する。二輪車と乗用車とトラックとを比較すると、差分画像の形状や大きさが異なる。物体種別と、差分画像の形状または大きさとが対応しない場合には、誤検出抑制部１１４は誤検出と判定するようにしてもよい。 As another determination criterion, whether or not the object type output by the machine learning processing unit 113 and the difference image output by the background difference processing unit 112 correspond to each other may be included in the determination criterion. The erroneous detection suppressing unit 114 determines, for example, whether the object type corresponds to the shape and size of the difference image. Comparing a two-wheeled vehicle, a passenger car, and a truck, the difference images differ in shape and size. If the object type does not correspond to the shape or size of the differential image, the erroneous detection suppressing unit 114 may determine erroneous detection.

以上に説明したように誤検出抑制部１１４は、機械学習検出結果に含まれる物体の検出の確信度が所定値以上である場合に、当該物体を検出する。
また誤検出抑制部１１４は、背景差分検出結果に含まれる物体の形状または大きさと、機械学習検出結果に含まれる物体の種別とが対応しない場合には、当該物体を検出しない。 As described above, the erroneous detection suppression unit 114 detects an object when the certainty of detection of the object included in the machine learning detection result is equal to or greater than a predetermined value.
In addition, when the shape or size of an object included in the background difference detection result does not correspond to the type of the object included in the machine learning detection result, the erroneous detection suppression unit 114 does not detect the object.

≪変形例：再学習用データ≫
再学習用データ収集部１１５は、背景差分検出結果と機械学習検出結果とが異なる撮像画像を再学習用データとして収集する。これは、領域３５２，３５４（図５参照）に含まれる撮像画像を収集していることになる。これに対して再学習用データ収集部１１５は、背景差分処理部１１２が検出した物体で、機械学習処理部１１３が検出していない物体を含む撮像画像を再学習用データとして収集してもよい。このような撮像画像は、領域３５４に含まれる。 <<Modification: Re-learning data>>
The re-learning data collection unit 115 collects, as re-learning data, captured images in which the background difference detection result and the machine learning detection result are different. This means that captured images included in areas 352 and 354 (see FIG. 5) are collected. On the other hand, the relearning data collection unit 115 may collect, as relearning data, a captured image including an object detected by the background subtraction processing unit 112 but not detected by the machine learning processing unit 113. . Such captured images are included in area 354 .

さらに再学習用データ収集部１１５は、背景差分処理部１１２が検出し、機械学習処理部１１３が検出していない物体である差分画像を囲むバウンディングボックスを、撮像画像に示して再学習用データとしてもよい。このバウンディングボックスは、機械学習処理部１１３が見逃した物体の候補を示しており、アノテーションの工数削減に寄与する。 Furthermore, the re-learning data collection unit 115 indicates a bounding box surrounding the difference image, which is an object detected by the background subtraction processing unit 112 but not detected by the machine learning processing unit 113, in the captured image as re-learning data. good too. This bounding box indicates an object candidate overlooked by the machine learning processing unit 113, and contributes to a reduction in man-hours for annotation.

以上に説明したように物体検出装置１００は、背景差分検出結果に含まれる物体と位置とが一致する物体が機械学習検出結果に含まれない画像（撮像画像）を、機械学習処理部１１３が用いる機械学習モデル（物体検出モデル１２１）の再学習用データとして収集する再学習用データ収集部１１５を備える。 As described above, in the object detection apparatus 100, the machine learning processing unit 113 uses an image (captured image) in which the machine learning detection result does not include an object whose position matches that of the object included in the background difference detection result. A re-learning data collection unit 115 is provided to collect re-learning data for the machine learning model (object detection model 121).

≪その他変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。機械学習処理部１１３は、検出した物体の位置を、辺が撮像画像の辺に平行となる物体を囲う矩形のバウンディングボックスで示しているが、これに限らず物体を囲う多角形や曲線であってもよい。多角形や曲線の場合における差分画像との一致の判定は、多角形や曲線が囲む領域と差分画像の重なり度合いを基に判定してもよい。例えば重なる領域が、差分画像やバウンディングボックスの所定比以上の面積であれば一致と判定してもよい。 ≪Other Modifications≫
Although several embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the technical scope of the present invention. The machine learning processing unit 113 indicates the position of the detected object with a rectangular bounding box that surrounds the object whose sides are parallel to the sides of the captured image. may In the case of a polygon or a curve, determination of matching with the difference image may be made based on the degree of overlap between the area surrounded by the polygon or curve and the difference image. For example, if the overlapping area has an area equal to or larger than a predetermined ratio of the difference image or the bounding box, it may be determined as a match.

本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The present invention can take various other embodiments, and various modifications such as omissions and substitutions can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the scope of the invention described in the claims and equivalents thereof.

１００ 物体検出装置
１１１ 画像取得部
１１２ 背景差分処理部
１１３ 機械学習処理部
１１４ 誤検出抑制部
１１５ 再学習用データ収集部
１２１ 物体検出モデル
１２２ 背景画像
１２８ プログラム
１３０ 画像データベース
１４０ 判定基準テーブル 100 Object detection device 111 Image acquisition unit 112 Background subtraction processing unit 113 Machine learning processing unit 114 False detection suppression unit 115 Re-learning data collection unit 121 Object detection model 122 Background image 128 Program 130 Image database 140 Criteria table

Claims (8)

背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、を備え、
前記誤検出抑制部は、
前記背景差分検出結果に含まれる物体の位置と前記機械学習検出結果に含まれる物体の位置とが一致する場合に、当該物体を検出する
物体検出装置。 a background subtraction processing unit that detects an object included in an image using a background subtraction technique and outputs a background subtraction detection result that is a detection result;
A machine learning processing unit that detects an object included in the image using a machine learning method and outputs a machine learning detection result that is a detection result;
An erroneous detection suppression unit that detects an object included in the image based on the background difference detection result and the machine learning detection result ,
The erroneous detection suppression unit,
Detecting an object when the position of the object included in the background difference detection result matches the position of the object included in the machine learning detection result.
Object detection device. 背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、を備え、
前記誤検出抑制部は、
前記背景差分検出結果に含まれる物体の形状または大きさと、前記機械学習検出結果に含まれる物体の種別とが対応しない場合には、当該物体を検出しない
物体検出装置。 a background subtraction processing unit that detects an object included in an image using a background subtraction technique and outputs a background subtraction detection result that is a detection result;
A machine learning processing unit that detects an object included in the image using a machine learning method and outputs a machine learning detection result that is a detection result;
An erroneous detection suppression unit that detects an object included in the image based on the background difference detection result and the machine learning detection result ,
The erroneous detection suppression unit,
If the shape or size of the object included in the background difference detection result does not correspond to the type of the object included in the machine learning detection result, the object is not detected.
Object detection device. 背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、
前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像、および、前記機械学習検出結果に含まれる物体と位置とが一致する物体が前記背景差分検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部と、を備える
物体検出装置。 a background subtraction processing unit that detects an object included in an image using a background subtraction technique and outputs a background subtraction detection result that is a detection result;
A machine learning processing unit that detects an object included in the image using a machine learning method and outputs a machine learning detection result that is a detection result;
an erroneous detection suppression unit that detects an object included in the image based on the background difference detection result and the machine learning detection result ;
the image in which the machine learning detection result does not include an object whose position matches that of the object included in the background difference detection result; a re-learning data collection unit that collects the images not included in the difference detection result as re-learning data for the machine learning model used by the machine learning processing unit.
Object detection device. 背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力する背景差分処理部と、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力する機械学習処理部と、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出する誤検出抑制部と、
前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像を、前記機械学習処理部が用いる機械学習モデルの再学習用データとして収集する再学習用データ収集部と、を備える
物体検出装置。 a background subtraction processing unit that detects an object included in an image using a background subtraction technique and outputs a background subtraction detection result that is a detection result;
A machine learning processing unit that detects an object included in the image using a machine learning method and outputs a machine learning detection result that is a detection result;
an erroneous detection suppression unit that detects an object included in the image based on the background difference detection result and the machine learning detection result ;
Re-learning for collecting, as re-learning data for a machine learning model used by the machine learning processing unit, the images in which the machine learning detection result does not include an object whose position matches that of the object included in the background difference detection result. a data collection unit for
Object detection device. 物体検出装置が、
背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力するステップと、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力するステップと、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出するステップと、を実行し、
前記物体を検出するステップにおいて、前記背景差分検出結果に含まれる物体の位置と前記機械学習検出結果に含まれる物体の位置とが一致する場合に、当該物体を検出する
物体検出手法。 The object detection device
a step of detecting an object included in an image using a background subtraction technique and outputting a background subtraction detection result, which is a detection result;
A step of detecting an object included in the image using a machine learning method and outputting a machine learning detection result that is a detection result;
detecting an object included in the image based on the background difference detection result and the machine learning detection result ;
In the step of detecting the object, when the position of the object included in the background difference detection result matches the position of the object included in the machine learning detection result, the object is detected.
Object detection method. 物体検出装置が、
背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力するステップと、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力するステップと、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出するステップと、を実行し、
前記物体を検出するステップにおいて、前記背景差分検出結果に含まれる物体の形状または大きさと、前記機械学習検出結果に含まれる物体の種別とが対応しない場合には、当該物体を検出しない
物体検出手法。 The object detection device
a step of detecting an object included in an image using a background subtraction technique and outputting a background subtraction detection result, which is a detection result;
A step of detecting an object included in the image using a machine learning method and outputting a machine learning detection result that is a detection result;
detecting an object included in the image based on the background difference detection result and the machine learning detection result ;
In the step of detecting the object, if the shape or size of the object included in the background difference detection result does not correspond to the type of the object included in the machine learning detection result, the object is not detected.
Object detection method. 物体検出装置が、
背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力するステップと、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力するステップと、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出するステップと、
前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像、および、前記機械学習検出結果に含まれる物体と位置とが一致する物体が前記背景差分検出結果に含まれない前記画像を、前記機械学習検出結果を出力するステップで用いる機械学習モデルの再学習用データとして収集するステップと、を実行する
物体検出手法。 The object detection device
a step of detecting an object included in an image using a background subtraction technique and outputting a background subtraction detection result, which is a detection result;
A step of detecting an object included in the image using a machine learning method and outputting a machine learning detection result that is a detection result;
detecting an object included in the image based on the background difference detection result and the machine learning detection result;
the image in which the machine learning detection result does not include an object whose position matches that of the object included in the background difference detection result; and collecting the images that are not included in the difference detection result as re-learning data for a machine learning model used in the step of outputting the machine learning detection result. 物体検出装置が、
背景差分の手法を用いて画像に含まれる物体を検出し、検出結果である背景差分検出結果を出力するステップと、
機械学習の手法を用いて当該画像に含まれる物体を検出し、検出結果である機械学習検出結果を出力するステップと、
前記背景差分検出結果および前記機械学習検出結果を基に、当該画像に含まれる物体を検出するステップと、
前記背景差分検出結果に含まれる物体と位置とが一致する物体が前記機械学習検出結果に含まれない前記画像を、前記機械学習検出結果を出力するステップで用いる機械学習モデルの再学習用データとして収集するステップと、を実行する
物体検出手法。
The object detection device
a step of detecting an object included in an image using a background subtraction technique and outputting a background subtraction detection result, which is a detection result;
A step of detecting an object included in the image using a machine learning method and outputting a machine learning detection result that is a detection result;
detecting an object included in the image based on the background difference detection result and the machine learning detection result;
The image in which the machine learning detection result does not include an object whose position matches that of the object included in the background difference detection result is used as re-learning data for the machine learning model used in the step of outputting the machine learning detection result. and performing an object detection technique.
JP2022175367A 2022-11-01 2022-11-01 Object detection device and object detection method Active JP7280426B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022175367A JP7280426B1 (en) 2022-11-01 2022-11-01 Object detection device and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022175367A JP7280426B1 (en) 2022-11-01 2022-11-01 Object detection device and object detection method

Publications (2)

Publication Number Publication Date
JP7280426B1 true JP7280426B1 (en) 2023-05-23
JP2024066084A JP2024066084A (en) 2024-05-15

Family

ID=86395866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022175367A Active JP7280426B1 (en) 2022-11-01 2022-11-01 Object detection device and object detection method

Country Status (1)

Country Link
JP (1) JP7280426B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058751A (en) 2005-08-26 2007-03-08 Fujitsu Ten Ltd Apparatus, method, and program for discriminating object
JP2016085487A (en) 2014-10-22 2016-05-19 キヤノン株式会社 Information processing device, information processing method and computer program
JP2022142165A (en) 2021-03-16 2022-09-30 トヨタ自動車株式会社 Vehicle control device, vehicle control method, and computer program for controlling vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058751A (en) 2005-08-26 2007-03-08 Fujitsu Ten Ltd Apparatus, method, and program for discriminating object
JP2016085487A (en) 2014-10-22 2016-05-19 キヤノン株式会社 Information processing device, information processing method and computer program
JP2022142165A (en) 2021-03-16 2022-09-30 トヨタ自動車株式会社 Vehicle control device, vehicle control method, and computer program for controlling vehicle

Also Published As

Publication number Publication date
JP2024066084A (en) 2024-05-15

Similar Documents

Publication Publication Date Title
CN111242015B (en) Method for predicting driving dangerous scene based on motion profile semantic graph
CN110781768A (en) Target object detection method and device, electronic device and medium
CN108960266A (en) Image object detection method and device
CN111274926B (en) Image data screening method, device, computer equipment and storage medium
US20230072731A1 (en) System and method for panoptic segmentation of point clouds
CN113033604A (en) Vehicle detection method, system and storage medium based on SF-YOLOv4 network model
Ye et al. Application of lightweight railway transit object detector
Farag A lightweight vehicle detection and tracking technique for advanced driving assistance systems
Salma et al. Development of ANPR framework for Pakistani vehicle number plates using object detection and OCR
Benjdira et al. TAU: A framework for video-based traffic analytics leveraging artificial intelligence and unmanned aerial systems
Parvin et al. Vehicle number plate detection and recognition techniques: a review
CN113724286A (en) Method and device for detecting saliency target and computer-readable storage medium
Khan et al. A novel deep learning based anpr pipeline for vehicle access control
KC Enhanced pothole detection system using YOLOX algorithm
Soni et al. A review on strategic pavement maintenance with machine learning techniques
Tran et al. UIT-ADrone: A novel drone dataset for traffic anomaly detection
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
JP7280426B1 (en) Object detection device and object detection method
CN111833353A (en) Hyperspectral target detection method based on image segmentation
CN113449629B (en) Lane line false and true identification device, method, equipment and medium based on driving video
Caballo et al. YOLO-based Tricycle Detection from Traffic Video
Fadili et al. A one-stage modified Tiny-YOLOv3 method for Real time Moroccan license plate recognition
CN112016534B (en) Neural network training method for vehicle parking violation detection, detection method and device
Mei et al. A cost effective solution for road crack inspection using cameras and deep neural networks
Adewopo et al. Smart city transportation: Deep learning ensemble approach for traffic accident detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221101

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230511

R150 Certificate of patent or registration of utility model

Ref document number: 7280426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150