JP6871199B2 - Target recognition device - Google Patents

Target recognition device Download PDF

Info

Publication number
JP6871199B2
JP6871199B2 JP2018102163A JP2018102163A JP6871199B2 JP 6871199 B2 JP6871199 B2 JP 6871199B2 JP 2018102163 A JP2018102163 A JP 2018102163A JP 2018102163 A JP2018102163 A JP 2018102163A JP 6871199 B2 JP6871199 B2 JP 6871199B2
Authority
JP
Japan
Prior art keywords
target
likelihood
image
recognition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018102163A
Other languages
Japanese (ja)
Other versions
JP2019207523A (en
Inventor
英治 尾形
英治 尾形
Original Assignee
大井電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大井電気株式会社 filed Critical 大井電気株式会社
Priority to JP2018102163A priority Critical patent/JP6871199B2/en
Publication of JP2019207523A publication Critical patent/JP2019207523A/en
Application granted granted Critical
Publication of JP6871199B2 publication Critical patent/JP6871199B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、目標物認識装置に関し、特に、画像に示される目標物を認識する装置に関する。 The present invention relates to a target object recognition device, and more particularly to a device that recognizes a target object shown in an image.

画像に示された特定の物体を認識する技術につき研究開発が行われている。画像認識技術には、時間経過と共に順次取得される画像のそれぞれにおいて目標物を認識し、目標物を追跡するものがある。 Research and development is being carried out on a technology for recognizing a specific object shown in an image. Some image recognition techniques recognize a target in each of the images sequentially acquired over time and track the target.

例えば、以下の特許文献１には、カメラ映像から人物を検出し、検出された人物を追跡する画像認識装置が記載されている。この画像認識装置は、時間経過と共に順次取得された画像から検出対象物としての人物を検出し、各画像における人物の位置を求めることで人物を追跡する。人物を検出する処理は、処理対象の画像における特定の領域が人物を示す可能性としての尤度を求め、尤度が所定の尤度閾値よりも大きい場合に、その特定の領域に対応する物体を人物として確定することで行われる。 For example, the following Patent Document 1 describes an image recognition device that detects a person from a camera image and tracks the detected person. This image recognition device detects a person as a detection target from images sequentially acquired with the passage of time, and tracks the person by obtaining the position of the person in each image. In the process of detecting a person, the likelihood that a specific area in the image to be processed indicates a person is obtained, and when the likelihood is larger than a predetermined likelihood threshold, the object corresponding to the specific area is obtained. Is done by confirming as a person.

なお、画像上で認識される物体は、実際には、画像上で特定の領域を占める物体の像を指すが、本願明細書では、表現を簡略化するため、画像上で特定の領域を占める物体の像を、単に画像上の物体と表現する。 The object recognized on the image actually refers to an image of an object that occupies a specific area on the image, but in the present specification, in order to simplify the expression, the object occupies a specific area on the image. The image of an object is simply expressed as an object on the image.

特開２０１６−１６２２３２号公報Japanese Unexamined Patent Publication No. 2016-162232

画像上で目標物を認識する処理については、次のような課題がある。すなわち、尤度が近い複数の物体が１つの画像から認識された場合、いずれの物体を目標物として認識すべきかの判定が困難となる場合がある。これによって、例えば、時間経過と共に順次取得される画像において目標物を追跡する場合には、追跡の途中で目標物でない別の物体を誤って追跡してしまうことがある。 The process of recognizing a target object on an image has the following problems. That is, when a plurality of objects having similar likelihoods are recognized from one image, it may be difficult to determine which object should be recognized as the target object. As a result, for example, when tracking a target object in images that are sequentially acquired over time, another object that is not the target object may be mistakenly tracked during the tracking process.

本発明は、画像に示された目標物を確実に認識することを目的とする。 An object of the present invention is to reliably recognize a target shown in an image.

本発明は、時間経過と共に画像を順次取得する画像取得部と、画像上で目標物を認識する物体認識部と、を備え、前記物体認識部は、先に取得された画像で認識された前記目標物の位置に基づいて、前記目標物が認識されると予測される予測範囲を、次に取得された画像上に設定する予測範囲設定部と、次に取得された画像上の物体について前記目標物に対する尤度を求めると共に、当該尤度が所定の認識条件を満たす物体のうち、前記予測範囲に対する所定の位置条件が満たされる物体を前記目標物として認識する目標物認識部と、を備え、前記尤度が前記認識条件を満たす物体であって、前記予測範囲に対する所定の位置条件が満たされる物体がないときに、前記目標物認識部は、前記尤度が前記認識条件を満たさない物体であって、前記予測範囲に対する所定の位置条件が満たされる仮目標物があるときは、先に取得された画像のうち、前記尤度が前記認識条件を満たすことで前記目標物が認識された目標物認識画像の数に応じて、当該仮目標物についての前記尤度を修正し、修正尤度を求める修正処理と、前記修正尤度が前記認識条件を満たすときに、前記仮目標物を前記目標物として認識する修正認識処理と、を実行することを特徴とする。 The present invention includes an image acquisition unit that sequentially acquires images with the passage of time, and an object recognition unit that recognizes an object on the image, and the object recognition unit is the object recognized by the previously acquired image. The prediction range setting unit that sets the prediction range in which the target is predicted to be recognized based on the position of the target on the next acquired image, and the object on the next acquired image are described above. It is provided with a target object recognition unit that obtains a likelihood with respect to a target object and recognizes an object satisfying a predetermined position condition with respect to the prediction range as the target object among objects whose likelihood condition satisfies a predetermined recognition range. When there is no object whose likelihood satisfies the recognition condition and the predetermined position condition with respect to the prediction range is not satisfied, the target object recognition unit is an object whose likelihood does not satisfy the recognition condition. When there is a provisional target object that satisfies the predetermined position condition with respect to the prediction range, the target object is recognized by satisfying the recognition condition with the likelihood of the previously acquired images. The correction process of modifying the likelihood of the provisional target according to the number of target recognition images to obtain the correction likelihood, and the provisional target when the correction likelihood satisfies the recognition condition. It is characterized by executing the correction recognition process for recognizing the target object.

望ましくは、前記修正尤度は、前記目標物認識画像の数が大きい程、大きい値を有する。 Desirably, the correction likelihood has a larger value as the number of target recognition images increases.

本発明によれば、画像に示された目標物を確実に認識することができる。 According to the present invention, the target object shown in the image can be reliably recognized.

物体認識装置の構成を示す図である。It is a figure which shows the structure of the object recognition apparatus. 予測範囲を設定する処理を概念的に示す図である。It is a figure which conceptually shows the process of setting a prediction range. 予測範囲を設定する処理を概念的に示す図である。It is a figure which conceptually shows the process of setting a prediction range. 出力画像の例を示す図である。It is a figure which shows the example of the output image. １つの画像から目標物を認識する処理を示すフローチャートである。It is a flowchart which shows the process of recognizing a target object from one image. 第４の画像データが示す画像上で認識された物体Ｏの尤度が尤度閾値以下であったときの例を示す図である。It is a figure which shows the example when the likelihood of the object O recognized on the image shown by the 4th image data is not more than the likelihood threshold. 追跡誤りについて説明するための図である。It is a figure for demonstrating the tracking error.

図１には、本発明の実施形態に係る物体認識装置１０の構成が示されている。物体認識装置１０は、画像取得部１２、物体認識部１４、追跡結果記憶部２６、プログラム記憶部２８、物体認識データベース３０および追跡成功回数記憶部３２を備えている。追跡結果記憶部２６、プログラム記憶部２８、および追跡成功回数記憶部３２は、アドレスによって複数の部分に分けられた１つのメモリによって構成されてもよい。 FIG. 1 shows the configuration of the object recognition device 10 according to the embodiment of the present invention. The object recognition device 10 includes an image acquisition unit 12, an object recognition unit 14, a tracking result storage unit 26, a program storage unit 28, an object recognition database 30, and a tracking success count storage unit 32. The tracking result storage unit 26, the program storage unit 28, and the tracking success count storage unit 32 may be configured by one memory divided into a plurality of parts by an address.

物体認識装置１０は、画像取得部１２によって動画像を撮影し、動画像上の目標物を認識し追跡する。動画像は、画像取得部１２によって時間経過と共に順次撮影される個々の画像によって構成される。すなわち、物体認識装置１０は、時間経過と共に順次撮影される画像上で目標物を認識し、各画像上で認識された目標値の位置を求めることで目標物の追跡を行う。 The object recognition device 10 captures a moving image by the image acquisition unit 12, recognizes and tracks a target object on the moving image. The moving image is composed of individual images sequentially captured by the image acquisition unit 12 over time. That is, the object recognition device 10 recognizes the target object on the images sequentially captured with the passage of time, and tracks the target object by obtaining the position of the recognized target value on each image.

画像取得部１２はカメラを備えており、所定のフレームレートで画像を撮影（取得）し、１フレーム周期が経過するごとに１フレームの画像データを物体認識部１４に出力する。画像取得部１２が取得する画像データが示す画像の視野（撮影視野）は一定であり、目標物の追跡は一定の撮影視野内で行われる。また、画像取得部１２はカメラを備えていなくてもよく、画像取得部１２に接続された外部のカメラから画像を取得してもよい。さらに、画像取得部１２は、外部に設けられたメモリから動画データを読み込んでもよいし、動画データを出力する情報処理装置から動画データを読み込んでもよい。 The image acquisition unit 12 includes a camera, acquires (acquires) an image at a predetermined frame rate, and outputs one frame of image data to the object recognition unit 14 every time one frame cycle elapses. The field of view (shooting field of view) of the image indicated by the image data acquired by the image acquisition unit 12 is constant, and the tracking of the target object is performed within the fixed shooting field of view. Further, the image acquisition unit 12 does not have to be provided with a camera, and an image may be acquired from an external camera connected to the image acquisition unit 12. Further, the image acquisition unit 12 may read the moving image data from an external memory, or may read the moving image data from an information processing device that outputs the moving image data.

物体認識部１４は、予測範囲設定部１８、目標物認識部２０、追跡結果生成部２２および出力画像生成部２４を備えている。物体認識部１４は、例えば、プログラム記憶部２８に記憶されたプログラムを実行するプロセッサによって構成される。この場合、プロセッサはプログラムを実行することで、予測範囲設定部１８、目標物認識部２０、追跡結果生成部２２および出力画像生成部２４を自らの内部に構成する。また、これらの構成要素は、ハードウエアとしてのディジタル回路によって個別に構成されてもよい。 The object recognition unit 14 includes a prediction range setting unit 18, a target object recognition unit 20, a tracking result generation unit 22, and an output image generation unit 24. The object recognition unit 14 is composed of, for example, a processor that executes a program stored in the program storage unit 28. In this case, the processor executes a program to configure the prediction range setting unit 18, the target recognition unit 20, the tracking result generation unit 22, and the output image generation unit 24 within itself. Further, these components may be individually configured by a digital circuit as hardware.

物体認識部１４は、画像取得部１２から出力された画像データが示す画像において目標物を探索し、撮影視野内で目標物を追跡する。具体的には、以下に説明する目標物追跡処理を実行し、１フレームの画像における目標物の位置を求め、目標物の位置を表す追跡結果データを１フレームごとに求め、追跡結果記憶部２６に記憶させる。追跡結果データは、目標物の位置を座標値によって表す数値データであってもよいし、目標物の位置を画像によって表す画像データであってもよい。目標物の位置を表す画像は、画像取得部１２が取得した画像データが示す画像上に目標物を示す図形を重ねたものであってもよい。 The object recognition unit 14 searches for a target object in the image indicated by the image data output from the image acquisition unit 12, and tracks the target object in the shooting field of view. Specifically, the target tracking process described below is executed, the position of the target in the image of one frame is obtained, the tracking result data representing the position of the target is obtained for each frame, and the tracking result storage unit 26 To memorize. The tracking result data may be numerical data in which the position of the target object is represented by coordinate values, or may be image data in which the position of the target object is represented by an image. The image showing the position of the target object may be an image in which the image showing the target object is superimposed on the image indicated by the image data acquired by the image acquisition unit 12.

目標物追跡処理について説明する。予測範囲設定部１８は、画像取得部１２から出力された画像データが示す画像に対し、目標物が認識される予測範囲を設定する。予測範囲の設定は、最新の画像データよりも先に取得されたＭフレームの画像データのそれぞれに対して求められた追跡結果データを用いて行われる。ただし、Ｍは１以上の整数であり、最新の画像データよりも先に取得された画像データが１フレームであるときは、予測範囲設定部１８は、先に取得された画像データが示す画像上で認識された目標物の位置から所定距離だけ所定方向にずれた範囲を予測範囲として設定する。また、最新の画像データよりも先に画像データが取得されていないときは、予測範囲設定部１８は、予め定められた初期範囲を予測範囲として設定する。 The target tracking process will be described. The prediction range setting unit 18 sets a prediction range in which the target object is recognized with respect to the image indicated by the image data output from the image acquisition unit 12. The prediction range is set using the tracking result data obtained for each of the image data of the M frame acquired earlier than the latest image data. However, when M is an integer of 1 or more and the image data acquired earlier than the latest image data is one frame, the prediction range setting unit 18 is on the image indicated by the image data acquired earlier. The range deviated from the position of the target object recognized in step 1 by a predetermined distance in a predetermined direction is set as the prediction range. Further, when the image data is not acquired before the latest image data, the prediction range setting unit 18 sets a predetermined initial range as the prediction range.

予測範囲設定部１８は、追跡結果記憶部２６に記憶されている各追跡結果データ、すなわち、過去のＭフレームの画像データに対して求められた各追跡結果データを参照する。そして、Ｍフレームの間に目標物が撮影視野内で移動した経路を示す軌跡を求め、その軌跡を未来側に延長する処理によって、最後に取得された画像データが示す画像、すなわち、最新の画像データが示す最新画像に対して予測範囲を設定する。 The prediction range setting unit 18 refers to each tracking result data stored in the tracking result storage unit 26, that is, each tracking result data obtained for the image data of the past M frames. Then, the image indicated by the image data finally acquired by the process of obtaining the locus indicating the path of the target moving in the shooting field of view during the M frame and extending the locus to the future side, that is, the latest image Set the prediction range for the latest image shown by the data.

図２には、予測範囲を設定する処理が概念的に示されている。この図では、目標物としてワゴン車が撮影視野３４内に示されている。目標物Ｔ１〜Ｔ３は、最新の画像データよりも先に取得された３フレームの画像データが示す画像上で認識された目標物である。目標物Ｔ１は、最も先に取得された第１の画像データが示す画像上で認識された目標物であり、目標物Ｔ２はその次に取得された第２の画像データが示す画像上で認識された目標物である。目標物Ｔ３は、第２の画像データの次に取得された第３の画像データが示す画像上で認識された目標物である。なお、図２では、説明の便宜上、１フレーム周期で目標物が移動する距離、すなわち、隣接する目標物の距離が誇張して描かれている。実際の１フレーム周期では、１フレーム周期で目標物が移動する距離は図２に示されているよりも短い場合が多い。 FIG. 2 conceptually shows the process of setting the prediction range. In this figure, a wagon vehicle is shown in the field of view 34 as a target. The targets T1 to T3 are targets recognized on the image indicated by the three-frame image data acquired before the latest image data. The target object T1 is a target object recognized on the image indicated by the first image data acquired first, and the target object T2 is recognized on the image indicated by the second image data acquired next. It is a targeted object. The target object T3 is a target object recognized on the image indicated by the third image data acquired next to the second image data. In FIG. 2, for convenience of explanation, the distance that the target moves in one frame cycle, that is, the distance of the adjacent target is exaggerated. In an actual one-frame cycle, the distance that the target moves in one frame cycle is often shorter than that shown in FIG.

予測範囲設定部１８は、目標物Ｔ１〜Ｔ３の移動軌跡を求め、その移動軌跡の未来側への延長線上に予測範囲３６を設定する。図２では、矩形の予測範囲３６が二点鎖線によって示されている。予測範囲３６の形状は、矩形の他、円形や楕円形、あるいはその他の多角形であってもよい。また、予測範囲３６の形状は、目標物に近似した形状であってもよい。なお、図２には、目標物としてのワゴン車が最新画像上で探索される可能性のある位置が、ワゴン車を表す破線で示されている。 The prediction range setting unit 18 obtains the movement locus of the targets T1 to T3, and sets the prediction range 36 on an extension line of the movement locus toward the future side. In FIG. 2, the rectangular prediction range 36 is indicated by the alternate long and short dash line. The shape of the prediction range 36 may be a circle, an ellipse, or another polygon in addition to a rectangle. Further, the shape of the prediction range 36 may be a shape close to the target object. In addition, in FIG. 2, the position where the wagon vehicle as a target may be searched for on the latest image is shown by a broken line representing the wagon vehicle.

目標物認識部２０は、目標物に対する尤度が０でない領域を最新画像上で検出し、その領域を物体であると認識すると共に、目標物に対する尤度が尤度閾値Ｈを超える物体を最新画像において探索する。ここで、目標物に対する尤度とは、物体が目標物である可能性の高さを示す値（物体が目標物であるらしいことの度合いを示す値）をいう。以下の説明では「目標物に対する尤度」を単に「尤度」という。尤度は、物体からの距離または方向が異なる複数の位置から物体を眺めたときの画像についても、目標物である可能性が高い物体については、尤度閾値Ｈを超えるように定義されている。 The target object recognition unit 20 detects a region on the latest image whose likelihood is not 0 with respect to the target, recognizes the region as an object, and updates an object whose likelihood with respect to the target exceeds the likelihood threshold H. Search in the image. Here, the likelihood with respect to the target means a value indicating the high possibility that the object is the target (a value indicating the degree of the possibility that the object is the target). In the following description, the "likelihood with respect to the target" is simply referred to as the "likelihood". Likelihood is defined to exceed the likelihood threshold H for an object that is likely to be a target, even for images when the object is viewed from multiple positions with different distances or directions from the object. ..

最新画像上で尤度を求める処理は、物体認識データベース３０を参照しながら実行される。物体認識データベース３０には、複数の異なる位置から１つの物体を見たときの形状を示す多元的物体データが、複数種の目標物のそれぞれについて予め記憶されている。多元的物体データが記憶される複数種の目標物は、自動車、オートバイ、人、動物等、物体認識装置１０が認識することを予定している複数種の物体であってもよい。目標物認識部２０は、目標物としてのワゴン車の多元的物体データを参照し、尤度が尤度閾値Ｈを超える物体を最新画像において探索する。 The process of obtaining the likelihood on the latest image is executed with reference to the object recognition database 30. In the object recognition database 30, multidimensional object data showing the shape when one object is viewed from a plurality of different positions is stored in advance for each of the plurality of types of targets. The plurality of types of objects in which the multidimensional object data is stored may be a plurality of types of objects that the object recognition device 10 intends to recognize, such as an automobile, a motorcycle, a person, and an animal. The target object recognition unit 20 refers to the multidimensional object data of the wagon vehicle as the target object, and searches for an object whose likelihood exceeds the likelihood threshold H in the latest image.

目標物認識部２０は、尤度が尤度閾値Ｈを超える１つの物体が最新画像上で探索されたときは、この物体と予測範囲３６との間の判定距離を求める。判定距離は、例えば、探索された物体の重心と、予測範囲３６の重心との間の距離として定義される。目標物認識部２０は、判定距離が所定の距離閾値以下である場合には、この物体を目標物であると認識する。 When one object whose likelihood exceeds the likelihood threshold value H is searched on the latest image, the target object recognition unit 20 obtains a determination distance between this object and the prediction range 36. The determination distance is defined as, for example, the distance between the center of gravity of the searched object and the center of gravity of the prediction range 36. When the determination distance is equal to or less than a predetermined distance threshold value, the target object recognition unit 20 recognizes this object as a target object.

目標物認識部２０は、尤度が尤度閾値Ｈを超える複数の物体が最新画像上で探索されたときは、これら複数の物体のそれぞれについて判定距離を求める。目標物認識部２０は、これら複数の物体のうち、判定距離が所定の距離閾値以下であり、判定距離が最短である物体を目標物であると認識する。 When a plurality of objects whose likelihood exceeds the likelihood threshold value H are searched for on the latest image, the target object recognition unit 20 obtains a determination distance for each of the plurality of objects. Among these plurality of objects, the target object recognition unit 20 recognizes the object whose determination distance is equal to or less than a predetermined distance threshold value and whose determination distance is the shortest as the target object.

追跡結果生成部２２は、目標物認識部２０が目標物を認識したことに応じて追跡結果データを生成し、追跡結果記憶部２６に追跡結果データを記憶させる。追跡結果生成部２２は、追跡成功回数記憶部３２に記憶されている追跡成功回数を１だけ増加させる。追跡成功回数は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下である物体が探索された追跡成功回数を示す０以上の整数である。なお、尤度が尤度閾値Ｈを超えると共に、判定距離が距離閾値以下である物体が最新画像上で探索されなかった場合の修正処理については後述する。 The tracking result generation unit 22 generates tracking result data in response to the target object recognition unit 20 recognizing the target object, and stores the tracking result data in the tracking result storage unit 26. The tracking result generation unit 22 increases the number of successful tracking times stored in the tracking success count storage unit 32 by one. The number of successful traces is an integer of 0 or more indicating the number of successful traces in which an object whose likelihood exceeds the likelihood threshold H and whose determination distance is equal to or less than the distance threshold is searched. The correction process when the likelihood exceeds the likelihood threshold H and the object whose determination distance is equal to or less than the distance threshold is not searched on the latest image will be described later.

図３には、目標物Ｔ１〜Ｔ３に加えて、第３の画像データの次に取得された第４の画像データが示す画像上で認識された目標物Ｔ４が示されている。第１〜第４の画像データに対して実行された処理と同様の処理によって、物体認識部１４は、最新の画像データ（第５の画像データ）が示す最新画像上に予測範囲３６を設定し、尤度が尤度閾値Ｈを超える物体を最新画像上で探索する。物体認識部１４は、探索された物体について判定距離を求め、判定距離が距離閾値以下である場合には、この物体を目標物であると認識する。また、最新画像において尤度が尤度閾値Ｈを超える複数の物体が探索された場合には、物体認識部１４は、判定距離が距離閾値以下であり、判定距離が最短である物体を目標物であると認識する。物体認識部１４は、さらに、目標物に対して追跡結果データを生成して追跡結果記憶部２６に記憶させると共に、追跡成功回数記憶部３２に記憶されている追跡成功回数を１だけ増加させる。 In FIG. 3, in addition to the targets T1 to T3, the target T4 recognized on the image indicated by the fourth image data acquired next to the third image data is shown. By the same processing as the processing executed for the first to fourth image data, the object recognition unit 14 sets the prediction range 36 on the latest image indicated by the latest image data (fifth image data). , An object whose likelihood exceeds the likelihood threshold H is searched for on the latest image. The object recognition unit 14 obtains a determination distance for the searched object, and if the determination distance is equal to or less than the distance threshold value, recognizes this object as a target object. Further, when a plurality of objects whose likelihood exceeds the likelihood threshold value H are searched for in the latest image, the object recognition unit 14 targets the object whose determination distance is equal to or less than the distance threshold value and whose determination distance is the shortest. Recognize that. The object recognition unit 14 further generates tracking result data for the target object and stores it in the tracking result storage unit 26, and increases the number of successful tracking times stored in the tracking success count storage unit 32 by one.

出力画像生成部２４は、追跡結果記憶部２６に記憶された追跡結果データを参照することで目標物の軌跡を示す出力画像データを生成し、物体認識部１４から出力する。出力画像データが示す出力画像は、例えば、最新画像に対して目標物の軌跡を示す図形を重ねて示したものである。図４には、出力画像の例が示されている。この出力画像４０では、最新画像に対し、曲線および矢印によって表された目標物Ｔの軌跡３８が重ねて示されている。出力画像生成部２４は、画像取得部１２から順次出力された各画像データに対応する出力画像データを物体認識部１４から順次出力する。また、出力画像生成部２４は、各出力画像データを動画像データとして追跡結果記憶部２６に記憶させてもよいし、物体認識部１４に接続されたその他のメモリに記憶させてもよい。 The output image generation unit 24 generates output image data indicating the trajectory of the target by referring to the tracking result data stored in the tracking result storage unit 26, and outputs the output image data from the object recognition unit 14. The output image indicated by the output image data is, for example, an overlay of a figure showing a trajectory of a target object on the latest image. FIG. 4 shows an example of an output image. In the output image 40, the locus 38 of the target object T represented by the curve and the arrow is superimposed on the latest image. The output image generation unit 24 sequentially outputs the output image data corresponding to each image data sequentially output from the image acquisition unit 12 from the object recognition unit 14. Further, the output image generation unit 24 may store each output image data as moving image data in the tracking result storage unit 26, or may store it in another memory connected to the object recognition unit 14.

尤度が尤度閾値Ｈを超えると共に、判定距離が距離閾値以下である物体が最新画像上で探索されなかった場合の修正処理について説明する。目標物認識部２０は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下である物体を最新画像上で探索する。 A correction process will be described when an object whose likelihood exceeds the likelihood threshold H and whose determination distance is equal to or less than the distance threshold is not searched on the latest image. The target object recognition unit 20 searches the latest image for an object whose likelihood exceeds the likelihood threshold H0 and is equal to or less than the likelihood threshold H0.

目標物認識部２０は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下である１つの物体が最新画像上で探索されたときは、この物体と予測範囲３６との間の判定距離を求める。目標物認識部２０は、判定距離が所定の距離閾値以下である場合には、この物体を仮目標物であると認識する。 When the target object recognition unit 20 searches for one object whose likelihood exceeds the likelihood threshold H0 and is equal to or less than the likelihood threshold H on the latest image, the target object recognition unit 20 determines the determination distance between this object and the prediction range 36. Ask for. When the determination distance is equal to or less than a predetermined distance threshold value, the target object recognition unit 20 recognizes this object as a temporary target object.

目標物認識部２０は、目標物に対する尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下である複数の物体が最新画像上で探索されたときは、これら複数の物体のそれぞれについて判定距離を求める。目標物認識部２０は、これら複数の物体のうち、判定距離が所定の距離閾値以下であり、判定距離が最短である物体を仮目標物であると認識する。物体認識部１４は、各物体について求められた判定距離が所定の距離閾値を超える場合には、目標物の追跡を終了する。この場合、物体認識部１４は、目標物を探索し追跡する処理を最初から実行する。 When a plurality of objects whose likelihood with respect to the target exceeds the likelihood threshold value H0 and are equal to or less than the likelihood threshold value H are searched on the latest image, the target object recognition unit 20 determines the determination distance for each of the plurality of objects. Ask for. Among these plurality of objects, the target object recognition unit 20 recognizes the object whose determination distance is equal to or less than a predetermined distance threshold value and whose determination distance is the shortest as a provisional target object. When the determination distance obtained for each object exceeds a predetermined distance threshold value, the object recognition unit 14 ends the tracking of the target object. In this case, the object recognition unit 14 executes the process of searching for and tracking the target object from the beginning.

目標物認識部２０は、追跡成功回数記憶部３２に記憶されている追跡成功回数ＳＣを読み込み、仮目標物に対して求められた尤度Ｌ０と追跡成功回数ＳＣを用いた以下の（数１）に基づいて尤度Ｌ０を修正し、修正尤度Ｌ１を求める。 The target recognition unit 20 reads the tracking success count SC stored in the tracking success count storage unit 32, and uses the likelihood L0 obtained for the provisional target and the tracking success count SC as follows (Equation 1). ), The likelihood L0 is modified to obtain the modified likelihood L1.

（数１）Ｌ１＝Ｌ０＋ｋ・ＳＣ (Equation 1) L1 = L0 + k · SC

ｋは正の調整係数であり、例えば、実験やシミュレーションによって適切な値に設定される。（数１）は、最新の画像データよりも先に取得された画像データに対して求められた追跡成功回数ＳＣが大きい程、尤度Ｌ０に対する加算値ｋ・ＳＣを大きくし、追跡成功回数ＳＣが大きい程、修正尤度Ｌ１を大きくすることを意味する。 k is a positive adjustment factor and is set to an appropriate value by experiment or simulation, for example. In (Equation 1), the larger the tracking success count SC obtained for the image data acquired earlier than the latest image data, the larger the addition value k · SC with respect to the likelihood L0, and the tracking success count SC. The larger the value, the larger the correction likelihood L1.

目標物認識部２０は、修正尤度Ｌ１が尤度閾値Ｈを超えるときは、仮目標物を目標物として認識する。追跡結果生成部２２は、目標物認識部２０が仮目標物を目標物として認識したことに応じて追跡結果データを生成し、追跡結果記憶部２６に追跡結果データを記憶させる。 When the modified likelihood L1 exceeds the likelihood threshold H, the target recognition unit 20 recognizes the provisional target as a target. The tracking result generation unit 22 generates tracking result data in response to the target object recognition unit 20 recognizing the provisional target as the target, and stores the tracking result data in the tracking result storage unit 26.

なお、修正処理では、追跡成功回数記憶部３２に記憶されている追跡成功回数はそのままに維持される。目標物認識部２０は、修正尤度Ｌ１が尤度閾値Ｈ以下であるときは、これまで追跡していた目標物の追跡を終了する。この場合、物体認識部１４は、目標物を探索し追跡する処理を最初から実行する。 In the correction process, the number of successful tracking times stored in the tracking success number storage unit 32 is maintained as it is. When the modified likelihood L1 is equal to or less than the likelihood threshold value H, the target recognition unit 20 ends the tracking of the target that has been tracked so far. In this case, the object recognition unit 14 executes the process of searching for and tracking the target object from the beginning.

図５には、目標物追跡処理において、画像上で目標物を認識する処理を例示するフローチャートが示されている。物体認識部１４は、画像取得部１２から出力された画像データが示す画像上で尤度が０でない領域を検出することで物体を探索する（Ｓ１０１）。物体認識部１４は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下の物体があるか否かを判定し（Ｓ１０２）、その物体が複数あるときは、判定距離が最短の物体を目標物として認識する（Ｓ１０３）。また、物体認識部１４は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下の物体が１つである場合には、その物体を目標物として認識する（Ｓ１０３）。物体認識部１４は、追跡成功回数記憶部３２に記憶された追跡成功回数に１を加算する（Ｓ１０４）。物体認識部１４は、処理対象の画像上で目標物を探索する処理を終了し、次の画像上で目標物を認識する処理に進む。 FIG. 5 shows a flowchart illustrating a process of recognizing a target object on an image in the target object tracking process. The object recognition unit 14 searches for an object by detecting a region having a non-zero likelihood on the image indicated by the image data output from the image acquisition unit 12 (S101). The object recognition unit 14 determines whether or not there is an object whose likelihood exceeds the likelihood threshold value H and whose determination distance is equal to or less than the distance threshold value (S102), and when there are a plurality of such objects, the determination distance is the shortest. (S103). Further, when the likelihood exceeds the likelihood threshold value H and the determination distance is equal to or less than the distance threshold value, the object recognition unit 14 recognizes the object as a target object (S103). The object recognition unit 14 adds 1 to the number of successful tracking times stored in the storage number of successful tracking units 32 (S104). The object recognition unit 14 ends the process of searching for the target object on the image to be processed, and proceeds to the process of recognizing the target object on the next image.

物体認識部１４は、尤度が尤度閾値Ｈを超え、かつ、判定距離が距離閾値以下の物体がないときは、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下であり、かつ、判定距離が距離閾値以下の物体があるか否かを判定し（Ｓ１０５）、そのような物体が複数あるときは、判定距離が最短の物体を仮目標物として認識する（Ｓ１０６）。物体認識部１４は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下であり、かつ、判定距離が距離閾値以下の物体が１つである場合には、その物体を仮目標物として認識する（Ｓ１０６）。 When the likelihood exceeds the likelihood threshold H and there is no object whose determination distance is equal to or less than the distance threshold value, the object recognition unit 14 has a likelihood exceeding the likelihood threshold H0 and equal to or less than the likelihood threshold H. It is determined whether or not there is an object whose determination distance is equal to or less than the distance threshold value (S105), and when there are a plurality of such objects, the object having the shortest determination distance is recognized as a temporary target object (S106). When the likelihood exceeds the likelihood threshold H0, is equal to or less than the likelihood threshold H, and the determination distance is equal to or less than the distance threshold, the object recognition unit 14 uses that object as a tentative target. Recognize (S106).

物体認識部１４は、仮目標物についての尤度Ｌ０を修正して修正尤度Ｌ１を求める（Ｓ１０７）。そして、修正尤度Ｌ１が尤度閾値Ｈを超えるか否かを判定する（Ｓ１０８）。物体認識部１４は、修正尤度Ｌ１が尤度閾値Ｈを超えるときは、その仮目標物を目標物として認識し（Ｓ１０９）、処理対象の画像上で目標物を探索する処理を終了し、次の画像上で目標物を認識する処理に進む。 The object recognition unit 14 modifies the likelihood L0 of the provisional target to obtain the modified likelihood L1 (S107). Then, it is determined whether or not the modified likelihood L1 exceeds the likelihood threshold H (S108). When the modified likelihood L1 exceeds the likelihood threshold H, the object recognition unit 14 recognizes the provisional target as a target (S109), ends the process of searching for the target on the image to be processed, and ends the process. Proceed to the process of recognizing the target on the next image.

物体認識部１４は、尤度が尤度閾値Ｈ０を超え、尤度閾値Ｈ以下であり、かつ、判定距離が距離閾値以下の物体がないとき（Ｓ１０５）、あるいは、仮目標物の修正尤度が尤度閾値Ｈ以下であるときは（Ｓ１０８）、処理対象の画像上で目標物を探索する処理を終了し、目標物の追跡を終了する。 When the likelihood exceeds the likelihood threshold H0, is equal to or less than the likelihood threshold H, and there is no object whose determination distance is equal to or less than the distance threshold (S105), the object recognition unit 14 has the modified likelihood of the provisional target. When is equal to or less than the likelihood threshold value H (S108), the process of searching for the target object on the image to be processed is terminated, and the tracking of the target object is terminated.

図６には、第４の画像データが示す画像上で認識された物体Ｏの尤度が尤度閾値Ｈ以下であったときの例が示されている。この例では、物体Ｏに対して修正尤度Ｌ１が求められ、修正尤度Ｌ１が尤度閾値Ｈを超えたことによって、物体Ｏが目標物Ｔ４として認識されている。尤度が尤度閾値Ｈ以下となった原因としては、例えば、処理対象の物体Ｏが暗闇にあることや、逆光で撮影されたこと等によって尤度が低下したことがある。物体認識部１４は、目標物Ｔ１〜Ｔ３に加えて目標物Ｔ４に基づいて、第５の画像データが示す画像上に予測範囲を設定し、目標物追跡処理を引き続き実行し、目標物Ｔ５を認識する。 FIG. 6 shows an example when the likelihood of the object O recognized on the image shown by the fourth image data is equal to or less than the likelihood threshold value H. In this example, the correction likelihood L1 is obtained for the object O, and the object O is recognized as the target object T4 because the correction likelihood L1 exceeds the likelihood threshold value H. The reason why the likelihood becomes equal to or less than the likelihood threshold value is that, for example, the object O to be processed is in the dark, or the likelihood is lowered because the image is taken against the sun. The object recognition unit 14 sets a prediction range on the image indicated by the fifth image data based on the target object T4 in addition to the target objects T1 to T3, continuously executes the target object tracking process, and sets the target object T5. recognize.

このように、本実施形態に係る物体認識装置１０は、時間経過と共に画像を順次取得する画像取得部１２と、画像上で目標物を認識する物体認識部１４とを備えている。物体認識部１４は、少なくとも予測範囲設定部１８および目標物認識部２０を備えている。予測範囲設定部１８は、先に取得された画像で認識された目標物の位置に基づいて、目標物が認識されると予測される予測範囲３６を、次に取得された画像上に設定する。目標物認識部２０は、次に取得された画像上の物体について尤度を求めると共に、尤度が所定の認識条件を満たす物体のうち、予測範囲３６に対する所定の位置条件が満たされる物体を目標物として認識する。 As described above, the object recognition device 10 according to the present embodiment includes an image acquisition unit 12 that sequentially acquires images with the passage of time, and an object recognition unit 14 that recognizes a target object on the image. The object recognition unit 14 includes at least a prediction range setting unit 18 and a target object recognition unit 20. The prediction range setting unit 18 sets the prediction range 36 in which the target is predicted to be recognized based on the position of the target recognized in the previously acquired image on the next acquired image. .. The target object recognition unit 20 obtains the likelihood of the next acquired object on the image, and targets an object whose likelihood satisfies a predetermined recognition condition and which satisfies a predetermined position condition with respect to the prediction range 36. Recognize as an object.

本実施形態における認識条件は、目標物に対する尤度が尤度閾値Ｈを超えるという条件である。また、本実施形態における位置条件は、物体または仮目標物と予測範囲３６との間の判定距離が距離閾値以下であるという条件である。 The recognition condition in the present embodiment is that the likelihood with respect to the target object exceeds the likelihood threshold value H. Further, the position condition in the present embodiment is a condition that the determination distance between the object or the provisional target and the prediction range 36 is equal to or less than the distance threshold value.

目標物認識部２０は、目標物に対する尤度が認識条件を満たさない物体であって、予測範囲３６に対する所定の位置条件が満たされる仮目標物があるときは、先に取得された画像のうち、追跡成功回数ＳＣ（尤度が認識条件を満たすことで目標物が認識された目標物認識画像の数）に応じて、その仮目標物についての尤度を修正し、修正尤度を求める修正処理を実行する。目標物認識部２０は、修正尤度が認識条件を満たすときに、仮目標物を目標物として認識する修正認識処理を実行する。 When the target object recognition unit 20 is an object whose likelihood with respect to the target object does not satisfy the recognition condition and there is a provisional target object satisfying a predetermined position condition with respect to the prediction range 36, the target object recognition unit 20 is among the images acquired earlier. , The likelihood of the provisional target is corrected according to the number of successful tracking SCs (the number of target recognition images in which the target is recognized when the likelihood satisfies the recognition condition), and the correction likelihood is obtained. Execute the process. The target object recognition unit 20 executes a correction recognition process for recognizing a provisional target as a target when the correction likelihood satisfies the recognition condition.

なお、上記の尤度閾値Ｈ、尤度閾値Ｈ０、および距離閾値は、実験やシミュレーションによって適切な値が求められてもよい。 Appropriate values may be obtained for the likelihood threshold value H, the likelihood threshold value H0, and the distance threshold value by experiments or simulations.

本実施形態に係る物体認識装置１０では、尤度が認識条件を満たさないものの予測範囲に対する位置条件が満たされる物体が仮目標物として認識される。仮目標物については、過去に追跡が成功した回数が多い程、その値が大きくなるような修正尤度が求められ、修正尤度によって、仮目標物が目標物であると認識され得る。したがって、画像取得部１２で順次取得される画像が、目標物追跡の途中で劣化した場合であっても、過去に目標物として認識された物体は再び目標物として認識され易く、目標物の追跡が確実に行われる。なお、画像の劣化には、視界が良好でない領域に目標物が入り込んだり、逆光で撮影されたりしたことによるものがある。 In the object recognition device 10 according to the present embodiment, an object whose likelihood does not satisfy the recognition condition but which satisfies the position condition with respect to the prediction range is recognized as a provisional target. For the provisional target, the correction likelihood is required so that the value increases as the number of successful trackings in the past increases, and the provisional target can be recognized as the target by the correction likelihood. Therefore, even if the images sequentially acquired by the image acquisition unit 12 deteriorate during the target tracking, the object recognized as the target in the past is easily recognized as the target again, and the target is tracked. Is surely done. It should be noted that the deterioration of the image is due to the fact that the target object enters the region where the field of view is not good or the image is taken against the sun.

従来技術では、目標物に対する尤度が近い複数の物体が１つの画像内にある場合には、目的物とすべきでない物体を誤って追跡してしまう可能性がある。例えば、図７に示されているように、目標物としてのワゴン車の他、目標物でない乗用車が撮影視野３４内に現れている場合について、追跡誤りが生じる問題点について説明する。対象物体Ａ１〜Ａ４は、それぞれ、画像取得部１２で順次取得された第１〜第４の画像データから認識された目標物を撮影視野３４内に概念的に示したものである。非対象物体Ｂ１〜Ｂ４は、それぞれ、第１〜第４の画像データから認識された目標物でない物体を撮影視野３４内に概念的に示したものである。対象物体Ａ１、Ａ２およびＡ４の尤度は尤度閾値Ｈを超えるものの、対象物体Ａ３の尤度は尤度閾値Ｈ以下であるものとする。 In the prior art, when a plurality of objects having similar likelihoods to a target object are in one image, there is a possibility that an object that should not be the target object is erroneously tracked. For example, as shown in FIG. 7, a problem in which a tracking error occurs when a non-target passenger car appears in the shooting field of view 34 in addition to the wagon vehicle as the target will be described. Each of the target objects A1 to A4 conceptually shows a target object recognized from the first to fourth image data sequentially acquired by the image acquisition unit 12 in the photographing field of view 34. The non-target objects B1 to B4 conceptually represent non-target objects recognized from the first to fourth image data in the photographing field of view 34, respectively. It is assumed that the likelihood of the target objects A1, A2 and A4 exceeds the likelihood threshold H, but the likelihood of the target object A3 is equal to or less than the likelihood threshold H.

乗用車はワゴン車に形態が近似しているため、非対象物体Ｂ１〜Ｂ４の尤度は、対象物体Ａ１〜Ａ４の尤度に近くなる可能性が高い。さらに、非対象物体Ｂ３は、対象物体Ａ３に接近している。このような条件の下、従来技術では、対象物体Ａ３ではなく非対象物体Ｂ３が誤って目標物であると認識され、それ以降は、ワゴン車ではなく乗用車が追跡されてしまう可能性がある。 Since the passenger car has a shape similar to that of a wagon, the likelihood of the non-target objects B1 to B4 is likely to be close to the likelihood of the target objects A1 to A4. Further, the non-target object B3 is close to the target object A3. Under such conditions, in the prior art, the non-target object B3 instead of the target object A3 may be mistakenly recognized as the target object, and thereafter, the passenger car instead of the wagon car may be tracked.

本実施形態に係る物体認識装置１０によれば、非対象物体Ｂ３は、尤度について認識条件が満たされたとしても、予測範囲に対する位置条件が満たされない可能性が高い。一方、対象物体Ａ３については修正尤度が求められ、修正尤度に基づいて対象物体Ａ３が目標物であると認識される可能性が高い。したがって、非対象物Ｂ３を目標物であると誤って認識してしまう可能性が低くなり、目標物の追跡が確実に行われる。 According to the object recognition device 10 according to the present embodiment, there is a high possibility that the non-target object B3 does not satisfy the position condition with respect to the prediction range even if the recognition condition for the likelihood is satisfied. On the other hand, the correction likelihood is obtained for the target object A3, and there is a high possibility that the target object A3 is recognized as the target object based on the correction likelihood. Therefore, the possibility of erroneously recognizing the non-object B3 as the target is reduced, and the target is reliably tracked.

なお、修正尤度Ｌ１は、（数１）で定義される他、追跡成功回数ＳＣが大きい程、大きい値となるように定義されるものであればよい。例えば、修正尤度Ｌ１は、（数２）で定義される値であってもよい。（数２）中のｃは１を超える調整係数であり、実験やシミュレーションによって適切な値に設定される。 In addition to being defined by (Equation 1), the correction likelihood L1 may be defined so that the larger the number of successful tracking times SC, the larger the value. For example, the correction likelihood L1 may be a value defined by (Equation 2). C in (Equation 2) is an adjustment coefficient exceeding 1, and is set to an appropriate value by experiments and simulations.

（数２）Ｌ１＝Ｌ０・ｃ・ＳＣ (Number 2) L1 = L0 ・ c ・ SC

物体認識部１４は、物体認識データベース３０を自ら更新する学習機能を備えていてもよい。すなわち、物体認識部１４は、自動車、オートバイ、人物等に分類される目標物の各分類について、多元的物体データを自動的に生成する機能を備えていてもよい。この場合、物体認識部１４はインターネットに接続されていてもよい。物体認識部１４は、目標物の分類ごとにインターネットから物体の外見の特徴を表す情報を取得して多元的物体データを生成し、物体認識データベース３０に蓄積する。多元的物体データの生成に際しては、画像取得部１２によって取得された画像データが素材として用いられてもよい。 The object recognition unit 14 may have a learning function for updating the object recognition database 30 by itself. That is, the object recognition unit 14 may have a function of automatically generating multidimensional object data for each classification of targets classified into automobiles, motorcycles, people, and the like. In this case, the object recognition unit 14 may be connected to the Internet. The object recognition unit 14 acquires information representing the appearance characteristics of the object from the Internet for each classification of the target object, generates multidimensional object data, and stores it in the object recognition database 30. When generating the multidimensional object data, the image data acquired by the image acquisition unit 12 may be used as a material.

１０ 物体認識装置、１２ 画像取得部、１４ 物体認識部、１８ 予測範囲設定部、２０ 目標物認識部、２２ 追跡結果生成部、２４ 出力画像生成部、２６ 追跡結果記憶部、２８ プログラム記憶部、３０ 物体認識データベース、３２ 追跡成功回数記憶部、３４ 撮影視野、３６ 予測範囲、３８ 軌跡、４０ 出力画像。
10 Object recognition device, 12 Image acquisition unit, 14 Object recognition unit, 18 Prediction range setting unit, 20 Target recognition unit, 22 Tracking result generation unit, 24 Output image generation unit, 26 Tracking result storage unit, 28 Program storage unit, 30 Object recognition database, 32 Tracking success count storage, 34 Shooting field, 36 Prediction range, 38 Trajectories, 40 Output images.

Claims (2)

時間経過と共に画像を順次取得する画像取得部と、
画像上で目標物を認識する物体認識部と、を備え、
前記物体認識部は、
先に取得された画像で認識された前記目標物の位置に基づいて、前記目標物が認識されると予測される予測範囲を、次に取得された画像上に設定する予測範囲設定部と、
次に取得された画像上の物体について前記目標物に対する尤度を求めると共に、当該尤度が所定の認識条件を満たす物体のうち、前記予測範囲に対する所定の位置条件が満たされる物体を前記目標物として認識する目標物認識部と、を備え、
前記尤度が前記認識条件を満たす物体であって、前記予測範囲に対する所定の位置条件が満たされる物体がないときに、前記目標物認識部は、
前記尤度が前記認識条件を満たさない物体であって、前記予測範囲に対する所定の位置条件が満たされる仮目標物があるときは、先に取得された画像のうち、前記尤度が前記認識条件を満たすことで前記目標物が認識された目標物認識画像の数に応じて、当該仮目標物についての前記尤度を修正し、修正尤度を求める修正処理と、
前記修正尤度が前記認識条件を満たすときに、前記仮目標物を前記目標物として認識する修正認識処理と、を実行することを特徴とする物体認識装置。 An image acquisition unit that sequentially acquires images over time,
Equipped with an object recognition unit that recognizes the target on the image,
The object recognition unit
A prediction range setting unit that sets a prediction range in which the target is predicted to be recognized based on the position of the target recognized in the previously acquired image on the next acquired image.
Next, the likelihood of the acquired object on the image is obtained with respect to the target object, and among the objects whose likelihood satisfies the predetermined recognition condition, the object satisfying the predetermined position condition with respect to the predicted range is the target object. Equipped with a target recognition unit that recognizes as
When there is no object whose likelihood satisfies the recognition condition and the predetermined position condition with respect to the prediction range is not satisfied, the target object recognition unit may perform the target recognition unit.
When there is an object whose likelihood does not satisfy the recognition condition and there is a provisional target object whose predetermined position condition with respect to the prediction range is satisfied, the likelihood is the recognition condition among the images acquired earlier. The correction process of correcting the likelihood of the provisional target and obtaining the correction likelihood according to the number of target recognition images in which the target is recognized by satisfying the above.
An object recognition device characterized by executing a correction recognition process of recognizing the provisional target as the target when the correction likelihood satisfies the recognition condition. 請求項１に記載の物体認識装置において、
前記修正尤度は、前記目標物認識画像の数が大きい程、大きい値を有することを特徴とする物体認識装置。 In the object recognition device according to claim 1,
An object recognition device characterized in that the correction likelihood has a larger value as the number of target recognition images increases.
JP2018102163A 2018-05-29 2018-05-29 Target recognition device Active JP6871199B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018102163A JP6871199B2 (en) 2018-05-29 2018-05-29 Target recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018102163A JP6871199B2 (en) 2018-05-29 2018-05-29 Target recognition device

Publications (2)

Publication Number Publication Date
JP2019207523A JP2019207523A (en) 2019-12-05
JP6871199B2 true JP6871199B2 (en) 2021-05-12

Family

ID=68767038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018102163A Active JP6871199B2 (en) 2018-05-29 2018-05-29 Target recognition device

Country Status (1)

Country Link
JP (1) JP6871199B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4961850B2 (en) * 2006-06-15 2012-06-27 ソニー株式会社 Motion detection method, motion detection method program, recording medium recording motion detection method program, and motion detection apparatus
JP5387052B2 (en) * 2009-03-02 2014-01-15 富士通株式会社 Data distribution system and data distribution method
JP5136504B2 (en) * 2009-04-02 2013-02-06 トヨタ自動車株式会社 Object identification device
JP6488647B2 (en) * 2014-09-26 2019-03-27 日本電気株式会社 Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium
JP6656987B2 (en) * 2016-03-30 2020-03-04 株式会社エクォス・リサーチ Image recognition device, mobile device, and image recognition program

Also Published As

Publication number Publication date
JP2019207523A (en) 2019-12-05

Similar Documents

Publication Publication Date Title
EP3338248B1 (en) Systems and methods for object tracking
US11138467B2 (en) Method, device, product, and computer program for operating a technical system
JP6046666B2 (en) Runway boundary estimation device and runway boundary estimation method
JP7176478B2 (en) Image recognition device
JP5178276B2 (en) Image recognition device
US10474884B2 (en) Action determination device
CN106183979A (en) A kind of method and apparatus vehicle reminded according to spacing
JP7311310B2 (en) Information processing device, information processing method and program
Lee et al. A memory model based on the Siamese network for long-term tracking
JP2019215755A (en) Image recognition device, image recognition method, machine learning model providing device, machine learning model providing method, machine learning model generating method, and machine learning model device
JP6953818B2 (en) Operation judgment device
JP2012118683A (en) Pedestrian recognition device
JP2020177648A (en) Recognition method of false detection of abandoned object, device, and image processor
CN107430821B (en) Image processing apparatus
JP6871199B2 (en) Target recognition device
CN111178218B (en) Multi-feature joint video tracking method and system based on face recognition
CN111986231A (en) Multi-target tracking method and system
US20200226763A1 (en) Object Detection Method and Computing System Thereof
JP2008243111A (en) Image processing device and image processing method
JP2010128961A (en) Image monitoring apparatus
US20230343105A1 (en) Method for detecting road users
Tian et al. Tracking vulnerable road users with severe occlusion by adaptive part filter modeling
EP2583216A1 (en) Method of predetermined road object recognition in images and vehicle driving assistance device
CN114092899A (en) Method and apparatus for identifying objects from input data
KR102172849B1 (en) Detecting system for approaching vehicle in video and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210415

R150 Certificate of patent or registration of utility model

Ref document number: 6871199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250