JP2019012496A - Detection program, method and device - Google Patents
Detection program, method and device Download PDFInfo
- Publication number
- JP2019012496A JP2019012496A JP2017130196A JP2017130196A JP2019012496A JP 2019012496 A JP2019012496 A JP 2019012496A JP 2017130196 A JP2017130196 A JP 2017130196A JP 2017130196 A JP2017130196 A JP 2017130196A JP 2019012496 A JP2019012496 A JP 2019012496A
- Authority
- JP
- Japan
- Prior art keywords
- moving
- detection
- areas
- area
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
開示の技術は、検出プログラム、検出方法、及び検出装置に関する。 The disclosed technology relates to a detection program, a detection method, and a detection apparatus.
従来、移動体の形状情報に依存することなく、移動体の識別をする移動体識別装置が提案されている。この装置は、撮像装置によって時系列画像を取得し、この時系列画像に基づいて、任意の画像中における所定の複数の位置について画像間における動き情報を検出する。また、この装置は、検出された動き情報に基づいて、所定の動き情報と異なる動き情報に対応した任意の画像中における領域を移動体領域として抽出する。そして、この装置は、少なくとも抽出された移動体領域に包含される複数の位置について検出された動き情報に基づいて、移動体領域に存在する移動体を識別する。 2. Description of the Related Art Conventionally, a mobile object identification device that identifies a mobile object without depending on the shape information of the mobile object has been proposed. This apparatus acquires a time-series image by an imaging apparatus, and detects motion information between images at a plurality of predetermined positions in an arbitrary image based on the time-series image. In addition, this apparatus extracts a region in an arbitrary image corresponding to motion information different from the predetermined motion information as a moving body region based on the detected motion information. And this apparatus identifies the mobile body which exists in a mobile body area | region based on the motion information detected about the some position included in the extracted mobile body area | region at least.
また、逆走車両を検知し、運転者にその情報を提供する危険走行情報提供システムが提案されている。このシステムでは、車両に搭載された車載装置で時々刻々測位し、測位位置と測位時刻とを関連付けた走行軌跡である時系列情報(軌跡情報)を蓄積する。また、このシステムは、道路の各車線上に設置された路上通信装置の通信部の路車間通信領域を通過する際に、軌跡情報を路上通信装置に送信し、軌跡情報に基づいて車両の走行方位を算出する。そして、このシステムは、記憶部に記憶している軌跡情報を送ってきた路上通信装置の通信部が設けられている車線における車両の進行方位と比較し、両者が略逆向きであると判定した場合には、車両は逆走車両であると判定する。 Further, a dangerous traveling information providing system that detects a reverse traveling vehicle and provides the driver with the information has been proposed. In this system, positioning is performed momentarily by an in-vehicle device mounted on a vehicle, and time series information (trajectory information) that is a traveling locus in which a positioning position and a positioning time are associated is accumulated. In addition, this system transmits trajectory information to the on-road communication device when passing through the road-to-vehicle communication area of the communication unit of the on-road communication device installed on each lane of the road, and the vehicle travels based on the trajectory information. Calculate the bearing. And this system compared with the traveling azimuth | direction of the vehicle in the lane in which the communication part of the roadside communication apparatus which sent the locus | trajectory information memorize | stored in the memory | storage part is provided, and determined that both were substantially reverse directions. In the case, it is determined that the vehicle is a reverse running vehicle.
画像内の動体の進行方向を特定する場合において、従来技術の手法では、例えば、他の車両等の障害物の陰に隠れていた車両が突然出現する場合などには、所定の動き情報と比較するための十分な動き情報を検出することができない可能性がある。この場合、動体の進行方向を特定することができず、動体の異常な方向への進行を検出できなかったり、誤検出したりする可能性がある。 When identifying the moving direction of a moving object in an image, the conventional technique compares it with predetermined motion information when, for example, a vehicle hidden behind an obstacle such as another vehicle suddenly appears. May not be able to detect sufficient motion information. In this case, the moving direction of the moving object cannot be specified, and the moving object may not be detected in an abnormal direction or may be erroneously detected.
一つの側面として、本発明は、画像内の動体の異常な方向への進行を精度良く検出することを目的とする。 As one aspect, an object of the present invention is to accurately detect the progress of a moving object in an image in an abnormal direction.
1つの態様では、道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定する。そして、特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する。 In one aspect, the captured image of a range including a road is divided into regions of a predetermined size, and the moving direction of the moving object is specified for each of the divided regions based on temporal image changes. Then, the progress of the moving body in an abnormal direction is detected based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit.
一つの側面として、画像内の動体の異常な方向への進行を精度良く検出することができる、という効果を有する。 As one aspect, there is an effect that it is possible to accurately detect the progress of a moving object in an image in an abnormal direction.
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。本実施形態では、動体の異常な方向への進行の検出の一例として、道路を走行する車両の逆走を検出する場合を説明する。 Hereinafter, an example of an embodiment according to the disclosed technology will be described in detail with reference to the drawings. In the present embodiment, as an example of detecting the movement of a moving body in an abnormal direction, a case will be described in which reverse running of a vehicle traveling on a road is detected.
図1に示すように、本実施形態に係る検出装置10は、道路を含む範囲を撮影範囲とする位置に設置された固定カメラ(図示省略)で撮影された撮影画像(動画像)を入力として取得し、逆走車両の検出結果を出力する。検出装置10は、機能的には、車両検出部11と、分割部12と、特定部13と、学習部14と、逆走検出部15とを含む。また、検出装置10の所定の記憶領域には、正解マップ20が記憶される。なお、逆走検出部15は、開示の技術の検出部の一例である。 As shown in FIG. 1, the detection apparatus 10 according to the present embodiment receives, as an input, a captured image (moving image) captured by a fixed camera (not shown) installed at a position where a range including a road is an imaging range. Acquires and outputs the detection result of the reverse running vehicle. Functionally, the detection device 10 includes a vehicle detection unit 11, a division unit 12, a specification unit 13, a learning unit 14, and a reverse running detection unit 15. The correct answer map 20 is stored in a predetermined storage area of the detection device 10. The reverse running detection unit 15 is an example of a detection unit of the disclosed technology.
車両検出部11は、検出装置10に入力された撮影画像を取得し、撮影画像の各フレーム画像に対して画像処理を行って、撮影画像から動体である車両を示す車両領域を検出する。車両領域の検出には、背景差分法等の従来既知の手法を適用することができる。例えば、車両検出部11は、図2に示すように、各フレーム画像22について、平滑化処理を行い、前フレーム画像との差分画像を生成し、差分画像を二値化処理した二値化画像24から、動体を示す画素を抽出する。また、車両検出部11は、二値化画像24に対して、伸縮処理及び膨張処理を行い、動体を示す画素の一群の各々を車両領域26の各々として検出する。以下では、車両領域26が検出される画像を車両領域検出画像28という。 The vehicle detection unit 11 acquires a captured image input to the detection device 10, performs image processing on each frame image of the captured image, and detects a vehicle region indicating a moving vehicle from the captured image. A conventionally known method such as the background subtraction method can be applied to the detection of the vehicle area. For example, as illustrated in FIG. 2, the vehicle detection unit 11 performs a smoothing process on each frame image 22, generates a difference image from the previous frame image, and binarizes the difference image. From 24, a pixel indicating a moving object is extracted. In addition, the vehicle detection unit 11 performs expansion / contraction processing and expansion processing on the binarized image 24 to detect each group of pixels indicating moving objects as each vehicle region 26. Hereinafter, an image in which the vehicle area 26 is detected is referred to as a vehicle area detection image 28.
分割部12は、フレーム画像22及び車両領域検出画像28の各々を、所定の大きさの複数の領域に分割する。以下では、分割された各領域を分割領域という。図3に、車両領域検出画像28を分割領域に分割した例を概略的に示す。図3の例では、各マスが1つの分割領域32に相当する。 The dividing unit 12 divides each of the frame image 22 and the vehicle area detection image 28 into a plurality of areas having a predetermined size. Hereinafter, each divided area is referred to as a divided area. FIG. 3 schematically shows an example in which the vehicle area detection image 28 is divided into divided areas. In the example of FIG. 3, each square corresponds to one divided region 32.
特定部13は、分割部12で分割された各分割領域32について、時間的な画像の変化に基づいて、車両の進行方向を特定する。具体的には、特定部13は、車両領域検出画像28において車両領域26を少なくとも一部に含む分割領域32に対応するフレーム画像22の分割領域32について、前フレーム画像22とのブロックマッチングなどにより、動きベクトルを算出する。そして、特定部13は、算出した動きベクトルを、予め定めた所定数の方向(例えば、16方向)のうち、その動きベクトルが示す方向と最も近い方向に割り当てた方向情報を算出し、算出した方向情報を分割領域32に対応付けて格納した方向マップを作成する。例えば、図4に、方向マップ34を画像化した一例を概略的に示す。図4の例では、各分割領域32に格納された方向情報36を矢印で表している。なお、図4では、説明を分かり易くするため、方向マップ34に車両領域26も合せて表記している。 The specifying unit 13 specifies the traveling direction of the vehicle based on the temporal image change for each divided region 32 divided by the dividing unit 12. Specifically, the specifying unit 13 performs block matching with the previous frame image 22 on the divided region 32 of the frame image 22 corresponding to the divided region 32 including at least a part of the vehicle region 26 in the vehicle region detection image 28. The motion vector is calculated. And the specific | specification part 13 calculates the direction information which allocated the calculated motion vector to the direction nearest to the direction which the motion vector shows among the predetermined number of predetermined directions (for example, 16 directions), and calculated A direction map in which the direction information is stored in association with the divided area 32 is created. For example, FIG. 4 schematically shows an example in which the direction map 34 is imaged. In the example of FIG. 4, the direction information 36 stored in each divided area 32 is represented by an arrow. In FIG. 4, the vehicle area 26 is also shown in the direction map 34 for easy understanding.
学習部14は、過去の所定時間の間に、道路を含む範囲を通過した車両の情報を利用して、分割領域32毎に車両の進行方向の正解の情報が格納された正解マップを作成する。具体的には、学習部14は、所定時間分の撮影画像の各フレーム画像22について、特定部13で作成された方向マップ34の方向情報36を、分割領域32毎に統合した正解情報を、各分割領域32に対応付けて記憶することで、正解マップを作成する。ここで、所定時間分の撮影画像の中に、逆走車両が含まれる場合、すなわち、異常な方向情報36が格納された方向マップ34が含まれる場合がある。この場合を考慮して、学習部14は、例えば、過去のフレーム画像22の各々から作成された方向マップ34を分割領域32毎に参照し、方向情報36が格納されている分割領域32を抽出する。そして、学習部14は、抽出した分割領域32に格納されている方向情報36が所定回数連続で同一の場合に、その方向情報36を正解情報とすることができる。図5に、正解マップ20を画像化した一例を概略的に示す。図5の例では、各分割領域32に格納された正解情報38を矢印で表している。 The learning unit 14 uses the information on the vehicles that have passed through the range including the road during the past predetermined time, and creates a correct map in which correct information on the traveling direction of the vehicles is stored for each divided region 32. . Specifically, the learning unit 14 obtains correct information obtained by integrating the direction information 36 of the direction map 34 created by the specifying unit 13 for each divided region 32 for each frame image 22 of the captured images for a predetermined time. A correct map is created by storing each divided area 32 in association with each other. Here, there are cases where a reverse running vehicle is included in the captured images for a predetermined time, that is, a direction map 34 in which abnormal direction information 36 is stored. Considering this case, for example, the learning unit 14 refers to the direction map 34 created from each of the past frame images 22 for each divided region 32 and extracts the divided region 32 in which the direction information 36 is stored. To do. And the learning part 14 can make the direction information 36 into correct information, when the direction information 36 stored in the extracted division area 32 is the same continuously for a predetermined number of times. FIG. 5 schematically shows an example in which the correct answer map 20 is imaged. In the example of FIG. 5, correct answer information 38 stored in each divided region 32 is represented by an arrow.
逆走検出部15は、特定部13で作成された方向マップ34の方向情報36が示す方向と、学習部14で作成された正解マップ20の正解情報38が示す方向との一致度に基づいて、逆走車両を検出する。具体的には、逆走検出部15は、方向マップ34において方向情報36が格納されている各分割領域32について、図6に示すように、方向情報36が示す方向と、正解情報38が示す方向とが一致するか否かを示すフラグを立てる。図6では、方向が一致する場合に一致フラグ「0」、一致していない場合に不一致フラグ「1」を立てた例を示している。逆走検出部15は、1つの車両領域26を含む1又は複数の分割領域32(図6中の破線部)に対して、不一致フラグが立てられた分割領域32の割合が所定の閾値以上の場合に、その車両領域26を、逆走車両を示す車両領域26として検出する。なお、逆走検出部15は、1つの車両領域26を含む1又は複数の分割領域32に対して、一致フラグが立てられた分割領域32の割合が所定の閾値未満の場合に、その車両領域26を、逆走車両を示す車両領域26として検出してもよい。 The reverse running detection unit 15 is based on the degree of coincidence between the direction indicated by the direction information 36 of the direction map 34 created by the specifying unit 13 and the direction indicated by the correct answer information 38 of the correct answer map 20 created by the learning unit 14. Detect reverse running vehicles. Specifically, as shown in FIG. 6, the reverse running detection unit 15 indicates the direction indicated by the direction information 36 and the correct answer information 38 for each divided region 32 in which the direction information 36 is stored in the direction map 34. A flag indicating whether or not the direction matches is set. FIG. 6 shows an example in which the match flag “0” is set when the directions match, and the mismatch flag “1” is set when the directions do not match. The reverse running detection unit 15 has a ratio of the divided area 32 in which the mismatch flag is set to a predetermined threshold or more with respect to one or a plurality of divided areas 32 (broken lines in FIG. 6) including one vehicle area 26. In this case, the vehicle area 26 is detected as a vehicle area 26 indicating a reverse running vehicle. Note that the reverse running detection unit 15 determines the vehicle area when the ratio of the divided area 32 in which the coincidence flag is set is less than a predetermined threshold with respect to one or more divided areas 32 including one vehicle area 26. 26 may be detected as a vehicle area 26 indicating a reverse running vehicle.
逆走検出部15は、逆走車両を示す車両領域26を検出した場合には、例えば、図7に示すように、検出された車両領域26の外接矩形を撮影画像に重畳するなどして、検出結果として出力する。 When the reverse running detection unit 15 detects the vehicle area 26 indicating the reverse running vehicle, for example, as shown in FIG. 7, the circumscribed rectangle of the detected vehicle area 26 is superimposed on the captured image. Output as detection result.
検出装置10は、例えば図8に示すコンピュータ40で実現することができる。コンピュータ40は、Central Processing Unit(CPU)41と、一時記憶領域としてのメモリ42と、不揮発性の記憶部43とを備える。また、コンピュータ40は、入力装置、表示装置等の入出力装置44と、記憶媒体49に対するデータの読み込み及び書き込みを制御するRead/Write(R/W)部45と、インターネット等のネットワークに接続される通信(Interface)I/F46を備える。CPU41、メモリ42、記憶部43、入出力装置44、R/W部45、及び通信I/F46は、バス47を介して互いに接続される。 The detection apparatus 10 can be realized by, for example, a computer 40 shown in FIG. The computer 40 includes a central processing unit (CPU) 41, a memory 42 as a temporary storage area, and a nonvolatile storage unit 43. The computer 40 is connected to an input / output device 44 such as an input device and a display device, a read / write (R / W) unit 45 that controls reading and writing of data with respect to the storage medium 49, and a network such as the Internet. Communication I / F 46 is provided. The CPU 41, the memory 42, the storage unit 43, the input / output device 44, the R / W unit 45, and the communication I / F 46 are connected to each other via a bus 47.
記憶部43は、Hard Disk Drive(HDD)、Solid State Drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部43には、コンピュータ40を、検出装置10として機能させるための検出プログラム50が記憶される。検出プログラム50は、車両検出プロセス51と、分割プロセス52と、特定プロセス53と、学習プロセス54と、逆走検出プロセス55とを有する。また、記憶部43は、正解マップ20を構成する情報が記憶される情報記憶領域60を有する。 The storage unit 43 can be realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, or the like. The storage unit 43 serving as a storage medium stores a detection program 50 for causing the computer 40 to function as the detection device 10. The detection program 50 includes a vehicle detection process 51, a division process 52, a specification process 53, a learning process 54, and a reverse running detection process 55. Further, the storage unit 43 has an information storage area 60 in which information constituting the correct answer map 20 is stored.
CPU41は、検出プログラム50を記憶部43から読み出してメモリ42に展開し、検出プログラム50が有するプロセスを順次実行する。CPU41は、車両検出プロセス51を実行することで、図1に示す車両検出部11として動作する。また、CPU41は、分割プロセス52を実行することで、図1に示す分割部12として動作する。また、CPU41は、特定プロセス53を実行することで、図1に示す特定部13として動作する。また、CPU41は、学習プロセス54を実行することで、図1に示す学習部14として動作する。また、CPU41は、逆走検出プロセス55を実行することで、図1に示す逆走検出部15として動作する。また、CPU41は、情報記憶領域60から情報を読み出して、メモリ42に正解マップ20を展開する。これにより、検出プログラム50を実行したコンピュータ40が、検出装置10として機能することになる。なお、プログラムを実行するCPU41はハードウェアである。 CPU41 reads the detection program 50 from the memory | storage part 43, expand | deploys to the memory 42, and performs the process which the detection program 50 has one by one. The CPU 41 operates as the vehicle detection unit 11 illustrated in FIG. 1 by executing the vehicle detection process 51. Further, the CPU 41 operates as the dividing unit 12 illustrated in FIG. 1 by executing the dividing process 52. Further, the CPU 41 operates as the specifying unit 13 illustrated in FIG. 1 by executing the specifying process 53. Further, the CPU 41 operates as the learning unit 14 illustrated in FIG. 1 by executing the learning process 54. Further, the CPU 41 operates as the reverse running detection unit 15 illustrated in FIG. 1 by executing the reverse running detection process 55. Further, the CPU 41 reads information from the information storage area 60 and develops the correct answer map 20 in the memory 42. As a result, the computer 40 that has executed the detection program 50 functions as the detection device 10. The CPU 41 that executes the program is hardware.
次に、本実施形態に係る検出装置10の作用について説明する。正解マップ20を作成する学習段階において、過去の所定時間分の撮影画像が検出装置10に入力されると、検出装置10において、図9に示す学習処理が実行される。また、逆走車両を実際に検出する段階では、時々刻々撮影画像が検出装置10に入力され、検出装置10において、図12に示す逆走検出処理が実行される。以下、学習処理及び逆走検出処理の各々について詳述する。 Next, the operation of the detection apparatus 10 according to this embodiment will be described. In the learning stage for creating the correct answer map 20, when captured images for a predetermined past time are input to the detection device 10, a learning process shown in FIG. 9 is executed in the detection device 10. Further, at the stage of actually detecting the reverse running vehicle, the captured image is input to the detection device 10 every moment, and the reverse running detection process shown in FIG. Hereinafter, each of the learning process and the reverse running detection process will be described in detail.
図9に示す学習処理のステップS10で、学習部14が、フレーム画像22と同一サイズの画像領域を、所定の大きさの複数の分割領域32に分割した空の正解マップ20を用意する。 In step S10 of the learning process shown in FIG. 9, the learning unit 14 prepares an empty correct map 20 in which an image area having the same size as the frame image 22 is divided into a plurality of divided areas 32 having a predetermined size.
次に、ステップS12で、車両検出部11が、入力された撮影画像の先頭フレームから順に1つのフレーム画像を処理対象のフレーム画像22として設定する。そして、車両検出部11は、処理対象のフレーム画像22から、背景差分法などにより、車両を示す車両領域26を検出した車両領域検出画像28を作成し、フレーム画像22と共に分割部12へ受け渡す。 Next, in step S <b> 12, the vehicle detection unit 11 sets one frame image as a processing target frame image 22 in order from the first frame of the input captured image. And the vehicle detection part 11 produces the vehicle area detection image 28 which detected the vehicle area 26 which shows a vehicle from the frame image 22 of a process target by the background subtraction method etc., and passes to the division part 12 with the frame image 22. .
次に、ステップS14で、分割部12が、フレーム画像22及び車両領域検出画像28の各々を、正解マップ20と同様に複数の分割領域32に分割する。すなわち、フレーム画像22、車両領域検出画像28、及び正解マップ20の各々は、それぞれ対応する分割領域32に分割されている。分割部12は、分割領域32に分割されたフレーム画像22及び車両領域検出画像28の各々を特定部13へ受け渡す。 Next, in step S <b> 14, the dividing unit 12 divides each of the frame image 22 and the vehicle area detection image 28 into a plurality of divided areas 32 in the same manner as the correct answer map 20. That is, each of the frame image 22, the vehicle area detection image 28, and the correct answer map 20 is divided into corresponding divided areas 32. The dividing unit 12 delivers each of the frame image 22 and the vehicle region detection image 28 divided into the divided regions 32 to the specifying unit 13.
次に、ステップS20で、方向マップ作成処理が実行される。ここで、図10を参照して、方向マップ作成処理について説明する。 Next, in step S20, a direction map creation process is executed. Here, the direction map creation processing will be described with reference to FIG.
ステップS21で、特定部13が、フレーム画像22と同一サイズの画像領域を、フレーム画像22と同様に複数の分割領域32に分割した空の方向マップ34を用意する。すなわち、フレーム画像22、車両領域検出画像28、及び方向マップ34の各々は、それぞれ対応する分割領域32に分割されている。 In step S <b> 21, the specifying unit 13 prepares an empty direction map 34 in which an image area having the same size as the frame image 22 is divided into a plurality of divided areas 32 in the same manner as the frame image 22. That is, each of the frame image 22, the vehicle region detection image 28, and the direction map 34 is divided into corresponding divided regions 32.
次に、ステップS22で、特定部13が、方向マップ34の分割領域32から以下のステップS23及びS24の処理が未処理の分割領域32を1つ選択し、処理対象の分割領域32として設定する。 Next, in step S <b> 22, the specifying unit 13 selects one unprocessed divided area 32 from the divided areas 32 of the direction map 34, and sets the unprocessed divided area 32 as a process target divided area 32. .
次に、ステップS23で、特定部13が、方向マップ34における処理対象の分割領域32に対応する車両領域検出画像28の分割領域32に、車両検出部11で検出された車両領域26が含まれるか否かを判定する。車両領域26が含まれる場合には、処理はステップS24へ移行し、車両領域26が含まれない場合には、処理はステップS25へ移行する。 Next, in step S <b> 23, the vehicle area 26 detected by the vehicle detection unit 11 is included in the divided area 32 of the vehicle area detection image 28 corresponding to the divided area 32 to be processed in the direction map 34. It is determined whether or not. If the vehicle area 26 is included, the process proceeds to step S24. If the vehicle area 26 is not included, the process proceeds to step S25.
ステップS24では、特定部13が、方向マップ34における処理対象の分割領域32に対応するフレーム画像22の分割領域32について、前フレーム画像22とのブロックマッチングなどにより、動きベクトルを算出する。そして、特定部13は、算出した動きベクトルを、予め定めた所定数の方向(例えば、16方向)のうち、その動きベクトルが示す方向と最も近い方向に割り当てた方向情報36を算出し、方向マップ34における処理対象の分割領域32に格納する。 In step S <b> 24, the specifying unit 13 calculates a motion vector for the divided area 32 of the frame image 22 corresponding to the divided area 32 to be processed in the direction map 34 by block matching with the previous frame image 22. Then, the specifying unit 13 calculates direction information 36 in which the calculated motion vector is assigned to the direction closest to the direction indicated by the motion vector among a predetermined number of predetermined directions (for example, 16 directions). Stored in the segment area 32 to be processed in the map 34.
次に、ステップS25で、特定部13が、方向マップ34の全ての分割領域32について処理が終了したか否かを判定する。未処理の分割領域32が存在する場合には、処理はステップS22に戻り、全て終了した場合には、処理は学習処理(図9)に戻る。 Next, in step S <b> 25, the specifying unit 13 determines whether the processing has been completed for all the divided regions 32 of the direction map 34. If there is an unprocessed divided area 32, the process returns to step S22, and if all the processes are completed, the process returns to the learning process (FIG. 9).
次に、ステップS30で、正解マップ更新処理が実行される。ここで、図11を参照して、正解マップ更新処理について説明する。 Next, correct map update processing is executed in step S30. Here, the correct map update processing will be described with reference to FIG.
ステップS31で、学習部14が、正解マップ20の分割領域32から以下のステップS32〜S35の処理が未処理の分割領域32を1つ選択し、処理対象の分割領域32として設定する。 In step S <b> 31, the learning unit 14 selects one divided region 32 in which the processes in steps S <b> 32 to S <b> 35 below are not processed from the divided region 32 of the correct answer map 20, and sets the selected divided region 32 as a processing target.
次に、ステップS32で、学習部14が、正解マップ20における処理対象の分割領域32に対応する方向マップ34の分割領域32に方向情報36が格納されているか否かを判定する。方向情報36が格納されている場合には、処理はステップS33へ移行し、格納されていない場合には、処理はステップS36へ移行する。 Next, in step S <b> 32, the learning unit 14 determines whether or not the direction information 36 is stored in the divided area 32 of the direction map 34 corresponding to the divided area 32 to be processed in the correct answer map 20. If the direction information 36 is stored, the process proceeds to step S33, and if not stored, the process proceeds to step S36.
ステップS33では、学習部14が、過去のフレーム画像22の各々から作成された方向マップ34の各々における処理対象の分割領域32の各々を参照し、方向情報36が格納されている分割領域32を抽出する。そして、学習部14は、抽出した分割領域32に格納されている方向情報36がX回(例えば、5回)連続で、上記ステップS32で格納されていると判定された方向情報36と同一か否かを判定する。方向情報36がX回連続で同一の場合には、処理はステップS34へ移行し、同一ではない場合には、処理はステップS35へ移行する。 In step S33, the learning unit 14 refers to each of the divided regions 32 to be processed in each of the direction maps 34 created from each of the past frame images 22, and selects the divided region 32 in which the direction information 36 is stored. Extract. Then, the learning unit 14 determines whether or not the direction information 36 stored in the extracted divided region 32 is the same as the direction information 36 determined to be stored X times (for example, five times) continuously in step S32. Determine whether or not. If the direction information 36 is the same for X consecutive times, the process proceeds to step S34. If not, the process proceeds to step S35.
ステップS34では、学習部14が、X回連続で同一と判定した方向情報36を正解情報38として正解マップ20の処理対象の分割領域32に格納する。一方、ステップS35では、学習部14が、正解マップ20の処理対象の分割領域32に格納されている正解情報38をリセットする。 In step S <b> 34, the learning unit 14 stores the direction information 36 determined to be the same for X consecutive times as the correct answer information 38 in the processing target divided region 32 of the correct answer map 20. On the other hand, in step S <b> 35, the learning unit 14 resets the correct answer information 38 stored in the processing target divided area 32 of the correct answer map 20.
次に、ステップS36で、学習部14が、正解マップ20の全ての分割領域32について処理が終了したか否かを判定する。未処理の分割領域32が存在する場合には、処理はステップS31に戻り、全て終了した場合には、処理は学習処理(図9)に戻る。 Next, in step S <b> 36, the learning unit 14 determines whether or not the processing has been completed for all the divided areas 32 of the correct answer map 20. If there is an unprocessed divided area 32, the process returns to step S31, and if all the processes are completed, the process returns to the learning process (FIG. 9).
次に、ステップS40で、車両検出部11が、入力された撮影画像の次のフレーム画像が存在するか否かを判定する。次のフレーム画像が存在する場合には、処理はステップS12に戻り、入力された撮影画像の全てのフレーム画像について処理が終了した場合には、正解マップ20を所定の記憶領域に記憶して、学習処理は終了する。 Next, in step S40, the vehicle detection unit 11 determines whether there is a frame image next to the input captured image. If there is a next frame image, the process returns to step S12. If the process has been completed for all frame images of the input captured image, the correct answer map 20 is stored in a predetermined storage area. The learning process ends.
次に、図12を参照して逆走検出処理について説明する。 Next, the reverse running detection process will be described with reference to FIG.
ステップS51〜S53で、学習処理のステップS12、S14、及びS20と同様に、フレーム画像から車両領域26を検出して、方向マップ34を作成する。 In steps S51 to S53, the vehicle region 26 is detected from the frame image and the direction map 34 is created in the same manner as in steps S12, S14, and S20 of the learning process.
次に、ステップS54で、逆走検出部15が、上記ステップS53で作成された方向マップ34の分割領域32のうち、方向情報36が格納されている分割領域32から、以下のステップS55〜S57の処理が未処理の分割領域32を1つ選択する。そして、逆走検出部15は、選択した分割領域32を処理対象の分割領域32として設定する。 Next, in step S54, the reverse running detection unit 15 performs the following steps S55 to S57 from the divided region 32 in which the direction information 36 is stored among the divided regions 32 of the direction map 34 created in step S53. One of the unprocessed divided areas 32 is selected. Then, the reverse running detection unit 15 sets the selected divided area 32 as the divided area 32 to be processed.
次に、ステップS55で、逆走検出部15が、方向マップ34の処理対象の分割領域32に格納された方向情報36が示す方向と、正解マップ20の処理対象の分割領域32に格納された正解情報38が示す方向とが一致するか否かを判定する。方向が一致する場合には、処理はステップS56へ移行し、逆走検出部15が、方向マップ34の処理対象の分割領域32に一致フラグを立てる。一方、方向が一致しない場合には、処理はステップS57へ移行し、逆走検出部15が、方向マップ34の処理対象の分割領域32に不一致フラグを立てる。 Next, in step S55, the reverse running detection unit 15 stores the direction indicated by the direction information 36 stored in the processing target divided area 32 of the direction map 34 and the processing target divided area 32 of the correct answer map 20. It is determined whether or not the direction indicated by the correct answer information 38 matches. If the directions match, the process proceeds to step S56, and the reverse running detection unit 15 sets a match flag in the divided area 32 to be processed in the direction map 34. On the other hand, if the directions do not match, the process proceeds to step S57, and the reverse running detection unit 15 sets a mismatch flag in the divided area 32 to be processed in the direction map 34.
次に、ステップS58で、逆走検出部15が、方向マップ34の分割領域32のうち、方向情報36が格納された分割領域32の全てについて処理が終了したか否かを判定する。未処理の分割領域32が存在する場合には、処理はステップS54に戻り、全て終了した場合には、処理はステップS59へ移行する。 Next, in step S <b> 58, the reverse running detection unit 15 determines whether the processing has been completed for all of the divided areas 32 in which the direction information 36 is stored among the divided areas 32 of the direction map 34. If there is an unprocessed divided area 32, the process returns to step S54, and if all have been completed, the process proceeds to step S59.
ステップS59では、逆走検出部15が、上記ステップS51で作成された車両領域検出画像28に含まれる車両領域26から、以下のステップS60及びS61の処理が未処理の車両領域26を1つ選択し、処理対象の車両領域26として設定する。 In step S59, the reverse running detection unit 15 selects one vehicle area 26 that has not been processed in the following steps S60 and S61 from the vehicle area 26 included in the vehicle area detection image 28 created in step S51. And set as the vehicle area 26 to be processed.
次に、ステップS60で、逆走検出部15が、処理対象の車両領域26を少なくとも一部に含む分割領域32に対応する方向マップ34における分割領域32に立てられたフラグを集計する。 Next, in step S60, the reverse running detection unit 15 adds up the flags set in the divided area 32 in the direction map 34 corresponding to the divided area 32 including at least a part of the vehicle area 26 to be processed.
次に、ステップS61で、逆走検出部15が、車両領域26に対応する分割領域に対して、不一致フラグが立てられた分割領域32の割合(不一致割合)が所定の閾値以上か否かを判定する。不一致割合が閾値以上の場合には、処理はステップS62へ移行し、不一致割合が閾値未満の場合には、処理はステップS63へ移行する。 Next, in step S61, the reverse running detection unit 15 determines whether the ratio (mismatch ratio) of the divided areas 32 for which the mismatch flag is set is greater than or equal to a predetermined threshold with respect to the divided areas corresponding to the vehicle area 26. judge. If the mismatch rate is greater than or equal to the threshold, the process proceeds to step S62. If the mismatch rate is less than the threshold, the process proceeds to step S63.
ステップS62では、逆走検出部15が、不一致割合が閾値以上であると判定した車両領域26を、逆走車両を示す車両領域26として検出し、その車両領域26のフレーム画像22上での位置等の情報を一旦所定の記憶領域に記憶する。 In step S <b> 62, the reverse running detection unit 15 detects the vehicle area 26 determined that the mismatch rate is equal to or greater than the threshold as the vehicle area 26 indicating the reverse running vehicle, and the position of the vehicle area 26 on the frame image 22. And the like are temporarily stored in a predetermined storage area.
次に、ステップS63で、逆走検出部15が、車両領域検出画像28に含まれる全ての車両領域26について処理が終了したか否かを判定する。未処理の車両領域26が存在する場合には、処理はステップS59に戻り、全ての車両領域26について処理が終了した場合には、処理はステップS64へ移行する。 Next, in step S <b> 63, the reverse running detection unit 15 determines whether or not the processing has been completed for all the vehicle areas 26 included in the vehicle area detection image 28. If there is an unprocessed vehicle area 26, the process returns to step S59. If the process is completed for all the vehicle areas 26, the process proceeds to step S64.
ステップS64では、逆走検出部15が、所定の記憶領域に記憶した逆走車両を示す車両領域26の情報に基づいて、例えば、検出された車両領域26の外接矩形を撮影画像に重畳するなどして、検出結果として出力する。そして、処理はステップS51に戻る。 In step S64, the reverse running detection unit 15 superimposes the circumscribed rectangle of the detected vehicle area 26 on the captured image based on the information on the vehicle area 26 indicating the reverse running vehicle stored in the predetermined storage area, for example. And output as a detection result. Then, the process returns to step S51.
以上説明したように、本実施形態に係る検出装置10は、撮影画像を所定の大きさの領域に分割した分割領域毎に、動体の正解の進行方向の情報を記憶しておく。そして、検出装置10は、撮影画像から検出された車両の進行方向を特定し、記憶しておいた正解の進行方向との一致するか否かを判定して、異常な方向へ進行する動体を検出する。このように、本実施形態に係る検出装置10は、分割領域毎に動体の進行方向が異常か否かを判定することができる。そのため、本実施形態に係る検出装置10は、例えば、他の車両等の障害物の陰から突然出現した動体などについても、少なくとも2フレーム分の撮影画像が取得できれば、精度良く進行方向を特定することができる。 As described above, the detection apparatus 10 according to the present embodiment stores information on the moving direction of the correct answer for each moving area obtained by dividing the captured image into areas of a predetermined size. Then, the detection device 10 identifies the traveling direction of the vehicle detected from the captured image, determines whether or not it matches the stored traveling direction of the correct answer, and moves the moving body that proceeds in an abnormal direction. To detect. Thus, the detection apparatus 10 according to the present embodiment can determine whether the moving direction of the moving object is abnormal for each divided region. Therefore, the detection apparatus 10 according to the present embodiment specifies the traveling direction with high accuracy if a captured image for at least two frames can be acquired even for a moving body suddenly appearing behind an obstacle such as another vehicle. be able to.
ここで、例えば、図13の破線部に示すように、撮影画像の端部などでは、実際には、道路に沿った方向とは異なる方向の動きベクトルが算出される。したがって、道路に沿った方向を正解の方向として記憶しておいた場合には、異常な方向へ進行する動体を精度良く検出できない。本実施形態に係る検出装置10では、過去の撮影画像内の動体の進行方向の情報に基づいて、分割領域毎に正解情報が格納された正解マップを作成する。そのため、本実施形態に係る検出装置10は、図13に示すような実際に算出される動きベクトルに基づく正解情報を記憶しておくことができ、撮影画像の端部などでも、異常な方向へ進行する動体を精度良く検出することができる。 Here, for example, as shown by the broken line portion in FIG. 13, in the end portion of the captured image, a motion vector in a direction different from the direction along the road is actually calculated. Therefore, when the direction along the road is stored as the correct direction, a moving object traveling in an abnormal direction cannot be accurately detected. In the detection apparatus 10 according to the present embodiment, a correct map in which correct information is stored for each divided region is created based on information on the moving direction of a moving object in a past captured image. For this reason, the detection apparatus 10 according to the present embodiment can store correct answer information based on actually calculated motion vectors as shown in FIG. 13, and in an abnormal direction even at the edge of the captured image. It is possible to accurately detect a moving body that travels.
また、本実施形態に係る検出装置10は、車両領域に対応する複数の分割領域における正解情報との一致度の判定結果に基づいて、その車両領域が逆走車両を示す車両領域か否かを判定する。これにより、例えば、トラックの荷台部分など、動体の一部が対向車線の領域に入ってしまっている場合などでも、動体自体の進行方向が正常であれば、分割領域の多数は正解情報と一致すると判定される。そのため、異常な方向へ進行する動体であると誤検出されることを抑制できる。 Moreover, the detection apparatus 10 according to the present embodiment determines whether or not the vehicle area is a vehicle area indicating a reverse running vehicle based on the determination result of the degree of coincidence with the correct answer information in the plurality of divided areas corresponding to the vehicle area. judge. As a result, for example, even if a part of the moving object has entered the area of the oncoming lane, such as the truck bed part, if the moving direction of the moving object itself is normal, many of the divided areas match the correct answer information. Then, it is determined. For this reason, it is possible to suppress erroneous detection of a moving body traveling in an abnormal direction.
なお、上記実施形態では、算出した動きベクトルの方向を所定方向へ割り当てて、方向マップの方向情報を算出する場合について説明したが、これに限定されない。例えば、算出した動きベクトルをそのまま方向情報として方向マップの各分割領域に格納してもよい。この場合、所定時間分の撮影画像の各フレーム画像から作成された方向マップの各々において、同一の分割領域32に格納されている動きベクトルの平均を、正解マップの分割領域32に格納する正解情報とすることができる。そして、逆走車両の検出の際には、方向マップに格納された動きベクトルと、正解マップに格納された正解情報が示すベクトルとのなす角が所定の閾値以下か否かにより、一致度を判定することができる。なお、本実施形態のように動きベクトルを所定方向に割り当てて方向情報を算出する場合も、割り当てる方向の数を細分化するなどして設定することができる。これにより、結果的に、正解情報が示すベクトルと検出された車両領域の動きベクトルとのなす角が閾値以下になる場合を、正解の方向と一致する場合と判定することができる。 In the embodiment described above, the direction of the calculated motion vector is assigned to a predetermined direction and the direction information of the direction map is calculated. However, the present invention is not limited to this. For example, the calculated motion vector may be stored in each divided area of the direction map as direction information as it is. In this case, in each of the direction maps created from the frame images of the captured images for a predetermined time, the correct information stored in the divided region 32 of the correct answer map is the average of the motion vectors stored in the same divided region 32. It can be. When detecting a reverse running vehicle, the degree of coincidence is determined by whether or not the angle formed by the motion vector stored in the direction map and the vector indicated by the correct answer information stored in the correct answer map is equal to or less than a predetermined threshold. Can be determined. Note that when the direction information is calculated by assigning a motion vector to a predetermined direction as in the present embodiment, the number of directions to be assigned can be set by subdividing. As a result, the case where the angle formed by the vector indicated by the correct answer information and the detected motion vector of the vehicle area is equal to or smaller than the threshold value can be determined as matching with the correct answer direction.
また、本実施形態では、逆走車両の検出処理とは別に、過去の所定時間分の撮影画像を入力して学習処理を実行する場合について説明したが、学習処理と逆走車両の検出処理とを並列に実行してもよい。この場合、例えば、図9に示す学習処理のステップS30の前若しくは後、又はステップS30の処理と並列に、図12に示す逆走検出処理のステップS54〜S64の処理を実行すればよい。 In addition, in the present embodiment, a case has been described in which learning processing is executed by inputting captured images for a predetermined past time separately from detection processing for a reverse running vehicle. May be executed in parallel. In this case, for example, the processes of steps S54 to S64 of the reverse running detection process shown in FIG. 12 may be executed before or after step S30 of the learning process shown in FIG. 9 or in parallel with the process of step S30.
また、上記実施形態では、全ての分割領域が同じサイズの場合について説明したが、これに限定されない。例えば、撮影画像の奥行き方向に沿って奥に行くほど(画像の上に行くほど)、撮影装置からの距離が遠くなることを考慮して、撮影画像の奥行き方向に沿って奥に行くほど(画像の上に行くほど)、分割領域のサイズを小さくするようにしてもよい。 Moreover, although the said embodiment demonstrated the case where all the division areas were the same size, it is not limited to this. For example, in consideration of the fact that the distance from the imaging device increases as the depth increases in the depth direction of the captured image (as the image moves upward), the depth increases in the depth direction of the captured image ( You may make it make the size of a divided area small, so that it goes on the image.
なお、上記実施形態では、異常な方向に進行する動体の一例として逆走車両を検出する場合について説明したが、動体は車両に限定されない。また、対象の動体に応じて、異常な進行方向も逆走の場合に限定されない。 In addition, although the said embodiment demonstrated the case where a reverse running vehicle was detected as an example of the moving body which progresses in an abnormal direction, a moving body is not limited to a vehicle. Also, depending on the target moving body, the abnormal traveling direction is not limited to reverse running.
また、上記実施形態では、検出プログラム50が記憶部43に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD−ROM、DVD−ROM、USBメモリ等の記憶媒体に記憶された形態で提供することも可能である。 In the above embodiment, the detection program 50 is stored (installed) in the storage unit 43 in advance. However, the present invention is not limited to this. The program according to the disclosed technology can be provided in a form stored in a storage medium such as a CD-ROM, a DVD-ROM, or a USB memory.
以上の実施形態に関し、更に以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.
(付記1)
道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する、
処理をコンピュータに実行させることを特徴とする検出プログラム。
(Appendix 1)
Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
Detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit;
A detection program for causing a computer to execute processing.
(付記2)
記憶部に記憶した前記領域それぞれにおける動体の進行方向として、過去の所定時間の間に前記道路を含む範囲を通過した動体の情報を利用する処理をコンピュータに実行させることを特徴とする付記1に記載の検出プログラム。
(Appendix 2)
Supplementary note 1 characterized by causing a computer to execute processing using information on moving objects that have passed through a range including the road during a past predetermined time as the moving direction of moving objects in each of the areas stored in the storage unit The described detection program.
(付記3)
前記一致度に基づいて動体の異常な方向への進行を検出する際、前記動体の存在する複数の領域における進行方向の一致度に基づき検出する処理をコンピュータに実行させることを特徴とする付記1又は付記2に記載の検出プログラム。
(Appendix 3)
Supplementary note 1 that causes a computer to execute detection processing based on the degree of coincidence of the moving directions in a plurality of regions where the moving object is present when detecting the movement of the moving object in an abnormal direction based on the degree of coincidence Or the detection program according to Appendix 2.
(付記4)
前記一致度を判定する際、記憶部に記憶した前記領域それぞれにおける動体の進行方向と、特定した前記領域ごとの進行方向との方向の角度の差が所定の値以下である場合に一致であると判定する付記1乃至付記3のいずれか一項に記載の検出プログラム。
(Appendix 4)
When determining the degree of coincidence, it is coincident when the difference in angle between the moving direction of the moving body in each of the areas stored in the storage unit and the moving direction of each specified area is equal to or less than a predetermined value. The detection program according to any one of appendix 1 to appendix 3, in which
(付記5)
前記撮影画像として、前記道路を含む範囲を撮影可能な位置に固定された撮影装置により撮影される撮影画像を取得する付記1〜付記4のいずれか1項記載の検出プログラム。
(Appendix 5)
The detection program according to any one of Supplementary Note 1 to Supplementary Note 4, wherein a captured image captured by a capturing device fixed at a position where the range including the road can be captured is acquired as the captured image.
(付記6)
道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する
処理をコンピュータが実行することを特徴とする検出方法。
(Appendix 6)
Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
The computer executes a process of detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit. Detection method.
(付記7)
記憶部に記憶した前記領域それぞれにおける動体の進行方向として、過去の所定時間の間に前記道路を含む範囲を通過した動体の情報を利用する処理をコンピュータが実行することを特徴とする付記6に記載の検出方法。
(Appendix 7)
Appendix 6 characterized in that the computer executes a process of using information on a moving object that has passed through a range including the road during a predetermined past time as the moving direction of the moving object in each of the areas stored in the storage unit. The detection method described.
(付記8)
前記一致度に基づいて動体の異常な方向への進行を検出する際、前記動体の存在する複数の領域における進行方向の一致度に基づき検出する処理をコンピュータが実行することを特徴とする付記6又は付記7に記載の検出方法。
(Appendix 8)
Appendix 6 wherein the computer executes a process of detecting based on the degree of coincidence of the moving direction in a plurality of regions where the moving object is present when detecting the progression of the moving object in an abnormal direction based on the degree of coincidence. Or the detection method according to Appendix 7.
(付記9)
前記一致度を判定する際、記憶部に記憶した前記領域それぞれにおける動体の進行方向と、特定した前記領域ごとの進行方向との方向の角度の差が所定の値以下である場合に一致であると判定する付記6乃至付記8のいずれか一項に記載の検出方法。
(Appendix 9)
When determining the degree of coincidence, it is coincident when the difference in angle between the moving direction of the moving body in each of the areas stored in the storage unit and the moving direction of each specified area is equal to or less than a predetermined value. The detection method according to any one of appendix 6 to appendix 8, in which
(付記10)
前記撮影画像として、前記道路を含む範囲を撮影可能な位置に固定された撮影装置により撮影される撮影画像を取得する付記6乃至付記9のいずれか一項記載の検出方法。
(Appendix 10)
The detection method according to any one of appendix 6 to appendix 9, wherein a captured image captured by a capturing device fixed at a position where the range including the road can be captured is acquired as the captured image.
(付記11)
道路を含む範囲についての撮影画像を所定の大きさの領域に分割する分割部と、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定する特定部と、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する検出部と、
を有することを特徴とする検出装置。
(Appendix 11)
A dividing unit that divides a captured image of a range including a road into regions of a predetermined size;
For each divided area, a specific unit that identifies the moving direction of the moving object based on temporal image changes;
A detecting unit that detects the progress of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the moving direction of the moving body in each of the regions stored in the storage unit;
A detection apparatus comprising:
(付記12)
記憶部に記憶した前記領域それぞれにおける動体の進行方向として、過去の所定時間の間に前記道路を含む範囲を通過した動体の情報を利用する学習部を含むことを特徴とする付記11に記載の検出装置。
(Appendix 12)
The supplementary note 11 includes a learning unit that uses information on a moving object that has passed through a range including the road during a predetermined time in the past as a moving direction of the moving object in each of the regions stored in the storage unit. Detection device.
(付記13)
前記検出部は、前記一致度に基づいて動体の異常な方向への進行を検出する際、前記動体の存在する複数の領域における進行方向の一致度に基づき検出することを特徴とする付記11又は付記12に記載の検出装置。
(Appendix 13)
The detection unit, when detecting the progress of the moving body in an abnormal direction based on the degree of coincidence, detects based on the degree of coincidence of the traveling direction in a plurality of regions where the moving body exists. The detection device according to attachment 12.
(付記14)
前記検出部は、前記一致度を判定する際、記憶部に記憶した前記領域それぞれにおける動体の進行方向と、特定した前記領域ごとの進行方向との方向の角度の差が所定の値以下である場合に一致であると判定する付記11乃至付記13のいずれか一項に記載の検出装置。
(Appendix 14)
When the detection unit determines the degree of coincidence, the difference in angle between the moving direction of the moving body in each of the regions stored in the storage unit and the moving direction of each specified region is equal to or less than a predetermined value. The detection device according to any one of supplementary note 11 to supplementary note 13, which is determined to be consistent with each other.
(付記15)
前記撮影画像として、前記道路を含む範囲を撮影可能な位置に固定された撮影装置により撮影される撮影画像を取得する付記11〜付記14のいずれか1項記載の検出装置。
(Appendix 15)
15. The detection device according to any one of supplementary notes 11 to 14, wherein the photographed image is acquired by a photographing device fixed at a position where the range including the road can be photographed.
(付記16)
道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する、
処理をコンピュータに実行させることを特徴とする検出プログラムを記憶した記憶媒体。
(Appendix 16)
Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
Detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit;
A storage medium storing a detection program that causes a computer to execute processing.
10 検出装置
11 車両検出部
12 分割部
13 特定部
14 学習部
15 逆走検出部
20 正解マップ
22 フレーム画像
26 車両領域
28 車両領域検出画像
32 分割領域
34 方向マップ
36 方向情報
38 正解情報
40 コンピュータ
41 CPU
42 メモリ
43 記憶部
49 記憶媒体
50 検出プログラム
DESCRIPTION OF SYMBOLS 10 Detection apparatus 11 Vehicle detection part 12 Division | segmentation part 13 Specification part 14 Learning part 15 Reverse running detection part 20 Correct answer map 22 Frame image 26 Vehicle area 28 Vehicle area detection image 32 Divided area 34 Direction map 36 Direction information 38 Correct answer information 40 Computer 41 CPU
42 Memory 43 Storage 49 Storage Medium 50 Detection Program
Claims (7)
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する、
処理をコンピュータに実行させることを特徴とする検出プログラム。 Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
Detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit;
A detection program for causing a computer to execute processing.
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する
処理をコンピュータが実行することを特徴とする検出方法。 Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
The computer executes a process of detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit. Detection method.
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定する特定部と、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する検出部と、
を有することを特徴とする検出装置。 A dividing unit that divides a captured image of a range including a road into regions of a predetermined size;
For each divided area, a specific unit that identifies the moving direction of the moving object based on temporal image changes;
A detecting unit that detects the progress of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the moving direction of the moving body in each of the regions stored in the storage unit;
A detection apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017130196A JP6935690B2 (en) | 2017-07-03 | 2017-07-03 | Detection programs, methods, and equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017130196A JP6935690B2 (en) | 2017-07-03 | 2017-07-03 | Detection programs, methods, and equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019012496A true JP2019012496A (en) | 2019-01-24 |
JP6935690B2 JP6935690B2 (en) | 2021-09-15 |
Family
ID=65226421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017130196A Active JP6935690B2 (en) | 2017-07-03 | 2017-07-03 | Detection programs, methods, and equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6935690B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020126505A (en) * | 2019-02-06 | 2020-08-20 | アルパイン株式会社 | system |
JP2021165881A (en) * | 2020-04-06 | 2021-10-14 | Fcnt株式会社 | Reverse traveling vehicle detection device, reverse traveling vehicle detection method, and reverse traveling vehicle detection program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357484A (en) * | 2000-06-14 | 2001-12-26 | Kddi Corp | Road abnormality detector |
JP2006099373A (en) * | 2004-09-29 | 2006-04-13 | Mitsubishi Electric Corp | Traffic flow monitoring system |
JP2006285399A (en) * | 2005-03-31 | 2006-10-19 | Tama Tlo Kk | Image monitoring method and device for monitoring motion of vehicle at intersection |
JP2012022370A (en) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
-
2017
- 2017-07-03 JP JP2017130196A patent/JP6935690B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357484A (en) * | 2000-06-14 | 2001-12-26 | Kddi Corp | Road abnormality detector |
JP2006099373A (en) * | 2004-09-29 | 2006-04-13 | Mitsubishi Electric Corp | Traffic flow monitoring system |
JP2006285399A (en) * | 2005-03-31 | 2006-10-19 | Tama Tlo Kk | Image monitoring method and device for monitoring motion of vehicle at intersection |
JP2012022370A (en) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020126505A (en) * | 2019-02-06 | 2020-08-20 | アルパイン株式会社 | system |
JP7144124B2 (en) | 2019-02-06 | 2022-09-29 | アルパイン株式会社 | system |
JP2021165881A (en) * | 2020-04-06 | 2021-10-14 | Fcnt株式会社 | Reverse traveling vehicle detection device, reverse traveling vehicle detection method, and reverse traveling vehicle detection program |
Also Published As
Publication number | Publication date |
---|---|
JP6935690B2 (en) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034047B (en) | Lane line detection method and device | |
JP6274557B2 (en) | Moving surface information detection apparatus, moving body device control system using the same, and moving surface information detection program | |
JP5127182B2 (en) | Object detection device | |
CN107924569B (en) | Image processing apparatus, image processing method, and storage medium | |
US20100021010A1 (en) | System and Method for detecting pedestrians | |
JP6201148B2 (en) | CALIBRATION APPARATUS, CALIBRATION METHOD, MOBILE BODY CAMERA HAVING CALIBRATION FUNCTION, AND PROGRAM | |
US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
KR102052833B1 (en) | Apparatus and method for vehicle speed detection using image tracking | |
JP2000011133A (en) | Device and method for detecting moving object | |
US9747507B2 (en) | Ground plane detection | |
WO2018211930A1 (en) | Object detection device, object detection method, and computer-readable recording medium | |
JP6515704B2 (en) | Lane detection device and lane detection method | |
JP6439757B2 (en) | Image processing apparatus and image processing method | |
US10380435B2 (en) | Image processing apparatus | |
JP2019012496A (en) | Detection program, method and device | |
EP3631675A1 (en) | Advanced driver assistance system and method | |
CN112949470A (en) | Method, device and equipment for identifying lane-changing steering lamp of vehicle and storage medium | |
JP6620607B2 (en) | Image analysis program, image analysis apparatus, and image analysis method | |
JP7258632B2 (en) | object detector | |
KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
US20200003574A1 (en) | Method and device for fast detection of repetitive structures in the image of a road scene | |
JP2017182139A (en) | Determination apparatus, determination method, and determination program | |
JP4575315B2 (en) | Object detection apparatus and method | |
JP4155252B2 (en) | Vehicle detection device | |
JP2003317106A (en) | Travel path recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |