JP2019012496A - Detection program, method and device - Google Patents
Detection program, method and device Download PDFInfo
- Publication number
- JP2019012496A JP2019012496A JP2017130196A JP2017130196A JP2019012496A JP 2019012496 A JP2019012496 A JP 2019012496A JP 2017130196 A JP2017130196 A JP 2017130196A JP 2017130196 A JP2017130196 A JP 2017130196A JP 2019012496 A JP2019012496 A JP 2019012496A
- Authority
- JP
- Japan
- Prior art keywords
- moving
- detection
- areas
- area
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
開示の技術は、検出プログラム、検出方法、及び検出装置に関する。 The disclosed technology relates to a detection program, a detection method, and a detection apparatus.
従来、移動体の形状情報に依存することなく、移動体の識別をする移動体識別装置が提案されている。この装置は、撮像装置によって時系列画像を取得し、この時系列画像に基づいて、任意の画像中における所定の複数の位置について画像間における動き情報を検出する。また、この装置は、検出された動き情報に基づいて、所定の動き情報と異なる動き情報に対応した任意の画像中における領域を移動体領域として抽出する。そして、この装置は、少なくとも抽出された移動体領域に包含される複数の位置について検出された動き情報に基づいて、移動体領域に存在する移動体を識別する。 2. Description of the Related Art Conventionally, a mobile object identification device that identifies a mobile object without depending on the shape information of the mobile object has been proposed. This apparatus acquires a time-series image by an imaging apparatus, and detects motion information between images at a plurality of predetermined positions in an arbitrary image based on the time-series image. In addition, this apparatus extracts a region in an arbitrary image corresponding to motion information different from the predetermined motion information as a moving body region based on the detected motion information. And this apparatus identifies the mobile body which exists in a mobile body area | region based on the motion information detected about the some position included in the extracted mobile body area | region at least.
また、逆走車両を検知し、運転者にその情報を提供する危険走行情報提供システムが提案されている。このシステムでは、車両に搭載された車載装置で時々刻々測位し、測位位置と測位時刻とを関連付けた走行軌跡である時系列情報（軌跡情報）を蓄積する。また、このシステムは、道路の各車線上に設置された路上通信装置の通信部の路車間通信領域を通過する際に、軌跡情報を路上通信装置に送信し、軌跡情報に基づいて車両の走行方位を算出する。そして、このシステムは、記憶部に記憶している軌跡情報を送ってきた路上通信装置の通信部が設けられている車線における車両の進行方位と比較し、両者が略逆向きであると判定した場合には、車両は逆走車両であると判定する。 Further, a dangerous traveling information providing system that detects a reverse traveling vehicle and provides the driver with the information has been proposed. In this system, positioning is performed momentarily by an in-vehicle device mounted on a vehicle, and time series information (trajectory information) that is a traveling locus in which a positioning position and a positioning time are associated is accumulated. In addition, this system transmits trajectory information to the on-road communication device when passing through the road-to-vehicle communication area of the communication unit of the on-road communication device installed on each lane of the road, and the vehicle travels based on the trajectory information. Calculate the bearing. And this system compared with the traveling azimuth | direction of the vehicle in the lane in which the communication part of the roadside communication apparatus which sent the locus | trajectory information memorize | stored in the memory | storage part is provided, and determined that both were substantially reverse directions. In the case, it is determined that the vehicle is a reverse running vehicle.
画像内の動体の進行方向を特定する場合において、従来技術の手法では、例えば、他の車両等の障害物の陰に隠れていた車両が突然出現する場合などには、所定の動き情報と比較するための十分な動き情報を検出することができない可能性がある。この場合、動体の進行方向を特定することができず、動体の異常な方向への進行を検出できなかったり、誤検出したりする可能性がある。 When identifying the moving direction of a moving object in an image, the conventional technique compares it with predetermined motion information when, for example, a vehicle hidden behind an obstacle such as another vehicle suddenly appears. May not be able to detect sufficient motion information. In this case, the moving direction of the moving object cannot be specified, and the moving object may not be detected in an abnormal direction or may be erroneously detected.
一つの側面として、本発明は、画像内の動体の異常な方向への進行を精度良く検出することを目的とする。 As one aspect, an object of the present invention is to accurately detect the progress of a moving object in an image in an abnormal direction.
１つの態様では、道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定する。そして、特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する。 In one aspect, the captured image of a range including a road is divided into regions of a predetermined size, and the moving direction of the moving object is specified for each of the divided regions based on temporal image changes. Then, the progress of the moving body in an abnormal direction is detected based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit.
一つの側面として、画像内の動体の異常な方向への進行を精度良く検出することができる、という効果を有する。 As one aspect, there is an effect that it is possible to accurately detect the progress of a moving object in an image in an abnormal direction.
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。本実施形態では、動体の異常な方向への進行の検出の一例として、道路を走行する車両の逆走を検出する場合を説明する。 Hereinafter, an example of an embodiment according to the disclosed technology will be described in detail with reference to the drawings. In the present embodiment, as an example of detecting the movement of a moving body in an abnormal direction, a case will be described in which reverse running of a vehicle traveling on a road is detected.
図１に示すように、本実施形態に係る検出装置１０は、道路を含む範囲を撮影範囲とする位置に設置された固定カメラ（図示省略）で撮影された撮影画像（動画像）を入力として取得し、逆走車両の検出結果を出力する。検出装置１０は、機能的には、車両検出部１１と、分割部１２と、特定部１３と、学習部１４と、逆走検出部１５とを含む。また、検出装置１０の所定の記憶領域には、正解マップ２０が記憶される。なお、逆走検出部１５は、開示の技術の検出部の一例である。 As shown in FIG. 1, the detection apparatus 10 according to the present embodiment receives, as an input, a captured image (moving image) captured by a fixed camera (not shown) installed at a position where a range including a road is an imaging range. Acquires and outputs the detection result of the reverse running vehicle. Functionally, the detection device 10 includes a vehicle detection unit 11, a division unit 12, a specification unit 13, a learning unit 14, and a reverse running detection unit 15. The correct answer map 20 is stored in a predetermined storage area of the detection device 10. The reverse running detection unit 15 is an example of a detection unit of the disclosed technology.
車両検出部１１は、検出装置１０に入力された撮影画像を取得し、撮影画像の各フレーム画像に対して画像処理を行って、撮影画像から動体である車両を示す車両領域を検出する。車両領域の検出には、背景差分法等の従来既知の手法を適用することができる。例えば、車両検出部１１は、図２に示すように、各フレーム画像２２について、平滑化処理を行い、前フレーム画像との差分画像を生成し、差分画像を二値化処理した二値化画像２４から、動体を示す画素を抽出する。また、車両検出部１１は、二値化画像２４に対して、伸縮処理及び膨張処理を行い、動体を示す画素の一群の各々を車両領域２６の各々として検出する。以下では、車両領域２６が検出される画像を車両領域検出画像２８という。 The vehicle detection unit 11 acquires a captured image input to the detection device 10, performs image processing on each frame image of the captured image, and detects a vehicle region indicating a moving vehicle from the captured image. A conventionally known method such as the background subtraction method can be applied to the detection of the vehicle area. For example, as illustrated in FIG. 2, the vehicle detection unit 11 performs a smoothing process on each frame image 22, generates a difference image from the previous frame image, and binarizes the difference image. From 24, a pixel indicating a moving object is extracted. In addition, the vehicle detection unit 11 performs expansion / contraction processing and expansion processing on the binarized image 24 to detect each group of pixels indicating moving objects as each vehicle region 26. Hereinafter, an image in which the vehicle area 26 is detected is referred to as a vehicle area detection image 28.
分割部１２は、フレーム画像２２及び車両領域検出画像２８の各々を、所定の大きさの複数の領域に分割する。以下では、分割された各領域を分割領域という。図３に、車両領域検出画像２８を分割領域に分割した例を概略的に示す。図３の例では、各マスが１つの分割領域３２に相当する。 The dividing unit 12 divides each of the frame image 22 and the vehicle area detection image 28 into a plurality of areas having a predetermined size. Hereinafter, each divided area is referred to as a divided area. FIG. 3 schematically shows an example in which the vehicle area detection image 28 is divided into divided areas. In the example of FIG. 3, each square corresponds to one divided region 32.
特定部１３は、分割部１２で分割された各分割領域３２について、時間的な画像の変化に基づいて、車両の進行方向を特定する。具体的には、特定部１３は、車両領域検出画像２８において車両領域２６を少なくとも一部に含む分割領域３２に対応するフレーム画像２２の分割領域３２について、前フレーム画像２２とのブロックマッチングなどにより、動きベクトルを算出する。そして、特定部１３は、算出した動きベクトルを、予め定めた所定数の方向（例えば、１６方向）のうち、その動きベクトルが示す方向と最も近い方向に割り当てた方向情報を算出し、算出した方向情報を分割領域３２に対応付けて格納した方向マップを作成する。例えば、図４に、方向マップ３４を画像化した一例を概略的に示す。図４の例では、各分割領域３２に格納された方向情報３６を矢印で表している。なお、図４では、説明を分かり易くするため、方向マップ３４に車両領域２６も合せて表記している。 The specifying unit 13 specifies the traveling direction of the vehicle based on the temporal image change for each divided region 32 divided by the dividing unit 12. Specifically, the specifying unit 13 performs block matching with the previous frame image 22 on the divided region 32 of the frame image 22 corresponding to the divided region 32 including at least a part of the vehicle region 26 in the vehicle region detection image 28. The motion vector is calculated. And the specific | specification part 13 calculates the direction information which allocated the calculated motion vector to the direction nearest to the direction which the motion vector shows among the predetermined number of predetermined directions (for example, 16 directions), and calculated A direction map in which the direction information is stored in association with the divided area 32 is created. For example, FIG. 4 schematically shows an example in which the direction map 34 is imaged. In the example of FIG. 4, the direction information 36 stored in each divided area 32 is represented by an arrow. In FIG. 4, the vehicle area 26 is also shown in the direction map 34 for easy understanding.
学習部１４は、過去の所定時間の間に、道路を含む範囲を通過した車両の情報を利用して、分割領域３２毎に車両の進行方向の正解の情報が格納された正解マップを作成する。具体的には、学習部１４は、所定時間分の撮影画像の各フレーム画像２２について、特定部１３で作成された方向マップ３４の方向情報３６を、分割領域３２毎に統合した正解情報を、各分割領域３２に対応付けて記憶することで、正解マップを作成する。ここで、所定時間分の撮影画像の中に、逆走車両が含まれる場合、すなわち、異常な方向情報３６が格納された方向マップ３４が含まれる場合がある。この場合を考慮して、学習部１４は、例えば、過去のフレーム画像２２の各々から作成された方向マップ３４を分割領域３２毎に参照し、方向情報３６が格納されている分割領域３２を抽出する。そして、学習部１４は、抽出した分割領域３２に格納されている方向情報３６が所定回数連続で同一の場合に、その方向情報３６を正解情報とすることができる。図５に、正解マップ２０を画像化した一例を概略的に示す。図５の例では、各分割領域３２に格納された正解情報３８を矢印で表している。 The learning unit 14 uses the information on the vehicles that have passed through the range including the road during the past predetermined time, and creates a correct map in which correct information on the traveling direction of the vehicles is stored for each divided region 32. . Specifically, the learning unit 14 obtains correct information obtained by integrating the direction information 36 of the direction map 34 created by the specifying unit 13 for each divided region 32 for each frame image 22 of the captured images for a predetermined time. A correct map is created by storing each divided area 32 in association with each other. Here, there are cases where a reverse running vehicle is included in the captured images for a predetermined time, that is, a direction map 34 in which abnormal direction information 36 is stored. Considering this case, for example, the learning unit 14 refers to the direction map 34 created from each of the past frame images 22 for each divided region 32 and extracts the divided region 32 in which the direction information 36 is stored. To do. And the learning part 14 can make the direction information 36 into correct information, when the direction information 36 stored in the extracted division area 32 is the same continuously for a predetermined number of times. FIG. 5 schematically shows an example in which the correct answer map 20 is imaged. In the example of FIG. 5, correct answer information 38 stored in each divided region 32 is represented by an arrow.
逆走検出部１５は、特定部１３で作成された方向マップ３４の方向情報３６が示す方向と、学習部１４で作成された正解マップ２０の正解情報３８が示す方向との一致度に基づいて、逆走車両を検出する。具体的には、逆走検出部１５は、方向マップ３４において方向情報３６が格納されている各分割領域３２について、図６に示すように、方向情報３６が示す方向と、正解情報３８が示す方向とが一致するか否かを示すフラグを立てる。図６では、方向が一致する場合に一致フラグ「０」、一致していない場合に不一致フラグ「１」を立てた例を示している。逆走検出部１５は、１つの車両領域２６を含む１又は複数の分割領域３２（図６中の破線部）に対して、不一致フラグが立てられた分割領域３２の割合が所定の閾値以上の場合に、その車両領域２６を、逆走車両を示す車両領域２６として検出する。なお、逆走検出部１５は、１つの車両領域２６を含む１又は複数の分割領域３２に対して、一致フラグが立てられた分割領域３２の割合が所定の閾値未満の場合に、その車両領域２６を、逆走車両を示す車両領域２６として検出してもよい。 The reverse running detection unit 15 is based on the degree of coincidence between the direction indicated by the direction information 36 of the direction map 34 created by the specifying unit 13 and the direction indicated by the correct answer information 38 of the correct answer map 20 created by the learning unit 14. Detect reverse running vehicles. Specifically, as shown in FIG. 6, the reverse running detection unit 15 indicates the direction indicated by the direction information 36 and the correct answer information 38 for each divided region 32 in which the direction information 36 is stored in the direction map 34. A flag indicating whether or not the direction matches is set. FIG. 6 shows an example in which the match flag “0” is set when the directions match, and the mismatch flag “1” is set when the directions do not match. The reverse running detection unit 15 has a ratio of the divided area 32 in which the mismatch flag is set to a predetermined threshold or more with respect to one or a plurality of divided areas 32 (broken lines in FIG. 6) including one vehicle area 26. In this case, the vehicle area 26 is detected as a vehicle area 26 indicating a reverse running vehicle. Note that the reverse running detection unit 15 determines the vehicle area when the ratio of the divided area 32 in which the coincidence flag is set is less than a predetermined threshold with respect to one or more divided areas 32 including one vehicle area 26. 26 may be detected as a vehicle area 26 indicating a reverse running vehicle.
逆走検出部１５は、逆走車両を示す車両領域２６を検出した場合には、例えば、図７に示すように、検出された車両領域２６の外接矩形を撮影画像に重畳するなどして、検出結果として出力する。 When the reverse running detection unit 15 detects the vehicle area 26 indicating the reverse running vehicle, for example, as shown in FIG. 7, the circumscribed rectangle of the detected vehicle area 26 is superimposed on the captured image. Output as detection result.
検出装置１０は、例えば図８に示すコンピュータ４０で実現することができる。コンピュータ４０は、Central Processing Unit（ＣＰＵ）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力装置、表示装置等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するRead/Write（Ｒ／Ｗ）部４５と、インターネット等のネットワークに接続される通信（Interface）Ｉ／Ｆ４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。 The detection apparatus 10 can be realized by, for example, a computer 40 shown in FIG. The computer 40 includes a central processing unit (CPU) 41, a memory 42 as a temporary storage area, and a nonvolatile storage unit 43. The computer 40 is connected to an input / output device 44 such as an input device and a display device, a read / write (R / W) unit 45 that controls reading and writing of data with respect to the storage medium 49, and a network such as the Internet. Communication I / F 46 is provided. The CPU 41, the memory 42, the storage unit 43, the input / output device 44, the R / W unit 45, and the communication I / F 46 are connected to each other via a bus 47.
記憶部４３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、検出装置１０として機能させるための検出プログラム５０が記憶される。検出プログラム５０は、車両検出プロセス５１と、分割プロセス５２と、特定プロセス５３と、学習プロセス５４と、逆走検出プロセス５５とを有する。また、記憶部４３は、正解マップ２０を構成する情報が記憶される情報記憶領域６０を有する。 The storage unit 43 can be realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, or the like. The storage unit 43 serving as a storage medium stores a detection program 50 for causing the computer 40 to function as the detection device 10. The detection program 50 includes a vehicle detection process 51, a division process 52, a specification process 53, a learning process 54, and a reverse running detection process 55. Further, the storage unit 43 has an information storage area 60 in which information constituting the correct answer map 20 is stored.
ＣＰＵ４１は、検出プログラム５０を記憶部４３から読み出してメモリ４２に展開し、検出プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、車両検出プロセス５１を実行することで、図１に示す車両検出部１１として動作する。また、ＣＰＵ４１は、分割プロセス５２を実行することで、図１に示す分割部１２として動作する。また、ＣＰＵ４１は、特定プロセス５３を実行することで、図１に示す特定部１３として動作する。また、ＣＰＵ４１は、学習プロセス５４を実行することで、図１に示す学習部１４として動作する。また、ＣＰＵ４１は、逆走検出プロセス５５を実行することで、図１に示す逆走検出部１５として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、メモリ４２に正解マップ２０を展開する。これにより、検出プログラム５０を実行したコンピュータ４０が、検出装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。 CPU41 reads the detection program 50 from the memory | storage part 43, expand | deploys to the memory 42, and performs the process which the detection program 50 has one by one. The CPU 41 operates as the vehicle detection unit 11 illustrated in FIG. 1 by executing the vehicle detection process 51. Further, the CPU 41 operates as the dividing unit 12 illustrated in FIG. 1 by executing the dividing process 52. Further, the CPU 41 operates as the specifying unit 13 illustrated in FIG. 1 by executing the specifying process 53. Further, the CPU 41 operates as the learning unit 14 illustrated in FIG. 1 by executing the learning process 54. Further, the CPU 41 operates as the reverse running detection unit 15 illustrated in FIG. 1 by executing the reverse running detection process 55. Further, the CPU 41 reads information from the information storage area 60 and develops the correct answer map 20 in the memory 42. As a result, the computer 40 that has executed the detection program 50 functions as the detection device 10. The CPU 41 that executes the program is hardware.
次に、本実施形態に係る検出装置１０の作用について説明する。正解マップ２０を作成する学習段階において、過去の所定時間分の撮影画像が検出装置１０に入力されると、検出装置１０において、図９に示す学習処理が実行される。また、逆走車両を実際に検出する段階では、時々刻々撮影画像が検出装置１０に入力され、検出装置１０において、図１２に示す逆走検出処理が実行される。以下、学習処理及び逆走検出処理の各々について詳述する。 Next, the operation of the detection apparatus 10 according to this embodiment will be described. In the learning stage for creating the correct answer map 20, when captured images for a predetermined past time are input to the detection device 10, a learning process shown in FIG. 9 is executed in the detection device 10. Further, at the stage of actually detecting the reverse running vehicle, the captured image is input to the detection device 10 every moment, and the reverse running detection process shown in FIG. Hereinafter, each of the learning process and the reverse running detection process will be described in detail.
図９に示す学習処理のステップＳ１０で、学習部１４が、フレーム画像２２と同一サイズの画像領域を、所定の大きさの複数の分割領域３２に分割した空の正解マップ２０を用意する。 In step S10 of the learning process shown in FIG. 9, the learning unit 14 prepares an empty correct map 20 in which an image area having the same size as the frame image 22 is divided into a plurality of divided areas 32 having a predetermined size.
次に、ステップＳ１２で、車両検出部１１が、入力された撮影画像の先頭フレームから順に１つのフレーム画像を処理対象のフレーム画像２２として設定する。そして、車両検出部１１は、処理対象のフレーム画像２２から、背景差分法などにより、車両を示す車両領域２６を検出した車両領域検出画像２８を作成し、フレーム画像２２と共に分割部１２へ受け渡す。 Next, in step S <b> 12, the vehicle detection unit 11 sets one frame image as a processing target frame image 22 in order from the first frame of the input captured image. And the vehicle detection part 11 produces the vehicle area detection image 28 which detected the vehicle area 26 which shows a vehicle from the frame image 22 of a process target by the background subtraction method etc., and passes to the division part 12 with the frame image 22. .
次に、ステップＳ１４で、分割部１２が、フレーム画像２２及び車両領域検出画像２８の各々を、正解マップ２０と同様に複数の分割領域３２に分割する。すなわち、フレーム画像２２、車両領域検出画像２８、及び正解マップ２０の各々は、それぞれ対応する分割領域３２に分割されている。分割部１２は、分割領域３２に分割されたフレーム画像２２及び車両領域検出画像２８の各々を特定部１３へ受け渡す。 Next, in step S <b> 14, the dividing unit 12 divides each of the frame image 22 and the vehicle area detection image 28 into a plurality of divided areas 32 in the same manner as the correct answer map 20. That is, each of the frame image 22, the vehicle area detection image 28, and the correct answer map 20 is divided into corresponding divided areas 32. The dividing unit 12 delivers each of the frame image 22 and the vehicle region detection image 28 divided into the divided regions 32 to the specifying unit 13.
次に、ステップＳ２０で、方向マップ作成処理が実行される。ここで、図１０を参照して、方向マップ作成処理について説明する。 Next, in step S20, a direction map creation process is executed. Here, the direction map creation processing will be described with reference to FIG.
ステップＳ２１で、特定部１３が、フレーム画像２２と同一サイズの画像領域を、フレーム画像２２と同様に複数の分割領域３２に分割した空の方向マップ３４を用意する。すなわち、フレーム画像２２、車両領域検出画像２８、及び方向マップ３４の各々は、それぞれ対応する分割領域３２に分割されている。 In step S <b> 21, the specifying unit 13 prepares an empty direction map 34 in which an image area having the same size as the frame image 22 is divided into a plurality of divided areas 32 in the same manner as the frame image 22. That is, each of the frame image 22, the vehicle region detection image 28, and the direction map 34 is divided into corresponding divided regions 32.
次に、ステップＳ２２で、特定部１３が、方向マップ３４の分割領域３２から以下のステップＳ２３及びＳ２４の処理が未処理の分割領域３２を１つ選択し、処理対象の分割領域３２として設定する。 Next, in step S <b> 22, the specifying unit 13 selects one unprocessed divided area 32 from the divided areas 32 of the direction map 34, and sets the unprocessed divided area 32 as a process target divided area 32. .
次に、ステップＳ２３で、特定部１３が、方向マップ３４における処理対象の分割領域３２に対応する車両領域検出画像２８の分割領域３２に、車両検出部１１で検出された車両領域２６が含まれるか否かを判定する。車両領域２６が含まれる場合には、処理はステップＳ２４へ移行し、車両領域２６が含まれない場合には、処理はステップＳ２５へ移行する。 Next, in step S <b> 23, the vehicle area 26 detected by the vehicle detection unit 11 is included in the divided area 32 of the vehicle area detection image 28 corresponding to the divided area 32 to be processed in the direction map 34. It is determined whether or not. If the vehicle area 26 is included, the process proceeds to step S24. If the vehicle area 26 is not included, the process proceeds to step S25.
ステップＳ２４では、特定部１３が、方向マップ３４における処理対象の分割領域３２に対応するフレーム画像２２の分割領域３２について、前フレーム画像２２とのブロックマッチングなどにより、動きベクトルを算出する。そして、特定部１３は、算出した動きベクトルを、予め定めた所定数の方向（例えば、１６方向）のうち、その動きベクトルが示す方向と最も近い方向に割り当てた方向情報３６を算出し、方向マップ３４における処理対象の分割領域３２に格納する。 In step S <b> 24, the specifying unit 13 calculates a motion vector for the divided area 32 of the frame image 22 corresponding to the divided area 32 to be processed in the direction map 34 by block matching with the previous frame image 22. Then, the specifying unit 13 calculates direction information 36 in which the calculated motion vector is assigned to the direction closest to the direction indicated by the motion vector among a predetermined number of predetermined directions (for example, 16 directions). Stored in the segment area 32 to be processed in the map 34.
次に、ステップＳ２５で、特定部１３が、方向マップ３４の全ての分割領域３２について処理が終了したか否かを判定する。未処理の分割領域３２が存在する場合には、処理はステップＳ２２に戻り、全て終了した場合には、処理は学習処理（図９）に戻る。 Next, in step S <b> 25, the specifying unit 13 determines whether the processing has been completed for all the divided regions 32 of the direction map 34. If there is an unprocessed divided area 32, the process returns to step S22, and if all the processes are completed, the process returns to the learning process (FIG. 9).
次に、ステップＳ３０で、正解マップ更新処理が実行される。ここで、図１１を参照して、正解マップ更新処理について説明する。 Next, correct map update processing is executed in step S30. Here, the correct map update processing will be described with reference to FIG.
ステップＳ３１で、学習部１４が、正解マップ２０の分割領域３２から以下のステップＳ３２〜Ｓ３５の処理が未処理の分割領域３２を１つ選択し、処理対象の分割領域３２として設定する。 In step S <b> 31, the learning unit 14 selects one divided region 32 in which the processes in steps S <b> 32 to S <b> 35 below are not processed from the divided region 32 of the correct answer map 20, and sets the selected divided region 32 as a processing target.
次に、ステップＳ３２で、学習部１４が、正解マップ２０における処理対象の分割領域３２に対応する方向マップ３４の分割領域３２に方向情報３６が格納されているか否かを判定する。方向情報３６が格納されている場合には、処理はステップＳ３３へ移行し、格納されていない場合には、処理はステップＳ３６へ移行する。 Next, in step S <b> 32, the learning unit 14 determines whether or not the direction information 36 is stored in the divided area 32 of the direction map 34 corresponding to the divided area 32 to be processed in the correct answer map 20. If the direction information 36 is stored, the process proceeds to step S33, and if not stored, the process proceeds to step S36.
ステップＳ３３では、学習部１４が、過去のフレーム画像２２の各々から作成された方向マップ３４の各々における処理対象の分割領域３２の各々を参照し、方向情報３６が格納されている分割領域３２を抽出する。そして、学習部１４は、抽出した分割領域３２に格納されている方向情報３６がＸ回（例えば、５回）連続で、上記ステップＳ３２で格納されていると判定された方向情報３６と同一か否かを判定する。方向情報３６がＸ回連続で同一の場合には、処理はステップＳ３４へ移行し、同一ではない場合には、処理はステップＳ３５へ移行する。 In step S33, the learning unit 14 refers to each of the divided regions 32 to be processed in each of the direction maps 34 created from each of the past frame images 22, and selects the divided region 32 in which the direction information 36 is stored. Extract. Then, the learning unit 14 determines whether or not the direction information 36 stored in the extracted divided region 32 is the same as the direction information 36 determined to be stored X times (for example, five times) continuously in step S32. Determine whether or not. If the direction information 36 is the same for X consecutive times, the process proceeds to step S34. If not, the process proceeds to step S35.
ステップＳ３４では、学習部１４が、Ｘ回連続で同一と判定した方向情報３６を正解情報３８として正解マップ２０の処理対象の分割領域３２に格納する。一方、ステップＳ３５では、学習部１４が、正解マップ２０の処理対象の分割領域３２に格納されている正解情報３８をリセットする。 In step S <b> 34, the learning unit 14 stores the direction information 36 determined to be the same for X consecutive times as the correct answer information 38 in the processing target divided region 32 of the correct answer map 20. On the other hand, in step S <b> 35, the learning unit 14 resets the correct answer information 38 stored in the processing target divided area 32 of the correct answer map 20.
次に、ステップＳ３６で、学習部１４が、正解マップ２０の全ての分割領域３２について処理が終了したか否かを判定する。未処理の分割領域３２が存在する場合には、処理はステップＳ３１に戻り、全て終了した場合には、処理は学習処理（図９）に戻る。 Next, in step S <b> 36, the learning unit 14 determines whether or not the processing has been completed for all the divided areas 32 of the correct answer map 20. If there is an unprocessed divided area 32, the process returns to step S31, and if all the processes are completed, the process returns to the learning process (FIG. 9).
次に、ステップＳ４０で、車両検出部１１が、入力された撮影画像の次のフレーム画像が存在するか否かを判定する。次のフレーム画像が存在する場合には、処理はステップＳ１２に戻り、入力された撮影画像の全てのフレーム画像について処理が終了した場合には、正解マップ２０を所定の記憶領域に記憶して、学習処理は終了する。 Next, in step S40, the vehicle detection unit 11 determines whether there is a frame image next to the input captured image. If there is a next frame image, the process returns to step S12. If the process has been completed for all frame images of the input captured image, the correct answer map 20 is stored in a predetermined storage area. The learning process ends.
次に、図１２を参照して逆走検出処理について説明する。 Next, the reverse running detection process will be described with reference to FIG.
ステップＳ５１〜Ｓ５３で、学習処理のステップＳ１２、Ｓ１４、及びＳ２０と同様に、フレーム画像から車両領域２６を検出して、方向マップ３４を作成する。 In steps S51 to S53, the vehicle region 26 is detected from the frame image and the direction map 34 is created in the same manner as in steps S12, S14, and S20 of the learning process.
次に、ステップＳ５４で、逆走検出部１５が、上記ステップＳ５３で作成された方向マップ３４の分割領域３２のうち、方向情報３６が格納されている分割領域３２から、以下のステップＳ５５〜Ｓ５７の処理が未処理の分割領域３２を１つ選択する。そして、逆走検出部１５は、選択した分割領域３２を処理対象の分割領域３２として設定する。 Next, in step S54, the reverse running detection unit 15 performs the following steps S55 to S57 from the divided region 32 in which the direction information 36 is stored among the divided regions 32 of the direction map 34 created in step S53. One of the unprocessed divided areas 32 is selected. Then, the reverse running detection unit 15 sets the selected divided area 32 as the divided area 32 to be processed.
次に、ステップＳ５５で、逆走検出部１５が、方向マップ３４の処理対象の分割領域３２に格納された方向情報３６が示す方向と、正解マップ２０の処理対象の分割領域３２に格納された正解情報３８が示す方向とが一致するか否かを判定する。方向が一致する場合には、処理はステップＳ５６へ移行し、逆走検出部１５が、方向マップ３４の処理対象の分割領域３２に一致フラグを立てる。一方、方向が一致しない場合には、処理はステップＳ５７へ移行し、逆走検出部１５が、方向マップ３４の処理対象の分割領域３２に不一致フラグを立てる。 Next, in step S55, the reverse running detection unit 15 stores the direction indicated by the direction information 36 stored in the processing target divided area 32 of the direction map 34 and the processing target divided area 32 of the correct answer map 20. It is determined whether or not the direction indicated by the correct answer information 38 matches. If the directions match, the process proceeds to step S56, and the reverse running detection unit 15 sets a match flag in the divided area 32 to be processed in the direction map 34. On the other hand, if the directions do not match, the process proceeds to step S57, and the reverse running detection unit 15 sets a mismatch flag in the divided area 32 to be processed in the direction map 34.
次に、ステップＳ５８で、逆走検出部１５が、方向マップ３４の分割領域３２のうち、方向情報３６が格納された分割領域３２の全てについて処理が終了したか否かを判定する。未処理の分割領域３２が存在する場合には、処理はステップＳ５４に戻り、全て終了した場合には、処理はステップＳ５９へ移行する。 Next, in step S <b> 58, the reverse running detection unit 15 determines whether the processing has been completed for all of the divided areas 32 in which the direction information 36 is stored among the divided areas 32 of the direction map 34. If there is an unprocessed divided area 32, the process returns to step S54, and if all have been completed, the process proceeds to step S59.
ステップＳ５９では、逆走検出部１５が、上記ステップＳ５１で作成された車両領域検出画像２８に含まれる車両領域２６から、以下のステップＳ６０及びＳ６１の処理が未処理の車両領域２６を１つ選択し、処理対象の車両領域２６として設定する。 In step S59, the reverse running detection unit 15 selects one vehicle area 26 that has not been processed in the following steps S60 and S61 from the vehicle area 26 included in the vehicle area detection image 28 created in step S51. And set as the vehicle area 26 to be processed.
次に、ステップＳ６０で、逆走検出部１５が、処理対象の車両領域２６を少なくとも一部に含む分割領域３２に対応する方向マップ３４における分割領域３２に立てられたフラグを集計する。 Next, in step S60, the reverse running detection unit 15 adds up the flags set in the divided area 32 in the direction map 34 corresponding to the divided area 32 including at least a part of the vehicle area 26 to be processed.
次に、ステップＳ６１で、逆走検出部１５が、車両領域２６に対応する分割領域に対して、不一致フラグが立てられた分割領域３２の割合（不一致割合）が所定の閾値以上か否かを判定する。不一致割合が閾値以上の場合には、処理はステップＳ６２へ移行し、不一致割合が閾値未満の場合には、処理はステップＳ６３へ移行する。 Next, in step S61, the reverse running detection unit 15 determines whether the ratio (mismatch ratio) of the divided areas 32 for which the mismatch flag is set is greater than or equal to a predetermined threshold with respect to the divided areas corresponding to the vehicle area 26. judge. If the mismatch rate is greater than or equal to the threshold, the process proceeds to step S62. If the mismatch rate is less than the threshold, the process proceeds to step S63.
ステップＳ６２では、逆走検出部１５が、不一致割合が閾値以上であると判定した車両領域２６を、逆走車両を示す車両領域２６として検出し、その車両領域２６のフレーム画像２２上での位置等の情報を一旦所定の記憶領域に記憶する。 In step S <b> 62, the reverse running detection unit 15 detects the vehicle area 26 determined that the mismatch rate is equal to or greater than the threshold as the vehicle area 26 indicating the reverse running vehicle, and the position of the vehicle area 26 on the frame image 22. And the like are temporarily stored in a predetermined storage area.
次に、ステップＳ６３で、逆走検出部１５が、車両領域検出画像２８に含まれる全ての車両領域２６について処理が終了したか否かを判定する。未処理の車両領域２６が存在する場合には、処理はステップＳ５９に戻り、全ての車両領域２６について処理が終了した場合には、処理はステップＳ６４へ移行する。 Next, in step S <b> 63, the reverse running detection unit 15 determines whether or not the processing has been completed for all the vehicle areas 26 included in the vehicle area detection image 28. If there is an unprocessed vehicle area 26, the process returns to step S59. If the process is completed for all the vehicle areas 26, the process proceeds to step S64.
ステップＳ６４では、逆走検出部１５が、所定の記憶領域に記憶した逆走車両を示す車両領域２６の情報に基づいて、例えば、検出された車両領域２６の外接矩形を撮影画像に重畳するなどして、検出結果として出力する。そして、処理はステップＳ５１に戻る。 In step S64, the reverse running detection unit 15 superimposes the circumscribed rectangle of the detected vehicle area 26 on the captured image based on the information on the vehicle area 26 indicating the reverse running vehicle stored in the predetermined storage area, for example. And output as a detection result. Then, the process returns to step S51.
以上説明したように、本実施形態に係る検出装置１０は、撮影画像を所定の大きさの領域に分割した分割領域毎に、動体の正解の進行方向の情報を記憶しておく。そして、検出装置１０は、撮影画像から検出された車両の進行方向を特定し、記憶しておいた正解の進行方向との一致するか否かを判定して、異常な方向へ進行する動体を検出する。このように、本実施形態に係る検出装置１０は、分割領域毎に動体の進行方向が異常か否かを判定することができる。そのため、本実施形態に係る検出装置１０は、例えば、他の車両等の障害物の陰から突然出現した動体などについても、少なくとも２フレーム分の撮影画像が取得できれば、精度良く進行方向を特定することができる。 As described above, the detection apparatus 10 according to the present embodiment stores information on the moving direction of the correct answer for each moving area obtained by dividing the captured image into areas of a predetermined size. Then, the detection device 10 identifies the traveling direction of the vehicle detected from the captured image, determines whether or not it matches the stored traveling direction of the correct answer, and moves the moving body that proceeds in an abnormal direction. To detect. Thus, the detection apparatus 10 according to the present embodiment can determine whether the moving direction of the moving object is abnormal for each divided region. Therefore, the detection apparatus 10 according to the present embodiment specifies the traveling direction with high accuracy if a captured image for at least two frames can be acquired even for a moving body suddenly appearing behind an obstacle such as another vehicle. be able to.
ここで、例えば、図１３の破線部に示すように、撮影画像の端部などでは、実際には、道路に沿った方向とは異なる方向の動きベクトルが算出される。したがって、道路に沿った方向を正解の方向として記憶しておいた場合には、異常な方向へ進行する動体を精度良く検出できない。本実施形態に係る検出装置１０では、過去の撮影画像内の動体の進行方向の情報に基づいて、分割領域毎に正解情報が格納された正解マップを作成する。そのため、本実施形態に係る検出装置１０は、図１３に示すような実際に算出される動きベクトルに基づく正解情報を記憶しておくことができ、撮影画像の端部などでも、異常な方向へ進行する動体を精度良く検出することができる。 Here, for example, as shown by the broken line portion in FIG. 13, in the end portion of the captured image, a motion vector in a direction different from the direction along the road is actually calculated. Therefore, when the direction along the road is stored as the correct direction, a moving object traveling in an abnormal direction cannot be accurately detected. In the detection apparatus 10 according to the present embodiment, a correct map in which correct information is stored for each divided region is created based on information on the moving direction of a moving object in a past captured image. For this reason, the detection apparatus 10 according to the present embodiment can store correct answer information based on actually calculated motion vectors as shown in FIG. 13, and in an abnormal direction even at the edge of the captured image. It is possible to accurately detect a moving body that travels.
また、本実施形態に係る検出装置１０は、車両領域に対応する複数の分割領域における正解情報との一致度の判定結果に基づいて、その車両領域が逆走車両を示す車両領域か否かを判定する。これにより、例えば、トラックの荷台部分など、動体の一部が対向車線の領域に入ってしまっている場合などでも、動体自体の進行方向が正常であれば、分割領域の多数は正解情報と一致すると判定される。そのため、異常な方向へ進行する動体であると誤検出されることを抑制できる。 Moreover, the detection apparatus 10 according to the present embodiment determines whether or not the vehicle area is a vehicle area indicating a reverse running vehicle based on the determination result of the degree of coincidence with the correct answer information in the plurality of divided areas corresponding to the vehicle area. judge. As a result, for example, even if a part of the moving object has entered the area of the oncoming lane, such as the truck bed part, if the moving direction of the moving object itself is normal, many of the divided areas match the correct answer information. Then, it is determined. For this reason, it is possible to suppress erroneous detection of a moving body traveling in an abnormal direction.
なお、上記実施形態では、算出した動きベクトルの方向を所定方向へ割り当てて、方向マップの方向情報を算出する場合について説明したが、これに限定されない。例えば、算出した動きベクトルをそのまま方向情報として方向マップの各分割領域に格納してもよい。この場合、所定時間分の撮影画像の各フレーム画像から作成された方向マップの各々において、同一の分割領域３２に格納されている動きベクトルの平均を、正解マップの分割領域３２に格納する正解情報とすることができる。そして、逆走車両の検出の際には、方向マップに格納された動きベクトルと、正解マップに格納された正解情報が示すベクトルとのなす角が所定の閾値以下か否かにより、一致度を判定することができる。なお、本実施形態のように動きベクトルを所定方向に割り当てて方向情報を算出する場合も、割り当てる方向の数を細分化するなどして設定することができる。これにより、結果的に、正解情報が示すベクトルと検出された車両領域の動きベクトルとのなす角が閾値以下になる場合を、正解の方向と一致する場合と判定することができる。 In the embodiment described above, the direction of the calculated motion vector is assigned to a predetermined direction and the direction information of the direction map is calculated. However, the present invention is not limited to this. For example, the calculated motion vector may be stored in each divided area of the direction map as direction information as it is. In this case, in each of the direction maps created from the frame images of the captured images for a predetermined time, the correct information stored in the divided region 32 of the correct answer map is the average of the motion vectors stored in the same divided region 32. It can be. When detecting a reverse running vehicle, the degree of coincidence is determined by whether or not the angle formed by the motion vector stored in the direction map and the vector indicated by the correct answer information stored in the correct answer map is equal to or less than a predetermined threshold. Can be determined. Note that when the direction information is calculated by assigning a motion vector to a predetermined direction as in the present embodiment, the number of directions to be assigned can be set by subdividing. As a result, the case where the angle formed by the vector indicated by the correct answer information and the detected motion vector of the vehicle area is equal to or smaller than the threshold value can be determined as matching with the correct answer direction.
また、本実施形態では、逆走車両の検出処理とは別に、過去の所定時間分の撮影画像を入力して学習処理を実行する場合について説明したが、学習処理と逆走車両の検出処理とを並列に実行してもよい。この場合、例えば、図９に示す学習処理のステップＳ３０の前若しくは後、又はステップＳ３０の処理と並列に、図１２に示す逆走検出処理のステップＳ５４〜Ｓ６４の処理を実行すればよい。 In addition, in the present embodiment, a case has been described in which learning processing is executed by inputting captured images for a predetermined past time separately from detection processing for a reverse running vehicle. May be executed in parallel. In this case, for example, the processes of steps S54 to S64 of the reverse running detection process shown in FIG. 12 may be executed before or after step S30 of the learning process shown in FIG. 9 or in parallel with the process of step S30.
また、上記実施形態では、全ての分割領域が同じサイズの場合について説明したが、これに限定されない。例えば、撮影画像の奥行き方向に沿って奥に行くほど（画像の上に行くほど）、撮影装置からの距離が遠くなることを考慮して、撮影画像の奥行き方向に沿って奥に行くほど（画像の上に行くほど）、分割領域のサイズを小さくするようにしてもよい。 Moreover, although the said embodiment demonstrated the case where all the division areas were the same size, it is not limited to this. For example, in consideration of the fact that the distance from the imaging device increases as the depth increases in the depth direction of the captured image (as the image moves upward), the depth increases in the depth direction of the captured image ( You may make it make the size of a divided area small, so that it goes on the image.
なお、上記実施形態では、異常な方向に進行する動体の一例として逆走車両を検出する場合について説明したが、動体は車両に限定されない。また、対象の動体に応じて、異常な進行方向も逆走の場合に限定されない。 In addition, although the said embodiment demonstrated the case where a reverse running vehicle was detected as an example of the moving body which progresses in an abnormal direction, a moving body is not limited to a vehicle. Also, depending on the target moving body, the abnormal traveling direction is not limited to reverse running.
また、上記実施形態では、検出プログラム５０が記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。 In the above embodiment, the detection program 50 is stored (installed) in the storage unit 43 in advance. However, the present invention is not limited to this. The program according to the disclosed technology can be provided in a form stored in a storage medium such as a CD-ROM, a DVD-ROM, or a USB memory.
以上の実施形態に関し、更に以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.
（付記１）
道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する、
処理をコンピュータに実行させることを特徴とする検出プログラム。
(Appendix 1)
Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
Detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit;
A detection program for causing a computer to execute processing.
（付記２）
記憶部に記憶した前記領域それぞれにおける動体の進行方向として、過去の所定時間の間に前記道路を含む範囲を通過した動体の情報を利用する処理をコンピュータに実行させることを特徴とする付記１に記載の検出プログラム。
(Appendix 2)
Supplementary note 1 characterized by causing a computer to execute processing using information on moving objects that have passed through a range including the road during a past predetermined time as the moving direction of moving objects in each of the areas stored in the storage unit The described detection program.
（付記３）
前記一致度に基づいて動体の異常な方向への進行を検出する際、前記動体の存在する複数の領域における進行方向の一致度に基づき検出する処理をコンピュータに実行させることを特徴とする付記１又は付記２に記載の検出プログラム。
(Appendix 3)
Supplementary note 1 that causes a computer to execute detection processing based on the degree of coincidence of the moving directions in a plurality of regions where the moving object is present when detecting the movement of the moving object in an abnormal direction based on the degree of coincidence Or the detection program according to Appendix 2.
（付記４）
前記一致度を判定する際、記憶部に記憶した前記領域それぞれにおける動体の進行方向と、特定した前記領域ごとの進行方向との方向の角度の差が所定の値以下である場合に一致であると判定する付記１乃至付記３のいずれか一項に記載の検出プログラム。
(Appendix 4)
When determining the degree of coincidence, it is coincident when the difference in angle between the moving direction of the moving body in each of the areas stored in the storage unit and the moving direction of each specified area is equal to or less than a predetermined value. The detection program according to any one of appendix 1 to appendix 3, in which
（付記５）
前記撮影画像として、前記道路を含む範囲を撮影可能な位置に固定された撮影装置により撮影される撮影画像を取得する付記１〜付記４のいずれか１項記載の検出プログラム。
(Appendix 5)
The detection program according to any one of Supplementary Note 1 to Supplementary Note 4, wherein a captured image captured by a capturing device fixed at a position where the range including the road can be captured is acquired as the captured image.
（付記６）
道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する
処理をコンピュータが実行することを特徴とする検出方法。
(Appendix 6)
Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
The computer executes a process of detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit. Detection method.
（付記７）
記憶部に記憶した前記領域それぞれにおける動体の進行方向として、過去の所定時間の間に前記道路を含む範囲を通過した動体の情報を利用する処理をコンピュータが実行することを特徴とする付記６に記載の検出方法。
(Appendix 7)
Appendix 6 characterized in that the computer executes a process of using information on a moving object that has passed through a range including the road during a predetermined past time as the moving direction of the moving object in each of the areas stored in the storage unit. The detection method described.
（付記８）
前記一致度に基づいて動体の異常な方向への進行を検出する際、前記動体の存在する複数の領域における進行方向の一致度に基づき検出する処理をコンピュータが実行することを特徴とする付記６又は付記７に記載の検出方法。
(Appendix 8)
Appendix 6 wherein the computer executes a process of detecting based on the degree of coincidence of the moving direction in a plurality of regions where the moving object is present when detecting the progression of the moving object in an abnormal direction based on the degree of coincidence. Or the detection method according to Appendix 7.
（付記９）
前記一致度を判定する際、記憶部に記憶した前記領域それぞれにおける動体の進行方向と、特定した前記領域ごとの進行方向との方向の角度の差が所定の値以下である場合に一致であると判定する付記６乃至付記８のいずれか一項に記載の検出方法。
(Appendix 9)
When determining the degree of coincidence, it is coincident when the difference in angle between the moving direction of the moving body in each of the areas stored in the storage unit and the moving direction of each specified area is equal to or less than a predetermined value. The detection method according to any one of appendix 6 to appendix 8, in which
（付記１０）
前記撮影画像として、前記道路を含む範囲を撮影可能な位置に固定された撮影装置により撮影される撮影画像を取得する付記６乃至付記９のいずれか一項記載の検出方法。
(Appendix 10)
The detection method according to any one of appendix 6 to appendix 9, wherein a captured image captured by a capturing device fixed at a position where the range including the road can be captured is acquired as the captured image.
（付記１１）
道路を含む範囲についての撮影画像を所定の大きさの領域に分割する分割部と、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定する特定部と、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する検出部と、
を有することを特徴とする検出装置。
(Appendix 11)
A dividing unit that divides a captured image of a range including a road into regions of a predetermined size;
For each divided area, a specific unit that identifies the moving direction of the moving object based on temporal image changes;
A detecting unit that detects the progress of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the moving direction of the moving body in each of the regions stored in the storage unit;
A detection apparatus comprising:
（付記１２）
記憶部に記憶した前記領域それぞれにおける動体の進行方向として、過去の所定時間の間に前記道路を含む範囲を通過した動体の情報を利用する学習部を含むことを特徴とする付記１１に記載の検出装置。
(Appendix 12)
The supplementary note 11 includes a learning unit that uses information on a moving object that has passed through a range including the road during a predetermined time in the past as a moving direction of the moving object in each of the regions stored in the storage unit. Detection device.
（付記１３）
前記検出部は、前記一致度に基づいて動体の異常な方向への進行を検出する際、前記動体の存在する複数の領域における進行方向の一致度に基づき検出することを特徴とする付記１１又は付記１２に記載の検出装置。
(Appendix 13)
The detection unit, when detecting the progress of the moving body in an abnormal direction based on the degree of coincidence, detects based on the degree of coincidence of the traveling direction in a plurality of regions where the moving body exists. The detection device according to attachment 12.
（付記１４）
前記検出部は、前記一致度を判定する際、記憶部に記憶した前記領域それぞれにおける動体の進行方向と、特定した前記領域ごとの進行方向との方向の角度の差が所定の値以下である場合に一致であると判定する付記１１乃至付記１３のいずれか一項に記載の検出装置。
(Appendix 14)
When the detection unit determines the degree of coincidence, the difference in angle between the moving direction of the moving body in each of the regions stored in the storage unit and the moving direction of each specified region is equal to or less than a predetermined value. The detection device according to any one of supplementary note 11 to supplementary note 13, which is determined to be consistent with each other.
（付記１５）
前記撮影画像として、前記道路を含む範囲を撮影可能な位置に固定された撮影装置により撮影される撮影画像を取得する付記１１〜付記１４のいずれか１項記載の検出装置。
(Appendix 15)
15. The detection device according to any one of supplementary notes 11 to 14, wherein the photographed image is acquired by a photographing device fixed at a position where the range including the road can be photographed.
（付記１６）
道路を含む範囲についての撮影画像を所定の大きさの領域に分割し、
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する、
処理をコンピュータに実行させることを特徴とする検出プログラムを記憶した記憶媒体。
(Appendix 16)
Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
Detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit;
A storage medium storing a detection program that causes a computer to execute processing.
１０ 検出装置
１１ 車両検出部
１２ 分割部
１３ 特定部
１４ 学習部
１５ 逆走検出部
２０ 正解マップ
２２ フレーム画像
２６ 車両領域
２８ 車両領域検出画像
３２ 分割領域
３４ 方向マップ
３６ 方向情報
３８ 正解情報
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０ 検出プログラム
DESCRIPTION OF SYMBOLS 10 Detection apparatus 11 Vehicle detection part 12 Division | segmentation part 13 Specification part 14 Learning part 15 Reverse running detection part 20 Correct answer map 22 Frame image 26 Vehicle area 28 Vehicle area detection image 32 Divided area 34 Direction map 36 Direction information 38 Correct answer information 40 Computer 41 CPU
42 Memory 43 Storage 49 Storage Medium 50 Detection Program
Claims (7)
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する、
処理をコンピュータに実行させることを特徴とする検出プログラム。 Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
Detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit;
A detection program for causing a computer to execute processing.
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定し、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する
処理をコンピュータが実行することを特徴とする検出方法。 Divide the captured image of the area including the road into areas of a predetermined size,
For each divided area, identify the moving direction of the moving object based on temporal image changes,
The computer executes a process of detecting the progression of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the traveling direction of the moving body in each of the areas stored in the storage unit. Detection method.
分割された各領域について、時間的な画像の変化に基づいて動体の進行方向を特定する特定部と、
特定した前記領域それぞれの進行方向と、記憶部に記憶した前記領域それぞれにおける動体の進行方向との一致度に基づいて動体の異常な方向への進行を検出する検出部と、
を有することを特徴とする検出装置。 A dividing unit that divides a captured image of a range including a road into regions of a predetermined size;
For each divided area, a specific unit that identifies the moving direction of the moving object based on temporal image changes;
A detecting unit that detects the progress of the moving body in an abnormal direction based on the degree of coincidence between the identified traveling direction of each of the areas and the moving direction of the moving body in each of the regions stored in the storage unit;
A detection apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017130196A JP6935690B2 (en) | 2017-07-03 | 2017-07-03 | Detection programs, methods, and equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017130196A JP6935690B2 (en) | 2017-07-03 | 2017-07-03 | Detection programs, methods, and equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019012496A true JP2019012496A (en) | 2019-01-24 |
| JP6935690B2 JP6935690B2 (en) | 2021-09-15 |
Family
ID=65226421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017130196A Active JP6935690B2 (en) | 2017-07-03 | 2017-07-03 | Detection programs, methods, and equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6935690B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020126505A (en) * | 2019-02-06 | 2020-08-20 | アルパイン株式会社 | system |
| JP2021165881A (en) * | 2020-04-06 | 2021-10-14 | Ｆｃｎｔ株式会社 | Reverse traveling vehicle detection device, reverse traveling vehicle detection method, and reverse traveling vehicle detection program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001357484A (en) * | 2000-06-14 | 2001-12-26 | Kddi Corp | Road abnormality detector |
| JP2006099373A (en) * | 2004-09-29 | 2006-04-13 | Mitsubishi Electric Corp | Traffic flow monitoring system |
| JP2006285399A (en) * | 2005-03-31 | 2006-10-19 | Tama Tlo Kk | Image monitoring method and device for monitoring motion of vehicle at intersection |
| JP2012022370A (en) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
-
2017
- 2017-07-03 JP JP2017130196A patent/JP6935690B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001357484A (en) * | 2000-06-14 | 2001-12-26 | Kddi Corp | Road abnormality detector |
| JP2006099373A (en) * | 2004-09-29 | 2006-04-13 | Mitsubishi Electric Corp | Traffic flow monitoring system |
| JP2006285399A (en) * | 2005-03-31 | 2006-10-19 | Tama Tlo Kk | Image monitoring method and device for monitoring motion of vehicle at intersection |
| JP2012022370A (en) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020126505A (en) * | 2019-02-06 | 2020-08-20 | アルパイン株式会社 | system |
| JP7144124B2 (en) | 2019-02-06 | 2022-09-29 | アルパイン株式会社 | system |
| JP2021165881A (en) * | 2020-04-06 | 2021-10-14 | Ｆｃｎｔ株式会社 | Reverse traveling vehicle detection device, reverse traveling vehicle detection method, and reverse traveling vehicle detection program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6935690B2 (en) | 2021-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034047B (en) | Lane line detection method and device | |
| JP6274557B2 (en) | Moving surface information detection apparatus, moving body device control system using the same, and moving surface information detection program | |
| JP5127182B2 (en) | Object detection device | |
| CN107924569B (en) | Image processing apparatus, image processing method, and storage medium | |
| US20100021010A1 (en) | System and Method for detecting pedestrians | |
| JP6201148B2 (en) | CALIBRATION APPARATUS, CALIBRATION METHOD, MOBILE BODY CAMERA HAVING CALIBRATION FUNCTION, AND PROGRAM | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| KR102052833B1 (en) | Apparatus and method for vehicle speed detection using image tracking | |
| JP2000011133A (en) | Device and method for detecting moving object | |
| US9747507B2 (en) | Ground plane detection | |
| WO2018211930A1 (en) | Object detection device, object detection method, and computer-readable recording medium | |
| JP6515704B2 (en) | Lane detection device and lane detection method | |
| JP6439757B2 (en) | Image processing apparatus and image processing method | |
| US10380435B2 (en) | Image processing apparatus | |
| JP2019012496A (en) | Detection program, method and device | |
| EP3631675A1 (en) | Advanced driver assistance system and method | |
| CN112949470A (en) | Method, device and equipment for identifying lane-changing steering lamp of vehicle and storage medium | |
| JP6620607B2 (en) | Image analysis program, image analysis apparatus, and image analysis method | |
| JP7258632B2 (en) | object detector | |
| KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
| US20200003574A1 (en) | Method and device for fast detection of repetitive structures in the image of a road scene | |
| JP2017182139A (en) | Determination apparatus, determination method, and determination program | |
| JP4575315B2 (en) | Object detection apparatus and method | |
| JP4155252B2 (en) | Vehicle detection device | |
| JP2003317106A (en) | Travel path recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210809 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6935690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |