JP5416307B1

JP5416307B1 - Vehicle operation management device and computer program

Info

Publication number: JP5416307B1
Application number: JP2013142486A
Authority: JP
Inventors: 雅博山田
Original assignee: アサヒリサーチ株式会社
Priority date: 2013-07-08
Filing date: 2013-07-08
Publication date: 2014-02-12
Anticipated expiration: 2033-07-08
Also published as: JP2015014988A

Abstract

【課題】車両の運行管理にあたり交通法令の遵守状況を正確に判定できる車両の運行管理装置及びコンピュータプログラムを提供する。
【解決手段】車両の周囲を撮影してその動画データを出力するカメラ１０２と、前記車両の走行状態を検出する走行状態検出手段１２４と、交通法令に規定された法定基準のテンプレート画像が格納されたデータベース１２２と、前記動画データと前記テンプレート画像から前記車両の走行路の法定基準を検出する法定基準検出手段１２１と、前記車両の走行状態が前記車両の走行路の法定基準に違反しているか否かを判定する違反判定手段１２３と、前記判定の結果、違反している場合にはその違反内容を出力する出力手段１２６，１２８と、を備える。
【選択図】図１An object of the present invention is to provide a vehicle operation management device and a computer program that can accurately determine the state of compliance with traffic laws in managing vehicle operations.
A camera 102 that captures the periphery of a vehicle and outputs moving image data thereof, a traveling state detection unit 124 that detects a traveling state of the vehicle, and a statutory standard template image defined in traffic laws are stored. The database 122, the legal reference detection means 121 for detecting the legal reference of the travel path of the vehicle from the moving image data and the template image, and whether the traveling state of the vehicle violates the legal reference of the travel path of the vehicle Violation determining means 123 for determining whether or not, and output means 126 and 128 for outputting the contents of violation when there is a violation as a result of the determination.
[Selection] Figure 1

Description

本発明は、ビデオカメラなどで撮影した映像データから交通違反を検出し、これを再生して運行管理に利用する自動車、電車その他の車両の運行管理装置及びコンピュータプログラムに関する。 The present invention relates to an operation management apparatus and computer program for automobiles, trains, and other vehicles that detect traffic violations from video data captured by a video camera or the like, reproduce them, and use them for operation management.

事故発生時の車両の挙動をタコグラフなどで詳細に記録し、事故の発生状況を詳細に再現し、この再現データに基づいて事故原因を解析し、事故の再発の予防に寄与することができる運行状態記録装置及びそれを利用した運行管理システムが提案されている（特許文献１）。 Operation that can record the behavior of the vehicle at the time of the accident in detail with a tachograph, etc., reproduce the situation of the accident in detail, analyze the cause of the accident based on this reproduced data, and contribute to the prevention of the recurrence of the accident A status recording device and an operation management system using the status recording device have been proposed (Patent Document 1).

特開２００２−４２２８８号公報JP 2002-42288 A

しかしながら、上述した運行状態記録装置及びそれを利用した運行管理システムでは、速度違反などの判定を地図データ等に記録された法定速度情報を用いて行うので、天候、道路工事その他の道路環境によって法定速度が一時的に変更された場合には正確な判定ができないという問題がある。 However, in the operation status recording apparatus and the operation management system using the same, the speed violation is determined using the legal speed information recorded in the map data, etc., so it is legal depending on the weather, road construction or other road environment. There is a problem that an accurate determination cannot be made when the speed is temporarily changed.

本発明が解決しようとする課題は、車両の運行管理にあたり交通法令の遵守状況を正確に判定できる車両の運行管理装置及びコンピュータプログラムを提供することである。 The problem to be solved by the present invention is to provide a vehicle operation management apparatus and a computer program that can accurately determine the state of compliance with traffic laws in managing the operation of a vehicle.

本発明の車両の運行管理装置及びコンピュータプログラムは、カメラで撮影した映像データを画像解析することで交通法令の走行基準を検出し、自車両の走行状況が前記走行基準に違反している場合にはその違反内容を出力することで、上記課題を解決する。 The vehicle operation management device and the computer program of the present invention detect the running standard of traffic laws by analyzing the image data captured by the camera, and the running situation of the vehicle violates the running standard. Solves the above problem by outputting the content of the violation.

本発明の車両の運行管理装置及びコンピュータプログラムによれば、カメラで撮影した実際の映像データから交通法令の走行基準を画像解析により検出するので、道路環境などによって一時的に法令の基準値が変更された場合でも、法令の遵守状況を正確に判定することができる。 According to the vehicle operation management device and the computer program of the present invention, the running standards of traffic laws are detected by image analysis from the actual video data taken by the camera, so the law standard values temporarily change depending on the road environment etc. Even if it is done, it is possible to accurately determine the status of legal compliance.

本発明に係る車両の運行管理装置の一実施の形態を適用したドライブレコーダを示すブロック図である。1 is a block diagram showing a drive recorder to which an embodiment of a vehicle operation management device according to the present invention is applied. 図１のドライブレコーダで記録されたデータの再生装置の一例を示すブロック図である。It is a block diagram which shows an example of the reproducing | regenerating apparatus of the data recorded with the drive recorder of FIG. 動画データとＧＰＳ信号（ＮＭＥＡデータ）との対応関係を説明するための図である。It is a figure for demonstrating the correspondence of moving image data and a GPS signal (NMEA data). 図１のドライブレコーダの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the drive recorder of FIG. 図１のドライブレコーダの動作の他例を示すフローチャートである。It is a flowchart which shows the other example of operation | movement of the drive recorder of FIG. 図１のドライブレコーダの動作の他例を示すフローチャートである。It is a flowchart which shows the other example of operation | movement of the drive recorder of FIG. 図１のドライブレコーダの動作の他例を示すフローチャートである。It is a flowchart which shows the other example of operation | movement of the drive recorder of FIG. 図２の再生装置において再生した時のディスプレイの表示態様を示す図である。It is a figure which shows the display mode of a display at the time of reproducing | regenerating in the reproducing | regenerating apparatus of FIG. 図１のドライブレコーダの他例を示すブロック図である。It is a block diagram which shows the other example of the drive recorder of FIG. 本発明に係る車両の運行管理装置の他の実施の形態を適用した再生装置を示すブロック図である。It is a block diagram which shows the reproducing | regenerating apparatus to which other embodiment of the vehicle operation management apparatus which concerns on this invention is applied.

以下、本発明に係る車両の運行管理装置の一実施の形態として、当該運行管理装置をドライブレコーダに組み込み、ドライブレコーダで撮影した動画データを記録媒体に記録し、この動画データを再生ソフトがインストールされたコンピュータで再生する実施形態を示す。なお、本発明に係る車両の運行管理装置は、ドライブレコーダに組み込む以外にも専用の運行管理装置として構成することができる。 Hereinafter, as an embodiment of a vehicle operation management device according to the present invention, the operation management device is incorporated in a drive recorder, moving image data shot by the drive recorder is recorded on a recording medium, and this moving image data is installed by a reproduction software. An embodiment for playback on a computer that has been configured. The vehicle operation management device according to the present invention can be configured as a dedicated operation management device in addition to being incorporated in a drive recorder.

本例のドライブレコーダ１は、図１に示すように、カメラ１０２及びマイクロホン１０５、Ａ／Ｄ変換器１０３，１０６、画像エンコーダ１０４及び音声エンコーダ１０７、多重化回路１０８、メモリドライブ１０９、ＳＤカード記録媒体１１０、時計１１１、画像認識部１２１、法定基準テンプレートデータベース１２２、違反判定部１２３、走行状態検出部１２４、ＧＰＳ受信機１２５、違反書込部１２６及びスピーカ１２７を備え、これらの構成部品が一つの小型筐体１０１に収容されている。このうち、カメラ１０２及びマイクロホン１０５、Ａ／Ｄ変換器１０３，１０６、画像エンコーダ１０４及び音声エンコーダ１０７、多重化回路１０８、メモリドライブ１０９、ＳＤカード記録媒体１１０、時計１１１がドライブレコーダとして機能し、カメラ１０２、Ａ／Ｄ変換器１０３、画像認識部１２１、法定基準テンプレートデータベース１２２、違反判定部１２３、走行状態検出部１２４、ＧＰＳ受信機１２５、違反書込部１２６、スピーカ１２７、メモリドライブ１０９、ＳＤカード記録媒体１１０が車両の運行管理装置として機能する。 As shown in FIG. 1, the drive recorder 1 of this example includes a camera 102 and a microphone 105, A / D converters 103 and 106, an image encoder 104 and an audio encoder 107, a multiplexing circuit 108, a memory drive 109, and an SD card recording. The medium 110, the clock 111, the image recognition unit 121, the legal reference template database 122, the violation determination unit 123, the traveling state detection unit 124, the GPS receiver 125, the violation writing unit 126, and the speaker 127 are included. Are accommodated in two small casings 101. Among these, the camera 102 and microphone 105, A / D converters 103 and 106, image encoder 104 and audio encoder 107, multiplexing circuit 108, memory drive 109, SD card recording medium 110, and clock 111 function as a drive recorder. Camera 102, A / D converter 103, image recognition unit 121, legal reference template database 122, violation determination unit 123, running state detection unit 124, GPS receiver 125, violation writing unit 126, speaker 127, memory drive 109, The SD card recording medium 110 functions as a vehicle operation management device.

本例のドライブレコーダ１は、車両走行時の主として前方の状況を撮影するために、たとえば室内のルームミラーの裏面にブラケットや接着剤を用いて装着するが、目的に応じて車両の左右又は後方の状況を撮影するように適宜の位置に装着してもよい。カメラ１０２は、ＣＣＤカメラなどで構成され、目的とする車両の周囲の環境映像を撮像する。そして、カメラ１０２で撮像したアナログ画像信号は、Ａ／Ｄ変換器１０３でデジタル画像信号に変換処理され、このデジタル画像信号は画像エンコーダ１０４で符号化される。また、マイクロホン１０５は、目的とする車両の周囲の環境音声を集音する。そして、マイクロホン１０５で集音したアナログ音声信号は、Ａ／Ｄ変換器１０６でデジタル音声信号に変換処理され、このデジタル音声信号は音声エンコーダ１０７で符号化される。そして、多重化回路１０８は、ＣＣＤカメラ１０２で取得した所定フレームレートのデジタル映像信号とマイクロホン１０５で取得したデジタル音声信号とを多重化し、メモリドライブ１０９に出力する。こうした動画データは、ＭＰＥＧ規格やＭＯＶ方式などのフォーマットで生成することができる。 The drive recorder 1 of this example is mounted using, for example, a bracket or an adhesive on the rear surface of an indoor rearview mirror, for example, in order to photograph mainly the situation in front of the vehicle when traveling. It may be mounted at an appropriate position so as to photograph the situation. The camera 102 is composed of a CCD camera or the like, and captures an environmental image around the target vehicle. The analog image signal captured by the camera 102 is converted into a digital image signal by the A / D converter 103, and the digital image signal is encoded by the image encoder 104. The microphone 105 collects environmental sound around the target vehicle. The analog audio signal collected by the microphone 105 is converted into a digital audio signal by the A / D converter 106, and this digital audio signal is encoded by the audio encoder 107. The multiplexing circuit 108 multiplexes the digital video signal having a predetermined frame rate acquired by the CCD camera 102 and the digital audio signal acquired by the microphone 105, and outputs the multiplexed signal to the memory drive 109. Such moving image data can be generated in a format such as MPEG standard or MOV system.

本例のドライブレコーダ１の電源端子１１２は、入切スイッチ１１４を介して車両バッテリＶＢに接続されているが、この入切スイッチ１１４は車両のイグニッションキーＶＫのＯＮ／ＯＦＦに連動してＯＮ／ＯＦＦする。すなわち、イグニッションキーＶＫがＯＮすると接続回路１１３の入切スイッチ１１４がＯＮし、これによりドライブレコーダ１の電源端子１１２にバッテリＶＢからの電力が供給される。また、イグニッションキーＶＫがＯＦＦすると接続回路１１３の入切スイッチ１１４もＯＦＦし、車両バッテリＶＢから電源端子１１２への電力供給は遮断される。なお、接続回路１１３の入切スイッチ１１４をイグニッションキーＶＫのＯＮ／ＯＦＦとは独立してＯＮ／ＯＦＦさせてもよく、これにより、本例のドライブレコーダ１を、駐車中の車上荒らし対策などのセキュリティシステムとして機能させることができる。 The power supply terminal 112 of the drive recorder 1 of this example is connected to the vehicle battery VB via an on / off switch 114. The on / off switch 114 is turned on / off in conjunction with the on / off of the ignition key VK of the vehicle. Turn off. That is, when the ignition key VK is turned on, the on / off switch 114 of the connection circuit 113 is turned on, whereby the power from the battery VB is supplied to the power supply terminal 112 of the drive recorder 1. When the ignition key VK is turned off, the on / off switch 114 of the connection circuit 113 is also turned off, and the power supply from the vehicle battery VB to the power supply terminal 112 is cut off. Note that the ON / OFF switch 114 of the connection circuit 113 may be turned ON / OFF independently of the ON / OFF of the ignition key VK, which makes it possible to prevent the drive recorder 1 of this example from being damaged on the vehicle while parked. Can function as a security system.

メモリドライブ１０９は、ＳＤカード記録媒体１１０などの汎用携帯型記録媒体に多重化された映像・音声データを記録する。そして、ＳＤカード媒体１１０の記録容量が一杯になってから最新の映像・音声データを記録する場合には、時間的に最古の映像・音声データは消去され、エンドレスにたえず最新の映像・音声データを記録するようにメモリドライブ１０９により制御される。この場合に、記録のタイミングは任意の長さで設定することができる。なお、本例のドライブレコーダ１では、たとえば５分毎など、所定時間ごとにファイルを区切って記録するものとする。 The memory drive 109 records video / audio data multiplexed on a general-purpose portable recording medium such as the SD card recording medium 110. When recording the latest video / audio data after the recording capacity of the SD card medium 110 is full, the oldest video / audio data is erased in time, and the latest video / audio is constantly recorded. It is controlled by the memory drive 109 to record data. In this case, the recording timing can be set to an arbitrary length. In the drive recorder 1 of this example, it is assumed that files are divided and recorded at predetermined time intervals, for example, every 5 minutes.

ＧＰＳ（Global Positioning System）受信機１２５は、ＧＰＳ衛星ＮＳからの信号を所定時間間隔、具体的には上述した動画データのファイルを区切る時間と同期して受信し、これを、違反書込１２６を介してメモリドライブ１０９に出力する。ＧＰＳ衛星ＮＳから出力されＧＰＳ受信機１２５により受信されるＧＰＳ信号は、ＧＰＳ衛星ＮＳに搭載された原子時計による時刻データと、衛星の軌道情報、すなわち位置データ（緯度及び経度）とが含まれるＮＭＥＡ方式のデータである。メモリドライブ１０９は、このＮＭＥＡデータをＳＤカード記録媒体１１０に記録するが、記録する際に撮影されていた動画データ（映像・音声データ）と関連付けて記録する。この関連付けは、たとえば動画データとＭＮＥＡデータとの拡張子以外のファイル名を同じファイル名に設定することが挙げられる。上述した多重化回路１０８にて生成されるＭＯＶ方式の動画データは、データ構造内に時刻データを含まないが、ＧＰＳ信号から取得したＮＭＥＡデータには時刻データが含まれ、このＮＭＥＡデータと動画データとを関連付けて記録しておくことにより、特定の時刻の動画データを抽出することが可能となる。 A GPS (Global Positioning System) receiver 125 receives a signal from the GPS satellite NS in synchronism with a predetermined time interval, specifically, a time for dividing the above-described moving image data file. To the memory drive 109. The GPS signal output from the GPS satellite NS and received by the GPS receiver 125 includes NMEA including time data from an atomic clock mounted on the GPS satellite NS and satellite orbit information, that is, position data (latitude and longitude). It is data of method. The memory drive 109 records the NMEA data on the SD card recording medium 110, but records the NMEA data in association with the moving image data (video / audio data) captured at the time of recording. This association may be, for example, setting file names other than extensions of moving image data and MNEA data to the same file name. The MOV moving image data generated by the multiplexing circuit 108 described above does not include time data in the data structure, but the NMEA data acquired from the GPS signal includes time data. This NMEA data and moving image data Can be extracted and moving image data at a specific time can be extracted.

ＧＰＳ信号のＮＭＥＡデータと動画データとを関連付けて記録する具体例についてさらに説明する。既述したとおり、本例の動画データは所定時間間隔ｔ１でファイルを区切って記録する一方、ＧＰＳ信号もこれに同期した所定時間間隔ｔ１で受信する。動画データファイルを区切る時間間隔ｔ１とＧＰＳ信号の受信時間間隔ｔ１が一致するので、たとえば図３に示すように、動画データのファイル名とＮＭＥＡデータ（ＧＰＳ信号）のファイル名の拡張子を除いた部分に同じ数字の連番が付される。これにより動画データとＮＭＥＡデータとを関連付けて記録することができる。 A specific example in which NMEA data of GPS signals and moving image data are recorded in association with each other will be further described. As described above, the moving image data of this example is recorded by dividing the file at a predetermined time interval t1, while the GPS signal is also received at the predetermined time interval t1 synchronized therewith. Since the time interval t1 for dividing the moving image data file and the reception time interval t1 of the GPS signal coincide with each other, for example, as shown in FIG. 3, the file name of the moving image data and the extension of the file name of the NMEA data (GPS signal) are excluded. The same number is attached to the part. Thereby, moving image data and NMEA data can be recorded in association with each other.

図１に示す画像認識部１２１は、カメラ１０２にて撮影し、Ａ／Ｄ変換器１０３にて変換された動画データから画像認識技術を用いて車両の走行路の法定基準を検出し、検出された法定基準値を違反判定部１２３に出力する。このため、法定基準テンプレート画像データベース１２２には、日本国でいえば道路交通法などの交通法令に規定された車両の法定基準を示す道路標識のテンプレート画像が格納されている。この法定基準とは、車両の走行最高速度遵守義務、交差点・信号機・横断歩道・踏切などにおける一時停止又は徐行遵守義務、一方通行路・右左折禁止路・追い越し禁止路・駐停車禁止路における走行禁止遵守義務、歩行者保護遵守義務その他の法令遵守義務を含み、この法定基準を示す道路標識の画像データがテンプレート画像としてデータベース１２２に格納されている。なお、本例の道路標識には、道路脇に設置された表示板形式（ポールの上部に看板を取り付けたもの）のもの以外にも、路面に描かれた道路標示も含まれるものとする。 The image recognizing unit 121 shown in FIG. 1 detects the legal reference of the vehicle travel path from the moving image data captured by the camera 102 and converted by the A / D converter 103, using the image recognition technology. The legal reference value is output to the violation determination unit 123. For this reason, the legal reference template image database 122 stores road sign template images indicating the legal reference of vehicles stipulated in traffic laws such as the Road Traffic Act in Japan. This statutory standard is to obey the maximum traveling speed of vehicles, to obey temporary stop or slow traveling at intersections, traffic lights, pedestrian crossings, railroad crossings, etc. Road sign image data indicating this legal standard is stored in the database 122 as a template image, including prohibition compliance obligations, pedestrian protection compliance obligations and other legal compliance obligations. In addition, the road sign of this example shall include the road sign drawn on the road surface besides the display board type (a signboard attached to the upper part of the pole) installed on the side of the road.

本例の画像認識部１２１は、従来公知の画像認識技術を用いてデータベース１２２に格納されたテンプレート画像に一致する道路標識の画像を動画データから検出するので、自車両の走行中における実際の正確な法定基準を検出することができる。従来技術のようにナビゲーション装置に格納された地図データベースの法定基準を用いると、地図データが更新されていない場合や、走行中の天候などによって走行最高速度が一時的に変更されている場合などに正確な違反の有無を判定することができないが、本例のドライブレコーダ１によればこのような不正確な判定はされないことになる。また、本例の画像認識部１２１における信号機の認識については、データベース１２２には信号機のテンプレート画像が格納され、動画データから信号機を画像認識するが、このとき点灯色又は点滅色も同時に認識する。このような信号機の点灯色又は点滅色の認識に基づく信号無視や一時停止違反の判定は、従来技術のように地図データを用いることでは実現できないものである。 The image recognition unit 121 in this example detects an image of a road sign that matches a template image stored in the database 122 by using a conventionally known image recognition technique from moving image data. Statutory standards can be detected. When the legal standard of the map database stored in the navigation device is used as in the prior art, when the map data is not updated or when the maximum traveling speed is temporarily changed due to the weather during traveling, etc. Although it is impossible to determine whether or not there is an exact violation, the drive recorder 1 of this example does not make such an incorrect determination. As for signal recognition in the image recognition unit 121 of this example, a template image of a traffic signal is stored in the database 122, and the traffic signal is recognized from moving image data. At this time, a lighting color or a blinking color is also recognized at the same time. Such determination of signal ignorance and suspension violation based on recognition of the lighting color or blinking color of the traffic light cannot be realized by using map data as in the prior art.

図１に示す走行状態検出部１２４は、ＧＰＳ受信機１２５で受信したＧＰＳ信号に含まれる位置データ及び時刻データの時間的変化から、車両の走行速度、直進・右折・左折などの走行方向といった走行状態を検出し、検出された走行状態の走行値、すなわち走行速度や走行方向の実際値を違反判定部１２３に出力する。従来技術のように、車両に装着された速度センサや舵角センサなどの各種車両挙動センサによってもこうした車両の走行速度や走行方向は検出できるが、そうすると車両のコントロールユニットＶＣＵと結線する必要が生じ、特にドライブレコーダを完成車に後付する場合には極めて面倒である。これに対して、本例のドライブレコーダでは、内蔵するＧＰＳ受信機１２５で受信したＧＰＳ信号を用いて車両の走行状態を検出するので、完成車に後付する場合でも電源だけ結線すれば足りる（電源を電池に代替すれば車両との結線は不要となる）。 The traveling state detection unit 124 shown in FIG. 1 travels according to the traveling speed of the vehicle, the traveling direction such as going straight, turning right, turning left, etc. from the temporal change of the position data and time data included in the GPS signal received by the GPS receiver 125. The state is detected, and the detected traveling value of the traveling state, that is, the actual value of the traveling speed and the traveling direction is output to the violation determining unit 123. As in the prior art, the vehicle traveling speed and traveling direction can be detected by various vehicle behavior sensors such as a speed sensor and a rudder angle sensor mounted on the vehicle, but in this case, it is necessary to connect to the vehicle control unit VCU. This is particularly troublesome when the drive recorder is retrofitted to a finished vehicle. On the other hand, in the drive recorder of this example, since the running state of the vehicle is detected by using the GPS signal received by the built-in GPS receiver 125, it is sufficient to connect only the power source even when retrofitting to the completed vehicle ( If the power source is replaced with a battery, no connection with the vehicle is required).

本例の違反判定部１２３は、画像認識部１２１にて検出された法定基準値と、走行状態検出部１２４で検出された実際の走行値とを比較し、実際の走行値が法定基準値を遵守していない場合は交通違反と判定し、その違反内容を違反フラグとして違反書込部１２６に出力する。たとえば、法定基準値が５０ｋｍ／ｈの走行最高速度である場合に、実際の走行速度が６０ｋｍ／ｈであると、違反内容をスピード違反としてその違反フラグを違反書込部１２６に出力する。また、法定基準値が一時停止である場合に、その場所における実際の走行速度がゼロでない、すなわち走行中であると、違反内容を一時停止違反としてその違反フラグを違反書込部１２６に出力する。このように、違反判定部１２３においては、複数ある違反内容のそれぞれに対応した違反フラグ（本発明の識別符号に相当）が予め記憶されており、法定基準値の種類に応じて選択されることになる。 The violation determination unit 123 of this example compares the legal reference value detected by the image recognition unit 121 with the actual running value detected by the running state detection unit 124, and the actual running value becomes the legal reference value. If it is not observed, it is determined as a traffic violation, and the violation content is output to the violation writing unit 126 as a violation flag. For example, when the legal reference value is a traveling maximum speed of 50 km / h and the actual traveling speed is 60 km / h, the violation content is output as a speed violation to the violation writing unit 126. Further, when the legal reference value is temporary stop, if the actual traveling speed at the place is not zero, that is, the vehicle is traveling, the violation content is output as a violation of suspension to the violation writing unit 126. . As described above, the violation determination unit 123 stores in advance a violation flag (corresponding to the identification code of the present invention) corresponding to each of a plurality of violation contents, and is selected according to the type of the legal reference value. become.

なお、違反判定部１２３によって交通違反と判定されると、違反フラグを違反書込部１２６に出力すると同時に、スピーカ１２７を介して違反内容に対応した注意喚起の音声、たとえば「スピードが出過ぎています」とか、「この道路は一方通行です」といった音声を出力する。 If the violation determining unit 123 determines a traffic violation, the violation flag is output to the violation writing unit 126, and at the same time, a warning sound corresponding to the violation content is output via the speaker 127, for example, “speed is too high. Or “This road is a one-way street”.

本例の違反書込部１２６は、違反判定部１２３から違反フラグを入力すると、ＧＰＳ受信機１２５から入力したＧＰＳ信号のＮＭＥＡデータに当該違反フラグをこのタイミングで書き込む。これにより、当該違反を犯したときの動画データに関連付けられたＮＭＥＡデータに違反フラグが書き込まれることになり、後述する違反フラグを検索すればその違反を犯したときの動画データを即座に抽出することができる。ＮＭＥＡデータへ違反フラグを書き込む場合、特に限定はされないが、違反フラグをテキストデータで構成し、ＮＭＥＡデータのＲＴＥ領域（Route message sentence）やＷＰＬ領域（Waypoint Location information sentence）などの領域に書き込むことができる。そして、本例の違反書込部１２６は、違反フラグが書き込まれたＮＭＥＡデータを含む全てのＮＭＥＡデータをメモリドライブ１０９に出力し、メモリドライブ１０９は、ＳＤカード記録媒体１１０などの汎用携帯型記録媒体に、上述した多重化された映像・音声データとともに、このＮＭＥＡデータを記録する。 When the violation writing unit 126 of this example receives the violation flag from the violation determination unit 123, the violation writing unit 126 writes the violation flag into the NMEA data of the GPS signal input from the GPS receiver 125 at this timing. As a result, a violation flag is written in the NMEA data associated with the video data when the violation is committed, and if the violation flag described later is searched, the video data when the violation is committed is immediately extracted. be able to. When the violation flag is written to the NMEA data, there is no particular limitation. However, the violation flag may be composed of text data and written in an area such as an RTE area (Route message sentence) or a WPL area (Waypoint Location information sentence) of the NMEA data. it can. The violation writing unit 126 of this example outputs all NMEA data including the NMEA data in which the violation flag is written to the memory drive 109. The memory drive 109 is a general-purpose portable recording medium such as the SD card recording medium 110. The NMEA data is recorded on the medium together with the multiplexed video / audio data described above.

次に、画像認識部１２１にて認識される対象物の具体例を以下に説明する。ただし、以下の具体例は本発明の認識対象を限定するものではなく、これ以外の対象物を含んでもよい。
《信号無視の認識》
図４のフローチャートに示す例は、ドライブレコーダ１によって信号機が赤色であることを検出し、このとき自車両が走行中であること（走行速度がゼロでないこと）を検出したら、信号無視であると判定し、信号無視の違反フラグをＮＭＥＡデータに書き込むという例である。すなわち、画像認識部１２１は、カメラ１０２にて撮影した動画データを所定間隔で抽出し（ステップＳＴ１１）、データベース１２２に格納された信号機のテンプレート画像に一致する画像を走査し、信号機が検出されたらカラーフィルタなど公知の手法を用いて信号機の点灯色を検出し、これを法定走行基準値として違反判定部１２３へ出力する（ステップＳＴ１２）。信号機の検出は、左側から緑色、黄色、赤色の順序で水平方向に並んだ物体を信号機と判断することで認識することができるので、そのようなテンプレート画像をデータベース１２２に格納しておけばよい。また、走査範囲を絞って検出時間や検出負荷を低減するために、ドライブレコーダ１が装着された車室内の位置や画角から、撮影領域の上半分を検出領域としてもよい。 Next, a specific example of an object recognized by the image recognition unit 121 will be described below. However, the following specific examples do not limit the recognition target of the present invention, and may include other objects.
《Recognition of signal ignorance》
In the example shown in the flowchart of FIG. 4, if the drive recorder 1 detects that the traffic light is red and at this time detects that the host vehicle is traveling (the traveling speed is not zero), the signal is ignored. This is an example of determining and writing a violation flag for ignoring a signal in NMEA data. That is, the image recognition unit 121 extracts moving image data captured by the camera 102 at predetermined intervals (step ST11), scans an image that matches the template image of the traffic signal stored in the database 122, and detects the traffic signal. The lighting color of the traffic light is detected using a known method such as a color filter, and this is output to the violation determination unit 123 as a legal running reference value (step ST12). The detection of the traffic light can be recognized by judging the objects arranged in the horizontal direction in the order of green, yellow, and red from the left side as the traffic light. Therefore, such a template image may be stored in the database 122. . In order to reduce the detection time and the detection load by narrowing the scanning range, the upper half of the imaging area may be set as the detection area from the position and the angle of view in the vehicle interior where the drive recorder 1 is mounted.

次に、走行状態検出部１２４は、ＧＰＳ受信機１２５で受信したＧＰＳ信号を入力し、当該ＧＰＳ信号に含まれる位置データの変化を、同じくＧＰＳ信号に含まれる時刻データに基づいて演算することで自車両の走行速度を演算し（ステップＳＴ１３）、これを違反判定部１２３へ出力する。そして、違反判定部１２３は、ステップＳＴ１２にて検出された信号機が赤色であるという法定基準値である場合に、自車両の走行速度がゼロでない、すなわち走行中である場合は（ステップＳＴ１４のＹｅｓ）、ステップＳＴ１６にて信号無視であると判定し、違反書込部１２６へ信号無視の違反フラグを出力する。これと同時に、スピーカ１２７から「赤信号です、停車してください」といった注意喚起の音声を出力する。これにより、自車両が信号無視をした場合の違反事実と、これに対応する証拠動画データを関連付けて記録することができ、車両の運行管理に利用することができる。なお、検出された信号機が赤色で且つ自車両が走行中であっても、受信したＧＰＳ信号の位置データの変化の微分値（加減速度）を演算した結果、減速中である場合は、違反書込部１２６へのスピード違反の違反フラグの出力を中止してもよい（ステップＳＴ１５）。 Next, the traveling state detection unit 124 receives the GPS signal received by the GPS receiver 125, and calculates the change in the position data included in the GPS signal based on the time data included in the GPS signal. The traveling speed of the host vehicle is calculated (step ST13), and this is output to the violation determining unit 123. When the traffic signal detected in step ST12 is the legal reference value that is red, the violation determination unit 123 determines that the traveling speed of the host vehicle is not zero, that is, the vehicle is traveling (Yes in step ST14). In step ST16, it is determined that the signal is ignored, and a violation flag for ignoring the signal is output to the violation writing unit 126. At the same time, a warning sound such as “Red signal, please stop” is output from the speaker 127. Thereby, the violation fact when the own vehicle ignores the signal and the evidence video data corresponding thereto can be recorded in association with each other, which can be used for vehicle operation management. Even if the detected traffic light is red and the host vehicle is traveling, if the result of calculating the differential value (acceleration / deceleration) of the change in the position data of the received GPS signal is a deceleration, The output of the speed violation violation flag to the insertion unit 126 may be stopped (step ST15).

《スピード違反の認識》
図５のフローチャートに示す例は、ドライブレコーダ１によって法定速度を検出し、このときの自車両の走行速度をＧＰＳ信号の位置データの変化から演算し、自車両の走行速度が法定速度を超えている場合はスピード違反であると判定し、スピード違反の違反フラグをＮＭＥＡデータに書き込むという例である。すなわち、画像認識部１２１は、カメラ１０２にて撮影した動画データを所定間隔で抽出し（ステップＳＴ２１）、データベース１２２に格納された走行最高速度に関する道路標識又は道路標示のテンプレート画像に一致する画像を走査し、道路標識や道路標示に表示された法定速度を画像認識する（ステップＳＴ２２）。道路標識による法定速度の検出は、円形の表示板であることと、表示板の周囲が赤色であることと、中央に数字が表示されていることで認識できるので、そのようなテンプレート画像をデータベース１２２に格納しておけばよい。また、路面に表示された道路標示の認識は、ドライブレコーダ１が装着された車室内の位置や画角から、撮影領域の下半分を検出領域とし、数字を画像認識することで検出することができるので、そのようなテンプレート画像をデータベース１２２に格納しておけばよい。《Recognize speed violation》
In the example shown in the flowchart of FIG. 5, the legal speed is detected by the drive recorder 1, and the traveling speed of the host vehicle at this time is calculated from the change in the position data of the GPS signal, and the traveling speed of the host vehicle exceeds the legal speed. In the example, it is determined that it is a speed violation, and a speed violation violation flag is written in the NMEA data. That is, the image recognizing unit 121 extracts moving image data captured by the camera 102 at a predetermined interval (step ST21), and selects an image that matches the road sign or road marking template image stored in the database 122. Scanning is performed to recognize the legal speed displayed on the road sign or road sign (step ST22). Legal speed detection by road signs can be recognized by the fact that it is a circular display board, the periphery of the display board is red, and the number is displayed in the center. What is necessary is just to store in 122. Further, the recognition of the road markings displayed on the road surface can be detected by recognizing numbers from the position of the vehicle interior where the drive recorder 1 is mounted and the angle of view, using the lower half of the shooting area as a detection area. Therefore, such a template image may be stored in the database 122.

次に、走行状態検出部１２４は、ＧＰＳ受信機１２５で受信したＧＰＳ信号を入力し、当該ＧＰＳ信号に含まれる位置データの変化を、同じくＧＰＳ信号に含まれる時刻データに基づいて演算することで自車両の走行速度を演算し（ステップＳＴ２３）、これを違反判定部１２３へ出力する。そして、違反判定部１２３は、自車両の走行速度が画像認識された法定速度を超えている場合は（ステップＳＴ２４のＹ）、ステップＳＴ２５にてスピード違反であると判定し、違反書込部１２６へスピード違反の違反フラグを出力する。これにより、自車両がスピード違反をした場合の違反事実と、これに対応する証拠動画データを関連付けて記録することができ、車両の運行管理に利用することができる。 Next, the traveling state detection unit 124 receives the GPS signal received by the GPS receiver 125, and calculates the change in the position data included in the GPS signal based on the time data included in the GPS signal. The traveling speed of the host vehicle is calculated (step ST23), and this is output to the violation determining unit 123. Then, when the traveling speed of the host vehicle exceeds the legal speed recognized in the image (Y in step ST24), the violation determining unit 123 determines that the speed is violated in step ST25, and the violation writing unit 126. Outputs the speed violation violation flag. Thus, the violation fact when the host vehicle has made a speed violation can be recorded in association with the evidence video data corresponding thereto, and can be used for vehicle operation management.

《一時停止違反の認識》
図６のフローチャートに示す例は、ドライブレコーダ１によって一時停止の道路標識又は道路標示を検出し、このときの自車両の速度をＧＰＳ信号の位置データの変化から演算し、自車両が一時停止をしなかった場合は一時停止違反であると判定し、一時停止違反の違反フラグをＮＭＥＡデータに書き込む例である。すなわち、画像認識部１２１は、カメラ１０２にて撮影した動画データを所定間隔で抽出し（ステップＳＴ３１）、データベース１２２に格納された一時停止に関する道路標識若しくは道路標示又は信号機のテンプレート画像に一致する画像を走査し、道路標識又は道路標示による一時停止や信号機の赤色点滅による一時停止を画像認識する（ステップＳＴ３２）。道路標識による一時停止の検出は、逆三角形の表示板であることと、表示板の全体が赤色であることと、中央に「止まれ」の文字が表示されていることで認識することができるので、そのようなテンプレート画像をデータベース１２２に格納しておけばよい。また、信号機の赤色点滅による一時停止の認識は、上述した信号無視の場合の画像認識と同様にして信号機と赤色の点滅を画像認識することができる。また、走査範囲を絞って検出時間や検出負荷を低減するために、ドライブレコーダ１が装着された車室内の位置や画角から、撮影領域の上半分を検出領域とし、信号機の赤色と点滅動作を画像認識してもよい。《Recognize suspension violation》
In the example shown in the flowchart of FIG. 6, the drive recorder 1 detects a road sign or road sign indicating a pause, calculates the speed of the host vehicle at this time from the change in the position data of the GPS signal, and stops the host vehicle temporarily. If not, it is determined that it is a suspension violation, and a suspension violation violation flag is written in the NMEA data. That is, the image recognition unit 121 extracts moving image data captured by the camera 102 at predetermined intervals (step ST31), and an image that matches a road sign or road marking regarding a temporary stop or a template image of a traffic light stored in the database 122. , And image recognition of a temporary stop caused by a road sign or a road marking or a red stop of a traffic light (step ST32). The detection of a temporary stop by a road sign can be recognized by the fact that it is an inverted triangle display board, that the entire display board is red, and that the text “Stop” is displayed in the center. Such a template image may be stored in the database 122. Further, the recognition of the pause due to the red flashing of the traffic light can recognize the flashing of the traffic light and the red image in the same manner as the image recognition when the signal is ignored. Further, in order to reduce the detection time and the detection load by narrowing the scanning range, the upper half of the imaging area is set as the detection area from the position and the angle of view in the vehicle interior in which the drive recorder 1 is mounted, and the traffic light red and blinks. The image may be recognized.

次に、走行状態検出部１２４は、ＧＰＳ受信機１２５で受信したＧＰＳ信号を入力し、当該ＧＰＳ信号に含まれる位置データの変化を、同じくＧＰＳ信号に含まれる時刻データに基づいて演算することで自車両の走行速度を演算し（ステップＳＴ３３）、これを違反判定部１２３へ出力する。そして、違反判定部１２３は、自車両の走行速度が３ｋｍ／ｈ以上である場合は（ステップＳＴ３４）、ステップＳＴ３５にて一時停止違反であると判断し、違反書込部１２６へ一時停止違反の違反フラグを出力する。これにより、自車両が一時停止違反をした場合の違反事実と、これに対応する証拠動画データを関連付けて記録することができ、車両の運行管理に利用することができる。 Next, the traveling state detection unit 124 receives the GPS signal received by the GPS receiver 125, and calculates the change in the position data included in the GPS signal based on the time data included in the GPS signal. The traveling speed of the host vehicle is calculated (step ST33), and this is output to the violation determining unit 123. Then, when the traveling speed of the host vehicle is 3 km / h or more (step ST34), the violation determining unit 123 determines that the violation is a suspension violation in step ST35, and notifies the violation writing unit 126 of the suspension violation. Output violation flag. Thereby, the violation fact when the own vehicle makes the suspension violation and the evidence moving image data corresponding thereto can be recorded in association with each other, which can be used for vehicle operation management.

《歩行者保護違反の認識》
図７のフローチャートに示す例は、ドライブレコーダ１によって横断歩道とそこを渡る歩行者を検出し、このときの自車両の速度をＧＰＳ信号の位置データの変化から演算し、自車両が歩行者保護のための一時停止をしなかった場合は、歩行者保護違反であると判定し、スピード違反の違反フラグをＮＭＥＡデータに書き込むという例である。すなわち、画像認識部１２１は、カメラ１０２にて撮影した動画データを所定間隔で抽出し（ステップＳＴ４１）、データベース１２２に格納された横断歩道に関する道路標識及び歩行者のテンプレート画像に一致する画像を走査し、横断歩道とそこを歩行する歩行者を画像認識する（ステップＳＴ４２）。横断歩道の検出は、路面に表示された白色と黒色（道路色）の模様や、横断歩道の道路標識（逆ホームベース形）により認識することができるので、そのようなテンプレート画像をデータベース１２２に格納しておけばよい。また、歩行者の認識は、人間の形状により検出することができるので、そのようなテンプレート画像をデータベース１２２に格納しておけばよい。 <Recognition of pedestrian protection violation>
In the example shown in the flowchart of FIG. 7, a pedestrian crossing and a pedestrian crossing the pedestrian crossing are detected by the drive recorder 1, and the speed of the own vehicle at this time is calculated from the change in the position data of the GPS signal. In the case where the temporary stop for the vehicle is not performed, it is determined that it is a pedestrian protection violation, and a speed violation violation flag is written in the NMEA data. That is, the image recognizing unit 121 extracts moving image data captured by the camera 102 at predetermined intervals (step ST41), and scans an image that matches the road sign and the pedestrian template image related to the pedestrian crossing stored in the database 122. The pedestrian crossing and the pedestrian walking there are recognized as images (step ST42). The detection of the pedestrian crossing can be recognized by the pattern of white and black (road color) displayed on the road surface or the road sign (reverse home base type) of the pedestrian crossing. Store it. Moreover, since recognition of a pedestrian can be detected by a human shape, such a template image may be stored in the database 122.

次に、走行状態検出部１２４は、ＧＰＳ受信機１２５で受信したＧＰＳ信号を入力し、当該ＧＰＳ信号に含まれる位置データの変化を、同じくＧＰＳ信号に含まれる時刻データに基づいて演算することで自車両の走行速度を演算し、これを違反判定部１２３へ出力する（ステップＳＴ４３）。そして、違反判定部１２３は、自車両の走行速度が３ｋｍ／ｈ以上である場合は（ステップＳＴ４４のＹ）、ステップＳＴ４５にて一時停止しないことによる歩行者保護違反であると判定し、違反書込部１２６へ歩行者保護違反の違反フラグを出力する。これにより、自車両が歩行者保護違反をした場合の違反事実と、これに対応する証拠動画データを関連付けて記録することができ、車両の運行管理に利用することができる。 Next, the traveling state detection unit 124 receives the GPS signal received by the GPS receiver 125, and calculates the change in the position data included in the GPS signal based on the time data included in the GPS signal. The traveling speed of the host vehicle is calculated and output to violation determining section 123 (step ST43). Then, when the traveling speed of the host vehicle is 3 km / h or more (Y in step ST44), the violation determining unit 123 determines that the violation is a pedestrian protection violation due to not being temporarily stopped in step ST45. A violation flag for violation of pedestrian protection is output to the insertion portion 126. Thereby, the violation fact when the own vehicle violates pedestrian protection and the evidence video data corresponding thereto can be recorded in association with each other, and can be used for vehicle operation management.

以上、信号無視、スピード違反、一時停止及び歩行者保護に関する法定基準値の検出と自車両の違反判定について説明したが、このほかにも、踏切などにおける一時停止又は徐行遵守義務、一方通行路・右左折禁止路・追い越し禁止路・駐停車禁止路における走行禁止遵守義務その他の法令遵守義務に関する法定基準値を検出し、自車両の違反の有無を判定してもよい。一方通行路の逆走行、右左折禁止路への右左折走行、追い越し禁止路での追い越しの違反判定においては、走行状態検出部１２４は、ＧＰＳ受信機１２５で受信したＧＰＳ信号を入力し、当該ＧＰＳ信号に含まれる位置データの変化に基づいて走行方向を演算し、この走行方向を用いて一方通行路を逆走行したか否か、右左折禁止路へ右左折したか否か、追い越し禁止路で追い越ししたか否かを判定すればよい。 In the above, the detection of statutory standard values for signal ignorance, speed violation, temporary stop and pedestrian protection and violation determination of own vehicle have been explained, but in addition to this, temporary suspension or slow speed compliance obligations at level crossings, etc. It may be possible to detect whether or not there is a violation of the vehicle by detecting the legal reference value regarding the duty prohibition on driving prohibition road, overtaking prohibition road, parking and parking prohibition road and other legal compliance obligations. In the reverse determination of the one-way road, the right-left turn to the right-left turn prohibition road, and the overtaking violation determination on the overtaking prohibition road, the driving state detection unit 124 inputs the GPS signal received by the GPS receiver 125, The travel direction is calculated based on the change in the position data included in the GPS signal, and using this travel direction, it is determined whether the vehicle has run backwards on the one-way street, whether it has made a right-left turn to a right-left turn prohibited road, whether it is overtaking prohibited It is sufficient to determine whether or not the vehicle has been overtaken.

《違反行為のマップ上への表示》
以上のように、違反行為を行った場合には違反内容に応じた違反フラグがＮＭＥＡデータに書き込まれ、動画データと関連付けられてＳＤカード媒体１１０に記録される。ＳＤカード媒体１１０に記録された動画データは、図２に示す再生装置により再生可能となるが、同時に、違反フラグが書き込まれたＮＭＥＡデータを抽出し、当該ＮＭＥＡデータに含まれている位置データ（緯度及び経度）を、別途用意された地図データに違反場所として表示してもよい。《Displaying violations on the map》
As described above, when a violation is performed, a violation flag corresponding to the violation content is written in the NMEA data, and is recorded on the SD card medium 110 in association with the moving image data. The moving image data recorded on the SD card medium 110 can be played back by the playback device shown in FIG. 2. At the same time, the NMEA data in which the violation flag is written is extracted, and the position data ( (Latitude and longitude) may be displayed as a violation place on separately prepared map data.

図２は、図１のドライブレコーダ１に記録された動画データを再生する再生装置２であり、この構成全体をドライブレコーダ１に内蔵し、ドライブレコーダ１にディスプレイ２０５を設けてドライブレコーダ１で再生可能としてもよいが、この再生機能を有するソフトウェアをインストールしたパーソナルコンピュータを本例の再生装置とすることもできる。図２に示す再生装置２は、メモリドライブ２０１、多重化解除回路＆デコーダ２０２、違反フラグ抽出部２０３、制御部２０４、ディスプレイ２０５、キーボード２０６及び地図データベース２０７を備える。 FIG. 2 shows a playback apparatus 2 that plays back the moving image data recorded in the drive recorder 1 of FIG. 1. The entire configuration is built in the drive recorder 1, and the drive recorder 1 is provided with a display 205 for playback on the drive recorder 1. Although it may be possible, a personal computer in which software having this reproduction function is installed can be used as the reproduction apparatus of this example. The playback device 2 shown in FIG. 2 includes a memory drive 201, a demultiplexing circuit & decoder 202, a violation flag extraction unit 203, a control unit 204, a display 205, a keyboard 206, and a map database 207.

メモリドライブ２０１は、キーボード（マウスなどの入力器を含む）２０６に入力された指示にしたがい、図１のドライブレコーダ１にて動画データ及びＮＭＥＡデータが記録されたＳＤカード記録媒体１１０からデータを読み出し、動画データを多重化解除回路＆デコーダ２０２に出力することともに、ＮＭＥＡファイルを違反フラグ抽出部２０３に出力する。 The memory drive 201 reads data from the SD card recording medium 110 on which the moving image data and NMEA data are recorded by the drive recorder 1 of FIG. 1 in accordance with an instruction input to a keyboard (including an input device such as a mouse) 206. The moving image data is output to the demultiplexing circuit & decoder 202, and the NMEA file is output to the violation flag extraction unit 203.

多重化解除回路＆デコーダ２０２は、多重化された動画データの多重化を解除するとともにデコードして映像データと音声データを生成し、これらを制御部２０４へ出力する。違反フラグ抽出部２０３は、ＮＭＥＡデータのＲＴＥ領域やＷＰＬ領域に書き込まれた違反フラグを抽出し、そのＮＭＥＡデータの位置データと違反フラグとを制御部２０４へ出力する。図８は、ディスプレイ２０５の表示例を示す図であり、ディスプレイ２０５には、動画を表示する動画表示領域２０８と、違反フラグの位置を地図上に表示する地図表示領域２０９と、各種コマンドボタンが配置されるコマンドボタン領域２１０とが設けられている。 The demultiplexing circuit & decoder 202 demultiplexes and decodes the multiplexed moving image data to generate video data and audio data, and outputs them to the control unit 204. The violation flag extraction unit 203 extracts a violation flag written in the RTE area or WPL area of the NMEA data, and outputs the position data of the NMEA data and the violation flag to the control unit 204. FIG. 8 is a diagram showing a display example of the display 205. The display 205 includes a moving image display area 208 for displaying moving images, a map display area 209 for displaying the position of the violation flag on a map, and various command buttons. A command button area 210 to be arranged is provided.

制御部２０４は、入力した映像データおよび音声データをディスプレイ（スピーカを含む）へ出力して、キーボード２０６（マウス等の入力器を含む）からの入力指令に基づいて映像データをディスプレイ２０５の動画表示領域２０８に表示するとともに音声データをスピーカから出力する。またこれと同時に、違反フラグ抽出部２０３から入力した違反フラグをその位置データに基づいて地図データ上に展開してマーキングし、この地図を地図表示領域２０９に表示する。これにより、動画データを再生しながら、交通違反の多発地点を地図上にて把握することができ、その後の運転手への教育や運行管理に利用することができる。 The control unit 204 outputs the input video data and audio data to a display (including a speaker) and displays the video data on the display 205 based on an input command from a keyboard 206 (including an input device such as a mouse). The audio data is output from the speaker while being displayed in the area 208. At the same time, the violation flag input from the violation flag extraction unit 203 is developed and marked on the map data based on the position data, and this map is displayed in the map display area 209. Thereby, while reproducing moving image data, it is possible to grasp on the map the points where traffic violations occur frequently, and it can be used for subsequent education and operation management for the driver.

《他の実施の形態》
上述した実施形態ではドライブレコーダ１に、画像認識部１２１、法定基準テンプレートデータベース１２２、違反判定部１２３、走行状態検出部１２４及び違反書込部１２６を設けたが、これらを再生装置２に設けてもよい。図９はドライブレコーダ１の他例を示すブロック図、図１０は再生装置２の他例を示すブロック図である。 << Other Embodiments >>
In the embodiment described above, the drive recorder 1 is provided with the image recognition unit 121, the legal reference template database 122, the violation determination unit 123, the traveling state detection unit 124, and the violation writing unit 126, but these are provided in the playback device 2. Also good. FIG. 9 is a block diagram showing another example of the drive recorder 1, and FIG. 10 is a block diagram showing another example of the playback apparatus 2.

図９に示すドライブレコーダ１は、図１に示すドライブレコーダ１に比べて、画像認識部１２１、法定基準テンプレートデータベース１２２、違反判定部１２３、スピーカ１２７、走行状態検出部１２４及び違反書込部１２６が省略されている。ただし、ＧＰＳ（Global Positioning System）受信機１２５を備え、ＧＰＳ衛星ＮＳからの信号を所定時間間隔、具体的には上述した動画データのファイルを区切る時間と同期して受信し、これをメモリドライブ１０９に出力する。このとき、上述した実施形態と同様に、メモリドライブ１０９は、ＧＰＳ信号のＮＭＥＡデータをＳＤカード記録媒体１１０に記録するが、記録する際に撮影されていた動画データ（映像・音声データ）と関連付けて記録する。この関連付けは、たとえば動画データとＭＮＥＡデータとの拡張子以外のファイル名を同じファイル名に設定することが挙げられる。以上のようにして、多重化された動画データと、これに関連付けられたＮＭＥＡデータがＳＤカード記録媒体１１０に記録される。 Compared with the drive recorder 1 shown in FIG. 1, the drive recorder 1 shown in FIG. 9 includes an image recognition unit 121, a legal reference template database 122, a violation determination unit 123, a speaker 127, a traveling state detection unit 124, and a violation writing unit 126. Is omitted. However, a GPS (Global Positioning System) receiver 125 is provided, and a signal from the GPS satellite NS is received in synchronization with a predetermined time interval, specifically, the time for dividing the above-described moving image data file. Output to. At this time, as in the above-described embodiment, the memory drive 109 records the NMEA data of the GPS signal on the SD card recording medium 110, but associates it with the moving image data (video / audio data) captured at the time of recording. Record. This association may be, for example, setting file names other than extensions of moving image data and MNEA data to the same file name. As described above, the multiplexed moving image data and the NMEA data associated therewith are recorded on the SD card recording medium 110.

図１０に示す再生装置２は、図２に示す再生装置２に比べ、画像認識部１２１、法定基準テンプレートデータベース１２２、違反判定部１２３、走行状態検出部１２４及び違反書込部１２６が付加されている。各部の構成と機能は上述した実施形態と同様であるため、概略を説明する。 Compared with the playback device 2 shown in FIG. 2, the playback device 2 shown in FIG. 10 includes an image recognition unit 121, a legal reference template database 122, a violation determination unit 123, a running state detection unit 124, and a violation writing unit 126. Yes. Since the configuration and function of each part are the same as those in the above-described embodiment, the outline will be described.

ＳＤカード記録媒体１１０に記録された多重化動画データは、メモリドライブ２０１で読み出され、多重化解除回路＆デコーダ２０２で動画データの多重化が解除されるとともにデコードされて映像データと音声データが生成され、これらが制御部２０４へ出力される。図１０に示す画像認識部１２１は、デコードされた映像データ（動画データ）から画像認識技術を用いて車両の走行路の法定基準を検出し、検出された法定基準値を違反判定部１２３に出力する。一方、走行状態検出部１２４は、ＳＤカード記録媒体１１０に記録されメモリドライブ２０１で読み出されたＧＰＳ信号のＮＭＥＡデータを入力し、このＮＭＥＡデータに含まれる位置データ及び時刻データの時間的変化から、車両の走行速度、直進・右折・左折などの走行方向といった走行状態を検出し、検出された走行状態の走行値、すなわち走行速度や走行方向の実際値を違反判定部１２３に出力する。 The multiplexed moving image data recorded on the SD card recording medium 110 is read out by the memory drive 201, the demultiplexing circuit & decoder 202 demultiplexes the moving image data and is decoded to obtain the video data and audio data. These are generated and output to the control unit 204. The image recognizing unit 121 shown in FIG. 10 detects the legal reference of the traveling path of the vehicle from the decoded video data (moving image data) using an image recognition technique, and outputs the detected legal reference value to the violation determining unit 123. To do. On the other hand, the running state detection unit 124 inputs the NMEA data of the GPS signal recorded on the SD card recording medium 110 and read by the memory drive 201, and from the temporal change of the position data and time data included in the NMEA data. In addition, a traveling state such as a traveling speed of the vehicle and a traveling direction such as straight travel, right turn, and left turn is detected, and the travel value of the detected travel state, that is, the actual value of the travel speed and the travel direction is output to the violation determination unit 123.

違反判定部１２３は、画像認識部１２１にて検出された法定基準値と、走行状態検出部１２４で検出された実際の走行値とを比較し、実際の走行値が法定基準値を遵守していない場合は交通違反と判定し、その違反内容を違反フラグとして違反書込部１２６に出力する。違反書込部１２６は、違反判定部１２３から違反フラグを入力すると、メモリドライブ２０１から入力したＧＰＳ信号のＮＭＥＡデータに当該違反フラグをこのタイミングで書き込む。そして、このＮＭＥＡデータを違反フラグ抽出部２０３へ出力する。 The violation determination unit 123 compares the legal reference value detected by the image recognition unit 121 with the actual traveling value detected by the traveling state detection unit 124, and the actual traveling value complies with the legal reference value. If there is no traffic violation, the traffic violation is determined and the violation content is output to the violation writing unit 126 as a violation flag. When the violation writing unit 126 receives the violation flag from the violation determination unit 123, the violation writing unit 126 writes the violation flag in the NMEA data of the GPS signal input from the memory drive 201 at this timing. Then, the NMEA data is output to the violation flag extraction unit 203.

違反フラグ抽出部２０３は、ＮＭＥＡデータのＲＴＥ領域やＷＰＬ領域に書き込まれた違反フラグを抽出し、そのＮＭＥＡデータの位置データと違反フラグとを制御部２０４へ出力する。制御部２０４は、入力した映像データおよび音声データをディスプレイ（スピーカを含む）へ出力して、キーボード２０６（マウス等の入力器を含む）からの入力指令に基づいて映像データをディスプレイ２０５の動画表示領域２０８に表示するとともに音声データをスピーカから出力する。またこれと同時に、違反フラグ抽出部２０３から入力した違反フラグをその位置データに基づいて地図データ上に展開してマーキングし、この地図を地図表示領域２０９に表示する。これにより、動画データを再生しながら、交通違反の多発地点を地図上にて把握することができ、その後の運転手への教育や運行管理に利用することができる。 The violation flag extraction unit 203 extracts a violation flag written in the RTE area or WPL area of the NMEA data, and outputs the position data of the NMEA data and the violation flag to the control unit 204. The control unit 204 outputs the input video data and audio data to a display (including a speaker) and displays the video data on the display 205 based on an input command from a keyboard 206 (including an input device such as a mouse). The audio data is output from the speaker while being displayed in the area 208. At the same time, the violation flag input from the violation flag extraction unit 203 is developed and marked on the map data based on the position data, and this map is displayed in the map display area 209. Thereby, while reproducing moving image data, it is possible to grasp on the map the points where traffic violations occur frequently, and it can be used for subsequent education and operation management for the driver.

以上のとおり、本例の車両の運行管理機能を有するドライブレコーダ１又は再生装置２によれば、画像認識技術を用いてデータベース１２２に格納されたテンプレート画像に一致する道路標識の画像を動画データから検出するので、自車両の走行中における実際の正確な法定基準を検出することができ、交通違反を正確に判定することができる。また、内蔵するＧＰＳ受信機１２５で受信したＧＰＳ信号を用いて車両の走行状態を検出するので、完成車に後付する場合でも車載センサなどに結線する必要がない。 As described above, according to the drive recorder 1 or the playback device 2 having the vehicle operation management function of the present example, the image of the road sign that matches the template image stored in the database 122 using the image recognition technology is extracted from the moving image data. Since it detects, the actual exact legal reference | standard during driving | running | working of the own vehicle can be detected, and a traffic violation can be determined correctly. In addition, since the running state of the vehicle is detected using the GPS signal received by the built-in GPS receiver 125, there is no need to connect to an in-vehicle sensor or the like even when the vehicle is retrofitted.

１…ドライブレコーダ
１０１…筐体
１０２…ＣＣＤカメラ（カメラ）
１０３…Ａ／Ｄ変換器
１０４…画像エンコーダ
１０５…マイクロホン
１０６…Ａ／Ｄ変換器
１０７…音声エンコーダ
１０８…多重化回路
１０９…メモリドライブ
１１０…ＳＤカード記録媒体
１１１…時計
１１２…電源端子
１１３…接続回路
１１４…入切スイッチ
１２１…画像認識部（法定基準検出手段）
１２２…法定基準テンプレート画像データベース（データベース）
１２３…違反判定部（違反判定手段）
１２４…走行状態検出部（走行状態検出手段）
１２５…ＧＰＳ受信機
１２６…違反書込部（出力手段）
１２７…スピーカ（出力手段）
ＮＳ…ＧＰＳ衛星
ＶＢ…車両バッテリ
ＶＫ…イグニッションキー
２…再生装置
２０１…メモリドライブ
２０２…デコーダ
２０３…違反フラグ抽出部
２０４…制御部
２０５…ディスプレイ
２０６…キーボード DESCRIPTION OF SYMBOLS 1 ... Drive recorder 101 ... Case 102 ... CCD camera (camera)
DESCRIPTION OF SYMBOLS 103 ... A / D converter 104 ... Image encoder 105 ... Microphone 106 ... A / D converter 107 ... Audio encoder 108 ... Multiplexing circuit 109 ... Memory drive 110 ... SD card recording medium 111 ... Clock 112 ... Power supply terminal 113 ... Connection Circuit 114 ... On / off switch 121 ... Image recognition unit (legal reference detection means)
122 ... Legal standard template image database (database)
123 ... Violation determination unit (violation determination means)
124: Traveling state detection unit (traveling state detection means)
125 ... GPS receiver 126 ... Violation writing part (output means)
127 ... Speaker (output means)
NS ... GPS satellite VB ... vehicle battery VK ... ignition key 2 ... playback device 201 ... memory drive 202 ... decoder 203 ... violation flag extraction unit 204 ... control unit 205 ... display 206 ... keyboard

Claims

車両に搭載されたＧＰＳ受信機で受信したＧＰＳ信号と、前記車両に搭載されたカメラで撮影された前記車両の周囲の動画データとが記録された記録媒体から、前記ＧＰＳ信号と前記動画データとを読み出すメモリドライブと、
前記メモリドライブで読み出された前記ＧＰＳ信号から、前記車両の走行状態を検出する走行状態検出手段と、
交通法令に規定された法定基準のテンプレート画像が格納されたデータベースと、
前記動画データと前記法定基準のテンプレート画像から、前記車両の走行路の法定基準を検出する法定基準検出手段と、
前記車両の走行状態が前記車両の走行路の法定基準に違反しているか否かを判定する違反判定手段と、
前記判定の結果、違反している場合にはその違反内容を出力する出力手段と、を備える車両の運行管理装置。 From the recording medium in which the GPS signal received by the GPS receiver mounted on the vehicle and the moving image data around the vehicle captured by the camera mounted on the vehicle are recorded, the GPS signal and the moving image data A memory drive to read
A driving state detecting means for detecting a driving state of the vehicle from the GPS signal read by the memory drive ;
A database that stores statutory standard template images stipulated in traffic laws,
Before kidou image data and the previous notation constant reference template image, and legal standards detecting means for detecting the legal standard of the traveling path of the vehicle,
Violation determining means for determining whether the traveling state of the vehicle violates a legal standard of the traveling path of the vehicle;
If the result of the determination is a violation, a vehicle operation management device comprising output means for outputting the violation content.

前記出力手段は、違反した場合の時刻に対応するＧＰＳ信号に含まれる位置データを抽出して、地図データ上に表示する請求項１に記載の車両の運行管理装置。 The vehicle operation management device according to claim 1, wherein the output unit extracts position data included in a GPS signal corresponding to a time when violation occurs and displays the position data on map data.

前記走行状態検出手段は、前記ＧＰＳ信号に含まれる時刻データおよび位置データから前記車両の走行状態を検出する請求項１又は２に記載の車両の運行管理装置。 The vehicle travel management device according to claim 1, wherein the travel state detection unit detects the travel state of the vehicle from time data and position data included in the GPS signal.

前記法定基準検出手段は、前記動画データの中から前記テンプレート画像に一致する画像を画像認識により抽出し、
前記違反判定手段は、前記抽出された動画データに対応する法定基準と、当該法定基準に対応する前記車両の走行状態とを比較し、前記車両の走行状態が前記車両の走行路の法定基準に違反しているか否かを判定する請求項１〜３のいずれか一項に記載の車両の運行管理装置。 The legal reference detection means extracts an image that matches the template image from the moving image data by image recognition,
The violation determination means compares a legal standard corresponding to the extracted moving image data with a traveling state of the vehicle corresponding to the legal standard, and the traveling state of the vehicle becomes a legal reference of the traveling path of the vehicle. The operation management apparatus for a vehicle according to any one of claims 1 to 3, wherein it is determined whether or not there is a violation.

前記出力手段は、複数の違反内容のそれぞれ対応した識別符号を前記ＧＰＳ信号のＮＭＥＡデータに書き込む請求項１〜４のいずれか一項に記載の車両の運行管理装置。 The vehicle operation management device according to any one of claims 1 to 4, wherein the output means writes identification codes corresponding to a plurality of violation contents in NMEA data of the GPS signal.

前記法定基準検出手段は、信号機の赤色点灯を検出し、
前記走行状態検出手段は、前記車両の走行速度を検出し、
前記違反判定手段は、前記信号機が赤色点灯であり且つ前記車両の走行速度が走行中である場合に、違反していると判定する請求項１〜５のいずれか一項に記載の車両の運行管理装置。 The legal reference detection means detects the red lighting of the traffic light,
The traveling state detecting means detects a traveling speed of the vehicle,
The vehicle operation according to any one of claims 1 to 5, wherein the violation determination unit determines that the vehicle is in violation when the traffic light is lit in red and the traveling speed of the vehicle is traveling. Management device.

前記法定基準検出手段は、走行路脇又は走行路に設けられた法定速度を規定する道路標識から法定速度を検出し、
前記走行状態検出手段は、前記車両の走行速度を検出し、
前記違反判定手段は、前記車両の走行速度が前記法定速度を超えている場合に、違反していると判定する請求項１〜５のいずれか一項に記載の車両の運行管理装置。 The statutory reference detection means detects the statutory speed from a road sign that prescribes the statutory speed provided on the roadside or on the roadway,
The traveling state detecting means detects a traveling speed of the vehicle,
The vehicle operation management device according to any one of claims 1 to 5, wherein the violation determination unit determines that the vehicle is in violation when the traveling speed of the vehicle exceeds the legal speed.

前記法定基準検出手段は、走行路脇若しくは走行路に設けられた一時停止若しくは踏切の道路標識又は信号機の赤色点滅を検出し、
前記走行状態検出手段は、前記車両の走行速度を検出し、
前記違反判定手段は、前記一時停止の道路標識を検出又は前記信号機が赤色点滅であり、且つ自車両の走行速度が走行中である場合に、違反していると判定する請求項１〜５のいずれか一項に記載の車両の運行管理装置。 The statutory standard detection means detects a road stop or a crossing road sign provided on the side of the road or on the road, or red flashing of the traffic light,
The traveling state detecting means detects a traveling speed of the vehicle,
The said violation determination means determines that it is violating, when the said stop road sign is detected or the said traffic light is blinking red, and the driving speed of the own vehicle is driving | running | working. The vehicle operation management device according to any one of the preceding claims.

前記法定基準検出手段は、走行路脇若しくは走行路に設けられた横断歩道の道路標識と、これを横断する歩行者を検出し、
前記走行状態検出手段は、前記車両の走行速度を検出し、
前記違反判定手段は、前記横断歩道を歩行者が横断中であり、且つ自車両の走行速度が走行中である場合に、違反していると判定する請求項１〜５のいずれか一項に記載の車両の運行管理装置。 The statutory standard detection means detects a pedestrian crossing road sign and a pedestrian crossing this, on the side of the road or on the road.
The traveling state detecting means detects a traveling speed of the vehicle,
The said violation determination means determines that it is violating, when the pedestrian is crossing the said pedestrian crossing and the driving speed of the own vehicle is driving | running | working. The vehicle operation management device described.

前記法定基準検出手段は、走行路脇若しくは走行路に設けられた指定方向外走行禁止又は転回禁止の道路標識を検出し、
前記走行状態検出手段は、前記車両の走行方向を検出し、
前記違反判定手段は、前記車両の走行方向が前記道路標識により禁止された方向である場合に、違反していると判定する請求項１〜５のいずれか一項に記載の車両の運行管理装置。 The statutory standard detection means detects a road sign that prohibits traveling outside the designated direction or turn around provided on the roadside or on the roadway,
The traveling state detecting means detects a traveling direction of the vehicle,
The vehicle operation management device according to any one of claims 1 to 5, wherein the violation determination unit determines that the vehicle is in violation when the traveling direction of the vehicle is a direction prohibited by the road sign. .

前記法定基準検出手段は、走行路脇若しくは走行路に設けられた追い越し禁止の道路標識を検出し、
前記走行状態検出手段は、前記車両の走行方向を検出し、
前記違反判定手段は、前記車両の走行方向が前記道路標識により禁止された追い越し方向である場合に、違反していると判定する請求項１〜５のいずれか一項に記載の車両の運行管理装置。 The statutory standard detection means detects a road sign prohibiting overtaking provided on the side of the road or on the road.
The traveling state detecting means detects a traveling direction of the vehicle,
The vehicle operation management according to any one of claims 1 to 5, wherein the violation determination unit determines that the vehicle is in violation when the traveling direction of the vehicle is a passing direction prohibited by the road sign. apparatus.

車両に搭載されたＧＰＳ受信機で受信したＧＰＳ信号と、前記車両に搭載されたカメラで撮影された前記車両の周囲の動画データとが記録された記録媒体から、前記ＧＰＳ信号と前記動画データとを読み出すステップと、
前記ステップで読み出された前記ＧＰＳ信号から、前記車両の走行状態を検出するステップと、
前記動画データと、交通法令に規定された法定基準のテンプレート画像から、前記車両の走行路の法定基準を検出するステップと、
前記車両の走行状態が前記車両の走行路の法定基準に違反しているか否かを判定するステップと、
前記判定の結果、違反している場合にはその違反内容を出力するステップと、をコンピュータに実行させるための車両の運行管理プログラム。 From the recording medium in which the GPS signal received by the GPS receiver mounted on the vehicle and the moving image data around the vehicle captured by the camera mounted on the vehicle are recorded, the GPS signal and the moving image data A step of reading
The GPS signal or we read in the step, a step of detecting a traveling state of the vehicle,
Before kidou image data, the legal standard of the template image defined in the traffic regulations, and detecting the legal standard of the traveling path of the vehicle,
Determining whether the traveling state of the vehicle violates a legal standard of the traveling path of the vehicle;
If the result of the determination is a violation, a vehicle operation management program for causing a computer to execute the step of outputting the violation content.

前記出力するステップは、違反した場合の時刻に対応するＧＰＳ信号に含まれる位置データを抽出して、地図データ上に表示するステップを含む請求項１２に記載の車両の運行管理プログラム。The vehicle operation management program according to claim 12, wherein the outputting step includes a step of extracting position data included in a GPS signal corresponding to a time when violation occurs and displaying the position data on map data.