JP2013214143A - Vehicle abnormality management device, vehicle abnormality management system, vehicle abnormality management method, and program - Google Patents
Vehicle abnormality management device, vehicle abnormality management system, vehicle abnormality management method, and program Download PDFInfo
- Publication number
- JP2013214143A JP2013214143A JP2012082846A JP2012082846A JP2013214143A JP 2013214143 A JP2013214143 A JP 2013214143A JP 2012082846 A JP2012082846 A JP 2012082846A JP 2012082846 A JP2012082846 A JP 2012082846A JP 2013214143 A JP2013214143 A JP 2013214143A
- Authority
- JP
- Japan
- Prior art keywords
- abnormality
- vehicle
- image data
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 435
- 238000007726 management method Methods 0.000 title claims description 101
- 238000001514 detection method Methods 0.000 claims abstract description 114
- 238000012545 processing Methods 0.000 claims abstract description 91
- 238000003384 imaging method Methods 0.000 claims description 199
- 230000005540 biological transmission Effects 0.000 claims description 106
- 230000010365 information processing Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 abstract description 38
- 239000000284 extract Substances 0.000 abstract description 10
- 238000000034 method Methods 0.000 description 87
- 230000008569 process Effects 0.000 description 81
- 238000013523 data management Methods 0.000 description 43
- 230000002159 abnormal effect Effects 0.000 description 30
- 238000013500 data storage Methods 0.000 description 29
- 230000008859 change Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000003203 everyday effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 102100040160 Rabankyrin-5 Human genes 0.000 description 2
- 101710086049 Rabankyrin-5 Proteins 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100028282 Bile salt export pump Human genes 0.000 description 1
- 101000724352 Homo sapiens Bile salt export pump Proteins 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
開示の技術は車両異常管理装置、車両異常管理システム、車両異常管理方法、及びプログラムに関する。 The disclosed technology relates to a vehicle abnormality management device, a vehicle abnormality management system, a vehicle abnormality management method, and a program.
道路上を走行する車両は、個々の車両を特定する特定文字パターンが表示された部位（例えば、ナンバープレート）を備えている。従って、特定文字パターンを撮像して、文字認識を行うことにより、車両を特定し、例えば、有料道路の料金支払所の自動化や、駐車場に駐車する車両が契約者のものであるか否かの判定、或いは盗難車両や逃走車両の検出等に用いることができる。一方、犯罪抑止（事故車両、ひき逃げ車両等）の観点から特定文字パターンの認識に加え、車両の車体にキズ、ヘコミ等何らかの変化があった異常車両を抽出したり、該異常の種別を検出したりすることの実現について強い要望がある。 A vehicle traveling on a road includes a portion (for example, a license plate) on which a specific character pattern that identifies each vehicle is displayed. Therefore, the vehicle is identified by capturing a specific character pattern and performing character recognition. For example, whether the toll road toll gate is automated or whether the vehicle parked in the parking lot belongs to the contractor. Or for detecting a stolen vehicle or an escape vehicle. On the other hand, in addition to recognizing specific character patterns from the viewpoint of crime prevention (accident vehicles, evacuation vehicles, etc.), abnormal vehicles with some changes such as scratches and dents in the vehicle body are extracted and the type of the abnormality is detected. There is a strong demand for the realization.
キズやヘコミ等の外観検査については、製造ラインの検査システムのように、撮像装置により撮像した画像に対して、画像処理を行って部品等のキズを検査するシステムが知られている。また、例えば、走行している車両を複数台の撮像装置にて撮像し、画像処理により磨耗、欠損、傷などの異常監視を行う方法も知られている。また、例えば、自動車を撮像した画像信号から自動車のナンバープレートの情報を認識し、認識したナンバープレートの情報を記録し、記録したナンバープレートの情報に従って所望の画像信号を検索する監視装置も知られている。 With regard to appearance inspections such as scratches and dents, a system that inspects scratches on parts and the like by performing image processing on an image captured by an imaging device is known, such as a manufacturing line inspection system. In addition, for example, a method is known in which a traveling vehicle is imaged by a plurality of imaging devices, and abnormality monitoring such as wear, loss, and scratches is performed by image processing. Also, for example, a monitoring device that recognizes information on a license plate of a vehicle from an image signal obtained by imaging a vehicle, records the information on the recognized license plate, and searches for a desired image signal according to the recorded license plate information is also known. ing.
ナンバープレート等の特定文字パターンを認識することを主目的として使用される撮像装置を、特定文字パターンの認識だけでなく、車両のキズ、ヘコミ等の異常検出にも利用できれば、異常検出にかかるコストを抑えることができる。 If an imaging device used mainly for recognizing a specific character pattern such as a license plate can be used not only for recognizing a specific character pattern but also for detecting abnormalities such as scratches and dents on the vehicle, the cost of detecting the abnormality Can be suppressed.
ところで、天候の変化や周辺状況の影響により、撮像画像の輝度が大きく変動すると、検出精度が低下することがあるため、撮像画像の輝度が車両の形状や色等の判定に適した輝度となるよう撮像装置の撮像条件を調整して撮像することが望まれる。 By the way, if the brightness of the captured image fluctuates greatly due to changes in the weather or the surrounding situation, the detection accuracy may decrease, so the brightness of the captured image is suitable for determining the shape, color, etc. of the vehicle. It is desirable to adjust the imaging conditions of the imaging apparatus so as to perform imaging.
しかし、撮像位置を走行する車両のナンバープレート等の文字認識を主目的として撮像がされる場合には、該文字認識に適した状態で撮像されるように、撮像装置の撮像条件の設定（例えばアイリスの設定）が行われる。特に、自動車等の車両を屋外の道路脇に設置された撮像装置で撮像する場合には、天候の変化や周辺状況に応じて文字認識に適した輝度で撮像されるよう撮像装置のアイリスが設定される。 However, when imaging is performed mainly for character recognition such as a license plate of a vehicle traveling at an imaging position, setting of imaging conditions of the imaging device (for example, so as to capture images in a state suitable for the character recognition (for example, Iris setting) is performed. In particular, when imaging a vehicle such as an automobile with an imaging device installed on the side of an outdoor road, the iris of the imaging device is set so that the image is captured with brightness suitable for character recognition according to changes in the weather and surrounding conditions. Is done.
この場合、ナンバープレートを撮像することが主目的の撮像装置を車両全体の異常検出にも利用しようとしても、必ずしも車両のナンバープレート以外の部位の形状や色の変化を検出するのに適した撮像画像が撮像されるとは限らない。異常は、複数の撮像画像を比較して差分を求めることで検出できるが、複数の撮像装置の環境条件（日照条件、周辺の建物等の状況）や撮像条件の設定等によっては、車両のナンバープレート以外の部位の輝度差が大きくなり、差分を正確に求めることが困難となる。この場合、検出された異常の信頼度（確からしさ）は低くなり、誤検出につながる。 In this case, even if an imaging device whose main purpose is to image a license plate is used to detect an abnormality in the entire vehicle, it is not necessarily suitable for detecting changes in the shape and color of parts other than the license plate of the vehicle. An image is not always captured. Abnormality can be detected by comparing multiple captured images and obtaining the difference, but depending on the environmental conditions (sunshine conditions, surrounding buildings, etc.) of the multiple imaging devices and the settings of the imaging conditions, the vehicle number The luminance difference between the parts other than the plate becomes large, and it is difficult to accurately obtain the difference. In this case, the reliability (probability) of the detected abnormality is lowered, leading to erroneous detection.
図１２に、具体例を示す。図１２（Ａ）は、車両の後方から太陽光が照明する日照条件を模式的に示した図である。文字認識の精度を高めるため、特定文字パターン領域（ここでは、ナンバープレート設置部位）の輝度が一定に保たれるよう、撮像装置のアイリスはオープン方向に制御される。これに伴い、ボンネットが写った領域（ボンネット領域）の輝度は高く（明るく）なる。 FIG. 12 shows a specific example. FIG. 12A is a diagram schematically showing the sunshine conditions in which sunlight is illuminated from the rear of the vehicle. In order to increase the accuracy of character recognition, the iris of the imaging device is controlled in the open direction so that the luminance of the specific character pattern region (here, the license plate installation site) is kept constant. Accordingly, the brightness of the area where the bonnet is reflected (bonnet area) becomes high (bright).
図１２（Ｂ）は、車両の左側に建造物が存在し、更に、車両の左側から太陽光が照明する日照条件を模式的に示した図である。特定文字パターン領域付近の輝度を一定に保つため、撮像装置のアイリスは中間付近の開度に制御される。これに伴い、ボンネット領域の輝度は低く（暗く）なる。 FIG. 12 (B) is a diagram schematically showing the sunshine conditions in which a building exists on the left side of the vehicle and the sunlight illuminates from the left side of the vehicle. In order to keep the luminance near the specific character pattern area constant, the iris of the imaging device is controlled to an opening degree near the middle. Along with this, the brightness of the bonnet region becomes low (dark).
図１２（Ｃ）は、車両に雲の影がかかっている日照条件を模式的に示す図である。特定文字パターン領域の輝度を一定に保つため、アイリスは中間付近の開度に制御される。これに伴い、ボンネット領域の輝度は低く（暗く）なる。 FIG. 12C is a diagram schematically illustrating the sunshine conditions in which the vehicle is shaded by clouds. In order to keep the brightness of the specific character pattern area constant, the iris is controlled to an opening degree near the middle. Along with this, the brightness of the bonnet region becomes low (dark).
図１２（Ａ）に示す撮像画像と、図１２（Ｂ）に示す撮像画像とを比較する場合、特定文字パターン領域の輝度はアイリス制御により安定しているが、ボンネット領域の輝度変化が大きく、高い信頼度で差分を検出することが困難となることがある。図１２（Ａ）に示す撮像画像と、図１２（Ｃ）に示す撮像画像とを比較する場合も同様である。 When the captured image shown in FIG. 12A is compared with the captured image shown in FIG. 12B, the luminance of the specific character pattern region is stable by the iris control, but the luminance change of the bonnet region is large. It may be difficult to detect the difference with high reliability. The same applies to the case where the captured image shown in FIG. 12A is compared with the captured image shown in FIG.
なお、特定文字パターンから車両を特定し、同一の特定文字パターンが付与された車両が撮像された撮像画像を抽出して車両に生じた変化を検出する処理を全て人手で行おうとすれば、膨大な数の撮像画像を目視で確認する作業が必要となる。この作業は、非常に困難であり効率が悪いため、自動で異常を検出することが望まれている。 Note that if a vehicle is identified from a specific character pattern, a captured image obtained by capturing the vehicle with the same specific character pattern is extracted, and a process for detecting a change in the vehicle is all performed manually, It is necessary to visually check a large number of captured images. Since this operation is very difficult and inefficient, it is desired to automatically detect an abnormality.
開示の技術は、様々な条件下で走行する車両を撮像した複数の撮像画像から車両を特定し、車両の異常を検出する際の誤検出を低減し、検出結果の信頼度を評価して異常車両の管理を行うことを目的とする。 The disclosed technology identifies a vehicle from a plurality of captured images obtained by imaging a vehicle traveling under various conditions, reduces false detection when detecting an abnormality of the vehicle, evaluates the reliability of the detection result, and detects an abnormality. The purpose is to manage the vehicle.
開示の技術は、異なる撮像地点における画像データを入力し、車両および前記車両を特定する特定文字パターンの表示部位を認識し、前記表示部位の文字認識により、前記車両の識別情報を出力する。開示の技術は、前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する。開示の技術は、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する。開示の技術は、検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する。 The disclosed technology inputs image data at different imaging points, recognizes a vehicle and a display portion of a specific character pattern that identifies the vehicle, and outputs identification information of the vehicle by character recognition of the display portion. The disclosed technique calculates a luminance index value of a specific part region which is a specific part excluding the display part of the vehicle of the image data. In the disclosed technology, when there are a plurality of image data in which an imaging point and the identification information match and a difference in the luminance index value is within a certain range, the identification information is based on the plurality of image data. The presence / absence and abnormality type of the corresponding vehicle is detected. The disclosed technology gives weighting information related to the reliability of the abnormality to the detected abnormality of the vehicle according to the number of imaging points where the abnormality is detected and the type of the abnormality. .
開示の技術は、様々な条件下で走行する車両を撮像した複数の撮像画像から車両を特定し、車両の異常を検出する際の誤検出を低減し、検出結果の信頼度を評価して異常車両の管理を行うことができる、という効果を有する。 The disclosed technology identifies a vehicle from a plurality of captured images obtained by imaging a vehicle traveling under various conditions, reduces false detection when detecting an abnormality of the vehicle, evaluates the reliability of the detection result, and detects an abnormality. There is an effect that the vehicle can be managed.
以下、図面を参照して開示の技術の実施形態を詳細に説明する。 Hereinafter, embodiments of the disclosed technology will be described in detail with reference to the drawings.
図１には、本実施形態に係る車両異常管理システム１０が示されている。車両異常管理システム１０は、複数の撮像装置１２、複数の撮像装置１２に対応して設けられた複数の情報処理装置１４、車両異常管理装置１６、及び車両異常管理装置１６に接続された表示装置１８を備えている。複数の情報処理装置１４及び車両異常管理装置１６は、広域ネットワーク９０を介して接続されている。
FIG. 1 shows a vehicle
図１に示されるように、複数の撮像装置１２の各々は、互いに異なる地点の道路脇に設置され、走行する車両を撮像する。撮像装置１２は、走行している車両の車体と、車両に含まれる、車両を特定する特定文字パターンが表示された表示部位とが撮像されるよう、撮像方向が調整されて設置されている。特に、撮像装置１２は、表示部位が安定して撮像され、該文字の認識が可能なように、後述する撮像条件調整部２１により撮像条件が調整される。ここでは、撮像装置１２は、撮像位置を走行する車両の特定文字パターンを文字認識するためだけでなく、車両に発生した異常の検出のために車両を撮像する撮像装置としても利用される。なお、上記表示部位を車両に設けられたナンバープレートとする場合、特定文字パターンは、該ナンバープレートに表示された車両の登録ナンバーとすることができる。
As shown in FIG. 1, each of the plurality of
撮像装置１２によって撮像された撮像画像の画像データは、撮像装置１２に対応して設けられた情報処理装置１４により取得される。情報処理装置１４は、取得した画像データ及び後述する各種データを含む送信データを生成し、広域ネットワーク９０を介して車両異常管理装置１６に送信する。なお、本実施形態の情報処理装置１４には、撮像装置１２の撮像条件を制御する機能が設けられているものとするが、該撮像条件を制御する機能は、情報処理装置１４とは別の装置により行うようにしてもよい。
Image data of a captured image captured by the
車両異常管理装置１６は、管理サーバ３０及び画像データ蓄積サーバ４０を備えている。複数の情報処理装置１４の各々から送信された送信データは、管理サーバ３０により受信され、送信データに含まれる画像データは、画像データ蓄積サーバ４０に記憶され蓄積される。管理サーバ３０は、情報処理装置１４の各々から送信された送信データに基づいて、車両の異常を検出し、管理する。管理サーバ３０は、異常を検出した場合には、該異常発生の旨を表示装置１８に表示することにより、利用者に報知することもある。
The vehicle
図２は、各情報処理装置１４及び車両異常管理装置１６の機能的な構成を示す構成図である。
FIG. 2 is a configuration diagram showing a functional configuration of each
情報処理装置１４は、撮像条件調整部２１、画像データ取得部２２、フレームメモリ２３、画像圧縮部２４、文字認識処理部２５、輝度算出処理部２６、送信データ生成部２７、及び送受信部２８を備えている。
The
撮像条件調整部２１は、例えばアイリス（絞り）やシャッタースピード等、撮像装置１２が走行する車両を撮像する際の撮像条件の設定を調整する。撮像条件調整部２１は、天候の変更や周囲の環境に応じて変化する日照条件に応じて、文字認識処理部２５により行われる文字認識に適した撮像条件で撮像されるように撮像装置１２の撮像条件の設定を調整する。
The imaging
画像データ取得部２２は、撮像装置１２により撮像された撮像画像の画像データを取得し、フレームメモリ２３に記憶する。
The image
画像圧縮部２４は、フレームメモリ２３から画像データを読み出して、予め定められた圧縮方式により圧縮する。画像圧縮部２４は、圧縮した画像データを、送信データ生成部２７に渡す。
The
文字認識処理部２５は、フレームメモリ２３から画像データを読み出して、該画像データが表わす撮像画像のうち、特定文字パターンが表示された表示部位の領域（以下、特定文字パターン領域という）を認識する。文字認識処理部２５は、特定文字パターンの各々の文字（例えば、日本であれば、ナンバープレートに表示された地名を表わす漢字や仮名等の文字の他、番号などの数字が含まれる）を文字認識して、認識した文字列を識別情報として文字認識結果に含めて出力する。以下、該識別情報を特定文字パターン情報という。また、文字認識処理部２５は、上記特定文字パターン領域の撮像画像における位置を示す座標（以下、文字パターン座標という）も文字認識結果に含めて送信データ生成部２７に出力する。なお、文字認識処理部２５は、パターンマッチングの技術を用いて文字認識を行うが、このときのマッチング度（一致度）も文字認識結果に含めて送信データ生成部２７に渡すようにしてもよい。
The character
輝度算出処理部２６は、フレームメモリ２３から画像データを読み出して、該画像データが表わす撮像画像に含まれる車両の上記表示部位を除く特定部位の領域の画像データを抽出し、該特定部位領域の輝度指標値を算出する。本実施形態では、輝度算出処理部２６は、特定部位領域の各画素の輝度値を平均した平均輝度を、上記輝度指標値として算出するものとするが、各画素の輝度値のうち頻度が最大の値を、上記輝度指標値として算出するようにしてもよい。特定部位は、例えば、車両のボンネット、屋根、或いはドアなどとすることができるが、本実施形態では、表示部位に比較的近く、撮像装置１２により比較的広い面積が撮像されることが期待されるボンネットを特定部位とした態様を説明する。
The luminance
輝度算出処理部２６は、特定部位領域の輝度指標値（ここでは平均輝度とする）を送信データ生成部２７に渡す。なお、輝度算出処理部２６は、撮像画像全体の平均輝度及び上記表示部位の平均輝度も検出して、これらを送信データ生成部２７に渡すようにしてもよい。
The luminance
送信データ生成部２７は、上記圧縮された画像データ、該画像データの撮像日時を示す日時情報、上記表示部位の文字認識結果、上記平均輝度、及び自装置の位置情報（撮像地点を示す情報）を含む送信データを生成する。なお、送受信部２８は、撮像条件調整部２１から撮像装置１２の撮像条件の設定内容を取得し、送信データに、撮像装置１２の設定内容を含めて生成してもよい。また、撮像装置１２の車両に対する撮像方向を示す情報を含めてもよい。撮像方向を示す情報は、例えば、車両に対して向かって右側から撮像したか、左側から撮像したかを示す情報等とすることができる。撮像方向は、撮像装置１２を設置した時点で把握できるため、撮像方向を示す情報は、予め情報処理装置１４に記憶しておくことができ、送信データ生成部２７は、該記憶しておいた情報を読み出して送信データに含めればよい。送信データ生成部２７は、生成した送信データを送受信部２８に入力する。
The transmission
本実施形態では、撮像画像の画像データを圧縮して送信データに含めて送信する例について説明するが、未圧縮の画像データを送信データに含めて送信してもよい。 In the present embodiment, an example in which image data of a captured image is compressed and included in transmission data will be described. However, uncompressed image data may be included in transmission data and transmitted.
また、送信データ生成部２７により生成される送信データには、少なくとも画像データの他、撮像日時、撮像地点、文字認識結果、及び特定部位の平均輝度の各々を示す情報が含まれていればよい。これらの情報があれば、車両異常管理装置１６は、後述する車両異常管理処理の基本的な処理を実行することができる。ただし、送信データに通常付与されるヘッダから送信元が明らかとなる場合には、撮像地点の情報は送信データに含めなくてもよい。また、送信データの送信日時と撮像日時との差が小さい場合には、送信データの送信日時を撮像日時として用いることもできる。この場合には、撮像日時の情報も送信データに含めなくてもよい。
The transmission data generated by the transmission
また、文字認識処理部２５及び輝度算出処理部２６が、情報処理装置１４側ではなく、車両異常管理装置１６側に設けられ、文字認識や輝度の検出を、車両異常管理装置１６側で行うようにしてもよい。この場合には、送信データ生成部２７は、文字認識結果や平均輝度の情報を含まない送信データを生成することとなる。また、文字認識処理部２５及び輝度算出処理部２６の一方が、情報処理装置１４側ではなく、車両異常管理装置１６側に設けられていてもよい。この場合には、一方の処理が情報処理装置１４側で行われ、他方の処理が車両異常管理装置１６側で行われることとなり、送信データ生成部２７は、該他方の処理結果を含まない送信データを生成して送受信部２８に入力する。
Further, the character
送受信部２８は、送信データ生成部２７から入力された送信データを、広域ネットワーク９０を介して車両異常管理装置１６に送信する。なお、送受信部２８は、該送信データを送信した後、車両異常管理装置１６から、該送信データに対する応答を受信する。
The transmission /
車両異常管理装置１６は、前述したように管理サーバ３０及び画像データ蓄積サーバ４０を備えている。管理サーバ３０及び画像データ蓄積サーバ４０は、ＬＡＮ等のネットワークを介して接続されている。
The vehicle
管理サーバ３０は、送受信部３１、記憶処理部３２、異常検出部３３、重み付け付与部３４、異常報知部３５、基本情報ＤＢ（データベース）３６、及び異常車両情報ＤＢ３７を備えている。画像データ蓄積サーバ４０は、送受信部４１、データ蓄積部４２、及び画像データＤＢ４３を備えている。
The
管理サーバ３０の送受信部３１は、広域ネットワーク９０を介して情報処理装置１４から送信された送信データを受信する。また、画像データ蓄積サーバ４０の送受信部４１との間でＬＡＮ等のネットワークを介して各種情報の授受を行う。
The transmission /
記憶処理部３２は、送受信部３１を介して情報処理装置１４から送信データを取得し、圧縮された画像データを除く各種情報を基本情報ＤＢ３６に記憶する。また、記憶処理部３２は、上記取得した送信データに含まれる圧縮された画像データを、データ蓄積部４２に対するコマンドと共に送受信部３１を介して画像データ蓄積サーバ４０に送り、画像データ蓄積サーバ４０の画像データＤＢ４３に画像データを記憶させる。
The
図１０（Ａ）及び（Ｂ）に、基本情報ＤＢ３６に記憶されたデータ管理テーブルの一例を示す。図１０（Ａ）は、撮像地点０１で撮像された撮像画像についてのデータが登録されたデータ管理テーブルであり、図１０（Ｂ）は、撮像地点０２で撮像された撮像画像についてのデータが登録されたデータ管理テーブルである。記憶処理部３２は、上記送信データに含まれる画像データ以外の各情報を撮像画像単位で記憶（登録）する。撮像画像１枚分の情報が、基本情報ＤＢ３６の１件分の単位であるレコードとされる。なお、図１０に示されるデータ管理テーブルは、撮像日時をキーとして昇順に記憶されており、下方のレコードほど撮像日時が新しいレコードとなる。
10A and 10B show an example of a data management table stored in the
本例では、送信データに基づいて、撮像日時（日時）、撮像地点（地点）、撮像方向（方向）、特定文字パターン情報、特定文字パターン領域の平均輝度、マッチング度、ボンネット平均輝度、アイリス値、文字パターン座標の各々が登録される。また、記憶処理部３２は、画像データＤＢ４３に記憶された画像データを識別する画像情報をデータ管理テーブルに記憶する。画像情報により、画像データＤＢ４３に記憶された画像データとデータ管理テーブルの各レコードとが関連付けられる。図１０では、特定文字パターン情報が４桁の数字で表わされているが、これに限定されるものではなく、文字認識結果としてテキスト化された文字、例えば、漢字や仮名等の文字が含まれていてもよい。
In this example, based on the transmission data, the imaging date and time (date and time), imaging point (point), imaging direction (direction), specific character pattern information, average brightness of a specific character pattern area, matching degree, bonnet average brightness, iris value Each of the character pattern coordinates is registered. The
なお、データ管理テーブルに含まれる処理対象フラグ及び異常種別コードは、後述する異常検出部３３により記憶される。また、データ管理テーブルに含まれるランクは、後述する重み付け付与部３４により記憶される。従って、これらの項目は、情報処理装置１４から送信データを受信して該送信データに含まれる情報を記憶した時点では、ブランクとされる。
The processing target flag and the abnormality type code included in the data management table are stored by the
なお、ここでは、撮像地点毎に、異なるデータ管理テーブルを設けて、記録する例について説明したが、撮像地点を示す情報が撮像画像毎にデータ管理テーブルに登録される構成であれば、複数の撮像地点間で共通のデータ管理テーブルを用いてもよい。 In addition, although the example which provides and records a different data management table for every imaging point was demonstrated here, as long as the information which shows an imaging point is registered into a data management table for every captured image, several data management tables will be provided. A common data management table may be used between imaging points.
異常検出部３３は、基本情報ＤＢ３６に記憶された各種情報を取得すると共に、送受信部３１を介してデータ蓄積部４２にコマンドを送信し、予め定められた期間に撮像された撮像画像の画像データを画像データＤＢ４３から取得する。
The
異常検出部３３は、基本情報ＤＢ３６から取得した情報及び画像データＤＢ４３から取得した画像データに基づいて、車両の外観に生じた変化から異常を検出すると共に、異常の種別も検出する。具体的には、まず、異常検出部３３は、画像データＤＢ４３に記憶された画像データから、特定文字パターン情報及び撮像地点の各々が等しく、各々異なるタイミングで撮像された複数の画像データを抽出する。そして、抽出した画像データの中から、ボンネット平均輝度の差分が予め定められた値以下となる複数の画像データを更に抽出し、抽出した画像データ同士を比較する。この比較によって、撮像地点毎及び特定文字パターン情報により特定された車両毎に、該車両の外観に生じた異常及び異常の種別を検出する。
The
異常検出部３３は、異常の発生及び異常の種別を検出した場合には、該検出した異常の種別を示す異常種別コードを基本情報ＤＢ３６のデータ管理テーブルに記憶する。本実施形態では、車両の外観に変化が発生した変化点に相当する撮像画像のレコードに対して異常種別コードを記憶し、変化点以外のレコードには異常種別コードを記憶せずブランクのままとする。図１０（Ａ）及び（Ｂ）においては、異常種別コードとして、Ａ、Ｂ、Ｃの３種類のコードが使用されている。異常検出部３３により行われる処理の詳細は後述する。
When detecting the occurrence of an abnormality and the type of abnormality, the
重み付け付与部３４は、異常検出部３３により異常が検出された車両の異常に対して、該異常が検出された撮像地点の数、及び該検出された異常の種別に応じて、該検出された異常の信頼度（確からしさ）を示す重み付け情報を付与する。以下、この重み付け情報をランクという。付与されたランクは、データ管理テーブルに記憶される。本実施形態では、検出された異常に対して、１〜５の何れかのランクが付与される。
The
なお、重み付け付与部３４は、ランクをデータ管理テーブルに記憶した後は、データ管理テーブルにランクを記憶したレコードを抽出して、基本情報ＤＢ３６とは別のデータベースである異常車両情報ＤＢ３７に記憶する。レコードは、異常の種別毎或いはランク毎に記憶するようにしてもよい。
After storing the rank in the data management table, the
例えば、異常車両情報ＤＢ３７に異常が検出された撮像画像のレコードを記憶した後、異常の検出に用いたレコードを基本情報ＤＢ３６から削除すれば、データ量を削減することが可能である。また、基本情報ＤＢ３６には、予め定められた期間に撮像された撮像画像のレコードのみ保存しておくことも可能である。
For example, if a record of a captured image in which an abnormality is detected is stored in the abnormal
異常報知部３５は、異常車両情報ＤＢ３７に記憶された情報に基づいて、利用者に対して異常が発生した旨の報知を行う。本実施形態では、ランクに応じて異なるアラームを表示装置１８に出力するものとする。また、異常報知部３５は、送受信部３１、及び送受信部４１を介してデータ蓄積部４２にコマンドを送信し、該異常が発生した時点の撮像画像の画像データを画像データＤＢ４３から検索して取得し、表示装置１８に出力する。
The
表示装置１８は、アラームの内容に応じたメッセージを表示すると共に、撮像画像の確認が可能となるよう、変化点の画像データに基づいて撮像画像を表示する。
The
画像データ蓄積サーバ４０は、送受信部４１、データ蓄積部４２、及び画像データＤＢ４３を備えている。
The image
送受信部４１は、管理サーバ３０の送受信部３１との間でＬＡＮ等のネットワークを介して各種情報の授受を行う。
The transmission /
データ蓄積部４２は、送受信部４１が、管理サーバ３０の記憶処理部３２から画像データを記憶するコマンドと共に画像データを受信した場合に、該画像データを識別する画像情報に対応付けて該画像データを画像データＤＢ４３に記憶する。また、データ蓄積部４２は、送受信部４１が、異常検出部３３や異常報知部３５から画像データを要求するコマンドを受信した場合に、該コマンドに応じて画像データＤＢ４３から画像データを読み出して、送受信部４１を介して管理サーバ３０に送信する。
When the transmission /
なお、管理サーバ３０は、例えば図３に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ(Central Processing Unit)５１、表示装置ＩＦ(Interface)５２、キーボード５３、通信ＩＦ５４、不揮発性の第１記憶部５５、メモリ５６、及び不揮発性の第２記憶部５７を備え、これらはバス５８を介して互いに接続されている。
The
第１記憶部５５には、車両異常管理プログラム５９が記憶されている。ＣＰＵ３０は、車両異常管理プログラムを第１記憶部５５から読み出してメモリ５６に展開し、車両異常管理プログラム５９が有するプロセスを実行する。
The
車両異常管理プログラム５９は、送受信プロセス、記憶処理プロセス、異常検出プロセス、重み付け付与プロセス、及び異常報知プロセスを有する。ＣＰＵ５１は、送受信プロセスを実行することで、図２に示す送受信部３１として動作する。またＣＰＵ５１は、記憶処理プロセスを実行することで、図２に示す記憶処理部３２として動作する。またＣＰＵ５１は、異常検出プロセスを実行することで、図２に示す異常検出部３３として動作する。またＣＰＵ５１は、重み付け付与プロセスを実行することで、図２に示す重み付け付与部３４として動作する。またＣＰＵ５１は、異常報知プロセスを実行することで、図２に示す異常報知部３５として動作する。なお、情報処理装置１４の文字認識処理部２５及び輝度算出処理部２６が、車両異常管理装置１６側に設けられている場合には、車両異常管理プログラム５９には、文字認識プロセス、及び輝度算出プロセスが含められる。ＣＰＵ５１は、文字認識プロセスを実行することで、文字認識処理部２５として動作する。またＣＰＵ５１は、輝度算出プロセスを実行することで、輝度算出処理部２６として動作する。
The vehicle
第２記憶部５７には、基本情報ＤＢ３６、及び異常車両情報ＤＢ３７の各記憶部に相当する記憶領域が設けられている。
The
表示装置ＩＦ５２は、表示装置１８と接続するためのインタフェースである。通信ＩＦ５４は、他の装置と通信するためのインタフェースである。
The display device IF 52 is an interface for connecting to the
また、画像データ蓄積サーバ４０も、例えば図４に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ(Central Processing Unit)６１、キーボード６２、通信ＩＦ６３、不揮発性の第１記憶部６４、メモリ６５、及び不揮発性の第２記憶部６６を備え、これらはバス６７を介して互いに接続されている。
The image
第１記憶部６４には、画像データ蓄積プログラム６８が記憶されている。ＣＰＵ６１は、画像データ蓄積プログラム６８を第１記憶部６４から読み出してメモリ６５に展開し、画像データ蓄積プログラム６８が有するプロセスを実行する。
An image
画像データ蓄積プログラム６８は、送受信プロセス、及びデータ蓄積プロセスを有する。ＣＰＵ６１は、送受信プロセスを実行することで、図２に示す送受信部４１として動作する。またＣＰＵ６１は、データ蓄積プロセスを実行することで、図２に示すデータ蓄積部４２として動作する。第２記憶部６６には、画像データＤＢ４３に相当する記憶領域が設けられている。通信ＩＦ６３は、他の装置と通信するためのインタフェースである。
The image
なお、情報処理装置１４も、コンピュータにより実現することもでき、該コンピュータに設けられたＣＰＵがプログラムを実行することにより、図２において説明した各構成要素として動作することもできるが、ここでは図示を省略する。
The
次に本実施形態の作用として、車両異常管理システム１０で行われる車両異常管理処理について、図５〜図９に示すフローチャート、図１０に示すデータ管理テーブル、及び図１１及び図１２に示す説明図を参照して説明する。
Next, as an operation of the present embodiment, regarding the vehicle abnormality management processing performed in the vehicle
図５は、情報処理装置１４により行われるデータ送信処理の一例を示すフローチャートである。
FIG. 5 is a flowchart illustrating an example of a data transmission process performed by the
ステップ１００において、情報処理装置１４の画像データ取得部２２は、撮像装置１２で撮像された撮像画像の画像データをデジタル化してフレームメモリ２３に取り込む。
In
ステップ１０２において、情報処理装置１４の文字認識処理部２５は、フレームメモリ２３に取り込まれた撮像画像の画像データを読出し、該画像データが表わす撮像画像のうち、特定文字パターン領域の画像に対して文字認識処理を行う。
In
ステップ１０４において、文字認識処理部２５は、特定文字パターンが認識できたか否かを判断する。文字認識処理部２５は、ステップ１０４において肯定判断した場合には、ステップ１０６において、文字認識結果である特定文字パターン情報と、文字パターン座標とを示す情報を予め定められた記憶領域に記憶する。文字認識処理部２５は、該記憶領域に記憶した情報を送信データ生成部２７に渡す。該記憶領域の先頭アドレスを送信データ生成部２７に通知することで、送信データ生成部２７に対して文字認識結果を渡すようにしてもよい。
In
また、文字認識処理部２５は、ステップ１０４において否定判断した場合には、文字認識が失敗した状態であるため、ステップ１０６をスキップする。
Further, if the character
ステップ１０８において、画像圧縮部２４は、フレームメモリ２３から画像データを読み出して、予め定められた圧縮方式により圧縮する。画像圧縮部２４は、圧縮した画像データを、送信データ生成部２７に渡す。画像圧縮部２４は、圧縮した画像データを記憶した記憶領域の先頭アドレスを送信データ生成部２７に通知することで、送信データ生成部２７に対して圧縮した画像データを渡すようにしてもよい。
In
ステップ１１０において、輝度算出処理部２６は、フレームメモリ２３から画像データを読み出して、特定部位（ここでは車両のボンネット）の領域の画像データを抽出し、該特定部位の各画素の輝度値を平均した平均輝度を算出し、送信データ生成部２７に渡す。輝度算出処理部２６は、平均輝度の情報を記憶した記憶領域の先頭アドレスを送信データ生成部２７に通知することで、送信データ生成部２７に対して平均輝度の情報を渡すようにしてもよい。
In
ステップ１１２において、送信データ生成部２７は、前述したように送信データを生成して、車両異常管理装置１６に送信する。ただし、ここでは、文字認識処理部２５において文字認識が失敗する場合も考慮に入れており、文字認識が失敗した場合であっても、後述するように送信データが生成され、車両異常管理装置１６に送信される。この場合、文字認識結果として文字認識失敗の旨を示す情報を含む送信データが送信データ生成部２７により生成され、送信されることになる。
In
なお、ここでは、文字認識処理部２５において文字認識が失敗する場合も考慮に入れて説明したが、文字認識が失敗した場合には、情報処理装置１４において送信データが生成されず、車両異常管理装置１６に該画像データが送信されないようにしてもよい。
Here, the case where character recognition fails in the character
図６は、車両異常管理装置１６により行われる処理対象フラグ付与処理を示すフローチャートである。この処理対象フラグ付与処理は、情報処理装置１４から送信データを受信したときに開始される。
FIG. 6 is a flowchart showing a process target flag assignment process performed by the vehicle
ステップ２００において、記憶処理部３２は、受信した送信データに含まれる画像データを画像データＤＢ４３に記憶すると共に、それ以外のデータを基本情報ＤＢ３６に記憶する。具体的には、送信データに含まれる画像データを、コマンドと共に画像データ蓄積サーバ４０に送信して画像データＤＢ４３に該画像データを記憶させる。また、送信データに含まれる画像データ以外の情報を、各々対応付けて（すなわち１レコードの情報として）基本情報ＤＢ３６のデータ管理テーブルに記憶する。処理対象フラグ処理において、以下に説明する各ステップは、ステップ２００において記憶した１つのレコードを対象として行われる。
In
ステップ２０２において、異常検出部３３は、基本情報ＤＢ３６から上記ステップ２００において記憶したレコード（以下該当レコードという）の特定文字パターン情報を読み出す。
In
ステップ２０４において、異常検出部３３は、読み出した特定文字パターン情報が示す特定文字パターンの認識がＯＫであるか否かを判断する。文字認識結果として文字認識失敗の旨を示す情報が送信データに含まれていた場合には、基本情報ＤＢ３６のデータ管理テーブルの特定文字パターン情報の項目はブランクのままとなる。従って、異常検出部３３は、特定文字パターン情報の項目がブランクであれば、文字認識失敗（特定文字パターンの認識がＯＫでない）と判断し、特定文字パターン情報の項目に何らかの文字列が記憶されていれば、特定文字パターンの認識がＯＫであると判断する。
In
異常検出部３３は、ステップ２０４において特定文字パターンの認識がＯＫであると判断した場合には、ステップ２０６に進み、該当レコードの特定文字パターンのマッチング度を読出し、該マッチング度がＯＫであるか否かを判断する。ここでは、マッチング度が予め定められた閾値（例えば、マッチング度が0〜100とした場合、閾値を90とする等）以上であれば、ＯＫと判断され、それ以外はＮＧと判断される。マッチング度が低いということは、文字認識結果の信頼性が低いことを意味する。後述するように、異常検出処理では、特定文字パターン情報が一致する画像データ同士を比較するが、文字認識結果の信頼性が低いほど、異なる車両の撮像画像の画像データ同士が比較されてしまう確率が高くなる。そこで、ここでは、マッチング度を確認するようにしている。
If the
異常検出部３３は、ステップ２０６において、マッチング度がＯＫであると判断した場合には、次に、ステップ２０８において、基本情報ＤＢ３６から、該当レコードのボンネット平均輝度を読み出し、ボンネット平均輝度と２つの閾値と比較する。ここでは、ボンネット平均輝度を８ビットの輝度値とし、２つの閾値を５０及び２００とする場合を例に挙げる。例えば、ボンネット平均輝度が０に近ければボンネットは暗すぎ、２５５に近ければボンネットは明るすぎるため、車両の異常を検出するときに参照する画像データには適さないことが多い。従って、異常検出部３３は、ボンネット平均輝度が５０より大きく２００より小さい場合に、ステップ２１０において肯定判断し、それ以外の場合には、ステップ２１０において否定判断する。
If the
なお、２つの閾値（ボンネット平均輝度の許容範囲といってもよい）については、撮像画像の輝度値の分布から動的に算出してもよい。 Note that the two threshold values (which may be referred to as an allowable range of bonnet average luminance) may be dynamically calculated from the luminance value distribution of the captured image.
異常検出部３３は、ステップ２１０において、肯定判断した場合には、ステップ２１２において、該当レコードの画像情報が示す画像データを画像データＤＢ４３から取得し、撮像画像範囲内に車両全体が撮像されているか否かを判断する。
If the
例えば、撮像時の走行ラインによっては、車両が撮像範囲からはみ出す場合もあるため、ここで、車両の標準的な横幅、及び特定文字パターン領域の座標位置から、車両全体が撮像範囲内に収まっているか否かを判断している。なお、送信データに、撮像装置１２の解像度の情報が含まれている場合には、該解像度も考慮して車両全体が撮像範囲内に収まっているかを判断するようにしてもよい。なお、撮像装置１２の設置高さ、俯角等の条件から、車両全体が撮像範囲内に収まっているかを算出することも可能である。
For example, depending on the travel line at the time of imaging, the vehicle may protrude from the imaging range, so here the entire vehicle is within the imaging range from the standard width of the vehicle and the coordinate position of the specific character pattern area. Judging whether or not. When the transmission data includes information about the resolution of the
なお、車両の一部が撮像画像に含まれていなかった場合でも、車両全体のうち、例えば７割以上の部位の画像が撮像画像に含まれていれば、撮像画像に車両全体の画像が含まれているとみなして肯定判断してもよい。また、異常検出の際に注目される部分（例えば、車両の特定部位及び該特定部位から予め定められた範囲内にある部分）の画像が撮像画像に含まれていれば、車両全体の画像が含まれているとみなして肯定判断してもよい。 Even if a part of the vehicle is not included in the captured image, for example, if an image of more than 70% of the entire vehicle is included in the captured image, the captured image includes the image of the entire vehicle. You may make an affirmative decision by assuming that In addition, if the captured image includes an image of a portion of interest (for example, a specific portion of the vehicle and a portion within a predetermined range from the specific portion) during abnormality detection, the image of the entire vehicle is Affirmative judgment may be made considering that it is included.
異常検出部３３は、ステップ２１２において肯定判断した場合には、ステップ２１４において、基本情報ＤＢ３６のデータ管理テーブルの、該当レコードの処理対象フラグの項目に１をセットする。
If the
また、異常検出部３３は、ステップ２０４、ステップ２０６、ステップ２１０、及びステップ２１２において否定判断した場合には、処理対象フラグをセットすることなく処理対象フラグ付与処理を終了する。
Further, when the
処理対象フラグに１がセットされているレコードの画像データは、異常検出のための比較処理に適した画像データとして、図７に示す異常検出処理において参照される。 Image data of a record whose processing target flag is set to 1 is referred to in the abnormality detection process shown in FIG. 7 as image data suitable for comparison processing for abnormality detection.
すなわち、本実施形態の処理対象フラグ付与処理においては、以下の条件を満たす撮像画像に対して処理対象フラグ１がセットされる。
That is, in the processing target flag assignment processing of the present embodiment, the
（１）特定文字パターンが正常に認識できる
（２）ボンネット平均輝度が許容範囲内にある
（３）異常を検出する検出対象となる部位が撮像画像の撮像範囲内にある
(1) The specific character pattern can be recognized normally. (2) The bonnet average luminance is within the allowable range. (3) The part to be detected for detecting the abnormality is within the imaging range of the captured image.
なお、条件（２）は、異常検出処理を行う際、安定した撮像条件、日照変化や前方車両の陰影の影響が少ない環境条件下での車両の撮像画像が参照されるようにすることを目的としている。これにより、異常検出の精度が向上する。 Note that the condition (2) is intended to refer to a captured image of a vehicle under a stable imaging condition, an environmental condition with little influence of a change in sunlight and a shadow of a preceding vehicle, when performing abnormality detection processing. It is said. This improves the accuracy of abnormality detection.
ここで具体例を挙げて説明する。例えば、図１０（Ａ）に示すデータ管理テーブルにおいて、レコード０１Ｐ１に示される特定文字パターンが「３３３３」の車両の撮像画像は、特定文字パターン認識時のマッチング度が９０以上と高い。またこの撮像画像のボンネット平均輝度は安定している（輝度の飽和や黒とびがない：本実施形態では５０〜２００の範囲）。従って、日照変化や前方車両の陰影の影響が少ない撮像画像であると判断できる。更に、文字パターン座標、撮像方向、及び撮像画像のサイズ（ここでは撮像画像のサイズは固定としているが、可変でも良い）から、撮像画像範囲内に車両全体が含まれているかを判断し、車両全体が含まれていれば処理対象フラグを付与する。この例では、処理対象フラグが付与されている。
Here, a specific example will be described. For example, in the data management table shown in FIG. 10 (A), the vehicle of the captured image of the specific character pattern "3333" shown in the
なお、ここでは、特定文字パターンのマッチング度が閾値未満であるレコードの画像データには処理対象フラグとして１をセットしない例について説明したが、これに限定しない。例えば、情報処理装置１４において、マッチング度が閾値未満の場合に、認識した文字列を送信データに含めず、文字認識失敗を示す情報を含めて送信するようにしてもよい。この場合、ステップ２０４において否定判断されるため、該当のレコードに処理対象フラグとして１がセットされることはない。また、マッチング度に関わらず、文字認識処理部２５により正常に文字認識処理が終了し、特定文字パターン情報が基本情報ＤＢ３６に記憶されている場合には、特定文字パターンの認識がＯＫであると判断してもよい。
Here, an example in which 1 is not set as the processing target flag in the image data of a record whose matching degree of the specific character pattern is less than the threshold has been described, but the present invention is not limited to this. For example, in the
また、ここではボンネット平均輝度が予め定められた許容範囲外の場合には、処理対象フラグとして１をセットしない例について説明したが、これに限定されない。 Further, here, an example in which 1 is not set as the processing target flag when the bonnet average brightness is outside the predetermined allowable range has been described, but the present invention is not limited to this.
ステップ２０６やステップ２１０の判断を行うほうが、異常検出の精度が上がるが、本処理を行わなくても、後述する異常検出処理では、ボンネット平均輝度の差分が小さい画像データ同士を比較して異常を検出するため、従来に比べて異常検出の精度は上がる。
The determination of
また、ここでは、送信データを受信したときに、処理対象フラグ付与処理が開始される例について説明したが、開始タイミングはこれに限定されるものではない。例えば、送信データを受信したときにはステップ２００の記憶処理のみ行い、それ以降の処理は、例えば、予め定められたタイミングが到来したとき、或いは予め定められた時間が経過する毎に行うようにしてもよい。この場合には、未処理の全レコードを対象として、個別にステップ２０２からステップ２１４の処理を行うものとする。
In addition, although an example has been described here in which the processing target flag assignment process is started when transmission data is received, the start timing is not limited to this. For example, when transmission data is received, only the storage process of
図７は、車両異常管理装置１６により行われる異常検出処理を示すフローチャートである。本異常検出処理は、撮像地点毎に行われる。従って、撮像地点が１００カ所存在する場合には、１００回繰り返されることとなる。これは、車両の撮像方向が同じ撮像画像の画像データ同士を比較する方が、撮像方向が異なるもの同士を比較する場合に比べて異常検出の信頼性が上がるためである。従って、ここでは、同一撮像地点で撮像された撮像画像を対象として、下記の異常検出処理を行うようにしている。
FIG. 7 is a flowchart showing an abnormality detection process performed by the vehicle
ステップ２５０において、異常検出部３３は、基本情報ＤＢ３６に記憶された、ある撮像地点のデータ管理テーブルに、処理対象フラグがセットされ、且つ特定文字パターン情報が同一の複数のレコード（以下、レコード群という）があるか否か判断する。
In
異常検出部３３は、ステップ２５０において肯定判断した場合には、ステップ２５２において、異常検出部３３は、レコード群の中から、撮像日時が最新のレコード（以下、最新レコードという）以外のレコードの１つを比較対象レコードとして設定する。
If the
ステップ２５４において、異常検出部３３は、最新レコードのボンネット平均輝度と、比較対象レコードのボンネット平均輝度との差を算出する。
In
ステップ２５６において、異常検出部３３は、平均輝度の差が予め定められた閾値以下か否かを判断する。ここで平均輝度の差と比較される閾値は、輝度の分布から動的に求めるようにしてもよいし、予め設定されていてもよい。
In
異常検出部３３は、ステップ２５６において肯定判断した場合には、ステップ２５８に進み、最新レコードの画像データと、比較対象レコードの画像データとを画像データＤＢ４３から読み出して、該画像データ同士を比較して差分を抽出する。画像データが圧縮されている場合には、画像データを解凍（展開）した上で比較して差分を抽出する。
If the
なお、基本情報ＤＢ３６にアイリス値など撮像装置１２の撮像条件の設定内容が記憶されている場合には、該設定内容に応じて画像データを補正した後に、画像データ同士の差分を抽出するようにしてもよい。また、ボンネット平均輝度以外の、例えば、特定文字パターンの平均輝度や撮像画像全体の平均輝度が基本情報ＤＢ３６に記憶されている場合には、これらを利用して画像データを補正してから差分抽出を行ってもよい。
When the setting contents of the imaging conditions of the
異常検出部３３は、文字パターン座標と、特定文字パターン領域のサイズとに基づいて、画像データの拡大或いは縮小を行って車両の倍率差が小さくなるように画像処理を行い、更に、位置合わせを行った上で、画像データ同士を比較する。異常検出部３３は、画像データ同士を比較することにより、車両の特定文字パターン領域以外の部位の差分を抽出する。ここで、差分は、例えば、色や輝度の差分だけでなく、形状の変化（エッジ部の位置などの相違）等についても差分として抽出する。なお、差分抽出については一般的な画像処理手法にて実現可能である。以下では、特定文字パターン領域の位置を基準としたときに、差分が抽出された位置に応じて異常種別の分類を行うようにしている。
Based on the character pattern coordinates and the size of the specific character pattern region, the
異常検出部３３は、ステップ２６０において、車両全域で色及び輝度の差分が抽出されたか否かを判断する。異常検出部３３は、ステップ２６０において肯定判断した場合には、ステップ２６２において、基本情報ＤＢ３６のデータ管理テーブルの、グループ群内で、変化点に相当するレコードの異常種別コードに、コードＣをセットする。コードＣは、車両の塗色が変化した或いは車種が変更された等の異常を示すコードである。
In
また、変化点に相当するレコードとは、比較対象レコードとして設定されたレコードより１つ後に撮像された撮像画像のレコードをいう。例えば、レコード群のうち最新レコードの次に新しいレコードを比較対象レコードとして最新レコードと比較し、有意な差分が抽出された場合には、変化点に相当するレコードとして最新レコードに異常種別コードをセットする。また、レコード群のうち、最新レコードより２つ後に撮像されたレコードを比較対象レコードとして最新レコードと比較し、有意な差分が抽出された場合には、最新レコードの次に新しいレコードを変化点に相当するレコードとして異常種別コードをセットする。なお、上記平均輝度の差が閾値より大きいと判断されたレコードが変化点に相当するレコードとされないように処理してもよい。この場合には、異常が検出されたときの比較対象レコードより撮像日時が新しいレコードの中で、最新レコードとの平均輝度の差が閾値以下となった最も古いレコードを変化点のレコードとしてもよい。 Further, the record corresponding to the change point refers to a record of a captured image captured immediately after the record set as the comparison target record. For example, when a new record next to the latest record in the record group is compared with the latest record as a comparison target record and a significant difference is extracted, an abnormal type code is set in the latest record as a record corresponding to the change point. To do. In addition, if a significant difference is extracted from the record group, a record taken after the latest record is compared with the latest record as a comparison target record. An abnormal type code is set as a corresponding record. Note that processing may be performed so that a record for which the difference in average luminance is determined to be greater than the threshold value is not a record corresponding to a change point. In this case, among the records whose imaging date and time is newer than the comparison target record when the abnormality is detected, the oldest record in which the difference in average luminance from the latest record is less than or equal to the threshold value may be used as the change point record. .
なお、ここでは、車両全域で、色の差分として予め定められた色値以上の差分が抽出され、輝度の差分として、予め定められた輝度差以上の差分が抽出された場合に、ステップ２６０で肯定判断される。ここでは、予め定められた閾値未満の小さな色差は差分として抽出されず、例えば、赤系の色から青系の色に変化した等、閾値以上の大きな色差について着目され、差分として抽出される。輝度についても同様である。
Here, in the case where a difference greater than or equal to a predetermined color value is extracted as a color difference and a difference greater than or equal to a predetermined luminance difference is extracted as a luminance difference in the entire vehicle, in
異常検出部３３は、ステップ２６０で否定判断した場合には、ステップ２６４に進む。
If the
ステップ２６４において、異常検出部３３は、車両の特定文字パターン領域の上方であって特定文字パターン領域から予め定められた距離以上離れたボンネット領域に、輝度及びエッジ部の差分が抽出されたか否かを判断する。異常検出部３３は、ステップ２６４で肯定判断した場合には、ステップ２６６において、基本情報ＤＢ３６のデータ管理テーブルの、変化点に相当するレコードの異常種別コードに、コードＢをセットする。コードＢは、車両上部に傷やへこみが生じた等の異常を示すコードである。なお、ここでは、撮像画像のうち、ボンネットが写るボンネット領域に差分が抽出されたか否かを判断したが、ボンネット領域だけでなく車両の屋根の領域まで含めて判断してもよい。
In
異常検出部３３は、ステップ２６４で否定判断した場合には、ステップ２６８に進む。
If the
ステップ２６８において、異常検出部３３は、車両の特定文字パターン領域近傍の領域（特定文字パターン領域から予め定められた範囲内に位置する領域）に、輝度及びエッジ部の差分が抽出されたか否かを判断する。異常検出部３３は、ステップ２６８において肯定判断した場合には、ステップ２７０において、基本情報ＤＢ３６のデータ管理テーブルの、変化点に相当するレコードの異常種別コードに、コードＡをセットする。コードＡは、車両前部に傷やへこみが生じた等の異常を示すコードである。ここでは、特定文字パターン領域が車両前部に位置するものとして処理している。
In
異常検出部３３は、ステップ２６８で否定判断した場合、及びステップ２５６において否定判断した場合には、ステップ２７２に進む。
If the
ステップ２７２において、異常検出部３３は、ステップ２５０で抽出したレコード群のうち、最新のレコード以外の全レコードが比較対象レコードとして設定されたか否かを判断する。異常検出部３３は、ステップ２７２において否定判断した場合には、ステップ２５２に戻り、最新レコード以外のレコードであって、まだ比較対象レコードとして設定されたことがないレコードを１つ選択して、これを比較対象レコードとして設定する。例えば、撮像日時が新しいレコードから古い順に比較対象レコードとして設定する場合には、現在比較対象レコードとして設定されているレコードより１つ前に撮像された撮像画像のレコードを比較対象レコードとして新たに設定する。そして、異常検出部３３は、ステップ２５４から上記説明した処理を繰り返す。
In
異常検出部３３は、ステップ２７２において肯定判断した場合、ステップ２６２の処理終了後、ステップ２６６の処理終了後、及びステップ２７０の処理終了後は、ステップ２５０に戻る。ここで異常検出部３３は、処理対象フラグがセットされ、且つ特定文字パターン情報が同一のレコード群が他にあるか否かを判断する。異常検出部３３は、ステップ２５０で肯定判断した場合には、他のレコード群について、ステップ２５２以降の処理を上記と同様に繰り返す。すなわち、前回のレコード群とは異なる特定文字パターン情報を有するレコード群について、異常検出処理が行われることとなる。このように、図７に示す異常検出処理では、車両毎に異常検出が行われ、異常が検出された場合には、該異常の種別を示す異常種別コードがセットされる。
When the determination in
異常検出部３３は、ステップ２５０において否定判断した場合には、異常検出処理を終了する。
If the
以上説明した処理により、差分が抽出されれば、変化点に相当するレコードに、抽出された差分の位置や状態に応じた異常種別コードがセットされ、差分が抽出されない場合には、異常種別コードは差分なしとして、ブランクのままとされる。 If a difference is extracted by the above-described processing, an abnormality type code corresponding to the position or state of the extracted difference is set in the record corresponding to the change point, and if the difference is not extracted, the abnormality type code Is left blank with no difference.
また、上記異常検出処理において、ボンネット平均輝度の差が閾値以下の画像データ同士を比較して差分を抽出するようにしている。これにより、抽出する差分の信頼度が向上する。 In the abnormality detection process, image data whose bonnet average luminance difference is equal to or less than a threshold value are compared to extract a difference. Thereby, the reliability of the difference to extract improves.
ここで、図１１を参照して、特定文字パターン領域の輝度とボンネット領域の輝度との比較について説明する。 Here, a comparison between the luminance of the specific character pattern region and the luminance of the bonnet region will be described with reference to FIG.
図１１（Ａ）には、天候が曇りであって、太陽光が比較的弱い日照条件で走行中の車両を撮像したときの撮像画像が例示されている。この日照条件下では、車両全体が暗くなる。この撮像画像から検出されたボンネット領域の平均輝度は、１５０となっている。 FIG. 11A illustrates a captured image when a vehicle traveling under a sunshine condition in which the weather is cloudy and the sunlight is relatively weak is captured. Under this sunshine condition, the entire vehicle becomes dark. The average brightness of the bonnet area detected from this captured image is 150.
図１１（Ｂ）には、天候が晴れであって、車両の後方から太陽光が照明されている日照条件下で走行中の車両を撮像したときの撮像画像が例示されている。後方からの日差しにより、特定文字パターン領域（ここではナンバープレート領域）に影ができている。従って、特定文字パターン領域の明るさは、曇りの日と同様に暗いが、ボンネット領域は明るくなっている。この撮像画像から検出されたボンネット領域の平均輝度は、２００となっている。 FIG. 11B illustrates a captured image obtained by capturing an image of a traveling vehicle under sunshine conditions in which the weather is sunny and sunlight is illuminated from the rear of the vehicle. A shadow is formed in the specific character pattern area (here, the license plate area) due to sunlight from behind. Therefore, the brightness of the specific character pattern area is dark like a cloudy day, but the bonnet area is bright. The average brightness of the hood area detected from this captured image is 200.
図１１（Ｃ）には、図１１（Ａ）とほぼ同じ条件の下で車両を撮像したときの撮像画像が例示されている。この撮像画像から検出されたボンネット領域の平均輝度は、１５５となっている。 FIG. 11C illustrates a captured image when a vehicle is imaged under substantially the same conditions as in FIG. The average brightness of the bonnet region detected from this captured image is 155.
図１１（Ａ）に示す撮像画像と図１１（Ｂ）に示す撮像画像とを比較すると、特定文字パターン領域の平均輝度の差は小さくても、天候が晴れと曇りとで日照条件が大きく異なり、ボンネット領域に大きな輝度差が発生している。この２つの撮像画像は、比較して差分を抽出するのに適さない。 When the captured image shown in FIG. 11A is compared with the captured image shown in FIG. 11B, the sunshine conditions differ greatly depending on whether the weather is clear or cloudy even if the difference in average brightness of the specific character pattern region is small. A large luminance difference is generated in the hood area. The two captured images are not suitable for comparing and extracting a difference.
図１１（Ａ）に示す撮像画像と図１１（Ｃ）に示す撮像画像とを比較すると、特定文字パターン領域の平均輝度の差は小さく、ボンネット領域の平均輝度の差も小さい。この２つの撮像画像は、比較して差分を抽出するのに適している。 When the captured image shown in FIG. 11A and the captured image shown in FIG. 11C are compared, the difference in average brightness in the specific character pattern area is small, and the difference in average brightness in the bonnet area is also small. The two captured images are suitable for comparing and extracting a difference.
本例では、アイリスの調整の有無に拘わらず、特定文字パターン領域の平均輝度差が小さい例について説明したが、前述した撮像条件調整部２１により、特定文字パターン領域の平均輝度差が小さくなるように、アイリスが調整されることがある（図１２も参照）。この場合には、特定文字パターン領域の平均輝度は、日照条件が変動してもほぼ一定となるように制御される。なお、これにより、ボンネット領域の平均輝度の差が更に大きくなる場合がある。
In this example, the example in which the average brightness difference in the specific character pattern area is small regardless of whether or not the iris is adjusted has been described. However, the above-described imaging
なお、撮像装置１２の撮像条件の設定（例えば、アイリス値）が同じであっても、周辺の明るさは変化し、また車両の部位毎に明るさが異なるため、アイリス値のみでは同じ条件で撮像されたとはいえない。例えば、アイリス値＝５０で同じ被写体を複数回撮像しても、被写体の輝度の振れ幅が大きい場合がある。また、特定文字パターン領域の輝度に合わせてアイリスのフィードバック制御を行う場合、数フレーム分、アイリス制御が遅延する。従って、ここでは、特定部位（ここではボンネット）の領域の平均輝度を求めて比較して、安定した条件で撮像した複数の撮像画像の画像データ同士を比較するようにしている。
Even if the imaging condition setting (for example, iris value) of the
なお、図７により例示した異常検出処理は、データ管理テーブルに記憶されている全レコードを対象として実施してもよい。また、年月日時分秒等で比較範囲を指定して、比較対象を制限してもよい。すなわち、予め指定された期間に撮像された撮像画像のレコードだけを対象として、上記異常検出処理を行ってもよい。 Note that the abnormality detection process illustrated in FIG. 7 may be performed on all records stored in the data management table. In addition, the comparison target may be limited by designating a comparison range by year / month / day / hour / minute / second or the like. In other words, the abnormality detection process may be performed only on a record of a captured image captured during a predesignated period.
また、異常検出処理を、予め定められた時間が経過する毎（例えば、１２時間毎、１日毎、或いは１週間毎など）に行うようにしてもよい。また、異常検出処理を、予め定められたタイミングが到来したとき（例えば、毎月１０日の午後１２時が到来したとき、或いは予め定められたレコード数がデータ管理テーブルに記憶されたとき等）に行うようにしてもよい。 The abnormality detection process may be performed every time a predetermined time elapses (for example, every 12 hours, every day, or every week). In addition, the abnormality detection process is performed when a predetermined timing arrives (for example, when 12:00 pm on the 10th of every month arrives, or when a predetermined number of records is stored in the data management table). You may make it perform.
また、前回異常検出処理を実行したときに比較対象として設定されたレコードを除外して異常検出処理を行ってもよい。また、新たにレコードが記憶される毎に、異常検出処理を実行してもよい。また、データ管理テーブルにレコードを記憶してから予め定められた時間が経過したときに、該記憶したレコードを削除するようにしてもよい。 Further, the abnormality detection process may be performed by excluding the record set as the comparison target when the abnormality detection process was executed last time. Moreover, you may perform an abnormality detection process whenever a record is newly memorize | stored. Further, the stored record may be deleted when a predetermined time has elapsed since the record was stored in the data management table.
また、ここでは、最新レコードとそれ以外のレコードとを比較して異常を検出するようにしたが、これに限定されない。例えば、レコード群として抽出された複数のレコードの各々と、各レコードに対して撮像日時が１つ後となるレコードとを比較して差分を抽出してもよい。なお、この場合において、平均輝度の差が閾値未満とならなかった場合には、各レコードに対して２つ後に撮像された撮像画像のレコードと比較すればよい。 Here, the latest record and other records are compared to detect an abnormality, but the present invention is not limited to this. For example, a difference may be extracted by comparing each of a plurality of records extracted as a record group with a record having the next imaging date and time for each record. In this case, if the difference in average luminance does not become less than the threshold value, it may be compared with the record of the captured image captured two times later for each record.
なお、ここでは異常種別を、車両全域異常（コードＣ）、車両上部異常（コードＢ）、及び車両前部異常（コードＡ）の３種類としたが、これに限定されない。例えば、車両前部右側異常、車両前部左側異常等、異常の種別を更に細分化しても良い。 Here, although there are three types of abnormality, that is, the vehicle entire region abnormality (code C), the vehicle upper portion abnormality (code B), and the vehicle front portion abnormality (code A), the present invention is not limited to this. For example, the type of abnormality such as a vehicle front right side abnormality or a vehicle front left side abnormality may be further subdivided.
上記異常検出処理について、図１０を参照しながら具体例を挙げて説明する。図１０（Ａ）は、撮像地点０１で撮像された撮像画像のデータ管理テーブルである。このデータ管理テーブルにおいて、例えば、特定文字パターンが３３３３であって、処理対象フラグとして１がセットされているレコードは、レコード０１Ｐ１、レコード０１Ｐ２の２つである。両者は、ボンネット平均輝度の差が小さい（例えば、輝度差１０％以内）に該当するため異常検出の際の比較処理の対象となりうる。前述したように、データ管理テーブルは、撮像日時をキーとして昇順に並んでいるため、レコード０１Ｐ２が最新レコードとなる。ここで、異常検出部３３は、レコード０１Ｐ１の画像情報「ＡＢＣ０３」の画像データと、レコード０１Ｐ２の画像情報「ＡＢＣ１１」の画像データとを比較する。この比較により、車両前部異常が検出されたとすると、変化点に相当するレコード０１Ｐ２の異常種別コードにコードＡがセットされる。
The abnormality detection process will be described with a specific example with reference to FIG. FIG. 10A is a data management table for a captured image captured at the
また、このデータ管理テーブルにおいて、例えば、特定文字パターンが２２２２であって、処理対象フラグとして１がセットされているレコードは、レコード０１Ｓ１、レコード０１Ｓ２の２つである。ボンネット平均輝度は互いに等しい。２つのレコードのうち、最新レコードはレコード０１Ｓ２である。ここで、異常検出部３３は、レコード０１Ｓ１の画像情報「ＡＢＣ０５」の画像データと、レコード０１Ｓ２の画像情報「ＡＢＣ１６」の画像データとを比較する。この比較により、車両上部異常が検出されたとすると、変化点に相当するレコード０１Ｓ２の異常種別コードにコードＢがセットされる。
In this data management table, for example, there are two
図１０（Ｂ）は、撮像地点０２で撮像された撮像画像のデータ管理テーブルである。このデータ管理テーブルにおいて、例えば、特定文字パターンが３３３３であって、処理対象フラグとして１がセットされているレコードは、レコード０２Ｐ１、レコード０２Ｐ２の２つである。このうち、最新レコードはレコード０２Ｐ２である。ここで、異常検出部３３は、レコード０２Ｐ１の画像情報「ＤＥＦ０３」の画像データと、レコード０２Ｐ２の画像情報「ＤＥＦ１１」の画像データとを比較する。この比較により、車両前部異常が検出されたとすると、変化点に相当するレコード０２Ｐ２の異常種別コードにコードＡがセットされる。
FIG. 10B is a data management table for a captured image captured at the
また、このデータ管理テーブルにおいて、例えば、特定文字パターンが９９９９であって、処理対象フラグとして１がセットされているレコードは、レコード０２Ｒ１、レコード０２Ｒ２の２つである。上記と同様に、異常検出部３３は、レコード０２Ｒ１とレコード０２Ｒ２の画像データ同士を比較する。この比較により車両全域異常が検出されたとすると、変化点に相当するレコード０２Ｒ２の異常種別コードにコードＣがセットされる。
In this data management table, for example, there are two
なお、異常検出処理は、特定文字パターン情報により特定される車両毎に行われる（図７のステップ２５０も参照）ため、上記以外の他の特定文字パターン情報のレコード群についても、上記と同様に実行される。そして、異常検出処理により異常が検出されなかった場合には、異常種別コードはブランクのままとされる。 Since the abnormality detection process is performed for each vehicle specified by the specific character pattern information (see also step 250 in FIG. 7), the record group of other specific character pattern information other than the above is also the same as described above. Executed. If no abnormality is detected by the abnormality detection process, the abnormality type code is left blank.
なお、ここでは、差分を抽出することで、異常の検出を行っているため、車両に傷やへこみなどが生じたとき、及び該傷やへこみ等が消失したときの両方の状態が、異常として検出されることになる。従って、変化点に相当するレコードの撮像日時を傷等が発生・消滅した日時として捉えれば、傷等が発生した日時や、傷等が消失した日時の管理も可能となる。 Here, since the abnormality is detected by extracting the difference, both the state when the vehicle is scratched or dented, and when the scratch or the dent disappears are regarded as abnormal. Will be detected. Therefore, if the imaging date and time of the record corresponding to the change point is regarded as the date and time when a scratch or the like has occurred or disappeared, the date and time when the scratch or the like has occurred or the date and time when the scratch or the like disappeared can be managed.
また、ここでは、変化点に相当するレコードに異常種別コードを付与する例について説明したが、これに限定されず、例えば、変化点に相当するレコード及び該レコードより後に撮像された撮像画像のレコードに対して異常種別コードを付与してもよい。この場合、次に新たな異常が検出されるまで、同じ異常種別コードが付与され続けるようにしてもよい。 In addition, here, an example in which an abnormality type code is assigned to a record corresponding to a change point has been described. However, the present invention is not limited to this. For example, a record corresponding to a change point and a record of a captured image captured after the record An abnormality type code may be assigned to the. In this case, the same abnormality type code may be continuously given until a new abnormality is detected next time.
図８は、車両異常管理装置１６により行われる重み付け付与処理を示すフローチャートである。本重み付け付与処理は、予め定められたタイミングが到来したとき、或いは予め定められた時間が経過する毎に行われる。ここでは、重み付け付与処理を毎日定刻（例えば０時）に開始し、重み付け付与対象を、処理開始時刻から２４時間遡った時刻までの期間に撮像されたレコードに限定する場合を例に挙げて説明する。
FIG. 8 is a flowchart showing the weighting process performed by the vehicle
ステップ３００において、重み付け付与部３４は、基本情報ＤＢ３６から１つのデータ管理テーブルを選択し、該データ管理テーブルから異常種別コードが付与されたレコードを探索する。
In
ステップ３０２において、重み付け付与部３４は、データ管理テーブルに異常種別コードが付与されたレコードがあったか否かを判断する。重み付け付与部３４は、ステップ３０２において否定判断した場合には、ステップ３００に戻り、基本情報ＤＢ３６から別のデータ管理テーブルを選択して、該新たに選択したデータ管理テーブルから異常種別コードが付与されたレコードを探索する。
In
重み付け付与部３４は、異常種別コードが付与されたレコードが見つかるまで、ステップ３００及びステップ３０２の探索処理を繰り返す。重み付け付与処理が毎日定刻に行われていることから、この探索処理では、処理開始時刻から２４時間遡った時刻までの期間に撮像されたレコードを探索対象とするが、探索対象をこれに限定するものではない。
The
重み付け付与部３４は、ステップ３０２において肯定判断した場合には、ステップ３０４において、該探索されたレコードと同じ特定文字パターン情報を有する１日分のレコードを抽出する。ここでは、全撮像地点のデータ管理テーブルから該特定の文字パターン情報を有するレコードが抽出される。
If an affirmative determination is made in
ステップ３０６において、重み付け付与部３４は、１日分のレコードのうち、異常種別コードが付与されている最も古いレコード（以下、最古レコードという）の撮像時刻及び撮像地点を記録する。
In
ステップ３０８において、重み付け付与部３４は、１日分のレコードから、撮像地点毎に、撮像時刻が最古レコードの撮像時刻以降のレコードの中で最も古いレコードを抽出する。この抽出処理では、レコードに異常種別コードが付与されているか否かは考慮されない。また、この抽出処理では、最古レコードの撮像地点は除外される。もちろん、上記特定文字パターン情報により特定される車両が、最古レコードの撮像時刻以降一度も通過しなかった撮像地点については、レコードは抽出されない。
In
重み付け付与部３４は、ステップ３０８において抽出したレコードと、ステップ３０６で抽出した最古レコードとを処理対象として、ステップ３１０以降の処理を行う。以下、ステップ３０８において抽出したレコード、及びステップ３０６で抽出した最古レコードの集合を対象レコード群という。
The
ステップ３１０において、重み付け付与部３４は、全撮像地点で異常が発生したか否かを判断する。全撮像地点とは、対象レコード群に含まれる各レコードの撮像地点の全てをいう。異常が発生したか否かの判断は、抽出したレコードの異常種別コードを参照すればよい。
In
重み付け付与部３４はステップ３１０において肯定判断した場合には、ステップ３１２において、各レコードの異常種別が同じか否か判断する。重み付け付与部３４は、ステップ３１２において肯定判断した場合には、ステップ３１４において、対象レコード群の各レコードにランクに１をセットする。また、重み付け付与部３４は、ステップ３１２において否定判断した場合には、ステップ３１６において、対象レコード群の各レコードにランクに２をセットする。
If the
ここでは、多くの異なる地点で同じ異常種別が検出されている場合は信頼度が高いとしてランク１、異常種別は異なるが、多くの異なる地点で異常が検出されている場合はランク２とし、異常種別及び異常の検出地点数に応じてランクを付与している。
Here, when the same abnormality type is detected at many different points, the reliability is high,
また、重み付け付与部３４はステップ３１０において否定判断した場合には、ステップ３１８において、撮像地点の過半数で異常が発生したか否かを判断する。ここでは、上記対象レコード群の全レコードのうち、過半数に何らかの異常種別コードが付与されていれば肯定判断され、異常種別コードが付与されているレコード数が半数以下である場合には、否定判断される。
If the
重み付け付与部３４は、ステップ３１８において肯定判断した場合には、ステップ３２０において、該過半数のレコードの異常種別が同じか否か判断する。重み付け付与部３４は、ステップ３２０において肯定判断した場合には、ステップ３２２において、基本情報ＤＢ３６の該異常が検出された過半数のレコードにランクに３をセットする。また、重み付け付与部３４は、ステップ３２０において否定判断した場合には、ステップ３２４において、基本情報ＤＢ３６の該異常が検出された過半数のレコードにランクに４をセットする。
If the affirmative determination is made in
また、重み付け付与部３４はステップ３１８において否定判断した場合には、ステップ３２６において、異常が検出されたレコードの全ての異常種別が同じか否かを判断する。重み付け付与部３４は、ステップ３２６において肯定判断した場合には、ステップ３２８において、基本情報ＤＢ３６の異常が検出されたレコードの全てにランクに５をセットする。
If the
重み付け付与部３４は、ステップ３１４、３１６、３２２、３２４、及び３２６の後、及びステップ３２６において否定判断した場合には、ステップ３３０に進む。
The
ステップ３３０において、重み付け付与部３４は、１日分の全異常種別コードについて処理済みか否か判断する。例えば、異常種別コードが付与されているレコードに、上記ステップ３００から３０２において既に探索されたレコードと異なる特定文字パターン情報を有するレコードが存在する場合には、ステップ３３０において否定判断される。
In
重み付け付与部３４は、ステップ３３０において否定判断した場合には、ステップ３００に戻り、既に探索されたレコードと異なる特定文字パターン情報を有するレコードから、異常種別コードが付与されたレコードを探索する。これ以降の処理は上記と同様に行えばよいため、説明を省略する。
If a negative determination is made in
また、重み付け付与部３４は、ステップ３３０において肯定判断した場合には、重み付け付与処理を終了する。
If the
車両異常管理システム１０において、複数地点に撮像装置１２を設置して運用するため、同一特定文字パターン情報の車両が様々な撮像地点を走行し撮像される。ところが、撮像条件や撮像環境、画像処理によっては誤って異常が検出される可能性もある。そこで、本実施形態では、複数地点で撮像された撮像画像から、検出された異常の信頼度を示す重み付け情報として、１〜５までのランクを付与することとした。本実施形態では、ランクの数字が小さいほど、検出された異常の信頼度が高いものとする。なお、本実施形態では、異常が検出されたレコードにランクが何も付与されない場合には、ランク１〜５の何れかが付与された異常よりも信頼度が低い重み付け情報が付与されているとみなす。
In the vehicle
以上説明した処理により、例えば、図１０（Ａ）、（Ｂ）に示すように、ランクが付与される。 By the process described above, for example, ranks are given as shown in FIGS. 10 (A) and 10 (B).
これのように、本実施形態の重み付け付与処理では、異常が検出された車両の異常に対して、異常が検出された撮像地点の数が多いほど、且つ異常の種別が等しい撮像地点の数が多いほど高い重み付け情報が付与される。 As described above, in the weighting process according to the present embodiment, as the number of imaging points where an abnormality is detected increases with respect to the abnormality of the vehicle in which the abnormality is detected, the number of imaging points having the same abnormality type increases. Higher weighting information is given as the number increases.
なお、ステップ３１０において、全撮像地点数で異常が検出されたか否かを判断する例について説明したが、異常が検出された撮像地点の数が予め定められた数αより多いか否かを判断するようにしてもよい。またステップ３１８において、撮像地点の過半数で異常が検出されたか否かを判断する例について説明したが、異常が検出された撮像地点の数が予め定められた数β（ただし、α＞β）より多いか否かを判断するようにしてもよい。
In addition, although the example which judges whether abnormality was detected in all the imaging points number in
また、ステップ３１８で否定判断された後、異常が検出された撮像地点の数が予め定められた数γ（ただし、β＞γ）より多いか否かを判断して、それらの異常種別が同じであればランク５をセットし、異なればランク５より低いランクをセットしてもよい。
Further, after a negative determination is made in
すなわち、図８において例示した重み付け付与処理は、一例であって、これに限定されるものではない。異常が検出された撮像地点の数が多いほど、且つ異常の種別が等しい撮像地点の数が多いほど高い重み付け情報が付与されるように処理すればよい。 That is, the weighting process illustrated in FIG. 8 is an example, and the present invention is not limited to this. Processing may be performed so that higher weighting information is given as the number of imaging points where an abnormality is detected increases and as the number of imaging points with the same abnormality type increases.
図９は、車両異常管理装置１６により行われる異常報知処理を示すフローチャートである。本異常報知処理は、予め定められたタイミングが到来したとき（例えば、重み付け付与処理が終了したとき実施、毎日定刻に１回実施、等）、或いは予め定められた時間が経過する毎等に行われる。
FIG. 9 is a flowchart showing an abnormality notification process performed by the vehicle
ステップ３５０において、異常報知部３５は、基本情報ＤＢ３６から特定文字パターン情報別に、異常種別コードが付与されたレコードを読み出す。
In step 350, the
ステップ３５２において、異常報知部３５は、上記読み出したレコードを、ランクに応じて、異常車両情報ＤＢ３７に記憶する。例えば、ランク毎に異常管理テーブルを用意し、ランクが等しいレコード群を共通の異常管理テーブルに記憶するようにしてもよい。また、ここでは、ランクに応じて異常車両情報ＤＢ３７に記憶する例について説明したが、異常種別に応じて異常車両情報ＤＢ３７に記憶するようにしてもよい。
In
異常が検出されたレコードのみを記憶する異常車両情報ＤＢ３７を作成することで、異常が検出された車両を迅速に検索でき、更に又、基本情報ＤＢ３６から異常検出済みのデータを削減できるため、必要な記憶容量の抑制につながる。例えば、基本情報ＤＢ３６には、直近数ヶ月のデータのみ保存等も可能である。
Necessary because an abnormal
ステップ３５４において、異常報知部３５は、異常車両情報ＤＢ３７に記憶したレコードを参照し、レコードに付与されているランクに応じたアラームを表示装置１８に出力する。例えば、特定文字パターン情報、異常種別コード、ランク、撮像日時、及び撮像画像の画像データを表示装置１８に出力して、表示装置１８に特定文字パターン情報、異常種別、ランク、撮像日時、及び撮像画像が表示されるようにしてもよい。撮像画像を表示することで、利用者は目視で異常を確認できる。また、異常発生前後の撮像画像が表示されるように、異常発生前後の撮像画像の画像データの各々を表示装置１８に出力するようにしてもよい。
In
また、ランクに応じて表示方法を相違させるようにしてもよい。例えば、ランクが予め定められた閾値以上の異常については、撮像画像が表示され、ランクがそれより低いものについては、撮像画像が表示されないようにしてもよい。これにより、信頼度の高い異常車両の情報から効率的に目視確認が行える効果もある。 Moreover, you may make it make a display method differ according to a rank. For example, a captured image may be displayed for an abnormality whose rank is equal to or higher than a predetermined threshold, and a captured image may not be displayed for a rank lower than that. Thereby, there is also an effect that the visual confirmation can be efficiently performed from the information of the abnormal vehicle having high reliability.
また、ランクが高いほど（信頼度が高いほど）、アラームを表わす文字等が大きく表示されるようにしてもよい。また、ランクが低い異常については、アラームを出力しないようにしてもよい。また、異常車両情報ＤＢ３７に記憶されているレコードから前回以前にアラームを出力したレコードを除外してアラームを出力するようにしてもよい。また、ランクに応じて音量を相違させた警報音を出力するようにしてもよい。更にまた、ランクに応じて音の種類を相違させた警報音を出力するようにしてもよい。
Also, the higher the rank (the higher the reliability), the larger the characters representing the alarm may be displayed. Further, an alarm may not be output for an abnormality with a low rank. Further, the alarm may be output by excluding the record that output the alarm before the previous time from the record stored in the abnormal
このように、ランクに応じたアラームを出力することで、利用者は、異常の発生、その異常の種別、及び信頼度を把握できる。 In this way, by outputting an alarm corresponding to the rank, the user can grasp the occurrence of the abnormality, the type of the abnormality, and the reliability.
なお、ステップ３５２において、レコードが異常種別毎の異常管理テーブルに記憶された場合には、ステップ３５４において、異常種別に応じたアラームを出力するようにしてもよい。
In
以上説明したように、本実施形態によれば、車両の異常箇所（車両前面、ボンネット付近、全体、他）の特定が可能であり、異常車両の検出精度が向上する。更に又、上記のように異常を検出し、重み付け処理を行うことで、膨大な画像データから、必要な画像データ、及び特定文字パターン情報の簡易な抽出が可能となる。また、重み付けに応じたアラームを通知することも可能となり、異常候補車両の容易な監視システムが実現できる。 As described above, according to the present embodiment, it is possible to identify an abnormal location of the vehicle (the front surface of the vehicle, the vicinity of the hood, the whole, etc.), and the detection accuracy of the abnormal vehicle is improved. Furthermore, by detecting an abnormality as described above and performing weighting processing, it is possible to easily extract necessary image data and specific character pattern information from a large amount of image data. In addition, it is possible to notify an alarm according to the weighting, and an easy monitoring system for an abnormal candidate vehicle can be realized.
更に、上記では車両異常管理プログラムが第１記憶部５５に記憶されている態様を説明したが、車両異常管理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の可搬型の記録媒体に記録されている形態で提供することも可能である。また、画像データ蓄積プログラムが第１記憶部６４に記憶されている態様を説明したが、画像データ蓄積プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の可搬型の記録媒体に記録されている形態で提供することも可能である。
Furthermore, although the aspect in which the vehicle abnormality management program is stored in the
また、本実施形態では、車両異常管理装置１６を管理サーバ３０及び画像データ蓄積サーバ４０により構成する例について説明したが、画像データ蓄積サーバ４０の機能を管理サーバ３０に統合し、１つのサーバで車両異常管理装置１６を構成するようにしてもよい。この場合には、上記画像データ蓄積サーバ４０のデータ蓄積部４２及び画像データＤＢ４３を、管理サーバ３０内に設ければよい。
Further, in the present embodiment, the example in which the vehicle
なお、車両異常管理装置１６の管理サーバ３０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能であり、管理サーバ３０の各機能部は例えば電子回路等で実現することも可能である。画像データ蓄積サーバ４０の機能を管理サーバ３０に統合して車両異常管理装置１６を構成した場合には、車両異常管理装置１６は、例えば半導体集積回路（ＡＳＩＣ等）で実現でき、車両異常管理装置１６の各機能部は例えば電子回路等で実現することもできる。
The
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。 All documents, patent applications and technical standards mentioned in this specification are to the same extent as if each individual document, patent application and technical standard were specifically and individually stated to be incorporated by reference. Incorporated by reference in the book.
以上の実施形態に関し、更に以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.
（付記１）
異なる撮像地点における画像データを入力し、車両および前記車両を特定する特定文字パターンの表示部位を認識する表示部位認識部と、
前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力部と、
前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出部と、
撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出部と、
検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与部と、
を備えた車両異常管理装置（１、図２、図７、図８）。
(Appendix 1)
A display part recognition unit that inputs image data at different imaging points and recognizes a display part of a vehicle and a specific character pattern that identifies the vehicle;
An identification information output unit for outputting the identification information of the vehicle by character recognition of the display part;
A calculation unit that calculates a luminance index value of a specific part region that is a specific part excluding the display part of the vehicle of the image data;
When there are a plurality of the image data in which the imaging point and the identification information match and the difference in the brightness index value is within a certain range, the abnormality of the vehicle corresponding to the identification information based on the plurality of image data An anomaly detector that detects the presence and type of an anomaly;
A weighting assigning unit that assigns weighting information related to the reliability of the abnormality according to the number of imaging points where the abnormality is detected and the type of abnormality for the detected abnormality of the vehicle,
A vehicle abnormality management device (1, FIG. 2, FIG. 7, FIG. 8).
（付記２）
前記異常検出部は、前記輝度指標値が予め定められた範囲内の画像データであって、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する
付記１に記載の車両異常管理装置（２）。
(Appendix 2)
The abnormality detection unit is image data in which the luminance index value is within a predetermined range, the imaging point and the identification information match, and the difference between the luminance index values is within a certain range. The vehicle abnormality management device (2) according to
（付記３）
前記重み付け付与部は、検出された前記車両の異常に対して、異常が検出された撮像地点の数が多いほど、且つ異常の種別が等しい撮像地点の数が多いほど、異常の信頼度を高くした重み付け情報を付与する
付記１又は付記２に記載の車両異常管理装置（３）。
(Appendix 3)
The weighting unit increases the reliability of the abnormality as the number of imaging points where the abnormality is detected and the number of imaging points having the same abnormality type is larger with respect to the detected abnormality of the vehicle. The vehicle abnormality management device (3) according to
（付記４）
前記異常検出部は、前記複数の画像データ同士を比較し、差分が生じている部位の前記表示部位に対する位置に応じて異常の種別を検出する
付記１〜付記３の何れか１項記載の車両異常管理装置（４）。
(Appendix 4)
4. The vehicle according to
（付記５）
検出された前記車両の異常を、前記付与された重み付け情報に応じて報知する報知手段を更に設けた
付記１〜付記４の何れか１項記載の車両異常管理装置（５）。
(Appendix 5)
The vehicle abnormality management device (5) according to any one of
（付記６）
異なる撮像地点に設置された複数の撮像装置の各々に対応して設けられた複数の情報処理装置であって、対応する撮像装置により撮像された画像データを取得する取得部、および取得された画像データを送信する送信部を含む複数の情報処理装置と、
前記送信された異なる撮像地点における画像データを入力し、車両および前記車両を特定する特定文字パターンの表示部位を認識する表示部位認識部、前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力部、前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出部、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出部、並びに、検出された前記車両の異常に対して、前記異常が検出された撮像地点の数および前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与部を含む車両異常管理装置と、
を有する車両異常管理システム（６）。
(Appendix 6)
A plurality of information processing devices provided corresponding to each of a plurality of imaging devices installed at different imaging points, an acquisition unit that acquires image data captured by the corresponding imaging device, and an acquired image A plurality of information processing devices including a transmission unit for transmitting data;
The transmitted image data at different imaging points is input, and a display part recognition unit that recognizes a display part of the vehicle and a specific character pattern that identifies the vehicle, and the identification information of the vehicle is output by character recognition of the display part. An identification information output unit, a calculation unit that calculates a luminance index value of a specific part region that is a specific part excluding the display part of the vehicle of the image data, the imaging point and the identification information match, and When there are a plurality of the image data whose brightness index value difference is within a certain range, an abnormality detection unit that detects the presence / absence of the abnormality of the vehicle corresponding to the identification information and the type of abnormality based on the plurality of image data, In addition, for the detected abnormality of the vehicle, weighting information related to the reliability of the abnormality is determined according to the number of imaging points where the abnormality is detected and the type of the abnormality. A vehicle abnormality management apparatus including a weighting imparting unit for imparting,
Vehicle abnormality management system (6) having
（付記７）
異なる撮像地点に設置された複数の撮像装置の各々に対応して設けられた複数の情報処理装置であって、対応する撮像装置により撮像された画像データを取得する取得部、前記画像データから、車両および前記車両を特定する特定文字パターンの表示部位を認識する表示部位認識部、前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力部、前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出部、並びに、前記画像データ、前記識別情報及び前記輝度指標値を送信する送信部を含む複数の情報処理装置と、
前記送信された異なる撮像地点における画像データ、識別情報、及び輝度指標値を入力し、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出部、並びに、検出された前記車両の異常に対して、前記異常が検出された撮像地点の数および前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与部を含む車両異常管理装置と、
を有する車両異常管理システム（７）。
(Appendix 7)
A plurality of information processing devices provided corresponding to each of a plurality of imaging devices installed at different imaging points, an acquisition unit that acquires image data captured by the corresponding imaging device, from the image data, A display part recognition unit for recognizing a vehicle and a display part of a specific character pattern for specifying the vehicle, an identification information output unit for outputting the vehicle identification information by character recognition of the display part, and the image data of the vehicle A plurality of information processing apparatuses including: a calculation unit that calculates a luminance index value of a specific part region that is a specific part excluding a display part; and a transmission unit that transmits the image data, the identification information, and the luminance index value ,
The transmitted image data, identification information, and luminance index value at different imaging points are input, the imaging point and the identification information match, and the difference between the luminance index values is within a certain range. When there are a plurality, the abnormality detection unit that detects the presence / absence of the abnormality of the vehicle corresponding to the identification information and the type of abnormality based on the plurality of image data, and the abnormality with respect to the detected abnormality of the vehicle A vehicle abnormality management device that includes a weighting assigning unit that assigns weighting information related to the reliability of the abnormality according to the number of imaging points where the abnormality is detected and the type of abnormality,
Vehicle abnormality management system (7) having
（付記８）
前記異常検出部は、前記輝度指標値が予め定められた範囲内の画像データであって、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する
付記６又は付記７に記載の車両異常管理システム。
(Appendix 8)
The abnormality detection unit is image data in which the luminance index value is within a predetermined range, the imaging point and the identification information match, and the difference between the luminance index values is within a certain range. The vehicle abnormality management system according to appendix 6 or appendix 7, wherein when there is a plurality of data, the presence / absence and type of abnormality of the vehicle corresponding to the identification information is detected based on the plurality of image data.
（付記９）
前記重み付け付与部は、検出された前記車両の異常に対して、異常が検出された撮像地点の数が多いほど、且つ異常の種別が等しい撮像地点の数が多いほど、異常の信頼度を高くした重み付け情報を付与する
付記６〜付記８の何れか１項記載の車両異常管理システム。
(Appendix 9)
The weighting unit increases the reliability of the abnormality as the number of imaging points where the abnormality is detected and the number of imaging points having the same abnormality type is larger with respect to the detected abnormality of the vehicle. The vehicle abnormality management system according to any one of appendix 6 to appendix 8, wherein the weighted information is assigned.
（付記１０）
前記異常検出部は、前記複数の画像データ同士を比較し、差分が生じている部位の前記表示部位に対する位置に応じて異常の種別を検出する
付記６〜付記９の何れか１項記載の車両異常管理システム。
(Appendix 10)
The vehicle according to any one of appendix 6 to
（付記１１）
検出された前記車両の異常を、前記付与された重み付け情報に応じて報知する報知手段を更に設けた
付記１〜付記１０の何れか１項記載の車両異常管理システム。
(Appendix 11)
The vehicle abnormality management system according to any one of
（付記１２）
異なる撮像地点における画像データを入力し、車両および前記車両を特定する特定文字パターンの表示部位を認識する表示部位認識ステップと、
前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力ステップと、
前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出ステップと、
撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出ステップと、
検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与ステップと、
を含む車両異常管理方法（８）。
(Appendix 12)
A display part recognition step for inputting image data at different imaging points and recognizing a display part of the vehicle and a specific character pattern for identifying the vehicle;
An identification information output step of outputting identification information of the vehicle by character recognition of the display part;
A calculation step of calculating a luminance index value of a specific part region which is a specific part excluding the display part of the vehicle of the image data;
When there are a plurality of the image data in which the imaging point and the identification information match and the difference in the brightness index value is within a certain range, the abnormality of the vehicle corresponding to the identification information based on the plurality of image data An anomaly detection step for detecting the presence or absence and the type of anomaly;
A weighting step of assigning weighting information related to the reliability of the abnormality to the detected abnormality of the vehicle according to the number of imaging points where the abnormality is detected and the type of the abnormality,
Vehicle abnormality management method (8) including:
（付記１３）
前記異常検出ステップでは、前記輝度指標値が予め定められた範囲内の画像データであって、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する
付記１２に記載の車両異常管理方法。
(Appendix 13)
In the abnormality detection step, the luminance index value is image data within a predetermined range, the imaging point and the identification information match, and the difference between the luminance index values is within a certain range. The vehicle abnormality management method according to
（付記１４）
前記重み付け付与ステップでは、検出された前記車両の異常に対して、異常が検出された撮像地点の数が多いほど、且つ異常の種別が等しい撮像地点の数が多いほど、異常の信頼度を高くした重み付け情報を付与する
付記１２又は付記１３に記載の車両異常管理方法。
(Appendix 14)
In the weighting step, the reliability of the abnormality is increased as the number of imaging points where the abnormality is detected and the number of imaging points having the same abnormality type is larger with respect to the detected abnormality of the vehicle. The vehicle abnormality management method according to
（付記１５）
前記異常検出ステップでは、前記複数の画像データ同士を比較し、差分が生じている部位の前記表示部位に対する位置に応じて異常の種別を検出する
付記１２〜付記１４の何れかに記載の車両異常管理方法。
(Appendix 15)
In the abnormality detection step, the plurality of image data are compared with each other, and the type of abnormality is detected according to the position of the part where the difference occurs with respect to the display part. Management method.
（付記１６）
検出された前記車両の異常を、前記付与された重み付け情報に応じて報知する報知ステップを更に含む
付記１２〜付記１５の何れかに記載の車両異常管理方法。
(Appendix 16)
The vehicle abnormality management method according to any one of
（付記１７）
コンピュータに、
異なる撮像地点における画像データを入力し、車両および前記車両を特定する特定文字パターンの表示部位を認識する表示部位認識ステップと、
前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力ステップと、
前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出ステップと、
撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出ステップと、
検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与ステップと、
を含む処理を実行させるためのプログラム（９）。
(Appendix 17)
On the computer,
A display part recognition step for inputting image data at different imaging points and recognizing a display part of the vehicle and a specific character pattern for identifying the vehicle;
An identification information output step of outputting identification information of the vehicle by character recognition of the display part;
A calculation step of calculating a luminance index value of a specific part region which is a specific part excluding the display part of the vehicle of the image data;
When there are a plurality of the image data in which the imaging point and the identification information match and the difference in the brightness index value is within a certain range, the abnormality of the vehicle corresponding to the identification information based on the plurality of image data An anomaly detection step for detecting the presence or absence and the type of anomaly;
A weighting step of assigning weighting information related to the reliability of the abnormality to the detected abnormality of the vehicle according to the number of imaging points where the abnormality is detected and the type of the abnormality,
A program (9) for executing processing including:
（付記１８）
前記異常検出ステップでは、前記輝度指標値が予め定められた範囲内の画像データであって、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する
付記１７に記載のプログラム。
(Appendix 18)
In the abnormality detection step, the luminance index value is image data within a predetermined range, the imaging point and the identification information match, and the difference between the luminance index values is within a certain range. The program according to claim 17, wherein when there are a plurality of data, the presence / absence and type of abnormality of the vehicle corresponding to the identification information is detected based on the plurality of image data.
（付記１９）
前記重み付け付与ステップでは、検出された前記車両の異常に対して、異常が検出された撮像地点の数が多いほど、且つ異常の種別が等しい撮像地点の数が多いほど、異常の信頼度を高くした重み付け情報を付与する
付記１７又は付記１８に記載のプログラム。
(Appendix 19)
In the weighting step, the reliability of the abnormality is increased as the number of imaging points where the abnormality is detected and the number of imaging points having the same abnormality type is larger with respect to the detected abnormality of the vehicle. The program according to appendix 17 or
（付記２０）
前記異常検出ステップでは、前記複数の画像データ同士を比較し、差分が生じている部位の前記表示部位に対する位置に応じて異常の種別を検出する
付記１７〜付記１９の何れかに記載のプログラム。
(Appendix 20)
The program according to any one of Supplementary Note 17 to
（付記２１）
前記コンピュータに実行させるための処理は、
検出された前記車両の異常を、前記付与された重み付け情報に応じて報知する報知ステップを更に含む
付記１７〜付記１９の何れかに記載のプログラム。
(Appendix 21)
The process for causing the computer to execute is as follows:
The program according to any one of supplementary notes 17 to 19, further comprising a notification step of notifying the detected abnormality of the vehicle according to the assigned weighting information.
１０ 車両異常管理システム
１２ 撮像装置
１４ 情報処理装置
１６ 車両異常管理装置
１８ 表示装置
２１ 撮像条件調整部
２２ 画像データ取得部
２３ フレームメモリ
２５ 文字認識処理部
２６ 輝度算出処理部
２７ 送信データ生成部
２８ 送受信部
３０ 管理サーバ
３１ 送受信部
３２ 記憶処理部
３３ 異常検出部
３４ 重み付け付与部
３５ 異常報知部
３６ 基本情報ＤＢ
３７ 異常車両情報ＤＢ
４０ 画像データ蓄積サーバ
４１ 送受信部
４２ データ蓄積部
４３ 画像データＤＢ
５０ コンピュータ
５１ ＣＰＵ
５５ 第１記憶部
５６ メモリ
５７ 第２記憶部
５９ 車両異常管理プログラム
６０ コンピュータ
６１ ＣＰＵ
６４ 第１記憶部
６５ メモリ
６６ 第２記憶部
６８ 画像データ蓄積プログラム
DESCRIPTION OF
37 Abnormal vehicle information DB
40 Image
50
55
64
Claims (9)
前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力部と、
前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出部と、
撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出部と、
検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与部と、
を備えた車両異常管理装置。 A display part recognition unit that inputs image data at different imaging points and recognizes a display part of a vehicle and a specific character pattern that identifies the vehicle;
An identification information output unit for outputting the identification information of the vehicle by character recognition of the display part;
A calculation unit that calculates a luminance index value of a specific part region that is a specific part excluding the display part of the vehicle of the image data;
When there are a plurality of the image data in which the imaging point and the identification information match and the difference in the brightness index value is within a certain range, the abnormality of the vehicle corresponding to the identification information based on the plurality of image data An anomaly detector that detects the presence and type of an anomaly;
A weighting assigning unit that assigns weighting information related to the reliability of the abnormality according to the number of imaging points where the abnormality is detected and the type of abnormality for the detected abnormality of the vehicle,
A vehicle abnormality management device comprising:
請求項１に記載の車両異常管理装置。 The abnormality detection unit is image data in which the luminance index value is within a predetermined range, the imaging point and the identification information match, and the difference between the luminance index values is within a certain range. The vehicle abnormality management device according to claim 1, wherein when there are a plurality of data, the presence / absence and abnormality type of the vehicle corresponding to the identification information are detected based on the plurality of image data.
請求項１又は請求項２に記載の車両異常管理装置。 The weighting unit increases the reliability of the abnormality as the number of imaging points where the abnormality is detected and the number of imaging points having the same abnormality type is larger with respect to the detected abnormality of the vehicle. The vehicle abnormality management device according to claim 1 or 2, wherein the weighted information is assigned.
請求項１〜請求項３の何れか１項記載の車両異常管理装置。 The abnormality detection unit compares the plurality of image data with each other, and detects an abnormality type according to a position of a part where a difference is generated with respect to the display part. Vehicle abnormality management device.
請求項１〜請求項４の何れか１項記載の車両異常管理装置。 The vehicle abnormality management device according to any one of claims 1 to 4, further comprising notification means for notifying the detected abnormality of the vehicle according to the assigned weighting information.
前記送信された異なる撮像地点における画像データを入力し、車両および前記車両を特定する特定文字パターンの表示部位を認識する表示部位認識部、前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力部、前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出部、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出部、並びに、検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与部を含む車両異常管理装置と、
を有する車両異常管理システム。 A plurality of information processing devices provided corresponding to each of a plurality of imaging devices installed at different imaging points, an acquisition unit that acquires image data captured by the corresponding imaging device, and an acquired image A plurality of information processing devices including a transmission unit for transmitting data;
The transmitted image data at different imaging points is input, and a display part recognition unit that recognizes a display part of the vehicle and a specific character pattern that identifies the vehicle, and the identification information of the vehicle is output by character recognition of the display part. An identification information output unit, a calculation unit that calculates a luminance index value of a specific part region that is a specific part excluding the display part of the vehicle of the image data, the imaging point and the identification information match, and When there are a plurality of the image data whose brightness index value difference is within a certain range, an abnormality detection unit that detects the presence / absence of the abnormality of the vehicle corresponding to the identification information and the type of abnormality based on the plurality of image data, In addition, for the detected abnormality of the vehicle, the weighting related to the reliability of the abnormality depending on the number of imaging points where the abnormality is detected and the type of the abnormality A vehicle abnormality management apparatus including a weighting imparting portion that imparts information,
A vehicle abnormality management system.
前記送信された異なる撮像地点における画像データ、識別情報、及び輝度指標値を入力し、撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出部、並びに、検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与部を含む車両異常管理装置と、
を有する車両異常管理システム。 A plurality of information processing devices provided corresponding to each of a plurality of imaging devices installed at different imaging points, an acquisition unit that acquires image data captured by the corresponding imaging device, from the image data, A display part recognition unit for recognizing a vehicle and a display part of a specific character pattern for specifying the vehicle, an identification information output unit for outputting the vehicle identification information by character recognition of the display part, and the image data of the vehicle A plurality of information processing apparatuses including a calculation unit that calculates a luminance index value of a specific part region that is a specific part excluding a display part, and a transmission unit that transmits the image data, the identification information, and the luminance index value When,
The transmitted image data, identification information, and luminance index value at different imaging points are input, the imaging point and the identification information match, and the difference between the luminance index values is within a certain range. When there are a plurality, the abnormality detection unit that detects the presence / absence of the abnormality of the vehicle corresponding to the identification information and the type of abnormality based on the plurality of image data, and the abnormality with respect to the detected abnormality of the vehicle A vehicle abnormality management device including a weighting assigning unit that assigns weighting information related to the reliability of the abnormality according to the number of imaging points where the abnormality is detected and the type of abnormality,
A vehicle abnormality management system.
前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力ステップと、
前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出ステップと、
撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出ステップと、
検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与ステップと、
を含む車両異常管理方法。 A display part recognition step for inputting image data at different imaging points and recognizing a display part of the vehicle and a specific character pattern for identifying the vehicle;
An identification information output step of outputting identification information of the vehicle by character recognition of the display part;
A calculation step of calculating a luminance index value of a specific part region which is a specific part excluding the display part of the vehicle of the image data;
When there are a plurality of the image data in which the imaging point and the identification information match and the difference in the brightness index value is within a certain range, the abnormality of the vehicle corresponding to the identification information based on the plurality of image data An anomaly detection step for detecting the presence or absence and the type of anomaly;
A weighting step of assigning weighting information related to the reliability of the abnormality to the detected abnormality of the vehicle according to the number of imaging points where the abnormality is detected and the type of the abnormality,
A vehicle abnormality management method including:
異なる撮像地点における画像データを入力し、車両および前記車両を特定する特定文字パターンの表示部位を認識する表示部位認識ステップと、
前記表示部位の文字認識により、前記車両の識別情報を出力する識別情報出力ステップと、
前記画像データの前記車両の前記表示部位を除いた特定の部位である特定部位領域の輝度指標値を算出する算出ステップと、
撮像地点及び前記識別情報が一致し、かつ、前記輝度指標値の差が一定範囲内である前記画像データが複数存在するとき、当該複数の画像データに基づき、前記識別情報に対応する車両の異常の有無及び異常の種別を検出する異常検出ステップと、
検出された前記車両の異常に対して、前記異常が検出された撮像地点の数、および、前記異常の種別に応じて、該異常の信頼度に関連した重み付け情報を付与する重み付け付与ステップと、
を含む処理を実行させるためのプログラム。 On the computer,
A display part recognition step for inputting image data at different imaging points and recognizing a display part of the vehicle and a specific character pattern for identifying the vehicle;
An identification information output step of outputting identification information of the vehicle by character recognition of the display part;
A calculation step of calculating a luminance index value of a specific part region which is a specific part excluding the display part of the vehicle of the image data;
When there are a plurality of the image data in which the imaging point and the identification information match and the difference in the brightness index value is within a certain range, the abnormality of the vehicle corresponding to the identification information based on the plurality of image data An anomaly detection step for detecting the presence or absence and the type of anomaly;
A weighting step of assigning weighting information related to the reliability of the abnormality to the detected abnormality of the vehicle according to the number of imaging points where the abnormality is detected and the type of the abnormality,
A program for executing processing including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012082846A JP2013214143A (en) | 2012-03-30 | 2012-03-30 | Vehicle abnormality management device, vehicle abnormality management system, vehicle abnormality management method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012082846A JP2013214143A (en) | 2012-03-30 | 2012-03-30 | Vehicle abnormality management device, vehicle abnormality management system, vehicle abnormality management method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013214143A true JP2013214143A (en) | 2013-10-17 |
Family
ID=49587436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012082846A Pending JP2013214143A (en) | 2012-03-30 | 2012-03-30 | Vehicle abnormality management device, vehicle abnormality management system, vehicle abnormality management method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013214143A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016170732A (en) * | 2015-03-13 | 2016-09-23 | 富士通株式会社 | Information output device, information output program, information output method, and information output system |
| CN107329977A (en) * | 2017-05-27 | 2017-11-07 | 银江股份有限公司 | A kind of false-trademark car postsearch screening method based on probability distribution |
| CN110288823A (en) * | 2019-05-13 | 2019-09-27 | 江苏大学 | A kind of break in traffic rules and regulations erroneous judgement recognition methods based on naive Bayesian network |
| WO2020137110A1 (en) * | 2018-12-27 | 2020-07-02 | クラリオン株式会社 | Movement amount estimation device |
| CN112241974A (en) * | 2020-05-29 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | Traffic accident detection method, processing method, system and storage medium |
| JPWO2021240667A1 (en) * | 2020-05-27 | 2021-12-02 | ||
| CN113822902A (en) * | 2021-09-24 | 2021-12-21 | 泰州市雷信农机电制造有限公司 | Block chain vehicle body state monitoring system |
| CN114999222A (en) * | 2021-03-02 | 2022-09-02 | 丰田自动车株式会社 | Abnormal behavior notification device, notification system, notification method, and recording medium |
-
2012
- 2012-03-30 JP JP2012082846A patent/JP2013214143A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016170732A (en) * | 2015-03-13 | 2016-09-23 | 富士通株式会社 | Information output device, information output program, information output method, and information output system |
| CN107329977A (en) * | 2017-05-27 | 2017-11-07 | 银江股份有限公司 | A kind of false-trademark car postsearch screening method based on probability distribution |
| CN107329977B (en) * | 2017-05-27 | 2019-08-16 | 银江股份有限公司 | A kind of false-trademark vehicle postsearch screening method based on probability distribution |
| JP7171425B2 (en) | 2018-12-27 | 2022-11-15 | フォルシアクラリオン・エレクトロニクス株式会社 | Movement estimation device |
| WO2020137110A1 (en) * | 2018-12-27 | 2020-07-02 | クラリオン株式会社 | Movement amount estimation device |
| JP2020106357A (en) * | 2018-12-27 | 2020-07-09 | クラリオン株式会社 | Movement amount estimating device |
| US11814056B2 (en) | 2018-12-27 | 2023-11-14 | Faurecia Clarion Electronics Co., Ltd. | Travel amount estimation apparatus |
| CN110288823A (en) * | 2019-05-13 | 2019-09-27 | 江苏大学 | A kind of break in traffic rules and regulations erroneous judgement recognition methods based on naive Bayesian network |
| CN110288823B (en) * | 2019-05-13 | 2021-08-03 | 江苏大学 | Traffic violation misjudgment identification method based on naive Bayesian network |
| JPWO2021240667A1 (en) * | 2020-05-27 | 2021-12-02 | ||
| JP7428246B2 (en) | 2020-05-27 | 2024-02-06 | 日本電気株式会社 | Scheduling system, scheduling device, scheduling method, and program |
| CN112241974A (en) * | 2020-05-29 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | Traffic accident detection method, processing method, system and storage medium |
| CN112241974B (en) * | 2020-05-29 | 2024-05-10 | 北京国家新能源汽车技术创新中心有限公司 | Traffic accident detection method, processing method, system and storage medium |
| CN114999222A (en) * | 2021-03-02 | 2022-09-02 | 丰田自动车株式会社 | Abnormal behavior notification device, notification system, notification method, and recording medium |
| CN114999222B (en) * | 2021-03-02 | 2023-11-10 | 丰田自动车株式会社 | Abnormal behavior notification device, notification system, notification method, and recording medium |
| CN113822902A (en) * | 2021-09-24 | 2021-12-21 | 泰州市雷信农机电制造有限公司 | Block chain vehicle body state monitoring system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013214143A (en) | Vehicle abnormality management device, vehicle abnormality management system, vehicle abnormality management method, and program | |
| US8588466B2 (en) | Object area detection system, device, method, and program for detecting an object | |
| CN109154976B (en) | System and method for training object classifier through machine learning | |
| US9165212B1 (en) | Person counting device, person counting system, and person counting method | |
| JP6554169B2 (en) | Object recognition device and object recognition system | |
| CN110414559B (en) | Construction method of intelligent retail cabinet commodity target detection unified framework and commodity identification method | |
| JP2001175876A (en) | Method and device for detecting moving body | |
| CN106682665B (en) | Seven-segment type digital display instrument number identification method based on computer vision | |
| WO2022078182A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
| JP7014161B2 (en) | Image processing equipment, image processing systems, and image processing methods, and programs | |
| JPWO2017221643A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| JP2006146626A (en) | Pattern recognition method and device | |
| JP5388829B2 (en) | Intruder detection device | |
| JP6095817B1 (en) | Object detection device | |
| US10373015B2 (en) | System and method of detecting moving objects | |
| CN102799862A (en) | System and method for pedestrian rapid positioning and event detection based on high definition video monitor image | |
| CN112153373A (en) | Fault identification method and device for bright kitchen range equipment and storage medium | |
| JP4999794B2 (en) | Still region detection method and apparatus, program and recording medium | |
| US20230394792A1 (en) | Information processing device, information processing method, and program recording medium | |
| CN115083008A (en) | Moving object detection method, device, equipment and storage medium | |
| CN112668389A (en) | High-altitude parabolic target detection method, device, system and storage medium | |
| JP6326622B2 (en) | Human detection device | |
| JP4042602B2 (en) | Image processing device | |
| JP2007164375A (en) | Three-dimensional object detection device and method, computer readable medium and three-dimensional object management system | |
| CN113361321B (en) | Infrared small target detection method and device |