JP5516343B2 - Traffic vehicle monitoring system - Google Patents
Traffic vehicle monitoring system Download PDFInfo
- Publication number
- JP5516343B2 JP5516343B2 JP2010252246A JP2010252246A JP5516343B2 JP 5516343 B2 JP5516343 B2 JP 5516343B2 JP 2010252246 A JP2010252246 A JP 2010252246A JP 2010252246 A JP2010252246 A JP 2010252246A JP 5516343 B2 JP5516343 B2 JP 5516343B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- monitoring
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、通行車両監視システムに関する。 The present invention relates to a traffic vehicle monitoring system.
従来より、道路上を通行する車両の事故防止等のために車両監視システムが広く実用化されている。車両監視システムには、車両を撮影した画像の車両のナンバープレートから車両番号を認識するもの、運転席画像を記録するもの、等がある。 Conventionally, vehicle monitoring systems have been widely put into practical use in order to prevent accidents of vehicles traveling on roads. Examples of the vehicle monitoring system include one that recognizes a vehicle number from a vehicle license plate of an image obtained by photographing the vehicle, and one that records a driver's seat image.
また、特にトンネル内で発生する所定の事象を監視し、事故の発生を未然に防止するために情報掲示板にメッセージを表示し、さらに毒物を運搬する車両を検出するトンネル内監視システムも提案されている(例えば、特許文献1参照)。 In addition, a tunnel monitoring system has been proposed that monitors specific events that occur in tunnels, displays messages on information boards to prevent accidents from occurring, and detects vehicles that carry poisons. (For example, refer to Patent Document 1).
しかし、従来のいずれの監視装置あるいは監視システムも、撮影画像から対象物の立体的な大きさは認識することができない。
例えばトンネル内で道路上の落下物が新聞紙のような薄い物であれば、事故の発生する危険度は高くないが、落下物が段ボール箱のような立体的な物であれば、事故の発生する危険度は高い。また、撮影された対象物の実際の大きさ及びその立体形状が不明なため、物の認識、例えば人の認識、の精度も低い。
However, any conventional monitoring device or monitoring system cannot recognize the three-dimensional size of the object from the captured image.
For example, if the falling object on the road in the tunnel is a thin object such as newspaper, the risk of an accident is not high, but if the falling object is a three-dimensional object such as a cardboard box, an accident will occur. The risk is high. In addition, since the actual size of the photographed object and its three-dimensional shape are unknown, the accuracy of object recognition, for example, human recognition, is low.
また、例えばトンネルの場合、法令等により所定の長さ以上のトンネルにしか監視カメラの設置義務がなく、かつ監視カメラの設置コストが高いため、監視カメラの設置がされていないトンネルが多く、さらに監視カメラの設置がされているトンネルでも、カメラの設置台数も少ない、という問題がある。
さらに、例えばトンネル内で事故が発生した場合に、トンネル内に存在する車両にどのような車両があるかが判明しないと、事故に対する適切な対応を決定することができない。毒性の高い危険物を搭載した大型車両等が存在する場合には、化学消防隊、周辺住民の避難などが必要になる場合がある。
Also, for example, in the case of tunnels, surveillance cameras are obligated to be installed only in tunnels of a predetermined length or longer due to laws and regulations, and the installation cost of surveillance cameras is high, so there are many tunnels where surveillance cameras are not installed, Even in tunnels where surveillance cameras are installed, there is a problem that the number of cameras installed is small.
Furthermore, for example, when an accident occurs in the tunnel, it is not possible to determine an appropriate response to the accident unless it is determined what kind of vehicle is present in the tunnel. When there are large vehicles equipped with highly toxic dangerous goods, it may be necessary to evacuate chemical fire brigade and neighboring residents.
しかし、従来の監視カメラにより撮像された画像をモニタに表示させても、監視員は、モニタに映し出された車両についての、表示された画像情報以上の情報等を得ることはできない。 However, even if an image captured by a conventional monitoring camera is displayed on the monitor, the monitor cannot obtain information on the vehicle displayed on the monitor beyond the displayed image information.
例えば道路上で事故が発生したときに、事故現場及びその周囲の画像をモニタに表示させても、遠くに映し出された車両は見えづらく、どのような車両がトンネル内に存在するかを判別することは容易ではない、という問題がある。 For example, when an accident occurs on the road, even if the accident scene and the surrounding image are displayed on the monitor, it is difficult to see the vehicle reflected far away, and what kind of vehicle is present in the tunnel is determined. There is a problem that it is not easy.
そこで、本発明は、道路上の通行車両を正確に認識し、設置が容易で、かつトンネル内にどのような車両が存在するのかを把握することができる通行車両監視システムを提供することを目的とする。 Accordingly, an object of the present invention is to provide a passing vehicle monitoring system that can accurately recognize a passing vehicle on a road, can be easily installed, and can grasp what kind of vehicle exists in a tunnel. And
本発明の一態様によれば、数珠繋ぎに接続され、車両の通行状況を撮像する複数の監視カメラと、その複数の監視カメラに接続されたセンタ装置とからなる通行車両監視システムであって、各監視カメラは、複数の撮像部と、前記複数の撮像部において得られた複数の画像から距離画像のデータを生成する距離画像生成部と、前記距離画像に基づく第1の監視処理を実行する第1の監視処理部と、記憶部と、前記距離画像に基づいて認識された車両の識別情報を生成して、その識別情報と、前記距離画像に基づいて認識された車両についての第1の時刻情報とを含む情報を前記記憶部に記録する記録処理部と、前記距離画像に基づいて、前記第1の監視処理とは別の第2の監視処理を実行する第2の監視処理部と、を有し、前記センタ装置は、前記車両の画像から認識された所定の標章についての標章情報を、前記所定の標章の認識に用いられた前記車両の画像が取得されたときの第2の時刻情報と前記第1の時刻情報とに基づき、前記距離画像に基づいて認識された車両と関連付ける標章情報関連付け部と、前記標章情報関連付け部において関連付けられた前記標章情報を出力する標章情報出力部と、を有する通行車両監視システムを提供することができる。 According to an aspect of the present invention, there is provided a traffic vehicle monitoring system including a plurality of surveillance cameras connected to a rosary and imaging a vehicle traffic situation, and a center device connected to the plurality of surveillance cameras. The monitoring camera includes a plurality of imaging units, a distance image generation unit that generates distance image data from a plurality of images obtained by the plurality of imaging units, and a first monitoring process that executes a first monitoring process based on the distance image A first monitoring processing unit, a storage unit, and identification information of the vehicle recognized based on the distance image, and a first time for the vehicle recognized based on the identification information and the distance image A recording processing unit that records information including information in the storage unit, a second monitoring processing unit that executes a second monitoring process different from the first monitoring process based on the distance image, The center device has Mark information about a predetermined mark recognized from the image of the vehicle, second time information when the image of the vehicle used for recognition of the predetermined mark is acquired, and the first A mark information associating unit for associating with the vehicle recognized based on the distance image based on the time information, and a mark information output unit for outputting the mark information associated in the mark information associating unit, A traffic vehicle monitoring system can be provided.
本発明によれば、道路上の通行車両を正確に認識し、設置が容易で、かつトンネル内にどのような車両が存在するのかを把握することができる通行車両監視システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the traffic vehicle monitoring system which can recognize correctly the vehicle on a road, can be installed easily, and can grasp | ascertain what kind of vehicle exists in a tunnel can be provided. .
以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
まず図1に基づき、本実施の形態に係わるシステムの構成を説明する。図1は、本実施の形態に係わる通行車両監視システムの構成を説明するための図である。図2は、トンネル内における監視カメラの設置状況を示す図である。図3は、監視カメラの外観図である。
Embodiments of the present invention will be described below with reference to the drawings.
(System configuration)
First, based on FIG. 1, the structure of the system concerning this Embodiment is demonstrated. FIG. 1 is a diagram for explaining the configuration of a passing vehicle monitoring system according to the present embodiment. FIG. 2 is a diagram showing the installation status of the monitoring camera in the tunnel. FIG. 3 is an external view of the surveillance camera.
図1に示すように、トンネル内を監視する交通監視システム1は、それぞれがステレオカメラである複数の監視カメラ2と、隣り合う2台の監視カメラ2を接続する通信ケーブル3と、複数の監視カメラ2の中の1台と通信ケーブル3により接続されたセンタ装置4と、センタ装置4に接続された記憶装置5と、センタ装置4に接続された画像表示装置であるモニタ6と、トンネルの2つの出入り口のそれぞれに設けられた入口監視カメラ7と、トンネルの2つの出入り口のそれぞれに同様に設けられた無線通信の基地局装置である無線通信装置8を含んで構成されている。無線通信装置8は、車両に対して通行料金の収受を自動的に行うETC(登録商標)システム(ノンストップ自動料金収受システム)における地上側に設置される装置であり、車両に搭載された車載器との無線通信を行い、車両のETC(登録商標)情報(以下、車載器情報という)を受信することができる。
As shown in FIG. 1, a
図1に示すように、トンネル101の一端TAに設置される監視カメラ2(1)から他端TBまでの監視カメラ2(n)のn台(nは整数)の監視カメラ2が、トンネル内の天井側に、略等間隔に配置されている。図1では、各監視カメラ2には、識別番号が付されて示されている。1番目の監視カメラ2(1)からn番目の監視カメラ2(n)までが、通信ケーブル3で数珠繋ぎに接続され、監視カメラ2(1)がセンタ装置4に接続されている。なお、以下の説明で、特定の監視カメラを指さない場合は、監視カメラ2と表記する。
As shown in FIG. 1, n (n is an integer) number of surveillance cameras 2 (n is an integer) of surveillance cameras 2 (n) from the surveillance camera 2 (1) installed at one end TA of the
通信ケーブル3は、電源供給可能な信号線であり、例えば、電源供給も可能なパワー・オーバ・イーサネット(登録商標)(PoE)対応のケーブルである。センタ装置4は、電源回路を含み、電源回路の電源は、通信ケーブル3を介して各監視カメラ2に供給される。
The
入口監視カメラ7は、トンネルに入ってくる車両を撮像する。無線通信装置8は、トンネルに入る車両の車載器情報を取得する。入口監視カメラ7と無線通信装置8は、通信インターフェース部(以下、通信I/Fという)9を介して、それぞれ、通信ケーブル10を介して、画像データと車載器情報を取得すると直ぐにセンタ装置4へ送信する。
The entrance monitoring camera 7 images a vehicle entering the tunnel. The wireless communication device 8 acquires vehicle-mounted device information of the vehicle entering the tunnel. As soon as the entrance monitoring camera 7 and the wireless communication device 8 acquire image data and vehicle-mounted device information via the communication interface 10 (hereinafter referred to as communication I / F) 9 and the
センタ装置4、記憶装置5及びモニタ6は、例えば、監視室に配置されている。センタ装置4には、記憶装置5とモニタ6が接続されており、センタ装置4は、所定のデータを記憶装置5に記憶し、モニタ6に監視用画面を表示する。よって、監視員は、センタ装置4を操作して、モニタ6に所望の画像を表示させることができる。記憶装置5には、後述する、各種データを記憶する複数の記憶部5a,5b,5c、61〜67を含む。
The
図1に示すように、複数の監視カメラ2が、通信ケーブル3によりデイジーチェーン接続されて、すなわち数珠繋ぎで接続されて、センタ装置4に接続されている。図2に示すように、各監視カメラ2は、トンネル101の内壁の天井部分102の最も高い位置よりもやや低いところに、トンネル101の経路方向に沿って、所定の間隔Ltを持って設置されている。所定の間隔Ltは、隣り合う監視カメラ2の撮影範囲PAが一部重なるように、設定される。所定の間隔Ltは、例えば10mである。
As shown in FIG. 1, a plurality of
監視カメラ2間の通信及び監視カメラ2とセンタ装置4間の通信は、イーサネット(登録商標)を利用したデータ通信である。各監視カメラ2からのデータは、デイジーチェーン接続のネットワークを介して、センタ装置4へ送信可能である。また、センタ装置4も、全てのあるいは所望の監視カメラ2へ、撮影画像の送信要求のコマンド、等の各種コマンドを送信することができる。従って、センタ装置4は、監視カメラ2からの動画像の画像情報、認識情報、イベント情報等を、センタ装置4からのコマンドに応じて、デイジーチェーン接続のネットワークを介して、取得することができる。
なお、図1では、センタ装置4が1つのトンネルを監視する例であるが、センタ装置4は、複数のトンネルを監視するようにしてもよい。
Communication between the
Although FIG. 1 shows an example in which the
また、図2に示すように、入口監視カメラ7は、トンネル101に入ってくる車両を撮像して、ナンバープレートと後述する標章を撮像できるように、トンネル101の入口に設置される。無線通信装置8も、入ってきた車両との無線通信ができるように、入口監視カメラ7の近傍でトンネル101の天井に近い位置設置される。
As shown in FIG. 2, the entrance monitoring camera 7 is installed at the entrance of the
図3に示すように、車両用監視カメラである監視カメラ2は、細長い直方体の形状のケーシング11を有する。2つの対物光学系12が、細長いケーシング11の一側面に、所定の距離だけ離れて光軸が互いに平行になるように設けられている。ケーシング11内には、各対物光学系の結像位置に、CMOSイメージセンサ等の撮像素子が設けられている。2つの対物光学系12の設けられた面が、道路面103に対向するように、各監視カメラ2は、天井部分102に設置される。
As shown in FIG. 3, the
なお、ここでは、各監視カメラ2は、ステレオ撮像のために2つの撮像素子を有している例で説明するが、撮像素子は、3つ以上でもよく、少なくとも2つの撮像素子を有していればよい。
Here, each monitoring
また、ケーシング11の両端面には、通信ケーブル3を接続するためのコネクタ13が設けられており、複数の監視カメラ2を互いにデイジーチェーン接続することができる。
上述したように、通信ケーブル3は、イーサネット(登録商標)通信用のケーブルであって、電源供給も可能なイーサネット(登録商標)PoE対応のケーブルであるので、監視カメラ2(1)をセンタ装置4に接続し、隣り合う監視カメラ2同士を、通信ケーブル3で接続するだけでよく、監視カメラ2の設置及び増設は容易である。
Moreover, the
As described above, the
監視カメラ2の1つの撮像部は、視野範囲PArを有し、他方の撮像部は、視野範囲PAlを有する。2つの視野範囲により、監視カメラ2の撮影範囲PAが決定される。
One imaging unit of the
センタ装置4は、コンピュータ装置であり、CPU(中央処理装置)、ROM、RAMなどを含み、各監視カメラ2からのデータを受信すると共に、各監視カメラ2へ各種コマンドを送信して、情報を取得することができると共に、各種データ処理を実行することができる。
The
また、センタ装置4は、2台の入口監視カメラ7からの画像データを常時受信しており、2台の無線通信装置8から車載器情報も常時受信している。
センタ装置4は、各入口監視カメラ7から送信されてくる、「上り」又は「下り」における車両の画像データから、トンネルに入ってくる各車両の、車両ナンバー、乗車人数、及び所定の標章情報を抽出する。車両ナンバーは、画像データ中の車両のナンバープレートの部分を画像処理して、文字認識処理により抽出される。乗車人数は、画像データ中から顔認識技術等を用いて、画像中に存在する顔の数に基づいて判定することにより抽出される。所定の標章情報とは、危険走行車両情報であり、危険物などを搭載している車両の情報の意である。危険走行車両情報も、画像データ中から、「危」、「毒」、「劇」その他の危険標章の有無を文字認識処理により抽出される。
Further, the
The
なお、これらの認識あるいは抽出処理をセンタ装置4において行わず、入口監視カメラ7においてこれらの情報の抽出処理を行い、入口監視カメラ7が、抽出した車両ナンバー、乗車人数、及び所定の標章情報を、センタ装置4へ送るようにしてもよい。
These recognition or extraction processes are not performed in the
(監視カメラの構成)
図4は、監視カメラ2の内部構成を示すブロック図である。
監視カメラ2は、2つの撮像部21、撮像部インターフェース部(以下、撮像部I/Fという)22、立体計測部23、基本監視部24、追加監視部25、判定部26、メモリ27、画像供給部28、通信制御部29、2つの通信インターフェース部(以下、通信I/Fという)30、及び2つのコネクタ13を含んで構成されている。
(Configuration of surveillance camera)
FIG. 4 is a block diagram showing an internal configuration of the
The
監視カメラ2の一部の機能は、監視カメラ2に搭載された中央処理装置(CPU)によって実行されるソフトウェアプログラムにより、実現される。例えば、立体計測部23、基本監視部24、追加監視部25及び判定部26は、ソフトウェアプログラムにより実現される。なお、監視カメラ2の一部の機能は、デジタル・シグナル・プロセッサ(DSP)により、実現してもよい。
Some functions of the
各撮像部21は、対物レンズである対物光学系12と、対物光学系12の結像位置に配設されたCMOSイメージセンサ等の撮像素子31を有する。各撮像素子31により撮像して得られた画像データは、撮像部I/F22を介して、立体計測部23と画像供給部28に供給される。
Each
立体計測部23は、2つの画像データから距離画像のデータを生成する距離画像生成部である。距離画像のデータは、入力された2つの画像データから、各画素値が距離値である画像データである。立体計測部23は、距離画像データを生成する。なお、距離画像は、各画素値が3次元空間内の位置情報でもよい。立体計測部23は、生成した距離画像の情報を基本監視部24と追加監視部25に供給する。
The three-
基本監視部24は、距離画像に基づく、停止物体の検出等の、所定の監視処理を実行する基本監視機能の処理を実行する第1の監視処理部である。
本実施の形態では、基本監視部24は、基本監視機能の監視処理部として、停止物体の検出処理部P1と物体の軌跡の検出処理部P2を含む。基本監視部24は、これらの監視処理部とは別に、計測及び記録処理部P3を含む。なお、本実施の形態では、これら3つの処理部P1,P2,P3を基本監視機能の処理部としているが、基本監視機能の処理は、これらに限定されず、他の処理を基本監視部24に含めてもよい。
The
In the present embodiment, the
停止物体の検出処理部P1は、ステレオ処理により得られた距離画像から、停止物体を認識して検出する処理を行う。例えば、停止物体の検出処理部P1は、距離画像から認識して得られた物体の位置が、所定の時間以上移動しない状態にあるか否かを判定し、その物体の位置が所定の時間以上移動しない場合に、停止物体ありの異常を、検出する。停止物体は、例えば、停止した車両、道路上の落下物などである。 The stop object detection processing unit P1 performs processing for recognizing and detecting a stop object from the distance image obtained by the stereo processing. For example, the stop object detection processing unit P1 determines whether or not the position of the object obtained by recognizing from the distance image is in a state of not moving for a predetermined time or more, and the position of the object is not less than a predetermined time or more. When it does not move, an abnormality with a stopped object is detected. The stopped object is, for example, a stopped vehicle, a fallen object on the road, or the like.
物体の軌跡の検出処理部P2は、距離画像から物体を認識し、認識して得られた物体に関する、位置の変化(道路平面上の位置の変化)から得られた軌跡が所定の軌跡に合致するかしないか、言い換えれば得られた軌跡が所定の軌跡と不一致であるか否か、を検出する処理を行う。所定の軌跡とは、例えば移動物体の軌跡が略直線状である軌跡である。軌跡は、認識された物体の位置、例えば重心位置、の変化である。物体の進行方向に対する移動量が所定量以上であるような蛇行運転の軌跡は、この所定の軌跡に合致しないという異常として、検出される。 The object trajectory detection processing unit P2 recognizes the object from the distance image, and the trajectory obtained from the change in position (change in position on the road plane) of the object obtained by the recognition matches the predetermined trajectory. A process of detecting whether or not to perform, in other words, whether or not the obtained trajectory does not match the predetermined trajectory is performed. The predetermined trajectory is a trajectory in which the trajectory of the moving object is substantially linear, for example. The trajectory is a change in the position of the recognized object, for example, the position of the center of gravity. The locus of the meandering operation in which the amount of movement of the object in the traveling direction is a predetermined amount or more is detected as an abnormality that does not match the predetermined locus.
計測及び記録処理部P3は、距離画像から物体を認識し、認識して得られた各物体の位置の変化量から各物体の速度(例えば車速)、所定の時間内に撮像領域内を通過した車両の数(すなわちカウント値)、監視領域に入った時刻及び位置、監視領域から出た時刻及び位置、色などの属性データ、等の計測あるいは認識を行う計測処理を行う。 The measurement and recording processing unit P3 recognizes the object from the distance image, and passes through the imaging area within a predetermined time from the amount of change in the position of each object obtained by the recognition, the speed of each object (for example, the vehicle speed). A measurement process for measuring or recognizing the number of vehicles (that is, the count value), the time and position of entering the monitoring area, the time and position of leaving the monitoring area, attribute data such as color, and the like is performed.
さらに、計測及び記録処理部P3は、認識された通行車両の識別情報を生成して、上述した計測データと、その識別情報を関連付けて、ログデータとして、記憶部であるメモリ27に記録する記録処理を含む。すなわち、計測及び記録処理部P3は、距離画像に基づいて認識された通行車両の識別情報を生成して、その識別情報と、その認識された通行車両についての時刻情報等とをメモリ27に記録する記録処理部を構成する。ここでは、ログデータは、基本監視部24から判定部26を介してメモリ27に記憶される。なお、ログデータの記録は、基本監視部24がメモリ27に直接書き込むようにしてもよい。
追加監視部25は、基本監視部24の監視処理とは別の追加監視機能の処理を実行する第2の監視処理部である。具体的には、追加監視部25は、異常の内容に応じた異常処理、センタ装置4からのコマンドに応じたコマンド対応処理、等の処理を行うための、複数の追加処理部Q1,Q2,Q3,・・・Qmを含む(mは整数)。なお、図4において、追加処理部Q1,Q2が異常有りの判定時に実行すべき処理部であり、追加処理部Q3〜Qmがコマンド対応処理のための処理部である。
Further, the measurement and recording processing unit P3 generates identification information of the recognized passing vehicle, associates the above-described measurement data with the identification information, and records it in the memory 27 as a storage unit as log data. Includes processing. That is, the measurement and recording processing unit P3 generates identification information of the recognized passing vehicle based on the distance image, and records the identification information and time information about the recognized passing vehicle in the memory 27. The recording processing unit is configured. Here, the log data is stored in the memory 27 from the
The
異常処理は、基本監視部24において検出された異常の内容に応じて、判定部26により選択されて実行される処理である。基本監視部24において異常が検出されたときに実行される追加処理部が、異常時の処理部として、追加監視部25に含まれる。
The abnormality process is a process selected and executed by the
例えば、停止物体の検出に対応する追加処理部Q1は、静止画データに基づいて、停止物体が車両であるのか、人であるのかを判定して、車両の場合は、破損状況、停止位置、向き(すなわち道路の走行方向に対して平行な方向を向いているのか、斜め方向を向いているのか)、大きさ、車両の台数、等々の検出をし、人の場合は、その位置、姿勢(横になっているのか(倒れているのか)、道路上に立っているのか、等)、人数、等々の検出をする処理部である。停止物体の大きさは、距離画像データから算出あるいは推定することができ、さらに、形状の情報から、停止物体が人であるか否かの判定をすることができる。 For example, the additional processing unit Q1 corresponding to the detection of the stopped object determines whether the stopped object is a vehicle or a person based on the still image data. It detects the direction (that is, whether it is facing parallel or oblique to the road direction), the size, the number of vehicles, and so on. It is a processing unit that detects the number of persons (whether they are lying (falling down), standing on the road, etc.), the number of people, and so on. The size of the stop object can be calculated or estimated from the distance image data, and further, it can be determined from the shape information whether the stop object is a person.
また、物体の軌跡が所定の軌跡に合致しない場合に対応する追加処理部Q2は、後述するRAM28aの動画データ(すなわち複数のフレームデータ)又はメモリ27に格納されたログデータに基づいて、車線変更であるのか、減速であるのか、物体の分離であるのか、を判定する。車線変更は、車両の避走、蛇行、回転(スピン)、接触(壁面への接触、車両同士の接触)、等を検出することによって、判定することができる。減速は、ログデータに基づいて判定することができる。
Further, the additional processing unit Q2 corresponding to the case where the locus of the object does not match the predetermined locus changes the lane based on moving image data (that is, a plurality of frame data) in the
さらに、物体の軌跡から、車両から分離した物の有無を検出することができる。よって、分離の検出と、落下物の大きさ及び落下物が人であるか否かの判定とをすることができるので、車両から荷物が落下したのか、二輪車が転倒して人が投げ出されているのか、車両から降りた人の移動方向、等の検出をすることができる。
以上のように、追加監視部25は、基本監視部24の処理結果に基づいて、実行可能に構成されている。
Furthermore, the presence or absence of an object separated from the vehicle can be detected from the locus of the object. Therefore, it is possible to detect separation and determine the size of the fallen object and whether or not the fallen object is a person, so whether the load has fallen from the vehicle, the motorcycle has fallen and the person has been thrown out. It is possible to detect whether the person gets off the vehicle or the moving direction of the person getting off the vehicle.
As described above, the
また、追加監視部25中のコマンド対応処理とは、ログデータ送信コマンド、人検出コマンド、画像送信コマンド、等のセンタ装置4からのコマンドに応じて、判定部26等により指定されて実行される処理である。コマンドに応じて実行される追加処理部が、追加監視部25に含まれる。センタ装置4からのコマンドは、通信制御部29を介して、判定部26および画像供給部28に供給される。追加監視部25は、コマンドに基づいて、距離画像に基づく監視処理を実行する。
The command response processing in the
例えば、ログデータ送信コマンドに対応するログデータ送信処理Q3は、センタ装置4からのコマンドがログデータの送信を指示するコマンドである場合に、コマンドで指定された、メモリ27に格納されているログデータを読み出して送信する処理である。人検出コマンドに対応する人検出処理Q4は、センタ装置4からのコマンドが人の検出を指示するコマンドである場合に同様に実行され、撮像画像の中から人を検出して、検出結果をセンタ装置4へ送信する処理である。監視カメラ2の画像データは、距離データであるので、人を正確に検出することができる。
For example, in the log data transmission process Q3 corresponding to the log data transmission command, when the command from the
画像送信コマンドに対応する画像送信処理Q5は、センタ装置4からのコマンドが画像データの送信を指示するコマンドである場合に通信制御部29が画像供給部28から画像データを読み出して、監視カメラ2で撮像して得られた画像データを送信する処理である。センタ装置4からのコマンドには複数の種類があり、また一つのコマンドが複数の追加処理を実行させるようなコマンドも有るので、追加監視部25は、そのコマンドに対応する処理を実行するに必要な数の処理部を含む。
なお、センタ装置4からのコマンドには、全ての監視カメラ2に対するグローバルコマンドと、特定の監視カメラ2に対するコマンドの2種類がある。
以上のように、追加監視部25は、基本監視部24の処理結果に基づいて、実行可能であると共に、センタ装置4からのコマンドに応じて実行可能に構成されている。
In the image transmission process Q5 corresponding to the image transmission command, when the command from the
There are two types of commands from the
As described above, the
判定部26は、基本監視部24及び追加監視部25からの検出結果あるいは判定結果に基づいて、ルールベースの判定処理を行うと共に、必要な追加監視部25に含まれる複数の処理部の中から実行すべき処理部を、そのルールに従って選択して実行させる処理を行う。さらに判定部26は、センタ装置4からのコマンドの内容に応じて、追加監視部25の中の複数の追加処理部の中から、実行すべき処理部を選択して実行させる処理を行う。
The
具体的には、基本監視部24により異常が検出された場合、判定部26は、後述するような、追加解析処理、異常対応処理の実施指示処理、通報処理、及び画像送信処理を実行する。さらに、判定部26は、センタ装置4からコマンドを受信すると、コマンドの内容を解析し、そのコマンドに対応する処理を、追加監視部25内の対応する追加処理部を実行する。
Specifically, when an abnormality is detected by the
また、判定部26の処理内容は、ルールベースで定められるので、判定部26は、ルールによる判定のための基準データ及び判断ルールを含む。その基準データと判断ルールは、判定部26のプログラム中に記述されてもよいし、メモリ27内に記憶されていてもよい。基準データ及び判断ルールを変更することによって、判定部26が実行を指示する、基本監視部24及び追加監視部25内の処理内容を変更することができる。さらに、判定部26は、メモリ27に格納されたログデータを用いて、判定を行うことも可能である。判定部26の異常処理とコマンド処理の詳細については、後述する。
In addition, since the processing content of the
メモリ27は、上述したログデータを記憶する記憶部である。メモリ27に格納されるログデータの構造については後述する。 The memory 27 is a storage unit that stores the log data described above. The structure of log data stored in the memory 27 will be described later.
画像供給部28は、2つの撮像部21により撮像して得られた画像データの少なくとも一方の撮像部からの、最新の複数フレームの画像データを格納可能なRAM28aを有している。画像供給部28のRAM28aに格納された1以上の画像データは、判定部26により読み出し可能である。後述するように、RAM28aに格納された1以上の画像データは、センタ装置4からのコマンドに応じて、あるいは判定部26からの指示に応じて、センタ装置4へ送信される。
The
通信制御部29は、デイジーチェーン接続された通信ケーブル3を介して、センタ装置4及び他の監視カメラ2との通信を行うための制御部である。特に、通信制御部29は、センタ装置4からのコマンドを受信するコマンド受信部を構成する。なお、本実施の形態では、センタ装置4からの画像データの送信コマンドを受信すると、通信制御部29が画像供給部28から画像データを読み出して、センタ装置4へ送信しているが、判定部26がコマンドを解釈して、RAM28aから画像データを読み出して、センタ装置4へ送信するようにしてもよい。
2つの通信I/F30は、通信制御部29とコネクタ13との間のインターフェースである。
The
The two communication I /
(監視カメラにおける基本監視処理)
次に、基本監視処理について説明する。
図5は、基本監視処理の流れの例を示すフローチャートである。本実施の形態では、上述したように、基本監視部24の処理は、CPUによって実行されるプログラムの一部の機能として実行される。
(Basic monitoring processing for surveillance cameras)
Next, the basic monitoring process will be described.
FIG. 5 is a flowchart illustrating an example of the flow of basic monitoring processing. In the present embodiment, as described above, the processing of the
立体計測部23から距離画像データが取得される(S1)。距離画像データに基づいて、基本監視部24における、停止物体の検出処理部P1と、物体の軌跡の検出処理部P2とが、基本監視処理として実行される(S2)。
Distance image data is acquired from the three-dimensional measurement unit 23 (S1). Based on the distance image data, the stop object detection processing unit P1 and the object trajectory detection processing unit P2 in the
停止物体の検出処理部P1は、背景以外の物体の認識を行い、フレーム間での物体の位置に変化があるか否かに基づいて、停止物体の検出を行う。立体形状の大きさが所定の大きさ以上の物体が、停止物体の検出対象として選択される。距離画像データに基づいて停止物体の検出を行っているので、物体の体積が検出でき、検出すべき停止物体を精度良く認識し、検出することができる。 The stop object detection processing unit P1 recognizes an object other than the background, and detects a stop object based on whether there is a change in the position of the object between frames. An object having a three-dimensional shape greater than or equal to a predetermined size is selected as a stop object detection target. Since the stop object is detected based on the distance image data, the volume of the object can be detected, and the stop object to be detected can be accurately recognized and detected.
物体の軌跡の検出処理部P2は、認識された物体の軌跡を、フレーム間の物体の位置情報から検出し、その軌跡が所定の軌跡に合致するかしないかを検出あるいは判定する。 The object locus detection processing unit P2 detects the recognized object locus from the position information of the object between frames, and detects or determines whether the locus matches a predetermined locus.
この軌跡の検出も、距離画像データに基づいて行っているので、物体の軌跡を精度良く検出して判定することができる。
次に、ログデータ記録処理が実行される(S3)。この処理は、上述した計測及び記録処理部P3により実行される。
Since the locus is also detected based on the distance image data, the locus of the object can be accurately detected and determined.
Next, a log data recording process is executed (S3). This process is executed by the above-described measurement and recording processing unit P3.
そして、判定部26は、上記の停止物体の検出処理部P1と物体の軌跡の検出処理部P2のいずれかで、異常が検出されたか否かを判定し(S4)、異常が無ければ(S4:NO)、処理は終了し、異常が有れば(S4:YES)、異常処理を実行する(S5)。
なお、図5の処理は、監視カメラ2が動作中は、常に繰り返し実行されている。
Then, the
Note that the processing in FIG. 5 is always repeated while the
(監視カメラにおけるコマンド処理)
次に、コマンド処理について説明する。図6は、コマンド処理の流れの例を示すフローチャートである。
監視カメラ2は、センタ装置4からのコマンドを受信したか否かを判定する(S11)。コマンドは、通信制御部29を介して、判定部26により受信される。コマンドを受信しないときは(S11:NO)、処理は、終了し、コマンドを受信したときは(S11:YES)、受信したコマンドを解析する、すなわちコマンドの内容を判定する(S12)。
(Command processing in surveillance camera)
Next, command processing will be described. FIG. 6 is a flowchart illustrating an example of the flow of command processing.
The
判定部26は、コマンドに対応する処理部を、追加監視部25の中から選択して、その処理を実行する(S13)。例えば、コマンドがログデータの送信要求コマンドであれば、判定部26は、追加監視部25の中からそのコマンドに対応する処理部Q3を選択して、メモリ27から指定されたログデータを読み出して、センタ装置4へ送信する。コマンドが、人の検出処理を行う人検出コマンドであれば、追加監視部25の中からそのコマンドに対応する処理部Q4を選択して、画像データから人を検出する処理が実行される。
The
コマンドに対応する処理の結果、何らかの異常が検出されたか否かが判定され(S14)、人が検出された等の異常が無ければ(S14:NO)、異常が無かった旨の情報を送信したり、要求された情報を送信する、等の、センタ装置4への回答処理を実行して(S16)、処理は終了し、異常が有れば(S14:YES)、異常処理を実行する(S16)。
As a result of processing corresponding to the command, it is determined whether or not any abnormality is detected (S14). If there is no abnormality such as a person detected (S14: NO), information indicating that there was no abnormality is transmitted. Response processing to the
(監視カメラにおける異常処理)
次に、異常処理について説明する。図7は、図5及び図6における異常処理の流れの例を示すフローチャートである。
基本監視処理あるいは追加監視処理において検出された異常の内容に応じて実行すべき処理の内容が、ルールベースで予め設定されている。判定部26は、その予め決められたルールベースの内容に従って、図7に示す処理を実行する。
判定部26は、異常が検出されると、ルールベースを参照して、処理内容を決定する(S21)。
(Abnormal processing in surveillance cameras)
Next, the abnormality process will be described. FIG. 7 is a flowchart showing an example of the flow of abnormality processing in FIGS. 5 and 6.
The content of the processing to be executed according to the content of the abnormality detected in the basic monitoring processing or the additional monitoring processing is set in advance on a rule basis. The
When an abnormality is detected, the
そして、判定部26は、その決定された処理内容に従って、異常対応処理の実施指示処理(S22)、追加解析処理(S23)、通報処理(S24)及び画像送信処理(S25)を実行する。これらの4つの処理は、互いに並列に実行され、それぞれ処理内容決定処理(S21)で決定された内容を実行する。処理の内容がルールベースで予め設定されているので、異常の内容によっては、処理内容決定処理(S21)において、4つの処理全てを実行しないように、決定される場合もある。
Then, the
異常対応処理の実施指示処理(S22)は、センタ装置4を介さずに、監視カメラ2から他の設備、例えばトンネル内に設置された放送設備、トンネルの出入り口に設置された情報表示パネル、に直接、動作する指示を与える処理である。他の設備が、通信ケーブル3で形成されるイーサネット(登録商標)の通信上に接続されている場合に、監視カメラ2は、他の設備と通信をすることができる。
The execution instruction process (S22) of the abnormality handling process is performed from the
例えば、通信ケーブル3と同じイーサネット(登録商標)に接続されている通信可能な設備として、放送設備と情報表示パネルがあれば、異常対応処理の実施指示処理(S22)は、その放送設備等の制御装置に対する所定の音声出力の指示コマンドの送信、等の処理である。
For example, if there is a broadcast facility and an information display panel as communicable facilities connected to the same Ethernet (registered trademark) as the
図1において、設備の制御装置41が、イーサネット(登録商標)に接続されていて、監視カメラ2からのコマンドを受信可能となっている。この場合、ある監視カメラ2(k)が、異常対応処理の実施指示処理(S22)に従って、その制御装置41へ所定のコマンドを送信すると、その設備は、そのコマンドに指定された動作を実行する。よって、監視カメラ2から直接設備に対して、所望の動作指示をすることができるので、異常時の対応を迅速に行うことができる。
In FIG. 1, a
また、異常対応処理の実施指示処理(S22)は、他の監視カメラ2へのコマンド送信も含まれる。例えば、避走車両の検出がされた場合に、その車両の進行方向にある他の監視カメラ2(隣の監視カメラあるいは、数台先の監視カメラ)へ、避走車両の速度と軌跡データをセンタ装置4へ送信させるような処理を実行させるコマンドを、送信する。これにより、センタ装置4は、検出された避走車両の走行状態を、迅速に監視することができる。
Further, the execution instruction process (S22) of the abnormality handling process includes command transmission to another
以上のように、異常対応処理の実施指示処理(S22)は、基本監視部の処理結果が所定の異常が有りの判定である場合、発生した所定の異常の種類に応じて、所定の設備の所定の動作の指示あるいは他の監視カメラ2に所定の処理の実行を指示するコマンドを、所定の設備あるいは他の監視カメラ2に送信する実行コマンド送信処理部を構成する。
As described above, the execution instruction process (S22) of the abnormality handling process is performed according to the type of the predetermined abnormality that has occurred, when the processing result of the basic monitoring unit is a determination that there is a predetermined abnormality. An execution command transmission processing unit is configured to transmit a command for a predetermined operation or a command for instructing another
追加解析処理(S23)は、上述した追加監視部25内の追加処理部の処理である。よって、異常の内容に応じた追加解析を行うことができる。
また、通報処理(S24)は、検出された異常の内容に応じた所定のデータ、メッセージ等の所定の情報を、センタ装置4へ送信する処理である。例えば、判定部26が、異常の内容から危険度レベルを判定する処理を実行した場合は、その危険度レベルの情報も、センタ装置4へ送信される。
The additional analysis process (S23) is a process of the additional processing unit in the
The notification process (S24) is a process of transmitting predetermined information such as predetermined data and a message corresponding to the detected abnormality to the
画像送信処理(S25)は、異常を検出した監視カメラ2が、所定の画像データを、画像供給部28から読み出して、センタ装置4へ送信する処理である。
追加解析処理(S23)の実行後、所定の判定処理が実行される(S26)。
The image transmission process (S25) is a process in which the
After the additional analysis process (S23) is executed, a predetermined determination process is executed (S26).
上述したように、S22からS26の処理の内容は、ルールベースで定められたものであり、異常の内容に応じて異なっている。これらの処理が実行されると、検出された異常が終結したか否かが判定される(S27)。 As described above, the contents of the processing from S22 to S26 are determined on a rule basis and differ depending on the contents of the abnormality. When these processes are executed, it is determined whether or not the detected abnormality is terminated (S27).
異常が終結していない場合は(S27:NO)、処理は、S21に戻り、異常が終結した場合は(S27:YES)、終結処理が実行されて(S28)、処理は、終了する。 If the abnormality is not terminated (S27: NO), the process returns to S21. If the abnormality is terminated (S27: YES), the termination process is executed (S28), and the process ends.
例えば、基本監視部24の停止物体の検出処理部P1により停止物体の有りの異常が検出された場合、判定部26は、その停止物体の検出に対応する予め決められた追加処理部Q1を、追加解析処理(S23)として実行する。同時に、判定部26は、異常対応処理の実行指示処理(S22)において、情報表示パネルの制御装置に対して、「トンネル中、停止車両有り」等のメッセージを表示するように、コマンドを送信する。さらに、判定部26は、通報処理(S24)において、センタ装置4へ停止車両の検出がされたことのメッセージを送信する。さらに、判定部26は、画像送信処理(S25)において、その停止物体の画像データをセンタ装置4へ送信する。
For example, when the stop object detection processing unit P1 of the
判定処理(S26)は、追加解析処理(S23)の処理結果に基づく処理であり、追加処理部Q1の処理結果に応じた処理を実行する。よって、例えば、追加処理部Q1により、人が検出された場合には、判定部26は、人が検出されたことの異常を検出する。
The determination process (S26) is a process based on the process result of the additional analysis process (S23), and executes a process according to the process result of the additional processing unit Q1. Therefore, for example, when a person is detected by the additional processing unit Q1, the
異常が終結していない場合には、処理は、処理内容決定処理(S21)に戻る。そして、判定部26は、再度、追加解析処理により検出された異常も加えて、処理内容を決定し、S22からS25の処理を実行する。
If the abnormality has not ended, the process returns to the process content determination process (S21). Then, the
例えば、追加処理部Q1において、人が検出されたときには、異常対応処理の実行指示処理(S22)において、放送設備の制御装置に対して、「他の車両に注意して下さい。」等の音声メッセージをトンネル内に放送するように、コマンドを送信する。 For example, when a person is detected in the additional processing unit Q1, in the execution instruction process (S22) of the abnormality handling process, a voice message such as “Please pay attention to other vehicles” is sent to the control device of the broadcast facility. Send a command to broadcast the message in the tunnel.
別の例として、基本監視部24の物体の軌跡の検出処理部P2により物体の軌跡が所定の軌跡ではないと判定された場合、判定部26は、物体の軌跡が所定の軌跡に合致しない場合に対応する追加処理部Q2を、追加解析処理として実行し、その追加処理部Q2の結果に基づく判定処理(S26)を実行する。
As another example, when the object trajectory detection processing unit P2 of the
終結処理(S28)は、異常状態が検出されなくなったので、センタ装置4への異常状態の終了したことのメッセージ等の送信処理、他の設備へ送信したコマンドに基づく動作の終了指示のコマンドの送信処理、等が実行される。
In the termination process (S28), since the abnormal state is no longer detected, a transmission process of a message indicating that the abnormal state has ended to the
以上のように、監視カメラ2は、基本監視部24と追加監視部25を有して、通常は、基本監視部24の処理を実行し、基本監視部24において異常が検出された場合、あるいはセンタ装置4からコマンドを受信した場合は、予めルールベースで設定された処理部を実行する。
As described above, the
(センタ装置における異常処理)
監視室の監視員は、モニタ6に表示される情報、画像などを見ながら、トンネル内の交通状況を監視する。監視員は、上述したように特定の監視カメラ2を指定して所望の処理を実行させて、その監視カメラ2を制御することができる。そして、センタ装置4は、複数の監視カメラ2からの各種情報を受信して、異常が検出された場合には、所定の処理を実行する。
(Abnormal processing in center equipment)
A monitor in the monitoring room monitors traffic conditions in the tunnel while viewing information, images, and the like displayed on the
図8は、センタ装置4における異常処理の流れの例を示すフローチャートである。図8の処理は、センタ装置4のCPUによって実行される。
センタ装置4は、個別カメラからの情報を入手し(S31)、所定の基準に基づいて、状況を判定し、その判定結果に応じた処理内容を決定する(S32)。
FIG. 8 is a flowchart showing an example of the flow of abnormality processing in the
The
その状況を判定するために所定の基準データは、記憶装置5の基準データ記憶部5aに記憶されている。また、判定された状況に応じて実行すべき処理内容のデータも、記憶装置5内の処理内容データ記憶部5bに記憶されている。
Predetermined reference data for determining the situation is stored in the reference
センタ装置4のCPUは、S32における状況判定の結果、異常ありと判定されたか否かを判定し(S33)、異常がなければ(S33:NO)、処理は、S31に戻る。異常があれば(S33:YES)、センタ装置4は、異常対応処理の実行指示処理(S34)、警告画面表示処理(S35)及び操作入力確認処理(S36)を実行する。これらの3つの処理は、互いに並列に実行され、それぞれS32において決定された内容を実行する。
The CPU of the
異常対応処理の実行指示処理(S34)は、例えば、センタ装置4に接続された設備、例えばトンネルの出入り口に設置された情報表示パネル、に対する指示を与える処理、特定の監視カメラ2へのコマンド指示送信処理、等である。
The abnormality response process execution instruction process (S34) includes, for example, a process for giving an instruction to equipment connected to the
例えば、基本監視部24の物体の軌跡の検出処理部P2により物体の軌跡が所定の軌跡ではないと判定された場合にその情報を入手すると、情報表示パネルに「走行注意」等の所定のメッセージを表示させるためのコマンドが、情報表示パネルに送信される。その結果、他の車両のドライバは、より注意した運転を心掛けることができる。そのようなコマンドの送信は、予め自動的に行われる設定になっている場合には、監視員は、特に、情報表示パネルへの指示操作をしなくてよい。その設定内容は、処理内容データ記憶部5bに記憶される。
For example, when the object trajectory detection processing unit P2 of the
異常対応処理の実行指示処理(S34)により、センタ装置4は、例えば、他の特定の監視カメラ2に対して、画像データを送信させるためのコマンドを送信するようにすることもできる。その結果、所定の軌跡に合致しない走行をしている車両がその後通過すると想定される場所の画像がモニタ6に表示されるので、監視員は、その車両がその監視カメラ2の前を通過するのを待ち伏せして、通過したときの走行状況を見て確認することができる。
さらに、後述するような、消防法に規定される危険物や、毒物及び劇物取締法に規定される毒物等を運搬する車両(以下、危険車両という)の表示処理も、この異常対応処理の実行指示処理(S34)において実行される。
Through the execution instruction process (S34) of the abnormality handling process, the
In addition, as shown below, the display processing of dangerous goods stipulated in the Fire Service Act and vehicles that carry poisonous substances specified in the Poisonous and Deleterious Substances Control Law (hereinafter referred to as dangerous vehicles) This is executed in the execution instruction process (S34).
以上のようにして、異常対応処理の実行指示処理(S34)の処理によって、異常時における所定の処理の自動化を実現することができる。 As described above, it is possible to realize automation of a predetermined process at the time of abnormality by the process of the abnormality handling process execution instruction process (S34).
警告画面表示処理(S35)は、図9に示すようなモニタ6の画面上に、所定のメッセージを表示する処理である。この警告画面表示処理(S35)によって、例えば、ある異常が発生したときは、「・・を操作して下さい。」等の対応操作方法を示すすなわちアドバイスするメッセージが表示される。そのメッセージ表示を見て、監視員に所定の操作をさせることができる。発生した異常に応じて、どのようなメッセージを、どのような順番で表示するかは、処理内容データ記憶部5bに予め記憶されている。
また、操作入力確認処理(S36)は、警告画面表示処理(S35)によって指示された操作が、適切に行われたか否かを確認する処理である。例えば、所定の順番で操作させるべき操作が、所定の順番で正しく行われているか否かが判定され、操作内容及び順番が適切でないときには、操作入力確認処理(S36)は、操作すべき内容をモニタ6上に表示する。
The warning screen display process (S35) is a process for displaying a predetermined message on the screen of the
The operation input confirmation process (S36) is a process for confirming whether or not the operation instructed by the warning screen display process (S35) has been appropriately performed. For example, it is determined whether or not the operations to be operated in a predetermined order are correctly performed in the predetermined order. When the operation contents and the order are not appropriate, the operation input confirmation process (S36) Display on the
すなわち、センタ装置4は、いずれかの監視カメラ2の判定部26から所定の異常の通知を受けると、所定の操作内容を示すメッセージを表示装置に表示する表示処理と、所定の操作内容の操作入力を監視して所定の操作内容が入力されているかを確認する操作入力確認処理を実行する。
That is, when the
S34〜S36の処理の結果、総合判定が行われる(S37)。異常発生後のデータすなわち経緯データは、記憶装置5に記録される。総合判定の基準も、記憶装置5の基準データ記憶部5aに記憶されている。総合判定処理(S37)は、異常が発生してからの経緯に基づいて、所定の処理が実行されて、異常の発生もなくなり、異常が終結したか否かが判定される。
As a result of the processing of S34 to S36, comprehensive determination is performed (S37). Data after the occurrence of an abnormality, that is, history data is recorded in the
総合判定処理(S37)の後、異常が終結したか否かが判定され、異常が終結していなければ(S38:NO)、処理は、S31に戻り、異常が終結していれば(S38:YES)、終結処理を実行して(S39)、処理は終了する。 After the comprehensive determination process (S37), it is determined whether or not the abnormality has ended. If the abnormality has not ended (S38: NO), the process returns to S31, and if the abnormality has ended (S38: YES), a termination process is executed (S39), and the process ends.
よって、センタ装置4は、各監視カメラ2からの情報に基づいて、異常の判定を行い、その異常に応じた処理を実行すると共に、所定のメッセージ等をモニタ6の画面上に表示し、かつ異常に対応する所定の操作が正しく行われたか否かの確認を行う。よって、異常発生時に、監視員がその異常の内容を確認して、必要な設備に対する処理の全てを行う必要もなく、かつ操作内容がガイダンスとして表示されるので、迅速な対応も可能となり、さらに操作ミスも防止することができる。
Therefore, the
(監視画面)
図9は、モニタ6上に表示される監視画面の例を示す図である。モニタ6の画面51内には、監視対象トンネルの模式図を表示する表示部52と、トンネルの各出入り口の入車台数と出車台数の表示部53と、監視画像の表示部54と、トンネル内に存在する車両の台数を表示する表示部55とを含む。
(Monitoring screen)
FIG. 9 is a diagram illustrating an example of a monitoring screen displayed on the
表示部52は、トンネルの模式図の各出入り口の近傍には、行き先を示す、「・・方面」という文字が併せて表示されている。
表示部53は、トンネルの模式図の各出入り口の近傍に配置され、入車台数と出車台数をリアルタイムで表示する。台数は、例えば、日付の始まる午前零時からの累積台数などである。
In the
The
表示部54は、複数の監視カメラ2の中から選択された特定の監視カメラ2から撮影画像を取得して、表示している。上述したように、監視員がセンタ装置4を操作して、監視したい場所の監視カメラ2を選択して、その監視カメラ2に画像送信コマンドを送信することによって、表示部54にその監視カメラ2の画像を表示させることもできる。
The
表示部55は、そのときにトンネル内に存在する車両の数を、リアルタイムで表示する。例えば、監視カメラ2(1)と2(n)から、上りと下りの各車線のそれぞれについて、認識した車両であってトンネルに入った車両と出た車両の数の情報を常に送信させ、上りと下りのそれぞれについて入った車両から出た車両の差分を計算することによって、センタ装置4は、トンネル内に存在する車両の数を、表示することができる。
The
図9の画面は、常にモニタ6に表示され、上述したアドバイスメッセージ等の表示は、図9の画面上に例えば、ポップアップウインドウにより行われる。
The screen of FIG. 9 is always displayed on the
図10は、図9の画面の表示処理の流れの例を示すフローチャートである。センタ装置4は、特定の監視カメラ2、例えば監視カメラ2(1)と2(n)、から、入った車両と出た車両の数の情報を取得し、所定演算を実行する(S41)。所定演算とは、上述した表示部53と55の台数を表示するための演算である。
FIG. 10 is a flowchart illustrating an example of the flow of the display process of the screen of FIG. The
そして、センタ装置4は、特定の監視カメラ2からの画像データを取得し(S42)、S41とS42で得た情報に基づき、図9の画面データを更新する(S43)。その結果、モニタ6に表示される画面51の内容は、リアルタイムの表示となる。
And the
(ログデータ)
各監視カメラ2のメモリ27には、上述したようにログデータが格納される。計測及び記録処理部P3は、立体計測部23において得られた距離画像に基づいて、認識して得られた各物体について、識別子を付与し、その物体について、図11に示す各データを取得或いは計算して得て、メモリ27に記憶する。
メモリ27の容量は、制限があるので、新しいデータが記録されるときは、最も古いデータが消去される。メモリ27には、例えば、過去、数十時間のデータが記憶される。
(Log data)
Log data is stored in the memory 27 of each
Since the memory 27 has a limited capacity, the oldest data is erased when new data is recorded. In the memory 27, for example, data for several tens of hours in the past is stored.
図11は、ログデータのデータ構造を示す図である。図11のログデータは、監視カメラ2の上りと下り毎に生成されて記憶されるデータである。
図11は、監視カメラ2の識別番号(図11では、監視カメラ2(k)として示されている)の上りの車線のログデータを示す。ログデータ61は、上りと下り別に、カメラ識別番号(カメラ#(上り))、車両ID、時刻(入)、時刻(出)、物体の複数の属性、速度、監視領域内に入ったときの位置(入)、監視領域内から出たときの位置(出)、監視領域内の軌跡、等のデータを含む。
FIG. 11 is a diagram illustrating a data structure of log data. The log data in FIG. 11 is data that is generated and stored every time the
FIG. 11 shows log data of the upstream lane of the identification number of the monitoring camera 2 (shown as monitoring camera 2 (k) in FIG. 11). The
図11の車両IDは、監視カメラ2毎に付与されるので、所謂ローカルID(以下、ローカル車両IDともいう)である。時刻(入)と時刻(出)は、それぞれ、認識された物体が監視領域内に入った及び出た時刻であり、ミリ秒単位の時刻データである。属性は、例えば、認識された物体の色、体積、高さ、形状などのデータである。体積、高さ、形状などは、距離画像データに基づいて算出される。速度は、監視領域内を走行する物体の位置の変化から演算により算出されるデータである。
Since the vehicle ID in FIG. 11 is assigned to each
位置(入)と位置(出)は、それぞれ、監視領域内の位置であり、例えば、監視領域のXY平面上において、物体が監視領域に入ったときの位置と監視領域から出て行ったときの位置のデータである。軌跡は、監視領域のXY平面上における、認識された物体の位置、例えば先頭位置、重心位置等、の変化を示す軌跡データである。
図11に示すデータ以外のデータもログデータとしてメモリ27に記憶してもよい。
The position (on) and the position (out) are positions within the monitoring area. For example, on the XY plane of the monitoring area, the position when the object enters the monitoring area and when the object leaves the monitoring area This is the position data. The trajectory is trajectory data indicating changes in the position of the recognized object on the XY plane of the monitoring area, such as the head position and the center of gravity position.
Data other than the data shown in FIG. 11 may also be stored in the memory 27 as log data.
上述したように、メモリ27のログデータ61は、車両毎に生成されるが、ローカルIDのデータである。センタ装置4は、全てのあるいは一部の監視カメラ2からログデータを収集することができる。各監視カメラ2から収集した各車両のログデータ61は、記憶装置5に記憶される。
As described above, the
センタ装置4は、各監視カメラ2から収集したログデータ中の時刻(入)、時刻(出)、位置(入)及び位置(出)のデータを用いて、各監視カメラ2からの複数のローカル車両IDを、互いに関連付ける処理を行うことができる。
The
図12は、センタ装置4におけるローカル車両IDの関連付けを説明するための図である。図12では、連続する監視カメラ2(k)から2(k+4)のそれぞれの撮影範囲が、PA(k)〜PA(k+4)として示されている。上述したように、隣り合う監視カメラ2の撮影範囲PA(点線で示す)は、重なっている。
FIG. 12 is a diagram for explaining association of local vehicle IDs in the
撮影範囲PA内には、ログデータ中、時刻(入)、時刻(出)、位置(入)及び位置(出)のデータを取得するための監視領域MRが設定されている。図12では、撮影範囲PA(k)〜PA(k+4)中に、それぞれ、監視領域MR(k)〜MR(k+4)が設定されている。隣り合う監視カメラ2の監視領域MRは、接するように設定される。この設定は、例えば、トンネル101内に監視カメラ2を設置した後に、各監視カメラ2からの撮影画像に基づいて、行われる。よって、隣り合う監視カメラ2の2つの監視領域MRが接して線(以下、境界線という)TL上の位置は、2つの監視領域MR間で関連付けることができる。
In the imaging range PA, a monitoring area MR for acquiring data of time (on), time (out), position (on) and position (out) in the log data is set. In FIG. 12, monitoring areas MR (k) to MR (k + 4) are set in the imaging ranges PA (k) to PA (k + 4), respectively. The monitoring areas MR of
そして、センタ装置4は、隣り合う監視カメラ2同士の境界線TL上の位置の関連情報を、記憶装置5に予め記憶しておく。その位置の関連情報は、記憶装置5の関連情報記憶部5cに記憶される。関連情報は、例えば、境界線TL上における、2つの監視領域MRの位置の変換式であり、全ての境界線TLについて生成されて、関連情報記憶部5cに記憶される。センタ装置4は、位置の関連情報に基づいて、隣り合う2つの監視領域MRの一方から見た境界線TL上の位置と、他方から見た同じ境界線TL上の位置が同じ位置であるかを判定することができる。
Then, the
図12には、上りと下りのそれぞれにおけるある車両の軌跡が、点線で示されている。上りにおける監視領域MR(k)から出た車両の位置P1と、その隣の監視領域MR(k)から出た車両の位置P2は、それぞれの監視カメラ2(k)と2(k+1)から得られるので、監視カメラ2(k)の記録した時刻(出)と監視カメラ2(k+1)の記録した時刻(入)が一致し、かつ監視カメラ2(k)の記録した位置(出)と監視カメラ2(k+1)の記録した位置(入)が一致した場合は、2つの監視カメラ2で別個に生成されたログデータは、同じ車両についてのログデータと決定される。
In FIG. 12, the trajectory of a certain vehicle in each of the up and down directions is indicated by dotted lines. The position P1 of the vehicle exiting from the monitoring area MR (k) and the position P2 of the vehicle exiting from the adjacent monitoring area MR (k) are obtained from the respective monitoring cameras 2 (k) and 2 (k + 1). Therefore, the time (out) recorded by the monitoring camera 2 (k) matches the time (on) recorded by the monitoring camera 2 (k + 1), and the position (out) recorded by the monitoring camera 2 (k) is monitored. When the recorded positions (input) of the cameras 2 (k + 1) match, the log data generated separately by the two
そのために、センタ装置4は、複数の監視カメラ2の監視する領域における、監視カメラ同士の位置を関連付ける関連情報を有し、その関連情報に基づいて、複数の監視カメラが生成した車両の識別情報を関連付ける処理を行う関連付け処理部を有する。
For this purpose, the
その結果、各監視カメラ2において別個に生成されたローカル車両IDを有する2つのログデータは、同じ車両のものであると判定できるので、一つの車両ID(すなわちグローバルな車両ID)のログデータとして纏めることができる。言い換えると、ローカル車両IDをグローバル車両IDに変換することができる。
As a result, since two log data having local vehicle IDs generated separately in each
なお、ログデータには、各種属性データが含まれるので、複数のログデータを、同じ車両についてのログデータと決定するときに、属性データを確認用データとして用いるようにしてもよい。 Since the log data includes various attribute data, the attribute data may be used as confirmation data when determining a plurality of log data as log data for the same vehicle.
センタ装置4は、全ての監視カメラ2のログデータを収集してこのような処理を行うことによって、全ての車両についての、トンネルの入口から出口までの道路上の走行状態のデータを生成して得ることができる。そのデータは、各車両のトンネル内の走行履歴データである。
The
よって、事故等の何らかのイベントが発生した直後に、センタ装置4が全ての監視カメラ2に対してログデータを送信するログデータ送信コマンドを送信して、全ての監視カメラ2のログデータを収集して、上記のような各車両の走行履歴データを生成する。生成された各車両の走行履歴データは、事故直後の事故に関わる車両の走行状態を示すので、事故の原因を調査する者にとっては、有効な情報となる。
Therefore, immediately after an event such as an accident occurs, the
なお、図12では、隣り合う監視カメラ2の監視領域MRは、接するように設定されているが、重なって、あるいは完全に接していなくてもよい。重なっている場合は、重なっている領域の位置情報の関連付けを行うことによって、2つのログデータの関連付けを行うことができる。また、隣り合う監視カメラ2の監視領域MRが接していない場合は、その間の距離に応じた時間と位置の推定処理を行うことによって、2つのログデータの関連付けを行うことができる。
In FIG. 12, the monitoring areas MR of
(危険車両等の情報の取得処理)
次に、危険車両等の情報の取得処理について説明する。
(Information acquisition process for dangerous vehicles)
Next, processing for acquiring information such as dangerous vehicles will be described.
(1)通信I/F9の処理
入口監視カメラ7により撮像された、トンネル101に入ってくる車両の画像データは、通信I/F9からセンタ装置4へ送信される。さらに、無線通信装置8が取得した車載器情報も、センタ装置4へ送信される。
(1) Processing of Communication I / F 9 The image data of the vehicle entering the
図13は、通信I/F9における画像データと車載器情報の送信処理の流れの例を示すフローチャートである。通信I/F9は、画像データ送信処理(S51)と車載器情報送信処理(S52)を繰り返しながら、常に実行する。 FIG. 13 is a flowchart illustrating an example of a flow of transmission processing of image data and in-vehicle device information in the communication I / F 9. The communication I / F 9 is always executed while repeating the image data transmission process (S51) and the vehicle-mounted device information transmission process (S52).
通信I/F9は、画像データ送信処理(S51)では、入口監視カメラ7が出力する画像データに、時刻情報を付加する処理を行い、画像データが得られたときの時刻情報が付加された画像データを、センタ装置4へ送信する。この時刻は、車両の「危」等の標章の認識に用いられる画像の取得時刻である。
The communication I / F 9 performs processing for adding time information to the image data output from the entrance monitoring camera 7 in the image data transmission processing (S51), and adds the time information when the image data is obtained. Data is transmitted to the
ここでは、入口監視カメラ7は、トンネル101に入るときの車両を撮像するように撮像タイミングの調整がされているので、画像データに付与される時刻は、撮像された車両がトンネルに入ったときの時刻となる。
Here, since the entrance monitoring camera 7 has adjusted the imaging timing so as to image the vehicle when entering the
通信I/F9は、車載器情報送信処理(S52)では、無線通信装置8において車載器情報が取得されたときに、車載器情報に時刻情報を付加する処理を行い、時刻情報の付加された車載器情報をセンタ装置4へ送信する。
In the in-vehicle device information transmission process (S52), the communication I / F 9 performs processing for adding time information to the in-vehicle device information when the in-vehicle device information is acquired in the wireless communication device 8, and the time information is added. The in-vehicle device information is transmitted to the
この無線通信装置8も、トンネル101に入るときの車両から車載器情報を得るように、設置されているので、車載器情報に付与される時刻は、車両がトンネルに入ったときに車載器情報の取得時刻である。
Since this wireless communication device 8 is also installed so as to obtain OBE information from the vehicle when entering the
なお、通信I/F9が時刻情報を付加しなくても、画像データ及び車載器情報を送信するときの通信フォーマット中の時刻データが使用できる場合は、センタ装置4は、その通信ファーマット中の時刻データを、画像データ及び車載器情報の時刻情報として用いてもよい。
Even if the communication I / F 9 does not add the time information, if the time data in the communication format when transmitting the image data and the vehicle-mounted device information can be used, the
(2)センタ装置4の処理
(2−1)入口監視カメラ7からの画像データ処理
図13のS51の処理によって、センタ装置4が2つの入口監視カメラ7のそれぞれからの画像データを受信すると、センタ装置4は、画像データに対して画像処理による文字認識、顔認識の各処理を実行して、画像データから、各種情報を抽出する。
(2) Processing of Center Device 4 (2-1) Image Data Processing from Entrance Monitoring Camera 7 When the
なお、センタ装置4は、上り車線と下り車線のそれぞれについて、同様の処理を行うので、以下の説明では、上り車線についての車両に関する処理について、説明し、下り車線についての説明は省略する。
In addition, since the
図14は、センタ装置4における画像データの処理の流れの例を示すフローチャートである。
センタ装置4は、受信した画像データ中から、車両ナンバー及び所定の標章の情報を、文字認識処理により得る(S61)。車両ナンバーは、画像中のナンバープレート部分の画像から認識される。所定の標章は、例えば、「危」、「毒」、「劇」、「高圧ガス」、「指定可燃物」のマーク若しくは文字であり、画像から、文字認識処理等により抽出される。
FIG. 14 is a flowchart illustrating an example of the processing flow of image data in the
The
さらに、センタ装置4は、画像データに対して、顔認識処理を実行して、画像から顔を抽出して、その顔の数から、車両に乗っている人の数を判定する(S62)。
そして、センタ装置4は、画像データに付与された時刻データと、認識された車両ナンバーと、判定された乗車人数と、所定の標章の情報とから、画像解析情報テーブル62を作成する(S63)。画像解析情報テーブル62は、記憶装置5に格納される。
Further, the
Then, the
図15は、画像解析情報テーブル62の構造を示す図である。画像解析情報テーブル62は、画像取得時刻毎に、車両ナンバー、検出された乗車人数、「危」情報、「毒」情報、「劇」情報、「高圧ガス」情報、「指定可燃物」情報を含む。「危」情報、「毒」情報、「劇」情報、「高圧ガス」情報、「指定可燃物」情報は、検出された標章があれば、その検出された標章に対応する位置にフラグ情報(例えば「1」)が、標章情報として記録される。図15では、画像取得時刻「2010:11:01:12:01:01:33」の車両「足立550い34-**」が、「劇」の標章が検出されたことを示している。
よって、画像データが取得されると、画像取得時刻毎に、車両ナンバー及び乗車人数に加えて、車両の画像から認識された所定の標章についての標章情報が、画像解析情報テーブル62に追加されていく。言い換えると、この画像取得時刻は、所定の標章の認識に用いられた車両画像が取得されたときの時刻である。
FIG. 15 is a diagram illustrating the structure of the image analysis information table 62. The image analysis information table 62 includes a vehicle number, the number of detected passengers, “danger” information, “poison” information, “play” information, “high pressure gas” information, and “designated combustible” information for each image acquisition time. Including. “Danger” information, “Poison” information, “Drama” information, “High pressure gas” information, and “Designated combustible” information are flagged at the position corresponding to the detected mark, if any. Information (for example, “1”) is recorded as the mark information. In FIG. 15, the vehicle “
Therefore, when the image data is acquired, in addition to the vehicle number and the number of passengers, the mark information about the predetermined mark recognized from the vehicle image is added to the image analysis information table 62 at each image acquisition time. It will be done. In other words, this image acquisition time is a time when a vehicle image used for recognition of a predetermined mark is acquired.
(2−2)無線通信装置8からの車載器データ処理
図13のS52の処理によって、センタ装置4が2つの無線通信装置8のそれぞれからの車載器情報を受信すると、センタ装置4は、車載器情報から、車載器情報テーブル63を作成する。
(2-2) On-vehicle device data processing from the wireless communication device 8 When the
図16は、センタ装置4における車載器情報の処理の流れの例を示すフローチャートである。
センタ装置4は、受信した車載器情報から、車載器情報テーブル63を作成する(S71)。車載器情報テーブル63は、記憶装置5に格納される。
FIG. 16 is a flowchart illustrating an example of a flow of processing of the vehicle-mounted device information in the
The
図17は、車載器情報テーブル63の構造を示す図である。車載器情報は、車両情報と、カード情報を含むので、車載器情報テーブル63は、車載器情報取得時刻毎に、車両情報、カード情報を含む。車両情報は、車両ナンバー等の情報であり、カード情報は、クレジットカード番号等の情報である。よって、車載器情報が取得されると、車載器取得時刻毎に、車両情報等が、車載器情報テーブル63に追加されていく。言い換えれば、車載器取得時刻は、車載器情報が取得されたときの時刻である。 FIG. 17 is a diagram illustrating the structure of the vehicle-mounted device information table 63. Since the vehicle-mounted device information includes vehicle information and card information, the vehicle-mounted device information table 63 includes vehicle information and card information for each on-vehicle device information acquisition time. The vehicle information is information such as a vehicle number, and the card information is information such as a credit card number. Therefore, when the in-vehicle device information is acquired, vehicle information and the like are added to the in-vehicle device information table 63 at each on-vehicle device acquisition time. In other words, the onboard device acquisition time is the time when the onboard device information is acquired.
(2−3)車両IDテーブルの生成
センタ装置4は、上述したように、各監視カメラ2からログデータを取得し、そのログデータ中の時刻と位置の情報から、各車両について、グローバルIDである車両ID(以下、グローバル車両IDともいう)を生成することができる。
(2-3) Generation of Vehicle ID Table As described above, the
例えば、センタ装置4は、異常が検出された場合に、図8の異常対応処理の実行指示処理(S34)において、各監視カメラ2からログデータを収集する処理を実行して、図18の処理を実行する。
なお、各監視カメラ2とセンタ装置4との間の通信トラフィック上に余裕があれば、常に、図18の処理を行うようにしてもよい。
For example, when an abnormality is detected, the
If there is a margin in the communication traffic between each monitoring
図18は、グローバル車両IDの車両IDテーブルの生成処理の流れの例を示すフローチャートである。
センタ装置4は、各監視カメラ2に対して、ログデータを送信させるコマンドを送信して、各監視カメラ2からログデータを取得する(S81)。
次にセンタ装置4は、上述したように、各ログデータ中の時刻(入と出)と位置(入と出)の情報から、複数のログデータ中のローカルIDを関連付ける(S82)。図12において説明したように、ある監視カメラ2の監視領域MR(k)から出て行った車両の時刻と位置P1と、その隣の監視カメラ2の監視領域MR(k+1)入って来た車両の時刻と位置P2とに基づいて、センタ装置4は、各監視カメラ2のローカルIDのログデータが、他の監視カメラ2のローカルIDのログデータの関連付けを行うことができる。すなわち、ある車両がトンネル101に入ってから出るまでの間に、複数の監視カメラ2が生成し複数のログデータが、その車両のログデータとして特定される。
FIG. 18 is a flowchart illustrating an example of a flow of a process for generating a vehicle ID table for a global vehicle ID.
The
Next, as described above, the
そして、センタ装置4は、その関連付け情報に基づいて、各ローカルIDに対応するグローバルIDを決定する(S83)。すなわち、センタ装置4では、同一車両については、トンネル101に入ってから出ていくまでのログデータに対して、共通の識別情報であるグローバルIDが生成する。
Then, the
センタ装置4は、生成されて決定されたグローバル車両IDについての車両IDテーブルを生成する(S84)。車両IDテーブル64は、記憶装置5に格納される。
The
図19は、その車両IDテーブル64の構造を示す図である。車両IDテーブル64は、生成されたグローバル車両IDと、そのグローバル車両IDに関する車両ID付与時刻の情報を含むテーブルである。 FIG. 19 is a diagram showing the structure of the vehicle ID table 64. The vehicle ID table 64 is a table including the generated global vehicle ID and vehicle ID grant time information related to the global vehicle ID.
車両ID付与時刻は、トンネル101内に入ったときの時刻である。トンネル101内に入ったときの時刻は、トンネルの入口にある監視カメラ2(1)あるいは2(n)の監視領域MR内に、そのグローバル車両IDで特定される車両が入ったときの時刻(すなわちトンネルに入ったときの時刻)である。
The vehicle ID grant time is the time when entering the
この車両ID付与時刻は、入口監視カメラ7において得られた画像データが得られたときの時刻、及び無線通信装置8において車載器情報が取得されたときの時刻と同一である。ここで、同一の時刻とは、それぞれの時計の誤差、入口監視カメラ7及び無線通信装置8の物理的な設置位置の違いによる時刻の誤差、等を含めて、略同一である時刻である。従って、そのような時刻の誤差があるときは、所定の時間、例えば1秒以内の差の時刻は、同一時刻と判定される。 This vehicle ID provision time is the same as the time when the image data obtained by the entrance monitoring camera 7 is obtained and the time when the vehicle-mounted device information is obtained by the wireless communication device 8. Here, the same time is a time that is substantially the same including an error of each clock, an error in time due to a difference in physical installation positions of the entrance monitoring camera 7 and the wireless communication device 8, and the like. Therefore, when there is such an error in time, it is determined that a predetermined time, for example, a difference time within one second is the same time.
図19は、上り車線を通った車両についての車両IDテーブルであり、下り車線を通った車両についても、同様のテーブルが生成され得る。 FIG. 19 is a vehicle ID table for a vehicle that has passed an up lane, and a similar table can be generated for a vehicle that has passed a down lane.
なお、車両IDテーブル64は、上述したように、例えば事故が発生して、監視員が危険車両等の表示指示をしたときに、生成されてもよいし、あるいは事故などが発生していない場合でも、センタ装置4が、各監視カメラ2からログデータを受信するようにして、常に生成するようにしてもよい。
As described above, the vehicle ID table 64 may be generated, for example, when an accident occurs and the monitor instructs the display of dangerous vehicles, or when no accident has occurred. However, the
(2−4)標章情報テーブルの生成と標章情報の出力
次に、標章情報テーブルの生成処理について説明する。
例えば、事故が発生したときに、監視員は、トンネル内にどのような危険物などを搭載した危険車両が存在するのかを知りたい場合がある。その場合、センタ装置4は、監視員からのコマンドに応じて、あるいは特定の異常の通報に応じて、危険車両の情報の出力処理を実行する。
(2-4) Generation of Mark Information Table and Output of Mark Information Next, a mark information table generation process will be described.
For example, when an accident occurs, the monitor may want to know what kind of dangerous vehicle is loaded with dangerous goods in the tunnel. In this case, the
図20は、危険物等を搭載した車両情報の出力処理の流れの例を示すフローチャートである。
まず、上述したような、監視員からの所定のコマンドの受信、あるいは監視カメラ2からの特定の異常の通報の受信があると、センタ装置4は、図20の処理を実行する。
FIG. 20 is a flowchart illustrating an example of a flow of output processing of vehicle information carrying a dangerous substance or the like.
First, when a predetermined command is received from the monitoring person or a specific abnormality report is received from the
センタ装置4は、上述した車両IDテーブル64を生成し(S91)、後述する標章情報テーブル65を生成する(S92)。上述したように、車両IDテーブル64と標章情報テーブル65におけるグローバル車両IDは、複数の監視カメラ2において生成された複数のローカル車両IDの識別情報を、各監視カメラ2の監視領域中における認識された車両の位置情報と、ログデータ中の時刻情報とに基づいて関連付けて生成された、同一車両については共通の識別情報である。
The
そして、センタ装置4は、生成した標章情報テーブル65の情報を用いて、所定の情報を出力する(S93)。S93の処理が、監視カメラ2において認識された車両と関連付けられた標章情報を出力する標章情報出力部及び監視カメラ2において認識された車両と関連付けられた車載器情報を出力する車載器情報出力部を構成する。
Then, the
次に、S92の標章情報テーブル65の生成処理について説明する。図21は、S92の標章情報テーブル65の生成処理の流れの例を示すフローチャートである。
センタ装置4は、車両IDテーブル64中の各グローバル車両IDについて、「車両ID付与時刻」と同一時刻の画像取得時刻を有する情報を、画像解析情報テーブル62中から抽出する(S101)。
次に、センタ装置4は、車両IDテーブル64中の各グローバル車両IDについて、「車両ID付与時刻」と同一時刻の車載器情報取得時刻を有する情報を、車載器情報テーブル63中から抽出する(S102)。
Next, the generation process of the mark information table 65 in S92 will be described. FIG. 21 is a flowchart illustrating an example of the flow of the generation process of the mark information table 65 in S92.
The
Next, the
そして、センタ装置4は、画像解析情報テーブル62と車載器情報テーブル63とから抽出した情報に基づいて、標章情報テーブル65を生成する(S103)。標章情報テーブル65は、記憶装置5に格納される。
And the
この図21の処理により、入口監視カメラ7により認識された所定の標章についての標章情報と、監視カメラ2において距離画像に基づいて認識された車両とを関連付けるための標章情報テーブル65が生成される。図21の処理は、車両の画像から認識された「危」等の所定の標章についての標章情報を、所定の標章の認識に用いられた車両の画像が取得されたときの画像取得時刻の時刻情報と、監視カメラ2においてローカル車両IDが付与されたときの時刻に関連付けられたグローバル車両IDの車両ID付与時刻の時刻情報とに基づき、距離画像に基づいて認識された車両と関連付ける標章情報関連付け部を構成する。
21, the mark information table 65 for associating the mark information about the predetermined mark recognized by the entrance monitoring camera 7 with the vehicle recognized based on the distance image in the
図22は、標章情報テーブル65の構成を示す図である。標章情報テーブル65は、グローバル車両IDと、そのグローバル車両IDの車両に関する情報を含むテーブルである。車両に関する情報としては、画像解析情報テーブル62中の情報である、車両ナンバー、検出乗車人数、「危」情報、「毒」情報、「劇」情報、「高圧ガス」情報、「指定可燃物」情報がある。さらに、車両に関する情報には、車載器情報テーブル63中の情報である、車載器情報(すなわち、車両情報とカード情報)も含まれる。
よって、標章情報テーブル65は、所定の標章についての標章情報及び車載器情報と、監視カメラ2において距離画像に基づいて認識された車両とを関連付けるテーブルである。図21の処理は、車両についての車載器情報を、車載器情報が取得されたときの社先情報取得時刻の時刻情報と、監視カメラ2においてローカル車両IDが付与されたときの時刻に関連付けられたグローバル車両IDの車両ID付与時刻の時刻情報とに基づき、距離画像に基づいて認識された車両と関連付ける車載器情報関連付け部を構成する。
FIG. 22 is a diagram showing the configuration of the mark information table 65. The mark information table 65 is a table including a global vehicle ID and information related to the vehicle of the global vehicle ID. As information about the vehicle, information in the image analysis information table 62, such as vehicle number, number of detected passengers, “danger” information, “poison” information, “play” information, “high pressure gas” information, “designated combustible” There is information. Furthermore, the information regarding the vehicle includes vehicle-mounted device information (that is, vehicle information and card information) that is information in the vehicle-mounted device information table 63.
Therefore, the mark information table 65 is a table for associating mark information and vehicle-mounted device information for a predetermined mark with the vehicle recognized based on the distance image by the
次に、標章情報の出力処理(S93)について、説明する。
通常、センタ装置4は、図9に示すような画像をモニタ6に表示している。しかし、監視カメラ2からの異常通報に基づいて、例えば、ある場所で事故の発生が確認されたとする。
Next, the mark information output process (S93) will be described.
Normally, the
監視員は、そのような場合に、危険物等を搭載した車両がトンネル内に何台存在するのかを把握したい場合がある。
センタ装置4は、トンネル内に存在する車両に関する情報を、特に、上述した標章が付けられている車両の情報を、モニタ6に表示させることができる。
In such a case, the monitor may want to know how many vehicles carrying dangerous goods etc. exist in the tunnel.
The
図23は、モニタ6上に表示される標章表示を含む監視画面の例を示す図である。図23は、図9の画面の一部が変更された監視画面を示す。図23の監視画面は、トンネル内の危険標章車両の台数を表示する表示部55Aを含む。表示部55Aは、上りと下りのそれぞれの危険標章が付された車両の台数を表示している。
FIG. 23 is a diagram illustrating an example of a monitoring screen including a mark display displayed on the
さらに、所定のコマンドを入力することによって、標章毎の台数を表示する表示部56も表示されている。よって、監視員は、事故があったときに、その危険度の大きさ、およびどのような対策が必要かの情報を容易に把握することができる。
図23の表示は、センタ装置4のCPUによる、上述した標章情報テーブル65(上りと下り)の情報に基づく演算処理と画面生成処理により、行われる。すなわち、センタ装置4のCPUは、上りと下りの標章情報テーブル65の標章情報をカウントすることによって、図23の「危」等の情報毎に台数を判定することができる。図23の画面データは更新されて、モニタ6に表示される画面51の内容は、リアルタイムの表示となる。
Furthermore, the
The display of FIG. 23 is performed by the arithmetic processing and the screen generation processing based on the information in the above-described mark information table 65 (up and down) by the CPU of the
さらに、事故現場を撮影している監視カメラ2から画像データを取得して、図24に示すような画像を表示することもできる。図24は、監視カメラ2からの画像に車両ナンバーと標章情報を合成した監視画面の例を示す図である。図24では、モニタ6の画面上に、監視カメラ2が距離画像に基づいて認識した車両についての画像と共に、標章情報が表示されている。
Furthermore, it is also possible to acquire image data from the
センタ装置4は、事故直後に、各監視カメラ2からログデータを収集して、図19の車両IDテーブル64を生成する。このとき、センタ装置4は、各監視カメラ2において距離画像に基づいて認識された車両と、グローバル車両IDとの関連付けの情報を生成して有している。よって、センタ装置4は、監視カメラ2からの画像をモニタ6に表示するときに、表示された車両についてのローカルIDの識別情報と車両IDテーブル64のグローバル車両IDの識別情報との関連情報から、表示された車両に対応するグローバル車両IDに基づいて、標章情報テーブル65を参照して各車両の標識情報を得て、図24の画面を生成して表示することができる。
The
より具体的に説明すれば、上述したように、画像解析情報テーブル62は、車両の画像から認識された所定の標章についての標章情報を、その車両の画像が取得されたときの時刻を基準として、車両ナンバー、標章情報と、を関連付けたテーブルである。また、車両IDテーブル64は、グローバルIDである車両IDが車両ID付与時刻を基準として生成されたテーブルである。車両ID付与時刻は、トンネル101に車両が入ったときの時刻である。標章情報テーブル65は、画像解析情報テーブル62の画像取得時刻と、車両IDテーブル64の車両ID付与時刻とが一致する関係に基づいて、生成されたテーブルである。
More specifically, as described above, the image analysis information table 62 indicates the mark information about a predetermined mark recognized from the image of the vehicle, and the time when the image of the vehicle is acquired. It is a table in which vehicle numbers and mark information are associated with each other as a reference. The vehicle ID table 64 is a table in which a vehicle ID that is a global ID is generated with reference to the vehicle ID grant time. The vehicle ID grant time is the time when the vehicle enters the
よって、センタ装置4は、各監視カメラ2から受信した画像中の各車両のローカルIDと、グローバルIDとの関連情報から、各監視カメラ2が撮像している車両の、車両IDテーブル64のグローバル車両IDを特定することができる。よって、センタ装置4は、標章情報テーブル65を参照して、車両ナンバーと標章とを、各車両の画像に対応させて、図24の監視画面を生成することができる。
図24では、各車両の画像に、車両ナンバーと標章が、重畳されて表示されているので、監視員は、直ちにどの車両が危険車両なのかを判別することができる。
また、図23と図24では、標章情報を出力しているが、標章情報テーブル65に基づいて、車載器情報を出力するようにしてもよい。
Therefore, the
In FIG. 24, since the vehicle number and the mark are superimposed and displayed on the image of each vehicle, the supervisor can immediately determine which vehicle is a dangerous vehicle.
23 and 24, the mark information is output. However, the vehicle-mounted device information may be output based on the mark information table 65.
さらに、標章情報テーブル65の応用として、監視カメラ2が、車両の軌跡が真っ直ぐでないような蛇行運転の車両を検出したときに、センタ装置4は、その車両が危険車両であるときに、アラームを出力するようにしてもよい。
Further, as an application of the mark information table 65, when the
図25は、蛇行運転が検出されたときに、生成される蛇行車両テーブル66の構造を示す図である。蛇行車両テーブル66は、グローバル車両ID、車両ナンバー、車両の色、進行方向、及び軌跡情報を含む。グローバル車両IDは、標章情報テーブル65の上述したグローバル車両IDであり、車両ナンバーは、標章情報テーブル65の車両ナンバーであり、車両の色は、監視カメラ2からの得た認識情報である。進行方向は、監視カメラの監視領域に基づく情報である。軌跡情報は、監視カメラ2が記憶するその車両の軌跡データのアドレスデータ等である。
FIG. 25 is a diagram illustrating the structure of the meandering vehicle table 66 that is generated when the meandering operation is detected. The meandering vehicle table 66 includes a global vehicle ID, a vehicle number, a vehicle color, a traveling direction, and trajectory information. The global vehicle ID is the global vehicle ID described above in the mark information table 65, the vehicle number is the vehicle number in the mark information table 65, and the color of the vehicle is recognition information obtained from the
センタ装置4は、監視カメラ2から蛇行運転の検出の通報を受けると、上述した車両IDテーブル64を生成し、その車両IDテーブル64の情報と、監視カメラ2からの情報に基づいて、図25の蛇行車両テーブル66を生成する。
When the
センタ装置4は、標章情報テーブル65を参照して、蛇行車両テーブル66に登録された車両が危険車両であるか否かを判定し、蛇行運転の車両が危険車両である場合には、上述したS34又はS35の処理において、所定のアラームをモニタ6に出力する。例えば、図25の表をモニタ6に表示するようにしてもよい。
このようなアラームが出力されることで、監視員は、事故が起こる前に、そのような車両に対する対策を取ることができる。対策としては、警察に通報するなどの対応である。
The
By outputting such an alarm, the supervisor can take measures against such a vehicle before an accident occurs. Countermeasures include reporting to the police.
同様に、監視カメラ2が、停止車両を検出したときに、センタ装置4は、その車両が危険車両であるときに、アラームを出力するようにしてもよい。
図26は、停止車両が検出されたときに、生成される停止車両テーブル67の構造を示す図である。停止車両テーブル67は、グローバル車両ID、車両ナンバー、車両の色、進行方向、及び停止位置情報を含む。グローバル車両IDから進行方向までの情報は、蛇行車両テーブル66と同じである。停止位置情報は、監視カメラ2が記憶するその車両の位置データである。蛇行車両テーブル66と停止車両テーブル67は、記憶装置5に記憶される。
Similarly, when the
FIG. 26 is a diagram showing the structure of a stopped vehicle table 67 that is generated when a stopped vehicle is detected. The stop vehicle table 67 includes a global vehicle ID, a vehicle number, a vehicle color, a traveling direction, and stop position information. Information from the global vehicle ID to the traveling direction is the same as that of the meandering vehicle table 66. The stop position information is position data of the vehicle stored in the
センタ装置4は、停止車両が検出されたとき、標章情報テーブル65を参照して、停止車両テーブル67に登録された車両が危険車両であるか否かを判定し、停止車両が危険車両である場合には、上述したS34又はS35の処理において、所定のアラームをモニタ6に出力する等して、事故が起こる前に、監視員は、そのような車両に対する対策を取ることができる。例えば、図26の表をモニタ6に表示するようにしてもよい。
When the stopped vehicle is detected, the
以上のように、本実施の形態の通行車両監視システムによれば、道路上の通行車両を正確に認識し、設置が容易で、かつトンネル内にどのような車両が存在するのかを把握することができる。 As described above, according to the passing vehicle monitoring system of the present embodiment, it is possible to accurately recognize passing vehicles on the road, to easily install, and to understand what kind of vehicles exist in the tunnel. Can do.
従って、S34の処理は、基本監視部24が基本監視処理によって停止車両または蛇行車両を検出した場合、停止車両または蛇行車両についての識別情報に、標章情報が関連付けられているときに、停止車両または蛇行車両の情報を出力する車両情報出力部を構成する。
Therefore, in the process of S34, when the
従来は、例えば、トンネル内で事故が発生した場合に、トンネル内に存在する車両にどのような車両があるかが判らないため、警察などがトンネル内で事故現場に行って、あるいは行く途中で、危険物を搭載した大型車両等の存在を確認してから、化学消防隊、周辺住民の避難、等の要請を行っていた。このような従来の方法では、事故の規模、性質によっては、事故現場へ行く警察などが二次災害に遭遇する虞もあった。 Conventionally, for example, when an accident occurs in a tunnel, it is not known what kind of vehicle is in the tunnel, so the police etc. go to the accident site in the tunnel or on the way After confirming the existence of large vehicles equipped with dangerous goods, they requested chemical fire brigade, evacuation of neighboring residents, etc. In such a conventional method, depending on the scale and nature of the accident, there is a possibility that the police, etc., going to the accident site may encounter a secondary disaster.
これに対して、上述した本実施の形態の通行車両監視システムによれば、迅速に、かつ安全に危険車両の存在を確認することができる。 On the other hand, according to the passing vehicle monitoring system of the present embodiment described above, the presence of a dangerous vehicle can be confirmed quickly and safely.
以上のように、上述した本実施の形態による通行車両監視システムによれば、道路上の車両等を正確に認識し、設置が容易で、かつトンネル内にどのような車両が存在するのかを把握することができる通行車両監視システムを提供することができる。 As described above, according to the traffic vehicle monitoring system according to the present embodiment described above, it is possible to accurately recognize vehicles on the road, to easily install them, and to understand what vehicles exist in the tunnel. A traffic vehicle monitoring system can be provided.
なお、上述した実施の形態は、通行車両監視システムをトンネルの車両を監視する例であるが、上述した通行車両監視システムは、トンネル内の車両の監視だけでなく、通常の道路、高速道路等の車両の監視にも適用できるものである。 The above-described embodiment is an example of monitoring a vehicle in a tunnel using a traffic vehicle monitoring system. However, the above-described traffic vehicle monitoring system is not only for monitoring a vehicle in a tunnel, but also for a normal road, a highway, and the like. It can also be applied to the monitoring of other vehicles.
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.
1 通行車両監視システム、2 監視カメラ、3 通信ケーブル、4 センタ装置、5 記憶装置、5a 基準データ記憶部、5b 処理内容データ記憶部、11 ケーシング、12 対物光学系、13 コネクタ、21 撮像部、22 撮像I/F、23 立体計測部、24 基本監視部、25 追加監視部、26 判定部、27メモリ、28 画像供給部、29 通信制御部、30 通信I/F、31 撮像素子、41 設備の制御装置、101 トンネル、102 天井部分、103 道路面
DESCRIPTION OF
Claims (4)
各監視カメラは、
複数の撮像部と、
前記複数の撮像部において得られた複数の画像から距離画像のデータを生成する距離画像生成部と、
前記距離画像に基づく第1の監視処理を実行する第1の監視処理部と、
記憶部と、
前記距離画像に基づいて認識された車両の識別情報を生成して、その識別情報と、前記距離画像に基づいて認識された車両についての第1の時刻情報とを含む情報を前記記憶部に記録する記録処理部と、
前記距離画像に基づいて、前記第1の監視処理とは別の第2の監視処理を実行する第2の監視処理部と、
を有し、
前記センタ装置は、
前記車両の画像から認識された所定の標章についての標章情報を、前記所定の標章の認識に用いられた前記車両の画像が取得されたときの第2の時刻情報と前記第1の時刻情報とに基づき、前記距離画像に基づいて認識された車両と関連付ける標章情報関連付け部と、
前記標章情報関連付け部において関連付けられた前記標章情報を出力する標章情報出力部と、
を有することを特徴とする通行車両監視システム。 A traffic vehicle monitoring system comprising a plurality of surveillance cameras connected to a rosary and imaging a vehicle traffic situation, and a center device connected to the plurality of surveillance cameras,
Each surveillance camera
A plurality of imaging units;
A distance image generation unit for generating data of a distance image from a plurality of images obtained by the plurality of imaging units;
A first monitoring processing unit that executes a first monitoring process based on the distance image;
A storage unit;
The identification information of the vehicle recognized based on the distance image is generated, and information including the identification information and the first time information about the vehicle recognized based on the distance image is recorded in the storage unit. A recording processing unit to
A second monitoring processor that executes a second monitoring process different from the first monitoring process based on the distance image;
Have
The center device is
Mark information about a predetermined mark recognized from the image of the vehicle, second time information when the image of the vehicle used for recognition of the predetermined mark is acquired, and the first A mark information associating unit for associating with a vehicle recognized based on the distance image based on time information;
A mark information output unit that outputs the mark information associated in the mark information association unit;
A passing vehicle monitoring system comprising:
前記車載器情報関連付け部において関連付けられた前記車載器情報を出力する車載器情報出力部と、
を有することを特徴とする請求項1に記載の通行車両監視システム。 Onboard equipment information for associating the onboard equipment information about the vehicle with the vehicle recognized based on the distance image based on the third time information and the first time information when the onboard equipment information is acquired. An association section;
OBE information output unit that outputs the OBE information associated in the OBE information association unit;
The passing vehicle monitoring system according to claim 1, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252246A JP5516343B2 (en) | 2010-11-10 | 2010-11-10 | Traffic vehicle monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252246A JP5516343B2 (en) | 2010-11-10 | 2010-11-10 | Traffic vehicle monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012103919A JP2012103919A (en) | 2012-05-31 |
JP5516343B2 true JP5516343B2 (en) | 2014-06-11 |
Family
ID=46394233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010252246A Active JP5516343B2 (en) | 2010-11-10 | 2010-11-10 | Traffic vehicle monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5516343B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2696464C2 (en) * | 2014-11-27 | 2019-08-01 | Капш Траффикком Аб | Dual stereoscopic sensor |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5605178B2 (en) * | 2010-11-10 | 2014-10-15 | サクサ株式会社 | Traffic vehicle monitoring system and vehicle monitoring camera |
JP6024480B2 (en) * | 2013-01-28 | 2016-11-16 | サクサ株式会社 | Imaging apparatus and imaging system |
EP3026653A1 (en) | 2014-11-27 | 2016-06-01 | Kapsch TrafficCom AB | Method of controlling a traffic surveillance system |
JP2016146162A (en) | 2014-12-04 | 2016-08-12 | 株式会社リコー | Driving determination device, driving determination program, calculation system, detection device, detection system, and detection method and program |
JP6534715B2 (en) * | 2017-09-27 | 2019-06-26 | 三菱電機インフォメーションシステムズ株式会社 | Image display apparatus and image display program |
WO2019130932A1 (en) | 2017-12-26 | 2019-07-04 | パナソニックIpマネジメント株式会社 | Vehicle monitoring device, vehicle, and vehicle monitoring system |
KR102309106B1 (en) * | 2019-01-08 | 2021-10-06 | 주식회사 한텍컨버전스 | Situation linkage type image analysis device |
JP7144124B2 (en) * | 2019-02-06 | 2022-09-29 | アルパイン株式会社 | system |
JP7192627B2 (en) * | 2019-04-04 | 2022-12-20 | 株式会社デンソー | Falling object discrimination device, driving support system and falling object discrimination method |
JP7452038B2 (en) * | 2020-01-30 | 2024-03-19 | コベルコ建機株式会社 | Work support system |
CN115705773A (en) * | 2021-08-12 | 2023-02-17 | 华为技术有限公司 | Interaction method and interaction device |
-
2010
- 2010-11-10 JP JP2010252246A patent/JP5516343B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2696464C2 (en) * | 2014-11-27 | 2019-08-01 | Капш Траффикком Аб | Dual stereoscopic sensor |
Also Published As
Publication number | Publication date |
---|---|
JP2012103919A (en) | 2012-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5516343B2 (en) | Traffic vehicle monitoring system | |
JP5634222B2 (en) | Traffic vehicle monitoring system and vehicle monitoring camera | |
US10489976B2 (en) | Incident site investigation and management support system based on unmanned aerial vehicles | |
JP5516344B2 (en) | Traffic vehicle monitoring system and vehicle monitoring camera | |
EP3862991B1 (en) | Information processing method and information processing system | |
SA520420162B1 (en) | Early warning and collision avoidance | |
US11361556B2 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
KR100835085B1 (en) | A real time processing system and method of a traffic accident using an unmanned recording device | |
KR101070883B1 (en) | Server, Apparatus and System for monitoring vehicle | |
TW201333896A (en) | Remote traffic management system using video radar | |
WO2018068579A1 (en) | Traffic audiovisual receiving and analyzing system | |
KR101796202B1 (en) | Unmanned system for controlling overloaded vehicle using measuring weight sensor | |
JP5502700B2 (en) | Traffic vehicle monitoring system and traffic vehicle monitoring device | |
CN113762766A (en) | Rail transit station transport pipe system, method and device | |
CN108810514A (en) | The event reconstruction carried out by image report | |
KR101757750B1 (en) | Unified notice method for congestion information of subway | |
JP2006268658A (en) | Illegal parking regulation system and method | |
KR101729985B1 (en) | Tunnel integrated disaster prevention and broadcasting system for maintaining many tunnel integrated disaster prevention devices | |
JP5605178B2 (en) | Traffic vehicle monitoring system and vehicle monitoring camera | |
US20220048502A1 (en) | Event detection system for analyzing and storing real-time other-user vehicle speed and distance | |
US20240078611A1 (en) | Insurance-premium calculation method, recording medium, and insurance-premium calculation system | |
JP2006329706A (en) | Distance-measuring device and distance measurement method | |
KR101992973B1 (en) | Tunnel management system | |
KR101686851B1 (en) | Integrated control system using cctv camera | |
JP2011258068A (en) | Traffic information provision system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20121211 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5516343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |