JP7456210B2 - Information processing method, information processing device, program and information processing system - Google Patents
Information processing method, information processing device, program and information processing system Download PDFInfo
- Publication number
- JP7456210B2 JP7456210B2 JP2020043459A JP2020043459A JP7456210B2 JP 7456210 B2 JP7456210 B2 JP 7456210B2 JP 2020043459 A JP2020043459 A JP 2020043459A JP 2020043459 A JP2020043459 A JP 2020043459A JP 7456210 B2 JP7456210 B2 JP 7456210B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- monitoring area
- moving object
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 88
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 269
- 238000012806 monitoring device Methods 0.000 claims description 207
- 238000000034 method Methods 0.000 claims description 107
- 230000008569 process Effects 0.000 claims description 89
- 238000004891 communication Methods 0.000 claims description 69
- 230000009471 action Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 83
- 238000007726 management method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 238000013459 approach Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000269400 Sirenidae Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、情報処理方法、情報処理装置、プログラム及び情報処理システムに関する。 The present invention relates to an information processing method, an information processing device, a program, and an information processing system.
近年、車両による事故を減らすために車両の周囲に存在する歩行者等の認識機能、前方の走行車両に追従して走行する追従機能、前方の車両との車間距離に応じて減速又は停車する自動ブレーキ機能等、様々な技術が車両に搭載されている。特許文献1には、歩行者等が携帯する歩行者端末と、車両に搭載される車載端末とが歩車間通信による直接通信、及び道路に設けられた路側装置を介した間接通信を行うように構成されたシステムが開示されている。特許文献1に開示されたシステムでは、歩行者又は車両の状態に応じて、歩行者端末及び車載端末間で直接通信を行うか間接通信を行うかが選択されるように構成されている。
In recent years, in order to reduce accidents caused by vehicles, functions have been developed to recognize pedestrians etc. around the vehicle, follow-up functions that follow the vehicle in front, and automatic systems that slow down or stop depending on the distance between the vehicle and the vehicle in front. Vehicles are equipped with various technologies such as brake functions.
特許文献1に開示されたシステムでは、歩行者端末及び車載端末のそれぞれが自端末の位置情報を取得して他の端末へ送信し、他の端末から受信した他の歩行者又は車両の位置情報に基づいて、他の歩行者又は車両と衝突する危険性があるか否かを判定する構成である。このようなシステムでは、歩行者端末を携帯していない歩行者等及び車載端末が搭載されていない車両は、危険状態であるか否かの判定対象とならないという問題がある。
In the system disclosed in
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、監視エリア内の全ての歩行者及び車両等を対象として危険状態の有無の判定を行うことが可能である情報処理方法等を提供することにある。 The present invention was made in consideration of these circumstances, and its purpose is to provide an information processing method etc. that can determine the presence or absence of a dangerous situation for all pedestrians and vehicles etc. within a monitoring area.
本発明の一態様に係る情報処理方法は、道路上の監視エリアを撮影して得られた撮影画像を取得し、画像が入力された場合に前記画像中に周囲の人に危険を及ぼす可能性のある所定動作を行う動体が含まれるか否かを示す情報を出力するように学習された動体判別モデルに対して、取得した撮影画像を入力し、前記動体判別モデルが出力した情報に基づいて、前記撮影画像に撮影された監視エリア内に前記所定動作を行う動体が含まれるか否かを検知し、前記所定動作を行う動体を検知した場合に、前記撮影画像に撮影された前記監視エリア内のユーザに、危険を及ぼす可能性のある動体の存在を通知する通知情報を出力する処理をコンピュータが実行する。 In one aspect of the present invention, an information processing method includes a computer that acquires a captured image obtained by photographing a surveillance area on a road, inputs the captured image to a moving object discrimination model that has been trained to output information indicating whether or not the image contains a moving object performing a predetermined action that may pose a danger to people in the vicinity when the image is input, detects whether or not the surveillance area captured in the captured image contains a moving object performing the predetermined action based on the information output by the moving object discrimination model, and, when a moving object performing the predetermined action is detected, outputs notification information to notify a user in the surveillance area captured in the captured image of the presence of a moving object that may pose a danger.
本発明の一態様にあっては、監視エリア内の全ての歩行者及び車両等を対象として危険状態の有無の判定を行うことができ、危険状態であると判定した場合に適切に通知することができる。 In one aspect of the present invention, it is possible to determine the presence or absence of a dangerous situation for all pedestrians, vehicles, etc. within a monitoring area, and to appropriately notify when it is determined that there is a dangerous situation. I can do it.
以下に、本開示の情報処理方法、情報処理装置、プログラム及び情報処理システムについて、その実施形態を示す図面に基づいて詳述する。 Below, an information processing method, an information processing device, a program, and an information processing system of the present disclosure will be described in detail based on drawings showing embodiments thereof.
(実施形態1)
道路の交差点で右折又は左折しようとしている車両がある場合に、注意喚起が必要な通行人に注意を行う情報処理システムについて説明する。図1及び図2は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システム100は、例えば道路の交差点を監視エリアとして各監視エリアに設けられている。情報処理システム100は、監視エリアを撮影して得られた撮影画像に基づいて交通状態を監視する監視装置10、監視エリア内に設けられた表示装置20、監視エリア内の歩行者等が携帯しているユーザ端末30、監視エリア内の車両に搭載されている車載端末40等を含む。監視装置10及び表示装置20は例えばLAN(Local Area Network)を介して通信接続されており、それぞれの監視装置10又はいずれか1つの監視装置10が、それぞれの表示装置20に注意メッセージを出力して表示させる処理を行う。なお、監視装置10はインターネット等のネットワークNに接続されており、監視装置10及び表示装置20はネットワークNを介して通信接続されていてもよい。
(Embodiment 1)
An information processing system that alerts passersby who need to be alerted when a vehicle is about to turn right or left at a road intersection will be described. 1 and 2 are schematic diagrams showing an example of the configuration of an information processing system. The
監視装置10(撮影装置)は、死角が生じずに監視エリア内の全てを撮影できるように複数設けられていてもよく、広角レンズ等を用いて監視エリア内の全てを撮影できるカメラ13(図3参照)を用いる場合、1つの監視装置10が設けられていてもよい。表示装置20は、液晶ディスプレイ、有機ELディスプレイ又は電子ペーパー等であり、監視装置10からの指示に従って注意メッセージを表示することにより、監視エリア内の通行人に注意メッセージを通知する。なお、表示装置20は、例えば道路内に埋め込まれたライトで構成されていてもよく、この場合、ライトを点灯又は点滅させることによって注意メッセージを通知するように構成することができる。また表示装置20は、ランプ、回転灯等の発光部を有し、発光部を点灯又は点滅させることによって注意喚起を行うように構成されていてもよい。表示装置20は、特に監視エリア内の横断歩道を横断中の通行人が注意メッセージを視認できる箇所に設けられていることが好ましい。横断歩道を横断中の通行人は、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用して横断歩道を横断中の人も含む。
A plurality of monitoring devices 10 (photographing devices) may be provided so as to be able to photograph everything within the surveillance area without creating a blind spot, and a camera 13 (Fig. 3), one
ユーザ端末30は、監視エリア内にいるユーザが携帯している端末装置である。ユーザ端末30はスマートウォッチ等のウェアラブルデバイスで構成されていることが好ましいが、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成されていてもよい。ユーザ端末30は、それぞれの監視装置10との間で無線通信できるように構成されている。ユーザ端末30及び監視装置10は例えばブルートゥース(登録商標)による無線通信が可能に構成されており、ユーザ端末30は、監視装置10を中心とした通信可能範囲内にいる場合に、監視装置10から出力された出力信号を受信する。監視エリア内にいるユーザは、監視エリア内の横断歩道、歩道及び車道にいる歩行者、二輪車、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人を含む。なお、ユーザは、ユーザ端末30を携帯している人を意味しており、通行人は、ユーザ端末30を携帯しているユーザに加えて、ユーザ端末30を携帯していない人も含む。車載端末40は、監視エリア内にいる自動車及び自動二輪車等の車両に搭載された端末装置であり、例えばカーナビゲーション装置である。車載端末40はネットワークNに接続可能であり、ネットワークNを介してそれぞれの監視装置10と通信接続されている。
The
監視エリアは道路上に複数設けられており、それぞれの監視エリアに上述した構成の情報処理システム100が設けられている。また本実施形態では、ネットワークNに車両管理サーバ50が接続されており、車両管理サーバ50は、予め登録してある各車両の車載端末40から各車両の現在地情報を取得して管理している。車両管理サーバ50は、種々の情報処理及び情報の送受信処理が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータ等である。車両管理サーバ50は、複数台設けられてもよいし、1台のサーバ装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。車両管理サーバ50は、予め登録してある車両に関する情報を保持しており、ネットワークN経由で車載端末40から車両の現在地情報を取得する処理、監視装置10からの要求に応じて所定位置にいる車両(車載端末40)の情報を監視装置10へ提供する処理等を行う。
A plurality of monitoring areas are provided on the road, and each monitoring area is provided with the
本実施形態の情報処理システム100では、監視装置10は、カメラ13による撮影を行い、得られた撮影画像に基づいて、撮影範囲である監視エリア内の交差点で右折又は左折しようとしている車両(右折車両又は左折車両)の有無を検知する。監視装置10は、監視エリア内に右折車両又は左折車両を検知した場合、右折車両又は左折車両が進入する横断歩道に設けられた表示装置20(横断歩道を横断中の通行人が視認できる表示装置20)に注意メッセージを表示させる処理を行う。また監視装置10は、右折車両又は左折車両が進入する横断歩道を横断中の通行人がいる場合に、無線通信にて注意信号を出力する処理を行う。更に監視装置10は、右折車両又は左折車両が進入する横断歩道を横断中の通行人がいる場合に、右折車両又は左折車両の車載端末40に注意信号を出力する処理を行う。
In the
図3は、監視装置10及びユーザ端末30の構成例を示すブロック図である。本実施形態の監視装置10は、制御部11、記憶部12、カメラ13、通信部14、無線通信部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理及び制御処理を監視装置10に行わせる。
FIG. 3 is a block diagram showing a configuration example of the
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。更に記憶部12は、機械学習によって学習させた学習済みモデルである車両判別モデルM1及び歩行者判別モデルM2等を記憶する。車両判別モデルM1及び歩行者判別モデルM2は、人工知能ソフトウェアの一部として機能するプログラムモジュールとしての利用が想定される。
The
カメラ13は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して被写体像の画像データを取得する。カメラ13は、制御部11からの指示に従って撮影を行い、1枚(1フレーム)の画像データ(撮影画像)を順次取得する。カメラ13は、例えば1秒間に60フレーム、30フレーム又は15フレームの映像データを取得するように構成されており、カメラ13にて取得された映像データは順次記憶部12に記憶される。なお、カメラ13は、監視装置10に内蔵された構成のほかに、監視装置10に外付けされる構成でもよい。この場合、監視装置10は、外部カメラの接続が可能な接続部又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した映像データを接続部又は無線通信部を介して取得する。
The
通信部14は、有線通信又は無線通信によってLANに接続するためのインタフェースと、有線通信又は無線通信によってネットワークNに接続するためのインタフェースとを有する。これにより、通信部14は、LANを介して表示装置20との間で情報の送受信を行い、ネットワークNを介して他の装置との間で情報の送受信を行うことができる。無線通信部15は、例えばブルートゥースによる無線通信を行うためのインタフェースであり、監視装置10に設けられたブルートゥースアンテナ(図示せず)を介して、通信可能な範囲内にいる他の装置(本実施形態ではユーザ端末30)へ制御信号を送信する。
The
読み取り部16は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶される制御プログラム12P及び各種のデータは、制御部11が通信部14を介して他の装置からダウンロードして記憶部12に記憶してもよい。
The
本実施形態の監視装置10は、上述した構成のほかに、監視装置10を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する入力部、音声メッセージを出力するスピーカ等を備えていてもよい。
In addition to the above-described configuration, the
ユーザ端末30は、制御部31、記憶部32、無線通信部33、通知部34等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末30の制御部31、記憶部32、無線通信部33のそれぞれは、監視装置10の制御部11、記憶部12、無線通信部15と同様の構成であるので詳細な説明は省略する。なお、ユーザ端末30の無線通信部33は、ユーザ端末30に設けられたブルートゥースアンテナ(図示せず)を中心とした通信可能な範囲内にいる他の装置(本実施形態では監視装置10)から出力された制御信号をブルートゥースアンテナを介して受信する。
The
通知部34は、ランプ、ブザー、スピーカ、表示部、又はバイブレータ等を含み、ランプの点灯又は点滅、ブザーの鳴動、スピーカによるメッセージの音声出力、表示部による注意メッセージの表示、バイブレータによる振動等を行うことにより、ユーザ端末30のユーザに所定の状況(右折車両又は左折車両がある状況)を通知する。なお、通知部34は、制御部31からの指示に従って、所定の処理を行うことによって通知処理を実現する。
The
本実施形態のユーザ端末30は、上述した構成のほかに、ユーザ端末30を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部31へ送出する入力部、液晶ディスプレイ又は有機ELディスプレイ等の表示部等を備えていてもよい。
In addition to the above-described configuration, the
図4は、車両判別モデルM1の構成例を示す模式図である。本実施形態の車両判別モデルM1は、例えば図4に示すようにCNN(Convolution Neural Network)モデルで構成されている。車両判別モデルM1は、CNNモデルのほかに、RNN(Recurrent Neural Network)モデル、LSTM(Long Short-Term Memory)モデルで構成されていてもよい。また、車両判別モデルM1は、R-CNN(Regions with CNN)、Fast R-CNN、Faster R-CNN、Mask R-CNN,SSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等の任意の物体検出アルゴリズム(ニューラルネットワーク)で構成されてもよく、これらのモデルのいくつかを組み合わせて構成されてもよい。車両判別モデルM1(動体判別モデル)は、自動車及び自動二輪車等の車両を撮影した撮影画像(車両画像)を入力とし、入力された車両画像に基づいて、撮影されている車両が、例えば右折車両、左折車両及び直進車両のいずれであるかを演算し、演算した結果を出力するように学習した学習済みモデルである。 Figure 4 is a schematic diagram showing an example of the configuration of the vehicle discrimination model M1. The vehicle discrimination model M1 of this embodiment is configured, for example, as shown in Figure 4, with a CNN (Convolution Neural Network) model. In addition to the CNN model, the vehicle discrimination model M1 may be configured with an RNN (Recurrent Neural Network) model or a LSTM (Long Short-Term Memory) model. In addition, the vehicle discrimination model M1 may be configured with any object detection algorithm (neural network) such as R-CNN (Regions with CNN), Fast R-CNN, Faster R-CNN, Mask R-CNN, SSD (Single Shot Multibook Detector), YOLO (You Only Look Once), etc., or may be configured by combining several of these models. The vehicle discrimination model M1 (moving object discrimination model) is a trained model that takes as input a photographed image (vehicle image) of a vehicle such as an automobile or motorcycle, calculates whether the photographed vehicle is, for example, a right-turning vehicle, a left-turning vehicle, or a straight-moving vehicle based on the input vehicle image, and outputs the calculated result.
図4に示す車両判別モデルM1は、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の車両判別モデルM1では、入力層を介して、走行中の車両を撮影した車両画像(画像データ)が入力される。入力層の各ノードには車両画像中の各画素が入力され、入力層の各ノードを介して入力された車両画像は中間層に入力される。中間層に入力された車両画像は、畳み込み層でフィルタ処理等によって画像の特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量が削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層(図4では2層)設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各出力ノードにそれぞれの出力値を与える。 The vehicle discrimination model M1 shown in FIG. 4 is composed of an input layer, an intermediate layer, and an output layer. The intermediate layers include convolutional layers, pooling layers, and fully connected layers. In the vehicle discrimination model M1 of this embodiment, a vehicle image (image data) obtained by photographing a running vehicle is input via the input layer. Each pixel in the vehicle image is input to each node of the input layer, and the vehicle image input via each node of the input layer is input to the intermediate layer. The vehicle image input to the intermediate layer is subjected to filter processing or the like in the convolutional layer to extract the feature amount of the image to generate a feature map, and then compressed in the pooling layer to reduce the amount of information. A plurality of convolutional layers and pooling layers are repeatedly provided, and feature maps generated by the plurality of convolutional layers and pooling layers are input to the fully connected layer. The fully connected layer has multiple layers (two layers in Figure 4), and based on the input feature map, the output value of the node in each layer is calculated using various functions, thresholds, etc., and the calculated output value are sequentially input to nodes in subsequent layers. The fully connected layer sequentially inputs the output value of the node of each layer to the node of the next layer, thereby finally giving each output value to each output node of the output layer.
図4に示す車両判別モデルM1では、出力層は3つの出力ノードを有しており、それぞれの出力ノードは、右折、左折及び直進の各進行方向に対する判別確率を出力する。それぞれの出力ノードが出力する判別確率は、入力層に入力された車両画像に写っている車両が、それぞれの出力ノードに対応付けられた進行方向に走行中の車両(具体的には右折車両、左折車両、直進車両)である可能性を示す。出力層の各出力ノードの出力値は例えば0~1.0の値であり、全ての出力ノードから出力される判別確率の合計が1.0となる。車両判別モデルM1において、入力層の入力ノードの数、中間層における畳み込み層、プーリング層及び全結合層のそれぞれの層数、出力層の出力ノードの数は図4に示す例に限定されない。例えば出力層は、上述した3つの出力ノードに加え、バック走行している後進車両、蛇行運転又はあおり運転している危険車両等に対する判別確率を出力する出力ノードを有する構成でもよい。 In the vehicle discrimination model M1 shown in FIG. 4, the output layer has three output nodes, and each output node outputs discrimination probabilities for each direction of travel: right turn, left turn, and straight ahead. The discrimination probability output by each output node is that the vehicle in the vehicle image input to the input layer is a vehicle traveling in the direction of travel associated with each output node (specifically, a right-turning vehicle, Indicates the possibility that the vehicle is turning left or going straight. The output value of each output node in the output layer is, for example, a value between 0 and 1.0, and the sum of the discrimination probabilities output from all output nodes is 1.0. In the vehicle discrimination model M1, the number of input nodes in the input layer, the number of each of the convolution layer, pooling layer, and fully connected layer in the intermediate layer, and the number of output nodes in the output layer are not limited to the example shown in FIG. 4. For example, the output layer may have, in addition to the three output nodes described above, an output node that outputs the discrimination probability for a backward vehicle that is traveling backwards, a dangerous vehicle that is driving in a meandering manner, or a dangerous vehicle that is driving in a swerving manner.
車両判別モデルM1は、車両画像と、車両画像中に写っている車両の進行方向(正解ラベル)とを含む教師データを用いて学習する。車両判別モデルM1は、教師データに含まれる車両画像が入力された場合に、教師データに含まれる正解ラベルが示す進行方向に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。学習処理において車両判別モデルM1は、中間層における各層のノードを結合する重み付け係数及び関数を最適化するように学習する。これにより、車両画像が入力された場合に、車両画像中に写っている車両を、右折車両、左折車両及び直進車両の中から特定するように学習された学習済みの車両判別モデルM1が得られる。なお、教師データに用いる車両画像は、例えば右折専用レーンを走行中の車両、方向指示器(ウインカー)で右折を示している車両等を撮影した画像を、右折車両の画像として用いることができる。また、教師データに用いる車両画像は、例えば左折専用レーンを走行中の車両、方向指示器(ウインカー)で左折を示している車両等を撮影した画像を、左折車両の画像として用いることができる。車両判別モデルM1の学習は、他の学習装置で行われるが、監視装置10で行われてもよい。車両判別モデルM1は、図4に示すようなニューラルネットワーク(深層学習)に限定されず、種々の機械学習のアルゴリズムによって構築された学習モデルを用いることができる。
The vehicle discrimination model M1 is trained using teacher data including a vehicle image and the traveling direction (correct label) of the vehicle shown in the vehicle image. In the vehicle discrimination model M1, when a vehicle image included in the teacher data is input, an output value of 1.0 is output from the output node corresponding to the traveling direction indicated by the correct label included in the teacher data, and other output values are output. Learn so that the node outputs an output value of 0.0. In the learning process, the vehicle discrimination model M1 learns to optimize the weighting coefficients and functions that connect the nodes of each layer in the intermediate layer. As a result, when a vehicle image is input, a trained vehicle discrimination model M1 that is trained to identify a vehicle in the vehicle image from among right-turning vehicles, left-turning vehicles, and straight-going vehicles is obtained. . Note that, as the vehicle image used for the training data, for example, an image taken of a vehicle traveling in a right-turn lane, a vehicle indicating a right turn with a turn signal, etc. can be used as an image of a right-turning vehicle. Further, as the vehicle image used for the training data, for example, an image of a vehicle traveling in a left-turn lane, a vehicle indicating a left turn with a turn signal, etc. can be used as an image of a left-turn vehicle. Although learning of the vehicle discrimination model M1 is performed by another learning device, it may also be performed by the
歩行者判別モデルM2は、撮影画像を入力とし、撮影画像が入力された場合に、撮影画像中に歩行者がいるか否かを示す情報を出力するように学習した学習済みモデルである。なお、ここでの歩行者は、歩行している人のほかに、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人も含む。歩行者判別モデルM2は、図4に示す車両判別モデルM1と同様の構成で構築されており、例えば出力層は2つの出力ノードを有し、それぞれの出力ノードは、歩行者がいる状態と歩行者がいない状態とに対する判別確率を出力する。なお、歩行者判別モデルM2は、複数の出力ノードを設け、それぞれの出力ノードは、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーのそれぞれに対する判別確率を出力するように構成されていてもよい。このように歩行者判別モデルM2を構成した場合、それぞれの出力ノードが出力する判別確率は、入力された撮影画像に写っている人が、それぞれの出力ノードに対応付けられた状態(具体的には、歩行者、或いは、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーを使用中の人)である可能性を示す。 The pedestrian discrimination model M2 is a trained model that receives a photographed image as an input and has learned to output information indicating whether or not there is a pedestrian in the photographed image when the photographed image is input. Note that pedestrians here include not only people walking, but also people using bicycles, tricycles, skateboards, kick skaters, electric wheelchairs, senior cars, etc. The pedestrian discrimination model M2 is constructed with the same configuration as the vehicle discrimination model M1 shown in FIG. Outputs the discrimination probability for the state where there is no one present. The pedestrian discrimination model M2 has a plurality of output nodes, and each output node is configured to output a discrimination probability for each of pedestrians, bicycles, tricycles, skateboards, kick skaters, electric wheelchairs, and senior cars. may have been done. When the pedestrian discrimination model M2 is configured in this way, the discrimination probability output by each output node is determined based on the state in which the person in the input captured image is associated with each output node (specifically indicates the possibility that the person is a pedestrian, or a person using a bicycle, tricycle, skateboard, kick skater, electric wheelchair, or senior car).
歩行者判別モデルM2は、撮影画像と、撮影画像中に歩行者がいるか否かを示す情報(正解ラベル)とを含む教師データを用いて学習する。歩行者判別モデルM2は、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルが示す状態(歩行者がいるか否か)に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。これにより、歩行者、或いは、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用中の人を撮影した撮影画像が入力された場合に、撮影画像中に歩行者がいるか否かを判別するように学習された学習済みの歩行者判別モデルM2が得られる。なお、歩行者判別モデルM2の教師データに用いる撮影画像は、例えば横断歩道上の歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用中の人を撮影した画像を、歩行者がいる画像として用いることができる。歩行者判別モデルM2の学習も、他の学習装置で行われてもよく、監視装置10で行われてもよい。なお、歩行者判別モデルM2を、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーのそれぞれに対する判別確率を出力するように構成した場合、撮影画像と、撮影画像中に写っている被写体が歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカーのいずれであるかを示す情報(正解ラベル)とを含む教師データを用いて学習すればよい。また歩行者判別モデルM2も図4に示すようなニューラルネットワークに限定されず、種々の機械学習のアルゴリズムによって構築された学習モデルを用いることができる。
The pedestrian discrimination model M2 is trained using teacher data including a photographed image and information (correct label) indicating whether a pedestrian is present in the photographed image. The pedestrian discrimination model M2 generates an output of 1.0 from the output node corresponding to the state (whether there is a pedestrian or not) indicated by the correct label included in the teacher data when a captured image included in the teacher data is input. This value is output, and the other output nodes learn to output an output value of 0.0. As a result, when a captured image of a pedestrian, or a person using a bicycle, tricycle, skateboard, kick skater, electric wheelchair, senior car, etc. is input, it is possible to determine whether or not there is a pedestrian in the captured image. A trained pedestrian discrimination model M2 that has been trained to discriminate is obtained. Note that the captured images used as training data for the pedestrian discrimination model M2 include, for example, images of pedestrians on crosswalks, people using bicycles, tricycles, skateboards, kick skaters, electric wheelchairs, senior cars, etc. It can be used as an image containing pedestrians. Learning of the pedestrian discrimination model M2 may also be performed by another learning device, or may be performed by the
図5は、車載端末40及び車両管理サーバ50の構成例を示すブロック図である。車載端末40は、制御部41、記憶部42、通信部43、測位部44、通知部45等を含み、これらの各部はバスを介して相互に接続されている。車載端末40の制御部41、記憶部42のそれぞれは、監視装置10の制御部11、記憶部12と同様の構成であり、車載端末40の通知部45はユーザ端末30の通知部34と同様の構成であるので詳細な説明は省略する。なお、車載端末40の通信部43は、無線通信によってネットワークNに接続するためのインタフェースであり、ネットワークNを介して他の装置との間で情報の送受信を行う。
FIG. 5 is a block diagram showing a configuration example of the in-
測位部44は、車載端末40の現在地を検出し、現在地を示す現在地情報(例えば、経度及び緯度の座標値)を取得する。測位部44は、例えばGPS(Global Positioning System )衛星から送信される電波を、車載端末40に設けられたGPSアンテナ(図示せず)を介して受信し、受信した電波に基づいて現在地を検出する。なお、現在地の検出方法はGPS衛星からの電波に基づく方法に限らない。本実施形態の車載端末40は、上述した構成のほかに、車載端末40を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部41へ送出する入力部、液晶ディスプレイ又は有機ELディスプレイ等の表示部等を備えていてもよい。
The
車両管理サーバ50は、制御部51、記憶部52、通信部53、入力部54、表示部55等を含み、これらの各部はバスを介して相互に接続されている。車両管理サーバ50の制御部51、記憶部52、通信部53のそれぞれは、車載端末40の制御部41、記憶部42、通信部43と同様の構成であるので詳細な説明は省略する。なお、車両管理サーバ50の記憶部52は、制御部51が実行する制御プログラム52Pに加えて、後述する車両情報DB(データベース)52aを記憶する。また、車両管理サーバ50の通信部53は、有線通信によってネットワークNに接続される構成でもよい。
The
入力部54は、車両管理サーバ50を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部51へ送出する。表示部55は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部51からの指示に従って各種の情報を表示する。入力部54及び表示部55は一体として構成されたタッチパネルであってもよい。
The
図6は、車両情報DB52aの構成例を示す模式図である。車両情報DB52aは、予め登録された車両に関する情報を記憶する。図6に示す車両情報DB52aは、車両ID列、車両情報列、宛先情報列、現在地情報列等を含み、車両IDに対応付けて、車両及び車両に搭載されている車載端末40に関する各情報を記憶する。車両ID列は、登録された各車両に割り当てられた識別情報(車両ID)を記憶する。車両情報列は、車種及びボディカラー等のように車両を識別できる情報を記憶する。宛先情報列は、車両に搭載されている車載端末40とネットワークN経由で通信を行う際の宛先情報を記憶する。現在地情報は、車載端末40から取得する車両の現在地を示す情報を記憶する。車両情報DB52aに記憶される車両IDは、新たな車両の情報が車両情報DB52aに登録される際に、制御部51によって発行されて記憶される。車両情報DB52aに記憶される他の情報は、制御部51が入力部54又は通信部53を介して追加又は変更の指示を受け付ける都度、制御部51によって追加又は変更される。車両情報DB52aの記憶内容は図6に示す例に限定されない。例えば車両の現在の走行方角、走行速度及び走行経路履歴等が車両情報DB52aに記憶されてもよい。
FIG. 6 is a schematic diagram showing a configuration example of the
以下に、本実施形態の情報処理システム100において、監視装置10が監視エリア内に右折車両又は左折車両を検知した場合に監視エリア内の通行人に通知する処理を行う際に各装置が行う処理について説明する。図7は通知処理手順の一例を示すフローチャートである。図7では左側に右折車両又は左折車両に搭載されている車載端末40が行う処理を、中央に監視装置10が行う処理を、右側にユーザ端末30が行う処理をそれぞれ示す。以下の処理は、監視装置10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実行され、ユーザ端末30の記憶部32に記憶してある制御プログラム32Pに従って制御部31によって実行され、車載端末40の記憶部42に記憶してある制御プログラム42Pに従って制御部41によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
Below, in the
本実施形態の情報処理システム100において、監視装置10の制御部11は、カメラ13を用いて撮影可能な監視エリアを撮影する(S11)。制御部11はカメラ13による撮影を常時行っている。また、情報処理システム100が監視エリア内における動体の有無を検知する動体センサを有する場合、制御部11は、動体センサによって動体の存在が検知された後にカメラ13による撮影を開始してもよい。制御部11(画像取得部)は、カメラ13による撮影によって撮影画像を取得し、取得した撮影画像に基づいて、撮影画像中に右折車両又は左折車両が含まれるか否かを判断する(S12)。具体的には、制御部11(検知部)は、撮影画像を車両判別モデルM1に入力し、車両判別モデルM1からの出力情報に基づいて、撮影画像中に写っている車両の進行方向を特定(検知)する。例えば制御部11は、車両判別モデルM1において、最大の出力値(判別確率)が所定値(例えば0.7)以上であった場合に、最大出力値を出力した出力ノードに対応する車両の進行方向を、撮影画像中に写っている車両の進行方向に特定する。
In the
制御部11は、車両判別モデルM1を用いた車両の進行方向の判別結果に基づいて、撮影画像中に右折車両及び左折車両が含まれないと判断した場合(S12:NO)、ステップS11の処理に戻り、監視エリアの撮影を継続する。本実施形態では、監視装置10が、車両判別モデルM1を用いて撮影画像中の右折車両又は左折車両の有無を判断するが、ネットワークNに接続された所定のサーバで撮影画像中の右折車両又は左折車両の有無が判断されてもよい。この場合、制御部11は、逐次取得する撮影画像をネットワークN経由で所定のサーバへ送信し、所定のサーバで判断された判断結果(撮影画像中の右折車両又は左折車両の有無)を取得し、取得した検知結果に従って、撮影画像中に右折車両又は左折車両が含まれるか否かを判断してもよい。
If the
撮影画像中に右折車両又は左折車両が含まれると判断した場合(S12:YES)、制御部11(特定部)は、撮影画像中の右折車両又は左折車両に基づいて、監視エリアにおいて右折車両又は左折車両の注意喚起が必要なエリア(通知エリア)を特定する(S13)。例えば撮影画像中の右折車両又は左折車両が進入する横断歩道を通知エリアに特定する。具体的には、図1に示す車両(右折車両)が撮影された場合、制御部11は、この右折車両が進入する上側の横断歩道を通知エリアに特定する。制御部11は、通知エリアを特定した場合、通知エリアに対応する位置に設けてある表示装置20に注意メッセージを表示させる(S14)。例えば右折車両が進入する横断歩道を通知エリアに特定した場合、制御部11は、この横断歩道を横断する通行人が視認できる位置に設けられた表示装置20に「右折車両に注意!」等の注意メッセージを表示させる。表示装置20に表示させる注意メッセージは、例えば記憶部12に記憶してある。なお、表示装置20が発光部を有する場合、制御部11は、発光部を点灯又は点滅させることによって注意喚起を行ってもよい。また監視装置10又は表示装置20がスピーカを有する場合、制御部11は、スピーカから音声メッセージを出力させることによって注意喚起を行ってもよい。
When it is determined that a right-turning vehicle or a left-turning vehicle is included in the photographed image (S12: YES), the control unit 11 (specification unit) detects a right-turning vehicle or a left-turning vehicle in the monitoring area based on the right-turning vehicle or left-turning vehicle in the photographed image. An area (notification area) where left-turning vehicles need to be alerted is identified (S13). For example, a crosswalk that a right-turning vehicle or a left-turning vehicle enters in the photographed image is specified as a notification area. Specifically, when the vehicle shown in FIG. 1 (right-turning vehicle) is photographed, the
次に制御部11は、ステップS13で特定した通知エリアに歩行者等の通行人がいるか否かを判断する(S15)。ここでは制御部11は、通知エリアをカメラ13で撮影した撮影画像に基づいて、撮影画像中に通行人が含まれるか否かを判断する。具体的には、制御部11は、撮影画像を歩行者判別モデルM2に入力し、歩行者判別モデルM2からの出力情報に基づいて、撮影画像中に通行人(歩行者等)がいるか否かを判別する。例えば制御部11は、歩行者判別モデルM2において、最大(大きい値)の出力値(判別確率)を出力した出力ノードに対応する状態(歩行者等の通行人の有無)を、撮影画像中の状態に特定する。なお、制御部11は、テンプレートを用いたパターンマッチングによって、特定した通知エリアをカメラ13で撮影した撮影画像中に通行人がいるか否かを判断してもよい。この場合、一般的な歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人を撮影した撮影画像のテンプレートを予め記憶部12に記憶しておき、制御部11は、撮像画像からテンプレートに一致する領域の有無を判断することにより、撮影画像中の通行人の有無を判断できる。また、制御部11は、通知エリアを撮影した時系列の撮影画像の差分を算出し、差分情報に基づいて通知エリア内に通行人がいるか否かを判断してもよい。更に、制御部11は、歩行者等の通行人だけでなく、撮影画像中(通知エリア内)に障害物等の物体又は動物等の動体(移動物体)が存在するか否かを判断してもよい。
Next, the
制御部11(出力部)は、通知エリアに通行人がいると判断した場合(S15:YES)、無線通信部15を介した無線通信によって、右折車両又は左折車両があることを通知する通知情報を出力する(S16)。監視装置10と通信可能な範囲内にいるユーザ端末30の制御部31は、監視装置10から出力された車両の通知情報を、無線通信部33を介して受信した場合、通知部34による通知処理を実行する(S17)。例えば制御部31は、通知部34がランプを有する場合、ランプの点灯又は点滅を行い、通知部34がブザーを有する場合、ブザーの鳴動を行い、通知部34がスピーカを有する場合、スピーカによるメッセージの音声出力を行い、通知部34が表示部を有する場合、表示部による注意メッセージの表示を行い、通知部34がバイブレータを有する場合、バイブレータによる振動を行う。これにより、ユーザ端末30のユーザに右折車両又は左折車両が存在することを通知できる。
When the control unit 11 (output unit) determines that there is a passerby in the notification area (S15: YES), the control unit 11 (output unit) transmits notification information that notifies that there is a right-turning vehicle or a left-turning vehicle by wireless communication via the
次に制御部11は、ステップS12で撮影画像に基づいて検知した右折車両又は左折車両に搭載されている車載端末40の宛先情報を取得する(S18)。例えば制御部11は、監視装置10の位置情報(設置場所の情報)をネットワークN経由で車両管理サーバ50へ送信し、監視装置10の設置位置の周囲にいる車両に搭載されている車載端末40に割り当てられている宛先情報を車両管理サーバ50から取得する。このとき車両管理サーバ50の制御部51は、監視装置10から受信した位置情報を現在地情報とする車両を車両情報DB52aに記憶してある車両の中から特定し、特定した車両に対応する車載端末40の宛先情報を車両情報DB52aから読み出して監視装置10へ送信する。なお、制御部11は、監視装置10の位置情報に基づいて、検知した右折車両又は左折車両の位置情報を算出し、右折車両又は左折車両の位置情報を現在地情報とする車両の車載端末40の宛先情報を車両管理サーバ50から取得してもよい。監視装置10の位置情報は、例えば記憶部12に記憶されていてもよく、監視装置10が測位部を有する場合、測位部によって監視装置10の現在地情報(例えば、経度及び緯度の座標値)を取得してもよい。また制御部11は、撮影画像から右折車両又は左折車両の車両情報(例えば車種又はボディカラー)を抽出し、抽出した車両情報に基づいて、右折車両又は左折車両の宛先情報を車両管理サーバ50から取得してもよい。
Next, the
制御部11(出力部)は、ステップS18で取得した宛先情報に基づいて通信部14を介して、右折車両又は左折車両に搭載されている車載端末40に対して、通知エリアに歩行者等の通行人がいることを通知する通知情報を出力する(S19)。車載端末40の制御部41は、監視装置10から出力された通行人の通知情報を通信部43を介して受信した場合、通知部45による通知処理を実行する(S20)。ここでも、制御部41は、通知部45がランプを有する場合、ランプの点灯又は点滅を行い、通知部45がブザーを有する場合、ブザーの鳴動を行い、通知部45がスピーカを有する場合、スピーカによるメッセージの音声出力を行い、通知部45が表示部を有する場合、表示部による注意メッセージの表示を行い、通知部45がバイブレータを有する場合、バイブレータによる振動を行う。これにより、車載端末40が搭載されている車両を運転中のユーザ(運転者)に、車両の進行方向に歩行者等の通行人がいることを通知できる。なお、制御部11は、通知情報を車載端末40へ出力する際に、ステップS15で通知エリア内に通行人がいることを検知した際に用いた撮影画像を通知情報に含めて車載端末40へ送信してもよい。この場合、通知情報を受信した車載端末40は、通知情報に含まれる撮影画像を表示部(図示せず)に表示することにより、自車両の進行方向に通行人がいることを車両内の搭乗者に通知できる。よって、例えば、右折車両又は左折車両から視認し辛い位置に通行人がいる場合であっても、車両内の搭乗者は、監視装置10で撮影された撮影画像によって通行人の位置を把握できる。また制御部11は、通知情報に、右折車両又は左折車両が右折又は左折する状態であることを示す情報を通知情報に含めて車載端末40へ送信してもよい。この場合、通知情報を受信した車載端末40は、通知情報に含まれる情報に基づいて、例えば通知部45にて右折又は左折する状態であることを車両内の搭乗者に通知するこができる。なお、情報処理システム100に、監視エリア内の車両の車載端末40に対してピンポイントで情報を送信できる送信機が設けられている場合、監視装置10の制御部11は、送信機を用いて右折車両又は左折車両の車載端末40に対してピンポイントで通行人の通知情報を送信してもよい。
The control unit 11 (output unit) informs the in-
また、監視装置10の制御部11は、右折車両又は左折車両を撮影した撮影画像に基づいて、右折車両又は左折車両が停車中であるか走行中であるかを判断し、停車中である場合と走行中である場合とにおいて、異なる通知情報を車載端末40に出力してもよい。そして、車載端末40の制御部41は、監視装置10からの通知情報に応じた通知処理を行うことにより、自車両(右折車両又は左折車両)が停車中であるか走行中であるかに応じた通知処理が可能となる。例えば、右折車両又は左折車両が停車中である場合、この車両の運転者は前方の歩行者等を認識している可能性が高い。一方、右折車両又は左折車両が走行中である場合、この車両の運転者は前方の歩行者等を認識している可能性が低い。よって、車両の状態に応じて車載端末40による通知処理の内容を異ならせることにより、運転者が歩行者等を認識しているか否かに応じて注意レベルを切り替えることが可能となる。また、監視装置10の制御部11は、右折車両又は左折車両を撮影した撮影画像に基づいて、右折車両又は左折車両の走行速度を検出し、検出した走行速度に応じて異なる通知情報を車載端末40に出力してもよい。この場合には、右折又は左折しようとしている車両の走行速度に応じて注意レベルを切り替えることが可能となる。
In addition, the
制御部11は、通知エリアに通行人がいないと判断した場合(S15:NO)、ステップS16,S18~S19の処理をスキップする。次に制御部11は、監視エリアを撮影した撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両が監視エリアを通過したか否かを判断する(S21)。具体的には、制御部11は、カメラ13にて順次取得する撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両を追跡する処理を行い、撮影画像中から右折車両又は左折車両がいなくなった場合に、この右折車両又は左折車両は監視エリアを通過したと判断する。右折車両又は左折車両が監視エリアを通過していないと判断する場合(S21:NO)、制御部11は、ステップS14の処理に戻り、表示装置20に注意メッセージを表示させる処理と、通知エリア内に通行人がいるか否かを判断する処理とを継続する。これにより、監視エリア内に右折車両又は左折車両がある場合に、右折車両又は左折車両が進入予定の横断歩道(通知エリア)に設けられた表示装置20に注意メッセージを表示させると共に、通知エリア内に通行人がいた場合には、右折車両又は左折車両があることをユーザ端末30を携帯するユーザに通知し、右折車両又は左折車両には、進入予定の横断歩道上に通行人がいることを通知できる。
When the
右折車両又は左折車両が監視エリアを通過したと判断した場合(S21:YES)、制御部11は、無線通信部15を介した無線通信によって、右折車両又は左折車両が通過して安全な状態であることを通知する安全情報を出力する(S22)。そして、監視装置10と通信可能な範囲内にいるユーザ端末30の制御部31は、監視装置10から出力された安全情報を無線通信部33を介して受信した場合、ステップS17で開始した通知部34による通知処理を終了する(S23)。これにより、右折車両又は左折車両が監視エリアを通過した後は、ユーザ端末30の通知部34による通知処理が終了する。なお、このとき制御部31は、通知部34による他の通知処理を行うことによって、ユーザ端末30のユーザに安全状態であることを通知するように構成されていてもよい。
If it is determined that the right-turning vehicle or the left-turning vehicle has passed through the monitoring area (S21: YES), the
また制御部11は、ステップS14で表示装置20に表示させていた注意メッセージの表示を終了する(S24)。更に制御部11は、ステップS18で取得した宛先情報に基づいて、右折車両又は左折車両の車載端末40に対して、自車両(右折車両又は左折車両)が監視エリアを通過して安全な状態であることを通知する安全情報を出力する(S25)。車載端末40の制御部41は、監視装置10から出力された安全情報を通信部43を介して受信した場合、ステップS20で開始した通知部45による通知処理を終了する(S26)。これにより、自車両が監視エリアを通過した後は、自車両の車載端末40の通知部45による通知処理が終了する。ここでも、制御部41は、通知部45による他の通知処理を行うことによって、車両内の搭乗者に安全状態であることを通知するように構成されていてもよい。
The
上述した処理により、監視装置10は、監視エリアを撮影した撮影画像に基づいて監視エリア内において右折車両又は左折車両の有無を監視している。そして、右折車両又は左折車両の存在を検知した場合、例えば右折車両又は左折車両が進入する横断歩道を通知エリアに特定し、通知エリアに設けられた表示装置20に注意メッセージを表示する。また、監視装置10は、通知エリアを撮影した撮影画像に基づいて、通知エリア内において通行人の有無を判断し、通知エリア内に通行人がいる場合に、この通行人が携帯している可能性のあるユーザ端末30に対して、ブルートゥース等の無線通信によって、右折車両又は左折車両があることを通知する。更に、監視装置10は、通知エリア内に通行人がいる場合に、ここでの右折車両又は左折車両の車載端末40に対して、進入方向に歩行者等の通行人がいることを通知する。このように表示装置20に表示された注意メッセージによって、表示装置20を視認した通行人に注意を促すことができると共に、ユーザ端末30を携帯しているユーザ及び車載端末40が搭載されている車両内の運転者等に対しても注意を促すことができる。これにより、右折車両又は左折車両が関わる事故の発生が抑制されることが期待される。
Through the above-described processing, the
上述した処理では、監視装置10は、通知エリアに歩行者等の通行人がいる場合に、無線通信部15による無線通信によって、通知エリア内のユーザ端末30に通知情報を出力して注意喚起を行う構成であるが、この構成に限定されない。例えば、監視装置10は、無線通信部15による無線通信を、通知エリアにおける通行人の有無に関わらず行ってもよい。即ち、監視装置10は、通知エリア内の通行人の有無を判断せずに、右折車両又は左折車両があることを通知する通知情報を無線通信にて送信してもよく、この場合、より早期に通知情報をユーザ端末30へ送信することが可能となる。
In the process described above, when there is a passerby such as a pedestrian in the notification area, the
本実施形態では、監視装置10が自装置10のカメラ13で撮影した撮影画像に基づいて監視エリア内の状況を監視する処理を行う構成であるが、この構成に限定されない。例えば、1つの監視エリアに設けられた情報処理システム100が複数の監視装置10を含む場合、複数の監視装置10で撮影された撮影画像が1つの監視装置10へ送信され、1つの監視装置10で複数の撮影画像に基づく監視処理が行われるように構成することができる。この場合、監視処理を行う1つの監視装置10が、監視処理の結果、表示装置20への注意メッセージの表示処理、通知エリア内の歩行者等のユーザ端末30への通知処理、右折車両又は左折車両の車載端末40への通知処理を行えばよい。また、それぞれの監視装置10で撮影された撮影画像が、ネットワークN経由でクラウドサーバに集約され、クラウドサーバで、それぞれの監視エリアの撮影画像に基づく監視処理が行われるように構成することもできる。
In the present embodiment, the
(実施形態2)
上述した実施形態1の情報処理システム100において、監視エリア内で監視中の右折車両又は左折車両が他の車両又は歩行者等と接触した事故が発生した場合に通報を行う情報処理システムについて説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。
(Embodiment 2)
In the
図8は、実施形態2における通知処理手順の一例を示すフローチャートである。図8に示す処理は、図7に示す処理において、ステップS19,S21の間にステップS31~S33を追加したものである。図7と同じステップについては説明を省略する。なお、図8では、図7中のステップS11~S13,S22~S26の図示を省略している。
Figure 8 is a flowchart showing an example of a notification process procedure in
本実施形態の情報処理システム100において、監視装置10、ユーザ端末30及び車載端末40の制御部11,31,41はそれぞれ、図7中のステップS11~S20と同様の処理を行う。これにより、監視装置10は、監視エリア内における右折車両又は左折車両の有無を監視し、右折車両又は左折車両がある場合に、表示装置20への注意メッセージの表示、無線通信によるユーザ端末30への通知、及び車載端末40への通知を行う。よって、監視エリア内に右折車両又は左折車両がある場合に、通知エリア内の通行人及び車両内の搭乗者に注意喚起することができる。
In the
制御部11は、ステップS19の処理後、監視エリアを順次撮影した撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両、又はステップS15で検知した通行人が関わる事故が発生したか否かを判断する(S31)。例えば制御部11は、カメラ13にて順次取得する撮影画像に基づいて、ステップS12で検知した右折車両又は左折車両、及びステップS15で検知した通行人を追跡する処理を行い、右折車両又は左折車両が、いずれかの通行人又は他の車両と接触した場合に、事故が発生したと判断する。事故が発生していないと判断する場合(S31:NO)、制御部11は、ステップS21の処理に移行し、ステップS21以降の処理を行う。
After processing in step S19, the
事故が発生したと判断した場合(S31:YES)、制御部11は、例えば警察署に通報する処理を行う(S32)。例えば制御部11は、ネットワークN経由で、予め登録してある警察署又は警備会社の端末に、交通事故が発生した場所の情報を含む通報情報を出力する。そして制御部11は、カメラ13で撮影した撮影画像、即ち、カメラ13で事故現場を撮影して得らえた事故映像を記憶部12に記憶する(S33)。なお、制御部11は、カメラ13で順次撮影する撮影画像に基づいて、事故に関する処理が完了したか否かを判断し、事故に関する処理が完了したと判断した場合、カメラ13で撮影した事故映像の記憶処理を終了する。また制御部11は、通信部14又は入力部(図示せず)を介して事故映像の記録処理を終了する指示を受け付けた場合に、カメラ13で撮影した事故映像の記憶処理を終了してもよい。
If it is determined that an accident has occurred (S31: YES), the
上述した処理により、本実施形態においても、監視エリア内に右折車両又は左折車両がある場合に、表示装置20に表示された注意メッセージによって通知エリア内の通行人に注意喚起を行うことができる。また、通知エリア内のユーザにはユーザ端末30を介して、右折車両又は左折車両があることを通知でき、右折車両又は左折車両内のユーザには車載端末40を介して、車両の進入方向に歩行者等の通行人がいることを通知できる。このように監視エリア内の各ユーザに注意喚起を行うことにより、監視エリア内での事故の発生が抑制されることが期待される。更に、本実施形態では、監視エリア内で事故が発生した場合には通報すると共に、事故現場の撮影画像(事故映像)を蓄積することが可能となる。このように蓄積された事故映像は、警察又は保険会社等に提供され、事故の状況を把握するための映像として使用することができる。また、各車両の運転者等の家族の連絡先(電話番号等)が車両管理サーバ50(車両情報DB52a)に登録してある場合、事故の発生を検知した場合に、事故車両の運転者等の家族に通知するように構成してもよい。更に、事故の発生を検知した場合に、監視装置10は、事故現場の周囲の車両の宛先情報を車両管理サーバ50から取得し、周囲の車両に対して、事故現場から退避するように誘導する通知情報をネットワークN経由で送信するように構成してもよい。
Through the above-described process, in this embodiment as well, when there is a right-turning vehicle or a left-turning vehicle within the monitoring area, it is possible to alert passersby within the notification area with a caution message displayed on the
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、監視エリア内で接触事故等の交通事故が発生した場合に、警察署又は警備会社等に通報でき、更に事故現場の撮影画像を収集することができる。本実施形態においても、上述した実施形態1で適宜説明した変形例の適用が可能である。 In this embodiment, the same effects as in the first embodiment described above can be obtained. Furthermore, in this embodiment, when a traffic accident such as a collision occurs within the monitoring area, it is possible to report it to a police station, security company, etc., and furthermore, it is possible to collect photographed images of the accident scene. Also in this embodiment, the modifications described in the above-described first embodiment can be applied.
(実施形態3)
赤信号の横断歩道を横断している横断者、信号機がない横断歩道を横断している横断者、及び、横断歩道がない箇所で道路を横断している横断者がいる場合に、注意喚起が必要なユーザ(通行人,車両の搭乗者)に注意を行う情報処理システムについて説明する。なお、赤信号の横断歩道を横断している横断者、信号機がない横断歩道を横断している横断者、及び、横断歩道がない箇所で道路を横断している横断者をまとめて「危険横断者」という。また、ここでの危険横断者は、歩行者、自転車、三輪車、スケートボード、キックスケーター、電動車椅子、シニアカー等を使用している人を含む。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。また、本実施形態の情報処理システム100は、道路の交差点だけでなく、信号機がない横断歩道、信号機及び横断歩道がない箇所で歩行者等が道路を横断する頻度が多い箇所等を監視エリアとして各監視エリアに設けられている。なお、本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。
(Embodiment 3)
An information processing system that warns users (passengers, vehicle occupants) who need to be alerted when there is a pedestrian crossing a red light, a pedestrian crossing a crosswalk without traffic lights, or a pedestrian crossing a road at a location without a crosswalk will be described. Note that pedestrians crossing a red light, a pedestrian crossing a crosswalk without traffic lights, and a pedestrian crossing a road at a location without a crosswalk are collectively referred to as "dangerous pedestrians." The dangerous pedestrians here include pedestrians, people using bicycles, tricycles, skateboards, kick scooters, electric wheelchairs, senior cars, etc. The
以下に、本実施形態の情報処理システム100において、監視装置10が監視エリア内で危険横断している危険横断者を検知した場合に、所定の通知エリア内のユーザに通知する処理を行う際に各装置が行う処理について説明する。図9は実施形態3の通知処理手順の一例を示すフローチャートである。図9では左側に車載端末40が行う処理を、右側に監視装置10が行う処理をそれぞれ示す。以下の処理は、監視装置10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実行され、車載端末40の記憶部42に記憶してある制御プログラム42Pに従って制御部41によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
Below, in the
本実施形態の情報処理システム100において、監視装置10の制御部11は、カメラ13を用いて監視エリアを撮影する(S41)。本実施形態においても、制御部11はカメラ13による撮影を常時行ってもよく、情報処理システム100が監視エリア内における動体の有無を検知する動体センサを有する場合、動体センサによって動体の存在が検知された後にカメラ13による撮影を開始してもよい。制御部11は、カメラ13で撮影した撮影画像に基づいて、撮影画像中に危険横断者が含まれるか否かを判断する(S42)。ここでは制御部11は、例えば歩行者判別モデルM2を用いて撮影画像中に危険横断者が含まれるか否かを判断する。具体的には、制御部11は、撮影画像を歩行者判別モデルM2に入力し、歩行者判別モデルM2からの出力情報に基づいて、撮影画像中に危険横断者がいるか否かを判別する。なお、本実施形態の歩行者判別モデルM2は、画像中に歩行者等の通行人がいるか否かだけでなく、危険横断者がいるか否かも判別するように学習している。よって、制御部11は、歩行者判別モデルM2において、最大の出力値(判別確率)が所定値(例えば0.7)以上であった場合に、最大出力値を出力した出力ノードに対応する状態(通行人又は危険横断者の有無)を撮影画像中の状態に特定する。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に通行人又は危険横断者がいるか否かを判断してもよい。
In the
制御部11は、監視エリア内に危険横断者がいないと判断した場合(S42:NO)、ステップS41の処理に戻る。監視エリア内に危険横断者がいると判断した場合(S42:YES)、制御部11は、危険横断者に関する注意喚起が必要な通知エリアを特定する(S43)。例えば制御部11は、危険横断者の周囲の所定範囲内の道路を通知エリアに特定する。制御部11は、通知エリアを特定した場合、通知エリア内に車両があるか否かを判断する(S44)。ここでは、制御部11は、特定した通知エリアがカメラ13にて撮影可能である場合、カメラ13によって撮影した撮影画像に基づいて、通知エリア内に車両があるか否かを判断する。一方、特定した通知エリアがカメラ13にて撮影可能でない場合、制御部11は、例えば通知エリアを示す位置情報をネットワークN経由で車両管理サーバ50へ送信し、車両管理サーバ50によって通知エリア内の車両の有無を判断してもよい。
When the
通知エリア内に車両があると判断した場合(S44:YES)、制御部11は、通知エリア内にいる車両の車載端末40に割り当てられている宛先情報を車両管理サーバ50から取得する(S45)。このとき制御部11は、監視装置10の位置情報、又は、監視装置10の位置情報から算出された通知エリアの位置情報をネットワークN経由で車両管理サーバ50へ送信し、通知エリア内にいる車両の車載端末40の宛先情報を車両管理サーバ50から取得する。なお、車両管理サーバ50の制御部51は、監視装置10から受信した位置情報が示す位置から所定範囲内の位置を現在地とする車両に対応する宛先情報を車両情報DB52aから読み出して監視装置10へ送信する。このとき、各車両の進行方向が車両情報DB52aに登録されている場合、制御部51は、通知エリア内の車両のうちで、危険横断者の方向が進行方向である車両を特定し、特定した車両の宛先情報を監視装置10へ送信してもよい。
If it is determined that there is a vehicle within the notification area (S44: YES), the
制御部11は、通知エリア内の車両の宛先情報を取得した場合、宛先情報に基づいて通信部14を介して、通知エリア内の各車両の車載端末40に対して、周囲又は進行方向に危険横断者がいることを通知する通知情報を出力する(S46)。車載端末40の制御部41は、監視装置10から出力された危険横断者の通知情報を受信した場合、通知部45による通知処理を実行する(S47)。これにより、通知エリア内の車両を運転中のユーザに、危険横断者がいることを通知できる。ここでも、制御部11は、ステップS42で監視エリア内に危険横断者がいることを検知した撮影画像を通知情報に含めて車載端末40へ送信してもよい。この場合、通知情報に含まれる撮影画像が車載端末40の表示部(図示せず)に表示され、車両の進行方向に危険横断者がいることを車両内の搭乗者に通知できる。
When the
制御部11は、通知エリアに車両がないと判断した場合(S44:NO)、ステップS45~S46の処理をスキップする。次に制御部11は、監視エリアを撮影した撮影画像に基づいて、ステップS42で検知した危険横断者が監視エリアを通過したか否かを判断する(S48)。ここでは制御部11は、カメラ13にて順次取得する撮影画像に基づいて、ステップS42で検知した危険横断者を追跡する処理を行い、この危険横断者が撮影画像中からいなくなった場合、又は道路の横断を完了した場合に、危険横断者は監視エリアを通過したと判断してもよい。危険横断者が監視エリアを通過していないと判断する場合(S48:NO)、制御部11は、ステップS44の処理に戻り、通知エリア内に車両があるか否かを判断する処理を継続する。これにより、監視エリア内に危険横断者がいる場合に、通知エリア内の車両に、危険横断者がいることを通知できる。
When the
危険横断者が監視エリアを通過したと判断した場合(S48:YES)、制御部11は、ステップS45で取得した宛先情報に基づいて、通知エリア内の車両の車載端末40に対して、安全な状態であることを通知する安全情報を出力する(S49)。車載端末40の制御部41は、監視装置10から出力された安全情報を受信した場合、ステップS47で開始した通知部45による通知処理を終了する(S50)。ここでも、制御部41は、通知部45による他の通知処理によって、車両内のユーザに安全状態であることを通知してもよい。
If it is determined that the dangerous crosser has passed through the monitoring area (S48: YES), the
上述した処理により、本実施形態の監視装置10は、監視エリアを撮影した撮影画像に基づいて監視エリア内の危険横断者の有無を監視している。そして、危険横断者を検知した場合、例えば危険横断者の方向に走行中の車両の車載端末40に対して、進行方向に危険横断者がいることを通知する。これにより、車両内の運転者等に対して注意を促すことができ、危険横断者が関わる事故の発生が抑制されることが期待される。なお、監視装置10は、監視エリア内に設けられた表示装置20に、例えば「道路横断禁止!」「ここでは道路を横断しないで下さい」のような注意メッセージを表示させてもよい。この場合、危険横断者及びその周囲の人に危険であることを通知できる。また、監視装置10は、無線通信が可能な範囲内のユーザ端末30に対して、危険横断者がいることを通知してもよい。この場合、危険横断者の周囲にいる人に危険であることを通知することができる。特に、危険横断者がユーザ端末30を携帯している場合には、危険横断者本人に危険であることを通知でき、注意を発することができる。
Through the above-described processing, the
本実施形態において、監視装置10は、上述したような危険横断者に加えて、道路に面した場所にある公園及び遊び場等を監視エリアとし、公園及び遊び場からの飛び出しを監視するように構成することもできる。具体的には、歩行者判別モデルM2を、撮影画像が入力された場合に、撮影画像中に、道路に飛び出そうとしている人がいるか否かを示す情報を出力するように学習させる。このような歩行者判別モデルM2を用いることにより、撮影画像に写っている人が道路に飛び出そうとしているか否かを判別でき、公園及び遊び場等から子供等が飛び出したことを検知した場合には、周囲を走行している車両の搭乗者に通知することができる。
In this embodiment, the
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、赤信号の横断歩道を横断している横断者、及び横断歩道がない箇所で道路を横断している横断者等のように危険な横断をしている横断者だけでなく、信号機がない横断歩道を横断している横断者がいる場合にも、周囲を走行している車両の搭乗者に、進行方向にいる危険横断者の存在を通知できる。よって、危険横断者によって発生する可能性のある事故の発生を抑制できることが期待される。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。 In this embodiment, the same effects as in each of the above-described embodiments can be obtained. In addition, in this embodiment, not only crossers who are crossing the road dangerously, such as crosswalks with red lights and crosswalks where there are no crosswalks, etc. Even if there is a crosswalk at a crosswalk without a traffic light, the occupants of nearby vehicles can be notified of the presence of the dangerous crosswalk in the direction of travel. Therefore, it is expected that accidents that may occur due to dangerous crossers can be suppressed. Also in this embodiment, the modifications described in each of the above-described embodiments can be applied.
(実施形態4)
道路上に複数の監視エリアが設定してあり、1つの監視エリア内で危険な走行をしている車両(以下では危険車両という)がある場合に、この危険車両の進行方向にある別の監視エリア内のユーザ(通行人及び車両の搭乗者)に注意喚起を行う情報処理システムについて説明する。ここでの危険車両は、自転車、自動車及び自動二輪車等の車両を想定しているが、スケートボード、キックスケーター、電動車椅子、シニアカー等であってもよい。また危険車両は、車線を無視して走行している車両(車線無視)、所定速度以上で走行している車両(速度超過)、蛇行運転している車両(蛇行運転)、信号を無視して走行している車両(信号無視)、あおり運転している車両(あおり運転)等を含む。
(Embodiment 4)
A description will be given of an information processing system in which a plurality of monitoring areas are set on a road, and when a vehicle (hereinafter referred to as a dangerous vehicle) is driving dangerously in one monitoring area, the information processing system warns users (passersby and vehicle occupants) in another monitoring area in the direction of travel of the dangerous vehicle. The dangerous vehicles here are assumed to be vehicles such as bicycles, automobiles, and motorcycles, but may also be skateboards, kick scooters, electric wheelchairs, senior cars, etc. The dangerous vehicles also include vehicles that ignore lanes (lane ignoring), vehicles that drive at a certain speed or faster (speeding), vehicles that drive in a zigzag manner (zigzag driving), vehicles that ignore traffic signals (signal ignoring), vehicles that drive aggressively (tailgating), etc.
図10は実施形態4の情報処理システム100の構成例を示す模式図である。本実施形態の情報処理システム100は、上述した各実施形態と同様に、道路の交差点等を監視エリアとして各監視エリアに設けられている。例えば図10中の第1監視エリア及び第2監視エリアは隣り合って設けられた監視エリアであり、上下方向に伸びる道路によって連結されている。このような状況において、本実施形態では、例えば第1監視エリア内に危険車両が検知された場合、この危険車両の進行方向が第2監視エリアであった場合、第2監視エリア内にいるユーザ(通行人及び車両の搭乗者)に、危険車両の存在を通知する。具体的には、第1監視エリアに設けられた監視装置10(第1監視装置10)が、撮影画像に基づいて、第1監視エリア内に危険車両を検知した場合、第2監視エリアに設けられた監視装置10(第2監視装置10)に通知し、第2監視装置10が第2監視エリア内のユーザに注意喚起を行う。その際、第1監視装置10は、危険車両の撮影画像を第2監視装置10へ送信し、第2監視装置10は、第2監視エリアの撮影画像と、第1監視装置10から取得した危険車両の撮影画像とに基づいて、危険車両が第2監視エリア内にいる、又は近付いていることを検知した場合に、第2監視エリア内のユーザに注意喚起を行う。
Figure 10 is a schematic diagram showing an example of the configuration of the
本実施形態において、各監視エリアに設けられる情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。また、本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。なお、本実施形態の監視装置10は、図3に示す構成に加えて、機械学習によって学習させた危険車両判別モデルM3を記憶部12に記憶している。
In this embodiment, the
図11は、危険車両判別モデルM3の構成例を示す模式図である。本実施形態の危険車両判別モデルM3は、図4に示す車両判別モデルM1と同様の構成を有し、撮影画像が入力された場合に、撮影画像中の車両が、車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両のいずれであるかを演算し、演算した結果を出力するように学習した学習済みモデルである。危険車両判別モデルM3は、例えば出力層に5つの出力ノードを有し、それぞれの出力ノードは、車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両のそれぞれに対する判別確率を出力する。それぞれの出力ノードが出力する判別確率は、入力層に入力された撮影画像に写っている車両が、それぞれの出力ノードに対応付けられた車両(具体的には車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両)である可能性を示す。 FIG. 11 is a schematic diagram showing a configuration example of the dangerous vehicle discrimination model M3. The dangerous vehicle discrimination model M3 of this embodiment has the same configuration as the vehicle discrimination model M1 shown in FIG. This is a trained model that has been trained to calculate whether a vehicle is driving in a meandering manner, a vehicle that ignores traffic lights, or a vehicle that is driving erratically, and outputs the calculated results. The dangerous vehicle discrimination model M3 has, for example, five output nodes in the output layer, and each output node has a discrimination probability for each of a vehicle ignoring lanes, a vehicle exceeding speed, a vehicle driving in a meandering manner, a vehicle ignoring traffic lights, and a vehicle driving erratically. Output. The discrimination probability output by each output node is that the vehicle in the captured image input to the input layer is a vehicle associated with each output node (specifically, a vehicle ignoring lanes, a vehicle exceeding speed, or a meandering vehicle). Indicates the possibility that the vehicle is a driving vehicle, a vehicle ignoring a traffic light, or a vehicle driving in a reckless manner.
危険車両判別モデルM3は、撮影画像と、撮影画像中の車両の挙動(車線無視、速度超過、蛇行運転、信号無視、あおり運転)を示す情報(正解ラベル)とを含む教師データを用いて学習する。危険車両判別モデルM3は、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルが示す挙動に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。これにより、撮影画像が入力された場合に、撮影画像中の車両の挙動を判別するように学習された学習済みの危険車両判別モデルM3が得られる。危険車両判別モデルM3の学習も、他の学習装置で行われてもよく、監視装置10で行われてもよい。また危険車両判別モデルM3も図4に示すようなニューラルネットワークに限定されず、種々の機械学習のアルゴリズムによって構築された学習モデルを用いることができる。
The dangerous vehicle discrimination model M3 is trained using training data that includes captured images and information (correct label) indicating the behavior of the vehicle in the captured images (ignoring lanes, speeding, meandering driving, ignoring traffic lights, tailgating). do. Dangerous vehicle discrimination model M3 outputs an output value of 1.0 from the output node corresponding to the behavior indicated by the correct label included in the teacher data when a captured image included in the teacher data is input, and outputs an output value of 1.0 from other output nodes. Learn so that the node outputs an output value of 0.0. As a result, when a photographed image is input, a trained dangerous vehicle discrimination model M3 that has been trained to discriminate the behavior of a vehicle in the photographed image is obtained. Learning of the dangerous vehicle discrimination model M3 may also be performed by another learning device, or may be performed by the
以下に、本実施形態の情報処理システム100において、第1監視装置10が第1監視エリア内で危険車両を検知した場合に第2監視エリア内のユーザに通知(注意喚起)する処理を行う際に各装置が行う処理について説明する。図12及び図13は実施形態4の通知処理手順の一例を示すフローチャートである。図12では左側に第1監視装置10が行う処理を、右側に第2監視装置10が行う処理をそれぞれ示し、図13では左側に第2監視エリア内の車載端末40が行う処理を、中央に第2監視装置10が行う処理を、右側に第2監視エリア内のユーザ端末30が行う処理をそれぞれ示す。
In the following, in the
本実施形態の情報処理システム100において、第1監視装置10の制御部11は第1監視エリアを撮影し(S61)、撮影画像に基づいて、撮影画像中に危険車両が含まれるか否かを判断している(S62)。ここでは制御部11(検知部)は、撮影画像を危険車両判別モデルM3に入力し、危険車両判別モデルM3からの出力情報に基づいて、撮影画像中に危険車両があるか否かを判別する。例えば、制御部11は、危険車両判別モデルM3において、最大の出力値(判別確率)が所定値(例えば0.7)以上であった場合に、最大出力値を出力した出力ノードに対応する挙動(車線無視、速度超過、蛇行運転、信号無視、あおり運転)の車両が撮影画像中に含まれると特定する。
In the
制御部11は、監視エリア内に危険車両がないと判断した場合(S62:NO)、ステップS61の処理に戻る。監視エリア内に危険車両があると判断した場合(S62:YES)、制御部11(特定部)は、危険車両に関する注意喚起が必要な通知エリア、ここでは第2監視エリアを特定する(S63)。例えば制御部11は、検知した危険車両の進行方向を撮影画像に基づいて特定し、進行方向にある隣の監視エリア(第2監視エリア)を特定する。なお、各監視エリアの位置情報は、例えば監視装置10の記憶部12に記憶されており、制御部11は、各監視エリアの位置情報に基づいて第2監視エリアを特定する。また制御部11は、各監視エリアの位置情報をネットワークN経由で所定のサーバから取得し、取得した位置情報に基づいて第2監視エリアを特定してもよく、所定のサーバで特定された第2監視エリアの情報を取得してもよい。
When the
第1監視装置10の制御部11は、第2監視エリアを特定した場合、第2監視エリアに設けられた第2監視装置10に、危険車両を撮影した撮影画像をネットワークN経由で送信する(S64)。なお、第1監視装置10は、危険車両に関する注意喚起が必要な通知エリアとして複数の第2監視エリアを特定した場合、それぞれの第2監視エリアの第2監視装置10に危険車両の撮影画像を送信する。また、第2監視エリアに複数の第2監視装置10が設けられている場合、第1監視装置10は、任意の第2監視装置10、又は予め設定された第2監視装置10へ危険車両の撮影画像を送信する。また、第1監視装置10の制御部11は、危険車両の撮影画像と共に危険車両の種類(車線無視、速度超過、蛇行運転、信号無視、又はあおり運転)も第2監視装置10に送信してもよい。
When the second monitoring area is identified, the
第2監視装置10の制御部11は、第2監視エリアを撮影し(S65)、第2監視エリアの撮影画像と、第1監視装置10から受信した危険車両の撮影画像とに基づいて、危険車両が第2監視エリア内にいる、又は近付いているか否かを判断する(S66)。ここでは制御部11は、パターンマッチングによって、第2監視エリアの撮影画像中に危険車両の撮影画像に一致する領域があるか否かを判断することにより、第2監視エリア内又は近傍における危険車両の有無を判断する。また第2監視装置10の制御部11は、第1監視装置10から受信した危険車両の撮影画像から危険車両のナンバープレートの情報を抽出し、抽出したナンバープレートの車両が第2監視エリアの撮影画像中にあるか否かに応じて、第2監視エリア内又は近傍に危険車両があるか否かを判断してもよい。なお、第1監視装置10が、危険車両の撮影画像から危険車両のナンバープレートの情報を抽出し、抽出したナンバープレートの情報を第2監視装置10へ送信することにより、危険車両の情報を第2監視装置10に通知する構成でもよい。これにより、第2監視装置10の制御部11(判定部)は、第1監視エリア内で検知された危険車両と同一の車両の有無を判定できる。第2監視エリア内又は近傍に危険車両がないと判断した場合(S66:NO)、第2監視装置10の制御部11は処理を終了する。
The
第2監視エリア内又は近傍に危険車両があると判断した場合(S66:YES)、第2監視装置10の制御部11は、第2監視エリアの撮影画像に基づいて、第2監視エリア内に他の車両があるか否かを判断する(S67)。例えば制御部11は、第2監視エリアの撮影画像を車両判別モデルM1に入力し、車両判別モデルM1からの出力情報に基づいて、第2監視エリア内に車両があるか否かを判断してもよい。第2監視エリア内に車両があると判断した場合(S67:YES)、制御部11は、第2監視エリア内の車両の車載端末40の宛先情報を車両管理サーバ50から取得する(S68)。ここでの処理は、上述した各実施形態で説明した、車両管理サーバ50から車両の宛先情報を取得する処理と同様である。
If it is determined that there is a dangerous vehicle in or near the second monitoring area (S66: YES), the
第2監視装置10の制御部11(出力部)は、車両管理サーバ50から取得した宛先情報に基づいて、第2監視エリア内の各車両の車載端末40に対して、危険車両が近くにあることを通知する通知情報をネットワークN経由で出力する(S69)。車載端末40の制御部41は、監視装置10から出力された危険車両の通知情報を受信した場合、通知部45による通知処理を実行する(S70)。これにより、第2監視エリア内の車両の搭乗者に、近くに危険車両が存在することを通知できる。ここでも、制御部11は、第1監視装置10から取得した危険車両の撮影画像を通知情報に含めて車載端末40へ送信してもよい。また、第2監視装置10が第1監視装置10から危険車両の種類(車線無視、速度超過、蛇行運転、信号無視、又はあおり運転)を通知されていた場合、第2監視装置10の制御部11は、危険車両が近くにあることと共に危険車両の種類を通知する通知情報を各車両の車載端末40に送信してもよい。この場合、車載端末40は、通知部45によって危険車両の種類も搭乗者に通知することができ、搭乗者は、接近してくる危険車両がどのような車両であるのかを把握できるので、早期に退避行動を行うことが可能となる。
The control unit 11 (output unit) of the
制御部11は、第2監視エリアに車両がないと判断した場合(S67:NO)、ステップS68~S69の処理をスキップする。次に制御部11は、第2監視エリアの撮影画像に基づいて、第2監視エリア内に歩行者等の通行人がいるか否かを判断する(S71)。第2監視エリア内に通行人がいると判断した場合(S71:YES)、制御部11(出力部)は、無線通信部15を介した無線通信によって、危険車両が近くにあることを通知する通知情報を出力する(S72)。第2監視装置10と通信可能な範囲内にいるユーザ端末30の制御部31は、第2監視装置10から出力された危険車両の通知情報を受信した場合、通知部34による通知処理を実行する(S73)。これにより、ユーザ端末30のユーザに危険車両が存在することを通知できる。
When the
制御部11は、第2監視エリア内に通行人がいないと判断した場合(S71:NO)、ステップS72の処理をスキップし、第2監視エリアの撮影画像に基づいて、危険車両が第2監視エリアを通過したか否かを判断する(S74)。危険車両が第2監視エリアを通過していないと判断する場合(S74:NO)、制御部11は、ステップS67の処理に戻り、第2監視エリアにおける車両の有無及び通行人の有無を判断する処理を継続する。これにより、第2監視エリア内又は近傍に危険車両がある場合に、第2監視エリア内の車両の搭乗者及び通行人に危険車両があることを通知できる。
When the
危険車両が第2監視エリアを通過したと判断した場合(S74:YES)、制御部11は、無線通信部15を介した無線通信によって安全情報を出力し(S75)、ユーザ端末30の制御部31は、第2監視装置10から安全情報を受信した場合、ステップS73で開始した通知処理を終了する(S76)。これにより、危険車両が第2監視エリアを通過した後は、ユーザ端末30による通知処理が終了する。また制御部11は、ステップS68で取得した宛先情報に基づいて、第2監視エリア内の車両の車載端末40に対してネットワークN経由で安全情報を出力し(S77)、車載端末40の制御部41は、第2監視装置10から安全情報を受信した場合、ステップS70で開始した通知処理を終了する(S78)。
If it is determined that the dangerous vehicle has passed through the second monitoring area (S74: YES), the
上述した処理により、本実施形態では、第1監視エリア内で危険車両が検知された場合に、第2監視エリア内の通行人及び車両の搭乗者に注意喚起を行うことができる。よって、危険車両の存在に気付いていない第2監視エリア内の通行人及び車両の搭乗者に知らせることが可能となる。なお、第2監視装置10は、危険車両の通知情報を第2監視エリア内のユーザ端末30及び車載端末40に送信するだけでなく、第2監視エリア内の表示装置20に注意メッセージを表示させてもよい。この場合、ユーザ端末30を携帯していない人にも危険車両の存在を通知できる。
Through the above-described process, in the present embodiment, when a dangerous vehicle is detected in the first monitoring area, it is possible to alert passersby and vehicle occupants in the second monitoring area. Therefore, it is possible to notify passersby in the second monitoring area and vehicle occupants who are unaware of the presence of the dangerous vehicle. Note that the
本実施形態では、第2監視装置10は、第1監視装置10から取得した危険車両の撮影画像に基づいて、この危険車両が第2監視エリア内又は近傍にいるか否かを判断し、いる場合に第2監視エリア内の通行人及び車両の搭乗者に通知する処理を行っていた。このほかに、第2監視装置10は、危険車両が第2監視エリア内又は近傍にいるか否かを判断せずに、第2監視エリア内の通行人及び車両の搭乗者に通知する処理を行ってもよい。即ち、第1監視装置10は、第1監視エリア内に危険車両を検知した場合、第2監視エリアを特定して第2監視装置10に対して危険車両の存在を通知する。そして第2監視装置10は、第1監視装置10から危険車両の通知を受けた時点で、第2監視エリア内の車載端末40にネットワークN経由で危険車両の通知情報を送信し、第2監視エリア内のユーザ端末30に無線通信にて危険車両の通知情報を送信する。このような構成とすることにより、危険車両が第2監視エリア内に入る前に第2監視エリア内の通行人及び車両の搭乗者に通知できるので、早期の通知が可能であり、通知を受けたユーザが速やかに避難することが可能となる。
In this embodiment, the
また本実施形態において、それぞれの監視装置10で撮影された撮影画像が、ネットワークN経由でクラウドサーバに集約され、クラウドサーバが、それぞれの監視エリア内における危険車両の検知処理を行い、危険車両を検知した場合に、周囲の監視エリア内の通行人及び車両の搭乗者(ユーザ端末30及び車載端末40)に通知する処理を行うように構成することもできる。このような構成とした場合、監視装置10は、カメラ13による撮影処理と、撮影した画像をネットワークN経由でクラウドサーバへ送信する処理とを行えばよい。
Furthermore, in this embodiment, the images taken by each
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、第1監視エリア内で危険車両が検知された場合に、近傍の第2監視エリア内の通行人及び車両の搭乗者に通知されるので、第2監視エリア内の通行人及び車両の搭乗者に注意喚起を行うことができる。これにより、第2監視エリアにおいて、第1監視エリアで検知された危険車両が原因となる事故の発生が抑制されることが期待される。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。 In this embodiment, the same effects as in each of the above-described embodiments can be obtained. Furthermore, in this embodiment, when a dangerous vehicle is detected in the first monitoring area, nearby passersby in the second monitoring area and the occupants of the vehicle are notified. It is also possible to alert the occupants of the vehicle. This is expected to suppress the occurrence of accidents caused by dangerous vehicles detected in the first monitoring area in the second monitoring area. Also in this embodiment, the modifications described in each of the above-described embodiments can be applied.
(実施形態5)
道路を緊急車両が緊急走行している場合に、緊急車両の進行方向にいるユーザ(通行人及び車両の搭乗者)に注意喚起を行う情報処理システムについて説明する。緊急車両は例えば警察車両、消防車、救急車等を含み、サイレンを鳴らしながら、かつ、赤色の警光灯を点灯させて緊急走行している車両を意味する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。
(Embodiment 5)
An information processing system that alerts users (passersby and vehicle occupants) in the direction of travel of an emergency vehicle when the emergency vehicle is traveling on a road will be described. Emergency vehicles include, for example, police vehicles, fire trucks, ambulances, etc., and refer to vehicles that are driving in an emergency with sirens sounding and red warning lights turned on. Since the
以下に、本実施形態の情報処理システム100において、監視装置10が緊急車両を検知した場合に、緊急車両の走行方向における所定エリア(通知エリア)内のユーザに通知する処理を行う際に各装置が行う処理について説明する。図14及び図15は実施形態5の通知処理手順の一例を示すフローチャートである。図14及び図15では左側に車載端末40が行う処理を、中央に監視装置10が行う処理を、右側にユーザ端末30が行う処理をそれぞれ示す。
Below, in the
本実施形態の情報処理システム100において、監視装置10の制御部11は監視エリアを撮影し(S91)、撮影画像に基づいて、撮影画像中に緊急走行中の緊急車両が含まれているか否かを判断する(S92)。ここでは制御部11は、例えば車両判別モデルM1を用いて撮影画像中に緊急車両が含まれるか否かを判断する。なお、本実施形態の車両判別モデルM1は、画像中の車両が、右折車両、左折車両及び直進車両だけでなく、緊急車両であるか否かも判別するように学習している。即ち、車両判別モデルM1は、撮影画像(車両画像)が入力された場合に、撮影画像中の車両が、右折車両、左折車両、直進車両又は緊急車両である可能性(判別確率)を出力する。よって、制御部11は、車両判別モデルM1から出力された判別確率に基づいて、撮影画像中に緊急車両が含まれるか否かを判断できる。このような車両判別モデルM1の教師データに用いる撮影画像(車両画像)は、例えば緊急車両に用いられる車種の車両、警光灯が点灯している緊急車両、緊急走行している緊急車両等を撮影した画像を用いることができる。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に緊急車両が含まれるか否かを判断してもよい。また、緊急車両が無線通信によって自車両(緊急車両)の接近を示す信号を送信する送信機を有する場合、制御部11は、緊急車両の送信機から送信された信号を受信することにより、緊急車両の接近を把握してもよい。
In the
制御部11は、監視エリア内に緊急車両がないと判断した場合(S92:NO)、ステップS91の処理に戻る。監視エリア内に緊急車両があると判断した場合(S92:YES)、制御部11は、緊急車両に関する注意喚起が必要な通知エリアを特定する(S93)。例えば制御部11は、緊急車両の進行方向にある横断歩道を通知エリアに特定する。制御部11は、特定した通知エリアに設けてある表示装置20に、緊急車両の存在を通知するメッセージを表示させ(S94)、通知エリア内の通行人に緊急車両の接近を知らせる。なお、表示装置20が発光部を有する場合は発光部を点灯又は点滅させ、監視装置10又は表示装置20がスピーカを有する場合はスピーカから音声メッセージを出力させることによって注意喚起を行ってもよい。
When the
次に制御部11は、通知エリア内に車両があるか否かを判断し(S95)、通知エリア内に車両があると判断した場合(S95:YES)、通知エリア内の車両(車載端末40)の宛先情報を車両管理サーバ50から取得する(S96)。そして制御部11は、取得した宛先情報に基づいて、通知エリア内の車両の車載端末40に対してネットワークN経由で、緊急車両の接近を通知する通知情報を出力する(S97)。車載端末40の制御部41は、監視装置10から出力された緊急車両の通知情報を受信した場合、通知部45による通知処理を実行する(S98)。ここでは制御部41は、例えば緊急車両の接近を通知する音声メッセージと共に、安全な場所に車両を誘導するための音声メッセージを音声出力してもよく、この場合、車両を安全な場所に退避させるように搭乗者を誘導できる。制御部11は、通知エリアに車両がないと判断した場合(S95:NO)、ステップS96~S97の処理をスキップする。
Next, the
次に制御部11は、通知エリア内に歩行者等の通行人がいるか否かを判断する(S99)。通知エリア内に通行人がいると判断した場合(S99:YES)、制御部11は、無線通信部15を介した無線通信によって、緊急車両の接近を通知する通知情報を出力する(S100)。ユーザ端末30の制御部31は、監視装置10から出力された緊急車両の通知情報を受信した場合、通知部34による通知処理を実行する(S101)。制御部11は、通知エリア内に通行人がいないと判断した場合(S99:NO)、ステップS100の処理をスキップし、監視エリアの撮影画像に基づいて、緊急車両が監視エリアを通過したか否かを判断する(S102)。緊急車両が監視エリアを通過していないと判断する場合(S102:NO)、制御部11は、ステップS94の処理に戻る。これにより、監視エリア内を緊急車両が走行中の場合に、進行方向の通知エリア内の車両の搭乗者及び通行人に緊急車両の接近を通知することができる。
Next, the
緊急車両が監視エリアを通過したと判断する場合(S102:YES)、制御部11は、無線通信部15を介した無線通信によって安全情報を出力し(S103)、監視装置10から安全情報を受信したユーザ端末30の制御部31は、ステップS101で開始した通知処理を終了する(S104)。また制御部11は、ステップS94で表示装置20に表示させたメッセージの表示を終了し(S105)、ステップS96で取得した宛先情報に基づいて、監視エリア内の車両(車載端末40)に対してネットワークN経由で安全情報を出力する(S106)。車載端末40の制御部41は、監視装置10から安全情報を受信した場合、ステップS98で開始した通知処理を終了する(S107)。
When determining that the emergency vehicle has passed through the monitoring area (S102: YES), the
上述した処理により、本実施形態の監視装置10は、監視エリアの撮影画像に基づいて監視エリア内における緊急車両の有無を監視している。そして監視装置10は、緊急車両を検知した場合に、緊急車両の進行方向の通知エリア内の通行人及び車両に注意喚起を行うことにより、通知エリア内の通行人及び車両を退避させるように誘導することができる。また、本実施形態の監視装置10は、緊急走行中の緊急車両を検知した場合に、緊急車両の進行方向の他の監視エリアの監視装置10に通知してもよい。この場合、他の監視エリアの監視装置10によって、他の監視エリア内の通行人及び車両に注意喚起を行うことができる。
Through the processing described above, the
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、緊急車両の接近を、緊急車両の進行方向にいる通行人及び車両の搭乗者に通知することができる。よって、緊急車両の進行方向において、歩行者等の通行人及び車両が安全な場所に速やかに退避するように促すことができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。 In this embodiment, the same effects as those of the above-mentioned embodiments can be obtained. In addition, in this embodiment, it is possible to notify passersby and vehicle occupants in the direction of travel of the emergency vehicle of the approach of the emergency vehicle. Therefore, it is possible to urge passersby such as pedestrians and vehicles in the direction of travel of the emergency vehicle to quickly evacuate to a safe place. In this embodiment, too, it is possible to apply the modified examples described as appropriate in each of the above-mentioned embodiments.
(実施形態6)
道路を逆走している車両(逆走車両)がある場合に、逆走車両の搭乗者に警告を行う情報処理システムについて説明する。逆走車両は例えば自動車及び自動二輪車等の車両であり、道路に対して定められた進行方向とは逆方向に走行している車両を意味する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。
(Embodiment 6)
An information processing system that warns a passenger of a vehicle traveling in the wrong direction when there is a vehicle traveling in the wrong direction on a road will be described. A wrong-way vehicle is a vehicle such as a car or a motorcycle, and refers to a vehicle that is traveling in the opposite direction to the direction of travel determined with respect to the road. Since the
以下に、本実施形態の情報処理システム100において、監視装置10が逆走車両を検知した場合に、逆走車両の搭乗者(運転者等)に警告すると共に、周囲の車両(一般車両)の搭乗者に通知する処理を行う際に各装置が行う処理について説明する。図16は実施形態6の通知処理手順の一例を示すフローチャートである。図16では左側に逆走車両の車載端末40が行う処理を、中央に監視装置10が行う処理を、右側に一般車両の車載端末40が行う処理をそれぞれ示す。
Below, in the
本実施形態の情報処理システム100において、監視装置10の制御部11は監視エリアを撮影し(S111)、撮影画像に基づいて、撮影画像中に逆走車両が含まれているか否かを判断する(S112)。ここでは制御部11は、例えば車両判別モデルM1を用いて撮影画像中に逆走車両が含まれるか否かを判断する。なお、本実施形態の車両判別モデルM1は、画像中の車両が、右折車両、左折車両及び直進車両だけでなく、逆走車両であるか否かも判別するように学習している。即ち、車両判別モデルM1は、撮影画像(車両画像)が入力された場合に、撮影画像中の車両が、右折車両、左折車両、直進車両又は逆走車両である可能性(判別確率)を出力する。よって、制御部11は、車両判別モデルM1から出力された判別確率に基づいて、撮影画像中に逆走車両が含まれるか否かを判断できる。このような車両判別モデルM1の教師データに用いる撮影画像(車両画像)は、例えば一般道路及び高速道路等で逆走している車両の撮影画像を用いることができる。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に逆走車両が含まれるか否かを判断してもよい。
In the
制御部11は、監視エリア内に逆走車両がないと判断した場合(S112:NO)、ステップS111の処理に戻る。監視エリア内に逆走車両があると判断した場合(S112:YES)、制御部11は、逆走車両の車載端末40の宛先情報を車両管理サーバ50から取得する(S113)。そして制御部11は、取得した宛先情報に基づいて、逆走車両の車載端末40に対してネットワークN経由で、逆走中であることを通知して警告する警告情報を出力する(S114)。逆走車両の車載端末40の制御部41は、監視装置10から出力された警告情報を受信した場合、通知部45による警告処理を実行する(S115)。例えば制御部41は、自車両が逆走していることを通知する音声メッセージ、及び安全な場所に自車両を誘導するための音声メッセージ等を音声出力して警告する。これにより、逆走車両の運転者等に逆走中であることを知らせることができると共に、逆走車両を速やかに安全な場所に退避させるように誘導することができる。
When the
次に制御部11は、逆走車両に関する注意喚起が必要な通知エリアを特定する(S116)。例えば制御部11は、逆走車両の進行方向にある横断歩道を通知エリアに特定する。制御部11は、特定した通知エリア内に車両(一般車両)があるか否かを判断し(S117)、通知エリア内に一般車両があると判断した場合(S117:YES)、通知エリア内の一般車両(車載端末40)の宛先情報を車両管理サーバ50から取得する(S118)。そして制御部11は、取得した宛先情報に基づいて、通知エリア内の一般車両の車載端末40に対してネットワークN経由で、逆走車両の存在を通知する通知情報を出力する(S119)。一般車両の車載端末40の制御部41は、監視装置10から出力された逆走車両の通知情報を受信した場合、通知部45による通知処理を実行する(S120)。制御部11は、通知エリアに一般車両がないと判断した場合(S117:NO)、ステップS118~S119の処理をスキップする。
Next, the
次に制御部11は、監視エリアの撮影画像に基づいて、逆走車両が監視エリアを通過したか否かを判断し(S121)、通過していないと判断した場合(S121:NO)、ステップS117の処理に戻る。これにより、監視エリアを逆走車両が走行中の場合に、逆走車両の進行方向にいる一般車両の搭乗者に逆走車両の存在を知らせることができる。逆走車両が監視エリアを通過したと判断する場合(S121:YES)、制御部11は、ステップS118で取得した宛先情報に基づいて、通知エリア内の一般車両(車載端末40)に対してネットワークN経由で安全情報を出力する(S122)。一般車両の車載端末40の制御部41は、監視装置10から安全情報を受信した場合、ステップS120で開始した通知処理を終了する(S123)。なお、制御部11は、撮影画像に基づいて、逆走車両が逆走をやめたことを検知した場合、ステップS113で取得していた逆走車両の宛先情報に基づいて、逆走車両に、逆走状態ではなくなったことを通知する安全情報を出力してもよい。これにより、逆走車両の車載端末40は、ステップS115で開始した警告処理を終了してもよい。
Next, the
上述した処理により、本実施形態の監視装置10は、監視エリアの撮影画像に基づいて監視エリア内における逆走車両の有無を監視している。そして監視装置10は、逆走車両を検知した場合、逆走車両の搭乗者に警告すると共に、逆走車両の進行方向にいる一般車両の搭乗者に逆走車両の存在を通知して注意喚起することができる。また、本実施形態の監視装置10は、逆走車両を検知した場合に、逆走車両の進行方向の他の監視エリアの監視装置10に通知してもよい。この場合、他の監視エリアの監視装置10によって、他の監視エリア内の一般車両に注意喚起を行うことができる。
Through the above-described processing, the
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、逆走車両の搭乗者に警告できると共に、逆走車両の接近を、周囲の一般車両の搭乗者に通知することができる。よって、逆走車両の運転者に逆走している状況を知らせることができると共に、周囲の一般車両が安全な場所に速やかに退避するように促すことができる。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。 In this embodiment, the same effects as in each of the above-described embodiments can be obtained. Further, in this embodiment, it is possible to warn the occupants of the vehicle traveling the wrong way, and also to notify the occupants of surrounding general vehicles of the approach of the vehicle traveling the wrong way. Therefore, it is possible to notify the driver of the wrong-way vehicle of the situation in which the vehicle is traveling the wrong way, and to urge surrounding general vehicles to quickly evacuate to a safe location. Also in this embodiment, the modifications described in each of the above-described embodiments can be applied.
(実施形態7)
道幅が狭い道路等で、例えば歩行者の背後から車両が接近している状況、歩行者及び車両の間の狭い隙間を自転車が走行している状況等の危険な状況が生じている場合に、注意喚起が必要なユーザ(通行人及び車両の搭乗者)に注意を行う情報処理システムについて説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100と同様の装置にて実現可能であるので、構成についての説明は省略する。また、本実施形態の情報処理システム100は、道路の交差点だけでなく、道幅が狭い道路で接触事故が発生し易い箇所等を監視エリアとして各監視エリアに設けられている。なお、本実施形態の情報処理システム100は、上述した各実施形態と同様の処理を行うことができ、同様の処理を行った場合、同様の効果が得られる。また、本実施形態の監視装置10は、図3に示す構成に加えて、機械学習によって学習させた危険状況判別モデル(図示せず)を記憶部12に記憶している。
(Embodiment 7)
When a dangerous situation occurs on a narrow road, such as a situation where a vehicle is approaching from behind a pedestrian, or a situation where a bicycle is riding through a narrow gap between a pedestrian and a vehicle, An information processing system that alerts users (passersby and vehicle occupants) who need to be alerted will be described. Since the
本実施形態の危険状況判別モデルは、図4に示す車両判別モデルM1と同様の構成を有し、撮影画像が入力された場合に、撮影画像に写っている状況が、危険な状況であるか否かを判別し、判別結果を出力するように学習した学習済みモデルである。危険状況判別モデルは、例えば出力層に2つの出力ノードを有し、それぞれの出力ノードは、撮影画像に写っている状況が危険な状況である可能性を示す判別確率と、危険な状況でない可能性を示す判別確率とを出力する。このような危険状況判別モデルは、撮影画像と、撮影画像中の状況が危険状況であるか否かを示す情報(正解ラベル)とを含む教師データを用いて学習する。危険状況判別モデルは、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルが示す状況(危険状況であるか否か)に対応する出力ノードから1.0の出力値が出力され、他の出力ノードから0.0の出力値が出力されるように学習する。これにより、撮影画像が入力された場合に、撮影画像中の状況が危険状況であるか否かを判別するように学習された学習済みの危険状況判別モデルが得られる。 The dangerous situation discrimination model of this embodiment has the same configuration as the vehicle discrimination model M1 shown in FIG. This is a trained model that has learned to determine whether or not it is true and output the determination result. For example, the dangerous situation discrimination model has two output nodes in the output layer, and each output node has a discrimination probability that indicates the possibility that the situation shown in the photographed image is a dangerous situation, and a discrimination probability that indicates the possibility that the situation shown in the captured image is a dangerous situation. The discriminant probability indicating the gender is output. Such a dangerous situation discrimination model is trained using teacher data including a photographed image and information (correct label) indicating whether the situation in the photographed image is a dangerous situation. The dangerous situation discrimination model generates an output of 1.0 from the output node corresponding to the situation (dangerous situation or not) indicated by the correct label included in the teaching data when a captured image included in the teaching data is input. This value is output, and the other output nodes learn to output an output value of 0.0. As a result, when a photographed image is input, a trained dangerous situation discrimination model that is trained to determine whether or not the situation in the photographed image is a dangerous situation is obtained.
以下に、本実施形態の情報処理システム100において、監視装置10が監視エリア内で危険な状況を検知した場合に、危険な状況に巻き込まれる可能性のあるユーザに通知する処理を行う際に各装置が行う処理について説明する。図17は実施形態7の通知処理手順の一例を示すフローチャートである。図17では左側に車載端末40が行う処理を、中央に監視装置10が行う処理を、右側にユーザ端末30が行う処理をそれぞれ示す。
Below, in the
本実施形態の情報処理システム100において、監視装置10の制御部11は監視エリアを撮影し(S131)、撮影画像に基づいて、撮影画像中に危険な状況が含まれるか否かを判断する(S132)。ここでは制御部11は、危険状況判別モデルを用いて撮影画像中に写っている状況が危険状況であるか否かを判断する。具体的には、制御部11は、撮影画像を危険状況判別モデルに入力し、危険状況判別モデルからの出力情報に基づいて、撮影画像中の状況が危険であるか否かを判別する。例えば制御部11は、危険状況判別モデルにおいて、最大(大きい方)の出力値を出力した出力ノードに対応する状況(危険状況であるか否か)を撮影画像中の状況に特定する。なお、制御部11は、テンプレートを用いたパターンマッチングによって、撮影画像中に写っている状況が危険な状況であるか否かを判断してもよい。
In the
制御部11は、監視エリア内で危険状況が発生していないと判断した場合(S132:NO)、ステップS131の処理に戻る。監視エリア内で危険状況が発生していると判断した場合(S132:YES)、制御部11は、無線通信部15を介した無線通信によって、危険状況を通知する危険情報を出力する(S133)。例えば制御部11は、ユーザ端末30を携帯しているユーザの背後から車両が近付いていることを通知する危険情報をユーザ端末30へ送信する。ユーザ端末30の制御部31は、監視装置10から危険情報を受信した場合、通知部34による通知処理を実行する(S134)。次に制御部11は、危険状況を生じさせている車両(車載端末40)の宛先情報を車両管理サーバ50から取得する(S135)。なお、制御部11は、監視装置10の位置情報、又は監視装置10の位置情報から算出された車両の位置情報、或いは、この車両の進行方向又は車種等を用いることにより、この車両の宛先情報を車両管理サーバ50から取得することができる。
When the
制御部11は、取得した宛先情報に基づいてネットワークN経由で、危険状況を生じさせている車両の車載端末40に対して、危険状況を通知する危険情報を出力する(S136)。車載端末40の制御部41は、監視装置10から出力された危険情報を受信した場合、通知部45による通知処理を実行する(S137)。制御部11は、監視エリアの撮影画像に基づいて、ステップS132で検知した危険状況が解消されたか否かを判断する(S138)。ここでは制御部11は、カメラ13にて順次取得する撮影画像を危険状況判別モデルに入力し、危険状況判別モデルからの出力情報に基づいて、撮影画像中の危険状況が解消されたか否かを判断する。なお、制御部11は、カメラ13にて順次取得する撮影画像に基づいて、撮影画像中の歩行者及び車両等を追跡する処理を行い、歩行者及び車両等が接触する可能性がなくなった場合に、危険状況が解消されたと判断してもよい。
Based on the acquired destination information, the
危険状況が解消されていないと判断した場合(S138:NO)、制御部11は、ステップS133の処理に戻り、ユーザ端末30及び車載端末40への通知処理を継続する。これにより、監視エリア内で危険状況が発生した場合に、危険状況にかかわる歩行者及び車両の搭乗者に、危険状況の発生を通知でき、危険状況から接触事故等に発展することを抑制できることが期待される。危険状況が解消されたと判断した場合(S138:YES)、制御部11は、無線通信部15を介した無線通信によって安全情報を出力し(S139)、ユーザ端末30の制御部31は、監視装置10から安全情報を受信した場合、ステップS133で開始した通知処理を終了する(S140)。また制御部11は、ステップS135で取得した宛先情報に基づいて、危険状況を生じさせていた車両の車載端末40に対してネットワークN経由で安全情報を出力し(S141)、車載端末40の制御部41は、監視装置10から安全情報を受信した場合、ステップS137で開始した通知処理を終了する(S142)。
If it is determined that the dangerous situation has not been resolved (S138: NO), the
上述した処理により、本実施形態の監視装置10は、監視エリアの撮影画像に基づいて監視エリア内での危険状況の発生を監視している。そして、危険状況の発生を検知した場合、危険状況にかかわる歩行者等のユーザ(ユーザ端末30)及び車両(車載端末40)に対して、危険状況であることを通知する。これにより、例えば道幅が狭い道路で、歩行者が背後から接近している車両に気付いていない場合であっても、ユーザ端末30を介して歩行者に通知することができるので、歩行者は背後の車両に気付くことができる。また、例えば道幅が狭い道路を走行中の車両では、かなり近い位置に歩行者及び自転車等がいる場合があるが、このような状況であっても、車両の搭乗者は監視装置10からの通知情報によって、車両の周囲の歩行者及び自転車の状況を把握することができる。よって、危険状況から接触事故等に発展する前に当事者の歩行者及び車両の運転者等が状況を把握することできるので、事故の発生を抑制することが期待できる。
Through the above-described processing, the
本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、道幅が狭い道路を監視エリアとすることにより、歩行者及び車両等が近距離で行き来する状況であっても、互いの存在を把握できるので、接触事故の発生が抑制されることが期待される。本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。 In this embodiment, the same effects as in each of the above-described embodiments can be obtained. Furthermore, in this embodiment, by setting a narrow road as the monitoring area, even when pedestrians and vehicles are moving back and forth at close distances, each other's presence can be known, thereby reducing the occurrence of collisions. It is expected that Also in this embodiment, the modifications described in each of the above-described embodiments can be applied.
上述した各実施形態において、車両判別モデルM1を用いることにより、撮影画像中の監視エリア内の車両が右折車両、左折車両、直進車両、緊急車両、逆走車両等であるか否かを判別できる。また歩行者判別モデルM2を用いることにより、撮影画像中の監視エリア内における歩行者等の通行人の有無、危険横断している横断者の有無を判別できる。更に危険車両判別モデルM3を用いることにより、撮影画像中の車両が、車線無視車両、速度超過車両、蛇行運転車両、信号無視車両、あおり運転車両等の危険車両であるかを判別できる。更に危険状況判別モデルを用いることにより、撮影画像中の監視エリアが危険状況であるか否かを判別できる。このような判別モデルは、それぞれ組み合わせて1つのモデルとして構成してもよく、複数のモデルに分割して構成してもよい。また、それぞれのモデルで判別する内容は、上述したものに限定されず、監視エリア内又は監視エリアの近傍の通行人に危険を及ぼす可能性のある挙動(所定動作)を行う動体(移動体)の有無を判別できるように構成されていればよい。このような構成により、各監視エリア内の全ての歩行者及び車両等を監視対象として、危険な状態であるか、又は危険な状態となる可能性があるか否かを監視できる。そして、危険な状態を検知した場合に、注意喚起が必要なユーザに注意喚起を行うことができる。 In each of the embodiments described above, by using the vehicle discrimination model M1, it is possible to determine whether a vehicle within the monitoring area in the captured image is a right-turning vehicle, a left-turning vehicle, a straight-going vehicle, an emergency vehicle, a wrong-way vehicle, etc. . Furthermore, by using the pedestrian discrimination model M2, it is possible to discriminate whether there are pedestrians or other passersby in the monitoring area in the photographed image, and whether there are people crossing the road dangerously. Further, by using the dangerous vehicle discrimination model M3, it is possible to determine whether the vehicle in the photographed image is a dangerous vehicle such as a vehicle ignoring lanes, a vehicle exceeding speed, a vehicle driving in a meandering manner, a vehicle ignoring traffic lights, or a vehicle driving erratically. Furthermore, by using the dangerous situation determination model, it can be determined whether the monitoring area in the photographed image is in a dangerous situation. Such discrimination models may be combined into one model, or may be divided into a plurality of models. In addition, the content to be determined by each model is not limited to what is described above, but includes moving objects (moving objects) that perform behaviors (predetermined actions) that may pose a danger to passersby in or near the monitoring area. It suffices if the configuration is such that it is possible to determine the presence or absence of the . With such a configuration, it is possible to monitor all pedestrians, vehicles, etc. in each monitoring area to see if they are in a dangerous state or are likely to become a dangerous state. Then, when a dangerous condition is detected, it is possible to alert a user who needs to be alerted.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein are illustrative in all respects and should not be considered limiting. The scope of the present invention is indicated by the claims, not by the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the claims.
10 監視装置
11 制御部
12 記憶部
13 カメラ
15 無線通信部
20 表示装置
30 ユーザ端末
31 制御部
33 無線通信部
34 通知部
40 車載端末
41 制御部
43 通信部
45 通知部
50 車両管理サーバ
M1 車両判別モデル
M2 歩行者判別モデル
10
Claims (13)
画像が入力された場合に前記画像中に周囲の人に危険を及ぼす可能性のある所定動作を行う動体が含まれるか否かを示す情報を出力するように学習された動体判別モデルに対して、取得した撮影画像を入力し、前記動体判別モデルが出力した情報に基づいて、前記撮影画像に撮影された監視エリア内に前記所定動作を行う動体が含まれるか否かを検知し、 前記所定動作を行う動体を検知した場合に、前記撮影画像に撮影された前記監視エリア内のユーザに、危険を及ぼす可能性のある動体の存在を通知する通知情報を出力する処理であって、
道路上の複数の監視エリアのそれぞれに対応付けて、前記複数の監視エリアのそれぞれを撮影して得られた撮影画像を取得する複数の監視装置が設けられており、
第1監視エリアに対応付けられた第1監視装置が、
前記動体判別モデルに対して第1監視エリアの撮影画像を入力した場合に前記動体判別モデルが出力した情報に基づいて、前記第1監視エリアに前記所定動作を行う動体を検知したときに、前記第1監視エリアの撮影画像に基づいて、前記所定動作を行う動体の進行方向を特定し、
特定した進行方向にある前記第1監視エリアとは異なる第2監視エリアを特定し、
特定した第2監視エリアに対応付けられた第2監視装置に対して、前記第1監視エリアの撮影画像を送信する処理を行い、
前記第2監視装置が、
前記第1監視装置から受信した前記所定動作を行う動体の前記第1監視エリアの撮影画像に基づいて、前記第2監視エリアの撮影画像中に、前記第1監視エリアで検知した前記所定動作を行う動体と同一の動体の有無を検知し、
前記同一の動体を検知した場合、前記第2監視エリア内のユーザに通知情報を出力する処理を行う
情報処理方法。 Obtain images obtained by photographing the surveillance area on the road,
For a moving object discrimination model trained to output information indicating whether or not the image contains a moving object that performs a predetermined action that may pose a danger to surrounding people when an image is input. , inputting the acquired photographic image and detecting whether or not a moving object performing the predetermined action is included in the monitoring area photographed in the photographic image based on the information output by the moving object discrimination model; A process of outputting notification information for notifying a user in the monitoring area photographed in the captured image of the presence of a moving body that may pose a danger when a moving body performing an action is detected,
A plurality of monitoring devices are provided that are associated with each of the plurality of monitoring areas on the road and obtain captured images obtained by photographing each of the plurality of monitoring areas,
The first monitoring device associated with the first monitoring area is
When a moving object performing the predetermined action is detected in the first monitoring area based on information outputted by the moving object discrimination model when captured images of the first monitoring area are input to the moving object discrimination model, the Identifying the direction of movement of the moving object performing the predetermined action based on the photographed image of the first monitoring area;
identifying a second monitoring area different from the first monitoring area in the specified direction of travel;
performing a process of transmitting the captured image of the first monitoring area to a second monitoring device associated with the identified second monitoring area;
The second monitoring device includes:
Based on the captured image of the moving object performing the predetermined action in the first monitoring area received from the first monitoring device, the predetermined action detected in the first monitoring area is included in the captured image of the second monitoring area. Detects the presence or absence of a moving object that is the same as the moving object being performed,
If the same moving object is detected, perform a process of outputting notification information to the user within the second monitoring area.
Information processing method.
前記第1監視装置が、
前記動体判別モデルが出力した情報に基づいて検知された右折車両又は左折車両に応じて通知エリアを特定し、
特定した通知エリア内のユーザに前記通知情報を出力する
請求項1に記載の情報処理方法。 The moving object discrimination model is trained to output information indicating whether a right-turning vehicle or a left-turning vehicle is included in the image;
The first monitoring device,
identifying a notification area according to a right-turning vehicle or a left-turning vehicle detected based on information output by the moving object discrimination model;
Output the notification information to users within the specified notification area
The information processing method according to claim 1.
画像が入力された場合に前記画像中に歩行者が含まれるか否かを示す情報を出力するように学習された歩行者判別モデルに対して、取得した撮影画像を入力し、前記歩行者判別モデルが出力した情報に基づいて、前記撮影画像に撮影された監視エリア内に、前記所定動作を行う動体が危険を及ぼす可能性のある歩行者が含まれるか否かを検知する
請求項1又は2に記載の情報処理方法。 The first monitoring device,
The acquired captured image is input to a pedestrian discrimination model that has been trained to output information indicating whether or not a pedestrian is included in the image when the image is input, and the pedestrian discrimination model is trained to output information indicating whether or not a pedestrian is included in the image. Based on the information output by the model, it is detected whether or not the monitoring area captured in the captured image includes pedestrians who may pose a danger to the moving object performing the predetermined action.
The information processing method according to claim 1 or 2.
前記歩行者判別モデルが出力した情報に基づいて前記撮影画像中の監視エリア内に前記歩行者を検知した場合、検知した歩行者のユーザ端末に、前記歩行者に危険を及ぼす可能性のある動体の存在を通知する通知情報を無線通信にて出力する
請求項3に記載の情報処理方法。 The first monitoring device,
When the pedestrian is detected within the monitoring area in the photographed image based on the information output by the pedestrian discrimination model, a moving object that may pose a danger to the pedestrian is displayed on the user terminal of the detected pedestrian. Outputs notification information via wireless communication to notify the existence of
The information processing method according to claim 3.
前記歩行者判別モデルが出力した情報に基づいて前記監視エリア内の前記歩行者を検知した前記撮影画像を、前記所定動作を行う動体へ送信する
請求項3又は4に記載の情報処理方法。 The first monitoring device,
transmitting the photographed image in which the pedestrian in the monitoring area is detected based on the information output by the pedestrian discrimination model to the moving object performing the predetermined action;
The information processing method according to claim 3 or 4.
前記所定動作を行う動体に対して、前記所定動作を行っていることを示す情報を送信する
請求項1から5までのいずれかひとつに記載の情報処理方法。 The first monitoring device,
Sending information indicating that the moving object is performing the predetermined action to the moving object that is performing the predetermined action.
An information processing method according to any one of claims 1 to 5.
前記第1監視装置が、
前記動体判別モデルが出力した情報に基づいて、前記取得した撮影画像中に赤信号の道路を横断している歩行者を検知した場合、通知情報を出力すべき車両を特定し、
特定した車両に搭載されている車載端末に通知情報を出力する
請求項1から6までのいずれかひとつに記載の情報処理方法。 The moving object discrimination model is trained to output information indicating whether or not a pedestrian crossing a road with a red light is included in the image when an image is input;
The first monitoring device,
Based on the information output by the moving object discrimination model, when a pedestrian crossing a road with a red light is detected in the acquired photographic image, specifying a vehicle to which notification information should be output;
Output notification information to the in-vehicle terminal installed in the specified vehicle
An information processing method according to any one of claims 1 to 6 .
前記第1監視装置が、
前記動体判別モデルが出力した情報に基づいて、前記取得した撮影画像中に緊急走行している緊急車両を検知した場合、前記緊急車両の進行方向の監視エリアを特定し、
特定した監視エリア内のユーザに通知情報を出力する
請求項1から7までのいずれかひとつに記載の情報処理方法。 The moving object discrimination model is trained to output information indicating whether or not an emergency vehicle running in an emergency is included in the image when an image is input;
The first monitoring device,
Based on the information output by the moving object discrimination model, when an emergency vehicle running in an emergency is detected in the acquired photographic image, specifying a monitoring area in the direction of travel of the emergency vehicle;
Output notification information to users within the specified monitoring area
An information processing method according to any one of claims 1 to 7 .
前記第1監視装置が、
前記動体判別モデルが出力した情報に基づいて前記逆走車両を検知した場合、前記逆走車両に搭載されている車載端末に通知情報を出力する
請求項1から8までのいずれかひとつに記載の情報処理方法。 the moving object discrimination model is trained to output, when an image is input, information indicating whether or not a wrong-way vehicle is included in the image;
The first monitoring device,
When the wrong-way vehicle is detected based on the information output by the moving object discrimination model, notification information is output to an in-vehicle terminal mounted on the wrong-way vehicle.
9. An information processing method according to any one of claims 1 to 8 .
前記取得した撮影画像に基づいて、監視エリア内での事故の発生を検知し、
事故の発生を検知した場合、前記監視エリアの撮影画像を蓄積する
請求項1から9までのいずれかひとつに記載の情報処理方法。 The first monitoring device,
Detecting the occurrence of an accident within the monitoring area based on the acquired captured images,
When an accident is detected, images taken in the monitoring area are stored.
An information processing method according to any one of claims 1 to 9 .
前記制御部は、
道路上の監視エリアを撮影して得られた撮影画像を取得し、
画像が入力された場合に前記画像中に周囲の人に危険を及ぼす可能性のある所定動作を行う動体が含まれるか否かを示す情報を出力するように学習された動体判別モデルに対して、取得した撮影画像を入力し、前記動体判別モデルが出力した情報に基づいて、前記撮影画像に撮影された監視エリア内に前記所定動作を行う動体が含まれるか否かを検知し、
前記所定動作を行う動体を検知した場合に、前記撮影画像に撮影された前記監視エリア内のユーザに、危険を及ぼす可能性のある動体の存在を通知する通知情報を出力する処理であって、
前記動体判別モデルに対して第1監視エリアの撮影画像を入力した場合に前記動体判別モデルが出力した情報に基づいて、前記第1監視エリアに前記所定動作を行う動体を検知したときに、前記第1監視エリアの撮影画像に基づいて、前記所定動作を行う動体の進行方向を特定し、
特定した進行方向にある前記第1監視エリアとは異なる第2監視エリアを特定し、
特定した第2監視エリアに対応付けられた第2の情報処理装置に対して、前記第1監視エリアの撮影画像を送信し、
前記所定動作を行う動体の他の監視エリアでの撮影画像を、前記他の監視エリアに対応付けられた他の情報処理装置から受信した場合、受信した前記他の監視エリアの撮影画像に基づいて、前記第1監視エリアの撮影画像中に、前記他の監視エリアで検知された前記所定動作を行う動体と同一の動体の有無を検知し、
前記同一の動体を検知した場合、前記第1監視エリア内のユーザに通知情報を出力する
情報処理装置。 In an information processing device having a control unit,
The control unit is
Acquire a captured image of a surveillance area on a road,
The acquired captured image is input to a moving object discrimination model that has been trained to output information indicating whether or not a moving object performing a predetermined action that may be dangerous to surrounding people is included in the image when the image is input, and based on the information output by the moving object discrimination model, it is detected whether or not a moving object performing the predetermined action is included in a surveillance area captured in the captured image;
a process of outputting notification information notifying a user in the surveillance area captured in the captured image of the presence of a potentially dangerous moving object when a moving object performing the predetermined action is detected,
when a moving object performing the predetermined action is detected in the first monitoring area based on information output by the moving object discrimination model when a photographed image of the first monitoring area is input to the moving object discrimination model, a moving direction of the moving object performing the predetermined action is identified based on the photographed image of the first monitoring area;
Identifying a second monitoring area different from the first monitoring area in the identified traveling direction;
Transmitting a captured image of the first monitoring area to a second information processing device associated with the identified second monitoring area;
when receiving a photographed image of the moving object performing the predetermined action in another monitoring area from another information processing device associated with the other monitoring area, detecting the presence or absence of a moving object identical to the moving object performing the predetermined action detected in the other monitoring area in the photographed image of the first monitoring area based on the received photographed image of the other monitoring area;
When the same moving object is detected, notification information is output to a user in the first monitoring area.
Information processing device.
画像が入力された場合に前記画像中に周囲の人に危険を及ぼす可能性のある所定動作を行う動体が含まれるか否かを示す情報を出力するように学習された動体判別モデルに対して、取得した撮影画像を入力し、前記動体判別モデルが出力した情報に基づいて、前記撮影画像に撮影された監視エリア内に前記所定動作を行う動体が含まれるか否かを検知し、
前記所定動作を行う動体を検知した場合に、前記撮影画像に撮影された前記監視エリア内のユーザに、危険を及ぼす可能性のある動体の存在を通知する通知情報を出力する処理であって、
前記動体判別モデルに対して第1監視エリアの撮影画像を入力した場合に前記動体判別モデルが出力した情報に基づいて、前記第1監視エリアに前記所定動作を行う動体を検知したときに、前記第1監視エリアの撮影画像に基づいて、前記所定動作を行う動体の進行方向を特定し、
特定した進行方向にある前記第1監視エリアとは異なる第2監視エリアを特定し、
特定した第2監視エリアに対応付けられた第2の情報処理装置に対して、前記第1監視エリアの撮影画像を送信し、
前記所定動作を行う動体の他の監視エリアでの撮影画像を、前記他の監視エリアに対応付けられた他の情報処理装置から受信した場合、受信した前記他の監視エリアの撮影画像に基づいて、前記第1監視エリアの撮影画像中に、前記他の監視エリアで検知された前記所定動作を行う動体と同一の動体の有無を検知し、
前記同一の動体を検知した場合、前記第1監視エリア内のユーザに通知情報を出力する
処理を情報処理装置に実行させるプログラム。 Obtain images obtained by photographing the surveillance area on the road,
For a moving object discrimination model trained to output information indicating whether or not the image contains a moving object that performs a predetermined action that may pose a danger to surrounding people when an image is input. , inputting the acquired photographic image, and detecting whether or not a moving object performing the predetermined action is included in the monitoring area photographed in the photographic image, based on the information output by the moving object discrimination model;
When a moving object performing the predetermined action is detected, a process of outputting notification information that notifies a user in the monitoring area captured in the photographed image of the presence of a moving object that may pose a danger,
When a moving object performing the predetermined action is detected in the first monitoring area based on information outputted by the moving object discrimination model when captured images of the first monitoring area are input to the moving object discrimination model, the Identifying the direction of movement of the moving object performing the predetermined action based on the photographed image of the first monitoring area;
identifying a second monitoring area different from the first monitoring area in the specified direction of travel;
transmitting the captured image of the first monitoring area to a second information processing device associated with the identified second monitoring area;
When a captured image of a moving object performing the predetermined action in another monitoring area is received from another information processing device associated with the other monitoring area, based on the received captured image of the other monitoring area. , detecting the presence or absence of a moving object that is the same as a moving object performing the predetermined action detected in the other monitoring area in the photographed image of the first monitoring area;
If the same moving object is detected, output notification information to the user within the first monitoring area.
A program that causes an information processing device to execute a process.
第1監視エリアを撮影する第1撮影装置は、
画像が入力された場合に前記画像中に周囲の人に危険を及ぼす可能性のある所定動作を行う動体が含まれるか否かを示す情報を出力するように学習された動体判別モデルに対して、第1監視エリアを撮影した撮影画像を入力し、前記動体判別モデルが出力した情報に基づいて、前記第1監視エリア内に前記所定動作を行う動体が含まれるか否かを検知する検知部と、
前記第1監視エリア内に前記所定動作を行う動体を検知した場合に、危険を及ぼす可能性のある動体の存在を通知すべき通知エリアを特定する特定部と、
特定した通知エリア内のユーザに、危険を及ぼす可能性のある動体の存在を通知する通知情報を出力する出力部と、
前記検知部が前記第1監視エリア内に前記所定動作を行う動体を検知した場合に、前記第1監視エリアの撮影画像に基づいて、前記所定動作を行う動体の進行方向を特定する進行方向特定部と、
特定した進行方向にある前記第1監視エリアとは異なる第2監視エリアを特定するエリア特定部と、
特定した第2監視エリアを撮影する第2撮影装置に対して、前記第1監視エリアの撮影画像を送信する送信部とを備え、
前記第2撮影装置は、
前記第1撮影装置から受信した前記所定動作を行う動体の前記第1監視エリアの撮影画像に基づいて、前記第2監視エリアを撮影した撮影画像中に、前記第1監視エリア内で検知した前記所定動作を行う動体と同一の動体の有無を判定する判定部と、
前記判定部が前記第2監視エリア内に前記同一の物体を検知した場合に、前記第2監視エリアを通知エリアに特定する特定部と、
特定した通知エリア内のユーザに、危険を及ぼす可能性のある動体の存在を通知する通知情報を出力する出力部とを備える
情報処理システム。 Equipped with multiple photographic devices that photograph multiple monitoring areas on the road,
The first photographing device that photographs the first monitoring area is
For a moving object discrimination model trained to output information indicating whether or not the image contains a moving object that performs a predetermined action that may pose a danger to surrounding people when an image is input. , a detection unit that receives an image taken of a first monitoring area and detects whether or not a moving object that performs the predetermined action is included in the first monitoring area based on information output by the moving object discrimination model; and,
a specifying unit that specifies a notification area where the presence of a potentially dangerous moving object should be notified when a moving object performing the predetermined action is detected in the first monitoring area;
an output unit that outputs notification information that notifies users in the specified notification area of the presence of a moving object that may pose a danger ;
When the detection unit detects a moving object that performs the predetermined action in the first monitoring area, identifying the traveling direction of the moving object that performs the predetermined action based on a photographed image of the first monitoring area. Department and
an area specifying unit that specifies a second monitoring area different from the first monitoring area in the specified direction of travel;
a transmitting unit that transmits the photographed image of the first monitoring area to a second photographing device that photographs the specified second monitoring area,
The second photographing device is
Based on the captured image of the moving object performing the predetermined action in the first monitoring area received from the first imaging device, the image of the moving object detected in the first monitoring area is included in the captured image of the second monitoring area. a determination unit that determines whether there is a moving object that is the same as the moving object that performs a predetermined action;
a specifying unit that specifies the second monitoring area as a notification area when the determining unit detects the same object in the second monitoring area;
and an output unit that outputs notification information that notifies users in the specified notification area of the presence of a moving object that may pose a danger.
Information processing system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043459A JP7456210B2 (en) | 2020-03-12 | 2020-03-12 | Information processing method, information processing device, program and information processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043459A JP7456210B2 (en) | 2020-03-12 | 2020-03-12 | Information processing method, information processing device, program and information processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144539A JP2021144539A (en) | 2021-09-24 |
JP7456210B2 true JP7456210B2 (en) | 2024-03-27 |
Family
ID=77766755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043459A Active JP7456210B2 (en) | 2020-03-12 | 2020-03-12 | Information processing method, information processing device, program and information processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7456210B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7422177B2 (en) | 2022-03-31 | 2024-01-25 | 本田技研工業株式会社 | Traffic safety support system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048732A (en) | 2012-08-29 | 2014-03-17 | Mitsubishi Motors Corp | Traffic monitoring system |
JP2014052861A (en) | 2012-09-07 | 2014-03-20 | Ihi Corp | Analyzer and analysis method |
JP2018173860A (en) | 2017-03-31 | 2018-11-08 | アイシン・エィ・ダブリュ株式会社 | Travel support system and computer program |
JP2018534711A (en) | 2015-11-03 | 2018-11-22 | ライト−ハイト ホールディング コーポレイション | Dynamically configurable traffic control device and method of using the same |
JP2019164726A (en) | 2018-03-20 | 2019-09-26 | パナソニックIpマネジメント株式会社 | Management device, vehicle, on-vehicle device, and alarm system |
JP2019215785A (en) | 2018-06-14 | 2019-12-19 | 住友電気工業株式会社 | Information providing apparatus, information providing method, and computer program |
-
2020
- 2020-03-12 JP JP2020043459A patent/JP7456210B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048732A (en) | 2012-08-29 | 2014-03-17 | Mitsubishi Motors Corp | Traffic monitoring system |
JP2014052861A (en) | 2012-09-07 | 2014-03-20 | Ihi Corp | Analyzer and analysis method |
JP2018534711A (en) | 2015-11-03 | 2018-11-22 | ライト−ハイト ホールディング コーポレイション | Dynamically configurable traffic control device and method of using the same |
JP2018173860A (en) | 2017-03-31 | 2018-11-08 | アイシン・エィ・ダブリュ株式会社 | Travel support system and computer program |
JP2019164726A (en) | 2018-03-20 | 2019-09-26 | パナソニックIpマネジメント株式会社 | Management device, vehicle, on-vehicle device, and alarm system |
JP2019215785A (en) | 2018-06-14 | 2019-12-19 | 住友電気工業株式会社 | Information providing apparatus, information providing method, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP2021144539A (en) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10186147B2 (en) | Wrong-way determination apparatus | |
CN108883725B (en) | Driving vehicle alarm system and method | |
CN107608388B (en) | Autonomous police vehicle | |
JP4309843B2 (en) | Method and apparatus for preventing vehicle collision | |
CN112154492A (en) | Early warning and collision avoidance | |
US10336252B2 (en) | Long term driving danger prediction system | |
JP2010102437A (en) | Pedestrian run-out prediction device and program | |
JP2008307658A (en) | Autonomous moving device | |
JP2003081039A (en) | Environment risk arithmetic unit | |
JP2004259069A (en) | Alarm system for outputting alarm signal depending on vehicle hazard level | |
JP2010113601A (en) | Vehicle warning apparatus | |
KR102526583B1 (en) | Deep learning-based intersection object detection and automatic alarm system | |
JP2017111498A (en) | Driving support device | |
CN113602276A (en) | Automobile intelligent auxiliary driving method and system based on LiFi signal interaction | |
CN109515316A (en) | A kind of intersection intelligent driving auxiliary system and method | |
JP2013097606A (en) | Risk level determination system for vehicle, risk level determination device for vehicle, and risk notification device for vehicle using the same | |
JP7456210B2 (en) | Information processing method, information processing device, program and information processing system | |
CN116834655A (en) | Dangerous early warning method and device and vehicle | |
WO2023250290A1 (en) | Post drop-off passenger assistance | |
JP5151716B2 (en) | Vehicle travel support system, roadside system, and vehicle side system | |
US20220105866A1 (en) | System and method for adjusting a lead time of external audible signals of a vehicle to road users | |
JP7451423B2 (en) | Image processing device, image processing method, and image processing system | |
JP7397575B2 (en) | Traffic light control device and traffic light control method | |
JP2022098397A (en) | Device and method for processing information, and program | |
JP2020203681A (en) | Automatic driving vehicle and program for automatic driving vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7456210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |