JP7134282B1 - VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM - Google Patents
VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM Download PDFInfo
- Publication number
- JP7134282B1 JP7134282B1 JP2021038805A JP2021038805A JP7134282B1 JP 7134282 B1 JP7134282 B1 JP 7134282B1 JP 2021038805 A JP2021038805 A JP 2021038805A JP 2021038805 A JP2021038805 A JP 2021038805A JP 7134282 B1 JP7134282 B1 JP 7134282B1
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- vehicle
- target
- video
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 64
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012544 monitoring process Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 31
- 230000009471 action Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims 2
- 230000006399 behavior Effects 0.000 description 104
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000009118 appropriate response Effects 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 206010017577 Gait disturbance Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとれるようにする。【解決手段】映像解析装置10は、車両50内を撮影する車載カメラ51によって得られた映像データ71に映る各人52を対象人として、映像データ71から対象人の行動を対象行動として特定する。映像解析装置10は、対象行動が、車両50内における問題行動に該当するか否かを判定する。映像解析装置10は、対象行動が問題行動に該当すると判定された場合に、通知先である監視拠点60に通知を行う。【選択図】図1An object of the present invention is to identify problematic behavior in a vehicle such as a train or an automated driving vehicle, and to take appropriate measures. A video analysis device (10) identifies each person (52) appearing in video data (71) obtained by an in-vehicle camera (51) that captures the inside of a vehicle (50) as a target person, and identifies the behavior of the target person from the video data (71) as the target behavior. . The video analysis device 10 determines whether or not the target behavior corresponds to problematic behavior in the vehicle 50 . When the video analysis device 10 determines that the target behavior corresponds to problematic behavior, the video analysis device 10 notifies the monitoring base 60, which is the notification destination. [Selection drawing] Fig. 1
Description
本開示は、列車等の車両内における人の行動を解析して、対応を促す技術に関する。 The present disclosure relates to technology for analyzing human behavior in a vehicle such as a train and prompting a response.
列車又は自動運転車両等の乗客が車両内で他の乗客等に迷惑をかける問題行動、又は、自らが体調不良やつまずき等により倒れて転倒する等の問題行動を行うことがある。問題行動が行われた場合には、早急に適切な対応をとることが望ましい。
しかし、列車の車両内は乗務員の目が届きにくく、車両内の状況を監視することが難しい。自動運転によって運行されており、乗務員が乗っていない自動運転車両では、特に車両内の状況を監視することが難しい。昨今では、自動運転バスの実証実験が開始されており、将来的に乗務員が乗っていないバスの運行が開始されることが想定される。このように乗務員が乗っていないバス等でも、列車と同様に車両内の状況を監視することが難しい。
Passengers of trains or self-driving vehicles may engage in problematic behavior such as causing trouble to other passengers in the vehicle, or themselves falling down due to poor physical condition or stumbling. It is desirable to take appropriate measures as soon as possible when problem behavior occurs.
However, it is difficult for the train crew to see the inside of the train car, and it is difficult to monitor the situation inside the car. It is particularly difficult to monitor the situation inside the vehicle, especially in an autonomous vehicle that is operated by autonomous driving and has no crew on board. Recently, demonstration experiments of self-driving buses have started, and it is expected that buses without crews will start operating in the future. In this way, it is difficult to monitor the situation inside the vehicle even in a bus or the like without a crew on board, as in a train.
車両内を撮影する車載カメラを設けておき、車載カメラによって得られた映像データを乗務員又は監視センターの監視員が確認することは可能である。しかし、乗務員が業務をこなしながら映像データを監視することは困難である。また、監視センターの監視員が多数の車両についての映像データを監視するには、大きな負担がかかる。 It is possible to provide an in-vehicle camera for photographing the inside of the vehicle, and to check the image data obtained by the in-vehicle camera by a crew member or a supervisor at a monitoring center. However, it is difficult for the crew to monitor the video data while performing their duties. In addition, a heavy burden is placed on the monitoring staff of the monitoring center to monitor the video data of a large number of vehicles.
特許文献1には、車両事故が発生した場合等に、車両に搭載された車載カメラの映像データから、けが人がいるかを判定することが記載されている。
特許文献1には、車両内における人の行動を特定することは記載されていない。そのため、車両内で問題行動が行われたことを特定することはできない。
列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとれるようにすることを目的とする。
Japanese Patent Laid-Open No. 2002-200003 does not describe identifying human behavior in the vehicle. Therefore, it is not possible to specify that the problem behavior was performed in the vehicle.
The purpose is to identify problem behaviors in trains, self-driving vehicles, etc., so that appropriate measures can be taken.
本開示に係る映像解析装置は、
車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定する行動特定部と、
前記行動特定部によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定部と、
前記行動判定部によって前記対象行動が前記問題行動に該当すると判定された場合に、通知先に通知を行う通知部と
を備える。
The video analysis device according to the present disclosure is
A behavior identification unit that identifies each person appearing in video data obtained by an on-vehicle camera that captures the inside of the vehicle as a target person, and identifies the behavior of the target person as the target behavior from the video data;
a behavior determination unit that determines whether the target behavior identified by the behavior identification unit corresponds to problem behavior in the vehicle;
and a notification unit that notifies a notification destination when the behavior determination unit determines that the target behavior corresponds to the problem behavior.
本開示では、車載カメラによって得られた映像データに映る人の行動を対象行動として特定し、対象行動が車両内における問題行動に該当する場合に通知先に通知を行う。これにより、列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとることが可能になる。 In the present disclosure, a person's behavior reflected in video data obtained by an in-vehicle camera is identified as a target behavior, and a notification destination is notified when the target behavior corresponds to problem behavior in the vehicle. This makes it possible to identify problem behaviors in trains, self-driving vehicles, or other vehicles, and take appropriate measures.
実施の形態1.
***概要の説明***
図1を参照して、実施の形態1に係る映像解析装置10の概要を説明する。
映像解析装置10は、車両50に搭載された車載カメラ51によって車両50内を撮影して得られた映像データ71を解析して、車両50内で問題行動を行う乗客等の人52を特定する。映像解析装置10は、問題行動を行う人52が特定されると、監視拠点60に設置された表示装置61に問題行動を行う人を囲った枠等を映像データ71に重畳させた重畳映像72を表示する。また、映像解析装置10は、問題行動を行う人が特定されると、監視拠点60に通知73を行い、監視拠点60に設置された警報装置62を作動させる。なお、本実施形態において監視拠点60は車両とは独立した拠点として説明するが、列車のように運転手又は車掌等の乗務員が乗務している場合、監視拠点60は運転席又は車掌室、あるいは乗務員が持つ携帯端末等であってもよい。
監視拠点60では、監視員63が、表示装置61に表示された映像データと、警報装置62の動作と確認する。そして、監視員63が、問題行動に対応する対応要員64に指示を行い、問題行動に対応させる。なお、対応要員64は、問題行動に対応する要員であり、監視員63が対応要員64を兼ねてもよい。
***Summary Explanation***
An overview of a
The
At the
***構成の説明***
図2を参照して、実施の形態1に係る映像解析装置10の構成を説明する。
映像解析装置10は、コンピュータである。映像解析装置10は、車両50内に設置されてもよいし、監視拠点60に設置されてもよい。また、映像解析装置10は、車両50及び監視拠点60とは別の場所に設置されてもよい。
映像解析装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
*** Configuration description ***
The configuration of the
The
The
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
The
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
The
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
The
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。
The
映像解析装置10は、機能構成要素として、映像取得部21と、特徴抽出部22と、行動特定部23と、行動判定部24と、通知部25とを備える。通知部25は、重畳映像生成部26と、映像表示部27と、付加情報通知部28とを備える。映像解析装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、映像情報31、特徴情報32、定義情報33、車両情報34が記憶されている。また、ストレージ13には、映像解析装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、映像解析装置10の各機能構成要素の機能が実現される。
The
The
図2では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
Only one
***動作の説明***
図3から図6を参照して、実施の形態1に係る映像解析装置10の動作を説明する。
実施の形態1に係る映像解析装置10の動作手順は、実施の形態1に係る映像解析方法に相当する。また、実施の形態1に係る映像解析装置10の動作を実現するプログラムは、実施の形態1に係る映像解析プログラムに相当する。
***Description of operation***
The operation of the
The operation procedure of the
図3を参照して、実施の形態1に係る映像解析装置10の全体的な処理を説明する。
図3に示す処理は、一定時間毎に繰り返し実行される。
Overall processing of the
The processing shown in FIG. 3 is repeatedly executed at regular time intervals.
(ステップS11:映像取得処理)
映像取得部21は、車両50に搭載された車載カメラ51によって得られた過去一定期間の映像データ71を取得する。映像取得部21は、映像データ71を処理に適した形式の映像データ31に変換してストレージ13に書き込む。
車両50は、列車の車両、自動運転バスの車両のような監視員63が同乗しておらず、監視員63の目が届き辛い車両である。車載カメラ51は、車両50内を撮影するように車両50に搭載されたカメラである。車両50には、1つ以上の車載カメラ51が搭載されている。映像取得部21は、各車載カメラ51によって得られた映像データ71を取得する。
(Step S11: Image Acquisition Processing)
The
The
各車載カメラ51によって得られた映像データ71が変換された映像データ31を処理対象の映像データ31として、ステップS12からステップS15の処理が実行される。
The
(ステップS12:特徴抽出処理)
特徴抽出部22は、ステップS11で出力された映像データ31に映る各人を対象人に設定する。特徴抽出部22は、映像データ31を構成する複数の画像データそれぞれから、対象人の特徴情報32を抽出する。
映像データ31に映る人は、ここでは車両50の乗客を想定する。特徴情報32は、人の骨格における代表的な部位の位置を表す情報である。代表的な部位としては、頭と首と肩と肘と手と腰と膝と足先とである。なお、本実施形態では特徴情報32を人の骨格に関する情報として説明するが、特徴情報32は骨格に関する情報以外にも、検知したい乗客の行動の種類に応じて、例えば人の体の中心又は重心の位置を表す点、人を直線や矩形で近似表現する場合の各頂点、人の顔の表情を平常、怒り、苦痛等に類別した類型名等であってもよい。
(Step S12: feature extraction processing)
The
A person appearing in the
(ステップS13:行動特定処理)
行動特定部23は、ステップS11で出力された映像データ31に映る各人を対象人に設定する。行動特定部23は、映像データ31から対象人の行動を対象行動として特定する。
具体的には、行動特定部23は、ステップS12で抽出された対象人の特徴情報32を解析して、対象人の対象行動を特定する。なお、行動特定部23は対象人だけの情報をもって対象行動を特定してもよいが、この際、行動特定部23は、対象人の特徴情報32と映像データ31に映る車両50の設備の位置との関係、又は、対象人の特徴情報32と対象人の近傍にいる別の人の特徴情報32との相互関係等を加味して、対象人の対象行動を特定してもよい。
(Step S13: action identification process)
The
Specifically, the
対象人の特徴情報32と映像データ31に映る車両50の設備の位置との関係から対象行動が特定される例としては、次のようなものがある。対象人の特徴情報32が座っている状態を表し、対象人が車両50の設備である椅子の位置にいる場合には、対象人は椅子に座っていると特定される。また、対象人の特徴情報32が寝ている状態を表し、対象人が車両50の設備である椅子の位置にいる場合には、対象人は椅子に寝ていると特定される。車両50の設備には、他にドア、吊革、窓、通路、トイレ等が含まれ、これらの設備との位置関係とから対象行動を特定することもできる。例えば、対象人の特徴情報32と映像データ31に映る通路との位置関係から対象人が通路にいると特定し、さらにその対象人が車両50内を基準以上の速度で移動している場合には、通路を基準以上の速度で移動していると特定することもできる。
対象人の特徴情報32と対象人の近傍にいる別の人の特徴情報32との相互関係から対象行動が特定される例としては、次のようなものがある。対象人の特徴情報32が手を突き出している状態を表し、その直後の近傍にいる他の人の特徴情報32が倒れた状態を表す場合には、対象人は他の人を押した又は殴ったと特定される。他にも、対象人と他の人がある一定の距離の中にあって双方とも激しく動いている場合には、対象人と他の人がもみあっていると特定することもできる。
Examples in which the target behavior is specified from the relationship between the
The following is an example in which the target behavior is identified from the correlation between the
(ステップS14:行動判定処理)
行動判定部24は、ステップS11で出力された映像データ31に映る各人を対象人に設定する。行動判定部24は、ステップS13で特定された対象人の対象行動が、車両50内における問題行動に該当するか否かを判定する。
具体的には、行動判定部24は、車両50内における問題行動を定義した定義情報33を参照して、対象人の対象行動が問題行動に該当するか否かを判定する。図4に示すように、問題行動には、「着席しているが、姿勢が崩れている」、「車両50内を基準以上の速度で移動している」といった、車両50内特有の迷惑な行動、緊急対応を要する行動が含まれる。「着席しているが、姿勢が崩れている」は、例えば、椅子に寝ている、あるいは体調不良等の原因により椅子に突っ伏して緊急対応を要するというような状態を意味する。なお、問題行動には、「喧嘩等の暴力行為」、「設備等の破壊行為」といった、車両50内に限定されない一般的な迷惑な行動も含まれてもよい。
行動判定部24は、問題行動に該当する対象行動があった場合には、処理をステップS15に進める。一方、行動判定部24は、問題行動に該当する対象行動がなかった場合には、処理対象の映像データ31についての処理を終了する。
(Step S14: action determination processing)
The
Specifically, the
If there is a target behavior corresponding to problematic behavior, the
(ステップS15:通知処理)
通知部25は、問題行動に該当する対象行動があったことを、通知先である監視拠点60に通知する。
車両50が自動運転でない列車である場合には、監視拠点60は、列車内の運転室と、列車内の車掌室と、列車外の監視センターとの少なくともいずれかである。車両50が自動運転列車又は自動運転バスのように乗務員がいない乗り物である場合には、監視センターである。なお、通知部25は、監視拠点60ではなく、監視員63によって携帯されるモバイル端末に通知してもよい。
(Step S15: notification process)
The
When the
図5を参照して、実施の形態1に係る通知処理(図3のステップS15)を説明する。
(ステップS21:強調画像生成処理)
重畳映像生成部26は、ステップS14で問題行動に該当すると判定された対象行動を強調するための強調画像を生成する。
強調画像は、問題行動に該当すると判定された対象行動を行う人を囲った枠といった、対象行動を行う人の特定を容易にするための画像データである。また、重畳映像生成部26は、問題行動に該当すると判定された対象行動の内容を示す情報を強調画像に含めてもよい。例えば、重畳映像生成部26は、対象行動の内容を示す識別情報を強調画像に含めてもよいし、対象行動の内容に応じて強調画像である枠の線の色又は種別を変更してもよい。
The notification process (step S15 in FIG. 3) according to the first embodiment will be described with reference to FIG.
(Step S21: Emphasized image generation processing)
The superimposed
The enhanced image is image data for facilitating identification of the person performing the target behavior, such as a frame surrounding the person performing the target behavior determined to be problematic behavior. Also, the superimposed
(ステップS22:重畳映像生成処理)
重畳映像生成部26は、ステップS21で生成された強調画像を、処理対象の映像データ31に重畳させて重畳映像72を生成する。強調画像が対象行動を行う人を囲った枠である場合には、処理対象の映像データ31を構成する各画像データにおいて、問題行動に該当すると判定された対象行動を行う人が枠によって囲まれた重畳映像72が生成される。
この際、重畳映像生成部26は、ステップS12で抽出された、問題行動に該当すると判定された対象行動を行う人についての特徴情報32を、処理対象の映像データ31に重畳させてもよい。
(Step S22: superimposed image generation processing)
The superimposed
At this time, the superimposed
(ステップS23:重畳映像表示処理)
映像表示部27は、ステップS22で生成された重畳映像72を、監視拠点60における表示装置61に表示する。
(Step S23: superimposed image display processing)
The
(ステップS24:付加情報通知処理)
付加情報通知部28は、付加情報を監視拠点60に通知する。
付加情報には、問題行動に該当する対象行動があった車両50を特定可能な車両情報と、問題行動に該当する対象行動があった車両50の走行位置を示す位置情報とが含まれる。
(Step S24: Additional information notification process)
The additional
The additional information includes vehicle information that can identify the
車両50が列車である場合には、車両情報は、運行番号及び号車番号である。運行番号は、路線と、上り又は下りと、識別番号と等によって示される。号車番号は、列車を構成する複数の車両のうち何番目の車両であるかを示す。また、車両50が列車である場合には、走行位置は、どの駅間を走行しているか、あるいは、ある駅から何メートルの地点を走行しているかを示す。
車両50がバスである場合には、車両情報は、運行番号と、走行位置とを示す。運行番号は、系統と、識別番号と等によって示される。走行位置は、どの停留所間を走行しているか、あるいは、GPS(Global Positioning System)等によって特定された位置である。
When the
When the
通知する車両情報は、事前に車載カメラ51毎に車両情報を対応付けてストレージ13に記憶しておき、処理対象の映像データ31の取得元の車載カメラ51に対応する車両情報を特定することにより特定可能である。
通知する位置情報は、運行番号毎に、通過した駅又は停留所を示す運行情報を管理しておき、車両情報が示す運行番号に対応する運行情報を特定することにより特定可能である。あるいは、通知する位置情報は、車両50からGPS等によって特定された位置を示す情報を取得することにより特定可能である。
The vehicle information to be notified is stored in advance in the
The position information to be notified can be specified by managing the operation information indicating the stations or stops passed by for each operation number and specifying the operation information corresponding to the operation number indicated by the vehicle information. Alternatively, the position information to be notified can be specified by acquiring information indicating the position specified by GPS or the like from the
(ステップS25:アラート発信処理)
付加情報通知部28は、必要に応じてアラートを発信して、監視拠点60における警報装置62を作動させる。警報装置62は、音又は光を出力する、あるいは、振動する装置である。
具体的には、付加情報通知部28は、問題行動に該当すると判定された対象行動の内容に応じてアラートを発信するか否かを制御する。例えば、付加情報通知部28は、対象行動の内容が、早急な対応が必要な内容である場合には、アラートを発信する。
(Step S25: Alert sending process)
The additional
Specifically, the additional
監視拠点60では、通知処理(図3のステップS15)で通知された内容に応じて、問題行動に対応する対応要員64に指示を行い、問題行動に対応させる。例えば、図6に示すように、監視拠点60及び問題行動の内容に応じた対応を行うことが考えられる。監視拠点60及び問題行動の内容に応じた対応内容を事前に定めておき、ステップS24において付加情報通知部28は、通知先の監視拠点60と、行われた問題行動の内容とに応じた対応内容を付加情報に含めて通知してもよい。
なお、監視員63は、付加情報を対応要員64に伝えることにより、対応要員64は対応を行う車両50を特定可能である。また、車両50へ向かう場合には、車両50の位置を特定可能である。
In the
In addition, the
***実施の形態1の効果***
以上のように、実施の形態1に係る映像解析装置10は、車載カメラ51によって得られた映像データ71に映る人の行動を対象行動として特定し、対象行動が車両50内における問題行動に該当する場合に通知先に通知を行う。これにより、監視することが難しい列車等の車両50内における問題行動を特定し、適切な対応をとることが可能になる。
*** Effect of
As described above, the
実施の形態1に係る映像解析装置10は、人の特徴情報と、車両50の設備の位置との関係等に基づき、対象行動を特定する。これにより、車両50内特有の問題行動を特定することが可能である。
The
実施の形態1に係る映像解析装置10は、車両情報と位置情報とを含む付加情報を通知する。これにより、監視センター等で監視している場合に、対応が必要となる車両50を特定可能である。
The
実施の形態1に係る映像解析装置10は、強調画像を重畳させた重畳映像72を表示する。これにより、映像データ31を見た監視員63は映像データ31に映る人のうちどの人が問題行動を行ったかを容易に特定でき、問題行動の具体的な内容を容易に把握することができる。
The
***他の構成***
<変形例1>
図7に示すように、問題行動に該当する対象行動がない場合には、ステップS16で映像表示部27は、いずれかの車載カメラ51によって取得された映像データ71を変換した映像データ31を、監視拠点60における表示装置61に表示する。例えば、映像表示部27は、各車載カメラ51によって取得された映像データ71を変換した映像データ31を、一定時間毎に切り替えて表示装置61に表示する。
そして、問題行動に該当する対象行動があった場合には、ステップS15における重畳映像表示処理(図5のステップS23)で映像表示部27は、重畳映像72を他の映像データ31よりも優先して表示する。例えば、映像表示部27は、問題行動に該当する対象行動が検出されてから一定時間は、他の映像データ31を表示せず、重畳映像72を表示する。
これにより、問題行動に該当する対象行動がない場合には、車両50内の各位置を監視することができる。
***Other Configurations***
<
As shown in FIG. 7, when there is no target behavior corresponding to problem behavior, in step S16, the
Then, when there is a target behavior corresponding to the problem behavior, the
Thereby, each position in the
<変形例2>
監視拠点60に複数の表示装置61が設置されている場合がある。この場合には、重畳映像表示処理(図5のステップS23)で映像表示部27は、最も目立つ表示装置61に重畳映像72を表示する。最も目立つ表示装置61とは、中央に設置された表示装置61、又は、最もサイズが大きい表示装置61等である。映像表示部27は、他の表示装置61には、他の映像データ31を表示してもよい。
<
A plurality of
<変形例3>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
<
In
図8を参照して、変形例3に係る映像解析装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、映像解析装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
The configuration of the
When each functional component is implemented by hardware,
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
The
Each functional component may be implemented by one
<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<
As a
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
The
実施の形態2.
実施の形態2は、車両50に搭載された非常ボタン53が押された場合に、非常ボタン53に近い領域が映った映像データ31を優先して表示する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
The second embodiment differs from the first embodiment in that when an
***概要の説明***
図9を参照して、実施の形態2に係る映像解析装置10の概要を説明する。
車両50には、非常状態であることを通知するための1つ以上の非常ボタン53が搭載されている。非常ボタン53は、乗客によって必要に応じて押される。非常ボタン53は、車両50内で問題が発生した場合等に押される。
映像解析装置10は、非常ボタン53が押されていない場合には、実施の形態1で説明した動作を行う。映像解析装置10は、いずれかの非常ボタン53が押されると、押された非常ボタン53に近い領域が映った映像データ31を優先して監視拠点60における表示装置61に表示する。
***Summary Explanation***
An overview of the
The
The
***構成の説明***
図10を参照して、実施の形態2に係る映像解析装置10の構成を説明する。
映像解析装置10は、機能構成要素として、信号判定部29を備える点が図2に示す映像解析装置10と異なる。信号判定部29の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
*** Configuration description ***
The configuration of the
The
***動作の説明***
図11を参照して、実施の形態2に係る映像解析装置10の動作を説明する。
ステップS31の処理は、図3のステップS11の処理と同じである。また、ステップS33からステップS36の処理は、図3のステップS12からステップS15の処理と同じである。
***Description of operation***
The operation of the
The processing of step S31 is the same as the processing of step S11 in FIG. The processing from step S33 to step S36 is the same as the processing from step S12 to step S15 in FIG.
(ステップS32:信号判定処理)
信号判定部29は、いずれかの非常ボタン53から信号が送信されているか否かを判定する。ここで、非常ボタン53は、押されると映像解析装置10へ信号を送信するものとする。
信号判定部29は、いずれかの非常ボタン53から信号が送信されている場合には、処理をステップS37に進める。一方、信号判定部29は、いずれの非常ボタン53からも信号か送信されていない場合には、処理をステップS32に進める。
(Step S32: signal determination processing)
The
If a signal has been transmitted from any of the
(ステップS37:映像表示処理)
映像表示部27は、信号の送信元の非常ボタン53に近い領域が映った映像データ31を、監視拠点60における表示装置61に表示する。非常ボタン53毎に、近い領域を撮影する車載カメラ51を記憶しておくことにより、信号の送信元の非常ボタン53に近い領域が映った映像データ31を特定可能である。
(Step S37: Video display processing)
The
***実施の形態2の効果***
以上のように、実施の形態2に係る映像解析装置10は、非常ボタン53が押された場合には、非常ボタン53に近い領域の映像データ31を優先して表示する。これにより、監視員63が非常ボタン53に近い領域を適切に監視することが可能である。
*** Effect of
As described above, the
***他の構成***
<変形例1>
実施の形態2では非常ボタン53が押された場合に非常ボタン53に近い領域の映像データ31を優先して表示するというものであったが、非常ボタン53が押されている場合に別の処理を行なうこともできる。
例えば、非常ボタン53が押された場合には、非常ボタン53に近い領域の映像データ31だけではなく、押された非常ボタン53の設置されている車両に搭載された全ての車載カメラ51に対応する全ての映像データ31を表示してもよい。
***Other Configurations***
<
In the second embodiment, when the
For example, when the
<変形例2>
あるいは、非常ボタン53が押された場合に、実施の形態2では非常ボタン53に近い領域の映像データ31、その変形例1では押された非常ボタン53の設置されている車両に搭載された全ての車載カメラ51に対応する全ての映像データ31を表示するが、その際、表示装置61に「非常ボタンが押されています」のようなメッセージを合わせて表示し、非常ボタンが押されていることを監視員63に伝えてもよい。
<
Alternatively, when the
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "process", "procedure", "process", or "processing circuit".
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.
また、本開示においては対象人の問題行動を特定し、適切な対応をとるという実施の形態について説明したが、行動判定部24の考え方を反転させ、対象人の通常行動を定義情報33として予め定め、その通常行動を特定している場合は対応をとらず、通常行動を特定しなかった場合を問題発生とみなして適切な対応をとるという実施形態としても同様である。 In addition, in the present disclosure, an embodiment has been described in which the problem behavior of the target person is identified and an appropriate response is taken. It is the same as an embodiment in which if the normal action is specified, no response is taken, and if the normal action is not specified, it is regarded as a problem occurrence and an appropriate response is taken.
また、本開示において問題行動という表現を用いたが、必ずしも問題のある行動のみをさす必要はなく、問題や迷惑でなくても検知したい行動、例えば手を挙げて助けを求めている、あるいはある一定の時間以上の長時間にわたって動かない等の行動を検知して適切な対応をとる場合についても同様である。 In addition, although the expression "problematic behavior" is used in this disclosure, it does not necessarily mean only problematic behavior, and behavior that you want to detect even if it is not a problem or annoyance, such as raising your hand and asking for help, or The same applies to the case where an action such as not moving for a long period of time longer than a certain period is detected and an appropriate response is taken.
10 映像解析装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 映像取得部、22 特徴抽出部、23 行動特定部、24 行動判定部、25 通知部、26 重畳映像生成部、27 映像表示部、28 付加情報通知部、29 信号判定部、31 映像データ、32 特徴情報、33 定義情報、34 車両情報、50 車両、51 車載カメラ、52 人、53 非常ボタン、60 監視拠点、61 表示装置、62 警報装置、63 監視員、64 対応要員、71 映像データ、72 重畳映像、73 通知。
10 video analysis device, 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 21 video acquisition unit, 22 feature extraction unit, 23 action identification unit, 24 action determination unit, 25 notification unit, 26 superimposed
Claims (15)
前記行動特定部によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定部と、
前記行動判定部によって前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す通知部と
を備える映像解析装置。 A behavior identification unit that identifies each person appearing in video data obtained by an on-vehicle camera that captures the inside of the vehicle as a target person, and identifies the behavior of the target person as the target behavior from the video data;
a behavior determination unit that determines whether the target behavior identified by the behavior identification unit corresponds to problem behavior in the vehicle;
When the behavior determination unit determines that the target behavior corresponds to the problem behavior, information that allows the observer to grasp the content of the problem behavior that has been determined to be the problem behavior is sent to the monitoring base that is the notification destination. and a notification unit that notifies and urges the observer to take action .
請求項1に記載の映像解析装置。The video analysis device according to claim 1.
請求項2に記載の映像解析装置。3. The video analysis device according to claim 2.
請求項3に記載の映像解析装置。4. The video analysis device according to claim 3.
前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
を備え、
前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報により前記対象行動を特定する
請求項1から4までのいずれか1項に記載の映像解析装置。 The video analysis device further comprises
A feature extraction unit for extracting feature information of the target person from each of a plurality of image data constituting the video data,
5. The video analysis apparatus according to any one of claims 1 to 4 , wherein the behavior identifying unit identifies the target behavior based on the feature information extracted by the feature extracting unit.
前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
を備え、
前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報と、前記映像データに映る車両の設備の位置との関係から、前記対象行動を特定する
請求項1から4までのいずれか1項に記載の映像解析装置。 The video analysis device further comprises
A feature extraction unit for extracting feature information of the target person from each of a plurality of image data constituting the video data,
5. Any one of claims 1 to 4 , wherein the behavior identifying unit identifies the target behavior based on the relationship between the feature information extracted by the feature extracting unit and the position of the vehicle equipment appearing in the video data. The image analysis device according to the item .
前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
を備え、
前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報と近傍にいる別の人の特徴情報との相互関係に基づいて前記対象行動を特定する
請求項1から4までのいずれか1項に記載の映像解析装置。 The video analysis device further comprises
A feature extraction unit for extracting feature information of the target person from each of a plurality of image data constituting the video data,
5. Any one of claims 1 to 4, wherein the behavior identification unit identifies the target behavior based on a correlation between the feature information extracted by the feature extraction unit and the feature information of another person in the vicinity. The image analysis device according to the item .
請求項1から7までのいずれか1項に記載の映像解析装置。 8. The video analysis apparatus according to any one of claims 1 to 7 , wherein the notification unit notifies the notification destination of vehicle information capable of identifying the vehicle and position information indicating the position of the vehicle.
前記問題行動に該当する前記対象行動を強調するための強調画像を前記映像データに重畳させた重畳映像を生成する重畳映像生成部と、
前記重畳映像生成部によって生成された前記重畳映像を前記通知先の表示装置に表示する映像表示部と
を備える請求項1から8までのいずれか1項に記載の映像解析装置。 The notification unit
a superimposed video generation unit that generates a superimposed video in which an emphasized image for emphasizing the target behavior corresponding to the problem behavior is superimposed on the video data;
The video analysis apparatus according to any one of claims 1 to 8 , further comprising a video display unit that displays the superimposed video generated by the superimposed video generation unit on the display device of the notification destination.
前記映像表示部は、前記複数の車載カメラのうちのいずれかの車載カメラによって得られた映像データを前記通知先の表示装置に表示し、前記対象行動が前記問題行動に該当すると判定された場合には、前記対象行動を行った人が映った映像データを前記通知先の表示装置に優先して表示する
請求項9に記載の映像解析装置。 The vehicle is equipped with a plurality of in-vehicle cameras,
The image display unit displays image data obtained by one of the plurality of vehicle-mounted cameras on the display device of the notification destination, and when it is determined that the target behavior corresponds to the problem behavior. 10. The video analysis apparatus according to claim 9 , wherein video data showing the person who performed the target action is preferentially displayed on the display device of the notification destination.
前記通知部は、
前記映像データを前記通知先の表示装置に表示する映像表示部を備え、
前記映像表示部は、前記1つ以上の非常ボタンのうちいずれかの非常ボタンが押された場合には、非常状態に応じた処理を行なう
請求項1から10までのいずれか1項に記載の映像解析装置。 The vehicle is equipped with one or more emergency buttons for notifying an emergency,
The notification unit
A video display unit for displaying the video data on the display device of the notification destination,
11. The image display unit according to any one of claims 1 to 10 , wherein when any one of the one or more emergency buttons is pressed, the image display unit performs processing according to an emergency state. Video analysis equipment.
請求項11に記載の映像解析装置。 12. The video analysis apparatus according to claim 11 , wherein the process corresponding to the emergency state is a process of preferentially displaying video data in which an area close to the pressed emergency button is displayed.
請求項11に記載の映像解析装置。 12. The video analysis apparatus according to claim 11 , wherein the processing according to the emergency state is processing for displaying video data of all on-vehicle cameras of the vehicle on which the pressed emergency button is installed.
コンピュータが、前記対象行動が、前記車両内における問題行動に該当するか否かを判定し、
コンピュータが、前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す映像解析方法。 A computer identifies each person appearing in video data obtained by an in-vehicle camera that captures the inside of the vehicle as a target person, and identifies the behavior of the target person from the video data as the target behavior,
The computer determines whether the target behavior corresponds to problem behavior in the vehicle,
When the computer determines that the target behavior corresponds to the problematic behavior, the computer notifies the monitoring base, which is the notification destination, of information that enables the observer to grasp the content of the problematic behavior that has been determined to correspond. , a video analysis method for prompting the observer to take action .
前記行動特定処理によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定処理と、
前記行動判定処理によって前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す通知処理と
を行う映像解析装置としてコンピュータを機能させる映像解析プログラム。 A behavior identification process for identifying each person appearing in video data obtained by an on-vehicle camera that captures the inside of the vehicle as a target person, and identifying the behavior of the target person as the target behavior from the video data;
an action determination process for determining whether or not the target action identified by the action identification process corresponds to problem behavior in the vehicle;
When the behavior determination process determines that the target behavior corresponds to the problem behavior, information that allows the observer to grasp the content of the problem behavior that is determined to be the problem behavior is sent to the monitoring base that is the notification destination. A video analysis program that causes a computer to function as a video analysis device that notifies and prompts the observer to take action .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038805A JP7134282B1 (en) | 2021-03-11 | 2021-03-11 | VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038805A JP7134282B1 (en) | 2021-03-11 | 2021-03-11 | VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7134282B1 true JP7134282B1 (en) | 2022-09-09 |
JP2022138744A JP2022138744A (en) | 2022-09-26 |
Family
ID=83225882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021038805A Active JP7134282B1 (en) | 2021-03-11 | 2021-03-11 | VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7134282B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3224099B2 (en) | 1995-02-17 | 2001-10-29 | ポリ−クリップ・システム・コーポレイション | Closure clip chain and closure clip sealing device and method |
JP2018160136A (en) | 2017-03-23 | 2018-10-11 | 株式会社東芝 | Driving support apparatus and driving support system |
WO2020003749A1 (en) | 2018-06-26 | 2020-01-02 | 株式会社デンソー | Cabin monitoring method and cabin monitoring device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03224099A (en) * | 1990-01-30 | 1991-10-03 | Toshiba Corp | Cab status monitoring device |
JP6912881B2 (en) * | 2016-12-01 | 2021-08-04 | キヤノン株式会社 | Information processing equipment, information processing methods and programs |
-
2021
- 2021-03-11 JP JP2021038805A patent/JP7134282B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3224099B2 (en) | 1995-02-17 | 2001-10-29 | ポリ−クリップ・システム・コーポレイション | Closure clip chain and closure clip sealing device and method |
JP2018160136A (en) | 2017-03-23 | 2018-10-11 | 株式会社東芝 | Driving support apparatus and driving support system |
WO2020003749A1 (en) | 2018-06-26 | 2020-01-02 | 株式会社デンソー | Cabin monitoring method and cabin monitoring device |
Also Published As
Publication number | Publication date |
---|---|
JP2022138744A (en) | 2022-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020003748A1 (en) | Vehicle control method, vehicle control system, and vehicle control apparatus | |
EP3882884A1 (en) | Information processing device, information processing method, and program | |
JP6870663B2 (en) | Guest room monitoring method and guest room monitoring device | |
CN205453932U (en) | Monitoring system | |
JP2007058295A (en) | Automobile operation management device | |
US20160114820A1 (en) | Rail vehicle event detection and recording system | |
WO2019238142A2 (en) | Vehicle monitoring system and vehicle monitoring method | |
JP6061798B2 (en) | Operation management device | |
CN113763670A (en) | Alarm method and device, electronic equipment and storage medium | |
WO2007046269A1 (en) | Information presenting apparatus, information presenting method, information presenting program, and computer readable recording medium | |
WO2023029406A1 (en) | Method and apparatus for vehicle to send passenger information to rescue call center | |
JP7368395B2 (en) | Computer-assisted process for analyzing personal accident data | |
US20210064029A1 (en) | Autonomous safe stop feature for a vehicle | |
JP7134282B1 (en) | VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM | |
JP2018124825A (en) | Drive recorder, image recording method, and monitoring device | |
SE1450648A1 (en) | Driver Warning | |
US11348347B2 (en) | In-vehicle device | |
WO2023095196A1 (en) | Passenger monitoring device, passenger monitoring method, and non-transitory computer-readable medium | |
JP2020129091A (en) | Driving evaluation screen display method, program, driving evaluation system, and driving evaluation screen | |
US20190149777A1 (en) | System for recording a scene based on scene content | |
US11172070B2 (en) | System, information processing apparatus, and information processing method | |
CN116157833A (en) | Image processing device and image processing program | |
JP7062879B2 (en) | Display control device and display control method | |
JP4133510B2 (en) | Railway line monitoring and display system | |
JP2024044973A (en) | Monitoring support system, control method of monitoring support device, and control program for monitoring support device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7134282 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |