JP7134282B1 - VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM - Google Patents

VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM Download PDF

Info

Publication number
JP7134282B1
JP7134282B1 JP2021038805A JP2021038805A JP7134282B1 JP 7134282 B1 JP7134282 B1 JP 7134282B1 JP 2021038805 A JP2021038805 A JP 2021038805A JP 2021038805 A JP2021038805 A JP 2021038805A JP 7134282 B1 JP7134282 B1 JP 7134282B1
Authority
JP
Japan
Prior art keywords
behavior
vehicle
target
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021038805A
Other languages
Japanese (ja)
Other versions
JP2022138744A (en
Inventor
賢治 吉良
勉 坂上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2021038805A priority Critical patent/JP7134282B1/en
Application granted granted Critical
Publication of JP7134282B1 publication Critical patent/JP7134282B1/en
Publication of JP2022138744A publication Critical patent/JP2022138744A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとれるようにする。【解決手段】映像解析装置１０は、車両５０内を撮影する車載カメラ５１によって得られた映像データ７１に映る各人５２を対象人として、映像データ７１から対象人の行動を対象行動として特定する。映像解析装置１０は、対象行動が、車両５０内における問題行動に該当するか否かを判定する。映像解析装置１０は、対象行動が問題行動に該当すると判定された場合に、通知先である監視拠点６０に通知を行う。【選択図】図１An object of the present invention is to identify problematic behavior in a vehicle such as a train or an automated driving vehicle, and to take appropriate measures. A video analysis device (10) identifies each person (52) appearing in video data (71) obtained by an in-vehicle camera (51) that captures the inside of a vehicle (50) as a target person, and identifies the behavior of the target person from the video data (71) as the target behavior. . The video analysis device 10 determines whether or not the target behavior corresponds to problematic behavior in the vehicle 50 . When the video analysis device 10 determines that the target behavior corresponds to problematic behavior, the video analysis device 10 notifies the monitoring base 60, which is the notification destination. [Selection drawing] Fig. 1

Description

本開示は、列車等の車両内における人の行動を解析して、対応を促す技術に関する。 The present disclosure relates to technology for analyzing human behavior in a vehicle such as a train and prompting a response.

列車又は自動運転車両等の乗客が車両内で他の乗客等に迷惑をかける問題行動、又は、自らが体調不良やつまずき等により倒れて転倒する等の問題行動を行うことがある。問題行動が行われた場合には、早急に適切な対応をとることが望ましい。
しかし、列車の車両内は乗務員の目が届きにくく、車両内の状況を監視することが難しい。自動運転によって運行されており、乗務員が乗っていない自動運転車両では、特に車両内の状況を監視することが難しい。昨今では、自動運転バスの実証実験が開始されており、将来的に乗務員が乗っていないバスの運行が開始されることが想定される。このように乗務員が乗っていないバス等でも、列車と同様に車両内の状況を監視することが難しい。 Passengers of trains or self-driving vehicles may engage in problematic behavior such as causing trouble to other passengers in the vehicle, or themselves falling down due to poor physical condition or stumbling. It is desirable to take appropriate measures as soon as possible when problem behavior occurs.
However, it is difficult for the train crew to see the inside of the train car, and it is difficult to monitor the situation inside the car. It is particularly difficult to monitor the situation inside the vehicle, especially in an autonomous vehicle that is operated by autonomous driving and has no crew on board. Recently, demonstration experiments of self-driving buses have started, and it is expected that buses without crews will start operating in the future. In this way, it is difficult to monitor the situation inside the vehicle even in a bus or the like without a crew on board, as in a train.

車両内を撮影する車載カメラを設けておき、車載カメラによって得られた映像データを乗務員又は監視センターの監視員が確認することは可能である。しかし、乗務員が業務をこなしながら映像データを監視することは困難である。また、監視センターの監視員が多数の車両についての映像データを監視するには、大きな負担がかかる。 It is possible to provide an in-vehicle camera for photographing the inside of the vehicle, and to check the image data obtained by the in-vehicle camera by a crew member or a supervisor at a monitoring center. However, it is difficult for the crew to monitor the video data while performing their duties. In addition, a heavy burden is placed on the monitoring staff of the monitoring center to monitor the video data of a large number of vehicles.

特許文献１には、車両事故が発生した場合等に、車両に搭載された車載カメラの映像データから、けが人がいるかを判定することが記載されている。 Patent Literature 1 describes determining whether there is an injured person from image data of an in-vehicle camera mounted in a vehicle when a vehicle accident occurs.

特許第６７５５３７４号公報Japanese Patent No. 6755374

特許文献１には、車両内における人の行動を特定することは記載されていない。そのため、車両内で問題行動が行われたことを特定することはできない。
列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとれるようにすることを目的とする。 Japanese Patent Laid-Open No. 2002-200003 does not describe identifying human behavior in the vehicle. Therefore, it is not possible to specify that the problem behavior was performed in the vehicle.
The purpose is to identify problem behaviors in trains, self-driving vehicles, etc., so that appropriate measures can be taken.

本開示に係る映像解析装置は、
車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定する行動特定部と、
前記行動特定部によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定部と、
前記行動判定部によって前記対象行動が前記問題行動に該当すると判定された場合に、通知先に通知を行う通知部と
を備える。 The video analysis device according to the present disclosure is
A behavior identification unit that identifies each person appearing in video data obtained by an on-vehicle camera that captures the inside of the vehicle as a target person, and identifies the behavior of the target person as the target behavior from the video data;
a behavior determination unit that determines whether the target behavior identified by the behavior identification unit corresponds to problem behavior in the vehicle;
and a notification unit that notifies a notification destination when the behavior determination unit determines that the target behavior corresponds to the problem behavior.

本開示では、車載カメラによって得られた映像データに映る人の行動を対象行動として特定し、対象行動が車両内における問題行動に該当する場合に通知先に通知を行う。これにより、列車又は自動運転車両等の車両内における問題行動を特定し、適切な対応をとることが可能になる。 In the present disclosure, a person's behavior reflected in video data obtained by an in-vehicle camera is identified as a target behavior, and a notification destination is notified when the target behavior corresponds to problem behavior in the vehicle. This makes it possible to identify problem behaviors in trains, self-driving vehicles, or other vehicles, and take appropriate measures.

実施の形態１に係る映像解析装置１０の概要の説明図。1 is an explanatory diagram of an outline of a video analysis device 10 according to Embodiment 1; FIG. 実施の形態１に係る映像解析装置１０の構成図。1 is a configuration diagram of a video analysis device 10 according to Embodiment 1. FIG. 実施の形態１に係る映像解析装置１０の全体的な処理のフローチャート。4 is a flowchart of overall processing of the video analysis device 10 according to Embodiment 1; 実施の形態１に係る問題行動の説明図。FIG. 2 is an explanatory diagram of problematic behavior according to Embodiment 1; 実施の形態１に係る通知処理（図３のステップＳ１５）のフローチャート。4 is a flowchart of notification processing (step S15 in FIG. 3) according to the first embodiment; 実施の形態１に係る対応内容の説明図。FIG. 2 is an explanatory diagram of correspondence contents according to the first embodiment; 変形例１に係る映像解析装置１０の全体的な処理のフローチャート。9 is a flowchart of overall processing of the video analysis device 10 according to Modification 1; 変形例３に係る映像解析装置１０の構成図。FIG. 11 is a configuration diagram of a video analysis device 10 according to Modification 3; 実施の形態２に係る映像解析装置１０の概要の説明図。FIG. 2 is an explanatory diagram of an overview of a video analysis device 10 according to a second embodiment; FIG. 実施の形態２に係る映像解析装置１０の構成図。FIG. 2 is a configuration diagram of a video analysis device 10 according to Embodiment 2; 実施の形態２に係る映像解析装置１０の全体的な処理のフローチャート。9 is a flowchart of overall processing of the video analysis device 10 according to Embodiment 2;

実施の形態１．
＊＊＊概要の説明＊＊＊
図１を参照して、実施の形態１に係る映像解析装置１０の概要を説明する。
映像解析装置１０は、車両５０に搭載された車載カメラ５１によって車両５０内を撮影して得られた映像データ７１を解析して、車両５０内で問題行動を行う乗客等の人５２を特定する。映像解析装置１０は、問題行動を行う人５２が特定されると、監視拠点６０に設置された表示装置６１に問題行動を行う人を囲った枠等を映像データ７１に重畳させた重畳映像７２を表示する。また、映像解析装置１０は、問題行動を行う人が特定されると、監視拠点６０に通知７３を行い、監視拠点６０に設置された警報装置６２を作動させる。なお、本実施形態において監視拠点６０は車両とは独立した拠点として説明するが、列車のように運転手又は車掌等の乗務員が乗務している場合、監視拠点６０は運転席又は車掌室、あるいは乗務員が持つ携帯端末等であってもよい。
監視拠点６０では、監視員６３が、表示装置６１に表示された映像データと、警報装置６２の動作と確認する。そして、監視員６３が、問題行動に対応する対応要員６４に指示を行い、問題行動に対応させる。なお、対応要員６４は、問題行動に対応する要員であり、監視員６３が対応要員６４を兼ねてもよい。 Embodiment 1.
***Summary Explanation***
An overview of a video analysis apparatus 10 according to Embodiment 1 will be described with reference to FIG.
The video analysis device 10 analyzes video data 71 obtained by photographing the interior of the vehicle 50 with an in-vehicle camera 51 mounted on the vehicle 50, and identifies a person 52, such as a passenger, who behaves problematically in the vehicle 50. . When the person 52 exhibiting the problematic behavior is identified, the video analysis device 10 displays a superimposed image 72 in which a frame or the like surrounding the person exhibiting the problematic behavior is superimposed on the video data 71 on the display device 61 installed at the monitoring point 60 . display. Further, when a person who behaves problematically is identified, the video analysis device 10 sends a notification 73 to the monitoring point 60 and activates an alarm device 62 installed at the monitoring point 60 . In this embodiment, the monitoring point 60 is described as a point independent of the vehicle. However, in the case of a train where a crew member such as a driver or a conductor is on board, the monitoring point 60 may be the driver's seat, the conductor's room, or the A mobile terminal or the like carried by the crew may be used.
At the monitoring point 60 , a supervisor 63 confirms the video data displayed on the display device 61 and the operation of the alarm device 62 . Then, the observer 63 instructs the corresponding personnel 64 who deal with the problem behavior to deal with the problem behavior. The response personnel 64 are personnel who respond to problem behaviors, and the monitor 63 may also serve as the response personnel 64 .

＊＊＊構成の説明＊＊＊
図２を参照して、実施の形態１に係る映像解析装置１０の構成を説明する。
映像解析装置１０は、コンピュータである。映像解析装置１０は、車両５０内に設置されてもよいし、監視拠点６０に設置されてもよい。また、映像解析装置１０は、車両５０及び監視拠点６０とは別の場所に設置されてもよい。
映像解析装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。 *** Configuration description ***
The configuration of the video analysis device 10 according to the first embodiment will be described with reference to FIG.
The video analysis device 10 is a computer. The video analysis device 10 may be installed inside the vehicle 50 or may be installed at the monitoring base 60 . Also, the video analysis device 10 may be installed at a location other than the vehicle 50 and the monitoring base 60 .
The video analysis device 10 includes hardware including a processor 11 , a memory 12 , a storage 13 and a communication interface 14 . The processor 11 is connected to other hardware via signal lines and controls these other hardware.

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。 The processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。 The memory 12 is a storage device that temporarily stores data. Specific examples of the memory 12 include SRAM (Static Random Access Memory) and DRAM (Dynamic Random Access Memory).

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。 The storage 13 is a storage device that stores data. A specific example of the storage 13 is an HDD (Hard Disk Drive). In addition, the storage 13 is SD (registered trademark, Secure Digital) memory card, CF (Compact Flash, registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versatile Disk), etc. It may be a portable recording medium.

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。 The communication interface 14 is an interface for communicating with an external device. Specific examples of the communication interface 14 are Ethernet (registered trademark), USB (Universal Serial Bus), and HDMI (registered trademark, High-Definition Multimedia Interface) ports.

映像解析装置１０は、機能構成要素として、映像取得部２１と、特徴抽出部２２と、行動特定部２３と、行動判定部２４と、通知部２５とを備える。通知部２５は、重畳映像生成部２６と、映像表示部２７と、付加情報通知部２８とを備える。映像解析装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、映像情報３１、特徴情報３２、定義情報３３、車両情報３４が記憶されている。また、ストレージ１３には、映像解析装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、映像解析装置１０の各機能構成要素の機能が実現される。 The video analysis device 10 includes a video acquisition unit 21, a feature extraction unit 22, an action identification unit 23, an action determination unit 24, and a notification unit 25 as functional components. The notification unit 25 includes a superimposed image generation unit 26 , an image display unit 27 and an additional information notification unit 28 . The function of each functional component of the video analysis device 10 is implemented by software.
The storage 13 stores image information 31 , feature information 32 , definition information 33 and vehicle information 34 . Further, the storage 13 stores a program that implements the function of each functional component of the video analysis apparatus 10 . This program is read into the memory 12 by the processor 11 and executed by the processor 11 . Thereby, the function of each functional component of the video analysis apparatus 10 is realized.

図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。 Only one processor 11 was shown in FIG. However, there may be a plurality of processors 11, and the plurality of processors 11 may cooperate to execute programs that implement each function.

＊＊＊動作の説明＊＊＊
図３から図６を参照して、実施の形態１に係る映像解析装置１０の動作を説明する。
実施の形態１に係る映像解析装置１０の動作手順は、実施の形態１に係る映像解析方法に相当する。また、実施の形態１に係る映像解析装置１０の動作を実現するプログラムは、実施の形態１に係る映像解析プログラムに相当する。 ***Description of operation***
The operation of the video analysis apparatus 10 according to the first embodiment will be described with reference to FIGS. 3 to 6. FIG.
The operation procedure of the video analysis device 10 according to the first embodiment corresponds to the video analysis method according to the first embodiment. Also, a program that realizes the operation of the video analysis apparatus 10 according to the first embodiment corresponds to the video analysis program according to the first embodiment.

図３を参照して、実施の形態１に係る映像解析装置１０の全体的な処理を説明する。
図３に示す処理は、一定時間毎に繰り返し実行される。 Overall processing of the video analysis device 10 according to the first embodiment will be described with reference to FIG.
The processing shown in FIG. 3 is repeatedly executed at regular time intervals.

（ステップＳ１１：映像取得処理）
映像取得部２１は、車両５０に搭載された車載カメラ５１によって得られた過去一定期間の映像データ７１を取得する。映像取得部２１は、映像データ７１を処理に適した形式の映像データ３１に変換してストレージ１３に書き込む。
車両５０は、列車の車両、自動運転バスの車両のような監視員６３が同乗しておらず、監視員６３の目が届き辛い車両である。車載カメラ５１は、車両５０内を撮影するように車両５０に搭載されたカメラである。車両５０には、１つ以上の車載カメラ５１が搭載されている。映像取得部２１は、各車載カメラ５１によって得られた映像データ７１を取得する。 (Step S11: Image Acquisition Processing)
The image acquisition unit 21 acquires image data 71 for a certain period in the past obtained by an in-vehicle camera 51 mounted on the vehicle 50 . The video acquisition unit 21 converts the video data 71 into video data 31 in a format suitable for processing, and writes the video data 31 to the storage 13 .
The vehicle 50 is a vehicle such as a vehicle of a train or a vehicle of an automatic driving bus, which is not accompanied by a supervisor 63 and is difficult for the supervisor 63 to keep an eye on. The vehicle-mounted camera 51 is a camera mounted on the vehicle 50 so as to photograph the inside of the vehicle 50 . One or more vehicle-mounted cameras 51 are mounted on the vehicle 50 . The video acquisition unit 21 acquires video data 71 obtained by each vehicle-mounted camera 51 .

各車載カメラ５１によって得られた映像データ７１が変換された映像データ３１を処理対象の映像データ３１として、ステップＳ１２からステップＳ１５の処理が実行される。 The image data 31 obtained by converting the image data 71 obtained by each vehicle-mounted camera 51 is used as the image data 31 to be processed, and the processing from step S12 to step S15 is executed.

（ステップＳ１２：特徴抽出処理）
特徴抽出部２２は、ステップＳ１１で出力された映像データ３１に映る各人を対象人に設定する。特徴抽出部２２は、映像データ３１を構成する複数の画像データそれぞれから、対象人の特徴情報３２を抽出する。
映像データ３１に映る人は、ここでは車両５０の乗客を想定する。特徴情報３２は、人の骨格における代表的な部位の位置を表す情報である。代表的な部位としては、頭と首と肩と肘と手と腰と膝と足先とである。なお、本実施形態では特徴情報３２を人の骨格に関する情報として説明するが、特徴情報３２は骨格に関する情報以外にも、検知したい乗客の行動の種類に応じて、例えば人の体の中心又は重心の位置を表す点、人を直線や矩形で近似表現する場合の各頂点、人の顔の表情を平常、怒り、苦痛等に類別した類型名等であってもよい。 (Step S12: feature extraction processing)
The feature extraction unit 22 sets each person appearing in the video data 31 output in step S11 as a target person. The feature extraction unit 22 extracts feature information 32 of the target person from each of the plurality of image data forming the video data 31 .
A person appearing in the video data 31 is assumed to be a passenger of the vehicle 50 here. The feature information 32 is information representing the position of a representative site in the human skeleton. Typical parts are the head, neck, shoulders, elbows, hands, waist, knees and toes. In the present embodiment, the feature information 32 is described as information relating to a human skeleton. points representing the position of , each vertex when a person is approximated by a straight line or a rectangle, and a type name for classifying a person's facial expression into normal, anger, pain, or the like.

（ステップＳ１３：行動特定処理）
行動特定部２３は、ステップＳ１１で出力された映像データ３１に映る各人を対象人に設定する。行動特定部２３は、映像データ３１から対象人の行動を対象行動として特定する。
具体的には、行動特定部２３は、ステップＳ１２で抽出された対象人の特徴情報３２を解析して、対象人の対象行動を特定する。なお、行動特定部２３は対象人だけの情報をもって対象行動を特定してもよいが、この際、行動特定部２３は、対象人の特徴情報３２と映像データ３１に映る車両５０の設備の位置との関係、又は、対象人の特徴情報３２と対象人の近傍にいる別の人の特徴情報３２との相互関係等を加味して、対象人の対象行動を特定してもよい。 (Step S13: action identification process)
The behavior identifying unit 23 sets each person appearing in the video data 31 output in step S11 as a target person. The behavior identification unit 23 identifies the behavior of the target person as the target behavior from the video data 31 .
Specifically, the behavior identifying unit 23 analyzes the characteristic information 32 of the target person extracted in step S12 to identify the target behavior of the target person. Note that the behavior identifying unit 23 may identify the target behavior using only the information of the target person. or the mutual relationship between the feature information 32 of the target person and the feature information 32 of another person in the vicinity of the target person, or the like, to specify the target behavior of the target person.

対象人の特徴情報３２と映像データ３１に映る車両５０の設備の位置との関係から対象行動が特定される例としては、次のようなものがある。対象人の特徴情報３２が座っている状態を表し、対象人が車両５０の設備である椅子の位置にいる場合には、対象人は椅子に座っていると特定される。また、対象人の特徴情報３２が寝ている状態を表し、対象人が車両５０の設備である椅子の位置にいる場合には、対象人は椅子に寝ていると特定される。車両５０の設備には、他にドア、吊革、窓、通路、トイレ等が含まれ、これらの設備との位置関係とから対象行動を特定することもできる。例えば、対象人の特徴情報３２と映像データ３１に映る通路との位置関係から対象人が通路にいると特定し、さらにその対象人が車両５０内を基準以上の速度で移動している場合には、通路を基準以上の速度で移動していると特定することもできる。
対象人の特徴情報３２と対象人の近傍にいる別の人の特徴情報３２との相互関係から対象行動が特定される例としては、次のようなものがある。対象人の特徴情報３２が手を突き出している状態を表し、その直後の近傍にいる他の人の特徴情報３２が倒れた状態を表す場合には、対象人は他の人を押した又は殴ったと特定される。他にも、対象人と他の人がある一定の距離の中にあって双方とも激しく動いている場合には、対象人と他の人がもみあっていると特定することもできる。 Examples in which the target behavior is specified from the relationship between the feature information 32 of the target person and the position of the facility of the vehicle 50 shown in the image data 31 are as follows. If the feature information 32 of the target person indicates a sitting state and the target person is at the position of the chair that is the equipment of the vehicle 50, the target person is identified as sitting on the chair. Further, when the target person's feature information 32 indicates that the target person is lying down, and the target person is at the position of the chair that is the equipment of the vehicle 50, the target person is identified as lying on the chair. The facilities of the vehicle 50 also include doors, straps, windows, aisles, toilets, etc., and the target behavior can be specified from the positional relationship with these facilities. For example, when it is specified that the target person is in the passage based on the positional relationship between the characteristic information 32 of the target person and the passage shown in the video data 31, and the target person is moving in the vehicle 50 at a speed higher than the reference speed. can also be identified as moving through the passage at a speed higher than the reference.
The following is an example in which the target behavior is identified from the correlation between the feature information 32 of the target person and the feature information 32 of another person in the vicinity of the target person. If the feature information 32 of the target person indicates a state in which the hand is sticking out, and the feature information 32 of another person in the immediate vicinity indicates a state in which the person has fallen down, the target person has pushed or hit the other person. identified as In addition, if the object and the other person are within a certain distance and both of them are moving violently, it can be specified that the object and the other person are wrestling.

（ステップＳ１４：行動判定処理）
行動判定部２４は、ステップＳ１１で出力された映像データ３１に映る各人を対象人に設定する。行動判定部２４は、ステップＳ１３で特定された対象人の対象行動が、車両５０内における問題行動に該当するか否かを判定する。
具体的には、行動判定部２４は、車両５０内における問題行動を定義した定義情報３３を参照して、対象人の対象行動が問題行動に該当するか否かを判定する。図４に示すように、問題行動には、「着席しているが、姿勢が崩れている」、「車両５０内を基準以上の速度で移動している」といった、車両５０内特有の迷惑な行動、緊急対応を要する行動が含まれる。「着席しているが、姿勢が崩れている」は、例えば、椅子に寝ている、あるいは体調不良等の原因により椅子に突っ伏して緊急対応を要するというような状態を意味する。なお、問題行動には、「喧嘩等の暴力行為」、「設備等の破壊行為」といった、車両５０内に限定されない一般的な迷惑な行動も含まれてもよい。
行動判定部２４は、問題行動に該当する対象行動があった場合には、処理をステップＳ１５に進める。一方、行動判定部２４は、問題行動に該当する対象行動がなかった場合には、処理対象の映像データ３１についての処理を終了する。 (Step S14: action determination processing)
The action determination unit 24 sets each person appearing in the video data 31 output in step S11 as a target person. The behavior determination unit 24 determines whether or not the target behavior of the target person identified in step S13 corresponds to problem behavior in the vehicle 50 .
Specifically, the behavior determination unit 24 refers to the definition information 33 that defines the problem behavior in the vehicle 50, and determines whether or not the target behavior of the target person corresponds to the problem behavior. As shown in FIG. 4, the problem behaviors include annoying behaviors specific to the vehicle 50, such as "I am sitting, but my posture is broken" and "I am moving in the vehicle 50 at a speed higher than the reference". Actions, actions that require emergency response are included. "Sit down but lose posture" means, for example, that the person is lying on a chair, or that he or she is lying down on the chair due to poor physical condition or the like and needs emergency treatment. Problematic behavior may also include general nuisance behavior that is not limited to inside the vehicle 50, such as “violent behavior such as fights” and “destruction of facilities, etc.”.
If there is a target behavior corresponding to problematic behavior, the behavior determination unit 24 advances the process to step S15. On the other hand, if there is no target behavior corresponding to problematic behavior, the behavior determination unit 24 ends the processing of the video data 31 to be processed.

（ステップＳ１５：通知処理）
通知部２５は、問題行動に該当する対象行動があったことを、通知先である監視拠点６０に通知する。
車両５０が自動運転でない列車である場合には、監視拠点６０は、列車内の運転室と、列車内の車掌室と、列車外の監視センターとの少なくともいずれかである。車両５０が自動運転列車又は自動運転バスのように乗務員がいない乗り物である場合には、監視センターである。なお、通知部２５は、監視拠点６０ではなく、監視員６３によって携帯されるモバイル端末に通知してもよい。 (Step S15: notification process)
The notification unit 25 notifies the monitoring base 60, which is the notification destination, that there is a target behavior corresponding to problematic behavior.
When the vehicle 50 is a non-automatic train, the monitoring point 60 is at least one of a cab inside the train, a conductor's compartment inside the train, and a monitoring center outside the train. If the vehicle 50 is a crewless vehicle such as a self-driving train or self-driving bus, it is a monitoring center. Note that the notification unit 25 may notify the mobile terminal carried by the monitoring staff 63 instead of the monitoring base 60 .

図５を参照して、実施の形態１に係る通知処理（図３のステップＳ１５）を説明する。
（ステップＳ２１：強調画像生成処理）
重畳映像生成部２６は、ステップＳ１４で問題行動に該当すると判定された対象行動を強調するための強調画像を生成する。
強調画像は、問題行動に該当すると判定された対象行動を行う人を囲った枠といった、対象行動を行う人の特定を容易にするための画像データである。また、重畳映像生成部２６は、問題行動に該当すると判定された対象行動の内容を示す情報を強調画像に含めてもよい。例えば、重畳映像生成部２６は、対象行動の内容を示す識別情報を強調画像に含めてもよいし、対象行動の内容に応じて強調画像である枠の線の色又は種別を変更してもよい。 The notification process (step S15 in FIG. 3) according to the first embodiment will be described with reference to FIG.
(Step S21: Emphasized image generation processing)
The superimposed image generation unit 26 generates an emphasized image for emphasizing the target behavior determined to be problematic behavior in step S14.
The enhanced image is image data for facilitating identification of the person performing the target behavior, such as a frame surrounding the person performing the target behavior determined to be problematic behavior. Also, the superimposed image generation unit 26 may include information indicating the content of the target behavior determined to be problematic behavior in the emphasized image. For example, the superimposed image generation unit 26 may include identification information indicating the content of the target behavior in the emphasized image, or may change the color or type of the frame line that is the emphasized image according to the content of the target behavior. good.

（ステップＳ２２：重畳映像生成処理）
重畳映像生成部２６は、ステップＳ２１で生成された強調画像を、処理対象の映像データ３１に重畳させて重畳映像７２を生成する。強調画像が対象行動を行う人を囲った枠である場合には、処理対象の映像データ３１を構成する各画像データにおいて、問題行動に該当すると判定された対象行動を行う人が枠によって囲まれた重畳映像７２が生成される。
この際、重畳映像生成部２６は、ステップＳ１２で抽出された、問題行動に該当すると判定された対象行動を行う人についての特徴情報３２を、処理対象の映像データ３１に重畳させてもよい。 (Step S22: superimposed image generation processing)
The superimposed image generation unit 26 generates a superimposed image 72 by superimposing the enhanced image generated in step S21 on the image data 31 to be processed. When the emphasized image is a frame surrounding the person performing the target behavior, the person performing the target behavior determined to be problematic behavior is surrounded by the frame in each image data constituting the video data 31 to be processed. A superimposed image 72 is generated.
At this time, the superimposed image generation unit 26 may superimpose the feature information 32 about the person performing the target behavior determined to be the problematic behavior extracted in step S12 on the image data 31 to be processed.

（ステップＳ２３：重畳映像表示処理）
映像表示部２７は、ステップＳ２２で生成された重畳映像７２を、監視拠点６０における表示装置６１に表示する。 (Step S23: superimposed image display processing)
The video display unit 27 displays the superimposed video 72 generated in step S22 on the display device 61 at the monitoring site 60. FIG.

（ステップＳ２４：付加情報通知処理）
付加情報通知部２８は、付加情報を監視拠点６０に通知する。
付加情報には、問題行動に該当する対象行動があった車両５０を特定可能な車両情報と、問題行動に該当する対象行動があった車両５０の走行位置を示す位置情報とが含まれる。 (Step S24: Additional information notification process)
The additional information notification unit 28 notifies the monitoring base 60 of the additional information.
The additional information includes vehicle information that can identify the vehicle 50 that has performed the target behavior corresponding to the problem behavior, and position information that indicates the travel position of the vehicle 50 that has performed the target behavior corresponding to the problem behavior.

車両５０が列車である場合には、車両情報は、運行番号及び号車番号である。運行番号は、路線と、上り又は下りと、識別番号と等によって示される。号車番号は、列車を構成する複数の車両のうち何番目の車両であるかを示す。また、車両５０が列車である場合には、走行位置は、どの駅間を走行しているか、あるいは、ある駅から何メートルの地点を走行しているかを示す。
車両５０がバスである場合には、車両情報は、運行番号と、走行位置とを示す。運行番号は、系統と、識別番号と等によって示される。走行位置は、どの停留所間を走行しているか、あるいは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等によって特定された位置である。 When the vehicle 50 is a train, the vehicle information is the service number and car number. A service number is indicated by a route, an up or down train, an identification number, and the like. The car number indicates the number of the car among the plurality of cars that make up the train. Further, when the vehicle 50 is a train, the running position indicates between which stations the vehicle is running or how many meters from a certain station it is running.
When the vehicle 50 is a bus, the vehicle information indicates the service number and the running position. A service number is indicated by a system, an identification number, and the like. The traveling position is a position specified by a GPS (Global Positioning System) or the like, or between which stops the vehicle is traveling.

通知する車両情報は、事前に車載カメラ５１毎に車両情報を対応付けてストレージ１３に記憶しておき、処理対象の映像データ３１の取得元の車載カメラ５１に対応する車両情報を特定することにより特定可能である。
通知する位置情報は、運行番号毎に、通過した駅又は停留所を示す運行情報を管理しておき、車両情報が示す運行番号に対応する運行情報を特定することにより特定可能である。あるいは、通知する位置情報は、車両５０からＧＰＳ等によって特定された位置を示す情報を取得することにより特定可能である。 The vehicle information to be notified is stored in advance in the storage 13 in association with each vehicle-mounted camera 51, and the vehicle information corresponding to the vehicle-mounted camera 51 from which the image data 31 to be processed is obtained is specified. Identifiable.
The position information to be notified can be specified by managing the operation information indicating the stations or stops passed by for each operation number and specifying the operation information corresponding to the operation number indicated by the vehicle information. Alternatively, the position information to be notified can be specified by acquiring information indicating the position specified by GPS or the like from the vehicle 50 .

（ステップＳ２５：アラート発信処理）
付加情報通知部２８は、必要に応じてアラートを発信して、監視拠点６０における警報装置６２を作動させる。警報装置６２は、音又は光を出力する、あるいは、振動する装置である。
具体的には、付加情報通知部２８は、問題行動に該当すると判定された対象行動の内容に応じてアラートを発信するか否かを制御する。例えば、付加情報通知部２８は、対象行動の内容が、早急な対応が必要な内容である場合には、アラートを発信する。 (Step S25: Alert sending process)
The additional information notification unit 28 issues an alert as necessary and activates the alarm device 62 at the monitoring point 60 . The alarm device 62 is a device that outputs sound or light or vibrates.
Specifically, the additional information notification unit 28 controls whether or not to send an alert according to the content of the target behavior determined to be problematic behavior. For example, the additional information notification unit 28 issues an alert when the content of the target action requires immediate action.

監視拠点６０では、通知処理（図３のステップＳ１５）で通知された内容に応じて、問題行動に対応する対応要員６４に指示を行い、問題行動に対応させる。例えば、図６に示すように、監視拠点６０及び問題行動の内容に応じた対応を行うことが考えられる。監視拠点６０及び問題行動の内容に応じた対応内容を事前に定めておき、ステップＳ２４において付加情報通知部２８は、通知先の監視拠点６０と、行われた問題行動の内容とに応じた対応内容を付加情報に含めて通知してもよい。
なお、監視員６３は、付加情報を対応要員６４に伝えることにより、対応要員６４は対応を行う車両５０を特定可能である。また、車両５０へ向かう場合には、車両５０の位置を特定可能である。 In the monitoring base 60, according to the content notified in the notification process (step S15 in FIG. 3), instructions are given to the response personnel 64 who deal with the problem behavior, and the problem behavior is dealt with. For example, as shown in FIG. 6, it is conceivable to take measures according to the monitoring point 60 and the content of the problem behavior. The monitoring point 60 and the contents of the response corresponding to the content of the problem behavior are determined in advance, and in step S24, the additional information notification unit 28 determines the response corresponding to the monitoring point 60 of the notification destination and the content of the problematic behavior. The contents may be included in the additional information and notified.
In addition, the monitor 63 transmits the additional information to the response personnel 64 so that the response personnel 64 can identify the vehicle 50 for which the response is to be performed. Moreover, when heading to the vehicle 50, the position of the vehicle 50 can be specified.

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る映像解析装置１０は、車載カメラ５１によって得られた映像データ７１に映る人の行動を対象行動として特定し、対象行動が車両５０内における問題行動に該当する場合に通知先に通知を行う。これにより、監視することが難しい列車等の車両５０内における問題行動を特定し、適切な対応をとることが可能になる。 *** Effect of Embodiment 1 ***
As described above, the video analysis apparatus 10 according to Embodiment 1 identifies the behavior of a person reflected in the video data 71 obtained by the vehicle-mounted camera 51 as the target behavior, and the target behavior corresponds to the problem behavior in the vehicle 50. Notifies the notification destination when This makes it possible to identify problematic behavior in the vehicle 50, such as a train, which is difficult to monitor, and take appropriate measures.

実施の形態１に係る映像解析装置１０は、人の特徴情報と、車両５０の設備の位置との関係等に基づき、対象行動を特定する。これにより、車両５０内特有の問題行動を特定することが可能である。 The video analysis apparatus 10 according to Embodiment 1 identifies the target behavior based on the relationship between the person's feature information and the position of the facility of the vehicle 50, and the like. Thereby, it is possible to identify the problematic behavior peculiar to the inside of the vehicle 50 .

実施の形態１に係る映像解析装置１０は、車両情報と位置情報とを含む付加情報を通知する。これにより、監視センター等で監視している場合に、対応が必要となる車両５０を特定可能である。 The video analysis apparatus 10 according to Embodiment 1 notifies additional information including vehicle information and position information. This makes it possible to identify the vehicle 50 that needs to be dealt with when being monitored by a monitoring center or the like.

実施の形態１に係る映像解析装置１０は、強調画像を重畳させた重畳映像７２を表示する。これにより、映像データ３１を見た監視員６３は映像データ３１に映る人のうちどの人が問題行動を行ったかを容易に特定でき、問題行動の具体的な内容を容易に把握することができる。 The video analysis device 10 according to Embodiment 1 displays a superimposed video 72 on which an enhanced image is superimposed. As a result, the observer 63 who sees the video data 31 can easily identify which person among the people appearing in the video data 31 has taken the problematic behavior, and can easily grasp the specific contents of the problematic behavior. .

＊＊＊他の構成＊＊＊
＜変形例１＞
図７に示すように、問題行動に該当する対象行動がない場合には、ステップＳ１６で映像表示部２７は、いずれかの車載カメラ５１によって取得された映像データ７１を変換した映像データ３１を、監視拠点６０における表示装置６１に表示する。例えば、映像表示部２７は、各車載カメラ５１によって取得された映像データ７１を変換した映像データ３１を、一定時間毎に切り替えて表示装置６１に表示する。
そして、問題行動に該当する対象行動があった場合には、ステップＳ１５における重畳映像表示処理（図５のステップＳ２３）で映像表示部２７は、重畳映像７２を他の映像データ３１よりも優先して表示する。例えば、映像表示部２７は、問題行動に該当する対象行動が検出されてから一定時間は、他の映像データ３１を表示せず、重畳映像７２を表示する。
これにより、問題行動に該当する対象行動がない場合には、車両５０内の各位置を監視することができる。 ***Other Configurations***
<Modification 1>
As shown in FIG. 7, when there is no target behavior corresponding to problem behavior, in step S16, the image display unit 27 converts the image data 71 acquired by one of the in-vehicle cameras 51 to convert the image data 31 into It is displayed on the display device 61 at the monitoring point 60 . For example, the image display unit 27 switches the image data 31 obtained by converting the image data 71 acquired by each vehicle-mounted camera 51 at regular time intervals and displays the image data 31 on the display device 61 .
Then, when there is a target behavior corresponding to the problem behavior, the image display unit 27 gives priority to the superimposed image 72 over other image data 31 in the superimposed image display processing in step S15 (step S23 in FIG. 5). displayed. For example, the image display unit 27 displays the superimposed image 72 without displaying the other image data 31 for a certain period of time after the target behavior corresponding to the problem behavior is detected.
Thereby, each position in the vehicle 50 can be monitored when there is no target behavior corresponding to the problem behavior.

＜変形例２＞
監視拠点６０に複数の表示装置６１が設置されている場合がある。この場合には、重畳映像表示処理（図５のステップＳ２３）で映像表示部２７は、最も目立つ表示装置６１に重畳映像７２を表示する。最も目立つ表示装置６１とは、中央に設置された表示装置６１、又は、最もサイズが大きい表示装置６１等である。映像表示部２７は、他の表示装置６１には、他の映像データ３１を表示してもよい。 <Modification 2>
A plurality of display devices 61 may be installed at the monitoring point 60 . In this case, the image display unit 27 displays the superimposed image 72 on the most conspicuous display device 61 in the superimposed image display process (step S23 in FIG. 5). The most conspicuous display device 61 is the display device 61 installed in the center, the display device 61 having the largest size, or the like. The image display unit 27 may display other image data 31 on the other display device 61 .

＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。 <Modification 3>
In Embodiment 1, each functional component is realized by software. However, as a modification 3, each functional component may be realized by hardware. Regarding this modification 3, the points different from the first embodiment will be described.

図８を参照して、変形例３に係る映像解析装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、映像解析装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。 The configuration of the video analysis device 10 according to Modification 3 will be described with reference to FIG.
When each functional component is implemented by hardware, video analysis apparatus 10 includes electronic circuit 15 instead of processor 11 , memory 12 and storage 13 . The electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, memory 12 and storage 13 .

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。 The electronic circuit 15 includes a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
Each functional component may be implemented by one electronic circuit 15, or each functional component may be implemented by being distributed among a plurality of electronic circuits 15. FIG.

＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。 <Modification 4>
As a modification 4, some functional components may be implemented by hardware, and other functional components may be implemented by software.

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。 The processor 11, the memory 12, the storage 13 and the electronic circuit 15 are called a processing circuit. That is, the function of each functional component is realized by the processing circuit.

実施の形態２．
実施の形態２は、車両５０に搭載された非常ボタン５３が押された場合に、非常ボタン５３に近い領域が映った映像データ３１を優先して表示する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。 Embodiment 2.
The second embodiment differs from the first embodiment in that when an emergency button 53 mounted on a vehicle 50 is pressed, the image data 31 showing an area close to the emergency button 53 is preferentially displayed. In the second embodiment, this different point will be explained, and the explanation of the same point will be omitted.

＊＊＊概要の説明＊＊＊
図９を参照して、実施の形態２に係る映像解析装置１０の概要を説明する。
車両５０には、非常状態であることを通知するための１つ以上の非常ボタン５３が搭載されている。非常ボタン５３は、乗客によって必要に応じて押される。非常ボタン５３は、車両５０内で問題が発生した場合等に押される。
映像解析装置１０は、非常ボタン５３が押されていない場合には、実施の形態１で説明した動作を行う。映像解析装置１０は、いずれかの非常ボタン５３が押されると、押された非常ボタン５３に近い領域が映った映像データ３１を優先して監視拠点６０における表示装置６１に表示する。 ***Summary Explanation***
An overview of the video analysis device 10 according to the second embodiment will be described with reference to FIG.
The vehicle 50 is equipped with one or more emergency buttons 53 for notifying an emergency state. The emergency button 53 is pushed by passengers as needed. The emergency button 53 is pushed when a problem occurs in the vehicle 50 or the like.
The video analysis device 10 performs the operation described in the first embodiment when the emergency button 53 is not pressed. When any one of the emergency buttons 53 is pressed, the video analysis device 10 preferentially displays the video data 31 showing an area close to the pressed emergency button 53 on the display device 61 at the monitoring site 60 .

＊＊＊構成の説明＊＊＊
図１０を参照して、実施の形態２に係る映像解析装置１０の構成を説明する。
映像解析装置１０は、機能構成要素として、信号判定部２９を備える点が図２に示す映像解析装置１０と異なる。信号判定部２９の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。 *** Configuration description ***
The configuration of the video analysis device 10 according to the second embodiment will be described with reference to FIG.
The video analysis device 10 differs from the video analysis device 10 shown in FIG. 2 in that it includes a signal determination unit 29 as a functional component. The function of the signal determination unit 29 is realized by software or hardware, like other functional components.

＊＊＊動作の説明＊＊＊
図１１を参照して、実施の形態２に係る映像解析装置１０の動作を説明する。
ステップＳ３１の処理は、図３のステップＳ１１の処理と同じである。また、ステップＳ３３からステップＳ３６の処理は、図３のステップＳ１２からステップＳ１５の処理と同じである。 ***Description of operation***
The operation of the video analysis device 10 according to the second embodiment will be described with reference to FIG.
The processing of step S31 is the same as the processing of step S11 in FIG. The processing from step S33 to step S36 is the same as the processing from step S12 to step S15 in FIG.

（ステップＳ３２：信号判定処理）
信号判定部２９は、いずれかの非常ボタン５３から信号が送信されているか否かを判定する。ここで、非常ボタン５３は、押されると映像解析装置１０へ信号を送信するものとする。
信号判定部２９は、いずれかの非常ボタン５３から信号が送信されている場合には、処理をステップＳ３７に進める。一方、信号判定部２９は、いずれの非常ボタン５３からも信号か送信されていない場合には、処理をステップＳ３２に進める。 (Step S32: signal determination processing)
The signal determination unit 29 determines whether or not a signal is being transmitted from any emergency button 53 . Here, it is assumed that the emergency button 53 transmits a signal to the video analysis device 10 when pressed.
If a signal has been transmitted from any of the emergency buttons 53, the signal determination unit 29 advances the process to step S37. On the other hand, when no signal is transmitted from any of the emergency buttons 53, the signal determination unit 29 advances the process to step S32.

（ステップＳ３７：映像表示処理）
映像表示部２７は、信号の送信元の非常ボタン５３に近い領域が映った映像データ３１を、監視拠点６０における表示装置６１に表示する。非常ボタン５３毎に、近い領域を撮影する車載カメラ５１を記憶しておくことにより、信号の送信元の非常ボタン５３に近い領域が映った映像データ３１を特定可能である。 (Step S37: Video display processing)
The video display unit 27 displays the video data 31 showing an area near the emergency button 53 that is the transmission source of the signal on the display device 61 at the monitoring point 60 . By storing the in-vehicle camera 51 that captures an area close to each emergency button 53, it is possible to specify the video data 31 showing an area close to the emergency button 53 that is the source of the signal.

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る映像解析装置１０は、非常ボタン５３が押された場合には、非常ボタン５３に近い領域の映像データ３１を優先して表示する。これにより、監視員６３が非常ボタン５３に近い領域を適切に監視することが可能である。 *** Effect of Embodiment 2 ***
As described above, the video analysis apparatus 10 according to the second embodiment preferentially displays the video data 31 in the area near the emergency button 53 when the emergency button 53 is pressed. This allows the surveillance staff 63 to appropriately monitor the area close to the emergency button 53 .

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態２では非常ボタン５３が押された場合に非常ボタン５３に近い領域の映像データ３１を優先して表示するというものであったが、非常ボタン５３が押されている場合に別の処理を行なうこともできる。
例えば、非常ボタン５３が押された場合には、非常ボタン５３に近い領域の映像データ３１だけではなく、押された非常ボタン５３の設置されている車両に搭載された全ての車載カメラ５１に対応する全ての映像データ３１を表示してもよい。 ***Other Configurations***
<Modification 1>
In the second embodiment, when the emergency button 53 is pressed, the image data 31 in the area close to the emergency button 53 is preferentially displayed. can also be performed.
For example, when the emergency button 53 is pushed, not only the image data 31 in the area near the emergency button 53 but also all the on-vehicle cameras 51 mounted on the vehicle in which the pushed emergency button 53 is installed. All video data 31 to be displayed may be displayed.

＜変形例２＞
あるいは、非常ボタン５３が押された場合に、実施の形態２では非常ボタン５３に近い領域の映像データ３１、その変形例１では押された非常ボタン５３の設置されている車両に搭載された全ての車載カメラ５１に対応する全ての映像データ３１を表示するが、その際、表示装置６１に「非常ボタンが押されています」のようなメッセージを合わせて表示し、非常ボタンが押されていることを監視員６３に伝えてもよい。 <Modification 2>
Alternatively, when the emergency button 53 is pressed, the image data 31 of the area near the emergency button 53 in the second embodiment, and the image data 31 of the area near the emergency button 53 in the modified example 1, all of the images mounted on the vehicle in which the pressed emergency button 53 is installed. All the video data 31 corresponding to the vehicle-mounted camera 51 are displayed, but at that time, a message such as "Emergency button is pressed" is also displayed on the display device 61, and the emergency button is pressed. You may tell the observer 63 that.

なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 Note that "unit" in the above description may be read as "circuit", "process", "procedure", "process", or "processing circuit".

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.

また、本開示においては対象人の問題行動を特定し、適切な対応をとるという実施の形態について説明したが、行動判定部２４の考え方を反転させ、対象人の通常行動を定義情報３３として予め定め、その通常行動を特定している場合は対応をとらず、通常行動を特定しなかった場合を問題発生とみなして適切な対応をとるという実施形態としても同様である。 In addition, in the present disclosure, an embodiment has been described in which the problem behavior of the target person is identified and an appropriate response is taken. It is the same as an embodiment in which if the normal action is specified, no response is taken, and if the normal action is not specified, it is regarded as a problem occurrence and an appropriate response is taken.

また、本開示において問題行動という表現を用いたが、必ずしも問題のある行動のみをさす必要はなく、問題や迷惑でなくても検知したい行動、例えば手を挙げて助けを求めている、あるいはある一定の時間以上の長時間にわたって動かない等の行動を検知して適切な対応をとる場合についても同様である。 In addition, although the expression "problematic behavior" is used in this disclosure, it does not necessarily mean only problematic behavior, and behavior that you want to detect even if it is not a problem or annoyance, such as raising your hand and asking for help, or The same applies to the case where an action such as not moving for a long period of time longer than a certain period is detected and an appropriate response is taken.

１０ 映像解析装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 映像取得部、２２ 特徴抽出部、２３ 行動特定部、２４ 行動判定部、２５ 通知部、２６ 重畳映像生成部、２７ 映像表示部、２８ 付加情報通知部、２９ 信号判定部、３１ 映像データ、３２ 特徴情報、３３ 定義情報、３４ 車両情報、５０ 車両、５１ 車載カメラ、５２ 人、５３ 非常ボタン、６０ 監視拠点、６１ 表示装置、６２ 警報装置、６３ 監視員、６４ 対応要員、７１ 映像データ、７２ 重畳映像、７３ 通知。 10 video analysis device, 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 21 video acquisition unit, 22 feature extraction unit, 23 action identification unit, 24 action determination unit, 25 notification unit, 26 superimposed video generation Section 27 Video display section 28 Additional information notification section 29 Signal determination section 31 Video data 32 Feature information 33 Definition information 34 Vehicle information 50 Vehicle 51 In-vehicle camera 52 People 53 Emergency button 60 Surveillance base, 61 display device, 62 alarm device, 63 surveillance staff, 64 response personnel, 71 video data, 72 superimposed video, 73 notification.

Claims (15)

車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定する行動特定部と、
前記行動特定部によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定部と、
前記行動判定部によって前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す通知部と
を備える映像解析装置。 A behavior identification unit that identifies each person appearing in video data obtained by an on-vehicle camera that captures the inside of the vehicle as a target person, and identifies the behavior of the target person as the target behavior from the video data;
a behavior determination unit that determines whether the target behavior identified by the behavior identification unit corresponds to problem behavior in the vehicle;
When the behavior determination unit determines that the target behavior corresponds to the problem behavior, information that allows the observer to grasp the content of the problem behavior that has been determined to be the problem behavior is sent to the monitoring base that is the notification destination. and a notification unit that notifies and urges the observer to take action . 前記通知部は、該当すると判定された前記問題行動の内容に応じた対応内容を含む通知を行うThe notification unit notifies the user of the content of the problem behavior determined to correspond to the content of the response.
請求項１に記載の映像解析装置。The video analysis device according to claim 1. 前記通知部は、問題行動の内容毎に事前に定められた対応内容のうち、該当すると判定された前記問題行動の内容に対応する対応内容を含む通知を行うThe notification unit makes a notification including a response content corresponding to the content of the problematic behavior determined to correspond to the content of the response determined in advance for each content of the problematic behavior.
請求項２に記載の映像解析装置。3. The video analysis device according to claim 2. 前記通知部は、監視拠点と問題行動の内容との組毎に定められた対応内容のうち、通知先の監視拠点と該当すると判定された前記問題行動の内容との組に対応する対応内容を含む通知を行うThe notification unit selects a response corresponding to a pair of the monitoring base of the notification destination and the problematic behavior determined to correspond, from among the response details determined for each set of the monitoring base and the problematic behavior. make a notification including
請求項３に記載の映像解析装置。4. The video analysis device according to claim 3. 前記映像解析装置は、さらに、
前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
を備え、
前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報により前記対象行動を特定する
請求項１から４までのいずれか１項に記載の映像解析装置。 The video analysis device further comprises
A feature extraction unit for extracting feature information of the target person from each of a plurality of image data constituting the video data,
5. The video analysis apparatus according to any one of claims 1 to 4 , wherein the behavior identifying unit identifies the target behavior based on the feature information extracted by the feature extracting unit. 前記映像解析装置は、さらに、
前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
を備え、
前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報と、前記映像データに映る車両の設備の位置との関係から、前記対象行動を特定する
請求項１から４までのいずれか１項に記載の映像解析装置。 The video analysis device further comprises
A feature extraction unit for extracting feature information of the target person from each of a plurality of image data constituting the video data,
5. Any one of claims 1 to 4 , wherein the behavior identifying unit identifies the target behavior based on the relationship between the feature information extracted by the feature extracting unit and the position of the vehicle equipment appearing in the video data. The image analysis device according to the item . 前記映像解析装置は、さらに、
前記映像データを構成する複数の画像データそれぞれから、前記対象人の特徴情報を抽出する特徴抽出部
を備え、
前記行動特定部は、前記特徴抽出部によって抽出された前記特徴情報と近傍にいる別の人の特徴情報との相互関係に基づいて前記対象行動を特定する
請求項１から４までのいずれか１項に記載の映像解析装置。 The video analysis device further comprises
A feature extraction unit for extracting feature information of the target person from each of a plurality of image data constituting the video data,
5. Any one of claims 1 to 4, wherein the behavior identification unit identifies the target behavior based on a correlation between the feature information extracted by the feature extraction unit and the feature information of another person in the vicinity. The image analysis device according to the item . 前記通知部は、前記車両を特定可能な車両情報と、前記車両の位置を示す位置情報とを前記通知先に通知を行う
請求項１から７までのいずれか１項に記載の映像解析装置。 8. The video analysis apparatus according to any one of claims 1 to 7 , wherein the notification unit notifies the notification destination of vehicle information capable of identifying the vehicle and position information indicating the position of the vehicle. 前記通知部は、
前記問題行動に該当する前記対象行動を強調するための強調画像を前記映像データに重畳させた重畳映像を生成する重畳映像生成部と、
前記重畳映像生成部によって生成された前記重畳映像を前記通知先の表示装置に表示する映像表示部と
を備える請求項１から８までのいずれか１項に記載の映像解析装置。 The notification unit
a superimposed video generation unit that generates a superimposed video in which an emphasized image for emphasizing the target behavior corresponding to the problem behavior is superimposed on the video data;
The video analysis apparatus according to any one of claims 1 to 8 , further comprising a video display unit that displays the superimposed video generated by the superimposed video generation unit on the display device of the notification destination. 前記車両には複数の車載カメラが搭載されており、
前記映像表示部は、前記複数の車載カメラのうちのいずれかの車載カメラによって得られた映像データを前記通知先の表示装置に表示し、前記対象行動が前記問題行動に該当すると判定された場合には、前記対象行動を行った人が映った映像データを前記通知先の表示装置に優先して表示する
請求項９に記載の映像解析装置。 The vehicle is equipped with a plurality of in-vehicle cameras,
The image display unit displays image data obtained by one of the plurality of vehicle-mounted cameras on the display device of the notification destination, and when it is determined that the target behavior corresponds to the problem behavior. 10. The video analysis apparatus according to claim 9 , wherein video data showing the person who performed the target action is preferentially displayed on the display device of the notification destination. 前記車両には非常状態であることを通知するための１つ以上の非常ボタンが搭載されており、
前記通知部は、
前記映像データを前記通知先の表示装置に表示する映像表示部を備え、
前記映像表示部は、前記１つ以上の非常ボタンのうちいずれかの非常ボタンが押された場合には、非常状態に応じた処理を行なう
請求項１から１０までのいずれか１項に記載の映像解析装置。 The vehicle is equipped with one or more emergency buttons for notifying an emergency,
The notification unit
A video display unit for displaying the video data on the display device of the notification destination,
11. The image display unit according to any one of claims 1 to 10 , wherein when any one of the one or more emergency buttons is pressed, the image display unit performs processing according to an emergency state. Video analysis equipment. 前記非常状態に応じた処理は、押された非常ボタンに近い領域が映った映像データを優先して表示する処理である
請求項１１に記載の映像解析装置。 12. The video analysis apparatus according to claim 11 , wherein the process corresponding to the emergency state is a process of preferentially displaying video data in which an area close to the pressed emergency button is displayed. 前記非常状態に応じた処理は、押された非常ボタンの設置されている車両の全ての車載カメラの映像データを表示する処理である
請求項１１に記載の映像解析装置。 12. The video analysis apparatus according to claim 11 , wherein the processing according to the emergency state is processing for displaying video data of all on-vehicle cameras of the vehicle on which the pressed emergency button is installed. コンピュータが、車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定し、
コンピュータが、前記対象行動が、前記車両内における問題行動に該当するか否かを判定し、
コンピュータが、前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す映像解析方法。 A computer identifies each person appearing in video data obtained by an in-vehicle camera that captures the inside of the vehicle as a target person, and identifies the behavior of the target person from the video data as the target behavior,
The computer determines whether the target behavior corresponds to problem behavior in the vehicle,
When the computer determines that the target behavior corresponds to the problematic behavior, the computer notifies the monitoring base, which is the notification destination, of information that enables the observer to grasp the content of the problematic behavior that has been determined to correspond. , a video analysis method for prompting the observer to take action . 車両内を撮影する車載カメラによって得られた映像データに映る各人を対象人として、前記映像データから前記対象人の行動を対象行動として特定する行動特定処理と、
前記行動特定処理によって特定された前記対象行動が、前記車両内における問題行動に該当するか否かを判定する行動判定処理と、
前記行動判定処理によって前記対象行動が前記問題行動に該当すると判定された場合に、該当すると判定された前記問題行動の内容を監視員が把握可能な情報を、通知先である監視拠点に対して通知し、前記監視員に対処を促す通知処理と
を行う映像解析装置としてコンピュータを機能させる映像解析プログラム。 A behavior identification process for identifying each person appearing in video data obtained by an on-vehicle camera that captures the inside of the vehicle as a target person, and identifying the behavior of the target person as the target behavior from the video data;
an action determination process for determining whether or not the target action identified by the action identification process corresponds to problem behavior in the vehicle;
When the behavior determination process determines that the target behavior corresponds to the problem behavior, information that allows the observer to grasp the content of the problem behavior that is determined to be the problem behavior is sent to the monitoring base that is the notification destination. A video analysis program that causes a computer to function as a video analysis device that notifies and prompts the observer to take action .
JP2021038805A 2021-03-11 2021-03-11 VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM Active JP7134282B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021038805A JP7134282B1 (en) 2021-03-11 2021-03-11 VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021038805A JP7134282B1 (en) 2021-03-11 2021-03-11 VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM

Publications (2)

Publication Number Publication Date
JP7134282B1 true JP7134282B1 (en) 2022-09-09
JP2022138744A JP2022138744A (en) 2022-09-26

Family

ID=83225882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021038805A Active JP7134282B1 (en) 2021-03-11 2021-03-11 VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM

Country Status (1)

Country Link
JP (1) JP7134282B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224099B2 (en) 1995-02-17 2001-10-29 ポリ−クリップ・システム・コーポレイション Closure clip chain and closure clip sealing device and method
JP2018160136A (en) 2017-03-23 2018-10-11 株式会社東芝 Driving support apparatus and driving support system
WO2020003749A1 (en) 2018-06-26 2020-01-02 株式会社デンソー Cabin monitoring method and cabin monitoring device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03224099A (en) * 1990-01-30 1991-10-03 Toshiba Corp Cab status monitoring device
JP6912881B2 (en) * 2016-12-01 2021-08-04 キヤノン株式会社 Information processing equipment, information processing methods and programs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224099B2 (en) 1995-02-17 2001-10-29 ポリ−クリップ・システム・コーポレイション Closure clip chain and closure clip sealing device and method
JP2018160136A (en) 2017-03-23 2018-10-11 株式会社東芝 Driving support apparatus and driving support system
WO2020003749A1 (en) 2018-06-26 2020-01-02 株式会社デンソー Cabin monitoring method and cabin monitoring device

Also Published As

Publication number Publication date
JP2022138744A (en) 2022-09-26

Similar Documents

Publication Publication Date Title
WO2020003748A1 (en) Vehicle control method, vehicle control system, and vehicle control apparatus
EP3882884A1 (en) Information processing device, information processing method, and program
JP6870663B2 (en) Guest room monitoring method and guest room monitoring device
CN205453932U (en) Monitoring system
JP2007058295A (en) Automobile operation management device
US20160114820A1 (en) Rail vehicle event detection and recording system
WO2019238142A2 (en) Vehicle monitoring system and vehicle monitoring method
JP6061798B2 (en) Operation management device
CN113763670A (en) Alarm method and device, electronic equipment and storage medium
WO2007046269A1 (en) Information presenting apparatus, information presenting method, information presenting program, and computer readable recording medium
WO2023029406A1 (en) Method and apparatus for vehicle to send passenger information to rescue call center
JP7368395B2 (en) Computer-assisted process for analyzing personal accident data
US20210064029A1 (en) Autonomous safe stop feature for a vehicle
JP7134282B1 (en) VIDEO ANALYSIS DEVICE, VIDEO ANALYSIS METHOD AND VIDEO ANALYSIS PROGRAM
JP2018124825A (en) Drive recorder, image recording method, and monitoring device
SE1450648A1 (en) Driver Warning
US11348347B2 (en) In-vehicle device
WO2023095196A1 (en) Passenger monitoring device, passenger monitoring method, and non-transitory computer-readable medium
JP2020129091A (en) Driving evaluation screen display method, program, driving evaluation system, and driving evaluation screen
US20190149777A1 (en) System for recording a scene based on scene content
US11172070B2 (en) System, information processing apparatus, and information processing method
CN116157833A (en) Image processing device and image processing program
JP7062879B2 (en) Display control device and display control method
JP4133510B2 (en) Railway line monitoring and display system
JP2024044973A (en) Monitoring support system, control method of monitoring support device, and control program for monitoring support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220830

R150 Certificate of patent or registration of utility model

Ref document number: 7134282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150