JP2021039582A - Guidance system, information processing device, guidance method, and program - Google Patents
Guidance system, information processing device, guidance method, and program Download PDFInfo
- Publication number
- JP2021039582A JP2021039582A JP2019161074A JP2019161074A JP2021039582A JP 2021039582 A JP2021039582 A JP 2021039582A JP 2019161074 A JP2019161074 A JP 2019161074A JP 2019161074 A JP2019161074 A JP 2019161074A JP 2021039582 A JP2021039582 A JP 2021039582A
- Authority
- JP
- Japan
- Prior art keywords
- consideration
- person requiring
- special attention
- guidance
- requiring special
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Train Traffic Observation, Control, And Security (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両内の乗客に対するアナウンスを行う案内システム等に関する。 The present invention relates to a guidance system or the like that makes an announcement to passengers in a vehicle.
車いすやベビーカーの利用者、松葉杖をついたケガ人、白杖をついた視覚障がい者、妊婦などが電車を利用する場合、乗車や車内移動等に困難を感じることがある。 Wheelchair and stroller users, injured people with crutches, visually impaired people with white canes, pregnant women, etc. may find it difficult to get on or move in the train.
例えばベビーカーの利用者が混んでいる電車に乗る場合、電車の出入口に乗客がいたり、本やスマートフォンを見ていて周りの様子に気付かない乗客がいたりすると、ベビーカーを押しての移動に非常に苦労することがある。そのような乗客に対してベビーカーの利用者や他の乗客が注意するとトラブルになりかねず、ベビーカーの利用者は結局ベビーカーを折りたたみ、子供を抱きかかえて両腕がふさがった状態で乗車することも多い。 For example, when you get on a train that is crowded with stroller users, if there are passengers at the entrance or exit of the train, or if there are passengers who are looking at books or smartphones and do not notice the surroundings, it will be very difficult to push the stroller and move. There is. If the stroller user or other passengers pay attention to such passengers, it may cause trouble, and the stroller user may eventually fold the stroller and ride with the child in his arms closed. There are many.
特許文献１には、歩行支援を行うシステムとして、横断歩道、地下道、階段、段差等の特定の危険個所に設置された監視カメラにより歩行支援の対象者が撮影された場合、制御装置が対象者の存在を認識して、危険個所があることの警告、安全な通過の方法、迂回路等の経路誘導等の案内の音声を音声出力手段により出力する歩行支援システムが記載されている。 In Patent Document 1, as a system for walking support, when a target person for walking support is photographed by a surveillance camera installed at a specific dangerous place such as a pedestrian crossing, an underpass, stairs, or a step, the control device is the target person. A walking support system that recognizes the existence of a pedestrian crossing and outputs a warning that there is a dangerous place, a safe passage method, a guidance voice such as a route guidance such as a detour, etc. by a voice output means is described.
しかしながら、特許文献１の歩行支援システムは、対象者に対して危険個所があることの警告や、安全な通過の方法、迂回路等の経路誘導等の案内の音声を出力するものであり、その周りの人の配慮を喚起する目的のものではなかった。 However, the walking support system of Patent Document 1 outputs a warning to the subject that there is a dangerous place, a safe passage method, a guidance voice such as a route guidance such as a detour, and the like. It was not intended to arouse the consideration of those around us.
電車には上記のような危険個所は無いが、乗客の配慮がなければ移動等が困難になるケースがあり、乗客は、配慮を必要とする人が近くにいることに気付けば、自然に席を空けたり、移動等の手助けをする人が多いと思われる。 There are no dangerous spots like the ones above on the train, but there are cases where it is difficult to move without the consideration of the passengers, and the passengers will naturally sit down if they notice that there are people who need consideration nearby. It seems that there are many people who help with emptying or moving.
本発明はこのような課題に鑑みてなされたもので、要配慮者への配慮を乗客に促すための案内システム等を提供することを目的とする。 The present invention has been made in view of such a problem, and an object of the present invention is to provide a guidance system or the like for encouraging passengers to give consideration to persons requiring special attention.
前述した課題を解決するための第１の発明は、車両の乗客に対するアナウンスを行うための案内システムであって、カメラと、情報処理装置と、案内装置と、を有し、前記情報処理装置は、前記カメラで撮影された画像の解析を行い、要配慮者の乗車を検出する解析手段と、前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信する送信手段と、を備え、前記案内装置は、前記アナウンスデータの出力を行うことを特徴とする案内システムである。 The first invention for solving the above-mentioned problems is a guidance system for making an announcement to passengers of a vehicle, which includes a camera, an information processing device, and a guidance device. , The analysis means for analyzing the image taken by the camera and detecting the boarding of the person requiring special attention, and the announcement data for prompting the passengers to give consideration to the detected person requiring special care are transmitted to the guidance device. The guidance device includes a transmission means, and is a guidance system characterized in that the announcement data is output.
本発明の案内システムでは、カメラにより撮影された画像から要配慮者が乗車したことを検出し、その要配慮者への配慮を乗客に促すためのアナウンスを自動で行う。これにより、要配慮者の存在を周囲の乗客に気付かせることが可能となる。要配慮者は、自分で声を掛けなくてもその存在を周りの乗客に気付いてもらうことができ、円滑に乗車や車内移動等を行うことができる。また、周りの乗客も要配慮者の存在に早く気付くことができ、自然に手助けすることができる。 The guidance system of the present invention detects that a person requiring special attention has boarded from an image taken by a camera, and automatically makes an announcement to encourage the passenger to give consideration to the person requiring special attention. As a result, it becomes possible to make the surrounding passengers aware of the existence of the person requiring special attention. Persons requiring special attention can make passengers around them aware of their existence without having to speak to them themselves, and can smoothly board and move inside the vehicle. In addition, passengers around can quickly notice the existence of people requiring special attention and can help naturally.
前記解析手段は、前記要配慮者の属性を前記画像から取得し、前記送信手段は、前記属性に応じたアナウンスデータを前記案内装置に送信することが望ましい。
一概に要配慮者といっても前記したように車いすやベビーカーの利用者、ケガ人、視覚障がい者、妊婦など様々な人がいるので、その属性によって例えば移動のため通路を空けて欲しいのか、着席のため席を空けてほしいのか等、してもらいたい配慮は異なる。そこで、要配慮者の属性に応じて異なるアナウンスを行うことにより、要配慮者の属性に応じた配慮を乗客に促すことができる。
It is desirable that the analysis means acquires the attribute of the person requiring special attention from the image, and the transmission means transmits the announcement data corresponding to the attribute to the guidance device.
As mentioned above, there are various people who need consideration, such as wheelchair and stroller users, injured people, visually impaired people, and pregnant women. The considerations we want you to take are different, such as whether you want to vacate your seat to sit down. Therefore, by making different announcements according to the attributes of the person requiring consideration, it is possible to encourage the passengers to give consideration according to the attributes of the person requiring consideration.
前記情報処理装置は、前記要配慮者に対する配慮が必要か否かを前記画像を用いて判定する判定手段をさらに有し、前記送信手段は、前記要配慮者に対する配慮が必要と判定された場合に、前記アナウンスデータを前記案内装置に送信することが望ましい。
配慮が必要かどうかは、要配慮者の意思、車内の混雑状況、要配慮者の状況等に応じて異なることもある。そこで、これらの観点から配慮が必要か否かを判定することで、必要な場合のみアナウンスを行うことができる。
When the information processing device further has a determination means for determining whether or not consideration for the person requiring consideration is necessary by using the image, and the transmission means is determined to require consideration for the person requiring consideration. It is desirable to transmit the announcement data to the guidance device.
Whether or not consideration is necessary may differ depending on the intention of the person requiring consideration, the congestion situation in the vehicle, the situation of the person requiring consideration, and the like. Therefore, by determining whether or not consideration is necessary from these viewpoints, it is possible to make an announcement only when necessary.
前記判定手段は、例えば前記要配慮者が所持する所定のマークの前記画像からの検出結果を用いて判定を行う。前記所定のマークは、配慮が不要であることを示すものを含むことが望ましい。
これにより、要配慮者の意思に応じて配慮が必要か否かを判定することができる。上記のマークには配慮が不要なことを示すものもあり、要配慮者が配慮を必要とする場合のみならず、配慮が不要の場合にも、その意思を明確に示すことができる。
The determination means makes a determination using, for example, a detection result from the image of a predetermined mark possessed by the person requiring special attention. It is desirable that the predetermined mark includes a mark indicating that consideration is not required.
Thereby, it is possible to determine whether or not consideration is necessary according to the intention of the person requiring consideration. Some of the above marks indicate that consideration is not required, and the intention can be clearly indicated not only when the person requiring consideration requires consideration but also when consideration is not required.
前記判定手段は、前記車両の混雑状況の前記画像からの検出結果を用いて判定を行うことも望ましい。
これにより、車両の混雑状況に応じて配慮が必要か否かを判定することができ、車内が空いていて特に配慮が必要ない場合にアナウンスをしてしまうのを避けることができる。
It is also desirable that the determination means make a determination using the detection result from the image of the congestion state of the vehicle.
As a result, it is possible to determine whether or not consideration is necessary according to the congestion situation of the vehicle, and it is possible to avoid making an announcement when the inside of the vehicle is vacant and no particular consideration is required.
前記判定手段は、前記要配慮者の動作の前記画像からの検出結果を用いて判定を行うことも望ましい。
これにより、要配慮者の状況に応じて配慮が必要か否かを判定することができ、例えば要配慮者が移動に困っている場合に、乗客にアナウンスを行うことができる。
It is also desirable that the determination means make a determination using the detection result from the image of the movement of the person requiring consideration.
As a result, it is possible to determine whether or not consideration is necessary according to the situation of the person requiring consideration, and for example, when the person requiring consideration is having trouble moving, it is possible to make an announcement to the passengers.
前記案内装置は、モニタとスピーカを含むことが望ましい。
これにより、車内のモニタでアナウンスの表示出力を行い、車内のスピーカでアナウンスの音声出力を行うことで、これらのアナウンスを効果的に連動させることができる。
The guidance device preferably includes a monitor and a speaker.
As a result, the announcements can be effectively linked by displaying and outputting the announcements on the monitor in the vehicle and outputting the voices of the announcements on the speaker in the vehicle.
前記解析手段は、前記要配慮者の特徴をディープラーニングにより学習した学習済みデータを用いて前記画像の解析を行うことが望ましい。
これにより、精度よく要配慮者を検出することが可能となる。
It is desirable that the analysis means analyze the image using the learned data obtained by learning the characteristics of the person requiring special attention by deep learning.
This makes it possible to accurately detect persons requiring special attention.
第２の発明は、車両の乗客に対するアナウンスを行うための案内装置と通信可能に接続された情報処理装置であって、カメラで撮影された画像の解析を行い、要配慮者の乗車を検出する解析手段と、前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信する送信手段と、を備えることを特徴とする情報処理装置である。
第２の発明は、要配慮者への配慮を促すアナウンスを行うために用いられる情報処理装置である。
The second invention is an information processing device communicatively connected to a guidance device for making an announcement to passengers in a vehicle, which analyzes an image taken by a camera and detects the boarding of a person requiring special attention. The information processing device is characterized by comprising an analysis means and a transmission means for transmitting announcement data to the guide device for prompting passengers to give consideration to the detected person requiring consideration.
The second invention is an information processing apparatus used for making an announcement that encourages consideration for a person requiring consideration.
第３の発明は、車両の乗客に対するアナウンスを行うための案内装置と通信可能に接続された情報処理装置が、カメラで撮影された画像の解析を行い、要配慮者の乗車を検出するステップと、前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信するステップと、を実行することを特徴とする案内方法である。
第３の発明は、第２の発明の情報処理装置が実行する案内方法である。
The third invention is a step in which an information processing device communicably connected to a guidance device for making an announcement to passengers in a vehicle analyzes an image taken by a camera and detects the boarding of a person requiring special attention. The guidance method is characterized by executing a step of transmitting announcement data to the guidance device for urging passengers to give consideration to the detected person requiring special attention.
The third invention is a guidance method executed by the information processing apparatus of the second invention.
第４の発明は、車両の乗客に対するアナウンスを行うための案内装置と通信可能に接続された情報処理装置を、カメラで撮影された画像の解析を行い、要配慮者の乗車を検出する解析手段と、前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信する送信手段と、として機能させるためのプログラムである。
第４の発明は、第２の発明の情報処理装置を機能させるためのプログラムである。
A fourth invention is an analysis means for detecting the boarding of a person requiring special attention by analyzing an image taken by a camera of an information processing device communicably connected to a guidance device for making an announcement to passengers in the vehicle. And, it is a program for functioning as a transmission means for transmitting announcement data for urging passengers to give consideration to the detected person requiring special attention.
The fourth invention is a program for operating the information processing apparatus of the second invention.
本発明により、要配慮者への配慮を乗客に促すための案内システム等を提供できる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a guidance system or the like for encouraging passengers to give consideration to persons requiring special attention.
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
（１．案内システム１）
図１は本発明の実施形態に係る案内システム１の概略構成を示す図である。案内システム１は、電車の車両１００内の乗客に対し、要配慮者への配慮を促すためのアナウンス（案内）を行うものである。
(1. Guidance system 1)
FIG. 1 is a diagram showing a schematic configuration of a guidance system 1 according to an embodiment of the present invention. The guidance system 1 makes an announcement (guidance) to the passengers in the
要配慮者とは、案内システム１で乗客に促す配慮の対象となる者全般をいい、例えば車いすやベビーカーの利用者、松葉杖をついたケガ人、白杖をついた視覚障がい者、妊婦等のように、車両１００への乗車や車内移動、着席等に関して配慮や手助けを必要とする者である。
Persons requiring special consideration refer to all persons who are subject to consideration to encourage passengers in the guidance system 1, such as wheelchair and stroller users, injured people with crutches, visually impaired people with white canes, pregnant women, etc. As described above, the person needs consideration and assistance regarding getting on the
図１に示すように、案内システム１は車両１００に設けられ、サーバ２、カメラ３、モニタ４、スピーカ５等を有する。カメラ３、モニタ４、およびスピーカ５はサーバ２と通信可能に接続される。
As shown in FIG. 1, the guidance system 1 is provided in the
サーバ２は、案内システム１に係る各種の処理を実行する情報処理装置である。サーバ２の処理の詳細については後述する。 The server 2 is an information processing device that executes various processes related to the guidance system 1. The details of the processing of the server 2 will be described later.
図２はサーバ２のハードウェア構成を示す図である。図２に示すように、サーバ２は、制御部２０１、記憶部２０２、周辺機器Ｉ／Ｆ部２０３、入力部２０４、表示部２０５、通信制御部２０６等を有するコンピュータにより実現できる。但し、サーバ２の構成はこれに限ることなく、適宜様々な構成をとることができる。またサーバ２は複数のコンピュータから構成されてもよい。
FIG. 2 is a diagram showing a hardware configuration of the server 2. As shown in FIG. 2, the server 2 can be realized by a computer having a
制御部２０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成される。ＣＰＵは、記憶部２０２、ＲＯＭ等の記憶媒体に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、サーバ２の各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部２０１が各種処理を行うために使用するワークエリアを備える。
The
記憶部２０２は、例えばハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ等の記憶媒体である。記憶部２０２には、制御部２０１が実行するプログラム、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。
The
周辺機器Ｉ／Ｆ部２０３は周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部２０３を介して周辺機器とのデータの送受信が行われる。周辺機器との接続形態は有線、無線を問わない。
入力部２０４は、タッチパネル、キーボード、マウス、テンキー等の入力装置であり、入力されたデータを制御部２０１へ出力する。
The peripheral device I /
The
表示部２０５は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置を有する。
通信制御部２０６は通信制御装置、通信ポート等を有し、ネットワーク等を介した通信を制御する。
The
The
図１に示すように、本実施形態ではサーバ２の記憶部２０２に学習済みデータ２１とアナウンス情報２２が記憶される。
As shown in FIG. 1, in the present embodiment, the learned
学習済みデータ２１は、要配慮者の画像の特徴を、多数の教師画像についてディープラーニングを行うことにより学習した学習済みモデルである。ディープラーニングについては既知の手法を用いることができ、その説明は省略する。学習済みデータ２１は、例えばデータセンタ等に配置されるコンピュータ（不図示）により作成され、サーバ２に送信されて記憶部２０２に記憶される。あるいは、サーバ２によって学習済みデータ２１を作成することも可能である。
The trained
アナウンス情報２２は、要配慮者への配慮を乗客に促すためのアナウンスに関する情報である。図３はアナウンス情報２２の例であり、要配慮者の属性２２１と当該属性２２１に対応するアナウンスデータ２２２が記録される。
The
要配慮者の属性２２１は、車いすやベビーカーの利用者、松葉杖をついたケガ人、白杖をついた視覚障がい者、妊婦等、要配慮者の属性を記録したものである。その他、要配慮者の属性２２１としては、大きな荷物や沢山の荷物を持った人なども考えられ、特に限定されることはない。
The
アナウンスデータ２２２は、乗客に対するアナウンスとしてモニタ４やスピーカ５で実際に出力されるデータであり、案内映像等の映像データ、案内音声等の音声データを含む。
The
図１の説明に戻る。カメラ３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いたビデオカメラであり、車両１００に設けられ、車内の画像を動画として撮影する。
Returning to the description of FIG. The
モニタ４とスピーカ５は、乗客に対するアナウンスを行うため車両１００に設けられる案内装置である。モニタ４はサーバ２から送信された映像データを表示出力し、スピーカ５はサーバ２から送信された音声データを音声出力する。
The
図４は、車両１００内のカメラ３、モニタ４、スピーカ５の配置例である。図４ではカメラ３、モニタ４、スピーカ５の他、車両１００のホームに対する出入口１１０と隣接車両に対する出入口１２０が示されており、その他の部分（座席や吊皮、窓など）の図示は省略している。
FIG. 4 is an example of arrangement of the
この例では、カメラ３が、車両１００の出入口１１０、１２０に対応する位置と、車両１００の進行方向の中央部の天井に配置される。車両１００の進行方向は車両１００の長手方向に対応し、以下車両進行方向ということがある。
In this example, the
出入口１１０に配置されるカメラ３の一例が図中符号３ａで示されており、当該カメラ３ａによって矢印ａに示すように車内側を撮影する。同様に、出入口１２０に配置されるカメラ３の一例が図中符号３ｂで示されており、当該カメラ３ｂによって矢印ｂに示すように車内側が撮影される。
An example of the
また、車両進行方向の中央部の天井に配置されるカメラ３の一例が図中符号３ｃで示されており、当該カメラ３ｃによって矢印ｃに示すように車両進行方向の端部側（出入口１２０側）が撮影される。
Further, an example of the
モニタ４は、車両１００の出入口１１０、１２０に対応する位置と、車両進行方向の前後の出入口１１０の間に配置される。
The
スピーカ５は、車両１００の出入口１１０、１２０に対応する位置に配置される。なおスピーカ５はカメラ３に付属して設けられる場合もある。
The
（２．案内システム１の機能構成）
図５は案内システム１の機能構成を示す図である。図５に示すように、案内システム１において、サーバ２は、解析手段２１０、判定手段２２０、送信手段２３０等を備える。
(2. Functional configuration of guidance system 1)
FIG. 5 is a diagram showing a functional configuration of the guidance system 1. As shown in FIG. 5, in the guidance system 1, the server 2 includes an analysis means 210, a determination means 220, a transmission means 230, and the like.
解析手段２１０は、サーバ２の制御部２０１が、カメラ３で撮影した画像の解析を行い、要配慮者が乗車したことを検出してその要配慮者の属性２２１を当該画像から取得するものである。画像解析時には、前記したように要配慮者の特徴をディープラーニングの手法により学習した学習済みデータ２１を用いる。
In the analysis means 210, the
判定手段２２０は、サーバ２の制御部２０１が、要配慮者に対する配慮が必要か否かをカメラ３で撮影した画像を用いて判定するものである。判定手法の詳細は後述するが、本実施形態では、要配慮者が所持する所定のマーク、車両１００の混雑状況、要配慮者の動作などを画像から検出し、その検出結果を用いた判定を行う。
In the determination means 220, the
送信手段２３０は、サーバ２の制御部２０１が、解析手段２１０で検出された要配慮者に対する配慮を乗客に促すため、アナウンスデータ２２２を通信制御部２０６を介してモニタ４やスピーカ５などに送信し、出力させるものである。送信手段２３０は、判定手段２２０で要配慮者に対する配慮が必要と判定された場合にアナウンスデータ２２２の送信を行う。送信されるアナウンスデータ２２２は要配慮者の属性２２１に応じたものである。
In the transmission means 230, the
（３．案内方法の概略）
図６等を参照し、案内システム１によって実行される案内方法をサーバ２の処理を中心として説明する。図６は案内方法の概略を示すフローチャートであり、図６の各ステップはサーバ２の制御部２０１がサーバ２の各部を制御して実行する。
(3. Outline of guidance method)
The guidance method executed by the guidance system 1 will be described with reference to FIG. 6 and the like, focusing on the processing of the server 2. FIG. 6 is a flowchart showing an outline of the guidance method, and each step of FIG. 6 is executed by the
本実施形態では、前記したように、カメラ３により車内の画像が動画として撮影されており、サーバ２は、カメラ３が撮影した動画（画像）をカメラ３から受信する（Ｓ１）。図７は動画の１コマ分の画像６の例であり、車両１００の出入口１１０付近の様子が撮影されている。
In the present embodiment, as described above, the image inside the vehicle is captured as a moving image by the
サーバ２は、画像６の解析を行い（Ｓ２）、要配慮者の乗車を検出する（Ｓ３）。 The server 2 analyzes the image 6 (S2) and detects the boarding of a person requiring special attention (S3).
Ｓ２の画像解析は学習済みデータ２１を用いて行うことができる。例えばベビーカーの利用者が含まれる多数の画像を前記の教師画像として学習済みデータ２１を得ておくことで、図８に示すようなベビーカー６１が画像６に含まれている場合に、ベビーカーの利用者を要配慮者として抽出することができる。この時、サーバ２は「ベビーカーの利用者」であることを要配慮者の属性２２１として取得し、一旦ＲＡＭ等に記憶する。同様に、画像６に白杖が含まれている場合、要配慮者として視覚障がい者を抽出したり、画像６に松葉杖が含まれている場合、要配慮者としてケガ人を抽出したりといったことが可能である。
The image analysis of S2 can be performed using the trained
本実施形態では、例えばカメラ３から受信した動画に含まれる時系列順の複数コマの画像６において、このような要配慮者が車両１００の出入口１１０から車内側に向かって移動する動きが検出できれば、要配慮者が乗車したとする。ただし具体的な検出方法がこれに限定されることはない。
In the present embodiment, for example, in the image 6 of a plurality of frames in chronological order included in the moving image received from the
サーバ２は、要配慮者の乗車を検出しなかった場合（Ｓ３；Ｎｏ）、特にアナウンスを行わず、処理を終了する。一方、要配慮者の乗車を検出した場合には（Ｓ３；Ｙｅｓ）、その要配慮者に対する配慮の要否を判定する（Ｓ４）。この要否判定の詳細については後述する。 When the server 2 does not detect the boarding of the person requiring special attention (S3; No), the server 2 ends the process without making an announcement in particular. On the other hand, when the boarding of the person requiring consideration is detected (S3; Yes), it is determined whether or not consideration is required for the person requiring consideration (S4). The details of this necessity determination will be described later.
サーバ２は、要配慮者に対する配慮が不要と判定された場合（Ｓ５；Ｎｏ）、特にアナウンスを行わず、処理を終了する。 When it is determined that consideration for the person requiring special attention is unnecessary (S5; No), the server 2 ends the process without making an announcement.
一方、配慮が必要と判定された場合（Ｓ５；Ｙｅｓ）、サーバ２は、先程画像６から取得した要配慮者の属性２２１（例えば「ベビーカーの利用者」）に応じたアナウンスデータ２２２をアナウンス情報２２から取得し（Ｓ６）、そのアナウンスデータ２２２をモニタ４とスピーカ５に送信する（Ｓ７）。
On the other hand, when it is determined that consideration is necessary (S5; Yes), the server 2 announces the
前記したように、アナウンスデータ２２２には映像データと音声データが含まれ、映像データはモニタ４に送信され、音声データはスピーカ５に送信される。モニタ４は、映像データを受信するとこれを表示出力し、スピーカ５は、音声データを受信するとこれを音声出力する。
As described above, the
図９はモニタ４に表示されるアナウンスデータ２２２の例であり、前記した要配慮者の属性２２１に応じて、「ベビーカーのお客様が乗車します。皆様のご協力をお願いします」のようなメッセージが表示される。スピーカ５においても同様のメッセージが音声出力され、これによりベビーカーの利用者が乗車したことに気付いた周囲の乗客が、ベビーカーの利用者のために通路を空けるなどの配慮をすることが期待できる。
FIG. 9 is an example of the
上記はベビーカーの利用者の場合であるが、例えば視覚障がい者の場合は、その属性２２１に応じて、「視覚障がいを持つお客様が乗車します。座席をお譲りください。」というように上記とは異なるアナウンスデータ２２２の出力をモニタ４やスピーカ５で行うことができる。なおアナウンスデータ２２２の内容は特に限定されず、要配慮者への配慮を乗客に促すためのものであればよい。例えば要配慮者が乗車したことを知らせるだけでも、要配慮者への配慮を行うきっかけになる。
The above is for a stroller user, but for example, in the case of a visually impaired person, according to the
また本実施形態では、電車が停車して乗客が乗降する際にカメラ３により撮影された動画を用いて以上の処理が行われ、上記のアナウンスデータ２２２も、乗降時のタイミングのみで音声であれば一定回数（例えば、２回程度）の出力、映像であれば短時間の表示（例えば、１分程度）を行う。これは、長時間このようなアナウンスをし続けるのは過剰である可能性があり、また無用なトラブルを避けるためでもある。
Further, in the present embodiment, when the train is stopped and passengers get on and off, the above processing is performed using the moving image taken by the
また、アナウンスを行うモニタ４やスピーカ５の位置を、要配慮者が乗車した出入口１１０の位置に応じたものとすることも可能である。どの出入口１１０から要配慮者が乗車したかは、要配慮者をどのカメラ３で撮影した画像６から検出したかや、当該画像６のどの位置で要配慮者が検出されたかでわかるので、例えば図４の符号１１０ａで示す出入口から要配慮者が乗車した場合、その近傍にある一部のモニタ４やスピーカ５のみでアナウンスデータ２２２の出力を行う。
It is also possible to set the positions of the
（４．配慮の要否判定）
図１０は、Ｓ４において行われる配慮の要否判定の流れを示すフローチャートである。図１０に示すように、サーバ２は、Ｓ４において要配慮者が所持している意思表示マークを画像６から検出する（Ｓ４０１）。
(4. Judgment of necessity of consideration)
FIG. 10 is a flowchart showing a flow of determining the necessity of consideration performed in S4. As shown in FIG. 10, the server 2 detects the manifestation mark possessed by the person requiring special attention in S4 from the image 6 (S401).
すなわち、本実施形態では、要配慮者が配慮を必要とするか不要であるかの意思表示を可能とするため、要配慮者には事前に所定のマーク（意思表示マーク）が配布されているものとする。このマークには配慮を要することを示すものと配慮が不要であることを示すものがあり、例えば図１１（ａ）は配慮を要することを示す意思表示マーク１０の例、図１１（ｂ）は配慮が不要であることを示す意思表示マーク１０の例である。意思表示マーク１０は要配慮者が携帯可能なカード状のものであるが、その形状やデザインは特に限定されず、それを所持していることが画像６から検出できるものであればよい。
That is, in the present embodiment, in order to enable the person requiring consideration to indicate whether he / she needs consideration or not, a predetermined mark (intention display mark) is distributed to the person requiring consideration in advance. Shall be. Some of the marks indicate that consideration is required and some indicate that consideration is not required. For example, FIG. 11A shows an example of the
サーバ２は、意思表示マーク１０を検出し、それが配慮を要することを示すものであった場合（Ｓ４０１；Ｙｅｓ、Ｓ４０２；配慮要）、配慮を要するとして（Ｓ４０３）、Ｓ４の処理を終了する。配慮が不要であることを示す意思表示マーク１０を検出した場合（Ｓ４０１；Ｙｅｓ、Ｓ４０２；配慮不要）は、配慮が不要であるとして（Ｓ４０４）、Ｓ４の処理を終了する。
When the server 2 detects the
一方、サーバ２は、画像６から意思表示マーク１０を検出しなかった場合（Ｓ４０１；Ｎｏ）、画像６から車内の混雑状況を検出する（Ｓ４０５）。サーバ２は、その検出結果から車内が混雑していると判定される場合（Ｓ４０６；Ｙｅｓ）、配慮を要するとして（Ｓ４０７）、Ｓ４の処理を終了する。
On the other hand, when the server 2 does not detect the
混雑状況の検出および判定の具体的方法は特に限定されず、既知の画像処理手法等を利用することができる。例えば画像６内に存在する人数を車内の混雑状況として検出し、それが所定値以上であれば車内が混雑していると判定できる。 The specific method for detecting and determining the congestion status is not particularly limited, and a known image processing method or the like can be used. For example, the number of people existing in the image 6 is detected as the congestion situation in the vehicle, and if it is equal to or more than a predetermined value, it can be determined that the vehicle is congested.
一方、サーバ２は、Ｓ４０６において車内が混雑していると判定されなかった場合（Ｓ４０６；Ｎｏ）、さらに要配慮者の動作を画像６から検出する（Ｓ４０８）。サーバ２は、その検出結果から要配慮者が移動に困っていると判定される場合（Ｓ４０９；Ｙｅｓ）、配慮を要するとして（Ｓ４１０）、Ｓ４の処理を終了する。 On the other hand, when it is not determined in S406 that the inside of the vehicle is congested (S406; No), the server 2 further detects the operation of the person requiring special attention from the image 6 (S408). When it is determined from the detection result that the person requiring special attention is having trouble moving (S409; Yes), the server 2 terminates the process of S4, assuming that consideration is required (S410).
要配慮者の動作の検出および判定の具体的方法も特に限定されず、既知の画像処理手法等を利用することができる。例えば時系列順の複数コマの画像６において、要配慮者が一定時間移動していない、要配慮者の顔等の向きが複数の方向を向いている（すなわち、要配慮者がキョロキョロと辺りを見回している）等の状況が検出されれば、要配慮者が移動に困っていると判定する。 The specific method of detecting and determining the movement of the person requiring special attention is not particularly limited, and a known image processing method or the like can be used. For example, in the image 6 of a plurality of frames in chronological order, the person requiring attention has not moved for a certain period of time, and the face of the person requiring consideration is facing a plurality of directions (that is, the person requiring consideration is wandering around. If a situation such as (looking around) is detected, it is determined that the person requiring special attention is having trouble moving.
一方、サーバ２は、要配慮者が移動に困っていると判定されなかった場合（Ｓ４０９；Ｎｏ）、配慮が不要であるとして（Ｓ４１１）、Ｓ４の処理を終了する。 On the other hand, if it is not determined that the person requiring consideration is in trouble in moving (S409; No), the server 2 terminates the process of S4, assuming that consideration is unnecessary (S411).
配慮が必要かどうかは、要配慮者の意思、車内の混雑状況、要配慮者の状況等に応じて異なることもある。そこで、上記のようにこれらの観点から要配慮者に対する配慮すなわちアナウンスが必要か否かを判定することで、必要な場合のみアナウンスを行うことができる。 Whether or not consideration is necessary may differ depending on the intention of the person requiring consideration, the congestion situation in the vehicle, the situation of the person requiring consideration, and the like. Therefore, as described above, by determining whether or not consideration for persons requiring special attention, that is, whether or not an announcement is necessary, can be made only when necessary.
以上説明したように、本実施形態の案内システム１では、カメラ３により撮影された画像６から要配慮者が乗車したことを検出し、その要配慮者への配慮を乗客に促すためのアナウンスを自動で行う。これにより、要配慮者の存在を周囲の乗客に気付かせることが可能となる。要配慮者は、自分で声を掛けなくてもその存在を周りの乗客に気付いてもらうことができ、円滑に乗車や車内移動等を行うことができる。また、周りの乗客も要配慮者の存在に早く気付くことができ、自然に手助けすることができる。
As described above, in the guidance system 1 of the present embodiment, it is detected from the image 6 taken by the
また一概に要配慮者といっても前記したように車いすやベビーカーの利用者、ケガ人、視覚障がい者、妊婦など様々な人がいるので、その属性２２１によって例えば移動のため通路を空けて欲しいのか、着席のため席を空けてほしいのか等、してもらいたい配慮は異なる。そこで、本実施形態では要配慮者の属性２２１に応じて異なるアナウンスを行うことにより、要配慮者の属性２２１に応じた配慮を乗客に促すことができる。
In addition, as mentioned above, there are various people such as wheelchair and stroller users, injured people, visually impaired people, pregnant women, etc. The consideration you want to have is different, such as whether you want to vacate your seat because you are seated. Therefore, in the present embodiment, by making different announcements according to the
また、配慮が必要かどうかは、要配慮者の意思、車内の混雑状況、要配慮者の状況等に応じて異なることもある。そこで、本実施形態ではＳ４においてこれらの観点から配慮が必要か否かを判定することで、必要な場合のみアナウンスを行うことができる。 In addition, whether or not consideration is required may differ depending on the intention of the person requiring consideration, the congestion situation in the vehicle, the situation of the person requiring consideration, and the like. Therefore, in the present embodiment, by determining in S4 whether or not consideration is necessary from these viewpoints, the announcement can be made only when necessary.
特に本実施形態では要配慮者が所持する意思表示マーク１０の検出結果を判定に用いることで、要配慮者の意思に応じて配慮が必要か否かを判定することができる。意思表示マーク１０には、配慮が必要なことを示すものだけでなく配慮が不要なことを示すものもあり、要配慮者が配慮を必要とする場合のみならず、配慮が不要の場合にも、その意思を明確に示すことができる。
In particular, in the present embodiment, by using the detection result of the manifestation of
またＳ４では、車両の混雑状況の検出結果を用いた判定も行っており、車両の混雑状況に応じて配慮が必要か否かを判定することで、車内が空いていて特に配慮が必要ない場合にアナウンスをしてしまうのを避けることができる。 Further, in S4, the judgment using the detection result of the congestion status of the vehicle is also performed, and by determining whether or not consideration is necessary according to the congestion status of the vehicle, when the inside of the vehicle is vacant and no particular consideration is required. You can avoid making an announcement to.
Ｓ４では、さらに、要配慮者の動作の検出結果を用いた判定も行っており、要配慮者の状況に応じて配慮が必要か否かを判定することで、例えば要配慮者が移動に困っている場合に、乗客にアナウンスを行うことができる。 In S4, a judgment is also made using the detection result of the movement of the person requiring consideration, and by determining whether or not consideration is necessary according to the situation of the person requiring consideration, for example, the person requiring consideration has trouble moving. If so, you can make an announcement to the passengers.
また本実施形態では乗客へのアナウンスを行う案内装置としてモニタ４とスピーカ５が用いられ、車内のモニタ４でアナウンスの表示出力を行い、車内のスピーカ５でアナウンスの音声出力を行うことで、これらのアナウンスを効果的に連動させることができる。
Further, in the present embodiment, the
さらに、本実施形態では要配慮者の特徴をディープラーニングの手法により学習した学習済みデータ２１を用い、Ｓ２において画像解析を行うので、精度よく要配慮者を検出することが可能となる。なお、このような学習済みデータ２１はＳ４における要否判定において用いることも可能であり、例えば意思表示マーク１０の検出（Ｓ４０１）や要配慮者の動作の検出（Ｓ４０８）などに同様の学習済みデータ２１を用いることができる。
Further, in the present embodiment, since the image analysis is performed in S2 using the learned
しかしながら、本発明が以上の実施形態に限られることはない。例えば本実施形態の案内システム１は電車に設ける例により説明したが、電車に限らずバスなど他の車両においても適用可能である。また案内システム１では、出入口１１０を介して駅のホームから車両１００内に要配慮者が乗車した時だけでなく、出入口１２０を介して隣接車両から車両１００内に要配慮者が乗車した時にも同様の方法で要配慮者の乗車の検出と配慮の要否判定を行うことができる。
However, the present invention is not limited to the above embodiments. For example, the guidance system 1 of the present embodiment has been described by an example provided on a train, but it can be applied not only to a train but also to other vehicles such as a bus. Further, in the guidance system 1, not only when a person requiring special attention gets on the
また、本実施形態ではサーバ２により要配慮者の乗車の検出や配慮の要否判定等を行っているが、これらの処理をカメラ３に備えられたコンピュータ（情報処理装置）で行うことも可能である。
Further, in the present embodiment, the server 2 detects the boarding of the person requiring consideration and determines the necessity of consideration, but it is also possible to perform these processes by the computer (information processing device) provided in the
また本実施形態では、本システム専用の意思表示マーク１０を要配慮者に事前配布しているが、要配慮者が既に所持している所定のマーク、例えばヘルプマークやマタニティマーク、耳マーク、ハートプラスマークなどを、配慮を要することを示す意思表示マーク１０の代わりに用い、Ｓ４０１、Ｓ４０２における判定を行うことも可能である。同様に、配慮を要することを示す意思表示マーク１０の代わりに、前記したベビーカー、車いす、白杖、松葉杖そのものを配慮を要することを示す目印とし、Ｓ４０１、Ｓ４０２における判定を行うこともできる。
Further, in the present embodiment, the manifestation of
また本実施形態ではＳ４における配慮の要否判定に意思表示マーク１０の検出結果、車両の混雑状況の検出結果、要配慮者の動作の検出結果を用いているが、これは一例であり、そのうち１つあるいは２つのみを用いるものであってもよく、画像６から得られる別の情報を用いてもよい。また、どのような場合にアナウンスを行い、どのような場合にアナウンスを行わないかも自由に設定可能である。
Further, in the present embodiment, the detection result of the manifestation of
またカメラ３、モニタ４、スピーカ５等の台数や設置位置なども、図４の例に限らない。例えばカメラ３を車両１００の外面の出入口１１０近傍に設け、当該カメラ３で撮影した画像６から要配慮者の乗車の検出や配慮の要否判定を行うことも可能である。
Further, the number and installation positions of the
その他、本実施形態の案内システム１では、要配慮者が、移動等に駅員の支援等が必要な所定の駅やホームに降車することを検出した場合に、当該駅の駅員にその旨を通知することも可能である。例えば電車がエレベータのない駅またはホームに到着し、前記の画像６から要配慮者の降車が検出されれば、これをその駅の駅員に通知する。通知方法は特に限定されないが、例えばサーバ２から駅の端末や駅員が所持している携帯端末に要配慮者が降車した旨を送信し、アラーム音を鳴動させたりすることができる。 In addition, in the guidance system 1 of the present embodiment, when it is detected that a person requiring special attention gets off at a predetermined station or platform that requires the support of station staff for movement, etc., the station staff at that station is notified to that effect. It is also possible to do. For example, if a train arrives at a station or platform without an elevator and the disembarkation of a person requiring special attention is detected from the above image 6, the station staff at that station is notified. The notification method is not particularly limited, but for example, the server 2 can send a notification that the person requiring special attention has disembarked to the terminal of the station or the mobile terminal owned by the station staff, and sound an alarm sound.
以上、添付図面を参照して、本発明に係る案内システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 Although preferred embodiments of the guidance system and the like according to the present invention have been described above with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the technical idea disclosed in the present application, and these also naturally belong to the technical scope of the present invention. Understood.
１：案内システム
２：サーバ
３、３ａ、３ｂ、３ｃ：カメラ
４：モニタ
５：スピーカ
６：画像
１０：意思表示マーク
２１：学習済みデータ
２２：アナウンス情報
６１：ベビーカー
１００：車両
１１０、１２０：出入口
２１０：解析手段
２２０：判定手段
２２１：属性
２２２：アナウンスデータ
２３０：送信手段
1: Guidance system 2:
Claims (12)
カメラと、情報処理装置と、案内装置と、を有し、
前記情報処理装置は、
前記カメラで撮影された画像の解析を行い、要配慮者の乗車を検出する解析手段と、
前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信する送信手段と、
を備え、
前記案内装置は、前記アナウンスデータの出力を行うことを特徴とする案内システム。 It is a guidance system for making announcements to passengers in vehicles.
It has a camera, an information processing device, and a guidance device.
The information processing device
An analysis means that analyzes the image taken by the camera and detects the ride of a person requiring special attention.
A transmission means for transmitting announcement data to the guidance device for encouraging passengers to give consideration to the detected persons requiring special attention, and
With
The guidance device is a guidance system characterized by outputting the announcement data.
前記送信手段は、前記属性に応じたアナウンスデータを前記案内装置に送信することを特徴とする請求項１記載の案内システム。 The analysis means acquires the attributes of the person requiring special attention from the image and obtains them.
The guidance system according to claim 1, wherein the transmission means transmits announcement data according to the attribute to the guidance device.
前記送信手段は、前記要配慮者に対する配慮が必要と判定された場合に、前記アナウンスデータを前記案内装置に送信することを特徴とする請求項１または請求項２に記載の案内システム。 The information processing device further has a determination means for determining whether or not consideration for the person requiring consideration is necessary by using the image.
The guidance system according to claim 1 or 2, wherein the transmission means transmits the announcement data to the guidance device when it is determined that consideration for the person requiring consideration is required.
カメラで撮影された画像の解析を行い、要配慮者の乗車を検出する解析手段と、
前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信する送信手段と、
を備えることを特徴とする情報処理装置。 An information processing device that is communicatively connected to a guidance device for making announcements to passengers in a vehicle.
An analysis method that analyzes the image taken by the camera and detects the ride of a person requiring special attention.
A transmission means for transmitting announcement data to the guidance device for encouraging passengers to give consideration to the detected persons requiring special attention, and
An information processing device characterized by being equipped with.
カメラで撮影された画像の解析を行い、要配慮者の乗車を検出するステップと、
前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信するステップと、
を実行することを特徴とする案内方法。 An information processing device communicatively connected to a guidance device for making announcements to passengers in the vehicle
Steps to analyze the image taken by the camera and detect the ride of a person requiring special attention,
A step of transmitting announcement data to the guidance device for urging passengers to give consideration to the detected person requiring special attention, and
Guidance method characterized by executing.
カメラで撮影された画像の解析を行い、要配慮者の乗車を検出する解析手段と、
前記検出された要配慮者への配慮を乗客に促すためのアナウンスデータを前記案内装置に送信する送信手段と、
として機能させるためのプログラム。 An information processing device that is communicatively connected to a guidance device for making announcements to passengers in the vehicle.
An analysis method that analyzes the image taken by the camera and detects the ride of a person requiring special attention.
A transmission means for transmitting announcement data to the guidance device for encouraging passengers to give consideration to the detected persons requiring special attention, and
A program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019161074A JP2021039582A (en) | 2019-09-04 | 2019-09-04 | Guidance system, information processing device, guidance method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019161074A JP2021039582A (en) | 2019-09-04 | 2019-09-04 | Guidance system, information processing device, guidance method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021039582A true JP2021039582A (en) | 2021-03-11 |
Family
ID=74847139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019161074A Pending JP2021039582A (en) | 2019-09-04 | 2019-09-04 | Guidance system, information processing device, guidance method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021039582A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11961400B2 (en) | 2021-06-29 | 2024-04-16 | Toyota Jidosha Kabushiki Kaisha | Passenger vehicle and operation management system |
| JP7505511B2 (en) | 2022-01-17 | 2024-06-25 | トヨタ自動車株式会社 | Audio output method |
-
2019
- 2019-09-04 JP JP2019161074A patent/JP2021039582A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11961400B2 (en) | 2021-06-29 | 2024-04-16 | Toyota Jidosha Kabushiki Kaisha | Passenger vehicle and operation management system |
| JP7505511B2 (en) | 2022-01-17 | 2024-06-25 | トヨタ自動車株式会社 | Audio output method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7020560B2 (en) | Notification device, notification control device, notification system, notification method and program | |
| JP6029617B2 (en) | Group management elevator equipment | |
| JPWO2016002400A1 (en) | Guidance processing apparatus and guidance method | |
| JP2011057322A (en) | Elevator system | |
| JP2021039582A (en) | Guidance system, information processing device, guidance method, and program | |
| EP3617941A1 (en) | Information processing apparatus and information processing method | |
| JP6483214B1 (en) | Elevator system and elevator lost child detection method | |
| JP2016216202A (en) | elevator | |
| US20220341247A1 (en) | Automatic door passage assistance apparatus, passage assistance method, program, and recording medium | |
| JP2022541703A (en) | Transportation control method and device, electronic device and storage medium | |
| JP6058742B2 (en) | Elevator system | |
| JP7265404B2 (en) | Information processing device and information processing method | |
| JP2020046727A (en) | Device for vehicle and driving support program | |
| JPWO2019180860A1 (en) | Elevator hall guidance device | |
| JP2014177341A (en) | Control device for elevator and elevator apparatus | |
| JP2015101442A (en) | Elevator system | |
| JP2009091052A (en) | Elevator controller | |
| JP2019172468A (en) | Elevator control device | |
| KR20120059752A (en) | Emotion recognition apparatus and system for announce blind persons, method for announce using the same and recording medium thereof | |
| CN112238458B (en) | Robot management device, robot management method, and robot management system | |
| JP2015117082A (en) | Announce device for elevator and announce volume determination method for elevator | |
| JP6643221B2 (en) | Elevator guidance device | |
| JP2002163760A (en) | System, apparatus, and method for conducting guidance, and computer-readable recording medium with program making computer implement the same method recorded thereon | |
| JP7468322B2 (en) | Information processing device, information processing program, and monitoring system | |
| JP5737752B2 (en) | Image display system, image display apparatus, image display method, and program |