JP2020059607A - Elevator user support system - Google Patents
Elevator user support system Download PDFInfo
- Publication number
- JP2020059607A JP2020059607A JP2019232419A JP2019232419A JP2020059607A JP 2020059607 A JP2020059607 A JP 2020059607A JP 2019232419 A JP2019232419 A JP 2019232419A JP 2019232419 A JP2019232419 A JP 2019232419A JP 2020059607 A JP2020059607 A JP 2020059607A
- Authority
- JP
- Japan
- Prior art keywords
- car
- person
- processing unit
- model pattern
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012559 user support system Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 189
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 60
- 238000004891 communication Methods 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 6
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 20
- 230000009191 jumping Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000000725 suspension Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000003028 elevating effect Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 235000005282 vitamin D3 Nutrition 0.000 description 1
- 239000011647 vitamin D3 Substances 0.000 description 1
Images
Landscapes
- Elevator Door Apparatuses (AREA)
- Image Analysis (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
Description
本発明は、エレベータの利用者をサポートするエレベータの利用者サポートシステムに関する。 The present invention relates to an elevator user support system that supports elevator users.
従来から、エレベータのかご内に監視カメラを設置し、監視カメラによりかご内の状況を撮像して記録し、この記録内容を事後的に確認できるエレベータ用防犯カメラシステムが提供されている。かかる防犯カメラシステムでは、記録したカメラの画像を表示させてかご内の状況を確認することができる。 2. Description of the Related Art Conventionally, there has been provided a security camera system for elevators in which a surveillance camera is installed in a car of an elevator, the situation in the car is imaged and recorded by the surveillance camera, and the recorded contents can be confirmed afterwards. In such a security camera system, it is possible to display the recorded image of the camera and check the situation in the car.
しかし、従来の防犯カメラシステムでは、監視カメラの撮像画像を事後的に表示部に表示させるため、かご内の現状を確認することができず、かご内に居る利用者がトラブル(例えば、急病、操作の戸惑い)に見舞われていても、そのトラブルに対して迅速な対応を取ることもできない。 However, in the conventional security camera system, since the captured image of the surveillance camera is displayed on the display unit after the fact, it is not possible to confirm the current state of the car, and the user in the car has trouble (for example, sudden illness, Even if you are confused by the operation), you cannot take prompt action against the trouble.
そこで、本発明は、エレベータの利用者の状況に応じて利用者をサポートすることができるエレベータの利用者サポートシステムを提供する。 Therefore, the present invention provides an elevator user support system capable of supporting a user according to the situation of the elevator user.
本発明のエレベータの利用者サポートシステムは、エレベータに配置された制御マイコンと、前記エレベータのかご内を経時的に撮像する撮像装置と、前記制御マイコンと接続され且つ前記撮像装置が撮像した画像を処理する処理部と、前記処理部の指示に基づき前記エレベータの利用者の状況に応じた所定の動作を実行する実行部と、前記撮像装置が撮像した画像との比較の対象となるモデルデータを記憶する記憶部と、を備え、前記モデルデータは、少なくとも一つの人のモデルパターンを含み、前記処理部は、前記撮像装置が撮像した複数の画像のうちの少なくとも二つの画像から、それぞれエッジを抽出する第一処理と、前記少なくとも二つの画像から抽出されたエッジのうちの人に対する像のエッジに、それぞれ前記人のモデルパターンを当てはめる第二処理と、前記第二処理における前記少なくとも二つの画像に対する前記人のモデルパターンの当てはめに基づいて、人の状況を把握する第三処理と、前記第三処理で把握した人の状況に応じて所定の動作を前記実行部に実行させる第四処理と、を行うことを特徴とする。 An elevator user support system of the present invention includes a control microcomputer arranged in the elevator, an image pickup device for picking up an image of the inside of the elevator car over time, and an image connected to the control microcomputer and picked up by the image pickup device. Model data to be compared with a processing unit that processes, an execution unit that executes a predetermined operation according to the situation of the user of the elevator based on an instruction from the processing unit, and model data to be compared with an image captured by the imaging device. A storage unit for storing the model data, the model data includes a model pattern of at least one person, the processing unit, from at least two images of the plurality of images captured by the imaging device, an edge, respectively. The first process for extracting and the edge of the image of the person among the edges extracted from the at least two images are respectively included in the model pattern of the person. Second process of applying a pattern, a third process of grasping a person's situation based on the fitting of the person's model pattern to the at least two images in the second process, and a person grasped in the third process. And a fourth process for causing the execution unit to execute a predetermined operation according to the situation.
上記エレベータの利用者サポートシステムでは、人のモデルパターンを用いた画像認識によって、かご内の人の状況が適正に認識され、この認識に基づいて、実行部が所定の動作(利用者の状況に応じたサポート)を行う。これにより、エレベータの利用者の状況に応じたサポートが行われる。 In the elevator user support system, the situation of the person in the car is properly recognized by the image recognition using the person's model pattern, and based on this recognition, the execution unit performs a predetermined operation (in the situation of the user, Support). As a result, support is provided according to the situation of the elevator user.
前記エレベータの利用者サポートシステムでは、前記モデルデータは、少なくとも一つのかごの内部構造のモデルパターンも含み、前記第二処理は、前記少なくとも二つの画像のうちの一つの画像から抽出されたエッジにおけるかごの内部構造に対する像のエッジに前記かごの内部構造のモデルパターンを当てはめる第一ステップと、前記一つの画像から抽出されたエッジのうちの前記かごの内部構造のモデルパターンに重なるエッジ以外のエッジに、前記人のモデルパターンを当てはめる第二ステップと、前記少なくとも二つの画像のうち前記一つの画像以外の画像から抽出されたエッジにおける前記かごの内部構造のモデルパターンに重なるエッジ以外のエッジに、前記第二ステップにおいて当てはめた人のモデルパターンを当てはめる第三ステップとを有してもよい。 In the elevator user support system, the model data also includes a model pattern of the internal structure of at least one car, and the second process is performed on an edge extracted from one of the at least two images. A first step of applying the model pattern of the internal structure of the car to the edges of the image with respect to the internal structure of the car; and edges other than the edges that overlap the model pattern of the internal structure of the car among the edges extracted from the one image In the second step of applying the person's model pattern, to the edges other than the edges overlapping the model pattern of the internal structure of the car in the edges extracted from images other than the one image of the at least two images, Apply the model pattern of the person who fits in the second step. It may have a third step.
かかる構成によれば、撮像画像から抽出されたエッジのうちかごの内部構造のモデルパターンに重なるエッジ以外のエッジに対して人のモデルパターンを当てはめることで、より適正に人のモデルパターンの当てはめることができるため、かご内の人の状況がさらに適正に認識できる。これにより、エレベータの利用者の状況に応じたサポートがより適正に行われる。 According to such a configuration, by fitting the human model pattern to edges other than the edges that overlap the model pattern of the internal structure of the car among the edges extracted from the captured image, it is possible to more appropriately fit the human model pattern. Therefore, the situation of the person in the car can be recognized more properly. Thereby, the support according to the situation of the elevator user is more appropriately performed.
前記エレベータの利用者サポートシステムでは、前記実行部は、前記エレベータの前記かご内に配置される報知装置を有し、前記処理部は、前記第四処理において、前記報知装置に前記所定の動作として、前記把握した人の状況に応じた情報を報知させてもよい。 In the elevator user support system, the execution unit has a notification device arranged in the car of the elevator, the processing unit, in the fourth process, the notification device as the predetermined operation. Alternatively, information corresponding to the grasped person's situation may be notified.
かかる構成によれば、報知装置が、かご内の利用者の状況に応じた情報を報知するため、利用者の状況に応じた情報(利用者にとって必要な情報)を提供できる。 According to this configuration, the notification device notifies the information according to the situation of the user in the car, so that the information according to the situation of the user (information necessary for the user) can be provided.
前記エレベータの利用者サポートシステムでは、前記実行部は、公衆回線に接続される通信部を有し、前記処理部は、前記第四処理において、前記通信部に前記所定の動作として、前記把握した人の状況についての情報を送信させてもよい。 In the elevator user support system, the execution unit has a communication unit connected to a public line, and the processing unit recognizes the communication unit in the fourth process as the predetermined operation. Information about a person's situation may be sent.
かかる構成によれば、かご内の利用者の状況についての情報を通信部によって外部(公衆回線)に送信させるため、例えば、公衆回線に接続された外部のセンター等のシステム外の端末等を利用して、利用者の状況に応じた対応を行わせることができる。 According to such a configuration, in order to cause the communication unit to transmit the information about the situation of the user in the car to the outside (public line), for example, a terminal outside the system such as an external center connected to the public line is used. Then, it is possible to make a response according to the situation of the user.
前記エレベータの利用者サポートシステムでは、前記画像は、前記かごの出入り口から見える乗り場も含み、前記実行部は、前記かごのドアを開閉する開閉装置であり、前記処理部は、前記第三処理において、前記乗り場を含む画像に基づいて前記かごに対する人の乗り降りを把握し、前記第四処理において、前記開閉装置に前記所定の動作として、前記把握した人の乗り降りに応じてドアを開閉させてもよい。 In the elevator user support system, the image also includes a landing that can be seen from the entrance of the car, the execution unit is an opening and closing device for opening and closing the door of the car, the processing unit, in the third process , Grasping a person getting on and off the car on the basis of an image including the landing, and in the fourth processing, as the predetermined operation, the opening and closing device opens and closes the door according to the person getting on and off. Good.
かかる構成によれば、開閉装置が、人の乗り降りに応じてドアの開閉を制御するため、例えば、人のかごへの乗り降りしている最中にドアが人の乗り降りを妨げることを防止し、人のかごへの乗り降りのタイミングに応じてドアを開閉することができる。 According to this configuration, the opening and closing device controls the opening and closing of the door according to the getting on and off of the person, so that, for example, the door prevents the door from obstructing getting on and off of the person while getting on and off the person's car, The door can be opened and closed depending on the timing of getting on and off a person's car.
前記エレベータの利用者サポートシステムでは、前記実行部は、前記かごを昇降駆動する駆動装置を有し、前記処理部は、前記第三処理において、前記かご内の画像に基づいて前記かごの揺れにつながる人の挙動を把握し、前記第四処理において、前記駆動装置に前記所定の動作として、前記把握した人の挙動に応じた前記かごの運転を行わせてもよい。 In the elevator user support system, the execution unit has a drive device that drives the car up and down, the processing unit, in the third process, to shake the car based on the image in the car The behavior of the connected person may be grasped, and in the fourth processing, the driving device may drive the car according to the grasped behavior of the person as the predetermined operation.
かかる構成によれば、かごの揺れにつながる人の挙動が把握されると、この挙動に応じたかごの運転が行われる、例えば、かごが揺れている場合にかごの速度を抑えることで、かごの揺れによるかご内への利用者の閉じ込め等が抑制され、その結果、利用者をより適正にサポートすることができる。 According to such a configuration, when the behavior of the person leading to the swing of the car is grasped, the car is driven according to this behavior, for example, by suppressing the speed of the car when the car is shaking, It is possible to prevent the user from being trapped in the car due to the shaking of the vehicle, and as a result, to support the user more appropriately.
以上より、本発明によれば、エレベータの利用者の状況に応じて利用者をサポートすることができる。 As described above, according to the present invention, the user can be supported according to the situation of the elevator user.
以下、本発明に係るエレベータの利用者サポートシステム(以下、単に利用者サポートシステムという)について説明する。利用者サポートシステムは、かご内の撮像画像に基づき利用者の状況を把握し、この状況に応じて利用者をサポートするシステムである。 Hereinafter, an elevator user support system according to the present invention (hereinafter, simply referred to as a user support system) will be described. The user support system is a system that grasps the situation of the user based on the captured image in the car and supports the user in accordance with this situation.
利用者サポートシステムは、図1に示すように、エレベータ2に配置される制御マイコン20と、エレベータ2のかご21内を経時的に撮像するカメラ(撮像装置)210と、カメラ210による撮像画像を処理する処理部23と、撮像画像との比較の対象となるモデルデータを記憶する記憶部221と、エレベータ2の利用者の状況に応じた所定の動作を実行する実行部10と、を備える。
As shown in FIG. 1, the user support system includes a
本実施形態の利用者サポートシステム1では、カメラ210に画像認識装置22が接続されている。記憶部221は、画像認識装置22に備えられている。また、処理部23は、画像認識装置22に備えられた画像認識処理部220と、制御マイコン20に備えられたマイコン処理部200とを含む。
In the
例えば、エレベータ2は、昇降路を昇降するかご21、エレベータ2の動作状況に関する情報を出力する制御マイコン20、及び、制御マイコン20とカメラ210との間に接続された画像認識装置22に加えて、制御マイコン20にそれぞれ接続された音声認識装置24と音声案内装置25と表示案内装置26と駆動装置27とを有する。
For example, in addition to the
かご21は、カメラ210に加えて、例えば、それぞれかご21内に配置され、且つ、音声認識装置24に接続され且つかご21内の音声を集音するマイク(集音器)211、音声案内装置25に接続され且つかご21内に音声を出力するスピーカー212、及び、表示案内装置26に接続され且つかご21内に文字情報等を表示するディスプレイ(表示部)213と、開閉するドア214と、ドア214を開閉する開閉装置215と、天井と壁と床とを含むかご枠と、階床釦等を含む操作盤と、を含む。
In addition to the
本実施形態の利用者サポートシステム1は、制御マイコン20に接続された監視端末3と、監視端末3に接続された第一サーバー(通信部)4と、第一サーバー4に接続された第二サーバー5とを備える。また、本実施形態の利用者サポートシステム1は、第一サーバー4にそれぞれ接続可能な管理者端末6と技術員端末7とを備える。
The
例えば、実行部10は、スピーカー(報知装置)212と、ディスプレイ(報知装置)213と、制御マイコン20に接続された第一サーバー(通信部)4と、開閉装置215と、かご21を昇降駆動する駆動装置27とを含む。
For example, the
尚、図1では一台のエレベータ2が示されているが、本実施形態の利用者サポートシステム1は、複数のエレベータを備える。また、図1では一台の管理者端末6及び技術員端末7が示されているが、本実施形態の利用者サポートシステム1は、複数の管理者端末6及び複数の技術員端末7を備える。
Although one
カメラ210は、例えば、かご21内の天井に配置され、かご21内を経時的に撮像する。また、カメラ210は、かご21内の撮像画像(複数の撮像画像)を画像認識装置22に出力可能である。かご21内には、例えば、かご21内を監視するために一台の監視カメラが設けられており、本実施形態の利用者サポートシステム1では、カメラ210として、この監視カメラが用いられる。
The
具体的に、カメラ210は、断続的に(所定時間毎(例えば、1秒毎)に)かご21内の撮影を繰り返し行う。尚、カメラ210は、連続的にかご21内の撮影を行ってもよい。また、本実施形態の利用者サポートシステム1では、カメラ210が、かご出入口から見える乗り場を撮影可能な位置に設置されている。このため、カメラ210で撮影される撮像画像は、この乗り場も含む場合(ドアの戸開時等)がある。
Specifically, the
画像認識装置22、音声認識装置24、音声案内装置25、及び、表示案内装置26は、例えば、かご21の外側に設けられたマイコンである。具体的に、音声認識装置24は、マイク211で集音された音声を解析して、制御マイコン20を介して監視端末3に出力可能である。音声案内装置25は、制御マイコン20を介して監視端末3から入力された情報に基づき、スピーカー212から音声を出力可能である。表示案内装置26は、制御マイコン20を介して監視端末3から入力された情報に基づき、ディスプレイ213から、例えば、文字情報を出力可能である。
The image recognition device 22, the voice recognition device 24, the voice guidance device 25, and the display guidance device 26 are, for example, microcomputers provided outside the
制御マイコン20は、監視端末3に通信系統R1を介して接続されている。通信系統R1は、例えば、制御マイコン20から公衆回線(電話回線)を介して監視端末3に通信可能であり、且つ、監視端末3から公衆回線(電話回線)を介して制御マイコン20に通信可能な通信系統である。
The
本実施形態の利用者サポートシステム1では、画像認識装置22は、撮像画像から人を検知する処理を行うと共に人の状況を把握し且つこの状況に応じた所定の動作を実行部10に実行させる画像認識処理部220と、撮像画像との比較の対象となるモデルデータとして、少なくとも一つの人のモデルパターンを記憶している記憶部221とを含む。
In the
本実施形態の利用者サポートシステム1では、記憶部221は、かご21の内部構造のモデルパターン、及び、複数の人のモデルパターンを記憶している。また、記憶部221は、かご21の内部構造及び人のモデルパターンとして、それぞれ、かご21及び人の輪郭(エッジ)を記憶している。人のモデルパターンは、例えば、各エレベータに共通したモデルパターンとして設定されている。かごの内部構造のモデルパターンは、例えば、各エレベータに個別に設定されている。
In the
例えば、記憶部221は、人のモデルパターンとして、シルエットが異なる人のモデルパターンを記憶している。具体的には、記憶部221は、一般的なシルエット(一般的な服装)の人のモデルパターン、帽子を着用した人のモデルパターン、着物を着用した人のモデルパターン等を記憶している。より具体的に、記憶部221に記憶されている一般的な人のモデルパターンは、図2に示すように、人における頭部、両耳、胴部、両腕、及び両脚を簡略化したものの輪郭を結ぶ線(ワイヤーフレーム)で構成される。
For example, the
本実施形態の利用者サポートシステム1では、記憶部221は、第一サーバー4より出力されたかご21の内部構造のモデルパターンを記憶している。より具体的に、記憶部221に記憶されているかご21の内部構造のモデルパターンは、図3に示すように、開閉するドア214の輪郭を結ぶ線、天井と壁と床とを含むかご枠216の輪郭を結ぶ線、及び、階床釦等を含む操作盤217の輪郭を結ぶ線で構成される。
In the
また、本実施形態の利用者サポートシステム1では、記憶部221は、かご21内の人の状況(かご21内での人為的トラブル)に関連付けて、この状況に応じた所定の動作を記憶している。尚、人為的なトラブルとは、かご21の揺れにつながる人の挙動(飛び跳ね、屈伸、足踏み、喧嘩、及び、暴れ等)、人倒れ、昇降釦の操作が無い状況、人がゆっくりとかご21への乗り降りを行っている状況、及び、人によるドア214の押さえ等である。
Further, in the
より具体的に、記憶部221は、人の飛び跳ね等によりかご21が揺れている状況と、スピーカー212によるアナウンス、ディスプレイ213による情報の表示、及びかごの走行速度の制限といった動作とを関連付けて記憶すると共に、かご21内で人が倒れている状況と、スピーカー212によるアナウンス及び第一サーバー4による通報とを関連付けて記憶している。また、記憶部221は、かご21内が有人であり且つ一定時間昇降釦が操作されていない状況と、スピーカー212によるアナウンス及びディスプレイ213による情報の表示とを関連付けて記憶する。さらに、記憶部221は、人がゆっくりとかご21への乗り降りを行っている状況と、ドア214の戸開状態での維持とを関連付けて記憶すると共に、人がかご21のドアを押さえている状況と、スピーカー212によるアナウンス及びドア214の戸開状態での維持とを関連付けて記憶している。尚、記憶部221は、かご21内の人の状況を判定するための条件も記憶している。この具体的な条件については、処理部23による処理と共に後述する。
More specifically, the
さらに、本実施形態の利用者サポートシステム1では、記憶部221は、かごが運転休止対象となるかご内の人為的なトラブルも記憶している。かごの運転休止とは、かごが複数あるエレベータについて、運転休止対象となったかごを呼び当て対象のかご(エレベータの乗り場における呼び出し釦が押されたとき、呼び出し階に向かう対象のかご)から除外することである。運転休止対象となるかご内の人為的なトラブルは、例えば、かご内での人の暴れである。
Further, in the
処理部23は、かご21内に人を検出すると、かご21内での人為的トラブルの有無を判定し、このトラブルの内容に応じた所定の動作を実行部10に実行させるという一連の処理を繰り返す。例えば、処理部23は、一定期間カメラ210が経時的に撮像したかご21内の撮像画像(複数の撮像画像)を取得し、この撮像画像から人が検出された場合に、かご21内の人の状況を把握し(かご21内での人為的トラブルの有無を判定し)、この状況(トラブル)に応じて所定の動作を実行部10に実行させるという一連の処理を繰り返す。この処理(第一、第二、第三処理)について、以下、詳細に説明する。
When the
まず、画像認識処理部220は、取得した複数の撮像画像のうち少なくとも二つの画像から、それぞれエッジを抽出する第一処理を行う。具体的に、画像認識処理部220は、取得した複数の画像の各々に対して、濃度の補正、歪みの補正、及び、ノイズの除去等の前処理を行った後、各画像において輝度が急激に変わる境界をエッジとして抽出する。 First, the image recognition processing unit 220 performs a first process of extracting edges from at least two images of the plurality of acquired captured images. Specifically, the image recognition processing unit 220 performs preprocessing such as density correction, distortion correction, and noise removal on each of the acquired images, and then the brightness of each image is sharply increased. The boundary that changes to is extracted as an edge.
画像認識処理部220は、先ほどの少なくとも二つの画像(本実施形態の利用者サポートシステム1では、取得した複数の画像)から抽出されたエッジのうちの人に対する像のエッジに、それぞれ人のモデルパターンを当てはめる第二処理を行う。尚、画像認識処理部220は、抽出されたエッジに、各モデルパターン(かごの内部構造のモデルパターン、及び、人のモデルパターン)のサイズとカメラ210の視野(カメラ210の座標)とを整合させて当てはめることで、撮像画像から抽出されたエッジに対して各モデルパターンを当てはめる。
The image recognition processing unit 220 sets the model pattern of each person to the edge of the image of the person among the edges extracted from the at least two images described above (the plurality of images acquired in the
具体的に、画像認識処理部220は、第二処理において、取得した複数の画像のうちの一つの画像(以下、第一の画像と言う)から抽出されたエッジにおけるかご21の内部構造に対する像のエッジに、かご21の内部構造のモデルパターンを当てはめる第一ステップを行う。次に、画像認識処理部220は、第二処理において、この一つの画像から抽出されたエッジのうちのかご21の内部構造のモデルパターンに重なるエッジ以外のエッジのうち人に対する像のエッジに、人のモデルパターンを当てはめる第二ステップを行う。
Specifically, the image recognition processing unit 220, in the second process, an image of the internal structure of the
その後、画像認識処理部220は、第二処理において、先ほどの少なくとも二つの画像(本実施形態の利用者サポートシステム1では、取得した複数の画像)のうちの第二ステップで人のモデルパターンを当てはめた画像以外の画像(先ほどの少なくとも二つの画像(本実施形態の利用者サポートシステム1では、取得した複数の画像)のうちの第一の画像以外の画像)から抽出されたエッジにおけるかご21の内部構造のモデルパターンに重なるエッジ以外のエッジに、第二ステップにおいて当てはめた人のモデルパターンを当てはめる第三ステップを行う。
Then, in the second process, the image recognition processing unit 220 determines the human model pattern in the second step of the at least two images (the plurality of images acquired in the
以下、上述した第二処理における第一ステップから第三ステップについて、より詳細に説明する。画像認識処理部220は、第一ステップにおいて、第一の画像から抽出されたエッジに、かごの内部構造のモデルパターンを重ねて、この重なった部分(かごの内部構造のモデルパターンに重なるエッジ)を取り除き、人体特徴があるか否か(例えば、人の頭部に重なる円形状のエッジがあるか否か、胴体に重なる筒状のエッジがあるか否か、及び、四肢に重なる形状のエッジがあるか否か)を判定する。
画像認識処理部220は、円形状のエッジ等があると判定した場合、かご21内が有人である(かご21内に人を検出した)として、第二ステップにおいて、この円形状のエッジと、人のモデルパターンの頭部に対応する箇所が重なるよう、人のモデルパターンのサイズとカメラ210の視野とを整合させて、第一の画像から抽出されたエッジに人のモデルパターンを当てはめる。また、画像認識処理部220は、第二ステップにおいて、第一の画像における当てはめた人のモデルパターンの接地位置(具体的には、人のモデルパターンとかご21の床面との接地位置)に基づいて、空間における人の存在位置と、人の占有する空間とを認識する。尚、画像認識処理部220は、第一の画像における当てはめた人のモデルパターンの接地位置が確認できない場合には、推定した接地位置に基づいて、人の存在位置と人の占有する空間とを認識する。次に、画像認識処理部220は、第一の画像から抽出されたエッジに当てはめた人のモデルパターンから、各ポイントの座標を算出する。人のモデルパターンの座標は、例えば、図2のP1で示すように、頭部頂点、両耳、両肩、両肘、両手の先、両腰、両膝、両踵、両脚の爪先等の座標である。
Hereinafter, the first step to the third step in the above-described second processing will be described in more detail. In the first step, the image recognition processing unit 220 superimposes the model pattern of the internal structure of the car on the edge extracted from the first image, and overlaps this (the edge that overlaps the model pattern of the internal structure of the car). Whether there is a human feature (for example, whether there is a circular edge that overlaps the human head, whether there is a cylindrical edge that overlaps the body, and whether there is an edge that overlaps the limbs). Whether or not there is).
If the image recognition processing unit 220 determines that there is a circular edge or the like, it is determined that the
画像認識処理部220は、第三ステップにおいて、先ほどの少なくとも二つの画像のうち第一の画像以外の画像に対して、第二ステップで当てはめた人のモデルパターンを当てはめる。より具体的に、画像認識処理部220が、第三ステップにおいて、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジから、第一の画像のかご21の内部構造のモデルパターンに重なったエッジを除き、このエッジに第二ステップにおいて当てはめた人のモデルパターンを当てはめる。その後、画像認識処理部220は、この第一の画像以外の画像に当てはめた人のモデルパターンから各ポイントの座標を算出する。
In the third step, the image recognition processing unit 220 applies the model pattern of the person fitted in the second step to the images other than the first image among the at least two images described above. More specifically, in the third step, the image recognition processing unit 220 determines the internal structure of the
尚、画像認識処理部220は、各画像から抽出したエッジに円形状のエッジ等が無いと判定した場合、かご21内が無人であるとして、各画像から抽出したエッジに対する人のモデルパターンの当てはめの処理を終了する。
If the image recognition processing unit 220 determines that the edge extracted from each image does not have a circular edge or the like, it is determined that the inside of the
以下、第一処理及び第二処理の後に行う第三処理及び第四処理について説明する。 Hereinafter, the third process and the fourth process performed after the first process and the second process will be described.
画像認識処理部220は、先ほどの少なくとも二つの画像(本実施形態の利用者サポートシステム1では、取得した複数の画像)に対して第二処理で当てはめた人のモデルパターンに基づき、かご21内の人の状況を把握する第三処理を行う。具体的に、画像認識処理部220は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの座標が一定の期間において特定の位置にあるか否か、及び、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの座標の変化が特定の挙動を示しているか否かにより、かご21内の人の状況を把握する。
The image recognition processing unit 220 determines the inside of the
尚、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像は、第二処理で人のモデルパターンを当てはめた撮像画像のうち、その撮像時刻が前後する撮像画像である。また、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像が三枚以上ある場合、「第二処理で当てはめた人のモデルパターンの座標が特定の座標にあるとき」は、人のモデルパターンの座標が特定の座標と重なるときに加えて、人のモデルパターンの座標が移動により到達すると予測される座標(動線予測による座標)が特定の座標と重なるときも含む。第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像が三枚以上ある場合、「人のモデルパターンの座標の変化が特定の挙動を示しているとき」は、同様に、人のモデルパターンの座標の変化が特定の挙動を示すときに加えて、人のモデルパターンの座標が移動により到達すると予測される座標(動線予測による座標)の変化が特定の挙動を示しているときも含む。 The captured images before and after the captured image to which the human model pattern is applied in the second process are captured images whose captured times are before and after among the captured images to which the human model pattern is applied in the second process. Further, when there are three or more captured images before and after in the captured image to which the human model pattern is fitted in the second processing, “when the coordinates of the human model pattern fitted in the second processing are at specific coordinates”, In addition to the case where the coordinates of the person's model pattern overlap with the specific coordinates, the case where the coordinates predicted to be reached by the movement of the person's model pattern (the coordinates by the flow line prediction) overlap with the specific coordinates are also included. When there are three or more captured images before and after in the captured image to which the human model pattern is applied in the second processing, “when the change in the coordinates of the human model pattern shows a specific behavior”, similarly, In addition to the change in the coordinate of the model pattern showing a specific behavior, the change in the coordinate predicted by the movement of the coordinate of the human model pattern (the coordinate by the flow line prediction) shows the specific behavior. Including time.
より具体的に、画像認識処理部220は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの座標が、上下方向又は水平方向の往復動するように変化している場合、人の飛び跳ね等によりかご21が揺れている状況であると判定し、この人のモデルパターンの両肩や両肘等の座標が、ある一定の期間、かご21の床と接触している場合、かご21内で人が倒れている状況であると判定する。また、画像認識処理部220は、かご21内に人を検知し且つ一定期間において昇降釦の操作が制御マイコン20に入力されていない場合、かご21内が有人であり且つ昇降釦の操作が無い状況であると判定する。
More specifically, the image recognition processing unit 220 causes the coordinates of the person's model pattern in the captured images before and after the captured image to which the person's model pattern is applied in the second process to reciprocate in the vertical direction or the horizontal direction. If the
画像認識処理部220は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像(乗り場を含む画像)での人のモデルパターンの座標が、ドア214が開いた状態でかご出入口を通るようにゆっくりと変化する場合、人のかご21に対する乗り降りがゆっくりと行われていると判断する。さらに、画像認識処理部220は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの両手の先の座標のうち少なくとも一方がある一定の期間ドア214と重なっており、且つ、ドア214が一定時間において戸開状態で維持されている場合、人がかご21のドア214を押さえている状況であると判定する。これらの判定条件は、上述のように、記憶部221に記憶されている。
The image recognition processing unit 220 determines that the coordinates of the person's model pattern in the captured images before and after (the image including the landing) in the captured image in which the person's model pattern is fitted in the second process are the car entrance and exit with the
このように、かご21内での人の検知の直後に、カメラ210による撮像画像から抽出したエッジに、人のモデルパターンを当てはめることで、かご21内の人の状況を判定することができる。そのため、本実施形態の利用者サポートシステム1では、人の状況をリアルタイムで把握することができる。
Thus, immediately after the detection of the person in the
画像認識処理部220は、第三処理による判定結果(人為的なトラブル)をマイコン処理部200に出力する。尚、本実施形態の利用者サポートシステム1では、画像認識処理部220は、この判定結果(人為的なトラブル)を第一サーバー4にも出力する。これにより、制御マイコン20は、後述のように、人為的なトラブルの内容に対応した所定の動作を実行部10に実行させることができる。
The image recognition processing unit 220 outputs the determination result (man-made trouble) by the third process to the microcomputer processing unit 200. In the
マイコン処理部200は、画像認識処理部220から人為的なトラブルがある旨入力されると、この入力されたかご21内の人の状況(かご21内の人為的なトラブル)に応じて、記憶部221に記憶されている所定の動作のうち少なくとも一つを実行部10に実行させる第四処理を行う。具体的に、マイコン処理部200は、スピーカー212及びディスプレイ213に、所定の動作として把握した人の状況に応じた情報を報知させることができる。マイコン処理部200は、第一サーバー4に所定の動作として把握した人の状況についての情報を送信させることができる。また、マイコン処理部200は、開閉装置215に所定の動作として、把握した人の乗り降りに応じてドア214を開閉させることができる。さらに、マイコン処理部200は、駆動装置27に所定の動作として、把握した人の挙動に応じたかご21の運転を行わせることができる。
When the microcomputer processing unit 200 receives an input from the image recognition processing unit 220 indicating that there is an artificial trouble, the microcomputer processing unit 200 stores the information according to the situation of the person in the car 21 (the artificial trouble in the car 21) that is input. A fourth process is executed that causes the
より具体的に、マイコン処理部200は、人の飛び跳ね等によりかご21が揺れている場合に、スピーカー212に「かごが揺れて危険ですので、飛び跳ねを止めてください」とのアナウンスを流すよう音声案内装置25に指示信号を出力し、且つ、ディスプレイ213が「かごが揺れて危険ですので、飛び跳ねを止めてください」と表示するよう表示案内装置26に指示信号を出力すると共に、駆動装置27がかご21の速度を制限するよう駆動装置27に指示信号を出力する。
More specifically, when the
また、マイコン処理部200は、かご21内で人が倒れている場合に、スピーカー212に「かご内で人が倒れていると検知しましたが大丈夫ですか。大丈夫であれば返事をしてください。」とのアナウンスを流すよう音声案内装置25に指示信号を出力し、さらに、このアナウンスから一定時間が経過してもマイク211及び音声認識装置24を介して音声情報が入力されない場合には、第一サーバー4が管理者端末6及び技術員端末7に通報するよう第一サーバー4に指示信号を出力する。
Also, the microcomputer processing unit 200, when a person falls down in the
さらに、マイコン処理部200は、かご21内が有人であり且つ一定時間において昇降釦が操作されていない場合に、スピーカー212に「階床釦を押してください」とのアナウンスを流すよう音声案内装置25に指示信号を出力すると共に、ディスプレイ213が「階床釦を押してください」と表示するよう表示案内装置26に指示信号を出力する。マイコン処理部200は、人がかご21のドアを押さえている場合に、スピーカー212に「ドアから離れてください」とのアナウンスを流すよう音声案内装置25に指示信号を出力すると共に、ドア214を戸開状態で維持するよう開閉装置215に指示信号を出力する。
Further, the microcomputer processing unit 200 causes the voice guidance device 25 to make an announcement “Please press the floor button” on the speaker 212 when the
本実施形態の利用者サポートシステム1では、マイコン処理部200は、記憶部221に記憶されている情報に基づき、画像認識処理部220から入力されたかご21内の人の状況(かご21内の人為的なトラブル)が運転休止対象か否かを判断し、このトラブルが運転休止対象である場合にかご21を運転休止とし、このトラブルが運転休止対象でない場合にかご21を正常運転のままとする。
In the
例えば、マイコン処理部200は、かご21内の人為的なトラブルが運転休止対象である場合、最寄りの階にかご21を停止させて、ドア214を戸開状態で維持するよう開閉装置215に指示信号を出力する。
For example, the microcomputer processing unit 200 instructs the opening /
監視端末3は、例えば、複数の地域に設置された多数のエレベータの監視を行う。また、監視端末3は、対象となるエレベータと離れた建物である監視センター等に設置されている。本実施形態の監視センターには、監視員(オペレータ)が常駐している。
The
第二サーバー5は、例えば、有線回線により第一サーバー4に接続され、例えば、P2P(Peer to Peer)により接続されている。また、第二サーバー5は、データベース50を有する。データベース50は、各エレベータにおけるかごの設計値等の情報を記憶している。具体的に、データベース50は、かごの設計値として、かごにおけるかご枠のサイズ(かご内の寸法)、かごにおけるドアの位置、及びかごにおける制御盤の位置等を、エレベータの識別番号(例えば、エレベータの機番)に関連付けて記憶している。データベース50は、書き換え可能である。データベース50には、例えば、新たなエレベータの設置時に該エレベータにおけるかごの設計値等の情報を追加することができる。
The second server 5 is connected to the first server 4 by a wired line, for example, and is connected by P2P (Peer to Peer), for example. The second server 5 also has a
本実施形態の利用者サポートシステム1では、データベース50は、各エレベータにそれぞれ対応する管理者端末6及び技術員端末7に関する情報(管理者の連絡先及び技術員の連絡先)を記憶している。例えば、データベース50は、第一サーバー4からインターネットを介して管理者端末6及び技術員端末7に出力するため、管理者端末6及び技術員端末7に関する情報として、管理者端末6のIPアドレス及び技術員端末7のIPアドレスを記憶している。尚、データベース50は、これらの情報を、人や物の挙動と関連付けて記憶していてもよい。
In the
第一サーバー4は、例えば、インターネットを介して監視端末3に接続されている。また、第一サーバー4は、インターネットと監視端末3と通信系統R1とを介して、制御マイコン20に接続されている。
The first server 4 is connected to the
第一サーバー4は、通信系統R2を介して、管理者端末6に接続可能である。通信系統R2は、例えば、第一サーバー4からインターネットを介して管理者端末6に通信可能であり、且つ、管理者端末6からインターネットを介して第一サーバー4に通信可能な通信系統である。また、第一サーバー4は、通信系統R3を介して、技術員端末7に接続可能である。通信系統R3は、例えば、第一サーバー4からインターネットを介して技術員端末7に通信可能であり、且つ、技術員端末7からインターネットを介して第一サーバー4に通信可能な通信系統である。通信系統R2、R3は、一部(インターネット)で共通している。
The first server 4 can be connected to the
第一サーバー4は、かごの内部構造のモデルパターンを作成するサーバー処理部40を含む。例えば、サーバー処理部40は、処理部23による最初の処理前(上述の第一処理から第四処理の一連の処理を最初に行う前)、又は、かごの仕様の変更時に、データベース50に記憶されたかごの設計値等の情報に基づいて、かごの内部構造のモデルパターンを作成し、作成したモデルパターンを画像認識装置22に出力する。
The first server 4 includes a server processing unit 40 that creates a model pattern of the internal structure of the car. For example, the server processing unit 40 stores the data in the
具体的に、サーバー処理部40は、データベース50からかご21の設計値等の情報を取得すると共に、カメラ210から画像認識装置22等を介して無人の状態(空かご状態)のかご21内の撮像画像を取得する。サーバー処理部40は、例えば、無人の状態のかご21内の撮像画像を一枚取得する。
Specifically, the server processing unit 40 acquires information such as the design value of the
サーバー処理部40は、取得した無人の状態のかご21内の撮像画像に対してノイズの除去等の前処理を行い、前処理後の撮像画像からエッジを抽出する。サーバー処理部40は、かご21の設計値等から得られるかご21の壁、ドア、床、及び天井の形状特徴に基づいて、撮像画像から抽出したエッジから、かご21の壁、ドア、床、及び天井の位置関係の認識を行う。また、サーバー処理部40は、撮像画像から認識したかご21の壁等の位置関係等に基づいて、かご21内におけるカメラの位置を特定する。さらに、サーバー処理部40は、特定したカメラの位置に基づき、かごの壁等の位置関係等を再認識し、かご枠の輪郭とドアの輪郭に重なる箇所を判断し、カメラ視点の座標(図3におけるPC)を算出すると共に、かごの内部構造のモデルパターンを作成する(例えば、床の四隅、天井の四隅、ドア、及び操作盤それぞれの座標(図3におけるP2)を算出してこれらの座標を結ぶ線で構成されるモデルパターンを作成する)。
The server processing unit 40 performs preprocessing such as noise removal on the acquired captured image of the
サーバー処理部40は、かご内におけるカメラの視野として、例えば、カメラ視点の座標を画像認識装置22に送信すると共に、かごの内部構造のモデルパターンとして、例えば、かご内における、床の四隅、天井の四隅、ドア、及び操作盤それぞれの座標を画像認識装置22に出力する。 The server processing unit 40 transmits, for example, the coordinates of the viewpoint of the camera as the field of view of the camera in the car to the image recognition device 22, and as the model pattern of the internal structure of the car, for example, the four corners of the floor and the ceiling in the car. The coordinates of the four corners, the door, and the operation panel are output to the image recognition device 22.
サーバー処理部40は、第三処理における画像認識処理部220による判定結果(人がかご21のドアに接触しているか否か、又は、人がかご21を揺らすような動作を行っているか否かの判定結果)を、マイコン処理部200から通信系統R1と監視端末3とインターネットとを介して入力されると、データベース50から、通知元(エレベータ2)に応じた管理者端末6及び技術員端末7に関する情報(管理者の連絡先及び技術員の連絡先)を取得し、例えば、この判定結果をそれぞれ文字情報として、管理者端末6に出力すると共に技術員端末7に出力する。出力される判定結果は、例えば、「人がかご内で飛び跳ねています。エレベータ2自体に問題はありません。」といったメッセージである。
The server processing unit 40 determines the determination result by the image recognition processing unit 220 in the third process (whether or not a person is in contact with the door of the
管理者端末6及び技術員端末7は、それぞれ、例えば、PDA(Personal Digital Assistant)、ノートパソコン等の持ち運び可能な端末や、据え置き型のパソコン等の端末である。管理者端末6及び技術員端末7は、それぞれ、例えば、入力された情報を出力する出力部を有する。出力部は、出力する情報が画像情報や文字情報である場合にはディスプレイであり、出力する情報が音声情報である場合にはスピーカーである。本実施形態の利用者サポートシステム1では、管理者端末6及び技術員端末7の出力部はディスプレイであり、このディスプレイはサーバー処理部40から入力された報知内容を出力する。
Each of the
管理者端末6及び技術員端末7は、それぞれ、上述のように、第一サーバー4を介して通信系統R1に接続されているため、第一サーバー4を介して公衆回線(電話回線)に接続されていることになる。
Since the
管理者端末6は、例えば、エレベータ2を管理する管理者により所持される。技術員端末7は、例えば、出向の要請を受けると、エレベータ2のトラブルに対応するためにエレベータ2に出向する技術員により所持される。
The
以下、図4のフローチャート図を用いて、サーバー処理部40によるかごの内部構造のモデルパターンの作成に関する処理の流れを説明する。 The flow of processing relating to the creation of the model pattern of the internal structure of the car by the server processing unit 40 will be described below with reference to the flowchart of FIG.
サーバー処理部40は、処理部23による最初の処理前(上述の第一処理から第四処理の一連の処理を最初に行う前)、又は、かご21の仕様の変更時に、データベース50からかごの設計値を取得する(S01)。また、サーバー処理部40は、カメラ210から画像認識装置22等を介してかご21内の撮像画像(無人の状態(空かご状態)のかご内の撮像画像)を取得する(S02)。サーバー処理部40は、取得した撮像画像からかごの内部構造のエッジを抽出する(S03)。
The server processing unit 40 uses the
サーバー処理部40は、撮像画像から抽出したエッジと、データベース50から取得したかごの設計値に基づいて、かご内におけるカメラ210の位置を特定すると共に、かごの内部構造のモデルパターンを作成する(S04)。
The server processing unit 40 specifies the position of the
その後、サーバー処理部40は、かご21内におけるカメラ210の位置に関する情報、及び、かごの内部構造のモデルパターンに関する情報を、画像認識装置22(画像認識処理部220)に出力する(S05)。具体的に、サーバー処理部40は、カメラ視点の座標を画像認識装置22に送信すると共に、かごの内部構造のモデルパターンとして、例えば、かご内における、床の四隅、天井の四隅、ドア、及び操作盤それぞれの輪郭を結ぶ線(ワイヤーフレーム)で構成されたモデルパターンを画像認識装置22に出力する。記憶部221は、出力されたカメラ210の位置に関する情報、及び、かごの内部構造のモデルパターンに関する情報を記憶する。
After that, the server processing unit 40 outputs information regarding the position of the
次に、図5のフローチャート図を用いて、処理部23による一連の処理を説明する。尚、処理部23は、このフローチャート図で示される一連の処理を常時繰り返している。
Next, a series of processes performed by the
画像認識処理部220は、かご21内に人を検出すると(S10においてYes)、かご21内での人為的トラブルの有無を判定する(S11)。 When the image recognition processing unit 220 detects a person in the car 21 (Yes in S10), the image recognition processing unit 220 determines whether there is a human trouble in the car 21 (S11).
例えば、画像認識処理部220は、カメラ210により経時的に撮像されたかご21内の撮像画像(複数の撮像画像)を取得し、取得した複数の撮像画像のうち少なくとも二つの画像(本実施形態の利用者サポートシステム1では、取得した複数の画像)から、それぞれエッジを抽出する第一処理を行う。さらに、画像認識処理部220は、第一処理でエッジを抽出した複数の画像から抽出されたエッジに、人のモデルパターンを当てはめる。
For example, the image recognition processing unit 220 acquires captured images (a plurality of captured images) of the
具体的に、画像認識処理部220は、取得した複数の画像のうちの第一の画像から抽出されたエッジにおけるかご21の内部構造に対する像のエッジに、かご21の内部構造のモデルパターンを当てはめ(第一ステップ)、この一つの画像から抽出されたエッジのうちのかご21の内部構造のモデルパターンに重なるエッジ以外のエッジに、人のモデルパターンを当てはめた(第二ステップ)後、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジにおけるかご21の内部構造のモデルパターンに重なるエッジ以外のエッジに、第二ステップにおいて当てはめた人のモデルパターンを当てはめる(第三ステップ)。
Specifically, the image recognition processing unit 220 applies the model pattern of the internal structure of the
このように、画像認識処理部220は、取得した複数の画像に人のモデルパターンを当てはめることができた場合に、かご21内に人を検出したものとする。具体的に、処理部23は、取得した複数の画像から抽出したエッジのうち、かごの内部構造のモデルパターンに重なるエッジ以外のエッジに人体特徴がある場合に、かご21内に人を検出したものとする。
In this way, the image recognition processing unit 220 is assumed to have detected a person in the
さらに、画像認識処理部220は、取得した複数の画像から抽出されたエッジに当てはめた人のモデルパターンから、人のモデルパターンにおける各ポイントの座標を算出し、この座標に基づき、かご21内での人為的トラブルの有無を判定する。例えば、画像認識処理部220は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの座標が一定の期間において特定の位置にあるか否か、及び、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの座標の変化が特定の挙動を示しているか否かにより、かご21内の人為的トラブルの有無を判定する(かご21内の人の状況を把握する)。
Further, the image recognition processing unit 220 calculates the coordinates of each point in the person's model pattern from the person's model pattern fitted to the edges extracted from the acquired plurality of images, and in the
画像認識処理部220は、かご21内に人為的トラブルがあると判定した場合(S12においてYes)、第一サーバー4及び制御マイコン20にトラブル(S11における判定結果)に関する情報を出力する(S13)。 When the image recognition processing unit 220 determines that there is an artificial trouble in the car 21 (Yes in S12), the image recognition processing unit 220 outputs information about the trouble (judgment result in S11) to the first server 4 and the control microcomputer 20 (S13). .
マイコン処理部200は、トラブルに関する情報が入力されると、このトラブルに応じた所定の動作を記憶部221から抽出し(S14)、実行部10(本実施形態の利用者サポートシステム1では、制御マイコン20、駆動装置27、スピーカー212、ディスプレイ213、開閉装置215、及び、サーバー処理部40のうち少なくとも一つ)に、所定の動作を実行させるような指示信号を出力する。これにより実行部10は、指示信号に基づき所定の動作を実行する(S15)。
When the information regarding the trouble is input, the microcomputer processing unit 200 extracts a predetermined operation corresponding to the trouble from the storage unit 221 (S14), and executes the executing unit 10 (in the
さらに、本実施形態の利用者サポートシステム1では、マイコン処理部200は、記憶部221に記憶されている情報に基づき、トラブルが運転休止対象か否かを判断する(S16)。マイコン処理部200は、トラブルが運転休止対象であると判断した場合(S17においてYes)、このかご21を運転休止対象とし(S18)、かご内の人の検出処理を行う(S10に戻る)。
Further, in the
マイコン処理部200は、トラブルが運転休止対象でないと判断した場合(S17においてNo)、及び、かご21内に人為的トラブルが無いと判定した場合(S12においてNo)、運転休止対象とするような指示信号を出力せず、かご21を正常運転とし(S19)、かご内の人の検出処理を行う(S10に戻る)。
If the microcomputer processing unit 200 determines that the trouble is not the operation stop target (No in S17) and if there is no human trouble in the car 21 (No in S12), the microcomputer processing unit 200 sets the operation stop target. The instruction signal is not output, the
尚、画像認識処理部220は、かご21内に人を検出しなかった場合(S10においてNo)、処理を終了する。 The image recognition processing unit 220 ends the process if no person is detected in the car 21 (No in S10).
以上の利用者サポートシステム1では、処理部23が、人のモデルパターンを用いた画像認識によって、かご21内の人の状況がリアルタイムで適正に認識できる。処理部23は、記憶部221からこの認識(利用者の状況)に基づいて所定の動作を抽出し、この所定の動作に関する指示信号を実行部10に出力する。その結果、実行部10が、所定の動作(利用者の状況に応じたサポート)を行う。これにより、利用者サポートシステム1では、利用者を状況に応じたサポートが行われる。
In the
また、利用者サポートシステム1では、処理部23は、撮像画像から抽出されたエッジのうちかご21の内部構造のモデルパターンに重なるエッジ以外のエッジに対して、人のモデルパターンを当てはめることで、より適正に人のモデルパターンを当てはめることができる。これにより、かご21内の利用者の状況がさらに適正に認識できるため、エレベータ2の利用者の状況に応じたサポートがより適正に行われる。
Further, in the
さらに、利用者サポートシステム1では、報知装置(本実施形態の利用者サポートシステム1では、スピーカー212及びディスプレイ213の少なくとも一方)が、かご内の利用者の状況に応じた情報を報知するため、利用者の状況に応じた情報(利用者にとって必要な情報)を提供できる。
Further, in the
利用者サポートシステム1では、処理部23が、かご21内の利用者の状況についての情報を通信部(本実施形態の利用者サポートシステム1では、サーバー処理部40)によって外部(公衆回線)に送信させるため、例えば、公衆回線に接続された外部のセンター等の利用者サポートシステム1外の端末等を利用して、利用者の状況に応じた対応を行わせることができる。
In the
また、利用者サポートシステム1では、開閉装置215が、人の乗り降りに応じてドア214を開閉するため、例えば、人がかご21へ乗り降りしている最中にドア214が人の乗り降りを妨げることを防止し、人のかご21への乗り降りのタイミングに応じてドア214を開閉することができる。
Further, in the
さらに、利用者サポートシステム1では、かご21の揺れにつながる人の挙動が把握されると、この挙動に応じたかご21の運転が行われる、例えば、かご21が揺れている場合に、駆動装置27がかご21の速度を抑えることで、かご21の揺れによるかご21内への利用者の閉じ込めが抑制され、その結果、利用者をより適正にサポートすることができる。
Further, in the
本実施形態の利用者サポートシステム1では、処理部23が人のモデルパターンとして簡略化したモデルパターンを用いているため、処理部23が扱うモデルパターンのデータ容量が、詳細なモデルパターンを用いる場合と比べて小さい。そのため、エレベータ2の制御に用いられる処理速度のあまり大きくないマイコン(制御マイコン20)によっても処理が可能である、即ち、別途処理速度の大きなマイコンを設置しなくても、既存の制御マイコン20を用いて処理を行うことができる。
In the
また、本実施形態の利用者サポートシステム1では、画像認識処理部220は、ある一定の期間、人のモデルパターンの座標が、かご21の床やドア214にあるかを判断するため、例えば、人が一時的に床やドア214と接触した場合等に、かご21内に人為的なトラブルが生じていると判断されることを防ぐことができる。このように、処理部23が、人の状況をさらに適正に判断することができる。
In the
さらに、本実施形態の利用者サポートシステム1では、画像認識処理部220は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の画像として、三枚以上の複数の画像についての人のモデルパターンの座標や、この座標の変化を判定するため、より正確な人の状況を把握することができる。
Further, in the
本実施形態の利用者サポートシステム1では、サーバー処理部40が必要に応じて画像認識処理部220による判定結果(かご21内の人為的トラブルの内容)を管理者端末6等に出力することにより、例えば、技術員が現場(エレベータ2)から遠い場所に滞在している場合であっても、管理者がトラブルに迅速に対応することができる。また、この場合に、このトラブルに起因するさらなる事故やトラブル等が起きることを未然に防ぐことができ、
また、本実施形態の利用者サポートシステム1では、マイコン処理部200が必要に応じてかご21を運転休止させたりすることにより、このトラブルに起因するさらなる事故やトラブル等が起きることを未然に防ぐことができる。
In the
In addition, in the
尚、本発明の利用者サポートシステム1は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、ある実施形態の構成に他の実施形態の構成を追加することができ、また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることができる。さらに、ある実施形態の構成の一部を削除することができる。
It should be noted that the
例えば、画像認識処理部220は、第二処理において、撮像画像のうち少なくとも二つの画像のうちの一つの画像から抽出されたエッジにかごの内部構造のモデルパターンを当てはめてから人のモデルパターンを当てはめ(第一ステップ及び第二ステップ)、撮像画像のうち少なくとも二つの画像のうちの一つの画像以外の画像から抽出されたエッジにはかごの内部構造のモデルパターンを当てはめずに人のモデルパターンを当てはめていたが(第三ステップ)、撮像画像のうち少なくとも二つの画像のうちの一つの画像以外の画像から抽出されたエッジにも、かごの内部構造のモデルパターンを当てはめてから人のモデルパターンを当てはめてもよい。即ち、撮像画像のうち少なくとも二つの画像から抽出されたエッジに人のモデルパターンを当てはめる際、毎回、かごの内部構造のモデルパターンを当てはめてから人のモデルパターンを当てはめてもよい。 For example, in the second process, the image recognition processing unit 220 applies the model pattern of the internal structure of the car to the edge extracted from one of at least two images of the captured images, and then applies the model pattern of the person. Fitting (first step and second step), the human model pattern without fitting the model pattern of the internal structure of the car to the edges extracted from images other than one of at least two of the captured images Was applied (third step), but the model pattern of the internal structure of the car was applied to the edges extracted from images other than one of at least two of the captured images, and then the human model was applied. The pattern may be applied. That is, when applying the person's model pattern to the edges extracted from at least two images of the captured images, the person's model pattern may be applied after applying the model pattern of the internal structure of the car every time.
上記実施形態の利用者サポートシステム1では、画像認識処理部220は、第二処理において、撮像画像のうち少なくとも二つの画像から抽出されたエッジのうちのかごの内部構造のモデルパターンに重なるエッジ以外のエッジに、人のモデルパターンを当てはめていたが、かごの内部構造のモデルパターンを用いずに、この少なくとも二つの画像から抽出されたエッジに、人のモデルパターンを当てはめてもよい。
In the
例えば、画像認識処理部220は、カメラ210から取得した複数の画像のうち少なくとも二つの画像と無人のかご21内の撮像画像との差分、及び、これらの画像の変化から、何らかの物体がかご21内にある、又は、何らかの物体がかご21内に乗り降りすると予測されることを検出し、この物体が人体特徴を有している場合に、かご21内に人がいたり人がかご21内に乗り降りしたりしていると把握してもよい。
For example, the image recognition processing unit 220 determines that some object is in the
この場合、画像認識処理部220は、かごの内部構造のモデルパターンを作成する代わりに、カメラ210から取得した無人のかご21内の撮像画像からエッジを抽出し、記憶部221は、モデルデータに加えて、無人のかご21内の撮像画像から抽出したエッジを記憶していてもよい。尚、この場合、記憶部221は、かご21の内部構造のモデルパターンを記憶していなくてもよい。
In this case, the image recognition processing unit 220 extracts edges from the captured image of the
また、この場合、画像認識処理部220は、第一の画像から抽出されたエッジと無人のかご内の撮像画像から抽出されるエッジとの差分に人のモデルパターンを当てはめれば、人のモデルパターンによって人の状況を適正に把握できるため、人の状況に応じた所定の動作を実行部10に実行させることができる。
Further, in this case, if the image recognition processing unit 220 applies the human model pattern to the difference between the edge extracted from the first image and the edge extracted from the captured image in the unmanned car, the human model is calculated. Since it is possible to properly grasp the situation of the person by the pattern, it is possible to cause the
処理部23は、人の飛び跳ね等によりかご21が揺れていると判断した場合、駆動装置27がかご21の走行速度を制限するよう指示信号を出力していたが、走行速度の制限の代わりに、例えば、異なるかご21の運転(かご21を最寄り階で停止させる等)を行ってもよい。
When the
処理部23は、人のモデルパターンとして、各エレベータに共通して設定されたモデルパターンを用いていたが、各エレベータに個別に設定されたモデルパターンを用いてもよい。例えば、各エレベータが設置されている建物内での利用者のシルエットに応じて、個別の人のモデルパターンを追加してもよい。
Although the
人のモデルパターンは、人のパーツ(頭部及び胴部等)を簡略化したものの輪郭を結ぶ線(ワイヤーフレーム)で構成されるモデルパターンであったが、人のパーツをある程度詳細に描いたものの輪郭を結ぶ線(ワイヤーフレーム)で構成されるモデルパターンであってもよい。詳細な人のモデルパターンを用いることで、人の位置や挙動をより詳細に把握することができる。例えば、詳細な人のモデルパターンが、人の瞳、鼻、及び口などの輪郭を結ぶ線を含む場合、撮像画像から抽出されたエッジに対して、人のモデルパターンのうち人の瞳、鼻、及び口に対応する部分をそれぞれ当てはめることで、かご21内が有人であるか否かをより確実に判断することができる。
The human model pattern was a simplified model of human parts (head, torso, etc.), which consisted of lines connecting the contours (wire frame), but the human parts were drawn in some detail. It may be a model pattern composed of lines (wire frames) that connect the contours of things. By using a detailed person model pattern, it is possible to grasp the person's position and behavior in more detail. For example, when the detailed human model pattern includes a line connecting the contours of the human pupil, nose, and mouth, the human pupil, nose, and the like of the human model pattern are compared with the edges extracted from the captured image. It is possible to more reliably determine whether or not the inside of the
上記実施形態の利用者サポートシステム1では、記憶部221は、モデルデータとして、かごの内部構造のモデルパターン及び人のモデルパターンを記憶していたが、さらに、物(人の運んでいる荷物や所持品、及び、動物等)のモデルパターンを記憶していてもよい。例えば、記憶部221が刃物等のモデルパターンを記憶していれば、処理部23は、かご21内に滞在している人が刃物等を所持していると判断した場合、サーバー処理部40が管理者端末6にこの旨を通報するようサーバー処理部40に指示信号を出力する、及び、開閉装置215にドア214を開けた状態で維持させる等の動作を実行させることができる。また、この場合、かご21内に報知装置として非常ベルが設けられていれば、サーバー処理部40は、かご21内の非常ベルを鳴らす等の動作を実行させることができる。
In the
モデルデータ(かごの内部構造のモデルパターン及び人のモデルパターン等)は、画像認識装置22の記憶部221以外、例えば、エレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバー等に記憶されていてもよい。
The model data (the model pattern of the internal structure of the car, the model pattern of the person, etc.) is installed in a place other than the
サーバー処理部40は、マイコン処理部200からの指示信号を受けて、画像認識処理部220による判定結果を文字情報として管理者端末6及び技術員端末7に出力していたが、サーバー処理部40は、画像認識装置220からの判定結果の入力を受けた時点で、画像認識処理部220による判定結果を、文字情報として管理者端末6及び技術員端末7に出力してもよい。
The server processing unit 40 receives the instruction signal from the microcomputer processing unit 200 and outputs the determination result by the image recognition processing unit 220 to the
また、サーバー処理部40は、画像認識処理部220による判定結果を、文字情報として管理者端末6及び技術員端末7に出力していたが、音声情報として出力してもよい。また、サーバー処理部40は、画像認識処理部220による判定結果を、管理者端末6及び技術員端末7の一方に出力してもよい。例えば、かご21内での人の飛び跳ね等の悪戯の可能性について管理者端末6のみに送信することで、管理者への注意喚起を行うと共に、他のエレベータに対応している技術員の作業の中断を抑制できる。
Further, the server processing unit 40 outputs the determination result by the image recognition processing unit 220 to the
マイコン処理部200は、かご21内で人が倒れている場合に、スピーカー212からのアナウンスに対する返答に応じて(このアナウンスに対して返事が無かった場合に)、第一サーバー4が管理者端末6及び技術員端末7に通報するよう第一サーバー4に指示信号を出力していたが、この代わりに、スピーカー212に「人が倒れていると検知しましたのでビル管理者に通報します」とアナウンスさせ、第一サーバー4が管理者端末6に通報するよう第一サーバー4に指示信号を出力してもよい。
The microcomputer processing unit 200 responds to a reply to the announcement from the speaker 212 (when there is no reply to this announcement) when the person is lying down in the
また、かご21内で人が倒れている場合における第一サーバー4からの通報は、管理者端末6及び技術員端末7以外に、監視端末3に対して行ってもよい。この場合、監視センターに滞在している監視員が、かご21内で倒れている人に呼びかける等の対応を行うことができる。
さらに、利用者サポートシステム1は、第一サーバー4に接続された客先端末を備えていてもよい。客先端末は、例えば、病院や養護老人施設等に設置される。この場合、マイコン処理部200は、第一サーバー4が判定結果を客先端末に通報するよう第一サーバー4に指示信号を出力してもよい。例えば、人倒れについての情報を、病院や養護老人施設等に設置された客先端末に送信することで、看護師や介護士等が人倒れに対して適切に対応することができる。尚、このような送信を行うために、データベース50は、各エレベータに対応する客先端末に関する情報を人や物の挙動と関連付けて記憶していてもよい(例えば、各エレベータの最寄りの病院の連絡先と人倒れについての情報とを関連付けて記憶していてもよい)。
In addition, the notification from the first server 4 when a person falls in the
Furthermore, the
処理部23は、画像認識装置22に備えられた画像認識処理部220と、制御マイコン20に備えられたマイコン処理部200とを含んでいたが、これに限らず、処理部23の全てが、制御マイコン20に設けられてもよいし、画像認識装置22に設けられてもよい。また、処理部23の少なくとも一部が、エレベータ2以外の構成(例えば、第一サーバー4や、エレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバー)に含まれていてもよい。
The
例えば、処理部23は、詳細な人のモデルパターンを用いる場合、簡略化した人のモデルパターンを用いる場合と比べて、高い処理能力が必要であるため、処理部23や記憶部221をエレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバーに設けてもよい。
For example, when the
また、処理部23は、撮像画像に基づいて把握した人の状況に応じて、上述した所定の動作以外の動作を行ってもよい。
In addition, the
例えば、処理部23は、階床釦の操作に応じた階にかご21が停止し且つドア214が一旦戸開閉後に所定時間閉じた状態で停止しているにもかかわらず、かご21内から人が検知され続けている場合、スピーカー212に「戸開釦を押して、開いたドアからエレベータを降りるか、階床釦を押してください」とのアナウンスを流すよう音声案内装置25に指示信号を出力すると共に、ディスプレイ213が「戸開釦を押して、開いたドアからエレベータを降りるか、階床釦を押してください」と表示するよう表示案内装置26に指示信号を出力してもよい。
For example, even if the
また、処理部23は、階床釦の操作に応じた階にかご21が停止し且つ人がドア214に背を向けた状態でドア214の近くに滞在している場合、スピーカー212に「背面側のドアが開きます」とのアナウンスを流すよう音声案内装置25に指示信号を出力してもよい。
Further, when the
さらに、処理部23は、人がドア214を抉じ開けようとしている場合「ドアに近づかないようにしてください」とのアナウンスを流したり、人がドア214を押さえている場合「ドア開閉の障害に気を付けてください」とのアナウンスを流したり、人がドアにぶつかっている場合「ドアへのぶつかりに気をつけてください」とのアナウンスを流したりするよう、音声案内装置25に指示信号を出力してもよい。
Further, the
カメラ210は、かご21内に複数設けられていてもよい。また、カメラ210として、監視カメラを用いる代わりに、監視カメラ以外の別のカメラを用いてもよい。このようなカメラとしては、例えば、周囲全体を同時に撮影可能な360°カメラを用いてもよい。
A plurality of
上記実施形態の利用者サポートシステム1では、エレベータ2のかご21内に配置される報知装置として、スピーカー212及びディスプレイ213が用いられていたが、これらの一方のみが用いられてもよい。また、報知装置は、乗り場に配置された非常ベル等を含んでもよい。
In the
また、上記実施形態の利用者サポートシステム1では、公衆回線に接続される通信部として、第一サーバー4が用いられていたが、例えば、監視端末3等が通信部として用いられてもよい。
In the
上記実施形態の利用者サポートシステム1は、複数台のエレベータを備えていたが、一台のエレベータを備えていてもよい。また、利用者サポートシステム1は、複数台の管理者端末6及び複数台の技術員端末7を備えていたが、一台の管理者端末6及び複数台の技術員端末7を備えていてもよいし、複数台の管理者端末6及び一台の技術員端末7を備えていてもよい。
Although the
通信系統R1は、電話回線を含んでいたが、図6に示すように、電話回線の代わりにインターネットを含んでいてもよい。通信系統R1は、例えば、制御マイコン20から順にインターネットを介して監視端末3に通信可能であり、且つ、監視端末3からインターネットを介して制御マイコン20に通信可能な通信系統である。この場合、通信系統R1,R2,R3は、一部(インターネット)で共通している。
Although the communication system R1 includes the telephone line, it may include the Internet instead of the telephone line as shown in FIG. The communication system R1 is, for example, a communication system capable of sequentially communicating from the
1…利用者サポートシステム、2…エレベータ、10…実行部、20…制御マイコン、200…マイコン処理部、21…かご、210…カメラ、211…マイク、212…スピーカー、212…ディスプレイ、214…ドア、215…開閉装置、22…画像認識装置、220…画像認識処理部、221…記憶部、22…画像認識装置、23…処理部、24…音声認識装置、25…音声案内装置、26…表示案内装置、27…駆動装置、3…監視端末、4…第一サーバー、40…サーバー処理部、5…第二サーバー、50…データベース、6…管理者端末、7…技術員端末(技術員携帯端末)、R1,R2,R3…通信系統、P1,P2,PC…座標
DESCRIPTION OF
Claims (5)
前記エレベータのかご内を経時的に撮像する撮像装置と、
前記制御マイコンと接続され且つ前記撮像装置が撮像した画像を処理する処理部と、
前記処理部の指示に基づき前記エレベータの利用者の状況に応じた所定の動作を実行する実行部と、
前記撮像装置が撮像した画像との比較の対象となるモデルデータを記憶する記憶部と、を備え、
前記モデルデータは、複数人のモデルパターンを含み、
前記処理部は、
前記撮像装置が撮像した複数の画像のうちの少なくとも二つの画像から、それぞれエッジを抽出する第一処理と、
前記少なくとも二つの画像から抽出されたエッジのうちの人に対する像のエッジに、それぞれ前記複数人のモデルパターンのうちいずれかの人のモデルパターンを当てはめる第二処理と、
前記第二処理における前記少なくとも二つの画像に対する前記人のモデルパターンの当てはめに基づいて、人の状況を把握する第三処理と、
前記第三処理で把握した人の状況に応じて所定の動作を前記実行部に実行させる第四処理と、
を行い、
前記複数人のモデルパターンのそれぞれは、人のエッジによって構成されている、
ことを特徴とするエレベータの利用者サポートシステム。 A control microcomputer placed in the elevator,
An imaging device for imaging the inside of the elevator car with time,
A processing unit that is connected to the control microcomputer and processes an image captured by the imaging device;
An execution unit that executes a predetermined operation according to the situation of the user of the elevator based on an instruction from the processing unit,
A storage unit that stores model data to be compared with an image captured by the image capturing apparatus,
The model data includes model patterns of a plurality of people,
The processing unit is
From at least two images of the plurality of images captured by the imaging device, a first process of extracting edges respectively,
A second process of applying a model pattern of any one of the plurality of model patterns to the edge of the image of the person among the edges extracted from the at least two images,
Based on the fitting of the model pattern of the person to the at least two images in the second process, a third process of grasping the situation of the person,
A fourth process for causing the execution unit to perform a predetermined operation according to the situation of the person grasped in the third process,
And then
Each of the plurality of model patterns is composed of a human edge,
Elevator user support system characterized by
前記処理部は、前記第四処理において、前記報知装置に前記所定の動作として、前記把握した人の状況に応じた情報を報知させる、請求項1に記載のエレベータの利用者サポートシステム。 The execution unit has a notification device arranged in the car of the elevator,
The elevator user support system according to claim 1, wherein in the fourth process, the processing unit causes the notification device to notify, as the predetermined operation, information corresponding to the grasped person's situation.
前記処理部は、前記第四処理において、前記通信部に前記所定の動作として、前記把握した人の状況についての情報を送信させる、請求項1又は請求項2に記載のエレベータの利用者サポートシステム。 The execution unit has a communication unit connected to a public line,
The elevator user support system according to claim 1 or 2, wherein the processing unit causes the communication unit to transmit information about the grasped person's situation as the predetermined operation in the fourth processing. .
前記実行部は、前記かごのドアを開閉する開閉装置であり、
前記処理部は、前記第三処理において、前記乗り場を含む画像に基づいて前記かごに対する人の乗り降りを把握し、前記第四処理において、前記開閉装置に前記所定の動作として、把握した人の乗り降りに応じてドアを開閉させる、請求項1〜3のいずれか1項に記載のエレベータの利用者サポートシステム。 The image also includes the platform visible from the doorway of the car,
The execution unit is an opening and closing device that opens and closes the door of the car,
In the third process, the processing unit grasps a person getting on and off the car based on an image including the landing, and in the fourth process, the opening and closing device as the predetermined operation, the person getting on and off. The elevator user support system according to any one of claims 1 to 3, wherein the door is opened and closed according to the above.
前記処理部は、前記第三処理において、前記かご内の画像に基づいて前記かごの揺れにつながる人の挙動を把握し、前記第四処理において、前記駆動装置に前記所定の動作として、前記把握した人の挙動に応じた前記かごの運転を行わせる、請求項1〜4のいずれか1項に記載のエレベータの利用者サポートシステム。 The execution unit has a drive device for driving the car up and down,
In the third process, the processing unit grasps the behavior of a person who is connected to the car swing based on the image in the car, and in the fourth process, the driving device determines the predetermined motion as the predetermined motion. The elevator user support system according to any one of claims 1 to 4, wherein the car is operated in accordance with the behavior of a person who has done the work.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019232419A JP6886645B2 (en) | 2019-12-24 | 2019-12-24 | Elevator user support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019232419A JP6886645B2 (en) | 2019-12-24 | 2019-12-24 | Elevator user support system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017017553A Division JP6722408B2 (en) | 2017-02-02 | 2017-02-02 | Elevator user support system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020059607A true JP2020059607A (en) | 2020-04-16 |
JP6886645B2 JP6886645B2 (en) | 2021-06-16 |
Family
ID=70220014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019232419A Active JP6886645B2 (en) | 2019-12-24 | 2019-12-24 | Elevator user support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6886645B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006092854A1 (en) * | 2005-03-02 | 2006-09-08 | Mitsubishi Denki Kabushiki Kaisha | Image monitoring device for elevator |
JP2006276969A (en) * | 2005-03-28 | 2006-10-12 | Mitsubishi Electric Corp | Violence detecting device |
JP2007031018A (en) * | 2005-07-22 | 2007-02-08 | Mitsubishi Electric Building Techno Service Co Ltd | Crime prevention operation device for elevator and crime prevention operation setting changing method |
WO2007129374A1 (en) * | 2006-04-26 | 2007-11-15 | Mitsubishi Denki Kabushiki Kaisha | Object detection device, and object detection device for elevator |
JP2011113313A (en) * | 2009-11-26 | 2011-06-09 | Secom Co Ltd | Attitude estimation device |
JP2013035690A (en) * | 2012-09-05 | 2013-02-21 | Mega Chips Corp | Display device and display method in elevator car |
JP2014047015A (en) * | 2012-08-30 | 2014-03-17 | Hitachi Ltd | Elevator door system, and elevator having elevator door system |
JP2016169067A (en) * | 2015-03-11 | 2016-09-23 | 三菱電機株式会社 | Elevator system |
-
2019
- 2019-12-24 JP JP2019232419A patent/JP6886645B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006092854A1 (en) * | 2005-03-02 | 2006-09-08 | Mitsubishi Denki Kabushiki Kaisha | Image monitoring device for elevator |
US20070151808A1 (en) * | 2005-03-02 | 2007-07-05 | Mitsubsihi Electric Corporation | Image monitoring device for elevator |
JP2006276969A (en) * | 2005-03-28 | 2006-10-12 | Mitsubishi Electric Corp | Violence detecting device |
JP2007031018A (en) * | 2005-07-22 | 2007-02-08 | Mitsubishi Electric Building Techno Service Co Ltd | Crime prevention operation device for elevator and crime prevention operation setting changing method |
WO2007129374A1 (en) * | 2006-04-26 | 2007-11-15 | Mitsubishi Denki Kabushiki Kaisha | Object detection device, and object detection device for elevator |
JP2011113313A (en) * | 2009-11-26 | 2011-06-09 | Secom Co Ltd | Attitude estimation device |
JP2014047015A (en) * | 2012-08-30 | 2014-03-17 | Hitachi Ltd | Elevator door system, and elevator having elevator door system |
JP2013035690A (en) * | 2012-09-05 | 2013-02-21 | Mega Chips Corp | Display device and display method in elevator car |
JP2016169067A (en) * | 2015-03-11 | 2016-09-23 | 三菱電機株式会社 | Elevator system |
Also Published As
Publication number | Publication date |
---|---|
JP6886645B2 (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6619760B2 (en) | Elevator apparatus, elevator system, and autonomous robot control method | |
JP6158517B2 (en) | Alarm system | |
CN112520519B (en) | Robot control method, device, equipment and computer readable storage medium | |
JP2007251556A (en) | Monitoring apparatus and method, image processing apparatus and method, and program | |
CN110540116A (en) | Elevator monitoring method, device and system | |
JP6810914B2 (en) | Elevator remote monitoring system | |
JP5765153B2 (en) | Person monitoring system, robot, person monitoring method, and robot control program | |
JP6722408B2 (en) | Elevator user support system | |
JP6886645B2 (en) | Elevator user support system | |
JP6117404B1 (en) | Elevator system | |
CN113569710A (en) | Elevator car stopping method, device, camera equipment, storage medium and system | |
JP6667144B2 (en) | Elevator remote monitoring system | |
JP6754099B2 (en) | Elevator door control system | |
JP2017204228A (en) | Monitoring system and sliding door opening/closing device | |
JP2004029908A (en) | Support system and program | |
JP2020013185A (en) | Watching device and watching device control program | |
JP6687711B1 (en) | Elevator remote diagnosis system and elevator remote diagnosis method | |
JP2019198041A (en) | Camera image inspection system and camera image inspection method | |
CN112238458A (en) | Robot management device, robot management method, and robot management system | |
JP2019202871A (en) | Elevator control method and elevator using the same | |
JP2021144292A (en) | Information processing system | |
CN116189238B (en) | Human shape detection and identification fall detection method based on neural network | |
JP6783492B1 (en) | Telephones, notification systems and computer programs | |
JP5474131B2 (en) | Elevator and elevator management method | |
WO2022185513A1 (en) | Elevator device and dropped article detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210429 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6886645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |