JP6581260B1 - Elevator warning system - Google Patents
Elevator warning system Download PDFInfo
- Publication number
- JP6581260B1 JP6581260B1 JP2018142714A JP2018142714A JP6581260B1 JP 6581260 B1 JP6581260 B1 JP 6581260B1 JP 2018142714 A JP2018142714 A JP 2018142714A JP 2018142714 A JP2018142714 A JP 2018142714A JP 6581260 B1 JP6581260 B1 JP 6581260B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- passenger
- elevator
- message
- basket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000012790 confirmation Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
- Cage And Drive Apparatuses For Elevators (AREA)
Abstract
【課題】エレベータのカゴに乗車した乗客を撮影した画像を処理することで得られる情報を利用して乗客に対する注意喚起を行うことで、乗客の利便性を向上させる。【解決手段】実施形態のエレベータの注意喚起システムは、撮像手段と、画像格納手段と、画像処理手段と、メッセージ出力手段と、を備える。撮像手段は、エレベータのカゴに乗車した乗客を撮影する。画像格納手段は、前記撮像手段により撮影された画像を保持する。画像処理手段は、前記撮像手段により新たに撮影された画像を前記画像格納手段が保持する画像と照合することにより、前記カゴに乗車した乗客の忘れ物の有無を推定する。メッセージ出力手段は、前記カゴに乗車した乗客が忘れ物をしていると推定された場合に、忘れ物の確認を促すメッセージを出力する。【選択図】図１A passenger's convenience is improved by alerting a passenger using information obtained by processing an image obtained by processing a passenger in an elevator car. An elevator attention calling system according to an embodiment includes an imaging unit, an image storage unit, an image processing unit, and a message output unit. The imaging means images a passenger who has boarded the elevator car. The image storage means holds the image taken by the imaging means. The image processing means estimates the presence or absence of a forgotten thing of a passenger on the basket by comparing an image newly taken by the imaging means with an image held by the image storage means. The message output means outputs a message for prompting confirmation of the lost item when it is estimated that the passenger who has boarded the basket is left behind. [Selection] Figure 1
Description
本発明の実施形態は、エレベータの注意喚起システムに関する。 Embodiments of the present invention relate to an elevator alert system.
従来、エレベータのカゴ内や乗場でカメラにより撮影された画像を処理し、得られた情報を用いてエレベータの動作を制御することが行われている。近年では、画像処理技術の進展に伴って、カメラにより撮影された画像から多くの情報を精度よく得られるようになってきている。そこで、こうした画像処理により得られる情報を、エレベータの動作制御のみならず、エレベータの乗客の利便性を向上させるための様々な用途で利用することが望まれている。 Conventionally, an image taken by a camera in an elevator car or a landing is processed, and the operation of the elevator is controlled using the obtained information. In recent years, with the advancement of image processing technology, it has become possible to obtain a large amount of information from an image taken by a camera with high accuracy. Therefore, it is desired to use information obtained by such image processing not only for elevator operation control but also for various purposes for improving convenience of passengers of the elevator.
本発明が解決しようとする課題は、エレベータのカゴに乗車した乗客を撮影した画像を処理することで得られる情報を利用して乗客に対する注意喚起を行うことで、乗客の利便性を向上させることができる、エレベータの注意喚起システムを提供することである。 The problem to be solved by the present invention is to improve passenger convenience by calling attention to passengers using information obtained by processing an image of passengers who have boarded an elevator car. It is to provide an elevator alert system.
実施形態に係るエレベータの注意喚起システムは、撮像手段と、画像格納手段と、画像処理手段と、メッセージ出力手段と、を備える。撮像手段は、エレベータのカゴに乗車した乗客を撮影する。画像格納手段は、前記撮像手段により撮影された画像を保持する。画像処理手段は、前記撮像手段により新たに撮影された画像を前記画像格納手段が保持する画像と照合することにより、前記カゴに乗車した乗客の忘れ物の有無を推定する。メッセージ出力手段は、前記カゴに乗車した乗客が忘れ物をしていると推定された場合に、忘れ物の確認を促すメッセージを出力する。前記画像格納手段は、前記撮像手段により撮影された画像のうち、乗客の顔と手荷物とが映った画像を保持し、前記画像処理手段は、前記撮像手段により新たに撮影された撮影画像に映る乗客と同一人物を映していると推定される画像を参照画像として前記画像格納手段から取り出し、前記参照画像に映っている手荷物が前記撮影画像に映っていない場合に、乗客が忘れ物をしていると推定する。 The elevator alert system according to the embodiment includes an imaging unit, an image storage unit, an image processing unit, and a message output unit. The imaging means images a passenger who has boarded the elevator car. The image storage means holds the image taken by the imaging means. The image processing means estimates the presence or absence of a forgotten thing of a passenger on the basket by comparing an image newly taken by the imaging means with an image held by the image storage means. The message output means outputs a message for prompting confirmation of the lost item when it is estimated that the passenger who has boarded the basket is left behind. The image storage means holds an image showing a passenger's face and baggage among images taken by the imaging means, and the image processing means appears in a photographed image newly taken by the imaging means. An image presumed to reflect the same person as the passenger is taken out from the image storage means as a reference image, and the passenger is forgotten when the baggage reflected in the reference image is not reflected in the captured image Estimated.
以下、添付図面を参照して、本発明を適用したエレベータの注意喚起システムの実施形態について詳細に説明する。実施形態の注意喚起システムは、エレベータのカゴに乗車した乗客を撮影した画像を用いて乗客の忘れ物の有無を推定し、乗客が忘れ物をしていると推定された場合に、忘れ物の確認を促すメッセージを出力する。以下では、いくつかの実施形態を例示するが、これらの実施形態を適宜組み合わせて実施してもよい。なお、以下の説明において、同様の機能を持つ構成要素については同一の符号を付して、重複した説明を適宜省略する。 Hereinafter, an embodiment of an elevator alert system to which the present invention is applied will be described in detail with reference to the accompanying drawings. The alert system of the embodiment estimates the presence or absence of a passenger's forgotten thing using an image taken of a passenger who has entered the elevator car, and prompts confirmation of the forgotten thing when the passenger is estimated to be forgotten. Output a message. In the following, some embodiments will be exemplified, but these embodiments may be combined as appropriate. In the following description, components having similar functions are denoted by the same reference numerals, and repeated description is omitted as appropriate.
＜第１実施形態＞
図１は、第１実施形態に係るエレベータの注意喚起システムの構成例を示すブロック図であり、図２は、エレベータのカゴ内の様子を示す図である。本実施形態に係るエレベータの注意喚起システムは、図１に示すように、カメラ１Ａ，１Ｂ（撮像手段）と、画像ストレージ２（画像格納手段）と、画像処理エンジン３（画像処理手段）と、音声案内装置４（メッセージ出力手段）とを備える。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration example of an elevator alert system according to the first embodiment, and FIG. 2 is a diagram illustrating a state in an elevator car. As shown in FIG. 1, the elevator alert system according to the present embodiment includes
カメラ１Ａ，１Ｂは、カゴ１０に乗車する乗客を撮影する。カメラ１Ａ，１Ｂは、エレベータのカゴ１０に乗車した乗客を互いに異なる方向から撮影できるように、例えばカゴ１０内の天井付近に設置される（図２参照）。なお、本実施形態では２つのカメラ１Ａ，１Ｂを用いているが、乗客を撮影するカメラの数は任意である。ただし、カゴ１０内の乗客やその乗客が所持する手荷物を精度よく識別するには、カメラの数が多いほどよい。本実施形態のように２つのカメラ１Ａ，１Ｂを用いる場合は、互いの撮影方向が直交するように設置するとよい。カメラ１Ａ，１Ｂは、カゴ１０に乗客が乗車するたびに撮影を行って、画像を画像処理エンジン３に送る。
The cameras 1 </ b> A and 1 </ b> B photograph passengers who ride on the basket 10. The cameras 1 </ b> A and 1 </ b> B are installed, for example, near the ceiling in the car 10 so that passengers on the elevator car 10 can be photographed from different directions (see FIG. 2). In the present embodiment, two
画像ストレージ２は、カメラ１Ａ，１Ｂにより撮影された画像を保持するストレージ装置である。画像ストレージ２としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などを用いることができる。本実施形態では、画像処理エンジン３が、カメラ１Ａ，１Ｂにより撮影された乗客の画像のうち、手荷物を所持していると判断した乗客の顔と手荷物とが映った画像を、その画像が撮影された時刻を示すタイムスタンプとともに画像ストレージ２に格納する。なお、画像そのものではなく、画像から抽出される乗客の顔や手荷物の特徴量、あるいは、その特徴量に基づいて識別される乗客や手荷物の名前や識別番号などを表すラベルを画像ストレージ２に格納してもよいし、これらの情報を画像とともに画像ストレージ２に格納してもよい。また、カメラ１Ａ，１Ｂにより撮影された画像を加工（例えば、トリミング、切り出し、合成、再構成など）して画像ストレージ２に格納してもよい。画像ストレージ２が保持する画像は、例えばカメラ１Ａ，１Ｂにより撮影されてから所定時間（例えば１０時間）が経過すると自動的に削除される構成としてもよい。
The image storage 2 is a storage device that holds images taken by the
画像処理エンジン３は、例えば、ＧＰＵ（Graphics Processing Unit）などのプロセッサが所定のプログラムに従って動作することにより、様々な画像処理を実行する。特に、本実施形態の画像処理エンジン３は、カメラ１Ａ，１Ｂにより新たに撮影された画像を画像ストレージ２が保持する画像と照合することにより、カゴ１０に乗車した乗客の忘れ物の有無を推定する。この推定処理の詳細は後述する。また、画像処理エンジン３は、上述のように画像ストレージ２に対する画像の格納を制御する。なお、画像処理エンジン３のプロセッサとしては、プログラムに従って動作する汎用のプロセッサだけでなく、目的に応じて設計されたＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などを用いてもよい。
The image processing engine 3 executes various image processes by a processor such as a GPU (Graphics Processing Unit) operating according to a predetermined program. In particular, the image processing engine 3 according to the present embodiment estimates the presence or absence of a forgotten thing of a passenger who has boarded the car 10 by comparing an image newly captured by the
音声案内装置４は、カゴ１０に乗車した乗客が忘れ物をしていると画像処理エンジン３によって推定された場合に、例えば「忘れ物はありませんか」といった、乗客に対して忘れ物の確認を促すメッセージを、カゴ１０内に設置されたカゴ内スピーカ１１（図２参照）から音声出力する。なお、忘れ物と推定される手荷物が何であるかも画像処理エンジン３によって識別される場合は、例えば「○○をお忘れではありませんか」といったメッセージをカゴ内スピーカ１１から音声出力してもよい。 When the image processing engine 3 estimates that the passenger who has boarded the basket 10 is forgotten, the voice guidance device 4 sends a message prompting the passenger to confirm the forgotten thing, for example, “Is there anything left behind?” The sound is output from the car speaker 11 (see FIG. 2) installed in the car 10. When the image processing engine 3 identifies what the baggage is estimated to be forgotten, for example, a message such as “Did you forget XX” may be output from the speaker 11 in the car.
ここで、カゴ１０に乗車した乗客の忘れ物の有無を推定する処理の具体例について説明する。カメラ１Ａ，１Ｂは、上述のように、カゴ１０に乗客が乗車するたびに撮影を行って、画像処理エンジン３に画像を送る。画像処理エンジン３は、カゴ１０に乗客が乗車するたび、つまりカメラ１Ａ，１Ｂにより新たに画像が撮影されるたびに、新たに撮影された画像（以下、これを「撮影画像」と呼ぶ）を画像ストレージ２が保持する画像と照合する。
Here, the specific example of the process which estimates the presence or absence of the thing left behind of the passenger who got on the cage | basket 10 is demonstrated. As described above, the cameras 1 </ b> A and 1 </ b> B take a picture each time a passenger gets on the basket 10 and send an image to the image processing engine 3. The image processing engine 3 generates a newly captured image (hereinafter referred to as a “captured image”) every time a passenger gets on the basket 10, that is, each time a new image is captured by the
すなわち、画像処理エンジン３は、まず、画像ストレージ２が保持する画像の中から、撮影画像に映る乗客と同一人物を映していると推定される画像を探索する。この探索には、例えば、撮影画像や画像ストレージ２が保持する各画像から顔領域を検出し、その顔領域の画像から抽出される特徴量間の距離が閾値以下のものを探すなど、公知の方法を採用できる。そして、撮影画像と同じ乗客を映していると推定される画像が見つかった場合は、その画像を参照画像として画像ストレージ２から取り出す。このとき、撮影画像と同じ乗客を映していると推定される画像が複数見つかった場合は、タイムスタンプが現在時刻に最も近い画像を参照画像として取り出す。 That is, the image processing engine 3 first searches the images stored in the image storage 2 for images that are estimated to be the same person as the passenger shown in the captured image. For this search, for example, a face area is detected from each image held in the captured image or the image storage 2 and a distance between feature amounts extracted from the image of the face area is searched for a threshold value or less. The method can be adopted. Then, when an image estimated to show the same passenger as the captured image is found, the image is taken out from the image storage 2 as a reference image. At this time, when a plurality of images estimated to reflect the same passenger as the captured image are found, an image having a time stamp closest to the current time is taken out as a reference image.
なお、撮影画像と同じ乗客を映していると推定される画像が見つからない場合は、画像処理エンジン３は、撮影画像を解析することにより、その撮影画像に映る乗客が手荷物を所持しているか否かを確認する。そして、撮影画像に映る乗客が手荷物を所持している場合は、その撮影画像を後に参照画像として利用可能にするために画像ストレージ２に格納する。撮影画像に映る乗客が手荷物を所持していなければ、その撮影画像は破棄される。 If an image that is estimated to be the same passenger as the captured image is not found, the image processing engine 3 analyzes the captured image to determine whether the passenger reflected in the captured image has baggage. To check. When the passenger shown in the photographed image has baggage, the photographed image is stored in the image storage 2 so that it can be used later as a reference image. If the passenger shown in the captured image does not have baggage, the captured image is discarded.
次に、画像処理エンジン３は、撮影画像を画像ストレージ２から取り出した参照画像と比較して、乗客が所持する手荷物の変化を確認する。そして、画像処理エンジン３は、参照画像に映っている手荷物が撮影画像に映っていない場合、乗客が忘れ物をしていると推定する。例えば図３（ａ）に示す撮影画像と図３（ｂ）に示す参照画像を比較する場合、図３（ｂ）の参照画像に映る手荷物が、図３（ａ）の撮影画像には映っていないため、乗客が忘れ物をしていると推定する。 Next, the image processing engine 3 compares the photographed image with a reference image taken out from the image storage 2 and confirms a change in baggage carried by the passenger. Then, the image processing engine 3 estimates that the passenger is forgotten when the baggage reflected in the reference image is not reflected in the captured image. For example, when comparing the captured image shown in FIG. 3A with the reference image shown in FIG. 3B, the baggage shown in the reference image in FIG. 3B is reflected in the captured image in FIG. It is estimated that passengers are forgetting things because they are not.
なお、複数の乗客が同時にカゴ１０に乗車する場合は、これらの乗客が手荷物を持ち替えることも想定される。この場合、これら複数の乗客がカゴ１０に再乗車したときに個々の乗客が所持する手荷物が変化していたとしても、忘れ物はない。そこで、画像処理エンジン３は、個々の乗客が所持する手荷物の変化ではなく、あくまで参照画像に映っている手荷物が撮影画像に映っていない場合に、乗客が忘れ物をしていると推定する。例えば図４（ａ）に示す撮影画像と図４（ｂ）に示す参照画像を比較する場合、これらの画像間では個々の乗客が所持する手荷物は変化しているが、図４（ｂ）の参照画像に映る手荷物はすべて図４（ａ）の撮影画像に映っているため、忘れ物はない推定する。 In addition, when several passengers board the cage | basket | car 10 simultaneously, it is assumed that these passengers carry baggage. In this case, even if the baggage possessed by each passenger changes when the plurality of passengers re-enter the car 10, there is no forgotten thing. Therefore, the image processing engine 3 estimates that the passenger is forgotten when the baggage reflected in the reference image is not reflected in the photographed image, not the change in the baggage possessed by each passenger. For example, when comparing the captured image shown in FIG. 4 (a) with the reference image shown in FIG. 4 (b), the baggage possessed by each passenger changes between these images, but FIG. Since all the baggage reflected in the reference image is reflected in the photographed image of FIG. 4A, it is estimated that there is no forgotten item.
画像処理エンジン３は、以上の処理によってカゴ１０に乗車した乗客が忘れ物をしていると推定した場合、音声案内装置４に対してメッセージの出力を指示する。これにより、カゴ内スピーカ１１から例えば「忘れ物はありませんか」といったメッセージが音声出力される。 The image processing engine 3 instructs the voice guidance device 4 to output a message when it is estimated that the passenger who has boarded the basket 10 is forgotten by the above processing. As a result, a message such as “Is there anything left behind” is output from the speaker 11 in the car.
次に、本実施形態に係るエレベータの注意喚起システムの動作について、図５を参照して説明する。図５は、本実施形態に係るエレベータの注意喚起システムの動作例を示すフローチャートであり、カゴ１０に乗客が乗車するたびに実施される処理の流れを示している。 Next, the operation of the elevator alert system according to this embodiment will be described with reference to FIG. FIG. 5 is a flowchart showing an operation example of the elevator alert system according to the present embodiment, and shows a flow of processing performed each time a passenger gets on the car 10.
カゴ１０に乗客が乗車すると、まず、カメラ１Ａ，１Ｂが、カゴ１０に乗車した乗客を撮影する（ステップＳ１０１）。次に、画像処理エンジン３が、ステップＳ１０１で撮影された撮影画像を画像ストレージ２が保持する画像と照合し（ステップＳ１０２）、画像ストレージ２が保持する画像の中に、撮影画像に映る乗客と同一の乗客を映した画像があるか否かを判定する（ステップＳ１０３）。
When a passenger gets on the basket 10, the
ここで、画像ストレージ２が保持する画像の中に、撮影画像に映る乗客と同一の乗客を映した画像がなければ（ステップＳ１０３：Ｎｏ）、画像処理エンジン３は、ステップＳ１０１で撮影された撮影画像を解析することにより、その撮影画像に映る乗客が手荷物を所持しているか否かを確認する（ステップＳ１０４）。そして、撮影画像に映る乗客が手荷物を所持している場合は（ステップＳ１０４：Ｙｅｓ）、その撮影画像を画像ストレージ２に格納して（ステップＳ１０５）、処理を終了する。一方、撮影画像に映る乗客が手荷物を所持していなければ（ステップＳ１０４：Ｎｏ）、その撮影画像を破棄して処理を終了する。 Here, if the image stored in the image storage 2 does not include an image showing the same passenger as the passenger shown in the captured image (step S103: No), the image processing engine 3 captures the image captured in step S101. By analyzing the image, it is confirmed whether or not the passenger shown in the captured image has baggage (step S104). If the passenger shown in the captured image has baggage (step S104: Yes), the captured image is stored in the image storage 2 (step S105), and the process ends. On the other hand, if the passenger shown in the photographed image does not have baggage (step S104: No), the photographed image is discarded and the process is terminated.
また、画像ストレージ２が保持する画像の中から、撮影画像に映る乗客と同一の乗客を映した画像が見つかった場合は（ステップＳ１０３：Ｙｅｓ）、画像処理エンジン３は、その画像を参照画像として画像ストレージ２から取り出して、撮影画像と参照画像とを比較することにより、参照画像に映っているが撮影画像には映っていない手荷物があるか否かを判定する（ステップＳ１０６）。ここで、参照画像に映っているが撮影画像には映っていない手荷物がなければ（ステップＳ１０６：Ｎｏ）、そのまま処理を終了する。一方、参照画像に映っているが撮影画像には映っていない手荷物があれば（ステップＳ１０６：Ｙｅｓ）、画像処理エンジン３は、カゴ１０に乗車した乗客が忘れ物をしていると推定し、音声案内装置４に対してメッセージの出力を指示する。これにより、カゴ内スピーカ１１から忘れ物の確認を促すメッセージが音声出力される（ステップＳ１０７）。 When an image showing the same passenger as the passenger shown in the captured image is found from the images stored in the image storage 2 (step S103: Yes), the image processing engine 3 uses the image as a reference image. By taking out from the image storage 2 and comparing the captured image with the reference image, it is determined whether there is baggage that is reflected in the reference image but not in the captured image (step S106). Here, if there is no baggage that is reflected in the reference image but not in the captured image (step S106: No), the processing is ended as it is. On the other hand, if there is baggage that is reflected in the reference image but not in the photographed image (step S106: Yes), the image processing engine 3 estimates that the passenger who has boarded the basket 10 is forgotten, and the voice The guidance device 4 is instructed to output a message. As a result, a message prompting the user to confirm the forgotten thing is output from the car speaker 11 (step S107).
以上、具体的な例を挙げながら詳細に説明したように、本実施形態に係るエレベータの注意喚起システムは、エレベータのカゴ１０に乗車した乗客をカメラ１Ａ，１Ｂで撮影し、その画像を画像ストレージ２が保持する画像と照合することにより、乗客の忘れ物の有無を推定する。そして、乗客が忘れ物をしていると推定された場合に、忘れ物の確認を促すメッセージをカゴ内スピーカ１１から音声出力するようにしている。このように、本実施形態に係るエレベータの注意喚起システムは、カゴ１０に乗車した乗客が忘れ物をしていると推定される場合に忘れ物の確認を促すメッセージを出力し、乗客に対する注意喚起を行うようにしているので、乗客の利便性を向上させることができる。
As described above in detail with reference to specific examples, the elevator alert system according to the present embodiment captures images of passengers on the elevator car 10 with the
＜第２実施形態＞
次に、第２実施形態について説明する。本実施形態は、忘れ物の確認を促すメッセージの出力方法が第１実施形態と異なる。つまり、上述の第１実施形態では、忘れ物の確認を促すメッセージをカゴ内スピーカ１１から音声出力するようにしていたが、本実施形態では、忘れ物の確認を促すメッセージを乗客の携帯端末に送信して表示させる。
Second Embodiment
Next, a second embodiment will be described. This embodiment is different from the first embodiment in the method for outputting a message for prompting confirmation of forgotten things. In other words, in the first embodiment described above, a message prompting confirmation of forgotten things is output from the speaker 11 in the car. However, in this embodiment, a message prompting confirmation of forgotten things is transmitted to the portable terminal of the passenger. To display.
図６は、第２実施形態に係るエレベータの注意喚起システムの構成例を示すブロック図である。本実施形態では、図６に示すように、画像処理エンジン３に対して、音声案内装置４の代わりにメールサーバ５が接続されている。メールサーバ５は、予め登録された乗客の携帯端末の電子メールアドレスを記憶し、画像処理エンジン３から特定の乗客を宛先に指定したメッセージの出力指示を受けると、その乗客の携帯端末に対して、忘れ物の確認を促すテキストによるメッセージを電子メール形式で送信して表示させる。 FIG. 6 is a block diagram illustrating a configuration example of an elevator alert system according to the second embodiment. In the present embodiment, as shown in FIG. 6, a mail server 5 is connected to the image processing engine 3 instead of the voice guidance device 4. When the mail server 5 stores the e-mail address of the passenger's portable terminal registered in advance and receives an instruction to output a message specifying a specific passenger as the destination from the image processing engine 3, the mail server 5 Send a message in text format prompting you to check what you left behind and display it.
本実施形態の画像処理エンジン３は、撮影画像を画像ストレージ２が保持する画像と照合した結果、カゴ１０に乗車した乗客が忘れ物をしていると推定した場合、例えば、撮影画像や参照画像に映る乗客の顔の特徴量を元に乗客の識別を行う。なお、画像から検出される顔の特徴量を元に個人を識別する技術は公知であるため、詳細な説明は省略する。そして、画像処理エンジン３は、撮影画像や参照画像に映る乗客が予め登録された乗客である場合、その乗客を宛先に指定して、メッセージの出力をメールサーバ５に指示する。これにより、乗客の携帯端末に、例えば「忘れ物はありませんか」といった忘れ物の確認を促すメッセージが送信され、表示される。 When the image processing engine 3 of the present embodiment estimates that a passenger who has boarded the basket 10 is forgetting as a result of collating the captured image with an image stored in the image storage 2, for example, the captured image or the reference image is displayed. Passengers are identified based on the features of the passenger's face. Since a technique for identifying an individual based on a facial feature amount detected from an image is known, detailed description thereof is omitted. When the passenger shown in the photographed image or the reference image is a registered passenger, the image processing engine 3 designates the passenger as a destination and instructs the mail server 5 to output a message. As a result, a message prompting confirmation of the forgotten item such as “Is there anything left behind” is transmitted to the portable terminal of the passenger and displayed.
なお、本実施形態では、忘れ物の確認を促すメッセージを電子メール形式で乗客の携帯端末に送信するようにしているが、乗客の携帯端末にメッセージを送信する方法は電子メール形式に限らず、様々な方法で行うことができる。 In the present embodiment, a message prompting confirmation of forgotten things is transmitted to the passenger's mobile terminal in an e-mail format. However, the method of transmitting a message to the passenger's mobile terminal is not limited to the e-mail format, Can be done in any way.
以上説明したように、本実施形態によれば、カゴ１０に乗車した乗客が忘れ物をしていると推定された場合に、その乗客の携帯端末に忘れ物の確認を促すメッセージを送信して表示させるようにしているので、上述の第１実施形態と同様に、乗客に対する有効な注意喚起を行って、乗客の利便性を向上させることができる。また、本実施形態では、忘れ物の確認を促すメッセージをカゴ内スピーカ１１から音声出力するのではなく、利用者の携帯端末に送信して表示させるようにしているので、忘れ物をしていると推定される乗客以外の他の乗客がカゴ１０に同乗している場合に、他の乗客に煩わしさを感じさせることもない。 As described above, according to the present embodiment, when it is estimated that a passenger who has boarded the basket 10 is forgetting something, a message for prompting confirmation of the forgotten thing is transmitted and displayed on the portable terminal of the passenger. Thus, as in the first embodiment described above, the passengers can be effectively alerted and the convenience of the passengers can be improved. In the present embodiment, a message prompting the user to confirm the lost item is not output from the speaker 11 in the car, but is transmitted to the user's mobile terminal for display. When other passengers other than the passengers are on the car 10, the other passengers do not feel bothered.
＜第３実施形態＞
次に、第３実施形態について説明する。本実施形態は、上述の第１実施形態に対して、カゴ１０に乗車する前に忘れ物の傾向を乗客に知らせる機能を付加して、乗客の利便性をさらに向上させるようにしたものである。
<Third Embodiment>
Next, a third embodiment will be described. In the present embodiment, a function of notifying the passenger of the tendency to forget things before getting on the car 10 is added to the first embodiment described above to further improve the convenience of the passenger.
図７は、第３実施形態に係るエレベータの注意喚起システムの構成例を示すブロック図である。本実施形態では、図７に示すように、画像処理エンジン３に対して、エレベータが設置された建物の各階の乗場に設けられた乗場操作盤２０がさらに接続されている。乗場操作盤２０は、例えば図８に示すように、乗場の乗客が乗場呼びを行うために操作する乗場呼びボタン２１と、各種の情報を表示する液晶インジケータ２２（表示装置）とを有する。 FIG. 7 is a block diagram illustrating a configuration example of an elevator alert system according to the third embodiment. In the present embodiment, as shown in FIG. 7, a hall operation panel 20 provided at a hall on each floor of a building where an elevator is installed is further connected to the image processing engine 3. For example, as shown in FIG. 8, the hall operation panel 20 includes a hall call button 21 that is operated by a passenger on the hall to make a hall call, and a liquid crystal indicator 22 (display device) that displays various types of information.
本実施形態の画像処理エンジン３は、撮影画像を画像ストレージ２が保持する画像と照合した結果、カゴ１０に乗車した乗客が忘れ物をしていると推定した場合、音声案内装置４に対してメッセージの出力を指示することで、忘れ物の確認を促すメッセージをカゴ内スピーカ１１から音声出力させるとともに、参照画像から、忘れ物と推定された手荷物の部分を切り出して、統計処理を行うための画像として画像ストレージ２に一定期間（例えば１週間）保持させる。そして、画像処理エンジン３は、所定のタイミングで画像ストレージ２が保持する手荷物の画像を統計処理することにより、忘れ物となることが多い物体を予測し、例えば乗場操作盤２０の乗場呼びボタン２１が操作されたタイミングに合わせてメッセージの出力を乗場操作盤２０に指示することで、該物体の忘れ物が多い旨のメッセージを、乗場操作盤２０の液晶インジケータ２２に表示させる。 When the image processing engine 3 of the present embodiment estimates that the passenger who has boarded the car 10 is forgetting as a result of collating the captured image with the image stored in the image storage 2, a message is sent to the voice guidance device 4. Is output as a voice message from the speaker 11 in the basket, and a portion of the baggage estimated to be forgotten is cut out from the reference image, and the image is used as an image for statistical processing. The storage 2 is held for a certain period (for example, one week). The image processing engine 3 performs statistical processing on the baggage image held in the image storage 2 at a predetermined timing to predict an object that is often left behind. For example, the hall call button 21 on the hall operating panel 20 By instructing the hall operating panel 20 to output a message in accordance with the operated timing, a message indicating that there are many items left behind is displayed on the liquid crystal indicator 22 of the hall operating panel 20.
例えば、画像処理エンジン３は、画像ストレージ２に蓄積された手荷物の画像を用いた統計処理によって傘の忘れ物が多いと予測した場合、忘れ物となることが多い物体として傘を指定したメッセージの出力を、乗場操作盤２０に対して指示する。これにより、乗場操作盤２０の液晶インジケータ２２には、例えば図８に示すように、「最近、傘の忘れ物が多くなっております。ご注意ください。」といったメッセージが表示される。 For example, if the image processing engine 3 predicts that there are many things left behind by statistical processing using baggage images stored in the image storage 2, the image processing engine 3 outputs a message specifying the umbrella as an object that is often left behind. Instruct the hall operation panel 20. As a result, a message such as “There are many things left behind for umbrellas, please be careful.” Is displayed on the liquid crystal indicator 22 of the hall operating panel 20, for example, as shown in FIG.
以上説明したように、本実施形態によれば、画像ストレージ２が保持する画像の統計処理により忘れ物となることが多い物体を予測し、該物体の忘れ物が多い旨のメッセージを乗場操作盤２０の液晶インジケータ２２に表示させるようにしているので、乗客がカゴ１０に乗車する前に乗客に対する注意喚起を行うことができ、乗客の利便性をさらに向上させることができる。 As described above, according to the present embodiment, an object that is often left behind is predicted by statistical processing of images stored in the image storage 2, and a message indicating that there are many forgotten things is displayed on the hall operation panel 20. Since the information is displayed on the liquid crystal indicator 22, the passenger can be alerted before the passenger gets on the basket 10, and the convenience of the passenger can be further improved.
＜第４実施形態＞
次に、第４実施形態について説明する。本実施形態は、上述の第１実施形態に対して、不審人物がカゴ１０に乗車した場合にエレベータ管理者に通知する機能を付加したものである。
<Fourth embodiment>
Next, a fourth embodiment will be described. This embodiment adds the function which notifies an elevator administrator when a suspicious person gets in the cage | basket 10 with respect to the above-mentioned 1st Embodiment.
本実施形態の画像処理エンジン３は、カメラ１Ａ，１Ｂから撮影画像が送られると、その撮影画像を解析することにより、カゴ１０に乗車した乗客の特徴が、予め登録された不審人物の特徴（例えば、マスクを着用している、サングラスを着用している、フードを頭から被っているなど）と一致するか否かを判定する。そして、一致すると判定した場合、画像処理エンジン３は、エレベータ管理者に対して不審人物がカゴ１０に乗車したことを示す所定の通知を行う。
When the captured image is sent from the
なお、エレベータ管理者に対する通知は、不審人物の乗車をエレベータ管理者に知らせることができればよく、メッセージによる通知であっても警報の発報であってもよい。例えば、不審人物が乗車したことを示すメッセージをエレベータ管理者が滞在する管理室の端末に送信して表示させたり、管理室に設置されたスピーカから音声出力したり、管理室の警報装置を動作させたりすればよい。なお、不審人物の乗車をエレベータの管理者に通知する際に、カメラ１Ａ，１Ｂが撮影した画像を併せて送信してもよい。
Note that the notification to the elevator manager only needs to be able to notify the elevator manager of the suspicious person's boarding, and may be a notification by a message or a warning. For example, a message indicating that a suspicious person has boarded is sent to the terminal of the management room where the elevator administrator stays and displayed, or a voice is output from a speaker installed in the management room, or an alarm device in the management room is operated You can let them do. Note that when the suspicious person boarding is notified to the elevator manager, images taken by the
ここで、本実施形態に係るエレベータの注意喚起システムの動作について、図９を参照して説明する。図９は、本実施形態に係るエレベータの注意喚起システムの動作例を示すフローチャートであり、カゴ１０に乗客が乗車するたびに実施される処理の流れを示している。 Here, operation | movement of the alerting system of the elevator which concerns on this embodiment is demonstrated with reference to FIG. FIG. 9 is a flowchart showing an operation example of the elevator alert system according to the present embodiment, and shows a flow of processing performed each time a passenger gets on the car 10.
本実施形態では、ステップＳ２０１において、カメラ１Ａ，１Ｂによりカゴ１０に乗車した乗客が撮影されると、画像処理エンジン３が、まず、その撮影画像から乗客の映っている領域を検出して、撮影画像に映る乗客の特徴が、予め登録された不審人物の特徴と一致するか否かを判定する（ステップＳ２０２）。そして、撮影画像に映る乗客の特徴が不審人物の特徴と一致する場合（ステップ２０２：Ｙｅｓ）、画像処理エンジン３は、不審人物の乗車をエレベータ管理者に通知する（ステップＳ２０３）。一方、撮影画像に映る乗客の特徴が不審人物の特徴と一致しない場合は（ステップ２０２：Ｙｅｓ）、エレベータ管理者に対する通知は行われない。
In the present embodiment, when a passenger on the basket 10 is photographed by the
その後、画像処理エンジン３は、ステップＳ２０４に進んで、撮影画像と画像ストレージ２が保持する画像との照合を行う。なお、ステップＳ２０４〜ステップＳ２０９の処理は、図５のステップＳ１０２〜ステップＳ１０７の処理と同様であるため、説明を省略する。 Thereafter, the image processing engine 3 proceeds to step S204, and collates the captured image with the image stored in the image storage 2. In addition, since the process of step S204-step S209 is the same as the process of step S102-step S107 of FIG. 5, description is abbreviate | omitted.
以上説明したように、本実施形態によれば、カメラ１Ａ，１Ｂにより撮影された撮影画像を用いて不審人物がカゴ１０に乗車したか否かを判定し、不審人物が乗車した場合はエレベータ管理者に通知するようにしているので、乗客に対する注意喚起だけでなく、エレベータ管理者に対する注意喚起を行うことができ、利便性をさらに向上させることができる。
As described above, according to the present embodiment, it is determined whether or not a suspicious person has boarded the basket 10 using the captured images taken by the
＜第５実施形態＞
次に、第４実施形態について説明する。本実施形態は、上述の第１実施形態に対して、天気に適した用品を所持することを乗客に促すメッセージを出力する機能を付加して、乗客の利便性をさらに向上させるようにしたものである。
<Fifth Embodiment>
Next, a fourth embodiment will be described. In this embodiment, a function for outputting a message prompting the passenger to possess goods suitable for the weather is added to the first embodiment described above to further improve the convenience of the passenger. It is.
本実施形態に係るエレベータの注意喚起システムは、天気情報を配信するサーバに接続され、このサーバから天気情報を随時取得できる構成とされている。そして、本実施形態の画像処理エンジン３は、カメラ１Ａ，１Ｂから撮影画像が送られると、その撮影画像を解析することにより、カゴ１０に乗車した乗客が、事前に取得した天気情報により示される天気に適した用品（例えば傘や防寒具など）を所持しているか否かを判定する。そして、カゴ１０に乗車した乗客が天気に適した用品を所持していなければ、音声案内装置４に対して、天気に適した用品の所持を促すメッセージの出力を指示する。これにより、例えば「雨が降りそうです。傘をお持ちですか」といったメッセージがカゴ内スピーカ１１から音声出力される。
The elevator alert system according to the present embodiment is connected to a server that distributes weather information, and is configured to be able to acquire weather information from this server as needed. When the captured image is sent from the
ここで、本実施形態に係るエレベータの注意喚起システムの動作について、図１０を参照して説明する。図１０は、本実施形態に係るエレベータの注意喚起システムの動作例を示すフローチャートであり、カゴ１０に乗客が乗車するたびに実施される処理の流れを示している。 Here, operation | movement of the alerting system of the elevator which concerns on this embodiment is demonstrated with reference to FIG. FIG. 10 is a flowchart showing an operation example of the elevator alert system according to the present embodiment, and shows a flow of processing that is performed every time a passenger gets on the basket 10.
本実施形態では、ステップＳ３０１において、カメラ１Ａ，１Ｂによりカゴ１０に乗車した乗客が撮影されると、画像処理エンジン３が、まず、その撮影画像から乗客および乗客が所持している物体が映っている領域を検出し、その撮影画像に映る乗客が、事前に取得した天気情報で示される天気に適した用品を所持しているか否かを判定する（ステップＳ３０２）。そして、撮影画像に映る乗客が天気に適した用品を所持していないと判定した場合（ステップ３０２：Ｎｏ）、画像処理エンジン３は、音声案内装置４に対して、天気に適した用品の所持を促すメッセージの出力を指示する。これにより、天気に適した用品の所持を促すメッセージがカゴ内スピーカ１１から音声出力される（ステップＳ３０３）。一方、撮影画像に映る乗客が天気に適した用品を所持していると判定した場合は（ステップ３０２：Ｙｅｓ）、天気に適した用品の所持を促すメッセージの出力は行われない。
In this embodiment, when a passenger who has boarded the car 10 is photographed by the
その後、画像処理エンジン３は、ステップＳ３０４に進んで、撮影画像と画像ストレージ２が保持する画像との照合を行う。なお、ステップＳ３０４〜ステップＳ３０９の処理は、図５のステップＳ１０２〜ステップＳ１０７の処理と同様であるため、説明を省略する。 Thereafter, the image processing engine 3 proceeds to step S304, and collates the captured image with the image stored in the image storage 2. In addition, since the process of step S304-step S309 is the same as the process of step S102-step S107 of FIG. 5, description is abbreviate | omitted.
以上説明したように、本実施形態によれば、カメラ１Ａ，１Ｂにより撮影された撮影画像を用いてカゴ１０に乗車した乗客が天気に適した用品を所持しているか否かを判定し、乗客が天気に適した用品を所持していなければ、その用品の所持を促すメッセージを出力するようにしているので、乗客の利便性をさらに向上させることができる。
As described above, according to the present embodiment, it is determined whether or not a passenger who has boarded the basket 10 has goods suitable for the weather using the captured images captured by the
以上述べた少なくとも一つの実施形態によれば、エレベータのカゴに乗車した乗客を撮影した画像を処理することで得られる情報を利用して乗客に対する注意喚起を行うことで、乗客の利便性を向上させることができる。 According to at least one embodiment described above, passenger convenience is improved by alerting passengers using information obtained by processing an image obtained by processing passengers riding in an elevator car. Can be made.
以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 As mentioned above, although embodiment of this invention was described, the above-mentioned embodiment is shown as an example and is not intending limiting the range of invention. The above-described embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
１Ａ，１Ｂ カメラ（撮像手段）、２ 画像ストレージ（画像格納手段）、３ 画像処理エンジン（画像処理手段）、４ 音声案内装置（メッセージ出力手段）、５ メールサーバ（メッセージ出力手段）、１０ カゴ、１１ カゴ内スピーカ、２２ 液晶インジケータ（表示装置）。 1A, 1B Camera (imaging means), 2 image storage (image storage means), 3 image processing engine (image processing means), 4 voice guidance device (message output means), 5 mail server (message output means), 10 basket, 11 Speaker in the basket, 22 Liquid crystal indicator (display device).
Claims (6)
前記撮像手段により撮影された画像を保持する画像格納手段と、
前記撮像手段により新たに撮影された画像を前記画像格納手段が保持する画像と照合することにより、前記カゴに乗車した乗客の忘れ物の有無を推定する画像処理手段と、
前記カゴに乗車した乗客が忘れ物をしていると推定された場合に、忘れ物の確認を促すメッセージを出力するメッセージ出力手段と、を備え、
前記画像格納手段は、前記撮像手段により撮影された画像のうち、乗客の顔と手荷物とが映った画像を保持し、
前記画像処理手段は、前記撮像手段により新たに撮影された撮影画像に映る乗客と同一人物を映していると推定される画像を参照画像として前記画像格納手段から取り出し、前記参照画像に映っている手荷物が前記撮影画像に映っていない場合に、乗客が忘れ物をしていると推定することを特徴とするエレベータの注意喚起システム。 Imaging means for taking images of passengers in the elevator car;
Image storage means for holding an image taken by the imaging means;
An image processing means for estimating the presence or absence of a forgotten thing of a passenger who has boarded the basket by comparing an image newly taken by the imaging means with an image held by the image storage means;
A message output means for outputting a message prompting confirmation of the lost item when it is estimated that a passenger who has boarded the basket is left behind ;
The image storage means holds an image showing a passenger's face and baggage among the images taken by the imaging means,
The image processing means takes out an image presumed to show the same person as the passenger shown in the photographed image newly taken by the imaging means from the image storage means as a reference image, and shows it in the reference image If the luggage is not reflected in the captured image, an elevator reminder system passengers characterized that you estimated that left something.
前記メッセージ出力手段は、前記カゴに乗車した乗客が前記用品を所持していないと判定された場合に、前記用品の所持を促すメッセージをさらに出力することを特徴とする請求項１乃至５のいずれか一項に記載のエレベータの注意喚起システム。 The image processing means further analyzes whether or not the newly photographed image has been analyzed so that a passenger who has boarded the basket has goods suitable for the weather indicated by the weather information acquired in advance. Determine
The message output means further outputs a message for prompting possession of the article when it is determined that a passenger who has boarded the basket does not possess the article. The elevator alert system according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018142714A JP6581260B1 (en) | 2018-07-30 | 2018-07-30 | Elevator warning system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018142714A JP6581260B1 (en) | 2018-07-30 | 2018-07-30 | Elevator warning system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6581260B1 true JP6581260B1 (en) | 2019-09-25 |
| JP2020019583A JP2020019583A (en) | 2020-02-06 |
Family
ID=68053497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018142714A Active JP6581260B1 (en) | 2018-07-30 | 2018-07-30 | Elevator warning system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6581260B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112660948A (en) * | 2019-10-15 | 2021-04-16 | 奥的斯电梯公司 | Elevator condition based maintenance using an in-car camera |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7360606B2 (en) * | 2020-02-28 | 2023-10-13 | 日本電気株式会社 | Information processing device, information processing method and program |
| CN118159994A (en) * | 2021-11-12 | 2024-06-07 | 松下电器（美国）知识产权公司 | Information processing method, information processing device, and information processing program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000026037A (en) * | 1998-07-13 | 2000-01-25 | Hitachi Building Systems Co Ltd | Crime preventing device for elevator |
| JP2006209585A (en) * | 2005-01-31 | 2006-08-10 | Mitsubishi Electric Corp | Crime prevention system |
| JP4705862B2 (en) * | 2006-03-01 | 2011-06-22 | 株式会社日立ビルシステム | Elevator car monitoring device |
| JP2010195537A (en) * | 2009-02-25 | 2010-09-09 | Toshiba Elevator Co Ltd | Monitoring device in car of elevator |
| JP2011068440A (en) * | 2009-09-24 | 2011-04-07 | Toshiba Elevator Co Ltd | Elevator monitoring device, elevator monitoring method and elevator remote monitoring system |
| JP5649559B2 (en) * | 2011-12-16 | 2015-01-07 | 株式会社日立ビルシステム | Elevator car monitoring device |
| JP6219247B2 (en) * | 2014-08-11 | 2017-10-25 | 株式会社日立ビルシステム | Video surveillance device |
| WO2017056183A1 (en) * | 2015-09-29 | 2017-04-06 | 三菱電機株式会社 | Elevator system |
| JP6475600B2 (en) * | 2015-10-19 | 2019-02-27 | 株式会社日立ビルシステム | Elevator system |
-
2018
- 2018-07-30 JP JP2018142714A patent/JP6581260B1/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112660948A (en) * | 2019-10-15 | 2021-04-16 | 奥的斯电梯公司 | Elevator condition based maintenance using an in-car camera |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020019583A (en) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6581260B1 (en) | Elevator warning system | |
| US11417128B2 (en) | Method, device, and system for adaptive training of machine learning models via detected in-field contextual incident timeline entry and associated located and retrieved digital audio and/or video imaging | |
| CN107148636B (en) | Navigation system, client terminal device, control method, and storage medium | |
| US20180040230A1 (en) | Systems and methods for managing an emergency situation | |
| US20190304190A1 (en) | Device, system and method for controlling a display screen using a knowledge graph | |
| US20180059416A1 (en) | System and method for augmented reality head up display for vehicles | |
| US20150262006A1 (en) | Monitoring system and monitoring method | |
| EP3618427A1 (en) | Video monitoring system | |
| US10559108B2 (en) | Superimposition of situation expression onto captured image | |
| US10354295B2 (en) | Reception system and reception method | |
| US10496887B2 (en) | Device, system and method for controlling a communication device to provide alerts | |
| WO2020003749A1 (en) | Cabin monitoring method and cabin monitoring device | |
| CN112633184A (en) | Alarm method and device, electronic equipment and storage medium | |
| US20210374414A1 (en) | Device, system and method for controlling a communication device to provide notifications of successful documentation of events | |
| US10667240B2 (en) | Device, system and method for managing channel and/or talkgroup assignments | |
| US11348347B2 (en) | In-vehicle device | |
| US20230290184A1 (en) | Device, method and system for providing a notification of a distinguishing activity | |
| JP2010205191A (en) | Safety management device | |
| WO2021111654A1 (en) | Processing device, processing method, and program | |
| JP7102794B2 (en) | Unmanned aerial vehicle and how to watch | |
| CN112937479A (en) | Vehicle control method and device, electronic device and storage medium | |
| JP2021111144A (en) | Information processing device | |
| CN113853634A (en) | Fire source position indicating method, related equipment and device | |
| JP2020127175A (en) | Image acquisition system, image acquisition method, and program | |
| JP2021071967A (en) | Response support system, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190702 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6581260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |