JP7174565B2 - Management device, management system, management method and program - Google Patents

Management device, management system, management method and program Download PDF

Info

Publication number
JP7174565B2
JP7174565B2 JP2018150883A JP2018150883A JP7174565B2 JP 7174565 B2 JP7174565 B2 JP 7174565B2 JP 2018150883 A JP2018150883 A JP 2018150883A JP 2018150883 A JP2018150883 A JP 2018150883A JP 7174565 B2 JP7174565 B2 JP 7174565B2
Authority
JP
Japan
Prior art keywords
person
entrance
processing
operator
management device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018150883A
Other languages
Japanese (ja)
Other versions
JP2020027372A (en
Inventor
浩 犬塚
琢生 木下
敦 宮本
澄昭 安達
厳樹 松田
拓磨 加藤
Original Assignee
美和ロック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美和ロック株式会社 filed Critical 美和ロック株式会社
Priority to JP2018150883A priority Critical patent/JP7174565B2/en
Publication of JP2020027372A publication Critical patent/JP2020027372A/en
Application granted granted Critical
Publication of JP7174565B2 publication Critical patent/JP7174565B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lock And Its Accessories (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、管理装置、管理システム、管理方法およびプログラムに関する。 The present invention relates to a management device, management system, management method and program.

家や店舗に設置されるセキュリティ装置から取得された画像や音響を元にして、通報の必要のない人物を特定するための知人情報を予め記録しておき、新たに来訪者の画像または音響を取得した場合に、取得した情報を予め記録した知人情報と照合するセキュリティシステムが知られている(例えば、特許文献1を参照)。
[先行技術文献]
[特許文献]
[特許文献1] 特開2016-177484号公報
Based on images and sounds obtained from security devices installed in homes and shops, acquaintance information is recorded in advance to identify people who do not need to be reported, and new images or sounds of visitors are recorded. A security system is known in which, when acquired, the acquired information is compared with pre-recorded acquaintance information (see, for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2016-177484 A

しかしながら、上記セキュリティシステムでは、新たな来訪者が知人情報に記録されていない場合は、不正侵入者と見做してユーザ端末に通報し、ユーザに対してユーザ端末での操作を要求するので、ユーザにとっては面倒であった。 However, in the above security system, if a new visitor is not recorded in the acquaintance information, it is regarded as an unauthorized intruder and reported to the user terminal, and the user is requested to operate the user terminal. It was troublesome for users.

本発明の一態様においては、建物における特定の領域への入口の外側にいる人物を検知する検知部と、建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、検知部で検知した入口の外側にいる人物から特定の処理の要否を推定する推定部と、推定部によって特定の処理が必要であると推定された場合に特定の処理を実行する処理部とを備える管理装置が提供される。 In one aspect of the present invention, a detection unit that detects a person outside the entrance to a specific area of the building, a person outside the entrance to the specific area of the building, and whether or not a specific process is required. Based on the learning result of the relationship, an estimation unit that estimates whether or not a specific process is required from the person outside the entrance detected by the detection unit A management device is provided that includes a processing unit that executes processing.

本発明の一態様においては、上記の管理装置を複数備える管理システムであって、複数の管理装置のうちの1つの管理装置が設けられた建物を住居、勤務先および通学先の何れかとする人が、複数の管理装置のうちの他の管理装置が設けられた建物を住居、勤務先および通学先の何れかとして新たに利用する場合に、1つの管理装置の学習結果を他の管理装置に共有させる、管理システムが提供される。 In one aspect of the present invention, there is provided a management system comprising a plurality of management devices, and a person who lives, works, or goes to school in a building in which one of the plurality of management devices is installed. However, when a building in which another management device is installed among a plurality of management devices is newly used as a residence, place of work, or commuting to school, the learning result of one management device is transferred to the other management device. A management system is provided for sharing.

本発明の一態様においては、建物における特定の領域への入口の外側にいる人物を検知する検知段階と、建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、検知段階で検知した入口の外側にいる人物から特定の処理の要否を推定する推定段階と、推定段階によって特定の処理が必要であると推定された場合に特定の処理を実行する処理段階とを備える管理方法が提供される。 In one aspect of the present invention, a detecting step of detecting a person outside the entrance to a specific area of the building, and a person outside the entrance to the specific area of the building and whether or not specific processing is required. Based on the learning result of the relationship, an estimation stage of estimating whether or not a specific process is required from the person outside the entrance detected in the detection stage, and if the estimation stage estimates that a specific process is necessary, a specific A management method is provided comprising a processing stage for performing a process.

本発明の一態様においては、コンピュータに上記の管理方法を実行させるプログラムが提供される。 An aspect of the present invention provides a program that causes a computer to execute the management method described above.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not list all the necessary features of the invention. Subcombinations of these feature groups can also be inventions.

第1実施形態による、管理装置100が設置されたマンション30の共用部分であるエントランスの状況の模式図である。FIG. 2 is a schematic diagram of the situation of the entrance, which is a common part of the condominium 30 in which the management device 100 is installed, according to the first embodiment. 第1実施形態による、管理装置100のブロック図である。1 is a block diagram of a management device 100 according to the first embodiment; FIG. 第1実施形態による、学習の一例としてのフロー図である。FIG. 4 is a flow diagram as an example of learning according to the first embodiment; 第1実施形態による、学習結果に基づいて特定の処理を実行するまでの、一例としてのフロー図である。FIG. 10 is a flowchart as an example until specific processing is executed based on learning results according to the first embodiment; 第1実施形態による、学習結果に基づいて特定の処理を実行するまでの、一例としてのフロー図である。FIG. 10 is a flowchart as an example until specific processing is executed based on learning results according to the first embodiment; 第2実施形態による、学習結果に基づいて特定の処理を実行するまでの、一例としてのフロー図である。FIG. 11 is a flowchart as an example until specific processing is executed based on learning results according to the second embodiment; 本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ1200の例を示す図である。12 illustrates an example computer 1200 in which aspects of the present invention may be implemented in whole or in part; FIG.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Also, not all combinations of features described in the embodiments are essential for the solution of the invention. In addition, in the drawings, the same or similar parts may be denoted by the same reference numerals to omit redundant description.

図1は、第1実施形態による、管理装置100が設置されたマンション30の共用部分であるエントランスの状況の模式図である。マンション30のエントランスには自動で開閉するエントランス扉41が設けられており、エントランス扉41は、エントランスにおける外側の領域31と内側の領域33とを仕切っている。マンション30は建物の一例であり、エントランス扉41の内側の領域33は建物における特定の領域の一例であり、エントランス扉41は当該特定の領域への入口の一例である。 FIG. 1 is a schematic diagram of the situation of an entrance, which is a common part of a condominium 30 in which a management device 100 is installed, according to the first embodiment. An entrance door 41 that automatically opens and closes is provided at the entrance of a condominium 30, and the entrance door 41 separates an outer area 31 and an inner area 33 in the entrance. The condominium 30 is an example of a building, the area 33 inside the entrance door 41 is an example of a specific area in the building, and the entrance door 41 is an example of an entrance to the specific area.

エントランス扉41の外側の領域31には、操作盤43が設置されている。図1に示す状況では、エントランス扉41の外側の領域31に、操作盤43を操作している第1人物61、第1人物61と手を繋いでいる第2人物63、および、第1人物61および第2人物63から離れたところで孤立して立っている第3人物65がいる。第1人物61、第2人物63および第3人物65は上記の特定の領域への入口の外側にいる人物の一例であり、第1人物61は操作盤43によってエントランス扉41の解錠操作を行う操作者の一例であり、第2人物63および第3人物65は操作者とは異なる人物の一例である。 An operation panel 43 is installed in the area 31 outside the entrance door 41 . In the situation shown in FIG. 1, in the area 31 outside the entrance door 41, a first person 61 operating the operation panel 43, a second person 63 holding hands with the first person 61, and the first person There is a third person 65 standing in isolation at a distance from 61 and second person 63 . The first person 61, the second person 63, and the third person 65 are examples of persons outside the entrance to the specific area, and the first person 61 unlocks the entrance door 41 using the operation panel 43. The second person 63 and the third person 65 are examples of persons different from the operator.

操作盤43は、通信ネットワーク50を介して、有線通信又は無線通信により、管理装置100に接続される。操作盤43は、マンション30の住人や、マンション30への訪問者などによって操作されるインターフェースを有する。インターフェースは、一例として、操作者によって操作されるタッチパネルと、操作者の顔を正面から撮像するカメラとを含む。インターフェースは更に、操作者による発話音声を集音し、マンション30の各居室に設けられた室内インターホンで集音された発話音声を発声してもよい。タッチパネルは、一例として、エントランス扉41を解錠するための解錠ボタンと、マンション30の居室番号を入力して呼び出すための呼び出しボタンとを含む。操作盤43のインターフェースで入出力される情報は、管理装置100との間で送受信される。 The operation panel 43 is connected to the management device 100 via a communication network 50 by wired communication or wireless communication. The operation panel 43 has an interface operated by a resident of the condominium 30, a visitor to the condominium 30, or the like. The interface includes, for example, a touch panel operated by an operator and a camera that captures an image of the operator's face from the front. Further, the interface may collect the uttered voice of the operator and utter the uttered voice collected by the indoor intercom provided in each living room of the condominium 30 . The touch panel includes, for example, an unlock button for unlocking the entrance door 41 and a call button for inputting and calling the room number of the condominium 30 . Information input/output through the interface of the operation panel 43 is transmitted/received to/from the management device 100 .

管理装置100は、装置本体101と、検知部102とを備える。装置本体101は、操作盤43と一体であってもよく、操作盤43とは別個に、例えばマンション30の管理人室に設けられてもよい。装置本体101は、通信ネットワーク50を介して、有線通信又は無線通信により、操作盤43および検知部102に接続される。装置本体101は更に、通信ネットワーク50を介して、有線通信又は無線通信により、予め登録された通知先、例えばマンション30の各居室に設けられた室内インターホン、マンション30の各住人の通信端末、マンション30の管理人室の通信機器、マンション30のセキュリティを管理する警備会社の通信機器、または、警察の通信機器の少なくとも何れかに接続されてもよい。 The management device 100 includes a device body 101 and a detection unit 102 . The apparatus main body 101 may be integrated with the operation panel 43 or may be provided separately from the operation panel 43 in, for example, the janitor's room of the condominium 30 . The device main body 101 is connected to the operation panel 43 and the detection unit 102 via the communication network 50 by wired communication or wireless communication. The apparatus main body 101 further communicates with pre-registered notification destinations, for example, an indoor intercom provided in each room of the condominium 30, a communication terminal of each resident of the condominium 30, and a communication terminal of each resident of the condominium 30, via wired communication or wireless communication via the communication network 50. It may be connected to at least one of the communication equipment of the janitor's office 30, the communication equipment of the security company that manages the security of the condominium 30, or the communication equipment of the police.

検知部102は、エントランス扉41の外側の領域31にいる人物を検知する。検知部102は、一例として、動画を撮像するカメラを含む。検知部102は、一例として、エントランス扉41の上方の壁面に設置され、エントランス扉41の外側の領域31を撮像する。図1には、一例として、単一の検知部102が設置されているが、これに代えて、少なくともエントランス扉41の外側の領域31にいる人物を異なる複数の方向から検知する複数の検知部102が設置されてもよい。検知部102は、撮像した画像データを随時に、通信ネットワーク50を介して、装置本体101に送信する。当該画像データは、静止画データであっても動画データであってもよい。当該画像データには、エントランス扉41の外側の領域31にいる人物が被写体として映る画像データが含まれる。 The detection unit 102 detects a person in the area 31 outside the entrance door 41 . The detection unit 102 includes, for example, a camera that captures moving images. As an example, the detection unit 102 is installed on the wall surface above the entrance door 41 and captures an image of the area 31 outside the entrance door 41 . In FIG. 1, as an example, a single detection unit 102 is installed, but instead of this, a plurality of detection units that detect at least a person in the area 31 outside the entrance door 41 from a plurality of different directions. 102 may be installed. The detection unit 102 transmits captured image data to the apparatus main body 101 via the communication network 50 at any time. The image data may be still image data or moving image data. The image data includes image data in which a person in the area 31 outside the entrance door 41 appears as a subject.

装置本体101には、人工知能(AI)が組み込まれている。本実施形態では、装置本体101の人工知能は、エントランス扉41の外側の領域31にいる人物と互いに異なる複数の処理のうちの特定の処理の要否との関係を学習し、学習結果に基づき、検知部102で検知した外側の領域31にいる人物から、互いに異なる複数の処理のうちの特定の処理の要否を推定する。なお、これに代えて、装置本体101の人工知能は、エントランス扉41の外側の領域31にいる人物と単一の特定の処理の要否との関係を学習し、学習結果に基づいて、検知部102で検知した外側の領域31にいる人物から、当該単一の特定の処理の要否を推定してもよい。 The device body 101 incorporates artificial intelligence (AI). In this embodiment, the artificial intelligence of the device main body 101 learns the relationship between the person in the area 31 outside the entrance door 41 and the necessity of specific processing among a plurality of mutually different processing, and based on the learning result. , from the person in the outer region 31 detected by the detection unit 102, the necessity of a specific process among a plurality of mutually different processes is estimated. Alternatively, the artificial intelligence of the apparatus main body 101 learns the relationship between a person in the area 31 outside the entrance door 41 and whether or not a single specific process is required, and based on the learning result, performs detection. Whether or not the single specific process is necessary may be estimated from the person in the outer region 31 detected by the unit 102 .

特定の処理は、一例として、装置本体101が、通信ネットワーク50を介して操作盤43から、操作盤43の操作者によるエントランス扉41の解錠操作の入力を受け付けた場合に、操作者に対して、操作者とは異なる人物の確認を要求する要求処理を含む。当該要求処理は、操作者によるエントランス扉41の解錠操作の入力を受け付けた後に、操作者に対して、例えば操作盤43のタッチパネルに上記の異なる人物に関する情報を提示することによって、リアルタイムに異なる人物の確認を要求する処理を含んでもよい。また、当該要求処理は、操作者によるエントランス扉41の解錠操作の入力を受け付けた後に、操作者に対して、例えば操作者の予め登録された通信端末や室内インターホンに上記の異なる人物に関する情報を提示することによって、事後的に異なる人物の確認を要求する処理を含んでもよい。なお、各機器に異なる人物に関する情報を提示することは、一例として、検知部102によって検知された異なる人物の画像を各機器のディスプレイに表示すること、異なる人物が存在する旨を知らせる指標を当該ディスプレイに表示すること、および、異なる人物が存在する旨を知らせる音声を各機器から発声すること、などの少なくとも何れかを含んでもよい。 As an example, the specific processing is performed when the device main body 101 receives an input of an unlocking operation of the entrance door 41 by the operator of the operation panel 43 from the operation panel 43 via the communication network 50. and request processing for requesting confirmation of a person different from the operator. The request processing can be changed in real time by presenting the above-mentioned information about different persons to the operator, for example, on the touch panel of the operation panel 43 after receiving the operator's input of the unlocking operation of the entrance door 41. It may also include a process of requesting confirmation of the person. Further, in the request process, after receiving the operator's input of the unlocking operation of the entrance door 41, the operator receives the information about the different person from the operator's pre-registered communication terminal or indoor intercom, for example. may include processing for requesting confirmation of a different person after the fact by presenting the . It should be noted that, for example, presenting information about different people on each device may mean displaying images of different people detected by the detection unit 102 on the display of each device, or displaying an index indicating the existence of a different person. It may include at least one of displaying on a display and uttering a sound from each device to inform that a different person is present.

特定の処理はまた、一例として、エントランス扉41の警戒処理を含む。警戒処理は、エントランス扉41の施錠、エントランス扉41の閉扉、エントランス扉41以外のマンション30への入口の施錠、当該入口の閉扉、エントランス扉41での警告、および、一例を上記した予め登録された通知先への通報などの少なくとも何れかを含む。エントランス扉41での警告は、一例として、操作盤43からの警告音声の発声、または、エントランス扉41の外側の領域31に設けられた警告ランプの点滅などの少なくとも何れかを含む。 Specific processing also includes warning processing of the entrance door 41 as an example. The warning process includes locking the entrance door 41, closing the entrance door 41, locking the entrance to the condominium 30 other than the entrance door 41, closing the relevant entrance, issuing a warning at the entrance door 41, and pre-registered examples of which are described above. including at least one such as notification to the notification destination. The warning on the entrance door 41 includes, for example, at least one of utterance of a warning voice from the operation panel 43 and blinking of a warning lamp provided in the area 31 outside the entrance door 41 .

特定の処理はまた、一例として、優位的な処理を含む。優位的な処理とは、一例として、(A)エントランス扉41の解錠、(B)エントランス扉41の開扉、(C)エントランス扉41の警戒解除、並びに、(D)予め登録された通知先に対する、上記(A)の解錠、上記(B)の開扉および上記(C)の警戒解除の少なくとも何れかの遠隔操作を要求するための連絡、の少なくとも何れかである。ここで言う、予め登録された通知先は、一例として、操作盤43の操作者が操作盤43から呼び出した訪問先の住人の通信端末を含む。 Specific treatments also include, by way of example, dominant treatments. Predominant processing includes, for example, (A) unlocking of the entrance door 41, (B) opening of the entrance door 41, (C) release of alert of the entrance door 41, and (D) pre-registered notification At least one of communication for requesting remote control of at least one of (A) unlocking, (B) opening the door, and (C) canceling the alert. The pre-registered notification destination referred to here includes, for example, the communication terminal of the resident of the visiting destination called from the operation panel 43 by the operator of the operation panel 43 .

装置本体101は更に、特定の処理が必要であると推定された場合に、当該特定の処理を実行する。 Further, when it is estimated that a specific process is required, the device body 101 executes the specific process.

管理装置100は、このような人工知能による処理を利用することで、マンション30に出入りしたことがある人物だけでなく、マンション30に初めて訪れる人物に対しても、特定の処理が必要であるか否かを推定して自動的に実行する。 By using such processing by artificial intelligence, the management device 100 can determine whether specific processing is necessary not only for a person who has entered and exited the condominium 30 but also for a person who has visited the condominium 30 for the first time. Estimate whether or not, and execute automatically.

図2は、第1実施形態による、管理装置100のブロック図である。管理装置100は、上述の通り、装置本体101の他に検知部102を備える。装置本体101は、通信部111と、推定部113と、格納部117と、処理部119とを有する。 FIG. 2 is a block diagram of the management device 100 according to the first embodiment. The management device 100 includes the detection unit 102 in addition to the device main body 101 as described above. Device body 101 includes communication section 111 , estimation section 113 , storage section 117 , and processing section 119 .

通信部111は、通信ネットワーク50を介して、操作盤43から任意の情報を受信すると、推定部113に出力する。通信部111は、通信ネットワーク50を介して、検知部102から一例として画像データを受信すると、推定部113および処理部119に出力する。通信部111は、推定部113および処理部119から任意の情報および制御信号を入力されると、制御信号に基づいて、操作盤43およびエントランス扉41の何れかに、通信ネットワーク50を介して、任意の情報および制御信号の少なくとも何れかを送信する。 Upon receiving arbitrary information from the operation panel 43 via the communication network 50 , the communication unit 111 outputs the information to the estimation unit 113 . For example, when image data is received from the detection unit 102 via the communication network 50 , the communication unit 111 outputs the image data to the estimation unit 113 and the processing unit 119 . When arbitrary information and a control signal are input from the estimating unit 113 and the processing unit 119, the communication unit 111 transmits the control signal to either the operation panel 43 or the entrance door 41 via the communication network 50. Send any information and/or control signals.

推定部113は、上述の人工知能を含む。推定部113は、エントランス扉41の外側の領域31にいる人物と特定の処理の要否との関係を学習し、学習結果に基づき、検知部102で検知した外側の領域31にいる人物から、特定の処理の要否を推定する。 Estimation unit 113 includes the artificial intelligence described above. The estimating unit 113 learns the relationship between the person in the area 31 outside the entrance door 41 and whether or not specific processing is required. Estimate the need for a particular process.

本実施形態における推定部113はまた、上記の学習の一例として、操作盤43の操作者と当該操作者とは異なる人物との対人関係と、上記の特定の処理の要否との関係を学習する。対人関係は、一例として、当該操作者が、当該異なる人物と共に、エントランス扉41の内側の領域33へ進入することを意識している関係、および、内側の領域33へ進入することを意識していない関係を含む。推定部113は更に、上記の要求処理が実行され、上記の操作者による上記の異なる人物の確認結果に基づいて、操作者と異なる人物との対人関係と、特定の処理の要否との関係を学習してもよい。 As an example of the above learning, the estimation unit 113 in the present embodiment also learns the relationship between the interpersonal relationship between the operator of the operation panel 43 and a person different from the operator and the necessity of the above specific processing. do. The interpersonal relationship is, for example, a relationship in which the operator is aware of entering the area 33 inside the entrance door 41 together with the different person, and a relationship in which the operator is aware of entering the area 33 inside the entrance door 41. Including non-relationships. The estimating unit 113 further determines the relationship between the interpersonal relationship between the operator and the different person and the necessity of the specific process based on the confirmation result of the different person by the operator after the request process is executed. may be learned.

推定部113は、一例として、以下の(D)から(K)の少なくとも何れかの条件を満たす場合を、上述した、操作盤43の操作者が異なる人物と共にエントランス扉41の内側の領域33へ進入することを意識している関係として学習してもよい。また、以下の(D)から(K)の条件に示される状況は、一例として、検知部102による検知対象範囲の他に、マンション30のエントランス扉41の内側の領域33、廊下、エレベータ、および、駐車場などの少なくとも何れかの場所に設置されたカメラ等によって検知され、検知された状況を示す画像データが推定部113に送信されてもよい。 As an example, if at least one of the following conditions (D) to (K) is satisfied, the estimating unit 113 moves to the area 33 inside the entrance door 41 together with a different person who operates the operation panel 43 as described above. It may be learned as a relationship in which one is conscious of entering. In addition, the situations shown in the following conditions (D) to (K) are, as an example, in addition to the detection target range by the detection unit 102, the area 33 inside the entrance door 41 of the condominium 30, the corridor, the elevator, and , a parking lot, or the like, and image data indicating the detected situation may be transmitted to the estimating unit 113 .

(D)操作盤43の操作者と異なる人物との距離が予め定められた長さの閾値より短い状態が継続する時間が、予め定められた時間の閾値以上に長いこと。(E)操作盤43の操作者がエントランス扉41から内側の領域33へ進入してから予め定められた時間の閾値より短い時間内に、異なる人物がエントランス扉41から内側の領域33へ進入したこと。(F)操作盤43の操作者と異なる人物とが直接的に又は間接的に接触していること。(G)予め定められた回数の閾値以上、操作盤43の操作者と異なる人物とが一緒にエントランス扉41から内側の領域33へ進入した履歴があること。 (D) The time during which the distance between the operator of the operation panel 43 and a different person is shorter than a predetermined length threshold is longer than the predetermined time threshold. (E) A different person entered the inner area 33 from the entrance door 41 within a time period shorter than the predetermined time threshold after the operator of the operation panel 43 entered the inner area 33 from the entrance door 41. thing. (F) The operator of the operation panel 43 is in direct or indirect contact with a different person. (G) There is a history that the operator of the operation panel 43 and a different person have entered the inner area 33 from the entrance door 41 together more than a predetermined number of times.

(H)予め定められた回数の閾値以上、操作盤43の操作者と異なる人物とが一緒に、エントランス扉41の内側の領域33において、予め定められた距離の閾値以上を移動した履歴があること。(I)予め定められた時間の閾値以上、操作盤43の操作者と異なる人物とが一緒に、当該操作者の居室内やマンション30の共有部分であるミーティングルームやエントランスホールなどに居た履歴があること。(J)操作盤43の操作者がSNSで公開している画像に、当該操作者と異なる人物とが一緒に写っていること。(K)操作盤43の操作者のもとに異なる人物が訪問し、当該操作者が良好な応対、例えば良好な表情を示したり良好な声調で受け答えしたり当該操作者の居室へ招き入れたりした履歴があること。 (H) There is a history in which the operator of the operation panel 43 and a different person have moved together in the region 33 inside the entrance door 41 for a distance equal to or greater than a predetermined distance threshold or more. thing. (I) A history in which the operator of the operation panel 43 and a different person were together in the living room of the operator or in the meeting room or the entrance hall, which are the shared parts of the condominium 30, for more than a predetermined time threshold. to be. (J) The image published by the operator of the control panel 43 on the SNS includes a person different from the operator. (K) A different person visits the operator of the operation panel 43, and the operator responds well, for example, shows a good facial expression, answers in a good tone, or invites the operator into the room. have a history.

本実施形態における推定部113はまた、マンション30におけるエントランス扉41の外側の領域31にいる人物と、上記の警戒処理の要否との関係を学習する。警戒処理が必要とされる人物は、一例として、泥棒、強盗、不審者、悪質セールスマン、ストーカー、不法侵入者、および、ゴミなどの不法投棄者などの少なくとも何れかを含む。このような人物は、例えばマンション30の警備会社のデータベースや警察の犯罪者データベースなどに、警戒処理が必要な対象者として登録されていてもよく、更に、そのような人物が取った行動も記録されていてもよい。推定部113はまた、マンション30におけるエントランス扉41の外側の領域31にいる人物の状況と、上記の警戒処理の要否との関係を学習する。この場合、推定部113は、一例として、上記のデータベースから、警戒処理が必要な対象者として登録された人物が取った行動の記録を取得し、当該記録から、警戒処理が必要な、エントランス扉41の外側の領域31にいる人物の状況を学習してもよい。 The estimating unit 113 in this embodiment also learns the relationship between the person in the area 31 outside the entrance door 41 of the condominium 30 and whether or not the warning process is necessary. Examples of persons requiring caution processing include at least any of thieves, robbers, suspicious persons, malicious salesmen, stalkers, illegal intruders, and illegal dumpers of garbage. Such a person may be registered, for example, in the database of the security company of the condominium 30 or the database of criminals of the police as a target person requiring caution processing, and the actions taken by such a person are also recorded. may have been The estimating unit 113 also learns the relationship between the situation of a person in the area 31 outside the entrance door 41 of the condominium 30 and the necessity of the warning process. In this case, the estimating unit 113 acquires, from the above-described database, for example, a record of actions taken by a person registered as a target person requiring caution processing, and from the record, an entrance door that requires caution processing. The situation of a person in the area 31 outside 41 may be learned.

推定部113は、一例として、以下の(L)から(N)の少なくとも何れかの条件を満たす場合を、上述した、警戒処理が必要な、建物における特定の領域への入口の外側にいる人物の状況として学習してもよい。また、以下の(L)から(N)の条件に示される状況は、一例として、検知部102による検知対象範囲の他、上記と同様に、マンション30のエントランス扉41の内側の領域33などの場所に設置されたカメラ等によって検知され、検知された状況を示す画像データが推定部113に送信されてもよい。 As an example, the estimating unit 113 determines that a person outside an entrance to a specific area in a building requiring caution processing, as described above, when at least one of the following conditions (L) to (N) is satisfied: It may be learned as a situation of In addition, the situations indicated by the following conditions (L) to (N) include, as an example, the range to be detected by the detection unit 102, as well as the area 33 inside the entrance door 41 of the condominium 30. Image data indicating the detected situation may be detected by a camera or the like installed at a location and transmitted to the estimation unit 113 .

(L)マンション30において特定の行動パターンを行うこと。特定の行動パターンは、一例として、マンション30における特定の領域への入口の前で何度も周囲をキョロキョロすること、複数のポストの名札や中身を確認すること、検知部102や操作盤43のカメラを布などで塞ぐこと、任意の居室の扉の近くまで来てから鍵を開けること及び呼び鈴を押すことなどの何れの動作も行わずに離れていくこと、マンション30における特定の領域への入口の錠を操作したが解錠できずに立ち去ること、任意の居室の扉に予め定められた時間の閾値以上接触していたが何もせずに立ち去ること、マンション30における特定の領域への入口の錠を破る動作を行うこと、マンション30の住人であるが普段の動線と異なる動作をすること、および、配達業者や清掃業者などの特定の行動を行うことが予期される服装を着用しているにも拘わらず当該行動をせずに立ち去ったこと、などの少なくとも何れかを含む。なお、管理装置100は、ある人物がマンション30の住人であることを、検知部102や建物の任意の場所に設置されたカメラ等によって検知された画像データなどから教師なし学習によって認識してもよく、当該人物による入力情報と共に教師あり学習を行うことによって認識してもよく、当該人物に関係する人物、例えば当該人物と同居している親やマンション30の管理人などが登録することによって認識してもよい。 (L) performing a specific behavior pattern in the condominium 30; Specific behavior patterns include, for example, repeatedly looking around in front of an entrance to a specific area in condominium 30, checking the nameplates and contents of a plurality of mailboxes, checking detection unit 102 and control panel 43 Covering the camera with a cloth, etc., leaving without performing any action such as unlocking the door after coming near the door of any room, pressing the doorbell, etc., entering a specific area in the apartment 30 Leaving without being able to unlock the door after operating the lock of the entrance, Leaving without doing anything after touching the door of an arbitrary room for more than a predetermined time threshold, Entrance to a specific area in the condominium 30 Wear clothes that are expected to break the lock of the apartment, to behave differently from the usual flow line although it is a resident of the apartment 30, and to perform a specific action such as a delivery company or a cleaning company. including at least one of the following: Note that the management device 100 recognizes that a certain person is a resident of the condominium 30 by unsupervised learning from image data detected by the detection unit 102 or a camera or the like installed at an arbitrary location in the building. Recognition may be performed by performing supervised learning together with information input by the person, and recognition is performed by registering a person related to the person, such as a parent who lives with the person, a manager of the apartment 30, etc. You may

入口の錠を破る動作は、一例として、入口の錠に対してピッキング道具、バール、ドリルを使用していることなどを含む。マンション30の住人が普段の動線と異なる動作をすることは、一例として、当該住人に関連して予め登録された部屋、例えば当該住人の居室以外の居室を訪問すること、当該住人に関連して予め登録されたフロア以外のフロアを使用すること、などの少なくとも何れかを含む。 The action of breaking the entrance lock includes, by way of example, using a picking tool, crowbar, drill, etc. against the entrance lock. For example, a resident of the condominium 30 performing an action that differs from the usual flow line is, for example, visiting a room that has been registered in advance in relation to the resident, for example, a room other than the resident's room. using a floor other than the floor registered in advance in the

(M)マンション30を住居とする単数または複数の人が、マンション30におけるエントランス扉41の外側の領域31にいる人物に対して不良な応対をした履歴があること。なお、本実施形態では、管理装置100が設けられる建物の一例をマンション30としているが、管理装置100が設けられる建物がオフィスビルや学校などの場合には、条件(M)を、管理装置100が設けられる建物を住居、勤務先および通学先の何れかとする単数または複数の人が、建物における特定の領域への入口の外側にいる人物に対して不良な応対をした履歴があること、としてもよい。 (M) One or more people who live in the condominium 30 have a history of bad behavior toward people in the area 31 outside the entrance door 41 of the condominium 30 . In this embodiment, an apartment building 30 is used as an example of a building in which the management device 100 is installed. One or more persons who live, work, or go to school in the building where the building is located have a history of bad behavior toward persons outside the entrance to a specific area of the building. good too.

なお、推定部113は、ある人物が建物を住居、勤務先および通学先の何れかとしていることを、検知部102や建物の任意の場所に設置されたカメラ等によって検知された画像データなどから教師なし学習によって認識してもよく、当該人物による入力情報と共に教師あり学習を行うことによって認識してもよく、当該人物に関係する人物、例えば管理装置100が設けられる建物の管理人や、当該人物が勤務する会社の上司や、当該人物が通学する学校の教師などによって登録されることによって認識してもよい。 Note that the estimating unit 113 determines that a certain person uses the building as a residence, place of work, or school, from image data or the like detected by the detecting unit 102 or a camera or the like installed at an arbitrary location in the building. The person may be recognized by unsupervised learning, or may be recognized by performing supervised learning together with information input by the person. The person may be recognized by being registered by a boss of the company where the person works, a teacher of the school where the person goes to school, or the like.

(N)マンション30における特定の領域への入口の前に特定の物を所持して現れること、または、マンション30の住人以外の人物がマンション30のゴミ捨て場の外扉の前にゴミを内包している状態のゴミ袋を所持して現れること。特定の領域への入口は、一例として、エントランス扉41、マンション30の共有部分である駐輪場の外扉、駐車場の外扉、各居室の扉、各居室の外門、各部屋の窓、および、各部屋の庭の門、などの少なくとも何れかを含む。特定の物は、一例として、ピッキング道具、バール、および、ドリル、などの少なくとも何れかを含む。 (N) Appearing in front of the entrance to a specific area in the condominium 30 with a specific object, or a person other than the residents of the condominium 30 including garbage in front of the outer door of the garbage disposal area of the condominium 30 Show up with a litter bag. For example, the entrance to the specific area is the entrance door 41, the outer door of the bicycle parking lot that is the shared part of the apartment 30, the outer door of the parking lot, the door of each living room, the outer gate of each living room, the window of each room, and , garden gates for each room, and/or the like. Specific objects include, by way of example, picking tools, crowbars, and/or drills.

本実施形態における推定部113はまた、建物における特定の領域への入口の外側にいる人物と、上記の優位的な処理の要否との関係を学習する。推定部113は、一例として、内側の領域33からエントランス扉41を介して退場した人物に付属する物の表面における視覚的な特徴と同じ特徴がエントランス扉41の外側にいる人物に付属する物の表面から検知された場合を優位的な処理が必要な状況として学習してもよい。人物に付属する物は、一例として、服、鞄、靴、腕時計、メガネ、および、帽子などの少なくとも何れかを含む。 The estimating unit 113 in this embodiment also learns the relationship between the person outside the entrance to the specific area in the building and whether or not the superior processing is necessary. As an example, the estimating unit 113 determines whether an object belonging to the person outside the entrance door 41 has the same visual feature as the surface of the object belonging to the person exiting from the inner area 33 through the entrance door 41 . It may be learned that the case where it is detected from the surface is a situation that requires superior processing. Examples of objects attached to a person include at least one of clothes, bags, shoes, wristwatches, glasses, hats, and the like.

推定部113は、一例として、以下の(O)から(S)の少なくとも何れかの条件を満たす場合を、上述した、優位的な処理が必要な、建物における特定の領域への入口の外側にいる人物として学習してもよい。また、以下の(O)から(S)の条件に示される状況は、一例として、検知部102による検知対象範囲の他、上記と同様に、マンション30のエントランス扉41の内側の領域33などの場所に設置されたカメラ等によって検知され、検知された状況を示す画像データが推定部113に送信されてもよい。 As an example, the estimating unit 113 determines that at least one of the following conditions (O) to (S) is satisfied, outside the entrance to the specific area of the building that requires superior processing. You can learn as a person. In addition, the situations shown in the following conditions (O) to (S) include, as an example, the detection target range by the detection unit 102, and similarly to the above, the area 33 inside the entrance door 41 of the condominium 30. Image data indicating the detected situation may be detected by a camera or the like installed at a location and transmitted to the estimation unit 113 .

(O)マンション30における特定の領域への入口の外側にいる人物が、予め定められた回数の閾値以上、当該入口の内側へ進入した履歴があること。(P)マンション30における特定の領域への入口の外側にいる人物が、予め定められた時間の閾値以上、マンション30の居室内に居た履歴があること。(Q)マンション30における特定の領域への入口の外側にいる人物が、マンション30の住人がSNSで公開している画像において、当該住人と一緒に写っていること。(R)マンション30における特定の領域への入口の外側にいる人物が、マンション30の住人のもとに訪問し、当該住人によって上記の良好な応対をされた履歴があること。(S)マンション30における特定の領域への入口の外側にいる人物の所持品および服装の少なくとも何れかが、予め定められた回数の閾値以上、当該入口を通過した履歴があること。 (O) A person outside the entrance to the specific area in the condominium 30 has a history of entering the entrance more than a predetermined number of times. (P) A person outside the entrance to the specific area in the condominium 30 has a history of staying in the living room of the condominium 30 for a predetermined time threshold or longer. (Q) A person outside the entrance to a specific area in the condominium 30 is pictured together with the resident in the image that the resident of the condominium 30 publishes on the SNS. (R) A person outside the entrance to a specific area in the condominium 30 has a history of visiting a resident of the condominium 30 and being treated well by the resident. (S) At least one of belongings and clothes of a person outside the entrance to the specific area in the condominium 30 has a history of passing through the entrance a predetermined number of times or more.

推定部113による上記の様々な学習は、管理装置100がマンション30に設置されてから開始してもよく、管理装置100がマンション30に設置される前に、マンション30とは異なる場所で、例えば管理装置100の製造段階に工場で、事前に、ある程度の学習を済ませておき、管理装置100がマンション30に設置された後に、事前の学習と同じ手法で学習を継続してもよい。後者の場合、管理装置100は、マンション30に設置された後に行う学習の量および期間を、前者の場合に比べて減らしてもよい。 The above-described various learnings by the estimating unit 113 may be started after the management device 100 is installed in the condominium 30. Before the management device 100 is installed in the condominium 30, the learning may be started at a place different from the condominium 30, for example. A certain amount of learning may be completed in advance at the manufacturing stage of the management device 100 at the factory, and after the management device 100 is installed in the condominium 30, the learning may be continued in the same manner as the prior learning. In the latter case, the management device 100 may reduce the amount and period of learning to be performed after being installed in the condominium 30 compared to the former case.

格納部117は、管理装置100の各構成を動作させるプログラムなどを格納しており、一例として、推定部113および処理部119によって参照される。格納部117はまた、一例として、推定部113および処理部119の少なくとも何れかによって読み出される音声データ、静止画データ、動画データ、テキストデータ、マンション30の住人、住人の知人、マンション30に出入りする業者、および、警戒処理が必要な対象者、などの少なくとも何れかに関する情報、上記の予め登録された通知先に関する情報、複数の判断を行うための条件に関する情報、並びに、複数の処理に関する情報、の少なくとも何れかを格納する。 The storage unit 117 stores a program for operating each component of the management apparatus 100, and is referred to by the estimation unit 113 and the processing unit 119, for example. The storage unit 117 also includes, as an example, audio data read by at least one of the estimation unit 113 and the processing unit 119, still image data, video data, text data, residents of the condominium 30, acquaintances of the residents, people who enter and exit the condominium 30. Information on at least one of the trader and the target person who needs to be alerted, information on the above-mentioned pre-registered notification destination, information on conditions for making multiple judgments, and information on multiple processes, store at least one of

処理部119は、推定部113によって特定の処理が必要であると推定された場合に、当該特定の処理を実行する。より具体的には、処理部119は、推定部113から推定結果を入力されると、例えば格納部117を参照することにより、推定結果に含まれる特定の処理を実行し、通信部111を介して、操作盤43およびエントランス扉41の少なくとも何れかに、特定の処理に基づく制御信号を送信する。処理部119はまた、通信部111を介して、検知部102で検知された、エントランス扉41の外側の領域31にいる人物を示す画像データなどの検知結果を入力され、格納部117を参照することにより、当該検知結果が予め定められた条件を満たすと判断した場合に、特定の例外的な処理を優先的に実行する。 When the estimation unit 113 estimates that a specific process is necessary, the processing unit 119 executes the specific process. More specifically, when the estimation result is input from the estimation unit 113 , the processing unit 119 performs specific processing included in the estimation result by, for example, referring to the storage unit 117 . Then, a control signal based on specific processing is transmitted to at least one of the operation panel 43 and the entrance door 41 . The processing unit 119 also receives detection results such as image data indicating a person in the area 31 outside the entrance door 41 detected by the detection unit 102 via the communication unit 111 and refers to the storage unit 117 . By doing so, when it is determined that the detection result satisfies a predetermined condition, a specific exceptional process is preferentially executed.

図3は、第1実施形態による、学習の一例としてのフロー図である。図3の学習のフローは、一例として、管理装置100がマンション30に設置されて動作可能な状態になることにより開始する。 FIG. 3 is a flow diagram as an example of learning according to the first embodiment. The learning flow of FIG. 3 is started, for example, when the management device 100 is installed in the condominium 30 and becomes operable.

管理装置100は、操作盤43の操作ボタン、一例として解錠ボタンおよび呼び出しボタンの何れかが押されるまで待機する(ステップS101:NO)。管理装置100は、操作盤43の操作ボタンが押され、通信ネットワーク50を介して、操作盤43から当該操作に対応する入力情報を受信した場合(ステップS101:YES)、通信ネットワーク50を介して、検知部102から随時に送信される画像データを受信し、推定部113は、入力情報と共に当該画像データを参照する(ステップS103)。 The management device 100 waits until one of the operation buttons on the operation panel 43, such as the unlock button and the call button, is pressed (step S101: NO). When the operation button of the operation panel 43 is pressed and the input information corresponding to the operation is received from the operation panel 43 via the communication network 50 (step S101: YES), the management device 100 , the estimating unit 113 receives image data transmitted from the detecting unit 102 as needed, and the estimating unit 113 refers to the image data together with the input information (step S103).

推定部113は、参照した画像データの画像内に複数人が映っているか否かを判定し(ステップS105)、複数人が映っていると判断した場合には(ステップS105:YES)、通信ネットワーク50を介して、操作盤43の操作者自身の情報、および、操作者と異なる人物との対人関係の情報の入力を要求するメッセージ情報を操作盤43に送信し、操作盤43のタッチパネルに表示させる(ステップS107)。 The estimating unit 113 determines whether or not a plurality of people are shown in the image of the image data referred to (step S105), and when it is determined that a plurality of people are shown (step S105: YES), 50, message information requesting input of information about the operator of the operation panel 43 himself and information about interpersonal relationships with persons other than the operator is transmitted to the operation panel 43 and displayed on the touch panel of the operation panel 43. (step S107).

操作者自身の情報は、一例として、操作者が、マンション30の住人、マンション30の住人の親族や友人や家庭教師や訪問介護ヘルパーなどの住人関係者、来訪することがマンション30の住人または管理人に予期されている業者、および、その他の人物、などの何れかであることを示す情報を含む。マンション30の住人である場合には更に、当該情報にマンション30の部屋番号や名前などの個人を特定する情報が含まれてもよい。 The operator's own information is, for example, if the operator is a resident of the condominium 30, a resident-related person such as a relative or friend of the resident of the condominium 30, a tutor, or a home care helper, or if the operator is a resident of the condominium 30 or a manager. Contains information that indicates who is expected to be a person, and any other person. In the case of a resident of the condominium 30, the information may further include information identifying the individual, such as the room number of the condominium 30 and the name.

操作者と異なる人物との対人関係の情報は、一例として、操作者が、異なる人物を、一緒にエントランス扉41の内側の領域33へ進入することを意識している関係であるか否かの情報を含み、当該意識している関係である情報が入力された場合には、更に、異なる人物が、操作者と同じ居室の住人、操作者の親族や友人や家庭教師や訪問介護ヘルパーなどの操作者関係者、および、操作者が他の居室の住人として把握している人物、の少なくとも何れかであることを示す情報を含む。これらの入力すべき情報は、一例として、予めリストアップされて、選択肢として操作盤43のタッチパネルに表示されてもよい。 The information on the interpersonal relationship between the operator and a different person is, for example, whether or not the operator is conscious of entering the area 33 inside the entrance door 41 with different persons. In addition, when information that includes information and is the conscious relationship is input, a different person may be a resident of the same room as the operator, a relative or friend of the operator, a tutor, a home care helper, etc. It includes information indicating at least one of a person related to the operator and a person recognized by the operator as a resident of another room. As an example, these pieces of information to be input may be listed in advance and displayed as options on the touch panel of the operation panel 43 .

推定部113は、通信ネットワーク50を介して、操作盤43から両情報が入力されるまで待機し(ステップS109:NO)、両情報が入力された場合(ステップS109:YES)、入力された情報を、操作盤43での操作に対応する入力情報および参照した画像データと共に格納部117に格納し、操作盤43および検知部102からの入力に基づく当該学習を開始してから1週間が経過したか否かを判定する(ステップS111)。 The estimating unit 113 waits until both information are input from the operation panel 43 via the communication network 50 (step S109: NO), and when both information are input (step S109: YES), the input information is stored in the storage unit 117 together with the input information corresponding to the operation on the operation panel 43 and the image data referred to, and one week has passed since the learning based on the input from the operation panel 43 and the detection unit 102 was started. It is determined whether or not (step S111).

推定部113は、ステップS105において画像内に複数人が映っていない、すなわち、エントランス扉41の外側の領域31に操作者のみがいると判断した場合には(ステップS105:NO)、通信ネットワーク50を介して、操作盤43の操作者自身の情報の入力を要求するメッセージ情報を操作盤43に送信し、操作盤43のタッチパネルに表示させる(ステップS108)。推定部113は、通信ネットワーク50を介して、操作盤43から当該情報が入力されるまで待機し(ステップS110:NO)、当該情報が入力された場合(ステップS110:YES)、入力された情報を、操作盤43での操作に対応する入力情報および参照した画像データと共に格納部117に格納し、操作盤43および検知部102からの入力に基づく当該学習を開始してから1週間が経過したか否かを判定する(ステップS111)。 When the estimating unit 113 determines in step S105 that a plurality of persons are not shown in the image, that is, that only the operator is present in the area 31 outside the entrance door 41 (step S105: NO), the communication network 50 , to the operation panel 43, and display it on the touch panel of the operation panel 43 (step S108). The estimation unit 113 waits until the information is input from the operation panel 43 via the communication network 50 (step S110: NO), and when the information is input (step S110: YES), the input information is stored in the storage unit 117 together with the input information corresponding to the operation on the operation panel 43 and the image data referred to, and one week has passed since the learning based on the input from the operation panel 43 and the detection unit 102 was started. It is determined whether or not (step S111).

推定部113は、ステップS111において1週間が経過していないと判断した場合(ステップS111:NO)、ステップS101に戻り、1週間が経過したと判断した場合(ステップS111:YES)、当該フローは終了する。なお、ステップS107とステップS109:NOとの繰り返し、および、ステップS108とステップS110:NOとの繰り返しにおいて、予め定められた時間の閾値以上に、または予め定められた回数の閾値以上に繰り返しても、操作盤43からの情報入力がない場合、それぞれ繰り返しを終了し、当該フローを終了してもよい。 If the estimating unit 113 determines that one week has not passed in step S111 (step S111: NO), it returns to step S101, and if it determines that one week has passed (step S111: YES), the flow is finish. Note that in the repetition of steps S107 and S109: NO, and the repetition of steps S108 and S110: NO, even if it is repeated for a predetermined time threshold or more or a predetermined number of times or more, , when there is no information input from the operation panel 43, the repetition may be terminated and the flow may be terminated.

推定部113は、操作盤43および検知部102からの入力に基づく上記の学習を開始してから1週間が経過するまでの間に、マンション30のエントランス扉41の外側の領域31にいる人物について、検知部102から入力される画像データと、操作盤43での解錠ボタンおよび呼び出しボタンのそれぞれの操作に対応する入力情報、操作者の情報、および、操作者と異なる人物との対人関係の情報の少なくとも何れかと、を用いて、すなわちラベル付きの訓練データを用いて、操作盤43の操作者と異なる人物との対人関係、当該対人関係と要求処理の要否との関係、および、エントランス扉41の外側の領域31にいる人物と優位的な処理の要否との関係の少なくとも何れかについて、教師あり学習を行う。学習には、例えば深層学習、機械学習および統計処理といった手法を用いる。 The estimating unit 113 determines whether the person in the area 31 outside the entrance door 41 of the condominium 30 is within one week from the start of the learning based on the input from the operation panel 43 and the detecting unit 102. , image data input from the detection unit 102, input information corresponding to each operation of the unlock button and the call button on the operation panel 43, operator information, and interpersonal relationship between the operator and a person other than the operator. Using at least any of the information, that is, using labeled training data, the interpersonal relationship between the operator of the operation panel 43 and a different person, the relationship between the interpersonal relationship and the necessity of request processing, and the entrance Supervised learning is performed on at least one of the relationships between the person in the area 31 outside the door 41 and the necessity of superior processing. Techniques such as deep learning, machine learning, and statistical processing are used for learning.

上記の学習手法として、例えば、サポートベクターマシン(SVM)、リカレントニューラルネットワーク(RNN)およびベイジアンネットワーク(BN)などの手法が考えられる。SVMは、比較的少数のサンプルの学習から、未知のサンプルに対しても誤差が少ない判別ができる。ただし、学習結果についてはある程度理解できるが、人間には理解しにくく、判別の因果関係についてはわかりにくい。RNNは、多くの学習サンプルが必要で、学習に多くの時間がかかる。時系列など、前後(文脈)関係に左右される対象に有効であるが、学習結果についての理解は難しい。BNは、多くの学習サンプルが必要で、学習に時間がかかる。学習結果は、条件付き確率モデルを接続したネットワークの形で表現されるので、因果関係がわかりやすい。学習されたネットワークは、確率伝搬により、既知ノード、未知ノードは自由な組み合わせで使える。 Examples of the above learning method include support vector machine (SVM), recurrent neural network (RNN), and Bayesian network (BN). The SVM can discriminate even unknown samples with little error by learning a relatively small number of samples. However, although the learning result can be understood to some extent, it is difficult for humans to understand, and it is difficult to understand the causal relationship of discrimination. RNN requires many training samples and takes a long time to learn. It is effective for objects that are affected by contextual relationships, such as time series, but it is difficult to understand the learning results. BN requires many training samples and takes a long time to learn. Learning results are expressed in the form of a network connecting conditional probability models, so causal relationships are easy to understand. In the learned network, known nodes and unknown nodes can be used in any combination by belief propagation.

学習において、推定部113は、画像の特徴量を、コンボリューションニューラルネットワーク(CNN)を用いて抽出する。CNNとは、ディープラーニングニューラルネットワーク(DLNN)の一種であり、DLNNは、3層構成のニューラルネットワーク(NN)を4層以上に広げたものであり、近年のデータが大量に蓄積できるようになってきたことやコンピュータの高機能化により、NN以後に出てきた新しい計算手法よりも高性能化したことが知られている。その中でも、CNNは、脳の視覚野(V1)をモデルにしていて、事前に画像認識の精度が高くなるように学習したものを用いると、脳の視覚野と類似した画像処理結果が得られるので、画像の特徴量を抽出するのに適した手法である。なお、NN自体は、1980年代頃から盛んに研究され始めたものであり、複数のノードを結合させて、各ノードで非線形な処理を行うことで、一見無意味なデータの配列(パターン)に意味のあるシンボルを割り当てることができるという計算手法(及びそのためのデータ構造)である。 In learning, the estimation unit 113 extracts image feature amounts using a convolution neural network (CNN). CNN is a type of deep learning neural network (DLNN), and DLNN is a three-layer neural network (NN) expanded to four or more layers, and in recent years it has become possible to accumulate a large amount of data. It is known that due to recent developments and the advancement of computers, the performance has been improved more than the new calculation methods that appeared after the NN. Among them, CNN is modeled on the visual cortex (V1) of the brain, and if it is used to improve the accuracy of image recognition in advance, image processing results similar to those of the visual cortex of the brain can be obtained. Therefore, it is a suitable method for extracting feature values of images. It should be noted that NN itself began to be actively researched around the 1980s, and by connecting multiple nodes and performing non-linear processing at each node, it is possible to create seemingly meaningless data arrays (patterns). It is a computational technique (and a data structure for it) that can assign meaningful symbols.

本実施形態では、訓練データを、検知部102によって検知される画像データや、操作盤43での解錠ボタンおよび呼び出しボタンのそれぞれの操作に対応する入力情報や、操作者の情報や、操作者と異なる人物との対人関係の情報などに絞って説明するが、訓練データは、例えば、マンション30の居室の室内インターホンと操作盤43との間で交わされる音声データや、操作盤43のリーダで読み取られる電子キーのID情報を含んでもよい。音声に示される特徴量には、例えば声紋、発話内容などが含まれてもよく、発話内容には、例えば「ただいま」、「久しぶり」、「○○運輸です」、「○○商品のご紹介をさせて頂けますか?」などが含まれてもよい。このような他の訓練データを含む場合、訓練データの種類毎に脳の情報処理に近い変換方法として、CNN以外の深層学習、機械学習または統計処理といった手法を用いてもよい。例えば、音声に示される特徴量の抽出に適した自己組織化マップ(SOM)、時系列データの特徴量抽出に適したリカレントニューラルネットワーク(RNN)、およびRNNと同じような使い方ができるディープニューラルネットワーク(DNN)などの手法を用いてもよい。ただし、SOMを用いて音声を扱う場合は、SOM単体では時系列を扱うのが難しいので、別の手法と組み合わせる必要がある。また、RNNを用いて音声を扱う場合は、別途選んだ前処理と組み合わせて音声に示される特徴量を抽出することが可能である。DNNは、RNNと異なり、前処理自体を学習させることができる。 In this embodiment, the training data includes image data detected by the detection unit 102, input information corresponding to each operation of the unlock button and the call button on the operation panel 43, operator information, operator The training data is, for example, voice data exchanged between the intercom in the living room of the condominium 30 and the operation panel 43, or the reader of the operation panel 43. It may also include identification information of the electronic key to be read. The feature quantity indicated by the voice may include, for example, a voiceprint, utterance content, etc. The utterance content may include, for example, "I'm home", "Long time no see", "It's ○○ transportation", "○○ product introduction Can you let me When such other training data is included, methods other than CNN such as deep learning, machine learning, or statistical processing may be used as conversion methods close to brain information processing for each type of training data. For example, a self-organizing map (SOM) suitable for extracting features shown in speech, a recurrent neural network (RNN) suitable for extracting features from time-series data, and a deep neural network that can be used in the same way as an RNN. (DNN) or other technique may be used. However, when handling speech using SOM, it is difficult to handle time series with SOM alone, so it is necessary to combine it with another method. Also, when handling speech using RNN, it is possible to extract the feature quantity indicated by the speech in combination with preprocessing that is separately selected. Unlike RNN, DNN can learn the preprocessing itself.

推定部113は、上記の学習フローで取得したラベル付きの様々な画像に示される人の特徴量について教師あり学習を行った後は、エントランス扉41の外側の領域31にいる人物の様々な画像を、上記の入力情報、操作者情報および対人関係情報を伴わずに、すなわちラベル付きではない訓練データを取得し続け、画像に示される人の特徴量を自動的に取得していき、繰り返し、操作盤43の操作者と異なる人物との対人関係、当該対人関係と要求処理の要否との関係、および、エントランス扉41の外側の領域31にいる人物と優位的な処理の要否との関係の少なくとも何れかについて、教師なし学習を行う。推定部113はまた、管理装置100がマンション30に設置される前の事前学習と併せて、外側の領域31にいる人物の状況と上記の警戒処理の要否との関係について、教師なし学習を行う。推定部113は、警戒処理に関する教師なし学習の一例として、上記の学習フローにおける、操作者による操作盤43からの情報入力が無いことによってフローを終了した場合に、当該操作者に対して警戒処理が必要であると学習してもよい。推定部113はまた、上記の要求処理が実行され、上記の操作者による上記の異なる人物の確認結果に基づいて、操作者と異なる人物との対人関係と、特定の処理の要否との関係について、教師あり学習を行ってもよい。画像に示される人の特徴量には、例えば顔、表情、体型、動き、歩き方、ジェスチャ、服装、装飾品、メガネ、持ち物、視線などの特徴量が含まれる。 After the estimation unit 113 performs supervised learning on the feature amounts of the person shown in the various labeled images acquired in the above learning flow, the estimation unit 113 performs various images of the person in the area 31 outside the entrance door 41. Continue to acquire training data without the above input information, operator information and interpersonal relationship information, that is, without labels, automatically acquire the feature amount of the person shown in the image, and repeat, The interpersonal relationship between the operator of the operation panel 43 and a different person, the relationship between the interpersonal relationship and the necessity of request processing, and the relationship between the person in the area 31 outside the entrance door 41 and the necessity of superior processing. Unsupervised learning is performed on at least one of the relationships. Estimating unit 113 also performs unsupervised learning on the relationship between the situation of a person in outer area 31 and whether or not the above warning process is necessary, in addition to pre-learning before management device 100 is installed in condominium 30 . conduct. As an example of unsupervised learning related to warning processing, the estimating unit 113 performs warning processing for the operator when the flow ends due to the operator not inputting information from the operation panel 43 in the above learning flow. You may learn that you need The estimating unit 113 also determines the interpersonal relationship between the operator and the different person and the necessity of the specific process based on the confirmation result of the different person by the operator after the request process is executed. can be supervised learning. The features of a person shown in an image include, for example, features such as face, facial expression, body shape, movement, walking style, gesture, clothing, accessories, glasses, belongings, and line of sight.

教師なし学習では、推定結果の適否について、任意のタイミングで、マンション30の住人や管理人などからのフィードバックが必要となる。例えば、推定部113は、検知部102で検知した外側の領域31にいる人物から特定の処理の要否を推定する度に、推定結果を、当該人物に関係して予め登録された通知先に送信し、通知先の人物が推定結果を確認し、推定結果が誤っている場合に推定失敗を示す情報を返信することによって、当該人物からのフィードバックを取得してもよい。また、よりいっそう住人の手間を省くべく、例えば管理装置100は推定結果に基づいて実際に警戒処理を実行し、警戒処理を実行する必要がなかったにも拘わらず警戒処理を誤って実行し、操作盤43や居室の室内インターホンや特定の通知先などから警戒処理を解除する入力を受けることでフィードバックを取得してもよい。 Unsupervised learning requires feedback from residents, managers, and the like of the condominium 30 at arbitrary timing regarding the appropriateness of the estimation results. For example, each time the estimation unit 113 estimates the necessity of specific processing from a person in the outer region 31 detected by the detection unit 102, the estimation unit 113 sends the estimation result to a pre-registered notification destination related to the person. Feedback may be obtained from the person to whom the notification is sent by confirming the estimation result and returning information indicating estimation failure when the estimation result is incorrect. In addition, in order to further save the resident's trouble, for example, the management device 100 actually executes the warning process based on the estimation result, and erroneously executes the warning process even though it was not necessary to execute the warning process. Feedback may be obtained by receiving an input for canceling the warning process from the operation panel 43, an intercom in the living room, a specific notification destination, or the like.

推定部113は、これらの学習結果に基づき、検知部102で検知した外側の領域31にいる人物から、特定の処理の要否を推定する。推定部113は、特定の処理の要否を推定するときも、上記の学習での手法と同じ手法を用いる。以降の学習と推定においても、同様とする。 Based on these learning results, the estimation unit 113 estimates the necessity of specific processing from the person in the outer area 31 detected by the detection unit 102 . The estimating unit 113 uses the same method as the above learning method when estimating whether or not a specific process is necessary. The same applies to subsequent learning and estimation.

なお、推定部113が学習する上述の「関係」は、当技術分野において「学習モデル」とも呼ばれ、推定部113が、上記の操作盤43での解錠等の操作に対応する入力情報、操作者情報および対人関係情報と、特定の処理の要否を示す情報とから抽出した、これらのデータ間の規則性、パターンなどを含む。また、当該「関係」は、入力データとしての入力情報、操作者情報および対人関係情報と、出力データとしての特定の処理の要否を示す情報との対応関係であるとも言える。 The above-mentioned "relationship" learned by the estimating unit 113 is also called a "learning model" in the technical field, and the estimating unit 113 receives input information corresponding to operations such as unlocking on the operation panel 43, It includes the regularity, pattern, etc. between these data extracted from operator information, interpersonal relationship information, and information indicating the necessity of specific processing. The "relationship" can also be said to be a correspondence relationship between input information, operator information, and interpersonal relationship information as input data, and information indicating the necessity of specific processing as output data.

図4および図5は、第1実施形態による、学習結果に基づいて特定の処理を実行するまでの、一例としてのフロー図である。図4に示されるAおよびBはそれぞれ、図5に示されるAおよびBに続く。図4から図5に続くフローの説明は、一例として、図3を用いて説明した教師あり学習の期間が終了することにより開始する。 FIGS. 4 and 5 are flow charts as an example until specific processing is executed based on the learning result according to the first embodiment. A and B shown in FIG. 4 follow A and B shown in FIG. 5 respectively. The description of the flow continuing from FIG. 4 to FIG. 5 starts, as an example, when the period of supervised learning described using FIG. 3 ends.

推定部113は、検知部102でエントランス扉41の外側の領域31にいる人物を検知するまで、すなわち、外側の領域31にいる人物を示す画像データを検知部102から受信するまで待機し(ステップS201:NO)、当該画像データを受信した場合(ステップS201:YES)、上記の学習結果に基づいて、当該画像データに示される検知部102で検知した人物の状況が、特定の処理の一例である警戒処理が必要であるか否かを推定する(ステップS203)。 The estimating unit 113 waits until the detecting unit 102 detects a person in the area 31 outside the entrance door 41, that is, until image data indicating the person in the outside area 31 is received from the detecting unit 102 (step S201: NO), if the image data is received (step S201: YES), based on the above learning result, the situation of the person detected by the detection unit 102 shown in the image data is an example of specific processing. It is estimated whether some warning process is required (step S203).

推定部113は、検知部102で検知した人物の状況が、警戒処理が必要ないと推定した場合(ステップS203:NO)、検知部102で当該人物を検知してから予め定められた時間内に、操作盤43の操作ボタン、一例として解錠ボタンおよび呼び出しボタンの何れかが押されたか否かを、すなわち、通信ネットワーク50を介して、操作盤43から当該操作に対応する入力情報を受信したか否かを判定する(ステップS205)。 If the estimating unit 113 estimates that the situation of the person detected by the detecting unit 102 does not require alert processing (step S203: NO), the estimating unit 113 detects the person within a predetermined time after the detection unit 102 detects the person. , whether or not any of the operation buttons on the operation panel 43, for example, the unlock button and the call button, has been pressed, that is, the input information corresponding to the operation has been received from the operation panel 43 via the communication network 50. It is determined whether or not (step S205).

推定部113は、上記の時間内に上記の入力情報を受信していないと判断した場合(ステップS205:NO)、ステップS201に戻り、入力情報を受信したと判断した場合(ステップS205:YES)、通信ネットワーク50を介して、検知部102から随時に送信される画像データを受信し、推定部113は、入力情報と共に当該画像データを参照する(ステップS207)。 If the estimating unit 113 determines that the input information has not been received within the time period (step S205: NO), the process returns to step S201, and if it determines that the input information has been received (step S205: YES). , the image data transmitted from the detection unit 102 at any time is received via the communication network 50, and the estimation unit 113 refers to the image data together with the input information (step S207).

推定部113は、上記の学習結果に基づいて、参照した画像データに示される操作盤43の操作者が、特定の処理の一例である警戒処理が必要であるか否かを推定し(ステップS209)、警戒処理が必要ないと推定した場合(ステップS209:NO)、続けて、参照した画像データの画像内に複数人が映っているか否かを判定する(ステップS211)。推定部113は、画像内に複数人が映っていると判断した場合(ステップS211:YES)、続けて、例えば格納部117を参照することにより、操作盤43の操作者とは異なる人物が、エントランス扉41の内側の領域33への進入が予め許可されている人物として登録されているか否かを判定する(ステップS213)。 The estimating unit 113 estimates whether or not the operator of the operation panel 43 shown in the referenced image data needs warning processing, which is an example of specific processing, based on the above learning result (step S209). ), if it is estimated that the warning process is not necessary (step S209: NO), it is subsequently determined whether or not a plurality of persons are shown in the image of the image data referred to (step S211). When the estimating unit 113 determines that a plurality of persons are shown in the image (step S211: YES), the estimating unit 113 subsequently refers to, for example, the storage unit 117 to determine whether a person different from the operator of the operation panel 43 is It is determined whether or not the person is registered as a person who is previously permitted to enter the area 33 inside the entrance door 41 (step S213).

推定部113は、異なる人物が許可登録されていないと判断した場合(ステップS213:NO)、上記の学習結果に基づいて、操作者と異なる人物との対人関係を推定する。ここで、一例として、図1に示したエントランス扉41の外側の領域31の状況に基づいて、以下説明する。 If the estimation unit 113 determines that the different person is not permitted and registered (step S213: NO), the estimation unit 113 estimates the interpersonal relationship between the operator and the different person based on the above learning result. Here, as an example, the situation of the area 31 outside the entrance door 41 shown in FIG. 1 will be described below.

推定部113は、操作者である第1人物61と、異なる人物の一人である第2人物63との対人関係として、第1人物61が第2人物63と共にエントランス扉41の内側の領域33へ進入することを意識している関係、すなわち、第2人物63は第1人物61の同伴者であると推定する。また、推定部113は、操作者である第1人物61と、異なる人物の他の一人である第3人物65との対人関係として、第1人物61が第3人物65と共にエントランス扉41の内側の領域33へ進入することを意識していない関係、すなわち第3人物65は第1人物61による解錠操作にあやかってエントランス扉41の内側の領域33へ進入しようとする共連れ者であると推定する。共連れ者は、一例として、エントランス扉41の内側の領域33への進入が予め許可されているマンション30の住人や住人の知人、進入が未だ許可されていないマンション30の住人、マンション30に入る正当な理由がある来訪者、および、マンション30に入る正当な理由がない不正侵入者などの少なくとも何れかを含む。 The estimation unit 113 determines that the interpersonal relationship between the first person 61 who is the operator and the second person 63 who is one of the different persons is such that the first person 61 moves to the area 33 inside the entrance door 41 together with the second person 63 . Assume that the relationship conscious to enter into, ie the second person 63 is the companion of the first person 61 . In addition, the estimating unit 113 determines that the first person 61 is inside the entrance door 41 together with the third person 65 as an interpersonal relationship between the first person 61 who is the operator and the third person 65 who is another one of the different persons. In other words, the third person 65 is a companion who tries to enter the area 33 inside the entrance door 41 in response to the unlocking operation by the first person 61. presume. For example, the tailgating person enters the condominium 30, a resident of the condominium 30 who has been permitted to enter the area 33 inside the entrance door 41 in advance, an acquaintance of the resident, a resident of the condominium 30 who has not been permitted to enter, or enters the condominium 30. This includes at least one of a visitor who has a valid reason and an unauthorized intruder who enters the condominium 30 without a valid reason.

推定部113は、操作者と異なる人物との対人関係を推定した場合、上記の学習結果に基づいて、推定した対人関係と、特定の処理の一例である要求処理の要否との関係を推定する(ステップS215)。より具体的には、推定部113は、第2人物63が第1人物61の同伴者という関係に対して、要求処理は不要であると推定し、一方で、第3人物65が第1人物61の共連れ者という関係に対して、要求処理は必要であると推定した場合(ステップS215:YES)、要求処理を実行するための制御信号を処理部119に出力する。 When estimating the interpersonal relationship between the operator and a different person, the estimating unit 113 estimates the relationship between the estimated interpersonal relationship and the necessity of request processing, which is an example of specific processing, based on the above learning result. (step S215). More specifically, the estimating unit 113 estimates that the request processing is unnecessary for the relationship that the second person 63 is the companion of the first person 61, while the third person 65 is the first person When it is estimated that the request processing is necessary for the relationship of 61 companions (step S215: YES), a control signal for executing the request processing is output to the processing unit 119. FIG.

処理部119は、推定部113から入力された上記の制御信号に基づき、要求処理の一例として、操作盤43のタッチパネルに、エントランス扉41の外側の領域31の画像を表示させ、操作盤43の操作者である第1人物61に対し、操作者と異なる人物の他の一人である第3人物65の確認をリアルタイムで要求する処理を実行すべく、通信ネットワーク50を介して通信部111から操作盤43に、当該処理に対応する制御信号を送信する(ステップS217)。 As an example of request processing, the processing unit 119 causes the touch panel of the operation panel 43 to display an image of the area 31 outside the entrance door 41 based on the control signal input from the estimation unit 113, and displays the image of the area 31 outside the entrance door 41. An operation is performed from the communication unit 111 via the communication network 50 in order to execute a process of requesting the first person 61 who is the operator to confirm in real time the third person 65 who is another person different from the operator. A control signal corresponding to the process is transmitted to the board 43 (step S217).

操作盤43は、処理部119から受信した制御信号に基づいて、タッチパネルに、エントランス扉41の外側の領域31の画像と、第3人物65がエントランス扉41の内側の領域33に一緒に進入することを許可するか否かの決定を要求するメッセージとを表示し、操作者である第1人物61からの入力を受け付けると、入力された情報を、通信ネットワーク50を介して、処理部119に送信する。 Based on the control signal received from the processing unit 119, the operation panel 43 causes the touch panel to display the image of the area 31 outside the entrance door 41 and the third person 65 enter the area 33 inside the entrance door 41 together. and a message requesting a decision as to whether or not to permit the operation is displayed, and when an input from the first person 61 who is the operator is received, the input information is sent to the processing unit 119 via the communication network 50. Send.

処理部119は、操作盤43から入力情報を受信すると、入力情報に進入することの許可入力が示されているか否かを判定する(ステップS219)。推定部113は、許可入力が示されていると判断した場合(ステップS219:YES)、ステップS205で操作盤43から受信した入力情報に示される操作ボタン、例えば解錠ボタンまたは呼び出しボタンに応じた処理を実行すべく、通信ネットワーク50を介して通信部111からエントランス扉41または特定の居室の室内インターホンに、当該処理に対応する制御信号を送信し(ステップS221)、当該フローは終了する。 When receiving the input information from the operation panel 43, the processing unit 119 determines whether or not the input information indicates an entry permission input (step S219). If the estimation unit 113 determines that the permission input is indicated (step S219: YES), the operation button indicated in the input information received from the operation panel 43 in step S205, for example, the unlock button or the call button In order to execute the process, a control signal corresponding to the process is transmitted from the communication unit 111 to the entrance door 41 or the intercom of a specific living room via the communication network 50 (step S221), and the flow ends.

ステップS203において、推定部113は、上記の学習結果に基づいて、検知部102で検知した人物の状況が、警戒処理が必要であると推定した場合(ステップS203:YES)、警戒処理を実行するための制御信号を処理部119に出力し、処理部119は当該制御信号に基づいて、警戒処理を実行し(ステップS223)、当該フローは終了する。警戒処理が必要であると推定されるエントランス扉41の外側の領域31にいる人物の状況は、一例として、当該人物が外側の領域31で凶器やピッキング道具を所持していること、当該人物がマンション30にたびたび訪ねてきて住人に対し悪質なセールスを強要した履歴があること、当該人物がエントランス扉41の前で何度も周囲をキョロキョロすること、当該人物が外側の領域31にある複数のポストの名札や中身を確認すること、および、当該人物が外側の領域31における検知部102や操作盤43のカメラを布などで塞ぐこと、などの少なくとも何れかを含む。また、ここでの警戒処理の一例は、操作盤43から「ご用件は何でしょうか?」との音声を発声することであってもよい。この場合、管理装置100は、当該人物に対して、外側の領域31を常に監視していることを示すことができ、仮に人工知能による推定が誤っていて、当該人物がマンション30に入る正当な理由を有する訪問者であったとしても、警告メッセージを発声するわけではないので、当該訪問者を不快にさせることを回避できる。また、ここでの警戒処理の一例は、操作盤43から「あなたを悪質な訪問営業者と判断しました。直ちにお引き取り下さい。」との音声を発声することであってもよい。この場合、管理装置100は、当該人物が無作為にマンション30の住人を呼び出して、悪質で強制的な売りつけを行うなど、住人にとって不利益となる事態が生じることを事前に回避できる。 In step S203, when the estimating unit 113 estimates that the situation of the person detected by the detecting unit 102 requires caution processing based on the above learning result (step S203: YES), the estimating unit 113 executes caution processing. A control signal for this purpose is output to the processing unit 119, and the processing unit 119 executes warning processing based on the control signal (step S223), and the flow ends. For example, the situation of a person in the area 31 outside the entrance door 41 that is estimated to require caution processing is that the person is in possession of a weapon or a picking tool in the area 31 outside the entrance door 41, or that the person is The person frequently visits the condominium 30 and has a history of forcing the residents to offer vicious sales, the person looks around in front of the entrance door 41 many times, and the person has a plurality of objects in the outer area 31. This includes at least one of checking the name tag and contents of the mailbox, and covering the detection unit 102 and the camera of the operation panel 43 in the outer area 31 by the person with a cloth or the like. Further, an example of the warning process here may be to utter a voice from the operation panel 43, "What is your business?" In this case, the management device 100 can indicate to the person that it is constantly monitoring the outer area 31, and if the estimation by the artificial intelligence is incorrect and the person enters the condominium 30, the management device 100 is not allowed to enter the condominium 30. Even if the visitor has a reason, he or she does not utter a warning message, so it is possible to avoid making the visitor uncomfortable. Also, an example of the warning process here may be to utter from the operation panel 43 a voice stating, "I have judged you to be a vicious visiting salesperson. Please take over immediately." In this case, the management device 100 can prevent a situation disadvantageous to the residents, such as the person randomly calling the residents of the condominium 30 and making vicious and forced sales.

ステップS209において、推定部113は、上記の学習結果に基づいて、参照した画像データに示される操作盤43の操作者が、警戒処理が必要であると推定した場合(ステップS209:YES)、警戒処理を実行するための制御信号を処理部119に出力し、処理部119は当該制御信号に基づいて、警戒処理を実行し(ステップS223)、当該フローは終了する。警戒処理が必要であると推定される操作者は、一例として、操作盤43から呼び出そうとしている居室の住人がストーカーとして警戒している人物、および、操作盤43で呼び出し操作を行ったが、操作盤43のカメラを布で塞いだり、操作盤43のカメラに写真をかざしたり、操作盤43のカメラに映らないように立ち位置を意図的にズラしていたり、操作盤43のカメラに顔が映らないように帽子を深く被っていたりしている人物、などの少なくとも何れかを含む。また、ここでの警戒処理の一例は、操作盤43から「あなたは訪問先の方から訪問を許可されておりません。お引き取り願います。」との音声を発声することであってもよい。この場合、管理装置100は、当該人物が呼び出し先の住人に接触することを完全に阻止できる。また、ここでの警戒処理の一例は、操作盤43から「あなたの顔を認識できないため、呼び出し先の居住者様にお繋ぎできません。」との音声を発声することであってもよい。この場合、管理装置100は、不本意に顔を隠してしまっていた人物に対して、操作のやり直しを促すことができる。 In step S209, when the estimating unit 113 estimates that the operator of the operation panel 43 shown in the referenced image data requires caution processing based on the above learning result (step S209: YES), the caution A control signal for executing processing is output to the processing unit 119, and the processing unit 119 executes warning processing based on the control signal (step S223), and the flow ends. For example, the operator who is presumed to require alert processing is a person who is being alerted as a stalker by a resident of the living room who is about to be called from the operation panel 43, and a person who performed the calling operation on the operation panel 43. , covering the camera of the operation panel 43 with a cloth, holding a photograph over the camera of the operation panel 43, intentionally shifting the standing position so as not to be reflected in the camera of the operation panel 43, Includes at least one of the following: a person wearing a hat so that their face cannot be seen. Also, an example of the warning process here may be to utter from the operation panel 43 a voice stating, "You are not permitted to visit by the person you are visiting. Please take it back." . In this case, the management device 100 can completely prevent the person from contacting the called resident. Further, an example of the alert processing here may be to utter a voice from the operation panel 43, saying, "Since your face cannot be recognized, you cannot connect to the called resident." In this case, the management device 100 can prompt the person whose face has been unwillingly hidden to redo the operation.

ステップS219において、処理部119は、操作盤43から受信した入力情報に進入することの許可入力が示されていないと判断した場合(ステップS219:NO)、警戒処理を実行し(ステップS223)、当該フローは終了する。ここでの警戒処理の一例は、第3人物65に身分確認を要求するべく、マンション30の管理人室に問い合わせて管理人を呼び出す処理、および、警備会社や警察の人間に早急に駆けつけてもらうべく通報する処理、などの少なくとも何れかを含む。また、処理部119は当該入力情報を推定部113に出力し、推定部113は検知部102からの画像データと当該入力情報とを学習材料として、教師あり学習を行ってもよい。なお、第1人物61は、操作盤43に当該入力を行った後、例えばエントランス扉41以外の他の入口へと回って、マンション30の内部に入る対応を取ってもよい。 In step S219, when the processing unit 119 determines that the input information received from the operation panel 43 does not indicate an entry permission input (step S219: NO), it executes warning processing (step S223), The flow ends. An example of the warning process here is a process of inquiring the janitor's office of the condominium 30 to call the janitor in order to request identification of the third person 65, and having people from a security company or the police rush to the scene as soon as possible. at least one of such as processing to notify the Alternatively, the processing unit 119 may output the input information to the estimation unit 113, and the estimation unit 113 may perform supervised learning using the image data from the detection unit 102 and the input information as learning materials. The first person 61 may enter the condominium 30 by going to another entrance other than the entrance door 41 after performing the input on the operation panel 43 .

なお、ステップS219において、第1人物61が、第3人物65をエントランス扉41の内側の領域33に入れてはいけない人であるか否かの判断をできず、第3人物65が内側の領域33へ進入することを防ぐことよりも、自身が内側の領域33に進入することを優先する場合が想定される。そこで、処理部119は操作盤43に対して、第3人物65がエントランス扉41の内側の領域33に一緒に進入することを許可するか否かの選択肢だけでなく、判断ができないために開扉時間を短縮する選択肢がタッチパネルに表示されるような制御信号を送信してもよい。 In step S219, the first person 61 cannot determine whether or not the third person 65 should not enter the area 33 inside the entrance door 41. A case is assumed in which priority is given to entering the inner area 33 rather than preventing entry into the area 33 . Therefore, the processing unit 119 not only allows the operation panel 43 to allow the third person 65 to enter the area 33 inside the entrance door 41 together, but also allows the operation panel 43 to open the entrance door 41 because the judgment cannot be made. A control signal may be sent such that an option for shortening the door time is displayed on the touch panel.

ステップS211において、推定部113は、参照した画像データの画像内に複数人が映っておらず、操作者である第1人物61のみが外側の領域31にいると判断した場合(ステップS211:NO)、ステップS211よりも前のステップで、学習結果に基づいて第1人物61が警戒処理も必要ない人物であると既に推定済なので、ステップS221に進む。また、ステップS213において、推定部113は、異なる人物が許可登録されていると判断した場合にも(ステップS213:YES)、同様にステップS221に進む。また、ステップS215において、推定部113は、学習結果に基づいて、エントランス扉41の外側の領域31にいる操作者と異なる人物との対人関係が、要求処理が必要ないと推定した場合も(ステップS215:NO)、同様にステップS221に進む。以上、図4から図5に続くフローは、管理装置100が動作している間は繰り返し実行される。 In step S211, when the estimating unit 113 determines that a plurality of persons are not shown in the image of the image data referred to and that only the first person 61 who is the operator is in the outer region 31 (step S211: NO ), since it has already been estimated based on the learning result that the first person 61 is a person who does not require caution processing in steps prior to step S211, the process proceeds to step S221. Moreover, when the estimation unit 113 determines in step S213 that a different person is permitted and registered (step S213: YES), the process similarly proceeds to step S221. Also, in step S215, the estimation unit 113 estimates, based on the learning result, that the interpersonal relationship between the operator and the person different from the operator in the area 31 outside the entrance door 41 does not require request processing (step S215: NO), and similarly proceeds to step S221. As described above, the flow continuing from FIG. 4 to FIG. 5 is repeatedly executed while the management device 100 is operating.

なお、ステップS217において、処理部119は、要求処理の一例として、操作盤43の操作者である第1人物61にリアルタイムで第3人物65の確認を要求する処理を実行するものとして説明したが、これに代えて、処理部119は、要求処理の一例として、操作盤43の操作者である第1人物61に事後的に第3人物65の確認を要求する処理を実行してもよい。より具体的には、処理部119は、一例としてステップS221の後に、操作盤43の操作者である第1人物61が予め登録してある通信先、例えば第1人物61が所有するスマホや第1人物61の居室の室内インターホンなどのディスプレイに、エントランス扉41の外側の領域31を撮像した画像を表示させ、第1人物61に第3人物65の確認を要求する処理を実行してもよい。この場合、ステップS219は省略する。 In step S217, as an example of the request processing, the processing unit 119 executes the processing of requesting the first person 61 who is the operator of the operation panel 43 to confirm the third person 65 in real time. Alternatively, as an example of request processing, the processing unit 119 may execute processing of requesting the first person 61 who is the operator of the operation panel 43 to confirm the third person 65 after the fact. More specifically, as an example, after step S221, the processing unit 119 connects to a communication destination registered in advance by the first person 61 who is the operator of the operation panel 43, such as a smartphone owned by the first person 61 or a first A process of requesting confirmation of the third person 65 from the first person 61 may be performed by displaying an image of the area 31 outside the entrance door 41 on a display such as an indoor intercom in the living room of the first person 61. . In this case, step S219 is omitted.

なお、処理部119による要求処理の内容が、第1人物61に対して第3人物65の確認をリアルタイムで要求するものであるか事後的に要求するものであるかに拘わらず、推定部113は、操作者である第1人物61による、操作者と異なる人物である第3人物65の確認結果に基づいて、操作者と異なる人物との対人関係と、特定の処理である要求処理の要否との関係を学習してもよい。この場合、処理部119は、操作盤43または登録された通知先に対して、第3人物65が第1人物61と共にエントランス扉41の内側の領域33に進入することを許可するか否かの選択肢を提示するだけでなく、第1人物61と第3人物65との詳細な対人関係について、例えば、知り合いか否か、知り合いの場合には、身内、友人、マンション30の他の住人、マンション30の他の住人の関係者、および、業者などの何れであるか、の入力を要求してもよい。なお、処理部119が、操作盤43の操作者である第1人物61とは異なる人物である第3人物65の確認を事後的に要求する要求処理を実行する場合に、推定部113は、第1人物61ではなく、第3人物65がエントランス扉41の内側の領域33に進入して向かった先の居室の住人に対して第3人物65の確認を要求する要求処理を処理部119に実行させてもよい。 Regardless of whether the content of the request processing by the processing unit 119 is to request the first person 61 to confirm the third person 65 in real time or after the fact, the estimation unit 113 is the interpersonal relationship between the operator and the person different from the operator, and the requirement of request processing, which is a specific process, based on the confirmation result of the third person 65 who is different from the operator by the first person 61 who is the operator. You may learn the relationship between negative and negative. In this case, the processing unit 119 determines whether or not to permit the third person 65 to enter the area 33 inside the entrance door 41 together with the first person 61 to the operation panel 43 or the registered notification destination. In addition to presenting options, detailed interpersonal relationships between the first person 61 and the third person 65 are, for example, whether or not they are acquaintances. 30 other Residents may be asked to enter who they are related to, and who is a trader or the like. Note that when the processing unit 119 executes a request process for subsequently requesting confirmation of the third person 65 who is different from the first person 61 who is the operator of the operation panel 43, the estimation unit 113 Request processing for requesting confirmation of the third person 65 to the resident of the living room to which the third person 65, not the first person 61, enters the area 33 inside the entrance door 41 and heads for is sent to the processing unit 119. may be executed.

推定部113は、操作盤43または登録された通知先から当該入力情報を受信し、このような入力情報を学習材料として、より細かな教師あり学習を行ってもよい。推定部113は、例えば、要求処理のフィードバックとして取得した当該入力情報に、第1人物61と第3人物65とが知り合いであることが示されている場合、エントランス扉41の外側の領域31に第1人物61と第3人物65とが離れて立っていても要求処理は必要ないと学習してもよい。推定部113はまた、一例として、要求処理のフィードバックとして取得した当該入力情報に基づき、第3人物65の信頼度をランク付けしたランキング情報を第3人物65の画像データと共に格納部117に格納し、それ以降は同様にして、第3人物65が検知部102によって検知される度にランキング情報を更新し、ランキング情報に示される信頼度のランクに応じて第3人物65に必要とされる特定の処理の内容を変更してもよい。第3人物65の信頼度のランクは、一例として、第3人物65が第1人物61の身内または友人である場合、第3人物65が第1人物61によって認知されているマンション30の他の住人または他の住人の関係者である場合、第3人物65が第1人物61によって認知されている業者である場合、の順に低くなってもよい。 The estimating unit 113 may receive the input information from the operation panel 43 or a registered notification destination, and use such input information as a learning material to perform more detailed supervised learning. For example, if the input information obtained as feedback of request processing indicates that the first person 61 and the third person 65 are acquaintances, the estimation unit 113 It may be learned that request processing is not necessary even if the first person 61 and the third person 65 are standing apart. As an example, the estimating unit 113 also stores ranking information obtained by ranking the reliability of the third person 65 together with the image data of the third person 65 in the storage unit 117 based on the input information obtained as feedback of the request processing. After that, the ranking information is updated in the same manner each time the third person 65 is detected by the detection unit 102, and the identification necessary for the third person 65 is determined according to the reliability rank indicated in the ranking information. You may change the content of the processing of . As an example, if the third person 65 is a relative or friend of the first person 61, the third person 65 is recognized by the first person 61. If the third person 65 is a resident or a related party of another resident, then if the third person 65 is a trader recognized by the first person 61, it may be lower in this order.

なお、ステップS219において、推定部113は、予め定められた時間内に操作盤43の操作者である第1人物61から何ら入力がなされないことを条件として、操作盤43での上記入力の受け付けを終了させ、ステップS201に戻ってもよい。この場合、当該時間が経過する前に、推定部113が、検知部102から随時送信されてくる画像データを参照することにより、第1人物61がエントランス扉41の外側の領域31から立ち去ったと判断したことを条件として、操作盤43での上記入力の受け付けを即座に終了させてもよい。 In step S219, the estimating unit 113 accepts the input on the operation panel 43 on the condition that no input is made from the first person 61 who is the operator of the operation panel 43 within a predetermined time. may be terminated and the process may return to step S201. In this case, the estimating unit 113 determines that the first person 61 has left the area 31 outside the entrance door 41 by referring to the image data transmitted as needed from the detecting unit 102 before the time elapses. On the condition that the operation panel 43 receives the above input, the acceptance of the above input may be terminated immediately.

以上、第1実施形態の管理装置100によれば、マンション30に出入りしたことがある人物だけでなく、マンション30に初めて訪れる人物に対しても、特定の処理が必要であるか否かを推定して自動的に実行するので、人間による操作や判断の手間を減らすことができる。第1実施形態の管理装置100によれば、例えば、マンション30の住人やマンション30に入る正当な理由を有する来訪者がマンション30のエントランス扉41を解錠および開扉するときに、マンション30に入る正当な理由を有さない人物が一緒にマンション30内に侵入しようとしている場合には、上記の要求処理を自動的に実行することによって当該侵入を未然に防ぐことができる。また、第1実施形態の管理装置100によれば、例えば、マンション30にたびたび訪ねてきて住人に対し悪質なセールスを強要する業者や、マンション30の住人にストーカーを繰り返す人物や、マンション30のエントランス扉41の外側の領域31で不審な行動を取っている人物や、凶器やピッキング道具を所持しているなどの警戒すべき状態の人物などに対しては、上記の警戒処理を自動的に実行することによってマンション30のセキュリティを高めることができ、また、犯罪の防止や犯罪者の逮捕に貢献できる可能性がある。 As described above, according to the management device 100 of the first embodiment, it is estimated whether specific processing is necessary not only for a person who has entered and exited the condominium 30 but also for a person who has visited the condominium 30 for the first time. Since it is executed automatically by According to the management device 100 of the first embodiment, for example, when a resident of the condominium 30 or a visitor who has a legitimate reason to enter the condominium 30 unlocks and opens the entrance door 41 of the condominium 30, the condominium 30 If a person who does not have a legitimate reason to enter is trying to enter the condominium 30 together, the intrusion can be prevented by automatically executing the above-described request processing. Further, according to the management device 100 of the first embodiment, for example, a trader who frequently visits the condominium 30 and forces the residents to engage in vicious sales, a person who repeatedly stalks the residents of the condominium 30, and an entrance of the condominium 30 For a person who is acting suspiciously in the area 31 outside the door 41, or for a person who should be on alert, such as a person who is in possession of a weapon or a picking tool, the above warning process is automatically executed. By doing so, the security of the condominium 30 can be enhanced, and there is a possibility that it can contribute to the prevention of crime and the arrest of criminals.

第1実施形態では主に、建物における特定の領域への入口の一例として、マンション30のエントランスにおける外側の領域31と内側の領域33とを仕切るエントランス扉41を説明した。また、第1実施形態では主に、エントランス扉41の外側の領域31に設置された操作盤43での操作を、管理装置100の推定部113における学習や推定のトリガとして説明した。第1実施形態による管理装置100は、操作盤43と同様の機能を有する機器が設けられていることを前提として、エントランス扉41の他に、マンション30の共有部分であるゴミ捨て場の外扉、駐輪場の外扉、駐車場の外扉、各居室の扉、各居室の外門、各部屋の窓、および、各部屋の庭の門、などの少なくとも何れかに適用されてもよい。また、第1実施形態による管理装置100は、操作盤43と同様の機能を有する機器が設けられていることを前提として、マンション30以外の他の建物、例えば戸建住宅、アパート、商業施設、および、公共施設などにおける特定の領域への入口に適用されてもよい。第1実施形態による管理装置100は、対象とする建物が戸建住宅の場合、戸建住宅の外門、玄関扉、裏口、窓、庭の扉、および、駐車場の扉などの少なくとも何れかに適用されてもよい。 In the first embodiment, the entrance door 41 that separates the outer area 31 and the inner area 33 at the entrance of the condominium 30 has been mainly described as an example of an entrance to a specific area of the building. Further, in the first embodiment, mainly the operation on the operation panel 43 installed in the area 31 outside the entrance door 41 has been described as a trigger for learning and estimation in the estimation unit 113 of the management device 100 . The management apparatus 100 according to the first embodiment is provided with a device having the same functions as the operation panel 43. In addition to the entrance door 41, the management apparatus 100 can also , an outer door of a bicycle parking lot, an outer door of a parking lot, a door of each living room, an outer gate of each living room, a window of each room, a garden gate of each room, and the like. In addition, the management device 100 according to the first embodiment is provided with a device having the same function as the operation panel 43, and operates in buildings other than the condominium 30, such as detached houses, apartments, commercial facilities, And it may be applied to entrances to specific areas in public facilities and the like. When the target building is a detached house, the management device 100 according to the first embodiment is configured to operate at least one of the exterior gate, entrance door, back door, window, garden door, and parking lot door of the detached house. may be applied to

第1実施形態による管理装置100は、対象とする建物が商業施設であるオフィスビルの場合、オフィスビルのエレベータに適用されてもよい。例えば、オフィスビルの特定のフロアに位置する会社に訪れようとしている来訪者が当該オフィスビルのエレベータに乗り込んで当該フロアのボタンを押した状況を想定すると、検知部102がエレベータ内にいる当該来訪者を検知し、推定部113が、当該来訪者と、特定の処理の一例である会社への通知、当該フロアでのエレベータ前から会社までのガイド表示、および、当該フロアへの進入拒否などの少なくとも何れかの要否との関係の学習結果に基づき、検知した当該来訪者から特定の処理が必要であると推定し、処理部119が特定の処理を実行してもよい。なお、フロアへの進入拒否は、一例として、当該フロアのボタン操作の無効化、および、エレベータ内での警告メッセージの発声などの少なくとも何れかを含む。 The management device 100 according to the first embodiment may be applied to an elevator of an office building when the target building is an office building that is a commercial facility. For example, assuming that a visitor who is going to visit a company located on a specific floor of an office building gets into the elevator of the office building and presses the floor button, the detection unit 102 detects that the visitor in the elevator The estimating unit 113 detects the visitor, notifies the company as an example of specific processing, displays a guide from the front of the elevator on the floor to the company, and refuses to enter the floor. Based on the learning result of at least one of the relationships between necessity and non-necessity, it may be estimated from the detected visitor that a specific process is required, and the processing unit 119 may execute the specific process. Note that the refusal to enter a floor includes, for example, at least one of disabling button operations on the floor and uttering a warning message in an elevator.

図6は、第2実施形態による、学習結果に基づいて特定の処理を実行するまでの、一例としてのフロー図である。第2実施形態は、建物における特定の領域への入口の一例として、マンション30のエントランスにおける外側の領域31と内側の領域33とを仕切るエントランス扉41に管理装置100を適用する点において第1実施形態と同じである。ただし、第2実施形態は、検知部102によるエントランス扉41の外側の領域31にいる人物の検知を、管理装置100の推定部113における学習や推定のトリガとする点において第1実施形態と異なる。第2実施形態による管理装置100は、第1実施形態による管理装置100と同様の構成を備えるため、同じ構成要素には同じ参照番号を用い、重複する説明は省略する。図6のフローの説明は、一例として、図3を用いて説明した教師あり学習の期間が終了することにより開始する。 FIG. 6 is a flowchart as an example until specific processing is executed based on the learning result according to the second embodiment. The second embodiment is the first embodiment in that the management device 100 is applied to the entrance door 41 separating the outer area 31 and the inner area 33 at the entrance of the condominium 30 as an example of an entrance to a specific area in the building. Same as form. However, the second embodiment differs from the first embodiment in that the detection of a person in the area 31 outside the entrance door 41 by the detection unit 102 is used as a trigger for learning and estimation in the estimation unit 113 of the management apparatus 100. . Since the management device 100 according to the second embodiment has the same configuration as the management device 100 according to the first embodiment, the same reference numerals are used for the same components, and overlapping descriptions are omitted. The description of the flow of FIG. 6 starts, as an example, when the period of supervised learning described using FIG. 3 ends.

推定部113は、検知部102でエントランス扉41の外側の領域31にいる人物を検知するまで、すなわち、外側の領域31にいる人物を示す画像データを検知部102から受信するまで待機し(ステップS301:NO)、当該画像データを受信した場合(ステップS301:YES)、上記の学習結果に基づいて、当該画像データに示される検知部102で検知した人物の状況が、特定の処理の一例である警戒処理が必要であるか否かを推定する(ステップS303)。 The estimating unit 113 waits until the detecting unit 102 detects a person in the area 31 outside the entrance door 41, that is, until image data indicating the person in the outside area 31 is received from the detecting unit 102 (step S301: NO), if the image data is received (step S301: YES), based on the above learning result, the situation of the person detected by the detection unit 102 shown in the image data is an example of specific processing. It is estimated whether some caution process is required (step S303).

推定部113は、検知部102で検知した人物の状況が、警戒処理が必要ないと推定した場合(ステップS303:NO)、続けて、上記の学習結果に基づいて、検知部102で検知した人物が、特定の処理の一例である優位的な処理が必要であるか否かを推定する(ステップS305)。なお、第1実施形態のフロー図におけるステップS209と同様に、推定部113は、ステップS303とステップS305との間で、検知部102で検知した人物が、警戒処理が必要であるか否かを推定してもよい。 When the estimating unit 113 estimates that the situation of the person detected by the detecting unit 102 does not require alert processing (step S303: NO), the estimating unit 113 continuously estimates whether or not superior processing, which is an example of specific processing, is required (step S305). As in step S209 in the flowchart of the first embodiment, the estimation unit 113 determines whether the person detected by the detection unit 102 requires caution processing between steps S303 and S305. can be estimated.

推定部113は、検知部102で検知した人物が、優位的な処理が必要ないと推定した場合(ステップS305:NO)、ステップS301に戻り、優位的な処理が必要であると推定した場合(ステップS305:YES)、優位的な処理を実行するための制御信号を処理部119に出力する。 If the estimating unit 113 estimates that the person detected by the detecting unit 102 does not require superior processing (step S305: NO), the estimating unit 113 returns to step S301. Step S305: YES), a control signal for executing superior processing is output to the processing unit 119. FIG.

処理部119は、推定部113から入力された上記の制御信号に基づき、優位的な処理の一例として、(A)エントランス扉41の解錠、(B)エントランス扉41の開扉、(C)エントランス扉41の警戒解除、並びに、(D)予め登録された通知先に対する、上記(A)の解錠、上記(B)の開扉および上記(C)の警戒解除の少なくとも何れかの遠隔操作を要求するための連絡、の少なくとも何れかを処理を実行すべく、通信ネットワーク50を介して通信部111からエントランス扉41または上記の通知先に、当該処理に対応する制御信号を送信し、または、上記の連絡をし(ステップS307)、当該フローは終了する。 Based on the control signal input from the estimation unit 113, the processing unit 119 performs, as an example of superior processing, (A) unlocking the entrance door 41, (B) opening the entrance door 41, and (C) Disarming of the entrance door 41, and (D) Remote operation of at least one of (A) unlocking, (B) opening the door, and (C) disarming for the notification destination registered in advance. In order to execute at least one of the processing of contacting for requesting , the above contact is made (step S307), and the flow ends.

ステップS303において、推定部113は、上記の学習結果に基づいて、検知部102で検知した人物の状況が、警戒処理が必要であると推定した場合(ステップS303:YES)、警戒処理を実行するための制御信号を処理部119に出力し、処理部119は当該制御信号に基づいて、警戒処理を実行し(ステップS309)、当該フローは終了する。以上、図6のフローは、管理装置100が動作している間は繰り返し実行される。 In step S303, when the estimating unit 113 estimates that the situation of the person detected by the detecting unit 102 requires caution processing based on the above learning result (step S303: YES), the estimating unit 113 executes caution processing. A control signal for this purpose is output to the processing unit 119, and the processing unit 119 executes warning processing based on the control signal (step S309), and the flow ends. As described above, the flow of FIG. 6 is repeatedly executed while the management device 100 is operating.

なお、当該フローにおいて、管理装置100は、上記の学習結果に基づいて、エントランス扉41の外側の領域31にいる人物が、警戒処理も優位的な処理も必要ないと推定した場合に、警戒処理も優位的な処理も実行しなくてもよい。この場合、当該人物は、操作盤43を操作することにより、第1実施形態と同様に管理装置100によって、当該操作に対応する処理を実行されてもよく、操作盤43において、電子キーによるID認証で解錠及び開扉をしたり、呼び出し操作で管理装置100を介さずに特定の居室の室内インターホンと通話したりしてもよい。 Note that in this flow, if the management device 100 estimates that the person in the area 31 outside the entrance door 41 does not need either the warning process or the superior process based on the above learning result, the warning process neither need to perform any dominant processing. In this case, by operating the operation panel 43, the person may have the management device 100 execute processing corresponding to the operation in the same manner as in the first embodiment. Authentication may be used to unlock and open the door, and call operation may be used to make a call to an indoor intercom in a specific room without using the management device 100 .

以上、第2実施形態の管理装置100によれば、第1実施形態の管理装置100と同様の効果を奏する。また、第2実施形態の管理装置100によれば、例えば、マンション30の住人やマンション30に入る正当な理由を有する来訪者に対しては、上記の優位的な処理を自動的に実行することによって利便性を高めることができる。 As described above, according to the management device 100 of the second embodiment, the same effects as those of the management device 100 of the first embodiment can be obtained. Further, according to the management device 100 of the second embodiment, for example, for residents of the condominium 30 and visitors who have a legitimate reason to enter the condominium 30, the above-described superior processing can be automatically executed. Convenience can be enhanced by

なお、第2実施形態の管理装置100は、エントランス扉41の外側の領域31に複数人がいる場合にも単数人がいる場合にも適用される。すなわち、第2実施形態の管理装置100は、エントランス扉41の外側の領域31に複数人がいる場合には、外側の領域31にいる全ての人を対象として、図6のフローにおけるステップS303およびステップS305のそれぞれでの特定の処理の要否を推定し、外側の領域31にいる少なくとも1人が、それぞれの特定の処理が必要であると推定した場合には、他の人物に対する特定の処理が不要であるか否かに拘わらず、当該特定の処理を実行してもよい。 Note that the management device 100 of the second embodiment is applied to both the case where there are a plurality of people in the area 31 outside the entrance door 41 and the case where there is a single person. That is, when there are a plurality of people in the area 31 outside the entrance door 41, the management device 100 of the second embodiment targets all the people in the area 31 outside the entrance door 41, and performs steps S303 and It is estimated whether or not specific processing is necessary in each of step S305, and when it is estimated that at least one person in the outer area 31 needs each specific processing, the specific processing for other persons is performed. The particular process may be performed regardless of whether or not the .

より具体的には、第2実施形態の管理装置100は、ステップS303において、上記の学習結果に基づき、外側の領域31にいる少なくとも1人の状況が、警戒処理が必要であると推定した場合には警戒処理を実行し、外側の領域31にいる全ての人物の状況が、警戒処理が必要ないと推定した場合にはステップS305に進む。第2実施形態の管理装置100は、ステップS303において、上記の学習結果に基づき、外側の領域31にいる少なくとも1人が、優位的な処理が必要であると推定した場合には優位的な処理を実行し、外側の領域31にいる全ての人物が、優位的な処理が必要ないと推定した場合にはステップS301に戻る。 More specifically, when the management device 100 of the second embodiment estimates in step S303 based on the above learning result that the situation of at least one person in the outer area 31 requires caution processing, When it is estimated that the situations of all persons in the outer area 31 do not require caution processing, the process proceeds to step S305. In step S303, the management device 100 of the second embodiment determines that at least one person in the outer area 31 needs superior processing based on the above learning result. is executed, and when it is estimated that all the persons in the outer area 31 do not require superior processing, the process returns to step S301.

第2実施形態による管理装置100は、操作盤43が設けられているか否かに拘わらず、エントランス扉41の他に、マンション30の共有部分であるゴミ捨て場の外扉、駐輪場の外扉、駐車場の外扉、各居室の扉、各居室の外門、各部屋の窓、および、各部屋の庭の門、などの少なくとも何れかに適用されてもよく、マンション30以外の他の建物、例えば戸建住宅、アパート、商業施設、および、公共施設などにおける特定の領域への入口に適用されてもよい。対象とする建物が戸建住宅の場合、戸建住宅の外門、玄関扉、裏口、窓、庭の扉、および、駐車場の扉などの少なくとも何れかに適用されてもよい。例えば、戸建住宅で飼われているペットが迷子になっている状況を想定すると、検知部102が家の玄関先に戻ってきているペットを検知し、推定部113が、当該ペットと、特定の処理の一例である住人等への通知、玄関の開扉および餌出しなどの少なくとも何れかの要否との関係の学習結果に基づき、検知した当該ペットから特定の処理が必要であると推定し、処理部119が特定の処理を実行してもよい。 Regardless of whether or not the operation panel 43 is provided, the management device 100 according to the second embodiment includes the entrance door 41, the outer door of the garbage disposal area, the outer door of the bicycle parking lot, which are common parts of the condominium 30. It may be applied to at least one of the outer door of the parking lot, the door of each living room, the outer gate of each living room, the window of each room, the garden gate of each room, etc., and other buildings other than the condominium 30 , for example at entrances to specific areas in single-family homes, apartments, commercial establishments and public facilities. If the target building is a detached house, it may be applied to at least one of the exterior gate, entrance door, back door, window, garden door, parking lot door, etc. of the detached house. For example, assuming a situation where a pet kept in a detached house is lost, the detection unit 102 detects the pet returning to the entrance of the house, and the estimation unit 113 identifies the pet as the pet. Based on the learning results of the relationship between at least one of the processes, such as notifying residents, opening the entrance door, and feeding, etc., it is estimated that a specific process is required from the detected pet. and the processing unit 119 may perform specific processing.

第3実施形態による管理システムは、第1実施形態および第2実施形態の少なくとも何れかの管理装置100を複数備える。管理システムは、複数の管理装置100のうちの1つの管理装置100が設けられた建物を住居、勤務先および通学先の何れかとする人が、複数の管理装置100のうちの他の管理装置100が設けられた建物を住居、勤務先および通学先の何れかとして新たに利用する場合に、上記の1つの管理装置100の学習結果を、上記の他の管理装置100に共有させる。第3実施形態による管理システムによれば、一例として、1つの管理装置100が設けられた建物から、他の管理装置100が設けられた建物へと、特定の人物が引っ越しする場合に、1つの管理装置100から他の管理装置100へと学習結果を引き継げる。また、第3実施形態による管理システムによれば、一例として、1つの管理装置100が設けられた住居用の建物に住む人物が、他の管理装置100が設けられた商業用の建物を新たな勤務地とする場合に、1つの管理装置100から他の管理装置100へと学習結果を引き継げる。 A management system according to the third embodiment includes a plurality of management apparatuses 100 according to at least one of the first embodiment and the second embodiment. In the management system, a person who resides, works, or goes to school in a building in which one management device 100 out of a plurality of management devices 100 is installed can use another management device 100 out of the plurality of management devices 100 When the building provided with is newly used as a residence, workplace, or school, the learning result of the one management device 100 is shared with the other management devices 100 . According to the management system according to the third embodiment, as an example, when a specific person moves from a building in which one management device 100 is installed to a building in which another management device 100 is installed, one Learning results can be handed over from the management device 100 to another management device 100 . Further, according to the management system according to the third embodiment, as an example, a person who lives in a residential building in which one management device 100 is installed changes a commercial building in which another management device 100 is installed. In the case of setting it as a place of work, the learning result can be handed over from one management device 100 to another management device 100 .

なお、第3実施形態による管理システムにおいて、特定の管理装置100が学習した動作情報を、例えば複数の管理装置100と通信可能なクラウド上にアップロードさせ、他の複数の管理装置100との間で共有させてもよい。動作情報とは、一例として、検知部102で検知された人物が、優位的な処理が必要であると推定するために学習した複数の条件に含まれる動作に関する情報や、警戒処理が必要であると推定するために学習した複数の条件に含まれる動作に関する情報や、要求処理が必要であると推定するために学習した複数の条件に含まれる動作に関する情報などである。一方で、特定の管理装置100が学習した特定の人物に関する個人情報は、他の複数の管理装置100との間で共有させず、当該人物が移転した先の建物の管理装置100に引き継がれてもよい。 Note that, in the management system according to the third embodiment, operation information learned by a specific management device 100 is uploaded, for example, to a cloud capable of communicating with a plurality of management devices 100, and is shared with a plurality of other management devices 100. may be shared. The motion information is, for example, information about motion included in a plurality of learned conditions for estimating that a person detected by the detection unit 102 requires superior processing, or information about motion that requires warning processing. and information related to motions included in multiple conditions learned to estimate that request processing is necessary. On the other hand, personal information about a specific person learned by a specific management device 100 is not shared with a plurality of other management devices 100, but is handed over to the management device 100 of the building to which the person has moved. good too.

以上の第1実施形態から第3実施形態の何れにおいても、推定部113は、ある人物が、警戒処理が必要であると推定し難い行動を初めて取った場合に、当該人物に対して警戒処理が必要であると推定せずに、警戒処理が必要とされる可能性がある、すなわち当該人物はグレーであると一時的に学習してもよい。警戒処理が必要であると推定し難い行動は、例えば、マンション30のエントランス扉41の外側の領域31において自ら操作盤43を操作することなく操作盤43の操作者と共に内側の領域33へ進入することや、マンション30の住人が、当該住人の居室以外の居室を訪問したり当該住人の居室があるフロアと異なるフロアを歩いていたりすることや、深夜に大きな家具家電をマンション30の敷地内に持ち込んできたものの予め定められた時間内に当該家具家電を所持せずにマンション30から立ち去ることや、マンション30の住人以外の人物がマンション30のゴミ捨て場にゴミを捨てに行くことである。 In any of the first to third embodiments described above, the estimating unit 113, when a certain person takes an action that is difficult to estimate as requiring caution processing for the first time, performs caution processing on the person. It may temporarily learn that an alert process may be required, ie, the person is gray, without inferring that . An action for which it is difficult to assume that caution processing is necessary is, for example, entering the inner area 33 together with the operator of the operation panel 43 without operating the operation panel 43 in the area 31 outside the entrance door 41 of the condominium 30. , a resident of the condominium 30 may visit a room other than the resident's room, walk on a floor different from the floor where the resident's room is located, or place large furniture and home appliances in the premises of the condominium 30 late at night. It is to leave the condominium 30 without owning the furniture and home appliances that have been brought in within a predetermined time, or to throw away the garbage in the dumping area of the condominium 30 by a person other than the residents of the condominium 30.例文帳に追加

この場合、推定部113は、グレーであると学習した人物が、予め定められた回数の閾値以上、上記と同じ行動または他の類似の行動を取った場合に、または、例えばマンション30の複数の住人や管理人に問い合わせても、エントランス扉41の内側の領域33に進入することを許可できる人物であることが確認できない場合に、当該人物に対して警戒処理が必要であると学習してもよい。推定部113は更に、例えば検知部102によって当該人物がエントランス扉41の外側の領域31で同様の行動を再び取ろうとしていることを検知された場合に、処理部119に警戒処理を実行させてもよい。 In this case, the estimating unit 113 determines if the person who has learned to be gray has taken the same action or other similar action more than a predetermined number of times, or, for example, if the person has If it is not possible to confirm that the person is permitted to enter the area 33 inside the entrance door 41 by inquiring of the resident or the manager, it is possible to learn that the person needs to be alerted. good. Further, the estimating unit 113 causes the processing unit 119 to perform warning processing when, for example, the detecting unit 102 detects that the person is about to take the same action again in the area 31 outside the entrance door 41. good too.

一方で、推定部113は、グレーであると学習した人物が、優位的な処理が必要であると明確に判断できる行動、例えばマンション30の住人と共に手を繋いでエントランス扉41の内側の領域33に進入することを初めて行った場合に、または、例えばマンション30の複数の住人や管理人に問い合わせたら、エントランス扉41の内側の領域33に進入することを許可できる人物であることが確認できた場合に、または、予め定められた回数以上、優位的な処理が必要とされる可能性がある行動を取った場合に、当該人物に対して警戒処理が不要であると学習してもよい。推定部113は更に、例えば検知部102によって当該人物がエントランス扉41の外側の領域31で警戒処理が必要であると推定し難い行動を再び取ろうとしていることを検知された場合であっても、処理部119に警戒処理を実行させなくてもよい。 On the other hand, the estimating unit 113 determines that the person who has learned that the color is gray can clearly determine that a superior process is necessary, for example, holding hands with the residents of the condominium 30 in the area 33 inside the entrance door 41. or, for example, when inquiring of a plurality of residents or managers of the condominium 30, it has been confirmed that the person is authorized to enter the area 33 inside the entrance door 41. Alternatively, if the person has taken an action that may require superior processing more than a predetermined number of times, it may be learned that the alert processing is unnecessary for the person. Further, the estimating unit 113 further detects that, for example, the detecting unit 102 detects that the person is about to take another action in the area 31 outside the entrance door 41 that makes it difficult to assume that caution processing is required. , the processing unit 119 may not execute the warning process.

以上の第1実施形態から第3実施形態の何れにおいても、管理装置100の推定部113は、検知部102によって検知された人物が、警戒処理が必要であると推定した後に、当該人物が、建物における特定の領域への入口の内側に進入することを許可する人物として予め登録されているか否かを判断し、登録されている場合には、処理部119に対して警戒処理を実行させずに優位的な処理を実行させてもよく、登録されていない場合には、処理部119に対して警戒処理を実行させてもよい。また、これに代えて、推定部113は、検知部102によって検知された人物が、建物における特定の領域への入口の内側に進入することを許可する人物として予め登録されているか否かを最初に判断してもよく、登録されている場合には、警戒処理が必要であるか否かを推定せずに、処理部119に対して優位的な処理を実行させてもよく、登録されていない場合には、続けて警戒処理が必要であるか否かを推定してもよい。 In any of the first to third embodiments described above, the estimating unit 113 of the management device 100 estimates that the person detected by the detecting unit 102 requires caution processing, and then the person It is determined whether or not the person is registered in advance as a person who is permitted to enter inside the entrance to the specific area of the building, and if registered, the processing unit 119 is not caused to perform the warning process. may be caused to execute superior processing, and if not registered, the processing unit 119 may be caused to execute warning processing. Alternatively, the estimation unit 113 first determines whether the person detected by the detection unit 102 is registered in advance as a person who is permitted to enter the inside of the entrance to the specific area of the building. If it is registered, the processing unit 119 may be caused to execute superior processing without estimating whether or not caution processing is necessary. If not, it may be further estimated whether or not caution processing is necessary.

以上の第1実施形態から第3実施形態の何れにおいても、警戒処理が必要な対象者として管理装置100に予め登録された人物は、例えば身分証明書をマンション30の管理人に提示することを条件として、マンション30のエントランス扉41の内側の領域33への進入を許可されてもよい。また、管理装置100は、警戒処理が必要な対象者から、徘徊老人や子供を除外してもよい。管理装置100が、警戒処理が必要な対象者から徘徊老人を除外するのは、例えば、徘徊老人がマンション30の住人であって、認知症などの登録がなされている場合である。 In any of the first to third embodiments described above, a person who is registered in advance in the management device 100 as a target person requiring alert processing is requested to present his or her identification card to the manager of the condominium 30, for example. As a condition, entry into the area 33 inside the entrance door 41 of the condominium 30 may be permitted. In addition, the management device 100 may exclude a wandering elderly person or a child from the target persons who need to be alerted. The management device 100 excludes the wandering elderly person from the target persons who need to be alerted, for example, when the wandering elderly person is a resident of the condominium 30 and is registered as having dementia or the like.

以上の第1実施形態から第3実施形態の何れにおいても、検知部102は、画像を撮像するカメラを含み、撮像した画像データに、エントランス扉41の外側の領域31にいる人物が被写体として映るか否かに拘わらず、撮像した画像データを随時に装置本体101に送信するものとして説明した。これに代えて、検知部102は、撮像した画像データに、エントランス扉41の外側の領域31にいる人物が被写体として映るか否かを判断し、人物が映っている画像データを検知した場合にのみ、撮像した画像データを装置本体101に送信してもよい。この場合に、検知部102は更に、エントランス扉41の外側の領域31に複数人がいるか否かを判断し、判断結果を画像データと共に装置本体101に送信してもよい。この場合、図5のフロー図のステップS211において、推定部113は、検知部102から、エントランス扉41の外側の領域31に複数人がいるか否かの判断結果を取得することで、画像に複数人が映っているか否かを判断してもよい。 In any of the first to third embodiments described above, the detection unit 102 includes a camera that captures an image, and a person in the area 31 outside the entrance door 41 appears as a subject in the captured image data. The description has been given assuming that captured image data is transmitted to the apparatus main body 101 at any time regardless of whether or not it is. Alternatively, the detection unit 102 determines whether or not a person in the area 31 outside the entrance door 41 appears as a subject in the captured image data. Only the captured image data may be transmitted to the apparatus main body 101 . In this case, the detection unit 102 may further determine whether or not there are a plurality of people in the area 31 outside the entrance door 41, and transmit the determination result to the apparatus main body 101 together with the image data. In this case, in step S211 of the flow diagram of FIG. You may judge whether a person is reflected.

以上の第1実施形態から第3実施形態の何れにおいても、推定部113は一定期間の教師あり学習の後に、教師なし学習を継続するものとして説明した。当該教師なし学習においては、教師あり学習期間に取得したラベル付きの訓練データの一例であるマンション30の住人などの画像を、随時更新していくことが好ましい。これにより、推定部113は、マンション30の住人などの容姿が歳を重ねるに連れて変化しても、同一人物であることを識別できる。 In any of the first to third embodiments described above, the estimating unit 113 has been described as continuing unsupervised learning after a certain period of supervised learning. In the unsupervised learning, it is preferable to update the images of the residents of the condominium 30 as an example of the labeled training data acquired during the supervised learning period as needed. Thereby, the estimation unit 113 can identify the same person even if the appearance of the residents of the condominium 30 changes with age.

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。 Various embodiments of the invention may be described with reference to flowchart illustrations and block diagrams, where blocks refer to (1) steps in a process in which operations are performed or (2) devices responsible for performing the operations. may represent a section of Certain steps and sections may be implemented by dedicated circuitry, programmable circuitry provided with computer readable instructions stored on a computer readable medium, and/or processor provided with computer readable instructions stored on a computer readable medium. you can Dedicated circuitry may include digital and/or analog hardware circuitry, and may include integrated circuits (ICs) and/or discrete circuitry. Programmable circuits include logic AND, logic OR, logic XOR, logic NAND, logic NOR, and other logic operations, memory elements such as flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), etc. and the like.

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。 Computer-readable media may include any tangible device capable of storing instructions to be executed by a suitable device, such that computer-readable media having instructions stored thereon may be designated in flowcharts or block diagrams. It will comprise an article of manufacture containing instructions that can be executed to create means for performing the operations described above. Examples of computer-readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically Erasable Programmable Read Only Memory (EEPROM), Static Random Access Memory (SRAM), Compact Disc Read Only Memory (CD-ROM), Digital Versatile Disc (DVD), Blu-ray (RTM) Disc, Memory Stick, Integration Circuit cards and the like may be included.

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。 The computer readable instructions may be assembler instructions, Instruction Set Architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or object oriented programming such as Smalltalk, JAVA, C++, etc. language, and any combination of one or more programming languages, including conventional procedural programming languages, such as the "C" programming language or similar programming languages. good.

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 Computer readable instructions may be transferred to a processor or programmable circuitry of a general purpose computer, special purpose computer, or other programmable data processing apparatus, either locally or over a wide area network (WAN), such as a local area network (LAN), the Internet, or the like. ) and may be executed to create means for performing the operations specified in the flowcharts or block diagrams. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.

図7は、本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ1200の例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の1又は複数の「部」として機能させ、又は当該オペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。このようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。 FIG. 7 illustrates an example computer 1200 in which aspects of the invention may be implemented in whole or in part. Programs installed on the computer 1200 cause the computer 1200 to function as one or more "parts" of operations or one or more "parts" of an apparatus according to embodiments of the invention, or to and/or cause computer 1200 to perform processes or steps of processes according to embodiments of the present invention. Such programs may be executed by CPU 1212 to cause computer 1200 to perform certain operations associated with some or all of the blocks in the flowcharts and block diagrams described herein.

本実施形態によるコンピュータ1200は、CPU1212、RAM1214、グラフィックコントローラ1216、及びディスプレイデバイス1218を含み、これらはホストコントローラ1210によって相互に接続される。コンピュータ1200はまた、通信インターフェース1222、ハードディスクドライブ1224、DVD-ROMドライブ1226、及びICカードドライブのような入出力ユニットを含み、これらは入出力コントローラ1220を介してホストコントローラ1210に接続される。コンピュータはまた、ROM1230及びキーボード1242のようなレガシの入出力ユニットを含み、これらは入出力チップ1240を介して入出力コントローラ1220に接続される。 Computer 1200 according to this embodiment includes CPU 1212 , RAM 1214 , graphics controller 1216 , and display device 1218 , which are interconnected by host controller 1210 . Computer 1200 also includes input/output units such as communication interface 1222 , hard disk drive 1224 , DVD-ROM drive 1226 , and IC card drive, which are connected to host controller 1210 via input/output controller 1220 . The computer also includes legacy input/output units such as ROM 1230 and keyboard 1242 , which are connected to input/output controller 1220 through input/output chip 1240 .

CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、これにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又は当該グラフィックコントローラ1216自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示させる。 The CPU 1212 operates according to programs stored in the ROM 1230 and RAM 1214, thereby controlling each unit. Graphics controller 1216 takes image data generated by CPU 1212 into a frame buffer or the like provided in RAM 1214 or into itself, and causes the image data to be displayed on display device 1218 .

通信インターフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVD-ROMドライブ1226は、プログラム又はデータをDVD-ROM1201から読み取り、ハードディスクドライブ1224にRAM1214を介してプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。 Communication interface 1222 communicates with other electronic devices over a network. Hard disk drive 1224 stores programs and data used by CPU 1212 within computer 1200 . DVD-ROM drive 1226 reads programs or data from DVD-ROM 1201 and provides programs or data to hard disk drive 1224 via RAM 1214 . The IC card drive reads programs and data from IC cards and/or writes programs and data to IC cards.

ROM1230は、内部に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。 ROM 1230 stores therein programs that depend on the hardware of computer 1200, such as a boot program that is executed by computer 1200 upon activation. Input/output chip 1240 may also connect various input/output units to input/output controller 1220 via parallel ports, serial ports, keyboard ports, mouse ports, and the like.

プログラムが、DVD-ROM1201又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。 A program is provided by a computer-readable storage medium such as a DVD-ROM 1201 or an IC card. The program is read from a computer-readable storage medium, installed in hard disk drive 1224 , RAM 1214 , or ROM 1230 , which are also examples of computer-readable storage medium, and executed by CPU 1212 . The information processing described within these programs is read by computer 1200 to provide coordination between the programs and the various types of hardware resources described above. An apparatus or method may be configured by implementing information operations or processing according to the use of computer 1200 .

例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース1222に対し、通信処理を命令してよい。通信インターフェース1222は、CPU1212の制御の下、RAM1214、ハードディスクドライブ1224、DVD-ROM1201、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。 For example, when communication is performed between the computer 1200 and an external device, the CPU 1212 executes a communication program loaded into the RAM 1214 and sends communication processing to the communication interface 1222 based on the processing described in the communication program. you can command. Under the control of the CPU 1212, the communication interface 1222 reads transmission data stored in a transmission buffer area provided in a recording medium such as the RAM 1214, the hard disk drive 1224, the DVD-ROM 1201, or an IC card. Data is transmitted to the network, or received data received from the network is written in a receive buffer area or the like provided on the recording medium.

また、CPU1212は、ハードディスクドライブ1224、DVD-ROMドライブ1226(DVD-ROM1201)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。 In addition, the CPU 1212 causes the RAM 1214 to read all or necessary portions of files or databases stored in external recording media such as a hard disk drive 1224, a DVD-ROM drive 1226 (DVD-ROM 1201), an IC card, etc. Various types of processing may be performed on the data in RAM 1214 . CPU 1212 may then write back the processed data to an external recording medium.

様々なタイプのプログラム、データ、テーブル、及びデータベースのような、様々なタイプの情報が、情報処理されるべく、記録媒体に格納されてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリガ記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、これにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。 Various types of information, such as various types of programs, data, tables, and databases, may be stored on the recording medium to be processed. CPU 1212 performs various types of operations on data read from RAM 1214, information processing, conditional decisions, conditional branching, unconditional branching, and information retrieval, which are described throughout this disclosure and are specified by instruction sequences of programs. Various types of processing may be performed, including /replace, etc., and the results written back to RAM 1214 . In addition, the CPU 1212 may search for information in a file in a recording medium, a database, or the like. For example, if multiple entries are stored in the recording medium, each entry having an attribute value of a first attribute associated with an attribute value of a second attribute, the CPU 1212 selects the first attribute from among the multiple entries. Searches for an entry that matches the specified condition of the attribute value of the attribute, reads the attribute value of the second attribute stored in the entry, and thereby associates it with the first attribute that satisfies the predetermined condition. an attribute value of the second attribute obtained.

以上の説明によるプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、これにより、プログラムをコンピュータ1200にネットワークを介して提供する。 Programs or software modules according to the above description may be stored in a computer readable storage medium on or near computer 1200 . Also, a recording medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, whereby the program can be transferred to the computer 1200 via a network. offer.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。また、各構成要素は、名称が同一で、参照符号が異なる他の構成要素と同様の特徴を有してもよい。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It is obvious to those skilled in the art that various modifications and improvements can be made to the above embodiments. In addition, matters described with respect to a specific embodiment can be applied to other embodiments as long as they are not technically inconsistent. Also, each component may have features similar to other components with the same name but different reference numerals. It is clear from the description of the scope of claims that forms with such modifications or improvements can also be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as actions, procedures, steps, and stages in the devices, systems, programs, and methods shown in the claims, the specification, and the drawings is particularly "before", "before etc., and it should be noted that they can be implemented in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the specification, and the drawings, even if the description is made using "first," "next," etc. for the sake of convenience, it means that it is essential to carry out in this order. not a thing

30 マンション、31 外側の領域、33 内側の領域、41 エントランス扉、43 操作盤、50 通信ネットワーク、61 第1人物、63 第2人物、65 第3人物、100 管理装置、101 装置本体、102 検知部、111 通信部、113 推定部、117 格納部、119 処理部、1200 コンピュータ、1201 DVD-ROM、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インターフェース、1224 ハードディスクドライブ、1226 DVD-ROMドライブ、1230 ROM、1240 入出力チップ、1242 キーボード 30 condominium, 31 outside area, 33 inside area, 41 entrance door, 43 operation panel, 50 communication network, 61 first person, 63 second person, 65 third person, 100 management device, 101 device body, 102 detection Unit, 111 Communication Unit, 113 Estimation Unit, 117 Storage Unit, 119 Processing Unit, 1200 Computer, 1201 DVD-ROM, 1210 Host Controller, 1212 CPU, 1214 RAM, 1216 Graphic Controller, 1218 Display Device, 1220 Input/Output Controller, 1222 Communication interface, 1224 hard disk drive, 1226 DVD-ROM drive, 1230 ROM, 1240 input/output chip, 1242 keyboard

Claims (13)

建物における特定の領域への入口の外側にいる人物を検知する検知部と、
建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、前記検知部で検知した前記入口の外側にいる人物から前記特定の処理の要否を推定する推定部と、
前記推定部によって前記特定の処理が必要であると推定された場合に前記特定の処理を実行する処理部と
を備え、
前記入口の外側にいる人物は、前記入口の解錠操作を行う操作者および前記操作者とは異なる人物を含み、前記推定部は、前記操作者と前記異なる人物との対人関係と、前記特定の処理の要否との関係を学習し、
前記特定の処理は、前記操作者による前記入口の解錠操作の入力を受け付けた場合に、前記操作者に対して前記異なる人物の確認を要求する要求処理を含む、
管理装置。
a detector that detects a person outside an entrance to a specific area of a building;
Based on the learning result of the relationship between the person outside the entrance to the specific area in the building and the necessity of the specific process, the person outside the entrance detected by the detection unit determines the necessity of the specific process. an estimating unit for estimating
a processing unit that executes the specific processing when the estimating unit estimates that the specific processing is necessary,
The person outside the entrance includes an operator who performs an unlocking operation of the entrance and a person different from the operator, and the estimating unit includes an interpersonal relationship between the operator and the different person and the identifying person. learning the relationship between whether or not to process
The specific process includes a request process of requesting the operator to confirm the different person when an input of an unlocking operation of the entrance by the operator is received.
management device.
前記対人関係は、前記操作者が前記異なる人物と共に、前記特定の領域へ進入することを意識している関係、および、前記特定の領域へ進入することを意識していない関係を含む、
請求項1に記載の管理装置。
The interpersonal relationship includes a relationship in which the operator is aware of entering the specific area with the different person, and a relationship in which the operator is not aware of entering the specific area.
The management device according to claim 1.
前記処理部は更に、前記異なる人物が、前記特定の領域への進入が予め許可されている人物として登録されているかに応じて異なる処理をする、
請求項1または2に記載の管理装置。
The processing unit further performs different processing depending on whether the different person is registered as a person who is previously permitted to enter the specific area.
The management device according to claim 1 or 2.
前記処理部は更に、前記建物を住居、勤務先および通学先の何れかとする単数または複数の人が前記異なる人物に対して不良な応対をした履歴があるかに応じて異なる処理をする、
請求項1から3の何れか一項に記載の管理装置。
The processing unit further performs different processing depending on whether or not one or more persons whose residence, workplace, or school commute to the building has a history of bad behavior toward the different persons.
The management device according to any one of claims 1 to 3.
前記推定部は、前記操作者による前記異なる人物の確認結果に基づいて、前記操作者と前記異なる人物との対人関係と、前記特定の処理の要否との関係を学習する、
請求項1から4の何れか一項に記載の管理装置。
The estimating unit learns the relationship between the interpersonal relationship between the operator and the different person and whether or not the specific process is necessary, based on the confirmation result of the different person by the operator.
The management device according to any one of claims 1 to 4.
前記特定の処理は前記入口の警戒処理を含み、前記推定部は、前記入口の外側にいる人物の状況と前記警戒処理の要否との関係を学習する、
請求項1から5の何れか一項に記載の管理装置。
The specific processing includes caution processing of the entrance, and the estimation unit learns the relationship between the situation of a person outside the entrance and the necessity of the caution processing.
The management device according to any one of claims 1 to 5.
前記警戒処理は、前記入口の施錠、前記入口の閉扉、前記入口での警告、および、予め登録された通知先への通報の少なくとも何れかを含む、
請求項6に記載の管理装置。
The warning process includes at least one of locking the entrance, closing the entrance, issuing a warning at the entrance, and reporting to a pre-registered notification destination.
The management device according to claim 6.
前記推定部は、前記警戒処理が必要な対象者として登録された人物が取った行動の記録から、前記警戒処理が必要な前記入口の外側にいる人物の状況を学習する、
請求項6または7に記載の管理装置。
The estimating unit learns the situation of the person outside the entrance requiring the warning process from a record of the actions taken by the person registered as the target person requiring the warning process.
The management device according to claim 6 or 7.
前記推定部は、前記入口の外側にいる人物の状況として、前記建物を住居、勤務先および通学先の何れかとする単数または複数の人が前記入口の外側にいる人物に対して不良な応対をした履歴がある場合に、前記警戒処理が必要であると学習する、
請求項6から8の何れか一項に記載の管理装置。
The estimating unit determines, as the situation of the person outside the entrance, that one or more persons who live, work, or go to school in the building behave badly toward the person outside the entrance. learning that the alert process is necessary if there is a history of
The management device according to any one of claims 6 to 8.
前記特定の処理は、(A)前記入口の解錠、(B)前記入口の開扉、(C)前記入口の警戒解除、並びに、(D)予め登録された通知先に対する、前記解錠、前記開扉および前記警戒解除の少なくとも何れかの遠隔操作を要求するための連絡、の少なくとも何れかの優位的な処理を含み、前記推定部は、前記入口の外側にいる人物と前記優位的な処理の要否との関係を学習する、
請求項1から9の何れか一項に記載の管理装置。
The specific processing includes (A) unlocking of the entrance, (B) opening of the entrance, (C) release of warning of the entrance, and (D) unlocking of the notification destination registered in advance. communication for requesting remote control of at least one of opening the door and canceling the alarm, wherein the estimating unit detects a person outside the entrance and learning the relationship between the necessity of processing and
Management device according to any one of claims 1 to 9.
請求項1から10の何れか一項に記載の管理装置を複数備える管理システムであって、
複数の前記管理装置のうちの1つの前記管理装置が設けられた前記建物を住居、勤務先および通学先の何れかとする人が、前記複数の管理装置のうちの他の前記管理装置が設けられた前記建物を住居、勤務先および通学先の何れかとして新たに利用する場合に、前記1つの管理装置の学習結果を前記他の管理装置に共有させる、
管理システム。
A management system comprising a plurality of management devices according to any one of claims 1 to 10,
A person who lives, works, or goes to school in the building in which one of the plurality of management devices is installed is provided with another management device out of the plurality of management devices. sharing the learning result of the one management device with the other management device when the building is newly used as a residence, place of work, or school,
management system.
コンピュータによって実行される管理方法であって、
建物における特定の領域への入口の外側にいる人物を検知する検知段階と、
建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、前記検知段階で検知した前記入口の外側にいる人物から前記特定の処理の要否を推定する推定段階と、
前記推定段階によって前記特定の処理が必要であると推定された場合に前記特定の処理を実行する処理段階と
を備え、
前記入口の外側にいる人物は、前記入口の解錠操作を行う操作者および前記操作者とは異なる人物を含み、前記推定段階は、前記操作者と前記異なる人物との対人関係と、前記特定の処理の要否との関係を学習することを含み、
前記特定の処理は、前記操作者による前記入口の解錠操作の入力を受け付けた場合に、前記操作者に対して前記異なる人物の確認を要求する要求処理を含む、
管理方法。
A computer-implemented management method comprising:
a detection step of detecting a person outside an entrance to a particular area of a building;
Based on the learning result of the relationship between the person outside the entrance to the specific area in the building and the necessity of the specific process, the person outside the entrance detected in the detection step determines the necessity of the specific process. an estimation step of estimating
a processing step of performing the specific processing when the estimating step deduces that the specific processing is necessary,
The person outside the entrance includes an operator who performs an unlocking operation of the entrance and a person different from the operator, and the estimating step includes interpersonal relationships between the operator and the different person, and the identifying person. including learning the relationship between whether or not to process
The specific process includes a request process of requesting the operator to confirm the different person when an input of an unlocking operation of the entrance by the operator is received.
Management method.
コンピュータに請求項12に記載の管理方法を実行させるプログラム。 A program that causes a computer to execute the management method according to claim 12.
JP2018150883A 2018-08-09 2018-08-09 Management device, management system, management method and program Active JP7174565B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018150883A JP7174565B2 (en) 2018-08-09 2018-08-09 Management device, management system, management method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018150883A JP7174565B2 (en) 2018-08-09 2018-08-09 Management device, management system, management method and program

Publications (2)

Publication Number Publication Date
JP2020027372A JP2020027372A (en) 2020-02-20
JP7174565B2 true JP7174565B2 (en) 2022-11-17

Family

ID=69620104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018150883A Active JP7174565B2 (en) 2018-08-09 2018-08-09 Management device, management system, management method and program

Country Status (1)

Country Link
JP (1) JP7174565B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479535B1 (en) 2023-03-30 2024-05-08 電気興業株式会社 Person detection system and person detection method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102473A1 (en) 2007-02-20 2008-08-28 Kabushiki Kaisha Toshiba Face authenticating device and face authenticating method
JP2011081735A (en) 2009-10-09 2011-04-21 Sogo Keibi Hosho Co Ltd Suspicious person monitoring device and suspicious person monitoring method
JP2016177484A (en) 2015-03-19 2016-10-06 ソフトバンク株式会社 Security system
JP2017200083A (en) 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 Monitor system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5326527B2 (en) * 2008-11-28 2013-10-30 富士通株式会社 Authentication apparatus and authentication method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102473A1 (en) 2007-02-20 2008-08-28 Kabushiki Kaisha Toshiba Face authenticating device and face authenticating method
JP2011081735A (en) 2009-10-09 2011-04-21 Sogo Keibi Hosho Co Ltd Suspicious person monitoring device and suspicious person monitoring method
JP2016177484A (en) 2015-03-19 2016-10-06 ソフトバンク株式会社 Security system
JP2017200083A (en) 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 Monitor system

Also Published As

Publication number Publication date
JP2020027372A (en) 2020-02-20

Similar Documents

Publication Publication Date Title
JP4198602B2 (en) Operating method and system using video
JP6525229B1 (en) Digital search security system, method and program
US11657666B2 (en) Verified access to a monitored property
JP6905850B2 (en) Image processing system, imaging device, learning model creation method, information processing device
JP5674406B2 (en) Surveillance system, monitoring device, autonomous mobile body, monitoring method, and monitoring program using autonomous mobile body
JP5794599B1 (en) Digital fine security system, method and program
KR20190096849A (en) Building management robot and method for providing service using the same
KR101515214B1 (en) Identification method using face recognition and entrance control system and method thereof using the identification method
Patel et al. Iot based facial recognition door access control home security system
US20050222711A1 (en) Robot and a robot control method
JP2019080271A (en) Occupant monitoring system
JP7160597B2 (en) Housing management device, housing management method and program
JP2007280083A (en) Entrance/location management system
JP7174565B2 (en) Management device, management system, management method and program
CN106611475B (en) Method and system for adaptive building layout/performance optimization
JP2020129215A (en) Risk determination program and system
Kiru et al. Intelligent automatic door system based on supervised learning
JP2021197139A (en) Building entry management system, computer-implemented method, program, and system
US8937551B2 (en) Covert security alarm system
Karim et al. An al-based security system using computer vision and nlp conversion system
JP6739115B1 (en) Risk judgment program and system
US20220070415A1 (en) Access control system
JP6739119B6 (en) Risk determination program and system
Artem et al. Structure and model of the smart house security system using machine learning methods
JP2006107308A (en) Method, managing apparatus, and system for exit management, and information reader

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R150 Certificate of patent or registration of utility model

Ref document number: 7174565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150