JP7174565B2 - Management device, management system, management method and program - Google Patents
Management device, management system, management method and program Download PDFInfo
- Publication number
- JP7174565B2 JP7174565B2 JP2018150883A JP2018150883A JP7174565B2 JP 7174565 B2 JP7174565 B2 JP 7174565B2 JP 2018150883 A JP2018150883 A JP 2018150883A JP 2018150883 A JP2018150883 A JP 2018150883A JP 7174565 B2 JP7174565 B2 JP 7174565B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- entrance
- processing
- operator
- management device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims description 122
- 238000012545 processing Methods 0.000 claims description 184
- 238000000034 method Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 86
- 230000013016 learning Effects 0.000 claims description 85
- 238000001514 detection method Methods 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 50
- 230000009471 action Effects 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000009184 walking Effects 0.000 description 1
Images
Landscapes
- Lock And Its Accessories (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、管理装置、管理システム、管理方法およびプログラムに関する。 The present invention relates to a management device, management system, management method and program.
家や店舗に設置されるセキュリティ装置から取得された画像や音響を元にして、通報の必要のない人物を特定するための知人情報を予め記録しておき、新たに来訪者の画像または音響を取得した場合に、取得した情報を予め記録した知人情報と照合するセキュリティシステムが知られている(例えば、特許文献1を参照)。
[先行技術文献]
[特許文献]
[特許文献1] 特開2016-177484号公報
Based on images and sounds obtained from security devices installed in homes and shops, acquaintance information is recorded in advance to identify people who do not need to be reported, and new images or sounds of visitors are recorded. A security system is known in which, when acquired, the acquired information is compared with pre-recorded acquaintance information (see, for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2016-177484 A
しかしながら、上記セキュリティシステムでは、新たな来訪者が知人情報に記録されていない場合は、不正侵入者と見做してユーザ端末に通報し、ユーザに対してユーザ端末での操作を要求するので、ユーザにとっては面倒であった。 However, in the above security system, if a new visitor is not recorded in the acquaintance information, it is regarded as an unauthorized intruder and reported to the user terminal, and the user is requested to operate the user terminal. It was troublesome for users.
本発明の一態様においては、建物における特定の領域への入口の外側にいる人物を検知する検知部と、建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、検知部で検知した入口の外側にいる人物から特定の処理の要否を推定する推定部と、推定部によって特定の処理が必要であると推定された場合に特定の処理を実行する処理部とを備える管理装置が提供される。 In one aspect of the present invention, a detection unit that detects a person outside the entrance to a specific area of the building, a person outside the entrance to the specific area of the building, and whether or not a specific process is required. Based on the learning result of the relationship, an estimation unit that estimates whether or not a specific process is required from the person outside the entrance detected by the detection unit A management device is provided that includes a processing unit that executes processing.
本発明の一態様においては、上記の管理装置を複数備える管理システムであって、複数の管理装置のうちの1つの管理装置が設けられた建物を住居、勤務先および通学先の何れかとする人が、複数の管理装置のうちの他の管理装置が設けられた建物を住居、勤務先および通学先の何れかとして新たに利用する場合に、1つの管理装置の学習結果を他の管理装置に共有させる、管理システムが提供される。 In one aspect of the present invention, there is provided a management system comprising a plurality of management devices, and a person who lives, works, or goes to school in a building in which one of the plurality of management devices is installed. However, when a building in which another management device is installed among a plurality of management devices is newly used as a residence, place of work, or commuting to school, the learning result of one management device is transferred to the other management device. A management system is provided for sharing.
本発明の一態様においては、建物における特定の領域への入口の外側にいる人物を検知する検知段階と、建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、検知段階で検知した入口の外側にいる人物から特定の処理の要否を推定する推定段階と、推定段階によって特定の処理が必要であると推定された場合に特定の処理を実行する処理段階とを備える管理方法が提供される。 In one aspect of the present invention, a detecting step of detecting a person outside the entrance to a specific area of the building, and a person outside the entrance to the specific area of the building and whether or not specific processing is required. Based on the learning result of the relationship, an estimation stage of estimating whether or not a specific process is required from the person outside the entrance detected in the detection stage, and if the estimation stage estimates that a specific process is necessary, a specific A management method is provided comprising a processing stage for performing a process.
本発明の一態様においては、コンピュータに上記の管理方法を実行させるプログラムが提供される。 An aspect of the present invention provides a program that causes a computer to execute the management method described above.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not list all the necessary features of the invention. Subcombinations of these feature groups can also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Also, not all combinations of features described in the embodiments are essential for the solution of the invention. In addition, in the drawings, the same or similar parts may be denoted by the same reference numerals to omit redundant description.
図1は、第1実施形態による、管理装置100が設置されたマンション30の共用部分であるエントランスの状況の模式図である。マンション30のエントランスには自動で開閉するエントランス扉41が設けられており、エントランス扉41は、エントランスにおける外側の領域31と内側の領域33とを仕切っている。マンション30は建物の一例であり、エントランス扉41の内側の領域33は建物における特定の領域の一例であり、エントランス扉41は当該特定の領域への入口の一例である。
FIG. 1 is a schematic diagram of the situation of an entrance, which is a common part of a
エントランス扉41の外側の領域31には、操作盤43が設置されている。図1に示す状況では、エントランス扉41の外側の領域31に、操作盤43を操作している第1人物61、第1人物61と手を繋いでいる第2人物63、および、第1人物61および第2人物63から離れたところで孤立して立っている第3人物65がいる。第1人物61、第2人物63および第3人物65は上記の特定の領域への入口の外側にいる人物の一例であり、第1人物61は操作盤43によってエントランス扉41の解錠操作を行う操作者の一例であり、第2人物63および第3人物65は操作者とは異なる人物の一例である。
An
操作盤43は、通信ネットワーク50を介して、有線通信又は無線通信により、管理装置100に接続される。操作盤43は、マンション30の住人や、マンション30への訪問者などによって操作されるインターフェースを有する。インターフェースは、一例として、操作者によって操作されるタッチパネルと、操作者の顔を正面から撮像するカメラとを含む。インターフェースは更に、操作者による発話音声を集音し、マンション30の各居室に設けられた室内インターホンで集音された発話音声を発声してもよい。タッチパネルは、一例として、エントランス扉41を解錠するための解錠ボタンと、マンション30の居室番号を入力して呼び出すための呼び出しボタンとを含む。操作盤43のインターフェースで入出力される情報は、管理装置100との間で送受信される。
The
管理装置100は、装置本体101と、検知部102とを備える。装置本体101は、操作盤43と一体であってもよく、操作盤43とは別個に、例えばマンション30の管理人室に設けられてもよい。装置本体101は、通信ネットワーク50を介して、有線通信又は無線通信により、操作盤43および検知部102に接続される。装置本体101は更に、通信ネットワーク50を介して、有線通信又は無線通信により、予め登録された通知先、例えばマンション30の各居室に設けられた室内インターホン、マンション30の各住人の通信端末、マンション30の管理人室の通信機器、マンション30のセキュリティを管理する警備会社の通信機器、または、警察の通信機器の少なくとも何れかに接続されてもよい。
The
検知部102は、エントランス扉41の外側の領域31にいる人物を検知する。検知部102は、一例として、動画を撮像するカメラを含む。検知部102は、一例として、エントランス扉41の上方の壁面に設置され、エントランス扉41の外側の領域31を撮像する。図1には、一例として、単一の検知部102が設置されているが、これに代えて、少なくともエントランス扉41の外側の領域31にいる人物を異なる複数の方向から検知する複数の検知部102が設置されてもよい。検知部102は、撮像した画像データを随時に、通信ネットワーク50を介して、装置本体101に送信する。当該画像データは、静止画データであっても動画データであってもよい。当該画像データには、エントランス扉41の外側の領域31にいる人物が被写体として映る画像データが含まれる。
The
装置本体101には、人工知能(AI)が組み込まれている。本実施形態では、装置本体101の人工知能は、エントランス扉41の外側の領域31にいる人物と互いに異なる複数の処理のうちの特定の処理の要否との関係を学習し、学習結果に基づき、検知部102で検知した外側の領域31にいる人物から、互いに異なる複数の処理のうちの特定の処理の要否を推定する。なお、これに代えて、装置本体101の人工知能は、エントランス扉41の外側の領域31にいる人物と単一の特定の処理の要否との関係を学習し、学習結果に基づいて、検知部102で検知した外側の領域31にいる人物から、当該単一の特定の処理の要否を推定してもよい。
The
特定の処理は、一例として、装置本体101が、通信ネットワーク50を介して操作盤43から、操作盤43の操作者によるエントランス扉41の解錠操作の入力を受け付けた場合に、操作者に対して、操作者とは異なる人物の確認を要求する要求処理を含む。当該要求処理は、操作者によるエントランス扉41の解錠操作の入力を受け付けた後に、操作者に対して、例えば操作盤43のタッチパネルに上記の異なる人物に関する情報を提示することによって、リアルタイムに異なる人物の確認を要求する処理を含んでもよい。また、当該要求処理は、操作者によるエントランス扉41の解錠操作の入力を受け付けた後に、操作者に対して、例えば操作者の予め登録された通信端末や室内インターホンに上記の異なる人物に関する情報を提示することによって、事後的に異なる人物の確認を要求する処理を含んでもよい。なお、各機器に異なる人物に関する情報を提示することは、一例として、検知部102によって検知された異なる人物の画像を各機器のディスプレイに表示すること、異なる人物が存在する旨を知らせる指標を当該ディスプレイに表示すること、および、異なる人物が存在する旨を知らせる音声を各機器から発声すること、などの少なくとも何れかを含んでもよい。
As an example, the specific processing is performed when the device
特定の処理はまた、一例として、エントランス扉41の警戒処理を含む。警戒処理は、エントランス扉41の施錠、エントランス扉41の閉扉、エントランス扉41以外のマンション30への入口の施錠、当該入口の閉扉、エントランス扉41での警告、および、一例を上記した予め登録された通知先への通報などの少なくとも何れかを含む。エントランス扉41での警告は、一例として、操作盤43からの警告音声の発声、または、エントランス扉41の外側の領域31に設けられた警告ランプの点滅などの少なくとも何れかを含む。
Specific processing also includes warning processing of the
特定の処理はまた、一例として、優位的な処理を含む。優位的な処理とは、一例として、(A)エントランス扉41の解錠、(B)エントランス扉41の開扉、(C)エントランス扉41の警戒解除、並びに、(D)予め登録された通知先に対する、上記(A)の解錠、上記(B)の開扉および上記(C)の警戒解除の少なくとも何れかの遠隔操作を要求するための連絡、の少なくとも何れかである。ここで言う、予め登録された通知先は、一例として、操作盤43の操作者が操作盤43から呼び出した訪問先の住人の通信端末を含む。
Specific treatments also include, by way of example, dominant treatments. Predominant processing includes, for example, (A) unlocking of the
装置本体101は更に、特定の処理が必要であると推定された場合に、当該特定の処理を実行する。
Further, when it is estimated that a specific process is required, the
管理装置100は、このような人工知能による処理を利用することで、マンション30に出入りしたことがある人物だけでなく、マンション30に初めて訪れる人物に対しても、特定の処理が必要であるか否かを推定して自動的に実行する。
By using such processing by artificial intelligence, the
図2は、第1実施形態による、管理装置100のブロック図である。管理装置100は、上述の通り、装置本体101の他に検知部102を備える。装置本体101は、通信部111と、推定部113と、格納部117と、処理部119とを有する。
FIG. 2 is a block diagram of the
通信部111は、通信ネットワーク50を介して、操作盤43から任意の情報を受信すると、推定部113に出力する。通信部111は、通信ネットワーク50を介して、検知部102から一例として画像データを受信すると、推定部113および処理部119に出力する。通信部111は、推定部113および処理部119から任意の情報および制御信号を入力されると、制御信号に基づいて、操作盤43およびエントランス扉41の何れかに、通信ネットワーク50を介して、任意の情報および制御信号の少なくとも何れかを送信する。
Upon receiving arbitrary information from the
推定部113は、上述の人工知能を含む。推定部113は、エントランス扉41の外側の領域31にいる人物と特定の処理の要否との関係を学習し、学習結果に基づき、検知部102で検知した外側の領域31にいる人物から、特定の処理の要否を推定する。
Estimation unit 113 includes the artificial intelligence described above. The estimating unit 113 learns the relationship between the person in the
本実施形態における推定部113はまた、上記の学習の一例として、操作盤43の操作者と当該操作者とは異なる人物との対人関係と、上記の特定の処理の要否との関係を学習する。対人関係は、一例として、当該操作者が、当該異なる人物と共に、エントランス扉41の内側の領域33へ進入することを意識している関係、および、内側の領域33へ進入することを意識していない関係を含む。推定部113は更に、上記の要求処理が実行され、上記の操作者による上記の異なる人物の確認結果に基づいて、操作者と異なる人物との対人関係と、特定の処理の要否との関係を学習してもよい。
As an example of the above learning, the estimation unit 113 in the present embodiment also learns the relationship between the interpersonal relationship between the operator of the
推定部113は、一例として、以下の(D)から(K)の少なくとも何れかの条件を満たす場合を、上述した、操作盤43の操作者が異なる人物と共にエントランス扉41の内側の領域33へ進入することを意識している関係として学習してもよい。また、以下の(D)から(K)の条件に示される状況は、一例として、検知部102による検知対象範囲の他に、マンション30のエントランス扉41の内側の領域33、廊下、エレベータ、および、駐車場などの少なくとも何れかの場所に設置されたカメラ等によって検知され、検知された状況を示す画像データが推定部113に送信されてもよい。
As an example, if at least one of the following conditions (D) to (K) is satisfied, the estimating unit 113 moves to the
(D)操作盤43の操作者と異なる人物との距離が予め定められた長さの閾値より短い状態が継続する時間が、予め定められた時間の閾値以上に長いこと。(E)操作盤43の操作者がエントランス扉41から内側の領域33へ進入してから予め定められた時間の閾値より短い時間内に、異なる人物がエントランス扉41から内側の領域33へ進入したこと。(F)操作盤43の操作者と異なる人物とが直接的に又は間接的に接触していること。(G)予め定められた回数の閾値以上、操作盤43の操作者と異なる人物とが一緒にエントランス扉41から内側の領域33へ進入した履歴があること。
(D) The time during which the distance between the operator of the
(H)予め定められた回数の閾値以上、操作盤43の操作者と異なる人物とが一緒に、エントランス扉41の内側の領域33において、予め定められた距離の閾値以上を移動した履歴があること。(I)予め定められた時間の閾値以上、操作盤43の操作者と異なる人物とが一緒に、当該操作者の居室内やマンション30の共有部分であるミーティングルームやエントランスホールなどに居た履歴があること。(J)操作盤43の操作者がSNSで公開している画像に、当該操作者と異なる人物とが一緒に写っていること。(K)操作盤43の操作者のもとに異なる人物が訪問し、当該操作者が良好な応対、例えば良好な表情を示したり良好な声調で受け答えしたり当該操作者の居室へ招き入れたりした履歴があること。
(H) There is a history in which the operator of the
本実施形態における推定部113はまた、マンション30におけるエントランス扉41の外側の領域31にいる人物と、上記の警戒処理の要否との関係を学習する。警戒処理が必要とされる人物は、一例として、泥棒、強盗、不審者、悪質セールスマン、ストーカー、不法侵入者、および、ゴミなどの不法投棄者などの少なくとも何れかを含む。このような人物は、例えばマンション30の警備会社のデータベースや警察の犯罪者データベースなどに、警戒処理が必要な対象者として登録されていてもよく、更に、そのような人物が取った行動も記録されていてもよい。推定部113はまた、マンション30におけるエントランス扉41の外側の領域31にいる人物の状況と、上記の警戒処理の要否との関係を学習する。この場合、推定部113は、一例として、上記のデータベースから、警戒処理が必要な対象者として登録された人物が取った行動の記録を取得し、当該記録から、警戒処理が必要な、エントランス扉41の外側の領域31にいる人物の状況を学習してもよい。
The estimating unit 113 in this embodiment also learns the relationship between the person in the
推定部113は、一例として、以下の(L)から(N)の少なくとも何れかの条件を満たす場合を、上述した、警戒処理が必要な、建物における特定の領域への入口の外側にいる人物の状況として学習してもよい。また、以下の(L)から(N)の条件に示される状況は、一例として、検知部102による検知対象範囲の他、上記と同様に、マンション30のエントランス扉41の内側の領域33などの場所に設置されたカメラ等によって検知され、検知された状況を示す画像データが推定部113に送信されてもよい。
As an example, the estimating unit 113 determines that a person outside an entrance to a specific area in a building requiring caution processing, as described above, when at least one of the following conditions (L) to (N) is satisfied: It may be learned as a situation of In addition, the situations indicated by the following conditions (L) to (N) include, as an example, the range to be detected by the
(L)マンション30において特定の行動パターンを行うこと。特定の行動パターンは、一例として、マンション30における特定の領域への入口の前で何度も周囲をキョロキョロすること、複数のポストの名札や中身を確認すること、検知部102や操作盤43のカメラを布などで塞ぐこと、任意の居室の扉の近くまで来てから鍵を開けること及び呼び鈴を押すことなどの何れの動作も行わずに離れていくこと、マンション30における特定の領域への入口の錠を操作したが解錠できずに立ち去ること、任意の居室の扉に予め定められた時間の閾値以上接触していたが何もせずに立ち去ること、マンション30における特定の領域への入口の錠を破る動作を行うこと、マンション30の住人であるが普段の動線と異なる動作をすること、および、配達業者や清掃業者などの特定の行動を行うことが予期される服装を着用しているにも拘わらず当該行動をせずに立ち去ったこと、などの少なくとも何れかを含む。なお、管理装置100は、ある人物がマンション30の住人であることを、検知部102や建物の任意の場所に設置されたカメラ等によって検知された画像データなどから教師なし学習によって認識してもよく、当該人物による入力情報と共に教師あり学習を行うことによって認識してもよく、当該人物に関係する人物、例えば当該人物と同居している親やマンション30の管理人などが登録することによって認識してもよい。
(L) performing a specific behavior pattern in the
入口の錠を破る動作は、一例として、入口の錠に対してピッキング道具、バール、ドリルを使用していることなどを含む。マンション30の住人が普段の動線と異なる動作をすることは、一例として、当該住人に関連して予め登録された部屋、例えば当該住人の居室以外の居室を訪問すること、当該住人に関連して予め登録されたフロア以外のフロアを使用すること、などの少なくとも何れかを含む。
The action of breaking the entrance lock includes, by way of example, using a picking tool, crowbar, drill, etc. against the entrance lock. For example, a resident of the
(M)マンション30を住居とする単数または複数の人が、マンション30におけるエントランス扉41の外側の領域31にいる人物に対して不良な応対をした履歴があること。なお、本実施形態では、管理装置100が設けられる建物の一例をマンション30としているが、管理装置100が設けられる建物がオフィスビルや学校などの場合には、条件(M)を、管理装置100が設けられる建物を住居、勤務先および通学先の何れかとする単数または複数の人が、建物における特定の領域への入口の外側にいる人物に対して不良な応対をした履歴があること、としてもよい。
(M) One or more people who live in the
なお、推定部113は、ある人物が建物を住居、勤務先および通学先の何れかとしていることを、検知部102や建物の任意の場所に設置されたカメラ等によって検知された画像データなどから教師なし学習によって認識してもよく、当該人物による入力情報と共に教師あり学習を行うことによって認識してもよく、当該人物に関係する人物、例えば管理装置100が設けられる建物の管理人や、当該人物が勤務する会社の上司や、当該人物が通学する学校の教師などによって登録されることによって認識してもよい。
Note that the estimating unit 113 determines that a certain person uses the building as a residence, place of work, or school, from image data or the like detected by the detecting
(N)マンション30における特定の領域への入口の前に特定の物を所持して現れること、または、マンション30の住人以外の人物がマンション30のゴミ捨て場の外扉の前にゴミを内包している状態のゴミ袋を所持して現れること。特定の領域への入口は、一例として、エントランス扉41、マンション30の共有部分である駐輪場の外扉、駐車場の外扉、各居室の扉、各居室の外門、各部屋の窓、および、各部屋の庭の門、などの少なくとも何れかを含む。特定の物は、一例として、ピッキング道具、バール、および、ドリル、などの少なくとも何れかを含む。
(N) Appearing in front of the entrance to a specific area in the
本実施形態における推定部113はまた、建物における特定の領域への入口の外側にいる人物と、上記の優位的な処理の要否との関係を学習する。推定部113は、一例として、内側の領域33からエントランス扉41を介して退場した人物に付属する物の表面における視覚的な特徴と同じ特徴がエントランス扉41の外側にいる人物に付属する物の表面から検知された場合を優位的な処理が必要な状況として学習してもよい。人物に付属する物は、一例として、服、鞄、靴、腕時計、メガネ、および、帽子などの少なくとも何れかを含む。
The estimating unit 113 in this embodiment also learns the relationship between the person outside the entrance to the specific area in the building and whether or not the superior processing is necessary. As an example, the estimating unit 113 determines whether an object belonging to the person outside the
推定部113は、一例として、以下の(O)から(S)の少なくとも何れかの条件を満たす場合を、上述した、優位的な処理が必要な、建物における特定の領域への入口の外側にいる人物として学習してもよい。また、以下の(O)から(S)の条件に示される状況は、一例として、検知部102による検知対象範囲の他、上記と同様に、マンション30のエントランス扉41の内側の領域33などの場所に設置されたカメラ等によって検知され、検知された状況を示す画像データが推定部113に送信されてもよい。
As an example, the estimating unit 113 determines that at least one of the following conditions (O) to (S) is satisfied, outside the entrance to the specific area of the building that requires superior processing. You can learn as a person. In addition, the situations shown in the following conditions (O) to (S) include, as an example, the detection target range by the
(O)マンション30における特定の領域への入口の外側にいる人物が、予め定められた回数の閾値以上、当該入口の内側へ進入した履歴があること。(P)マンション30における特定の領域への入口の外側にいる人物が、予め定められた時間の閾値以上、マンション30の居室内に居た履歴があること。(Q)マンション30における特定の領域への入口の外側にいる人物が、マンション30の住人がSNSで公開している画像において、当該住人と一緒に写っていること。(R)マンション30における特定の領域への入口の外側にいる人物が、マンション30の住人のもとに訪問し、当該住人によって上記の良好な応対をされた履歴があること。(S)マンション30における特定の領域への入口の外側にいる人物の所持品および服装の少なくとも何れかが、予め定められた回数の閾値以上、当該入口を通過した履歴があること。
(O) A person outside the entrance to the specific area in the
推定部113による上記の様々な学習は、管理装置100がマンション30に設置されてから開始してもよく、管理装置100がマンション30に設置される前に、マンション30とは異なる場所で、例えば管理装置100の製造段階に工場で、事前に、ある程度の学習を済ませておき、管理装置100がマンション30に設置された後に、事前の学習と同じ手法で学習を継続してもよい。後者の場合、管理装置100は、マンション30に設置された後に行う学習の量および期間を、前者の場合に比べて減らしてもよい。
The above-described various learnings by the estimating unit 113 may be started after the
格納部117は、管理装置100の各構成を動作させるプログラムなどを格納しており、一例として、推定部113および処理部119によって参照される。格納部117はまた、一例として、推定部113および処理部119の少なくとも何れかによって読み出される音声データ、静止画データ、動画データ、テキストデータ、マンション30の住人、住人の知人、マンション30に出入りする業者、および、警戒処理が必要な対象者、などの少なくとも何れかに関する情報、上記の予め登録された通知先に関する情報、複数の判断を行うための条件に関する情報、並びに、複数の処理に関する情報、の少なくとも何れかを格納する。
The storage unit 117 stores a program for operating each component of the
処理部119は、推定部113によって特定の処理が必要であると推定された場合に、当該特定の処理を実行する。より具体的には、処理部119は、推定部113から推定結果を入力されると、例えば格納部117を参照することにより、推定結果に含まれる特定の処理を実行し、通信部111を介して、操作盤43およびエントランス扉41の少なくとも何れかに、特定の処理に基づく制御信号を送信する。処理部119はまた、通信部111を介して、検知部102で検知された、エントランス扉41の外側の領域31にいる人物を示す画像データなどの検知結果を入力され、格納部117を参照することにより、当該検知結果が予め定められた条件を満たすと判断した場合に、特定の例外的な処理を優先的に実行する。
When the estimation unit 113 estimates that a specific process is necessary, the processing unit 119 executes the specific process. More specifically, when the estimation result is input from the estimation unit 113 , the processing unit 119 performs specific processing included in the estimation result by, for example, referring to the storage unit 117 . Then, a control signal based on specific processing is transmitted to at least one of the
図3は、第1実施形態による、学習の一例としてのフロー図である。図3の学習のフローは、一例として、管理装置100がマンション30に設置されて動作可能な状態になることにより開始する。
FIG. 3 is a flow diagram as an example of learning according to the first embodiment. The learning flow of FIG. 3 is started, for example, when the
管理装置100は、操作盤43の操作ボタン、一例として解錠ボタンおよび呼び出しボタンの何れかが押されるまで待機する(ステップS101:NO)。管理装置100は、操作盤43の操作ボタンが押され、通信ネットワーク50を介して、操作盤43から当該操作に対応する入力情報を受信した場合(ステップS101:YES)、通信ネットワーク50を介して、検知部102から随時に送信される画像データを受信し、推定部113は、入力情報と共に当該画像データを参照する(ステップS103)。
The
推定部113は、参照した画像データの画像内に複数人が映っているか否かを判定し(ステップS105)、複数人が映っていると判断した場合には(ステップS105:YES)、通信ネットワーク50を介して、操作盤43の操作者自身の情報、および、操作者と異なる人物との対人関係の情報の入力を要求するメッセージ情報を操作盤43に送信し、操作盤43のタッチパネルに表示させる(ステップS107)。
The estimating unit 113 determines whether or not a plurality of people are shown in the image of the image data referred to (step S105), and when it is determined that a plurality of people are shown (step S105: YES), 50, message information requesting input of information about the operator of the
操作者自身の情報は、一例として、操作者が、マンション30の住人、マンション30の住人の親族や友人や家庭教師や訪問介護ヘルパーなどの住人関係者、来訪することがマンション30の住人または管理人に予期されている業者、および、その他の人物、などの何れかであることを示す情報を含む。マンション30の住人である場合には更に、当該情報にマンション30の部屋番号や名前などの個人を特定する情報が含まれてもよい。
The operator's own information is, for example, if the operator is a resident of the
操作者と異なる人物との対人関係の情報は、一例として、操作者が、異なる人物を、一緒にエントランス扉41の内側の領域33へ進入することを意識している関係であるか否かの情報を含み、当該意識している関係である情報が入力された場合には、更に、異なる人物が、操作者と同じ居室の住人、操作者の親族や友人や家庭教師や訪問介護ヘルパーなどの操作者関係者、および、操作者が他の居室の住人として把握している人物、の少なくとも何れかであることを示す情報を含む。これらの入力すべき情報は、一例として、予めリストアップされて、選択肢として操作盤43のタッチパネルに表示されてもよい。
The information on the interpersonal relationship between the operator and a different person is, for example, whether or not the operator is conscious of entering the
推定部113は、通信ネットワーク50を介して、操作盤43から両情報が入力されるまで待機し(ステップS109:NO)、両情報が入力された場合(ステップS109:YES)、入力された情報を、操作盤43での操作に対応する入力情報および参照した画像データと共に格納部117に格納し、操作盤43および検知部102からの入力に基づく当該学習を開始してから1週間が経過したか否かを判定する(ステップS111)。
The estimating unit 113 waits until both information are input from the
推定部113は、ステップS105において画像内に複数人が映っていない、すなわち、エントランス扉41の外側の領域31に操作者のみがいると判断した場合には(ステップS105:NO)、通信ネットワーク50を介して、操作盤43の操作者自身の情報の入力を要求するメッセージ情報を操作盤43に送信し、操作盤43のタッチパネルに表示させる(ステップS108)。推定部113は、通信ネットワーク50を介して、操作盤43から当該情報が入力されるまで待機し(ステップS110:NO)、当該情報が入力された場合(ステップS110:YES)、入力された情報を、操作盤43での操作に対応する入力情報および参照した画像データと共に格納部117に格納し、操作盤43および検知部102からの入力に基づく当該学習を開始してから1週間が経過したか否かを判定する(ステップS111)。
When the estimating unit 113 determines in step S105 that a plurality of persons are not shown in the image, that is, that only the operator is present in the
推定部113は、ステップS111において1週間が経過していないと判断した場合(ステップS111:NO)、ステップS101に戻り、1週間が経過したと判断した場合(ステップS111:YES)、当該フローは終了する。なお、ステップS107とステップS109:NOとの繰り返し、および、ステップS108とステップS110:NOとの繰り返しにおいて、予め定められた時間の閾値以上に、または予め定められた回数の閾値以上に繰り返しても、操作盤43からの情報入力がない場合、それぞれ繰り返しを終了し、当該フローを終了してもよい。
If the estimating unit 113 determines that one week has not passed in step S111 (step S111: NO), it returns to step S101, and if it determines that one week has passed (step S111: YES), the flow is finish. Note that in the repetition of steps S107 and S109: NO, and the repetition of steps S108 and S110: NO, even if it is repeated for a predetermined time threshold or more or a predetermined number of times or more, , when there is no information input from the
推定部113は、操作盤43および検知部102からの入力に基づく上記の学習を開始してから1週間が経過するまでの間に、マンション30のエントランス扉41の外側の領域31にいる人物について、検知部102から入力される画像データと、操作盤43での解錠ボタンおよび呼び出しボタンのそれぞれの操作に対応する入力情報、操作者の情報、および、操作者と異なる人物との対人関係の情報の少なくとも何れかと、を用いて、すなわちラベル付きの訓練データを用いて、操作盤43の操作者と異なる人物との対人関係、当該対人関係と要求処理の要否との関係、および、エントランス扉41の外側の領域31にいる人物と優位的な処理の要否との関係の少なくとも何れかについて、教師あり学習を行う。学習には、例えば深層学習、機械学習および統計処理といった手法を用いる。
The estimating unit 113 determines whether the person in the
上記の学習手法として、例えば、サポートベクターマシン(SVM)、リカレントニューラルネットワーク(RNN)およびベイジアンネットワーク(BN)などの手法が考えられる。SVMは、比較的少数のサンプルの学習から、未知のサンプルに対しても誤差が少ない判別ができる。ただし、学習結果についてはある程度理解できるが、人間には理解しにくく、判別の因果関係についてはわかりにくい。RNNは、多くの学習サンプルが必要で、学習に多くの時間がかかる。時系列など、前後(文脈)関係に左右される対象に有効であるが、学習結果についての理解は難しい。BNは、多くの学習サンプルが必要で、学習に時間がかかる。学習結果は、条件付き確率モデルを接続したネットワークの形で表現されるので、因果関係がわかりやすい。学習されたネットワークは、確率伝搬により、既知ノード、未知ノードは自由な組み合わせで使える。 Examples of the above learning method include support vector machine (SVM), recurrent neural network (RNN), and Bayesian network (BN). The SVM can discriminate even unknown samples with little error by learning a relatively small number of samples. However, although the learning result can be understood to some extent, it is difficult for humans to understand, and it is difficult to understand the causal relationship of discrimination. RNN requires many training samples and takes a long time to learn. It is effective for objects that are affected by contextual relationships, such as time series, but it is difficult to understand the learning results. BN requires many training samples and takes a long time to learn. Learning results are expressed in the form of a network connecting conditional probability models, so causal relationships are easy to understand. In the learned network, known nodes and unknown nodes can be used in any combination by belief propagation.
学習において、推定部113は、画像の特徴量を、コンボリューションニューラルネットワーク(CNN)を用いて抽出する。CNNとは、ディープラーニングニューラルネットワーク(DLNN)の一種であり、DLNNは、3層構成のニューラルネットワーク(NN)を4層以上に広げたものであり、近年のデータが大量に蓄積できるようになってきたことやコンピュータの高機能化により、NN以後に出てきた新しい計算手法よりも高性能化したことが知られている。その中でも、CNNは、脳の視覚野(V1)をモデルにしていて、事前に画像認識の精度が高くなるように学習したものを用いると、脳の視覚野と類似した画像処理結果が得られるので、画像の特徴量を抽出するのに適した手法である。なお、NN自体は、1980年代頃から盛んに研究され始めたものであり、複数のノードを結合させて、各ノードで非線形な処理を行うことで、一見無意味なデータの配列(パターン)に意味のあるシンボルを割り当てることができるという計算手法(及びそのためのデータ構造)である。 In learning, the estimation unit 113 extracts image feature amounts using a convolution neural network (CNN). CNN is a type of deep learning neural network (DLNN), and DLNN is a three-layer neural network (NN) expanded to four or more layers, and in recent years it has become possible to accumulate a large amount of data. It is known that due to recent developments and the advancement of computers, the performance has been improved more than the new calculation methods that appeared after the NN. Among them, CNN is modeled on the visual cortex (V1) of the brain, and if it is used to improve the accuracy of image recognition in advance, image processing results similar to those of the visual cortex of the brain can be obtained. Therefore, it is a suitable method for extracting feature values of images. It should be noted that NN itself began to be actively researched around the 1980s, and by connecting multiple nodes and performing non-linear processing at each node, it is possible to create seemingly meaningless data arrays (patterns). It is a computational technique (and a data structure for it) that can assign meaningful symbols.
本実施形態では、訓練データを、検知部102によって検知される画像データや、操作盤43での解錠ボタンおよび呼び出しボタンのそれぞれの操作に対応する入力情報や、操作者の情報や、操作者と異なる人物との対人関係の情報などに絞って説明するが、訓練データは、例えば、マンション30の居室の室内インターホンと操作盤43との間で交わされる音声データや、操作盤43のリーダで読み取られる電子キーのID情報を含んでもよい。音声に示される特徴量には、例えば声紋、発話内容などが含まれてもよく、発話内容には、例えば「ただいま」、「久しぶり」、「○○運輸です」、「○○商品のご紹介をさせて頂けますか?」などが含まれてもよい。このような他の訓練データを含む場合、訓練データの種類毎に脳の情報処理に近い変換方法として、CNN以外の深層学習、機械学習または統計処理といった手法を用いてもよい。例えば、音声に示される特徴量の抽出に適した自己組織化マップ(SOM)、時系列データの特徴量抽出に適したリカレントニューラルネットワーク(RNN)、およびRNNと同じような使い方ができるディープニューラルネットワーク(DNN)などの手法を用いてもよい。ただし、SOMを用いて音声を扱う場合は、SOM単体では時系列を扱うのが難しいので、別の手法と組み合わせる必要がある。また、RNNを用いて音声を扱う場合は、別途選んだ前処理と組み合わせて音声に示される特徴量を抽出することが可能である。DNNは、RNNと異なり、前処理自体を学習させることができる。
In this embodiment, the training data includes image data detected by the
推定部113は、上記の学習フローで取得したラベル付きの様々な画像に示される人の特徴量について教師あり学習を行った後は、エントランス扉41の外側の領域31にいる人物の様々な画像を、上記の入力情報、操作者情報および対人関係情報を伴わずに、すなわちラベル付きではない訓練データを取得し続け、画像に示される人の特徴量を自動的に取得していき、繰り返し、操作盤43の操作者と異なる人物との対人関係、当該対人関係と要求処理の要否との関係、および、エントランス扉41の外側の領域31にいる人物と優位的な処理の要否との関係の少なくとも何れかについて、教師なし学習を行う。推定部113はまた、管理装置100がマンション30に設置される前の事前学習と併せて、外側の領域31にいる人物の状況と上記の警戒処理の要否との関係について、教師なし学習を行う。推定部113は、警戒処理に関する教師なし学習の一例として、上記の学習フローにおける、操作者による操作盤43からの情報入力が無いことによってフローを終了した場合に、当該操作者に対して警戒処理が必要であると学習してもよい。推定部113はまた、上記の要求処理が実行され、上記の操作者による上記の異なる人物の確認結果に基づいて、操作者と異なる人物との対人関係と、特定の処理の要否との関係について、教師あり学習を行ってもよい。画像に示される人の特徴量には、例えば顔、表情、体型、動き、歩き方、ジェスチャ、服装、装飾品、メガネ、持ち物、視線などの特徴量が含まれる。
After the estimation unit 113 performs supervised learning on the feature amounts of the person shown in the various labeled images acquired in the above learning flow, the estimation unit 113 performs various images of the person in the
教師なし学習では、推定結果の適否について、任意のタイミングで、マンション30の住人や管理人などからのフィードバックが必要となる。例えば、推定部113は、検知部102で検知した外側の領域31にいる人物から特定の処理の要否を推定する度に、推定結果を、当該人物に関係して予め登録された通知先に送信し、通知先の人物が推定結果を確認し、推定結果が誤っている場合に推定失敗を示す情報を返信することによって、当該人物からのフィードバックを取得してもよい。また、よりいっそう住人の手間を省くべく、例えば管理装置100は推定結果に基づいて実際に警戒処理を実行し、警戒処理を実行する必要がなかったにも拘わらず警戒処理を誤って実行し、操作盤43や居室の室内インターホンや特定の通知先などから警戒処理を解除する入力を受けることでフィードバックを取得してもよい。
Unsupervised learning requires feedback from residents, managers, and the like of the
推定部113は、これらの学習結果に基づき、検知部102で検知した外側の領域31にいる人物から、特定の処理の要否を推定する。推定部113は、特定の処理の要否を推定するときも、上記の学習での手法と同じ手法を用いる。以降の学習と推定においても、同様とする。
Based on these learning results, the estimation unit 113 estimates the necessity of specific processing from the person in the
なお、推定部113が学習する上述の「関係」は、当技術分野において「学習モデル」とも呼ばれ、推定部113が、上記の操作盤43での解錠等の操作に対応する入力情報、操作者情報および対人関係情報と、特定の処理の要否を示す情報とから抽出した、これらのデータ間の規則性、パターンなどを含む。また、当該「関係」は、入力データとしての入力情報、操作者情報および対人関係情報と、出力データとしての特定の処理の要否を示す情報との対応関係であるとも言える。
The above-mentioned "relationship" learned by the estimating unit 113 is also called a "learning model" in the technical field, and the estimating unit 113 receives input information corresponding to operations such as unlocking on the
図4および図5は、第1実施形態による、学習結果に基づいて特定の処理を実行するまでの、一例としてのフロー図である。図4に示されるAおよびBはそれぞれ、図5に示されるAおよびBに続く。図4から図5に続くフローの説明は、一例として、図3を用いて説明した教師あり学習の期間が終了することにより開始する。 FIGS. 4 and 5 are flow charts as an example until specific processing is executed based on the learning result according to the first embodiment. A and B shown in FIG. 4 follow A and B shown in FIG. 5 respectively. The description of the flow continuing from FIG. 4 to FIG. 5 starts, as an example, when the period of supervised learning described using FIG. 3 ends.
推定部113は、検知部102でエントランス扉41の外側の領域31にいる人物を検知するまで、すなわち、外側の領域31にいる人物を示す画像データを検知部102から受信するまで待機し(ステップS201:NO)、当該画像データを受信した場合(ステップS201:YES)、上記の学習結果に基づいて、当該画像データに示される検知部102で検知した人物の状況が、特定の処理の一例である警戒処理が必要であるか否かを推定する(ステップS203)。
The estimating unit 113 waits until the detecting
推定部113は、検知部102で検知した人物の状況が、警戒処理が必要ないと推定した場合(ステップS203:NO)、検知部102で当該人物を検知してから予め定められた時間内に、操作盤43の操作ボタン、一例として解錠ボタンおよび呼び出しボタンの何れかが押されたか否かを、すなわち、通信ネットワーク50を介して、操作盤43から当該操作に対応する入力情報を受信したか否かを判定する(ステップS205)。
If the estimating unit 113 estimates that the situation of the person detected by the detecting
推定部113は、上記の時間内に上記の入力情報を受信していないと判断した場合(ステップS205:NO)、ステップS201に戻り、入力情報を受信したと判断した場合(ステップS205:YES)、通信ネットワーク50を介して、検知部102から随時に送信される画像データを受信し、推定部113は、入力情報と共に当該画像データを参照する(ステップS207)。
If the estimating unit 113 determines that the input information has not been received within the time period (step S205: NO), the process returns to step S201, and if it determines that the input information has been received (step S205: YES). , the image data transmitted from the
推定部113は、上記の学習結果に基づいて、参照した画像データに示される操作盤43の操作者が、特定の処理の一例である警戒処理が必要であるか否かを推定し(ステップS209)、警戒処理が必要ないと推定した場合(ステップS209:NO)、続けて、参照した画像データの画像内に複数人が映っているか否かを判定する(ステップS211)。推定部113は、画像内に複数人が映っていると判断した場合(ステップS211:YES)、続けて、例えば格納部117を参照することにより、操作盤43の操作者とは異なる人物が、エントランス扉41の内側の領域33への進入が予め許可されている人物として登録されているか否かを判定する(ステップS213)。
The estimating unit 113 estimates whether or not the operator of the
推定部113は、異なる人物が許可登録されていないと判断した場合(ステップS213:NO)、上記の学習結果に基づいて、操作者と異なる人物との対人関係を推定する。ここで、一例として、図1に示したエントランス扉41の外側の領域31の状況に基づいて、以下説明する。
If the estimation unit 113 determines that the different person is not permitted and registered (step S213: NO), the estimation unit 113 estimates the interpersonal relationship between the operator and the different person based on the above learning result. Here, as an example, the situation of the
推定部113は、操作者である第1人物61と、異なる人物の一人である第2人物63との対人関係として、第1人物61が第2人物63と共にエントランス扉41の内側の領域33へ進入することを意識している関係、すなわち、第2人物63は第1人物61の同伴者であると推定する。また、推定部113は、操作者である第1人物61と、異なる人物の他の一人である第3人物65との対人関係として、第1人物61が第3人物65と共にエントランス扉41の内側の領域33へ進入することを意識していない関係、すなわち第3人物65は第1人物61による解錠操作にあやかってエントランス扉41の内側の領域33へ進入しようとする共連れ者であると推定する。共連れ者は、一例として、エントランス扉41の内側の領域33への進入が予め許可されているマンション30の住人や住人の知人、進入が未だ許可されていないマンション30の住人、マンション30に入る正当な理由がある来訪者、および、マンション30に入る正当な理由がない不正侵入者などの少なくとも何れかを含む。
The estimation unit 113 determines that the interpersonal relationship between the
推定部113は、操作者と異なる人物との対人関係を推定した場合、上記の学習結果に基づいて、推定した対人関係と、特定の処理の一例である要求処理の要否との関係を推定する(ステップS215)。より具体的には、推定部113は、第2人物63が第1人物61の同伴者という関係に対して、要求処理は不要であると推定し、一方で、第3人物65が第1人物61の共連れ者という関係に対して、要求処理は必要であると推定した場合(ステップS215:YES)、要求処理を実行するための制御信号を処理部119に出力する。
When estimating the interpersonal relationship between the operator and a different person, the estimating unit 113 estimates the relationship between the estimated interpersonal relationship and the necessity of request processing, which is an example of specific processing, based on the above learning result. (step S215). More specifically, the estimating unit 113 estimates that the request processing is unnecessary for the relationship that the
処理部119は、推定部113から入力された上記の制御信号に基づき、要求処理の一例として、操作盤43のタッチパネルに、エントランス扉41の外側の領域31の画像を表示させ、操作盤43の操作者である第1人物61に対し、操作者と異なる人物の他の一人である第3人物65の確認をリアルタイムで要求する処理を実行すべく、通信ネットワーク50を介して通信部111から操作盤43に、当該処理に対応する制御信号を送信する(ステップS217)。
As an example of request processing, the processing unit 119 causes the touch panel of the
操作盤43は、処理部119から受信した制御信号に基づいて、タッチパネルに、エントランス扉41の外側の領域31の画像と、第3人物65がエントランス扉41の内側の領域33に一緒に進入することを許可するか否かの決定を要求するメッセージとを表示し、操作者である第1人物61からの入力を受け付けると、入力された情報を、通信ネットワーク50を介して、処理部119に送信する。
Based on the control signal received from the processing unit 119, the
処理部119は、操作盤43から入力情報を受信すると、入力情報に進入することの許可入力が示されているか否かを判定する(ステップS219)。推定部113は、許可入力が示されていると判断した場合(ステップS219:YES)、ステップS205で操作盤43から受信した入力情報に示される操作ボタン、例えば解錠ボタンまたは呼び出しボタンに応じた処理を実行すべく、通信ネットワーク50を介して通信部111からエントランス扉41または特定の居室の室内インターホンに、当該処理に対応する制御信号を送信し(ステップS221)、当該フローは終了する。
When receiving the input information from the
ステップS203において、推定部113は、上記の学習結果に基づいて、検知部102で検知した人物の状況が、警戒処理が必要であると推定した場合(ステップS203:YES)、警戒処理を実行するための制御信号を処理部119に出力し、処理部119は当該制御信号に基づいて、警戒処理を実行し(ステップS223)、当該フローは終了する。警戒処理が必要であると推定されるエントランス扉41の外側の領域31にいる人物の状況は、一例として、当該人物が外側の領域31で凶器やピッキング道具を所持していること、当該人物がマンション30にたびたび訪ねてきて住人に対し悪質なセールスを強要した履歴があること、当該人物がエントランス扉41の前で何度も周囲をキョロキョロすること、当該人物が外側の領域31にある複数のポストの名札や中身を確認すること、および、当該人物が外側の領域31における検知部102や操作盤43のカメラを布などで塞ぐこと、などの少なくとも何れかを含む。また、ここでの警戒処理の一例は、操作盤43から「ご用件は何でしょうか?」との音声を発声することであってもよい。この場合、管理装置100は、当該人物に対して、外側の領域31を常に監視していることを示すことができ、仮に人工知能による推定が誤っていて、当該人物がマンション30に入る正当な理由を有する訪問者であったとしても、警告メッセージを発声するわけではないので、当該訪問者を不快にさせることを回避できる。また、ここでの警戒処理の一例は、操作盤43から「あなたを悪質な訪問営業者と判断しました。直ちにお引き取り下さい。」との音声を発声することであってもよい。この場合、管理装置100は、当該人物が無作為にマンション30の住人を呼び出して、悪質で強制的な売りつけを行うなど、住人にとって不利益となる事態が生じることを事前に回避できる。
In step S203, when the estimating unit 113 estimates that the situation of the person detected by the detecting
ステップS209において、推定部113は、上記の学習結果に基づいて、参照した画像データに示される操作盤43の操作者が、警戒処理が必要であると推定した場合(ステップS209:YES)、警戒処理を実行するための制御信号を処理部119に出力し、処理部119は当該制御信号に基づいて、警戒処理を実行し(ステップS223)、当該フローは終了する。警戒処理が必要であると推定される操作者は、一例として、操作盤43から呼び出そうとしている居室の住人がストーカーとして警戒している人物、および、操作盤43で呼び出し操作を行ったが、操作盤43のカメラを布で塞いだり、操作盤43のカメラに写真をかざしたり、操作盤43のカメラに映らないように立ち位置を意図的にズラしていたり、操作盤43のカメラに顔が映らないように帽子を深く被っていたりしている人物、などの少なくとも何れかを含む。また、ここでの警戒処理の一例は、操作盤43から「あなたは訪問先の方から訪問を許可されておりません。お引き取り願います。」との音声を発声することであってもよい。この場合、管理装置100は、当該人物が呼び出し先の住人に接触することを完全に阻止できる。また、ここでの警戒処理の一例は、操作盤43から「あなたの顔を認識できないため、呼び出し先の居住者様にお繋ぎできません。」との音声を発声することであってもよい。この場合、管理装置100は、不本意に顔を隠してしまっていた人物に対して、操作のやり直しを促すことができる。
In step S209, when the estimating unit 113 estimates that the operator of the
ステップS219において、処理部119は、操作盤43から受信した入力情報に進入することの許可入力が示されていないと判断した場合(ステップS219:NO)、警戒処理を実行し(ステップS223)、当該フローは終了する。ここでの警戒処理の一例は、第3人物65に身分確認を要求するべく、マンション30の管理人室に問い合わせて管理人を呼び出す処理、および、警備会社や警察の人間に早急に駆けつけてもらうべく通報する処理、などの少なくとも何れかを含む。また、処理部119は当該入力情報を推定部113に出力し、推定部113は検知部102からの画像データと当該入力情報とを学習材料として、教師あり学習を行ってもよい。なお、第1人物61は、操作盤43に当該入力を行った後、例えばエントランス扉41以外の他の入口へと回って、マンション30の内部に入る対応を取ってもよい。
In step S219, when the processing unit 119 determines that the input information received from the
なお、ステップS219において、第1人物61が、第3人物65をエントランス扉41の内側の領域33に入れてはいけない人であるか否かの判断をできず、第3人物65が内側の領域33へ進入することを防ぐことよりも、自身が内側の領域33に進入することを優先する場合が想定される。そこで、処理部119は操作盤43に対して、第3人物65がエントランス扉41の内側の領域33に一緒に進入することを許可するか否かの選択肢だけでなく、判断ができないために開扉時間を短縮する選択肢がタッチパネルに表示されるような制御信号を送信してもよい。
In step S219, the
ステップS211において、推定部113は、参照した画像データの画像内に複数人が映っておらず、操作者である第1人物61のみが外側の領域31にいると判断した場合(ステップS211:NO)、ステップS211よりも前のステップで、学習結果に基づいて第1人物61が警戒処理も必要ない人物であると既に推定済なので、ステップS221に進む。また、ステップS213において、推定部113は、異なる人物が許可登録されていると判断した場合にも(ステップS213:YES)、同様にステップS221に進む。また、ステップS215において、推定部113は、学習結果に基づいて、エントランス扉41の外側の領域31にいる操作者と異なる人物との対人関係が、要求処理が必要ないと推定した場合も(ステップS215:NO)、同様にステップS221に進む。以上、図4から図5に続くフローは、管理装置100が動作している間は繰り返し実行される。
In step S211, when the estimating unit 113 determines that a plurality of persons are not shown in the image of the image data referred to and that only the
なお、ステップS217において、処理部119は、要求処理の一例として、操作盤43の操作者である第1人物61にリアルタイムで第3人物65の確認を要求する処理を実行するものとして説明したが、これに代えて、処理部119は、要求処理の一例として、操作盤43の操作者である第1人物61に事後的に第3人物65の確認を要求する処理を実行してもよい。より具体的には、処理部119は、一例としてステップS221の後に、操作盤43の操作者である第1人物61が予め登録してある通信先、例えば第1人物61が所有するスマホや第1人物61の居室の室内インターホンなどのディスプレイに、エントランス扉41の外側の領域31を撮像した画像を表示させ、第1人物61に第3人物65の確認を要求する処理を実行してもよい。この場合、ステップS219は省略する。
In step S217, as an example of the request processing, the processing unit 119 executes the processing of requesting the
なお、処理部119による要求処理の内容が、第1人物61に対して第3人物65の確認をリアルタイムで要求するものであるか事後的に要求するものであるかに拘わらず、推定部113は、操作者である第1人物61による、操作者と異なる人物である第3人物65の確認結果に基づいて、操作者と異なる人物との対人関係と、特定の処理である要求処理の要否との関係を学習してもよい。この場合、処理部119は、操作盤43または登録された通知先に対して、第3人物65が第1人物61と共にエントランス扉41の内側の領域33に進入することを許可するか否かの選択肢を提示するだけでなく、第1人物61と第3人物65との詳細な対人関係について、例えば、知り合いか否か、知り合いの場合には、身内、友人、マンション30の他の住人、マンション30の他の住人の関係者、および、業者などの何れであるか、の入力を要求してもよい。なお、処理部119が、操作盤43の操作者である第1人物61とは異なる人物である第3人物65の確認を事後的に要求する要求処理を実行する場合に、推定部113は、第1人物61ではなく、第3人物65がエントランス扉41の内側の領域33に進入して向かった先の居室の住人に対して第3人物65の確認を要求する要求処理を処理部119に実行させてもよい。
Regardless of whether the content of the request processing by the processing unit 119 is to request the
推定部113は、操作盤43または登録された通知先から当該入力情報を受信し、このような入力情報を学習材料として、より細かな教師あり学習を行ってもよい。推定部113は、例えば、要求処理のフィードバックとして取得した当該入力情報に、第1人物61と第3人物65とが知り合いであることが示されている場合、エントランス扉41の外側の領域31に第1人物61と第3人物65とが離れて立っていても要求処理は必要ないと学習してもよい。推定部113はまた、一例として、要求処理のフィードバックとして取得した当該入力情報に基づき、第3人物65の信頼度をランク付けしたランキング情報を第3人物65の画像データと共に格納部117に格納し、それ以降は同様にして、第3人物65が検知部102によって検知される度にランキング情報を更新し、ランキング情報に示される信頼度のランクに応じて第3人物65に必要とされる特定の処理の内容を変更してもよい。第3人物65の信頼度のランクは、一例として、第3人物65が第1人物61の身内または友人である場合、第3人物65が第1人物61によって認知されているマンション30の他の住人または他の住人の関係者である場合、第3人物65が第1人物61によって認知されている業者である場合、の順に低くなってもよい。
The estimating unit 113 may receive the input information from the
なお、ステップS219において、推定部113は、予め定められた時間内に操作盤43の操作者である第1人物61から何ら入力がなされないことを条件として、操作盤43での上記入力の受け付けを終了させ、ステップS201に戻ってもよい。この場合、当該時間が経過する前に、推定部113が、検知部102から随時送信されてくる画像データを参照することにより、第1人物61がエントランス扉41の外側の領域31から立ち去ったと判断したことを条件として、操作盤43での上記入力の受け付けを即座に終了させてもよい。
In step S219, the estimating unit 113 accepts the input on the
以上、第1実施形態の管理装置100によれば、マンション30に出入りしたことがある人物だけでなく、マンション30に初めて訪れる人物に対しても、特定の処理が必要であるか否かを推定して自動的に実行するので、人間による操作や判断の手間を減らすことができる。第1実施形態の管理装置100によれば、例えば、マンション30の住人やマンション30に入る正当な理由を有する来訪者がマンション30のエントランス扉41を解錠および開扉するときに、マンション30に入る正当な理由を有さない人物が一緒にマンション30内に侵入しようとしている場合には、上記の要求処理を自動的に実行することによって当該侵入を未然に防ぐことができる。また、第1実施形態の管理装置100によれば、例えば、マンション30にたびたび訪ねてきて住人に対し悪質なセールスを強要する業者や、マンション30の住人にストーカーを繰り返す人物や、マンション30のエントランス扉41の外側の領域31で不審な行動を取っている人物や、凶器やピッキング道具を所持しているなどの警戒すべき状態の人物などに対しては、上記の警戒処理を自動的に実行することによってマンション30のセキュリティを高めることができ、また、犯罪の防止や犯罪者の逮捕に貢献できる可能性がある。
As described above, according to the
第1実施形態では主に、建物における特定の領域への入口の一例として、マンション30のエントランスにおける外側の領域31と内側の領域33とを仕切るエントランス扉41を説明した。また、第1実施形態では主に、エントランス扉41の外側の領域31に設置された操作盤43での操作を、管理装置100の推定部113における学習や推定のトリガとして説明した。第1実施形態による管理装置100は、操作盤43と同様の機能を有する機器が設けられていることを前提として、エントランス扉41の他に、マンション30の共有部分であるゴミ捨て場の外扉、駐輪場の外扉、駐車場の外扉、各居室の扉、各居室の外門、各部屋の窓、および、各部屋の庭の門、などの少なくとも何れかに適用されてもよい。また、第1実施形態による管理装置100は、操作盤43と同様の機能を有する機器が設けられていることを前提として、マンション30以外の他の建物、例えば戸建住宅、アパート、商業施設、および、公共施設などにおける特定の領域への入口に適用されてもよい。第1実施形態による管理装置100は、対象とする建物が戸建住宅の場合、戸建住宅の外門、玄関扉、裏口、窓、庭の扉、および、駐車場の扉などの少なくとも何れかに適用されてもよい。
In the first embodiment, the
第1実施形態による管理装置100は、対象とする建物が商業施設であるオフィスビルの場合、オフィスビルのエレベータに適用されてもよい。例えば、オフィスビルの特定のフロアに位置する会社に訪れようとしている来訪者が当該オフィスビルのエレベータに乗り込んで当該フロアのボタンを押した状況を想定すると、検知部102がエレベータ内にいる当該来訪者を検知し、推定部113が、当該来訪者と、特定の処理の一例である会社への通知、当該フロアでのエレベータ前から会社までのガイド表示、および、当該フロアへの進入拒否などの少なくとも何れかの要否との関係の学習結果に基づき、検知した当該来訪者から特定の処理が必要であると推定し、処理部119が特定の処理を実行してもよい。なお、フロアへの進入拒否は、一例として、当該フロアのボタン操作の無効化、および、エレベータ内での警告メッセージの発声などの少なくとも何れかを含む。
The
図6は、第2実施形態による、学習結果に基づいて特定の処理を実行するまでの、一例としてのフロー図である。第2実施形態は、建物における特定の領域への入口の一例として、マンション30のエントランスにおける外側の領域31と内側の領域33とを仕切るエントランス扉41に管理装置100を適用する点において第1実施形態と同じである。ただし、第2実施形態は、検知部102によるエントランス扉41の外側の領域31にいる人物の検知を、管理装置100の推定部113における学習や推定のトリガとする点において第1実施形態と異なる。第2実施形態による管理装置100は、第1実施形態による管理装置100と同様の構成を備えるため、同じ構成要素には同じ参照番号を用い、重複する説明は省略する。図6のフローの説明は、一例として、図3を用いて説明した教師あり学習の期間が終了することにより開始する。
FIG. 6 is a flowchart as an example until specific processing is executed based on the learning result according to the second embodiment. The second embodiment is the first embodiment in that the
推定部113は、検知部102でエントランス扉41の外側の領域31にいる人物を検知するまで、すなわち、外側の領域31にいる人物を示す画像データを検知部102から受信するまで待機し(ステップS301:NO)、当該画像データを受信した場合(ステップS301:YES)、上記の学習結果に基づいて、当該画像データに示される検知部102で検知した人物の状況が、特定の処理の一例である警戒処理が必要であるか否かを推定する(ステップS303)。
The estimating unit 113 waits until the detecting
推定部113は、検知部102で検知した人物の状況が、警戒処理が必要ないと推定した場合(ステップS303:NO)、続けて、上記の学習結果に基づいて、検知部102で検知した人物が、特定の処理の一例である優位的な処理が必要であるか否かを推定する(ステップS305)。なお、第1実施形態のフロー図におけるステップS209と同様に、推定部113は、ステップS303とステップS305との間で、検知部102で検知した人物が、警戒処理が必要であるか否かを推定してもよい。
When the estimating unit 113 estimates that the situation of the person detected by the detecting
推定部113は、検知部102で検知した人物が、優位的な処理が必要ないと推定した場合(ステップS305:NO)、ステップS301に戻り、優位的な処理が必要であると推定した場合(ステップS305:YES)、優位的な処理を実行するための制御信号を処理部119に出力する。
If the estimating unit 113 estimates that the person detected by the detecting
処理部119は、推定部113から入力された上記の制御信号に基づき、優位的な処理の一例として、(A)エントランス扉41の解錠、(B)エントランス扉41の開扉、(C)エントランス扉41の警戒解除、並びに、(D)予め登録された通知先に対する、上記(A)の解錠、上記(B)の開扉および上記(C)の警戒解除の少なくとも何れかの遠隔操作を要求するための連絡、の少なくとも何れかを処理を実行すべく、通信ネットワーク50を介して通信部111からエントランス扉41または上記の通知先に、当該処理に対応する制御信号を送信し、または、上記の連絡をし(ステップS307)、当該フローは終了する。
Based on the control signal input from the estimation unit 113, the processing unit 119 performs, as an example of superior processing, (A) unlocking the
ステップS303において、推定部113は、上記の学習結果に基づいて、検知部102で検知した人物の状況が、警戒処理が必要であると推定した場合(ステップS303:YES)、警戒処理を実行するための制御信号を処理部119に出力し、処理部119は当該制御信号に基づいて、警戒処理を実行し(ステップS309)、当該フローは終了する。以上、図6のフローは、管理装置100が動作している間は繰り返し実行される。
In step S303, when the estimating unit 113 estimates that the situation of the person detected by the detecting
なお、当該フローにおいて、管理装置100は、上記の学習結果に基づいて、エントランス扉41の外側の領域31にいる人物が、警戒処理も優位的な処理も必要ないと推定した場合に、警戒処理も優位的な処理も実行しなくてもよい。この場合、当該人物は、操作盤43を操作することにより、第1実施形態と同様に管理装置100によって、当該操作に対応する処理を実行されてもよく、操作盤43において、電子キーによるID認証で解錠及び開扉をしたり、呼び出し操作で管理装置100を介さずに特定の居室の室内インターホンと通話したりしてもよい。
Note that in this flow, if the
以上、第2実施形態の管理装置100によれば、第1実施形態の管理装置100と同様の効果を奏する。また、第2実施形態の管理装置100によれば、例えば、マンション30の住人やマンション30に入る正当な理由を有する来訪者に対しては、上記の優位的な処理を自動的に実行することによって利便性を高めることができる。
As described above, according to the
なお、第2実施形態の管理装置100は、エントランス扉41の外側の領域31に複数人がいる場合にも単数人がいる場合にも適用される。すなわち、第2実施形態の管理装置100は、エントランス扉41の外側の領域31に複数人がいる場合には、外側の領域31にいる全ての人を対象として、図6のフローにおけるステップS303およびステップS305のそれぞれでの特定の処理の要否を推定し、外側の領域31にいる少なくとも1人が、それぞれの特定の処理が必要であると推定した場合には、他の人物に対する特定の処理が不要であるか否かに拘わらず、当該特定の処理を実行してもよい。
Note that the
より具体的には、第2実施形態の管理装置100は、ステップS303において、上記の学習結果に基づき、外側の領域31にいる少なくとも1人の状況が、警戒処理が必要であると推定した場合には警戒処理を実行し、外側の領域31にいる全ての人物の状況が、警戒処理が必要ないと推定した場合にはステップS305に進む。第2実施形態の管理装置100は、ステップS303において、上記の学習結果に基づき、外側の領域31にいる少なくとも1人が、優位的な処理が必要であると推定した場合には優位的な処理を実行し、外側の領域31にいる全ての人物が、優位的な処理が必要ないと推定した場合にはステップS301に戻る。
More specifically, when the
第2実施形態による管理装置100は、操作盤43が設けられているか否かに拘わらず、エントランス扉41の他に、マンション30の共有部分であるゴミ捨て場の外扉、駐輪場の外扉、駐車場の外扉、各居室の扉、各居室の外門、各部屋の窓、および、各部屋の庭の門、などの少なくとも何れかに適用されてもよく、マンション30以外の他の建物、例えば戸建住宅、アパート、商業施設、および、公共施設などにおける特定の領域への入口に適用されてもよい。対象とする建物が戸建住宅の場合、戸建住宅の外門、玄関扉、裏口、窓、庭の扉、および、駐車場の扉などの少なくとも何れかに適用されてもよい。例えば、戸建住宅で飼われているペットが迷子になっている状況を想定すると、検知部102が家の玄関先に戻ってきているペットを検知し、推定部113が、当該ペットと、特定の処理の一例である住人等への通知、玄関の開扉および餌出しなどの少なくとも何れかの要否との関係の学習結果に基づき、検知した当該ペットから特定の処理が必要であると推定し、処理部119が特定の処理を実行してもよい。
Regardless of whether or not the
第3実施形態による管理システムは、第1実施形態および第2実施形態の少なくとも何れかの管理装置100を複数備える。管理システムは、複数の管理装置100のうちの1つの管理装置100が設けられた建物を住居、勤務先および通学先の何れかとする人が、複数の管理装置100のうちの他の管理装置100が設けられた建物を住居、勤務先および通学先の何れかとして新たに利用する場合に、上記の1つの管理装置100の学習結果を、上記の他の管理装置100に共有させる。第3実施形態による管理システムによれば、一例として、1つの管理装置100が設けられた建物から、他の管理装置100が設けられた建物へと、特定の人物が引っ越しする場合に、1つの管理装置100から他の管理装置100へと学習結果を引き継げる。また、第3実施形態による管理システムによれば、一例として、1つの管理装置100が設けられた住居用の建物に住む人物が、他の管理装置100が設けられた商業用の建物を新たな勤務地とする場合に、1つの管理装置100から他の管理装置100へと学習結果を引き継げる。
A management system according to the third embodiment includes a plurality of
なお、第3実施形態による管理システムにおいて、特定の管理装置100が学習した動作情報を、例えば複数の管理装置100と通信可能なクラウド上にアップロードさせ、他の複数の管理装置100との間で共有させてもよい。動作情報とは、一例として、検知部102で検知された人物が、優位的な処理が必要であると推定するために学習した複数の条件に含まれる動作に関する情報や、警戒処理が必要であると推定するために学習した複数の条件に含まれる動作に関する情報や、要求処理が必要であると推定するために学習した複数の条件に含まれる動作に関する情報などである。一方で、特定の管理装置100が学習した特定の人物に関する個人情報は、他の複数の管理装置100との間で共有させず、当該人物が移転した先の建物の管理装置100に引き継がれてもよい。
Note that, in the management system according to the third embodiment, operation information learned by a
以上の第1実施形態から第3実施形態の何れにおいても、推定部113は、ある人物が、警戒処理が必要であると推定し難い行動を初めて取った場合に、当該人物に対して警戒処理が必要であると推定せずに、警戒処理が必要とされる可能性がある、すなわち当該人物はグレーであると一時的に学習してもよい。警戒処理が必要であると推定し難い行動は、例えば、マンション30のエントランス扉41の外側の領域31において自ら操作盤43を操作することなく操作盤43の操作者と共に内側の領域33へ進入することや、マンション30の住人が、当該住人の居室以外の居室を訪問したり当該住人の居室があるフロアと異なるフロアを歩いていたりすることや、深夜に大きな家具家電をマンション30の敷地内に持ち込んできたものの予め定められた時間内に当該家具家電を所持せずにマンション30から立ち去ることや、マンション30の住人以外の人物がマンション30のゴミ捨て場にゴミを捨てに行くことである。
In any of the first to third embodiments described above, the estimating unit 113, when a certain person takes an action that is difficult to estimate as requiring caution processing for the first time, performs caution processing on the person. It may temporarily learn that an alert process may be required, ie, the person is gray, without inferring that . An action for which it is difficult to assume that caution processing is necessary is, for example, entering the
この場合、推定部113は、グレーであると学習した人物が、予め定められた回数の閾値以上、上記と同じ行動または他の類似の行動を取った場合に、または、例えばマンション30の複数の住人や管理人に問い合わせても、エントランス扉41の内側の領域33に進入することを許可できる人物であることが確認できない場合に、当該人物に対して警戒処理が必要であると学習してもよい。推定部113は更に、例えば検知部102によって当該人物がエントランス扉41の外側の領域31で同様の行動を再び取ろうとしていることを検知された場合に、処理部119に警戒処理を実行させてもよい。
In this case, the estimating unit 113 determines if the person who has learned to be gray has taken the same action or other similar action more than a predetermined number of times, or, for example, if the person has If it is not possible to confirm that the person is permitted to enter the
一方で、推定部113は、グレーであると学習した人物が、優位的な処理が必要であると明確に判断できる行動、例えばマンション30の住人と共に手を繋いでエントランス扉41の内側の領域33に進入することを初めて行った場合に、または、例えばマンション30の複数の住人や管理人に問い合わせたら、エントランス扉41の内側の領域33に進入することを許可できる人物であることが確認できた場合に、または、予め定められた回数以上、優位的な処理が必要とされる可能性がある行動を取った場合に、当該人物に対して警戒処理が不要であると学習してもよい。推定部113は更に、例えば検知部102によって当該人物がエントランス扉41の外側の領域31で警戒処理が必要であると推定し難い行動を再び取ろうとしていることを検知された場合であっても、処理部119に警戒処理を実行させなくてもよい。
On the other hand, the estimating unit 113 determines that the person who has learned that the color is gray can clearly determine that a superior process is necessary, for example, holding hands with the residents of the
以上の第1実施形態から第3実施形態の何れにおいても、管理装置100の推定部113は、検知部102によって検知された人物が、警戒処理が必要であると推定した後に、当該人物が、建物における特定の領域への入口の内側に進入することを許可する人物として予め登録されているか否かを判断し、登録されている場合には、処理部119に対して警戒処理を実行させずに優位的な処理を実行させてもよく、登録されていない場合には、処理部119に対して警戒処理を実行させてもよい。また、これに代えて、推定部113は、検知部102によって検知された人物が、建物における特定の領域への入口の内側に進入することを許可する人物として予め登録されているか否かを最初に判断してもよく、登録されている場合には、警戒処理が必要であるか否かを推定せずに、処理部119に対して優位的な処理を実行させてもよく、登録されていない場合には、続けて警戒処理が必要であるか否かを推定してもよい。
In any of the first to third embodiments described above, the estimating unit 113 of the
以上の第1実施形態から第3実施形態の何れにおいても、警戒処理が必要な対象者として管理装置100に予め登録された人物は、例えば身分証明書をマンション30の管理人に提示することを条件として、マンション30のエントランス扉41の内側の領域33への進入を許可されてもよい。また、管理装置100は、警戒処理が必要な対象者から、徘徊老人や子供を除外してもよい。管理装置100が、警戒処理が必要な対象者から徘徊老人を除外するのは、例えば、徘徊老人がマンション30の住人であって、認知症などの登録がなされている場合である。
In any of the first to third embodiments described above, a person who is registered in advance in the
以上の第1実施形態から第3実施形態の何れにおいても、検知部102は、画像を撮像するカメラを含み、撮像した画像データに、エントランス扉41の外側の領域31にいる人物が被写体として映るか否かに拘わらず、撮像した画像データを随時に装置本体101に送信するものとして説明した。これに代えて、検知部102は、撮像した画像データに、エントランス扉41の外側の領域31にいる人物が被写体として映るか否かを判断し、人物が映っている画像データを検知した場合にのみ、撮像した画像データを装置本体101に送信してもよい。この場合に、検知部102は更に、エントランス扉41の外側の領域31に複数人がいるか否かを判断し、判断結果を画像データと共に装置本体101に送信してもよい。この場合、図5のフロー図のステップS211において、推定部113は、検知部102から、エントランス扉41の外側の領域31に複数人がいるか否かの判断結果を取得することで、画像に複数人が映っているか否かを判断してもよい。
In any of the first to third embodiments described above, the
以上の第1実施形態から第3実施形態の何れにおいても、推定部113は一定期間の教師あり学習の後に、教師なし学習を継続するものとして説明した。当該教師なし学習においては、教師あり学習期間に取得したラベル付きの訓練データの一例であるマンション30の住人などの画像を、随時更新していくことが好ましい。これにより、推定部113は、マンション30の住人などの容姿が歳を重ねるに連れて変化しても、同一人物であることを識別できる。
In any of the first to third embodiments described above, the estimating unit 113 has been described as continuing unsupervised learning after a certain period of supervised learning. In the unsupervised learning, it is preferable to update the images of the residents of the
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。 Various embodiments of the invention may be described with reference to flowchart illustrations and block diagrams, where blocks refer to (1) steps in a process in which operations are performed or (2) devices responsible for performing the operations. may represent a section of Certain steps and sections may be implemented by dedicated circuitry, programmable circuitry provided with computer readable instructions stored on a computer readable medium, and/or processor provided with computer readable instructions stored on a computer readable medium. you can Dedicated circuitry may include digital and/or analog hardware circuitry, and may include integrated circuits (ICs) and/or discrete circuitry. Programmable circuits include logic AND, logic OR, logic XOR, logic NAND, logic NOR, and other logic operations, memory elements such as flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), etc. and the like.
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。 Computer-readable media may include any tangible device capable of storing instructions to be executed by a suitable device, such that computer-readable media having instructions stored thereon may be designated in flowcharts or block diagrams. It will comprise an article of manufacture containing instructions that can be executed to create means for performing the operations described above. Examples of computer-readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically Erasable Programmable Read Only Memory (EEPROM), Static Random Access Memory (SRAM), Compact Disc Read Only Memory (CD-ROM), Digital Versatile Disc (DVD), Blu-ray (RTM) Disc, Memory Stick, Integration Circuit cards and the like may be included.
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。 The computer readable instructions may be assembler instructions, Instruction Set Architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or object oriented programming such as Smalltalk, JAVA, C++, etc. language, and any combination of one or more programming languages, including conventional procedural programming languages, such as the "C" programming language or similar programming languages. good.
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 Computer readable instructions may be transferred to a processor or programmable circuitry of a general purpose computer, special purpose computer, or other programmable data processing apparatus, either locally or over a wide area network (WAN), such as a local area network (LAN), the Internet, or the like. ) and may be executed to create means for performing the operations specified in the flowcharts or block diagrams. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.
図7は、本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ1200の例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の1又は複数の「部」として機能させ、又は当該オペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。このようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
FIG. 7 illustrates an
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、グラフィックコントローラ1216、及びディスプレイデバイス1218を含み、これらはホストコントローラ1210によって相互に接続される。コンピュータ1200はまた、通信インターフェース1222、ハードディスクドライブ1224、DVD-ROMドライブ1226、及びICカードドライブのような入出力ユニットを含み、これらは入出力コントローラ1220を介してホストコントローラ1210に接続される。コンピュータはまた、ROM1230及びキーボード1242のようなレガシの入出力ユニットを含み、これらは入出力チップ1240を介して入出力コントローラ1220に接続される。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、これにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又は当該グラフィックコントローラ1216自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示させる。
The
通信インターフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVD-ROMドライブ1226は、プログラム又はデータをDVD-ROM1201から読み取り、ハードディスクドライブ1224にRAM1214を介してプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230は、内部に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムが、DVD-ROM1201又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
A program is provided by a computer-readable storage medium such as a DVD-
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース1222に対し、通信処理を命令してよい。通信インターフェース1222は、CPU1212の制御の下、RAM1214、ハードディスクドライブ1224、DVD-ROM1201、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
For example, when communication is performed between the
また、CPU1212は、ハードディスクドライブ1224、DVD-ROMドライブ1226(DVD-ROM1201)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
In addition, the
様々なタイプのプログラム、データ、テーブル、及びデータベースのような、様々なタイプの情報が、情報処理されるべく、記録媒体に格納されてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリガ記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、これにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
Various types of information, such as various types of programs, data, tables, and databases, may be stored on the recording medium to be processed.
以上の説明によるプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、これにより、プログラムをコンピュータ1200にネットワークを介して提供する。
Programs or software modules according to the above description may be stored in a computer readable storage medium on or near
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。また、各構成要素は、名称が同一で、参照符号が異なる他の構成要素と同様の特徴を有してもよい。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It is obvious to those skilled in the art that various modifications and improvements can be made to the above embodiments. In addition, matters described with respect to a specific embodiment can be applied to other embodiments as long as they are not technically inconsistent. Also, each component may have features similar to other components with the same name but different reference numerals. It is clear from the description of the scope of claims that forms with such modifications or improvements can also be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as actions, procedures, steps, and stages in the devices, systems, programs, and methods shown in the claims, the specification, and the drawings is particularly "before", "before etc., and it should be noted that they can be implemented in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the specification, and the drawings, even if the description is made using "first," "next," etc. for the sake of convenience, it means that it is essential to carry out in this order. not a thing
30 マンション、31 外側の領域、33 内側の領域、41 エントランス扉、43 操作盤、50 通信ネットワーク、61 第1人物、63 第2人物、65 第3人物、100 管理装置、101 装置本体、102 検知部、111 通信部、113 推定部、117 格納部、119 処理部、1200 コンピュータ、1201 DVD-ROM、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インターフェース、1224 ハードディスクドライブ、1226 DVD-ROMドライブ、1230 ROM、1240 入出力チップ、1242 キーボード 30 condominium, 31 outside area, 33 inside area, 41 entrance door, 43 operation panel, 50 communication network, 61 first person, 63 second person, 65 third person, 100 management device, 101 device body, 102 detection Unit, 111 Communication Unit, 113 Estimation Unit, 117 Storage Unit, 119 Processing Unit, 1200 Computer, 1201 DVD-ROM, 1210 Host Controller, 1212 CPU, 1214 RAM, 1216 Graphic Controller, 1218 Display Device, 1220 Input/Output Controller, 1222 Communication interface, 1224 hard disk drive, 1226 DVD-ROM drive, 1230 ROM, 1240 input/output chip, 1242 keyboard
Claims (13)
建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、前記検知部で検知した前記入口の外側にいる人物から前記特定の処理の要否を推定する推定部と、
前記推定部によって前記特定の処理が必要であると推定された場合に前記特定の処理を実行する処理部と
を備え、
前記入口の外側にいる人物は、前記入口の解錠操作を行う操作者および前記操作者とは異なる人物を含み、前記推定部は、前記操作者と前記異なる人物との対人関係と、前記特定の処理の要否との関係を学習し、
前記特定の処理は、前記操作者による前記入口の解錠操作の入力を受け付けた場合に、前記操作者に対して前記異なる人物の確認を要求する要求処理を含む、
管理装置。 a detector that detects a person outside an entrance to a specific area of a building;
Based on the learning result of the relationship between the person outside the entrance to the specific area in the building and the necessity of the specific process, the person outside the entrance detected by the detection unit determines the necessity of the specific process. an estimating unit for estimating
a processing unit that executes the specific processing when the estimating unit estimates that the specific processing is necessary,
The person outside the entrance includes an operator who performs an unlocking operation of the entrance and a person different from the operator, and the estimating unit includes an interpersonal relationship between the operator and the different person and the identifying person. learning the relationship between whether or not to process
The specific process includes a request process of requesting the operator to confirm the different person when an input of an unlocking operation of the entrance by the operator is received.
management device.
請求項1に記載の管理装置。 The interpersonal relationship includes a relationship in which the operator is aware of entering the specific area with the different person, and a relationship in which the operator is not aware of entering the specific area.
The management device according to claim 1.
請求項1または2に記載の管理装置。 The processing unit further performs different processing depending on whether the different person is registered as a person who is previously permitted to enter the specific area.
The management device according to claim 1 or 2.
請求項1から3の何れか一項に記載の管理装置。 The processing unit further performs different processing depending on whether or not one or more persons whose residence, workplace, or school commute to the building has a history of bad behavior toward the different persons.
The management device according to any one of claims 1 to 3.
請求項1から4の何れか一項に記載の管理装置。 The estimating unit learns the relationship between the interpersonal relationship between the operator and the different person and whether or not the specific process is necessary, based on the confirmation result of the different person by the operator.
The management device according to any one of claims 1 to 4.
請求項1から5の何れか一項に記載の管理装置。 The specific processing includes caution processing of the entrance, and the estimation unit learns the relationship between the situation of a person outside the entrance and the necessity of the caution processing.
The management device according to any one of claims 1 to 5.
請求項6に記載の管理装置。 The warning process includes at least one of locking the entrance, closing the entrance, issuing a warning at the entrance, and reporting to a pre-registered notification destination.
The management device according to claim 6.
請求項6または7に記載の管理装置。 The estimating unit learns the situation of the person outside the entrance requiring the warning process from a record of the actions taken by the person registered as the target person requiring the warning process.
The management device according to claim 6 or 7.
請求項6から8の何れか一項に記載の管理装置。 The estimating unit determines, as the situation of the person outside the entrance, that one or more persons who live, work, or go to school in the building behave badly toward the person outside the entrance. learning that the alert process is necessary if there is a history of
The management device according to any one of claims 6 to 8.
請求項1から9の何れか一項に記載の管理装置。 The specific processing includes (A) unlocking of the entrance, (B) opening of the entrance, (C) release of warning of the entrance, and (D) unlocking of the notification destination registered in advance. communication for requesting remote control of at least one of opening the door and canceling the alarm, wherein the estimating unit detects a person outside the entrance and learning the relationship between the necessity of processing and
Management device according to any one of claims 1 to 9.
複数の前記管理装置のうちの1つの前記管理装置が設けられた前記建物を住居、勤務先および通学先の何れかとする人が、前記複数の管理装置のうちの他の前記管理装置が設けられた前記建物を住居、勤務先および通学先の何れかとして新たに利用する場合に、前記1つの管理装置の学習結果を前記他の管理装置に共有させる、
管理システム。 A management system comprising a plurality of management devices according to any one of claims 1 to 10,
A person who lives, works, or goes to school in the building in which one of the plurality of management devices is installed is provided with another management device out of the plurality of management devices. sharing the learning result of the one management device with the other management device when the building is newly used as a residence, place of work, or school,
management system.
建物における特定の領域への入口の外側にいる人物を検知する検知段階と、
建物における特定の領域への入口の外側にいる人物と特定の処理の要否との関係の学習結果に基づき、前記検知段階で検知した前記入口の外側にいる人物から前記特定の処理の要否を推定する推定段階と、
前記推定段階によって前記特定の処理が必要であると推定された場合に前記特定の処理を実行する処理段階と
を備え、
前記入口の外側にいる人物は、前記入口の解錠操作を行う操作者および前記操作者とは異なる人物を含み、前記推定段階は、前記操作者と前記異なる人物との対人関係と、前記特定の処理の要否との関係を学習することを含み、
前記特定の処理は、前記操作者による前記入口の解錠操作の入力を受け付けた場合に、前記操作者に対して前記異なる人物の確認を要求する要求処理を含む、
管理方法。 A computer-implemented management method comprising:
a detection step of detecting a person outside an entrance to a particular area of a building;
Based on the learning result of the relationship between the person outside the entrance to the specific area in the building and the necessity of the specific process, the person outside the entrance detected in the detection step determines the necessity of the specific process. an estimation step of estimating
a processing step of performing the specific processing when the estimating step deduces that the specific processing is necessary,
The person outside the entrance includes an operator who performs an unlocking operation of the entrance and a person different from the operator, and the estimating step includes interpersonal relationships between the operator and the different person, and the identifying person. including learning the relationship between whether or not to process
The specific process includes a request process of requesting the operator to confirm the different person when an input of an unlocking operation of the entrance by the operator is received.
Management method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150883A JP7174565B2 (en) | 2018-08-09 | 2018-08-09 | Management device, management system, management method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150883A JP7174565B2 (en) | 2018-08-09 | 2018-08-09 | Management device, management system, management method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020027372A JP2020027372A (en) | 2020-02-20 |
JP7174565B2 true JP7174565B2 (en) | 2022-11-17 |
Family
ID=69620104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018150883A Active JP7174565B2 (en) | 2018-08-09 | 2018-08-09 | Management device, management system, management method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7174565B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7479535B1 (en) | 2023-03-30 | 2024-05-08 | 電気興業株式会社 | Person detection system and person detection method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008102473A1 (en) | 2007-02-20 | 2008-08-28 | Kabushiki Kaisha Toshiba | Face authenticating device and face authenticating method |
JP2011081735A (en) | 2009-10-09 | 2011-04-21 | Sogo Keibi Hosho Co Ltd | Suspicious person monitoring device and suspicious person monitoring method |
JP2016177484A (en) | 2015-03-19 | 2016-10-06 | ソフトバンク株式会社 | Security system |
JP2017200083A (en) | 2016-04-28 | 2017-11-02 | 京セラドキュメントソリューションズ株式会社 | Monitor system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5326527B2 (en) * | 2008-11-28 | 2013-10-30 | 富士通株式会社 | Authentication apparatus and authentication method |
-
2018
- 2018-08-09 JP JP2018150883A patent/JP7174565B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008102473A1 (en) | 2007-02-20 | 2008-08-28 | Kabushiki Kaisha Toshiba | Face authenticating device and face authenticating method |
JP2011081735A (en) | 2009-10-09 | 2011-04-21 | Sogo Keibi Hosho Co Ltd | Suspicious person monitoring device and suspicious person monitoring method |
JP2016177484A (en) | 2015-03-19 | 2016-10-06 | ソフトバンク株式会社 | Security system |
JP2017200083A (en) | 2016-04-28 | 2017-11-02 | 京セラドキュメントソリューションズ株式会社 | Monitor system |
Also Published As
Publication number | Publication date |
---|---|
JP2020027372A (en) | 2020-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4198602B2 (en) | Operating method and system using video | |
JP6525229B1 (en) | Digital search security system, method and program | |
US11657666B2 (en) | Verified access to a monitored property | |
JP6905850B2 (en) | Image processing system, imaging device, learning model creation method, information processing device | |
JP5674406B2 (en) | Surveillance system, monitoring device, autonomous mobile body, monitoring method, and monitoring program using autonomous mobile body | |
JP5794599B1 (en) | Digital fine security system, method and program | |
KR20190096849A (en) | Building management robot and method for providing service using the same | |
KR101515214B1 (en) | Identification method using face recognition and entrance control system and method thereof using the identification method | |
Patel et al. | Iot based facial recognition door access control home security system | |
US20050222711A1 (en) | Robot and a robot control method | |
JP2019080271A (en) | Occupant monitoring system | |
JP7160597B2 (en) | Housing management device, housing management method and program | |
JP2007280083A (en) | Entrance/location management system | |
JP7174565B2 (en) | Management device, management system, management method and program | |
CN106611475B (en) | Method and system for adaptive building layout/performance optimization | |
JP2020129215A (en) | Risk determination program and system | |
Kiru et al. | Intelligent automatic door system based on supervised learning | |
JP2021197139A (en) | Building entry management system, computer-implemented method, program, and system | |
US8937551B2 (en) | Covert security alarm system | |
Karim et al. | An al-based security system using computer vision and nlp conversion system | |
JP6739115B1 (en) | Risk judgment program and system | |
US20220070415A1 (en) | Access control system | |
JP6739119B6 (en) | Risk determination program and system | |
Artem et al. | Structure and model of the smart house security system using machine learning methods | |
JP2006107308A (en) | Method, managing apparatus, and system for exit management, and information reader |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |