JP7285536B2 - Classifier generation device, target person estimation device and their programs, and target person estimation system - Google Patents
Classifier generation device, target person estimation device and their programs, and target person estimation system Download PDFInfo
- Publication number
- JP7285536B2 JP7285536B2 JP2018247439A JP2018247439A JP7285536B2 JP 7285536 B2 JP7285536 B2 JP 7285536B2 JP 2018247439 A JP2018247439 A JP 2018247439A JP 2018247439 A JP2018247439 A JP 2018247439A JP 7285536 B2 JP7285536 B2 JP 7285536B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- classifier
- information
- person
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
本発明は、対象者を分類するための分類器を任意の監視カメラシステムに配布することで対象者の位置を推定する分類器生成装置等に関する。 The present invention relates to a classifier generation device and the like for estimating a target person's position by distributing a classifier for classifying the target person to an arbitrary surveillance camera system.
ディープラーニング（深層学習）を利用して不審人物等を捜索する技術として、例えば特許文献１に示す技術が開示されている。特許文献１に示す技術は、情報処理装置が、特定対象となる人物の特徴を示す顔画像以外の特徴情報の入力を受け付ける、入力受付部と、特徴情報に含まれる人物の特徴毎に、当該特徴と、画像に写っている人物の特徴との一致度合を判定する、第１判定部と、人物の特徴毎の判定結果に基づいて、特徴情報と画像に写っている人物とが一致しているかどうかを判定する、第２判定部と、を備えるものである。
As a technique for searching for a suspicious person or the like using deep learning, for example, the technique disclosed in
しかしながら、特許文献１に示す技術は、顔画像以外の特徴情報に基づいて人物の一致を判断するものであるが、人物の一致及び非一致を判定する際に当該人物の画像と特徴情報とによる比較を行う必要がある。つまり、対象となる人物の画像情報が共有されることとなるため、個人情報が監視者等に筒抜けになってしまうという問題がある。特に、徘徊するお年寄りや家出人等を捜索するような場合には、できるだけ個人情報を秘匿した状態で対象者を捜査することが望まれる。
However, the technique disclosed in
本発明は、捜索する対象者の個人情報を秘匿した状態で当該対象者の位置を推定することができる分類器生成装置等を提供する。 The present invention provides a classifier generation device and the like that can estimate the position of a target person to be searched while keeping the personal information of the target person hidden.
本発明に係る分類器生成装置は、対象者を撮像する第１撮像手段と、第１撮像手段で撮像された撮像情報に基づいて、前記対象者ごとに当該対象者を特定する分類器を生成する分類器生成手段と、任意の場所に設置されている第２撮像手段に関連付けられた制御装置が利用可能となるように、前記分類器を送信する分類器送信手段を備えるものである。 A classifier generation apparatus according to the present invention generates a classifier for identifying a target person for each target person based on first image capturing means for capturing an image of the target person and image information captured by the first image capturing means. and a classifier transmitting means for transmitting the classifier so that a control device associated with the second imaging means installed at an arbitrary place can be used.
このように、本発明に係る分類器生成装置においては、対象者を撮像し、当該撮像された撮像情報に基づいて、前記対象者ごとに当該対象者を特定する分類器を生成し、任意の場所に設置されている第２撮像手段に関連付けられた制御装置が利用可能となるように、前記分類器を送信するため、対象者自身の個人情報が特定されるような画像などの情報を第３者に公開することなく分類器のみを配布することで、第２撮像手段に撮像される人物を特定することができるという効果を奏する。 As described above, in the classifier generating apparatus according to the present invention, an image of a subject is captured, and based on the captured image information, a classifier for specifying the subject is generated for each subject, and an arbitrary classifier is generated. In order to transmit the classifier so that the control device associated with the second imaging means installed in the place can be used, information such as an image that identifies the subject's own personal information is first sent. By distributing only the classifier without disclosing it to three parties, it is possible to specify the person imaged by the second imaging means.
本発明に係る対象者推定装置は、前記分類器生成装置で生成された前記分類器が前記制御装置で利用された結果を検出結果情報として受信する検出結果情報受信手段と、受信した前記検出結果情報に基づいて、前記対象者の位置を特定する位置特定手段と、特定した前記対象者の位置の結果を出力する出力制御手段とを備えるものである。 A target person estimation apparatus according to the present invention includes: detection result information receiving means for receiving, as detection result information, a result of using the classifier generated by the classifier generation device in the control device; and the received detection result. The apparatus comprises position specifying means for specifying the position of the subject based on the information, and output control means for outputting the result of the specified position of the subject.
このように、本発明に係る対象者推定装置においては、分類器生成装置で生成された分類器による検出結果情報を受信し、受信した検出結果情報に基づいて対象者の位置を特定し、特定した対象者の位置の結果を出力するため、任意の箇所に設置されている第２撮像手段で撮像された対象者の位置を容易に確認し、捜索することが可能になるという効果を奏する。 Thus, in the subject estimation apparatus according to the present invention, the detection result information obtained by the classifier generated by the classifier generation apparatus is received, and the position of the subject is specified based on the received detection result information. Since the result of the target person's position is output, it is possible to easily confirm the target person's position imaged by the second image pickup means installed at an arbitrary location and search.
本発明に係る対象者推定装置は、前記対象者の移動速度に基づいて、当該対象者が存在する範囲を特定する範囲特定手段を備えるものである。 A target person estimation device according to the present invention comprises range specifying means for specifying a range in which the target person exists based on the moving speed of the target person.
このように、本発明に係る対象者推定装置においては、対象者の移動速度に基づいて、当該対象者が存在する範囲を特定するため、捜索範囲を絞って捜索作業を簡素化することができるという効果を奏する。 As described above, in the target person estimation device according to the present invention, since the range in which the target person exists is specified based on the moving speed of the target person, the search range can be narrowed down to simplify the search work. It has the effect of
本発明に係る対象者推定装置は、前記出力制御手段が、任意の場所に設置されている前記第２撮像手段の場所、又は当該第２撮像手段の撮像情報から推定される前記対象者の場所をマップ上で表示すると共に、当該各第２撮像手段に関連付けられた前記制御装置が前記分類器で分類した前記検出結果情報を前記第２撮像手段の場所、又は推定される前記対象者の場所と対応付けて表示するものである。 In the subject estimating device according to the present invention, the output control means may be the location of the second imaging means installed at an arbitrary location, or the location of the subject estimated from the imaging information of the second imaging means. is displayed on a map, and the detection result information classified by the classifier by the control device associated with each second imaging means is displayed as the location of the second imaging means or the estimated location of the subject are displayed in association with
このように、本発明に係る対象者推定装置においては、出力制御手段が、任意の場所に設置されている第２撮像手段の場所、又は当該第２撮像手段の撮像情報から推定される前記対象者の場所をマップ上で表示すると共に、当該各第２撮像手段に関連付けられた制御装置が分類器で分類した検出結果情報を第２撮像手段の場所、又は推定される前記対象者の場所と対応付けて表示するため、マップ上でどの第２撮像手段がどのような撮像対象を撮像したかを瞬時に確認して、対象者らしい人物の有無を確認することができるという効果を奏する。 As described above, in the target person estimation device according to the present invention, the output control means detects the location of the second imaging means installed at an arbitrary location, or the target estimated from the imaging information of the second imaging means. The location of the person is displayed on a map, and the detection result information classified by the classifier by the control device associated with each second imaging means is displayed as the location of the second imaging means or the estimated location of the subject. Since the images are displayed in association with each other, it is possible to instantaneously confirm which second imaging means has imaged what kind of object on the map, and to confirm whether or not there is a person who seems to be the object.
本発明に係る対象者推定装置は、前記出力制御手段が、前記検出結果情報が、前記第２撮像手段で撮像された人物が前記対象者である可能性を示す割合で演算され、当該割合が所定の値以上である場合に他の結果情報と異なる態様で表示するものである。 In the target person estimation device according to the present invention, the output control means calculates the detection result information by a ratio indicating the possibility that the person imaged by the second imaging means is the target person, and the ratio is When it is equal to or greater than a predetermined value, it is displayed in a manner different from other result information.
このように、本発明に係る対象者推定装置においては、出力制御手段が、結果情報を第２撮像手段で撮像された人物が対象者である可能性を示す割合で演算され、当該割合が所定の値以上である場合に他の結果情報と異なる態様で表示するため、対象者らしい人物の位置情報をマップ上で容易に視認することが可能になるという効果を奏する。 As described above, in the target person estimation device according to the present invention, the output control means calculates the result information at a ratio indicating the possibility that the person imaged by the second image pickup means is the target person, and the ratio is a predetermined value. is greater than or equal to the value of , it is displayed in a manner different from that of other result information, so there is an effect that the position information of a person who seems to be the target person can be easily visually recognized on the map.
以下、本発明の実施の形態を説明する。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。 Embodiments of the present invention will be described below. Also, the same reference numerals are given to the same elements throughout the present embodiment.
（本発明の第１の実施形態）
本実施形態に係る分類器生成装置及び対象者推定装置を含む対象者推定システムについて、図１ないし図１２を用いて説明する。本実施形態に係る対象者推定システムは、例えば徘徊者を介護者が捜索するような場合に、徘徊者の個人情報を公開することなく任意の場所に設置されている監視カメラ等で徘徊者らしい人物を特定することで、プライバシーを確保しつつ徘徊者を効率よく捜索することが可能となる。以下の実施形態においては、介護施設における徘徊者の捜索を具体例として挙げ、徘徊者等の捜索される人を捜索対象者、介護者等の捜索する人を捜索者とする。なお、徘徊者の捜索以外にも、家出人、誘拐、行方不明者、人探し（身近な人や犯罪者なども含む）等で本技術を適用することが可能である。
(First embodiment of the present invention)
A target person estimation system including a classifier generation device and a target person estimation device according to the present embodiment will be described with reference to FIGS. 1 to 12. FIG. For example, when a caregiver searches for a wanderer, the target person estimation system according to the present embodiment uses a surveillance camera or the like installed at an arbitrary location without disclosing the personal information of the wanderer. By identifying a person, it becomes possible to efficiently search for a wanderer while ensuring privacy. In the following embodiments, searching for a wanderer in a care facility is taken as a specific example, and a person to be searched, such as a wanderer, is defined as a search target, and a caregiver, etc., is defined as a searcher. In addition to searching for wanderers, this technology can also be applied to runaways, kidnappings, missing persons, searching for people (including familiar people and criminals), and the like.
図１は、本実施形態に係る対象者推定システムのシステム概要を示す図である。対象者推定システム１は、捜索対象者２が普段居住している介護施設に設置される分類器生成システム１０と、街中のコンビニエンスストア、スーパー、道路の電柱などに設置される監視カメラシステム２０と、監視カメラシステム２０から得られた情報を解析して捜索者に提示する管理装置３０と取得したデータ等を記憶するためのクラウドサーバ１００とを備える。
FIG. 1 is a diagram showing a system overview of a subject estimation system according to this embodiment. The target
分類器生成システム１０は、例えば介護施設などの玄関付近に設置されており、建物から退出する人物（捜索対象者２）の静止画像や動画像を随時撮像する第１カメラ１１と、当該第１カメラ１１で撮像された撮像データに基づいて捜索対象者２を分類するための分類器を生成する分類器生成装置１２とを備える。分類器生成装置１２で生成される分類器はディープラーニングにより作成され、特定の人物を検知し、その検知した人を分類（クラス分け）する処理部であり、捜索対象者２の特徴（例えば、退出時の髪型、服装、外形、顔等）に応じた重み情報が生成される。生成された分類器の重み情報は、クラウドサーバ１００にアップロードされて記憶される。分類器生成装置１２の構成及び処理については、詳細を後述する。
The
監視カメラシステム２０は、既に一般的に普及している監視カメラシステム２０をベースにして本実施形態に適用させることができる。監視カメラシステム２０は、例えばコンビニエンスストアなどに設置されており、店内や出入口を常に監視して動画像を撮像する第２カメラ２１と、当該第２カメラ２１で撮像された撮像データを保存したり再生したりする監視制御装置２２とを備える。一般的に１台の監視制御装置２２で複数台の第２カメラ２１の撮像情報が管理されている。例えば、店内に設置された複数の第２カメラ２１を同じ店内に設置された１台の監視制御装置２２で管理したり、図１に示すように、複数の電柱に設置されている第２カメラ２１の撮像情報等を監視センターのような場所で一括して管理するような運用もある。
The
本実施形態においては、監視制御装置２２が、分類器生成装置１２で生成された分類器の重み情報をクラウドサーバ１００からダウンロードし、当該ダウンロードした重み情報を用いた分類器で第２カメラ２１にて撮像される人物が捜索対象者２であるかどうかの解析がなされる。分類器生成装置１２で生成された分類器の重み情報は、捜索対象者２の特徴を重み付けした情報であり、個人を特定するような情報は含まれない。すなわち、捜索対象者２の個人情報が不特定多数の人に公開されることなく捜索対象者２であるかどうかの解析が行われる。解析された結果はクラウドサーバ１００にアップロードされて記憶される。監視制御装置２２の構成及び処理については、詳細を後述する。
In this embodiment, the
管理装置３０は、捜索者が捜索対象者２の位置を確認する場合や、システム管理をする場合に使用される。管理装置３０は、監視制御装置２２で検出及び分類された検出結果情報をクラウドサーバ１００からダウンロードし、捜索対象者２の位置を特定して出力する。検出結果情報には、第２カメラ２１に撮像された人物が捜索対象者２らしい情報が含まれており、例えばその人物が捜索対象者２である確率等が含まれる。捜索対象者２である確率が高い場合（例えば、予め設定された閾値よりも高い確率である場合）は、その人物が撮像された第２カメラ２１の位置情報、又は当該第２カメラ２１の設置向きと撮影された撮像情報とから捜索対象者２の位置を特定することが可能となる。位置が特定されると、マップ上のその位置に捜索対象者２らしい人物が撮像された旨の情報が表示される。捜索者は、マップ上に表示された情報と、実際に第２カメラ２１で撮像された撮像情報とから、第２カメラ２１で撮像された人物が捜索対象者２であるかどうかを判断することが可能となる。
The
このとき、捜索対象者２の移動速度を考慮して、捜索対象者２が存在する範囲を演算して特定することも可能である。例えば、徒歩で外出している場合、自転車で外出している場合、自動車で外出している場合、普段から電車等の公共交通機関を頻繁に利用している場合等の捜索対象者２の特徴を考慮することで、捜索対象者２が存在する最大範囲を外出から経過した時間で推定し、その範囲内に設置されている第２カメラ２１の撮像情報から捜索対象者２をメインに捜索することが可能となる。また、捜索対象者２のある時刻の位置が特定または高い確率で確からしい場合、次の時刻における捜索対象者２が存在する最大範囲を、前記ある時刻から前記次の時刻までに経過した時間と捜索対象者２の移動速度から、捜索対象者２が存在する最大範囲を逐次的に推定することが可能となる。管理装置３０の構成及び処理については、詳細を後述する。
At this time, it is also possible to calculate and specify the range in which the
なお、管理装置３０は、捜索対象者２の位置を確認する機能とシステム全体を管理する管理機能との両方を備える構成であってもよいし、それぞれの機能を別々の管理装置で行うようにしてもよい。また、第２カメラ２１に撮像された人物の情報は、捜索対象者２である確率が高い場合にのみ確率情報と共に管理装置３０に送信してもよいし、撮像される全ての人物について管理装置３０に送信されてもよい。さらに、捜索対象者２の位置の特定は、第２カメラ２１の位置情報から管理装置３０側で演算により求めてもよいし、第２カメラ２１を制御する監視制御装置２２側で演算した位置情報を管理装置３０に送信するようにしてもよい。さらに、捜索対象者２の位置を特定する演算は、前記管理装置３０により推定された捜索対象者２が存在する最大範囲に存在する第２カメラ２１に限定しても良い。
The
図２は、本実施形態に係る対象者推定システムのハードウェア構成を示すブロック図である。対象者推定システム１は、後に捜索対象者２となり得る人物を撮像する第１カメラ１１と、第１カメラ１１で撮像された撮像情報に基づいて被撮像者を検知及び分類することができる分類器を生成する分類器生成装置１２と、街中などの任意の場所に設置されている監視カメラとしての第２カメラ２１と、第２カメラ２１で撮像された情報の管理や第２カメラ２１の駆動を制御すると共に、分類器生成装置１２で生成された分類器を受け取って前記被撮像者を捜索対象者２として検知及び分類する処理を行う監視制御装置２２と、監視制御装置２２で検知及び分類した情報を受信して捜索対象者２が居る位置を特定すると共に、その情報をディスプレイ３１などに表示する管理装置３０とを備える。また、第カメラ１１や第２カメラ２１で撮像した撮像情報、分類器生成装置１２で生成された分類器の重み情報、及び／又は監視制御装置２２の解析結果等を格納するデータサーバを有するクラウドサーバ１００が備えられている。
FIG. 2 is a block diagram showing the hardware configuration of the subject estimation system according to this embodiment. The target
なお、クラウドサーバ１００は、対象者推定システムの一部としてシステム内に備える構成としてもよいし、対象者推定システムには含まれない外部サーバとして存在してもよい。
Note that the
図３は、分類器生成装置１２、監視制御装置２２及び管理装置３０等のコンピュータのハードウェア構成図である。各装置のコンピュータは、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、ハードディスク（ＨＤとする）４４、通信Ｉ／Ｆ４５及び入出力Ｉ／Ｆ４６を備える。ＲＯＭ４３やＨＤ４４には、オペレーティングシステムや各種プログラムが格納されており、必要に応じてＲＡＭ４２に読み出され、ＣＰＵ４１により各プログラムが実行される。通信Ｉ／Ｆ４５は、装置間や各種デバイスとの通信を行うためのインタフェースである。入出力Ｉ／Ｆ４６は、第１カメラ１１や第２カメラ２１等のカメラ機器、タッチパネル、キーボード、マウス等の入力デバイスからの入力を受け付けたり、ディスプレイ３１に情報を出力するためのインタフェースである。なお、上記ハードウェアの構成はあくまで一例であり、必要に応じて変更可能である。
FIG. 3 is a hardware configuration diagram of computers such as the
図４は、本実施形態に係る対象者推定システムの処理を示すフローチャートである。まず、後に捜索対象者２となり得る被撮像者が在住している施設等の出入口付近に設置された第１カメラ１１にて、退出する被撮像者を複数の角度から撮像する（Ｓ１）。分類器生成装置１２は、第１カメラ１１にて撮像された撮像情報に含まれる当該被撮像者の特徴（例えば、退出時の服装、髪型等）に基づいて、当該被撮像者を検知及び分類することが可能な分類器の重み情報を生成する（Ｓ２）。被撮像者の行方が不明となり捜索対象者２として捜索することになると、捜索対象者２に対応する分類器の重み情報が各地に設置されている監視カメラシステム２０の監視制御装置２２に配信される（Ｓ３）。
FIG. 4 is a flow chart showing processing of the target person estimation system according to the present embodiment. First, the
分類器の重み情報を受信した監視制御装置２２は、当該監視制御装置２２に対応付けられている第２カメラ２１で撮像された人物を分類器にかけて、当該人物が捜索対象者２であるかどうかの解析を行う（Ｓ４）。解析結果をクラウドサーバ１００に送信する（Ｓ５）。クラウドサーバ１００から解析結果を受信した管理装置３０は、捜索対象者２の移動速度等を考慮した推定処理を行い（Ｓ６）、捜索対象者２が撮像された確率と共に、その位置をマップ上に表示する（Ｓ７）。該当する捜索対象者２が見つかるまでＳ４～Ｓ７の処理が繰り返して行われる。
The
次に、各装置の構成及び処理について詳細に説明する。図５は、本実施形態に係る分類器生成装置の機能ブロック図である。分類器生成装置１２は、第１カメラ１１が複数の方向から被撮像者を撮像した撮像情報を入力する撮像情報入力部１２１と、入力された撮像情報を格納しておく撮像情報記憶部１２２と、撮像情報に基づいて被撮像者を特定する分類器を生成するための教師データを作成する教師データ作成部１２３と、教師データを使ってディープラーニングを行って分類器の重み情報を生成する分類器生成部１２４と、生成された分類器の重み情報を格納しておく重み情報記憶部１２５と、生成された分類器の重み情報をクラウドサーバ１００にアップロードするデータ送信部１２６とを備える。このときクラウドサーバ１００にアップロードされる情報は分類器の重み情報であるため、被撮像者の個人情報が第３者に渡ることはなく、秘匿性を担保することが可能となる。
Next, the configuration and processing of each device will be described in detail. FIG. 5 is a functional block diagram of the classifier generation device according to this embodiment. The
第１カメラ１１は、被撮像者の特徴データをより正確に取得するために複数の角度から被撮像者を撮像できるように配置されている。撮像場所は被撮像者が居住する建物から退出する際の玄関口などが好ましい。また、撮像処理は動画像により常時行ってもよいし、人が通過する際に反応するセンサに応じて、被撮像者の通過時のみ静止画像又は動画像にて撮像されるようにしてもよい。
The
教師データ作成部１２３は、第１カメラ１１で撮像された被撮像者の撮像情報（ここでは、動画像とする）からフレームごとに切り出し、当該フレーム内に人物が撮像されていれば人物の領域のみを切り出して教師データを作成する。分類器生成部１２４は、作成された教師データからディープラーニングを用いて分類器を生成する。データ送信部１２６は、生成された分類器の重み情報をクラウドサーバ１００にアップロードする。
The teacher
なお、図５に示すように撮像情報入力１２１が入力した撮像情報は、撮像情報記憶部１２２に記憶される。この撮像情報は、第１カメラ１１が撮像した生データであり、被撮像者の顔など個人を特定する情報が多く含まれているため、分類器生成装置１２内で管理されることが望ましい。また、容量に応じて古い撮像情報から順次削除し、最新の撮像情報を常時記憶するようにしてもよい。また、重み情報記憶部１２５は、必ずしも構成として備える必要はないが、念のためのバックアップデータとして重み情報記憶部１２５に重み情報を格納しておくことが望ましい。
Note that the imaging information input by the
図６は、本実施形態に係る分類器生成装置の処理を示すフローチャートである。まず、撮像情報入力部１２１が第１カメラ１１で撮像された撮像情報の入力を受け付ける（Ｓ１）。教師データ作成部１２２が撮像情報から人物を切り出し、教師データを作成する（Ｓ２）。分類器生成部１２４が、ディープラーニングを用いて分類器を生成する（Ｓ３）。データ送信部１２６が、生成された分類器の重み情報をクラウドサーバ１００にアップロードして（Ｓ４）、分類器の生成処理を終了する。なお、分類器の生成処理において教師データに対する正解ラベルを与えるようにしてもよく、例えばスタッフによる入力作業、被撮像者の名札等に記載された識別情報（例えば、バーコードやＱＲコード（登録商標））の読み込み、顔認識等を用いるようにしてもよい。
FIG. 6 is a flow chart showing the processing of the classifier generation device according to this embodiment. First, the imaging
図７は、本実施形態に係る監視制御装置の機能ブロック図である。監視制御装置２２は、クラウドサーバ１００にアップロードされた分類器に対応する被撮像者が行方不明になったり捜索対象者２となった場合に、その対応する分類器の重み情報を取得する重み情報取得部２２１と、第２カメラ２１が撮像した撮像情報を入力する撮像情報入力部２２２と、入力された撮像情報に対して画像の前処理を行う画像処理部２２３と、画像処理部２２３が処理した画像を、重み情報取得部２２１が取得した重み情報に基づいて作成された分類器にかけて、捜索対象者２を検知及び分類する分類処理部２２４と、分類処理の結果をクラウドサーバ１００にアップロードするデータ送信部２２５とを備える。
FIG. 7 is a functional block diagram of the monitoring control device according to this embodiment. The
重み情報取得部２２１は、クラウドサーバ１００からの分類器取得指示に応じて重み情報を取得する。例えば、クラウドサーバ１００から双方向通信を用いてクラウドサーバ１００上の分類器のダウンロードリンクを受信し、受信したダウンロードリンクに対してリクエストを行い、分類器をダウンロードする。ダウンロードされた情報は、分類器の重み情報であり個人情報は含まれていない。したがって、捜索対象者２の個人を特定するような個人情報が第３者に漏洩することはない。なお、分類器の取得方法は上記の方法に限らず、クラウドサーバ１００から対応する重み情報を受信することができる方法であれば何でもよい。
The weight
画像処理部２２３は、第２カメラ２１で撮像された撮像情報（ここでは、動画像とする）からフレームごとに切り出し、当該フレーム内に人物が撮像されていれば人物の領域のみを切り出す処理を行う。そして、分類処理部２２４において、画像処理部２２３にて画像処理された画像データに対し、重み情報取得部２２１で取得された重み情報に基づいて作成された分類器により画像を分類し、撮像された人物が捜索対象者２であるかの分類を行う。データ送信部２２５は、分類された結果をクラウドサーバ１００にアップロードする。
The
図８は、本実施形態に係る監視制御装置の処理を示すフローチャートである。まず、重み情報取得部２２１が、クラウドサーバ１００から分類器の重み情報の取得指示を受信する（Ｓ１）。受信した取得指示にしたがってクラウドサーバ１００から重み情報を取得する（Ｓ２）。撮像情報入力部２２２が、第２カメラ２１で撮像された撮像情報の入力を受け付ける（Ｓ３）。画像処理部２２３が、撮像情報の中から人物を切り出す（Ｓ４）。分類処理部２２４が、Ｓ４で切り出した画像の人物について分類器を使った分類処理を行う（Ｓ５）。ここで言う分類処理は、クラウドサーバ１００から取得した重み情報に基づいて作成された分類器により、Ｓ４で切り出した画像の人物が捜索対象者２であるかを分類し、その一致度を算出する。データ送信部２２５が、分類結果をクラウドサーバ１００にアップロードし（Ｓ６）、捜索対象者２が捜索されるまでＳ３～Ｓ６の処理が繰り返して行われる。
FIG. 8 is a flowchart showing processing of the monitoring control device according to this embodiment. First, the weight
なお、Ｓ５の分類処理において、クラウドサーバ１００から取得した重み情報に基づいて作成された分類器により、Ｓ４で切り出した画像の人物が捜索対象者２である確率を求めて分類結果としてもよい。また、第２カメラ２１が設置されている位置の情報、又は当該第２カメラ２１の設置向きと撮影された撮像情報とに基づいて推定される捜索対象者２の位置の情報を併せてクラウドサーバ１００にアップロードしてもよい。さらに、第２カメラ２１に人物が撮像された時間とその時の移動状態（例えば、徒歩、小走り、自転車等）とに応じた現在のリアルタイムな捜索対象者２の存在する最大範囲を演算し、分類結果と共にクラウドサーバ１００にアップロードしてもよい。
In the classification process of S5, the probability that the person in the image cut out in S4 is the
図９は、本実施形態に係る管理装置の機能ブロック図である。管理装置３０は、クラウドサーバ１００にアップロードされた分類結果を取得する分類結果取得部３０１と、捜索対象者２の退出時間及び移動速度に基づいて、又は取得した分類結果に基づいて当該捜索対象者２が存在する範囲を推定して演算する対象範囲特定部３０２と、分類結果の情報及び捜索対象者２の存在する最大範囲に基づいて、捜索対象者２が存在する確率がわかるマップを生成するマップ生成部３０３と、生成されたマップをディスプレイ３１に表示する表示制御部３０４とを備える。
FIG. 9 is a functional block diagram of the management device according to this embodiment. The
なお、対象範囲特定部３０２は、捜索対象者２が居住する建物から退出した時間と移動速度から推定される最大範囲を求めてもよいし、いずれかの分類結果情報に含まれる捜索対象者２が第２カメラ２１に撮像された確率、時間及び移動速度、並びに第２カメラ２１が設置されている位置に基づいて、現在捜索対象者２が存在し得る範囲を推定して求めるようにしてもよい。
Note that the target
図１０は、本実施形態に係る管理装置の処理を示すフローチャートである。まず、分類結果取得部３０１が、クラウドサーバ１００から分類結果情報の取得指示を受信する（Ｓ１）。受信した取得指示にしたがってクラウドサーバ１００から分類結果情報を取得する（Ｓ２）。対象範囲特定部３０２が、捜索対象者２の存在する最大範囲を推定する（Ｓ３）。マップ生成部３０３が、取得した分類結果情報及び推定した最大範囲に基づいて、マップを生成する（Ｓ４）。表示制御部３０４が、ディスプレイ３１に生成したマップを表示する（Ｓ５）。捜索対象者２が見つかるまでＳ１～Ｓ５の処理が繰り返して行われる。
FIG. 10 is a flowchart showing processing of the management device according to this embodiment. First, the classification
ここで、マップ生成処理を一例を示して詳細に説明する。図１１は、分類結果情報を取得してマップ表示するまでの具体的な処理の一例を示すフローチャート、図１２は、表示されたマップの一例を示す図である。まず、捜索対象者２が外出した時間から、対象となる分類結果情報を抽出する（Ｓ１）。つまり、捜索対象者２が外出する前の分類結果情報は参考にならないため、捜索対象者２の退出時間から現在時刻までの間の分類結果情報のみを処理対象とする。抽出された分類結果情報に含まれる第２カメラ２１を個別に識別するためのカメラＩＤと、予め登録されている第２カメラ２１のカメラＩＤ及び位置情報（例えば、緯度及び経度の情報）が記憶された第２カメラ情報とを紐づける（Ｓ２）。分類結果情報に含まれるカメラＩＤの位置情報を第２カメラ情報から取得し、マップ上にマーカを立てる（Ｓ３）。分類結果情報に含まれる一致度を演算し、一致度が所定の値以上である場合にマーカを強調表示に設定する（Ｓ４）。分類結果情報に対応する第２カメラ２１の位置情報と、対象範囲特定部３０２が推定した最大範囲とに基づいて、第２カメラ２１が最大範囲内であれば、捜索対象者２の居住地から当該第２カメラ２１の位置までマップ上に線を引く（Ｓ５）。生成されたマップを表示する（Ｓ６）。なお、マーカを立てる位置は、第２カメラ２１の設置位置に限定されず、例えば第２カメラ２１の設置向きと撮像された情報とに基づいて推定される捜索対象者の位置であってもよい。
Here, an example of map generation processing will be described in detail. FIG. 11 is a flowchart showing an example of specific processing from acquisition of classification result information to map display, and FIG. 12 is a diagram showing an example of the displayed map. First, target classification result information is extracted from the time when the
捜索者は、図１２に示すようなマップの特に線（図１２においては一点鎖線で示す）が引かれた箇所における分類結果情報や第２カメラ２１の撮像情報を参照することで、捜索対象者２を特定しやすくなる。図１２において、退出地点（黒丸）を起点にして、各第２カメラ２１で撮像された人物の分類結果として捜索対象者２との一致度が算出されて表示されている。図１２の場合は、カメラ（１）、（２）、（４）及び（６）にて人物が撮像され、それぞれの人物が捜索対象者２である確率が表示されている。この中でカメラ（２）で撮像された人物は捜索対象者２である確率が９５％となっており、カメラ（２）と起点とを結ぶ線（一点鎖線）及びマーカ（星マーク）が強調表示されている。捜索者は図１２のような表示画面を確認し、カメラ（２）で撮像された人物を最優先に確保するようアクションを起こすことが可能となる。
The searcher refers to the classification result information and the imaging information of the
なお、上述したように、図１２のマップを確認することでカメラに撮像された人物と捜索対象者２との一致度を瞬時に視認することが可能となるが、これ以外にも表示機能を追加することができる。例えば、カメラ（２）に撮像された動画像を分析することで、撮像された人物がカメラ（２）に対してどのような方角にどれくらいの速度で移動したかを演算することが可能となる。すなわち、現時点における前記人物の位置を推定することが可能となり、図１２の場合は、コンビニのカメラ（２）の動画像から、人物が北方向に向かった確率が３０％、南方向に向かった確率が７０％と計算されて表示されている。 As described above, by checking the map in FIG. 12, it is possible to instantly visually recognize the degree of matching between the person imaged by the camera and the person to be searched 2. In addition to this, a display function is also provided. can be added. For example, by analyzing the moving image captured by the camera (2), it is possible to calculate in what direction and at what speed the captured person moved with respect to the camera (2). . That is, it is possible to estimate the position of the person at the present time, and in the case of FIG. The probability is calculated and displayed as 70%.
また、各カメラで撮像された人物が捜索対象者２である割合と撮像時間とから、捜索対象者２の移動経路（図１２においては点線で示す）を予測することが可能である。また、当該移動経路と上述した動画像の分析とから今後の予測移動経路（図１２においては太線で示す）及び推定現在地を演算することも可能である。
In addition, it is possible to predict the moving route of the search target person 2 (indicated by the dotted line in FIG. 12) from the proportion of the person imaged by each camera being the
さらに、各カメラにおけるマーカや線の表示態様を経過時間に応じて異ならせるようにしてもよい。例えば、捜索対象者２である確率が１００％の人物が５時間前に撮像された撮像情報と、捜索対象者２である確率が８０％の人物が１分前に撮像された撮像情報とでは、捜索対象者２が移動したことを考慮すると、後者に撮像された撮像情報の方が現時点における捜索対象者２の位置を示す情報である信憑性が高いと判断することができる。そのような場合は、例えば確率が１００％であってもこのカメラのマーカや線を強調表示をするのではなく、寧ろ確率が８０％の方のマーカや線を強調表示するようにしてもよい。
Furthermore, the display mode of markers and lines in each camera may be changed according to the elapsed time. For example, image information obtained by imaging a person who has a 100% probability of being
以上のように、本実施形態に係る対象者推定システムにおいては、捜索対象者２ごとに当該捜索対象者２を特定する分類器を生成し、任意の場所に設置されている第２カメラ２１に関連付けられた監視制御装置２２に対して生成した分類器を送信するため、捜索対象者２自身の個人情報が特定されるような画像などの情報を第３者に公開することなく分類器のみを配布することで、第２カメラ２１に撮像される人物を特定することができる。
As described above, in the target person estimation system according to the present embodiment, a classifier for specifying the
また、分類器生成装置１２で生成された分類器による分類結果情報を受信し、受信した分類結果情報に基づいて捜索対象者２の位置を特定し、特定した捜索対象者２の位置の結果を出力することで、任意の箇所に設置されている第２カメラ２１で撮像された捜索対象者２の位置を容易に確認し、捜索することが可能になる。
Further, it receives classification result information by the classifier generated by the
さらに、捜索対象者２の移動速度に基づいて、当該捜索対象者２が存在する範囲を特定することで、捜索範囲を絞って捜索作業を簡素化することができる。
Furthermore, by specifying the range in which the
さらにまた、表示制御部３０４が、任意の場所に設置されている第２カメラ２１の場所、又は当該第２カメラ２１の撮像情報から推定される捜索対象者２の場所をマップ上で表示すると共に、当該各第２カメラ２１に関連付けられた監視制御装置２２が分類器で分類した分類結果情報を第２カメラ２１の場所、又は推定される前記対象者の場所と対応付けて表示することで、マップ上でどの第２カメラ２１がどのような撮像対象を撮像したかを瞬時に確認して、捜索対象者２らしい人物の有無を確認することができる。
Furthermore, the
さらにまた、表示制御部３０４が、分類結果情報を第２カメラ２１で撮像された人物が捜索対象者２である可能性を示す割合で演算され、当該割合が所定の値以上である場合に他の分類結果情報と異なる態様で表示することで、捜索対象者２らしい人物の位置情報をマップ上で容易に視認することが可能になる。
Furthermore, the
１ 対象者推定システム
２ 捜索対象者
１０ 分類器生成システム
１１ 第１カメラ
１２ 分類器生成装置
２０ 監視カメラシステム
２１ 第２カメラ
２２ 監視制御装置
３０ 管理装置
３１ ディスプレイ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
４４ ハードディスク
４５ 通信Ｉ／Ｆ
４６ 入出力Ｉ／Ｆ
１００ クラウドサーバ
１２１ 撮像情報入力部
１２２ 撮像情報記憶部
１２３ 教師データ作成部
１２４ 分類器生成部
１２５ 重み情報記憶部
１２６ データ送信部
２２１ 重み情報取得部
２２２ 撮像情報入力部
２２３ 画像処理部
２２４ 分類処理部
２２５ データ送信部
３０１ 分類結果取得部
３０２ 対象範囲特定部
３０３ マップ生成部
３０４ 表示制御部
1 Target
42 RAM
43 ROMs
44
46 input/output I/F
100
Claims (8)
前記一の撮像手段で撮像された撮像情報に基づいて深層学習を行い、前記対象者ごとに当該対象者を分類する分類器を生成する分類器生成手段と、
前記施設の外部における異なる複数の場所にそれぞれ設置されている他の撮像手段に関連付けられた制御装置を、当該制御装置に関連付けられた前記他の撮像手段が撮像した人物が前記施設に滞在する前記対象者であるかどうかを分類できる前記分類器として利用可能となるように、前記対象者の特徴を深層学習した結果得られた前記分類器の重み情報のみを選別し、前記対象者個人を特定する特徴情報、前記対象者個人のプライバシーに関する情報及び前記一の撮像手段が撮像した前記対象者の外観を示す情報を排除して前記施設の外部における前記制御装置に送信する分類器送信手段と、を備えることを特徴とする分類器生成装置。 one image capturing means installed near the entrance of the facility where the subject is staying and capturing the features including the hairstyle and clothes of the subject when leaving;
a classifier generating means for performing deep learning based on the imaging information captured by the one imaging means and generating a classifier for classifying the subject for each subject;
The person staying in the facility captured the image of the control device associated with the other imaging means installed at a plurality of different locations outside the facility by the other imaging means associated with the control device. Only the weight information of the classifier obtained as a result of deep learning the characteristics of the subject is selected so that it can be used as the classifier that can classify whether the subject is a subject or not, and the subject individual is specified. a classifier transmitting means for transmitting to the control device outside the facility after excluding the characteristic information, the information regarding the individual privacy of the subject, and the information indicating the appearance of the subject imaged by the one imaging means; A classifier generation device comprising:
受信した前記検出結果情報に基づいて、前記対象者の位置を特定する位置特定手段と、
特定した前記対象者の位置の結果を出力する出力制御手段とを備えることを特徴とする対象者推定装置。 A detection result information receiving means for receiving, as detection result information, a result of using the classifier generated by the classifier generation device according to claim 1 in the control device;
Position specifying means for specifying the position of the subject based on the received detection result information;
and output control means for outputting a position result of the identified target person.
前記対象者の移動速度に基づいて、当該対象者が存在する範囲を特定する範囲特定手段を備える対象者推定装置。 In the subject estimation device according to claim 2,
A subject estimating device comprising range identifying means for identifying a range in which the subject exists based on the moving speed of the subject.
前記出力制御手段が、
前記施設の外部における異なる複数の場所にそれぞれ設置されている前記他の撮像手段の場所、又は当該他の撮像手段の撮像情報から推定される前記対象者の場所をマップ上で表示すると共に、当該各他の撮像手段に関連付けられた前記制御装置が前記分類器で分類した前記検出結果情報を前記他の撮像手段の場所、又は推定される前記対象者の場所と対応付けて表示する対象者推定装置。 In the subject estimation device according to claim 2 or 3,
The output control means is
displaying on a map the locations of the other imaging means respectively installed at a plurality of different locations outside the facility , or the location of the subject estimated from the imaging information of the other imaging means; Subject estimation for displaying the detection result information classified by the classifier by the control device associated with each other imaging means in association with the location of the other imaging means or the estimated location of the subject. Device.
前記出力制御手段が、
前記検出結果情報に基づいて前記他の撮像手段で撮像された人物が前記対象者である可能性を示す割合で演算され、当該割合が所定の値以上である場合に他の検出結果情報と異なる態様で表示する対象者推定装置。 In the subject estimation device according to claim 4,
The output control means is
Based on the detection result information, a ratio indicating the possibility that the person imaged by the other imaging means is the target person is calculated, and when the ratio is a predetermined value or more, it is different from the other detection result information A subject estimation device displayed in a form.
前記一の撮像手段で撮像された撮像情報に基づいて深層学習を行い、前記対象者ごとに当該対象者を分類する分類器を生成する分類器生成手段と、
前記施設の外部における異なる複数の場所にそれぞれ設置されている他の撮像手段に関連付けられた制御装置を、当該制御装置に関連付けられた前記他の撮像手段が撮像した人物が前記施設に滞在する前記対象者であるかどうかを分類できる前記分類器として利用可能となるように、前記対象者の特徴を深層学習した結果得られた前記分類器の重み情報のみを選別し、前記対象者個人を特定する特徴情報、前記対象者個人のプライバシーに関する情報及び前記一の撮像手段が撮像した前記対象者の外観を示す情報を排除して前記施設の外部における前記制御装置に送信する分類器送信手段と、
送信された前記分類器の重み情報に基づく検出結果情報を受信する検出結果情報受信手段と、
受信した前記検出結果情報に基づいて、前記対象者の位置を演算する演算手段と、
演算した結果を出力する出力制御手段とを備えることを特徴とする対象者推定システム。 one image capturing means installed near the entrance of the facility where the subject is staying and capturing the features including the hairstyle and clothes of the subject when leaving;
a classifier generating means for performing deep learning based on the imaging information captured by the one imaging means and generating a classifier for classifying the subject for each subject;
The person staying in the facility captured the image of the control device associated with the other imaging means installed at a plurality of different locations outside the facility by the other imaging means associated with the control device. Only the weight information of the classifier obtained as a result of deep learning the characteristics of the subject is selected so that it can be used as the classifier that can classify whether the subject is a subject or not, and the subject individual is specified. a classifier transmitting means for transmitting to the control device outside the facility after excluding the characteristic information, the information regarding the individual privacy of the subject, and the information indicating the appearance of the subject imaged by the one imaging means;
detection result information receiving means for receiving detection result information based on the transmitted weight information of the classifier;
computing means for computing the position of the subject based on the received detection result information;
and output control means for outputting the result of calculation.
前記施設の外部における異なる複数の場所にそれぞれ設置されている他の撮像手段に関連付けられた制御装置を、当該制御装置に関連付けられた前記他の撮像手段が撮像した人物が前記施設に滞在する前記対象者であるかどうかを分類できる前記分類器として利用可能となるように、前記対象者の特徴を深層学習した結果得られた前記分類器の重み情報のみを選別し、前記対象者個人を特定する特徴情報、前記対象者個人のプライバシーに関する情報及び前記一の撮像手段が撮像した前記対象者の外観を示す情報を排除して前記施設の外部における前記制御装置に送信する分類器送信手段としてコンピュータを機能させることを特徴とする分類器生成プログラム。
Deep learning is performed based on image information captured by one imaging means installed near the entrance of the facility where the subject is staying and capturing features including the hairstyle and clothing of the subject when leaving the subject, and performing deep learning. classifier generation means for generating a classifier for classifying the subject for each subject;
The person staying in the facility captured the image of the control device associated with the other imaging means installed at a plurality of different locations outside the facility by the other imaging means associated with the control device. Only the weight information of the classifier obtained as a result of deep learning the characteristics of the subject is selected so that it can be used as the classifier that can classify whether the subject is a subject or not, and the subject individual is specified. a computer as a classifier transmission means for transmitting to the control device outside the facility after excluding the characteristic information, the information regarding the individual privacy of the subject, and the information indicating the appearance of the subject imaged by the one imaging means A classifier generation program characterized by functioning.
受信した前記検出結果情報に基づいて、前記対象者の位置を特定する位置特定手段、
特定した前記対象者の位置の結果を出力する出力制御手段としてコンピュータを機能させる対象者推定プログラム。
Detection result information receiving means for receiving, as detection result information, a result of the use of the classifier generated by the classifier generation program according to claim 7 operating a computer in the control device;
Position specifying means for specifying the position of the subject based on the received detection result information;
A target person estimation program that causes a computer to function as output control means for outputting the position result of the specified target person.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018247439A JP7285536B2 (en) | 2018-12-28 | 2018-12-28 | Classifier generation device, target person estimation device and their programs, and target person estimation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018247439A JP7285536B2 (en) | 2018-12-28 | 2018-12-28 | Classifier generation device, target person estimation device and their programs, and target person estimation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020107213A JP2020107213A (en) | 2020-07-09 |
| JP7285536B2 true JP7285536B2 (en) | 2023-06-02 |
Family
ID=71449167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018247439A Active JP7285536B2 (en) | 2018-12-28 | 2018-12-28 | Classifier generation device, target person estimation device and their programs, and target person estimation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7285536B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003324720A (en) | 2002-05-07 | 2003-11-14 | Matsushita Electric Ind Co Ltd | Supervisory system and supervisory camera |
| JP2008217768A (en) | 2007-02-28 | 2008-09-18 | Mitsubishi Electric Research Laboratories Inc | Method for adapting boosted classifier to new sample |
| JP2009098774A (en) | 2007-10-15 | 2009-05-07 | Mitsubishi Electric Corp | Person tracking system, person tracking method and person tracking program |
| JP2009217448A (en) | 2008-03-10 | 2009-09-24 | Mitsubishi Electric Corp | Human tracking system using image information |
| JP2009538558A (en) | 2006-05-22 | 2009-11-05 | アクシス アクチボラグ | Method and apparatus for identifying characteristics of an object detected by a video surveillance camera |
| JP2015191597A (en) | 2014-03-28 | 2015-11-02 | 三菱重工業株式会社 | Suspicious person handling apparatus, suspicious person handling method and program |
| JP2018207222A (en) | 2017-05-31 | 2018-12-27 | パナソニックＩｐマネジメント株式会社 | Camera and parameter registration method |
-
2018
- 2018-12-28 JP JP2018247439A patent/JP7285536B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003324720A (en) | 2002-05-07 | 2003-11-14 | Matsushita Electric Ind Co Ltd | Supervisory system and supervisory camera |
| JP2009538558A (en) | 2006-05-22 | 2009-11-05 | アクシス アクチボラグ | Method and apparatus for identifying characteristics of an object detected by a video surveillance camera |
| JP2008217768A (en) | 2007-02-28 | 2008-09-18 | Mitsubishi Electric Research Laboratories Inc | Method for adapting boosted classifier to new sample |
| JP2009098774A (en) | 2007-10-15 | 2009-05-07 | Mitsubishi Electric Corp | Person tracking system, person tracking method and person tracking program |
| JP2009217448A (en) | 2008-03-10 | 2009-09-24 | Mitsubishi Electric Corp | Human tracking system using image information |
| JP2015191597A (en) | 2014-03-28 | 2015-11-02 | 三菱重工業株式会社 | Suspicious person handling apparatus, suspicious person handling method and program |
| JP2018207222A (en) | 2017-05-31 | 2018-12-27 | パナソニックＩｐマネジメント株式会社 | Camera and parameter registration method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020107213A (en) | 2020-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10812761B2 (en) | Complex hardware-based system for video surveillance tracking | |
| JP6905850B2 (en) | Image processing system, imaging device, learning model creation method, information processing device | |
| JP5339476B2 (en) | Image processing system, fever tracking method, image processing apparatus, control method thereof, and control program | |
| JP6814673B2 (en) | Movement route prediction device and movement route prediction method | |
| JP2022082561A (en) | Analysis server, monitoring system, monitoring method, and program | |
| CN108734055A (en) | A kind of exception personnel detection method, apparatus and system | |
| WO2018179202A1 (en) | Information processing device, control method, and program | |
| EP3349142B1 (en) | Information processing device and method | |
| JP7052305B2 (en) | Relief systems and methods, as well as the servers and programs used for them. | |
| JP7145622B2 (en) | Information processing device, information processing device control method, subject detection system, and program | |
| JP2005086626A (en) | Wide area monitoring device | |
| JP6744652B1 (en) | Congestion information notification system | |
| JP2022003526A (en) | Information processor, detection system, method for processing information, and program | |
| JP7285536B2 (en) | Classifier generation device, target person estimation device and their programs, and target person estimation system | |
| JP2019121176A (en) | Position specifying apparatus, position specifying method, position specifying program, and camera apparatus | |
| CN110073364A (en) | Object detection systems and its method based on RGBD sensing | |
| JP2014215747A (en) | Tracking device, tracking system, and tracking method | |
| JP7210163B2 (en) | Image processing device, image processing method and program | |
| JP2021056869A (en) | Facility user management system | |
| Rachna et al. | Real-time violence detection using deep neural networks and DTW | |
| US20240046612A1 (en) | Fusion-based sensing intelligence and reporting | |
| TWI730795B (en) | Multi-target human body temperature tracking method and system | |
| Rothmeier et al. | Comparison of Machine Learning and Rule-based Approaches for an Optical Fall Detection System | |
| CN113628237A (en) | Trajectory tracking method, system, electronic device and computer readable medium | |
| CN112699798A (en) | Traffic police action recognition method and device with vehicle-road cooperation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211027 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230516 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7285536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |