JP6993597B2 - Information processing equipment, control methods, and programs - Google Patents
Information processing equipment, control methods, and programs Download PDFInfo
- Publication number
- JP6993597B2 JP6993597B2 JP2020069516A JP2020069516A JP6993597B2 JP 6993597 B2 JP6993597 B2 JP 6993597B2 JP 2020069516 A JP2020069516 A JP 2020069516A JP 2020069516 A JP2020069516 A JP 2020069516A JP 6993597 B2 JP6993597 B2 JP 6993597B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- trail
- information
- feature amount
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、テレワーク管理システムにおいて行う認証技術に関する発明であり、特に、当該認証技術で用いる認証情報の配信方法に関する。 The present invention relates to an authentication technique performed in a telework management system, and more particularly to a method of distributing authentication information used in the authentication technique.
近年、ブロードバンドや情報セキュリティ技術の発達の他、災害時における事業継続性や節電対策への注目などを背景に、各企業でテレワークに対する関心が強まっている。 In recent years, in addition to the development of broadband and information security technologies, each company has become increasingly interested in telework due to business continuity and attention to power saving measures in the event of a disaster.
テレワークを導入する上では、管理者から本人の様子が見えにくいため、家族をはじめとする第三者による情報処理端末へのアクセスにより機密情報が漏えいするリスクや、労働管理がしにくい問題がある。 When introducing telework, it is difficult for the administrator to see the person himself, so there is a risk that confidential information will be leaked due to access to the information processing terminal by a third party such as a family member, and there is a problem that labor management is difficult. ..
機密情報の漏えい予防手段としては、ユーザが、情報処理端末を用いて操作を行うと、そのユーザの顔を撮影して、顔認識技術を用いて個人認証を行い、本人でない場合は情報処理端末をロックするといったシステムが導入されている。 As a means to prevent leakage of confidential information, when a user operates using an information processing terminal, the user's face is photographed and personal authentication is performed using face recognition technology. If the user is not the person, the information processing terminal is used. A system such as locking is introduced.
しかしながら、このようなシステムでは、情報処理端末に表示された内容を第三者に見られたりすることで、情報漏洩に繋がるリスクが生じる。 However, in such a system, there is a risk of information leakage because the content displayed on the information processing terminal can be seen by a third party.
そこで、情報処理端末の前方を撮影した結果、撮影して得られた画像に、顔の数が１つであれば、個人認証を行うが、２人以上の顔がある場合は、情報処理端末の使用を中止させる技術が開示されている（例えば、特許文献１参照）。 Therefore, as a result of photographing the front of the information processing terminal, if the image obtained by photographing has one face, personal authentication is performed, but if there are two or more faces, the information processing terminal is used. A technique for discontinuing the use of the above is disclosed (see, for example, Patent Document 1).
しかしながら、顔認識を用いたテレワーク管理システムでは、予防機能に重点を置いており、サテライトオフィス勤務といった場面に適用する場合、同一拠点で働く同僚の顔が映ってしまっても予防機能が働いてしまい、ユーザの利便性を損ねることになる。 However, the telework management system using face recognition focuses on the preventive function, and when applied to situations such as working at a satellite office, the preventive function works even if the face of a colleague working at the same base is reflected. , It will impair the convenience of the user.
この予防機能を監視者への通知機能に置き換えたとしても、今度は監視者が状況を確認することに手間を取られてしまう。 Even if this preventive function is replaced with a notification function to the observer, it will be troublesome for the observer to check the situation.
本発明の目的は、情報処理装置の不正な使用にかかる状態を適切に管理する仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism for appropriately managing a state related to unauthorized use of an information processing apparatus .
上記課題を解決するための第１の発明は、情報処理装置のユーザの拠点における他のユーザを特定する情報を取得する取得手段と、画像から検出された人物が、前記他のユーザを特定する情報により特定される前記他のユーザであるか否かによって、前記情報処理装置の使用状態を管理する管理手段と、を備えたことを特徴とする情報処理装置。 The first invention for solving the above-mentioned problems is an acquisition means for acquiring information for identifying another user at a user's base of an information processing apparatus, and a person detected from an image identifies the other user. An information processing device including a management means for managing a usage state of the information processing device depending on whether or not the user is the other user specified by information .
上記課題を解決するための第２の発明は、情報処理装置のユーザの拠点における他のユーザを特定する情報を取得する取得ステップと、画像から検出された人物が、前記他のユーザを特定する情報により特定される前記他のユーザであるか否かによって、前記情報処理装置の使用状態を管理する管理ステップと、を実行することを特徴とする情報処理装置の制御方法。 The second invention for solving the above-mentioned problems is an acquisition step of acquiring information for identifying another user at a user's base of an information processing apparatus, and a person detected from an image identifies the other user. A control method for an information processing device , which comprises executing a management step for managing a usage state of the information processing device depending on whether or not the user is the other user specified by information.
上記課題を解決するための第３の発明は、コンピュータを、情報処理装置のユーザの拠点における他のユーザを特定する情報を取得する取得手段と、画像から検出された人物が、前記他のユーザを特定する情報により特定される前記他のユーザであるか否かによって、前記情報処理装置の使用状態を管理する管理手段として機能させるためのプログラム。 In the third invention for solving the above-mentioned problems, a computer is used as an acquisition means for acquiring information for identifying another user at a user's base of an information processing apparatus, and a person detected from an image is the other user. A program for functioning as a management means for managing the usage state of the information processing apparatus depending on whether or not the user is the other user specified by the information specifying the information processing apparatus.
本発明によれば、情報処理装置の不正な使用にかかる状態を適切に管理することができる、という効果を奏する。 According to the present invention, there is an effect that the state of unauthorized use of the information processing apparatus can be appropriately managed .
以下、図面を参照して、本発明の実施形態を詳細に説明する。
[第１の実施形態]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[First Embodiment]
図１は、本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。 FIG. 1 is a system configuration diagram showing an example of the configuration of the telework management system of the present invention.
図１に示すテレワーク管理システムは、１又は複数の証跡送信端末１００、１又は複数の証跡監査端末１１０、１又は複数の証跡管理サーバ１２０が、ローカルエリアネットワーク（ＬＡＮ）１３０とルータ１４０、およびインターネット１５０を介して接続される構成となっている。
In the telework management system shown in FIG. 1, one or more
証跡送信端末１００は、使用するユーザ（テレワーカ）の動静および不正アクセスを検出し、その証跡情報を証跡管理サーバ１２０に送信する。また、動静等の検出に使用するユーザの特徴量データを証跡管理サーバ１２０に送信する。
The
証跡監査端末１１０は、管理者が証跡管理サーバ１２０に記録された特徴量データの承認操作と、証跡管理サーバ１２０に記録された証跡の監査操作を行う。
The
証跡監査端末１１０は、管理者の動静をテレワーカに通知するまたは自身がテレワークを行う際に自身の管理者に動静と不正アクセスを通知するために、証跡送信端末１００と同様の機能を備えることもある。
The
証跡管理サーバ１２０は、証跡送信端末１００から受信した特徴量データを記録し、その特徴量データに対する証跡監査端末１１０の承認操作を処理する。
The
そして、証跡送信端末１００から受信した証跡を記録し、その証跡に対する証跡監査端末１１０の監査操作を処理し、また、証跡送信端末１００の接続元拠点情報を元に、証跡送信端末１００で利用する特徴量データを決定する。
Then, the trail received from the
以下、図２を用いて、図１に示した証跡送信端末１００、証跡監査端末１１０、及び証跡管理サーバ１２０に適用可能な情報処理装置のハードウェア構成について説明する。
Hereinafter, the hardware configuration of the information processing apparatus applicable to the
図２は、図１に示した証跡送信端末１００、証跡監査端末１１０、証跡管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
FIG. 2 is a block diagram showing a hardware configuration of an information processing device applicable to the
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
In FIG. 2, 201 is a CPU that comprehensively controls each device and controller connected to the
また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
Further, the
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
The
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や証跡送信端末１００の前方のユーザを撮影するウェブカメラ等のカメラデバイス２１０、不図示のマウス等のポインティングデバイス等からの入力を制御する。
Further, 205 is an input controller, which controls input from a
２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１１等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。
The 207 is a memory controller that can be used in an external storage device (hard disk (HD)) that stores boot programs, various applications, font data, user files, edit files, various data, etc., a flexible disk (FD), or a PCMCIA card slot. It controls access to an
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１３０）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１１上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。
Various programs described later for realizing the present invention are recorded in the
さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。
Further, a definition file and various information tables used when executing the above program are also stored in the
次に、図３を用いて、本発明の証跡送信端末１００、証跡監査端末１１０および証跡管理サーバ１２０の機能ブロック図について説明する。尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
Next, the functional block diagram of the
まず、証跡送信端末１００の機能構成について説明する。
First, the functional configuration of the
認証情報入力部３０１は、ユーザによる認証情報の入力を受け付ける。認証情報送信部３０２は、認証情報入力部３０１で受け付けた認証情報を、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の認証情報受信部５０１に送信し、システムへのログインを行う。ログインに成功したら、拠点選択部３０３において拠点の選択を依頼する。
The authentication
拠点選択部３０３は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０のユーザ情報管理部５０４からログインユーザが利用可能な拠点リストを取得し、その中から現在の拠点を選択する。
The
選択方法としては、拠点リストをＣＲＴ２１１に表示してユーザに選択させる方法や、近辺のＷｉｆｉ網から現在地の住所を推定し自動決定するなどの方法がある。 As a selection method, there are a method of displaying the base list on the CRT211 and letting the user select it, and a method of estimating the current address from the nearby Wifi network and automatically determining the address.
特徴量データ更新部３０４は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の特徴量データ取得部５０７から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部３０５のデータを更新する。特徴量データ記憶部３０５は、顔認識に使用する顔の特徴量データを記憶する。
The feature amount
ユーザ情報表示更新部３０６は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０のユーザ情報管理部５０４からユーザの動静情報を取得し、ＣＲＴ２１１に表示する。
The user information
ユーザ情報表示更新部３０６は、同様にユーザ情報管理部５０４から取得した拠点リストおよびチームリストを表示し、ユーザに選択させて動静情報を表示するユーザを変える機能も備える。
Similarly, the user information
また、ユーザ情報表示更新部３０６は、更新通知受信部３１５から更新通知を受けた際には、ユーザ情報管理部５０４からユーザの動静情報を取り直し、表示を更新する。
Further, when the user information
映像入力部３０７は、カメラデバイス２１０より映像を取得し、特徴量データ抽出部３０８および状態検出部３１１にその映像を送信する。
The
特徴量データ抽出部３０８は、特徴量データの登録がない場合や、ユーザの識別がうまくいかない際にユーザを識別するための特徴量データを抽出する。
The feature amount
特徴量データ抽出部３０８は、映像入力部３０７から受信した映像からユーザの顔を抽出し、その顔を使って識別するかどうかユーザに確認する。確認がとれたら、顔から特徴量データを抽出し、それを特徴量データ送信部３１０に送信する。顔の抽出および特徴料データの抽出は顔認識部３０９に依頼する。
The feature amount
顔認識部３０９は、特徴量データ抽出部３０８から受信した映像から顔を抽出し、さらにその顔から識別に利用可能な特徴量データを抽出する。また、状態検出部３１１から受信した映像から顔を抽出し、各顔から抽出した特徴量データと状態検出部３１１から受信した特徴量データとの類似度を算出する。
The face recognition unit 309 extracts a face from the image received from the feature amount
特徴量データ送信部３１０は、特徴量データ抽出部３０８から受信した特徴量データを証跡管理サーバ１２０の特徴量データ受信部５０９に送信する。また、ログアウト前に特徴量データ記憶部３０５に記憶された識別寄与度を特徴量データ受信部５０９に送信する。
The feature amount
状態検出部３１１は、映像入力部３０７から受信した映像と特徴量データ記憶部３０５に記憶された特徴量データから、正規のログインユーザによる動静「在席」、「離席」、同一拠点のログインユーザによる不正アクセス「なりすまし」、「覗き見」、拠点外の第三者による不正アクセス「なりすまし」、「覗き見」の状態を検出する。
The
映像と特徴量データを顔認識部３０９に送信し、得られた顔認識結果から現在の状態を算出する。検出した動静と不正アクセスおよび顔認識結果、その際のカメラ画像は証跡制御部３１２に送信する。
The video and feature amount data are transmitted to the face recognition unit 309, and the current state is calculated from the obtained face recognition result. The detected movement, unauthorized access, and face recognition result, and the camera image at that time are transmitted to the
証跡制御部３１２は、状態検出部３１１から受信した動静または不正アクセスおよび顔認識結果、カメラ画像を証跡記憶部３１３に記憶する。その際、ビデオコントローラ２０６から取得したスクリーンショットも合わせて記憶する。
The
証跡制御部３１２は、証跡記憶部３１３に記憶された動静および不正アクセスを総合的に見て、動静および不正アクセスの状態がそれぞれ現在どの状態なのか、その状態に切り替わったのはいつか類推し、切り替わった際の証跡情報（動静または不正アクセス、顔認識結果、カメラ画像、スクリーンショット）を証跡送信部３１４に送信する。
The
同じ動静および不正アクセスが継続した際は、その終了日時を随時更新して証跡送信部３１４に送信する。また、その終了日時のカメラ画像とスクリーンショットを証跡送信部３１４に送信する。状態の判定に使われなくなった古い証跡情報は、証跡記憶部３１３から随時破棄する。
When the same movement and unauthorized access continue, the end date and time are updated at any time and transmitted to the
証跡記憶部３１３は、証跡情報（動静、不正アクセス、顔認識結果、カメラ画像、スクリーンショット）を記憶する。
The
証跡送信部３１４は、証跡制御部３１２から受信した証跡情報を、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の証跡受信部５１３に送信する。
The
更新通知受信部３１５は、証跡管理サーバ１２０のユーザ情報更新通知部５０６からの更新通知を通信Ｉ／Ｆコントローラ２０８を介して受信する。
The update
更新通知受信部３１５は、特徴量データ登録通知があったら、特徴量データ抽出部３０８に特徴量の抽出を依頼し、特徴量データ更新通知があったら、特徴量データ更新部３０４に特徴量データの更新を依頼する。また、動静更新通知があったら、ユーザ情報表示更新部３０６に表示の更新を依頼する。
The update
次に、証跡監査端末１１０の機能構成について説明する。
Next, the functional configuration of the
ユーザ情報表示更新部４０１は、証跡送信端末１００のユーザ情報表示更新部３０６と同様に、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０のユーザ情報管理部５０４からユーザの情報を取得し、それをＣＲＴ２１１に表示する。
The user information
ユーザ情報表示更新部３０６と同様の動静情報の表示だけでなく、不正アクセスの発生件数や特徴量データの承認待ち件数などを確認可能な監査情報の表示を行うことができる。ユーザ情報表示更新部４０１は、更新通知受信部４０２からの更新通知を受けて、表示を更新する。
In addition to displaying the motion information similar to that of the user information
更新通知受信部４０２は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の監査情報更新通知部５１０から更新通知を受信する。
The update
更新通知受信部４０２は、動静更新通知があったら、ユーザ情報表示更新部４０１に表示の更新を依頼し、特徴量データ更新通知および不正アクセス発生通知があったら、ユーザ情報表示更新部４０１に表示の更新を依頼し、情報通知部４０３に管理者への情報の通知を依頼する。
The update
情報通知部４０３は、特徴量データの承認処理や不正アクセスの監査処理をすぐに実施してもらえるよう管理者に警告する。
The
特徴量データ承認操作部４０４は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の特徴量データ承認操作処理部５１２から取得した特徴量データをＣＲＴ２１１に表示し、管理者に未承認の特徴量データを承認または棄却させる。承認結果は、特徴量データ承認操作処理部５１２に送信する。
The feature amount data
証跡監査操作部４０５は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の証跡監査操作処理部５１５から取得した不正アクセスの証跡をＣＲＴ２１１に表示し、管理者に未監査の不正アクセスが問題かどうか監査させる。監査結果は、証跡監査操作処理部５１５に送信する。
The trail
問題ないかどうかの判断材料として、その不正アクセス発生期間のカメラ画像およびスクリーンショットを表示する。また、ユーザの動静の履歴を取得して表示したり、統計情報を表示したりする機能も備える。なお、証跡監査端末１１０は、証跡送信端末１００の機能を同時に備えることもある。
Camera images and screenshots of the unauthorized access period are displayed as a basis for determining whether or not there is a problem. It also has a function to acquire and display the history of user's movements and to display statistical information. The
最後に、証跡管理サーバ１２０の機能構成について説明する。
Finally, the functional configuration of the
認証情報受信部５０１は、証跡送信端末１００の認証情報送信部３０２から受信した認証情報とユーザ記憶部５０２の情報を比較し、一致するユーザ情報があった場合にログイン情報記憶部５０３にログイン情報を記憶する。ユーザ記憶部５０２は、ユーザ情報を記憶し、ログイン情報記憶部５０３は、ユーザのログイン情報を記憶する。
The authentication
ユーザ情報管理部５０４は、証跡送信端末１００の拠点選択部３０３からの現在拠点の選択を受け付け、ログイン情報記憶部５０３の該当ユーザのレコードの拠点情報を変更し、ユーザ情報更新通知部５０６にログイン情報記憶部５０３から検索した同一拠点のユーザへの特徴量データ更新通知の送信を依頼する。
The user
また、ユーザ情報管理部５０４は、ユーザ情報更新通知部５０６に、ログイン情報記憶部５０３から検索した同一拠点のユーザと、チーム記憶部５１１から検索した同一チームのユーザへの動静更新通知の送信を依頼する。
Further, the user
また、ユーザ情報管理部５０４は、監査情報更新通知部５１０に、管理者への動静更新通知を依頼する。また、証跡送信端末１００のユーザ情報表示更新部３０６および証跡監査端末１１０のユーザ情報表示更新部４０１からの要求を受け、ユーザの利用可能な拠点リスト（拠点情報記憶部５０５の全情報と、ユーザの在宅権限がＴＲＵＥ（詳細後述）である場合はユーザの住所を含む）、ユーザの所属するチームリスト、拠点またはチームに所属するユーザの動静情報（ユーザ記憶部５０２とログイン情報記憶部５０３の動静情報をマージしたもの）を返却する。
Further, the user
また、証跡監査端末１１０のユーザ情報表示更新部４０１からの要求を受け、拠点に所属するユーザの監査情報（ユーザ記憶部５０２とログイン情報記憶部５０３の動静情報と証跡記憶部５１４の未監査不正アクセスのレコード数と特徴量データ記憶部５０８の未承認レコード数をマージしたもの）を返却する。拠点情報記憶部５０５は、拠点情報を記憶する。
Further, in response to a request from the user information
ユーザ情報更新通知部５０６は、ユーザがログインおよびログアウトした際およびユーザの動静が変化した際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に動静更新通知を送信する。
When the user logs in and out, or when the user's movement changes, the user information
また、ユーザ情報更新通知部５０６は、ユーザがログインおよびログアウトした際および特徴量データが承認された際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に特徴量データ更新通知を送信する。
Further, the user information
特徴量データ取得部５０７は、ユーザの特徴量データと、同一拠点のログインユーザの特徴量データを返却する。
The feature amount
特徴量データ記憶部５０８は、顔認識に利用する特徴量データを記憶する。また、各特徴量データのユーザ本人であるか否かを識別するための度合いを示す識別寄与度を記憶する。
The feature amount
特徴量データ受信部５０９は、証跡送信端末１００の特徴量データ送信部３１０から特徴量データを受信し、特徴量データ記憶部５０８に記憶する。その際、監査情報更新通知部５１０に、特徴量データの登録通知を要求する。また、証跡送信端末１００の特徴量データ送信部３１０から識別寄与度を受信し、特徴量データ記憶部５０８に記憶する。
The feature amount
監査情報更新通知部５１０は、特徴量データおよび不正アクセス発生通知要求を受信した際、その送信ユーザの管理者の証跡監査端末１１０の更新通知受信部４０２に更新通知を送信する。チーム記憶部５１１は、ユーザの監査関係を定義するチーム情報を記憶する。
When the audit information
特徴量データ承認操作処理部５１２は、証跡監査端末１１０の特徴量データ承認操作部４０４による特徴量データの更新情報を受信し、特徴量データ記憶部５０８の特徴量データを更新する。
The feature amount data approval
証跡受信部５１３は、証跡送信端末１００の証跡送信部３１４から送信された証跡情報を受信し、証跡記憶部５１４に記憶する。また、新規の不正アクセスを受信した際、監査情報更新通知部５１０に不正アクセス発生通知を要求する。
The
証跡記憶部５１４は、証跡情報として、動静情報、不正アクセス情報、カメラ画像、スクリーンショットを記憶する。
The
証跡監査操作処理部５１５は、証跡監査端末１１０の特徴量データ承認操作部４０４による特徴量データの更新情報を受信し、特徴量データ記憶部５０８の特徴量データを更新する。
The trail audit
なお、管理者がシステムを利用する際に必要なログイン認証を行う機能については本発明の趣旨から外れるため省略する。 The function of performing login authentication required for the administrator to use the system is omitted because it deviates from the gist of the present invention.
以下、図４を参照して、本実施形態のテレワーク管理システムにおいて、テレワークを実施するユーザが証跡送信端末１００にログインし、ログアウトするまでの一連の流れを説明する。
Hereinafter, in the telework management system of the present embodiment with reference to FIG. 4, a series of flow from the user who performs the telework to logging in to the
証跡送信端末１００の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。また、証跡管理サーバ１２０の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
The processing of the
ステップＳ１０１では、ユーザが証跡送信端末１００にログインすることにより、証跡送信端末１００が常駐アプリケーションを起動し、バックグラウンドで証跡管理サーバ１２０にアカウントＩＤとパスワードを送信する。
In step S101, when the user logs in to the
証跡管理サーバ１２０は、ユーザ記憶部５０２に記憶されたユーザ情報（図１１参照）と比較し、一致すればログインを許可する。アカウントＩＤとパスワードは、常駐アプリケーションの初回起動時にユーザが設定し、以降は設定された値を使用するものとする。
The
図１１に示すユーザ情報テーブルは、ユーザを一意に識別するユーザＩＤ、ユーザのアカウント名、ユーザの名称、ユーザの名称に対する読み仮名、対象ユーザが個人かグループかを表すユーザ種別、ユーザが所在する住所、本人の顔画像等の本人を特定するための画像を示すプロフィール画像、動静の監視対象とする居所を示す動静閲覧対象、監査を行う範囲（グループ）を示す監査対象、ユーザに監視権限があるか否かを示す監視権限（ＴＲＵＥである場合、監視権限あり）、及びユーザが在宅勤務可能であるか否かを示す在宅権限（ＴＲＵＥである場合、可能）を備えている。 In the user information table shown in FIG. 11, a user ID that uniquely identifies a user, a user account name, a user name, a reading pseudonym for the user name, a user type indicating whether the target user is an individual or a group, and a user are located. A profile image showing an image for identifying the person such as an address and a person's face image, a moving / static viewing target showing the location to be monitored for movement, an audit target indicating the range (group) to be audited, and the user has monitoring authority. It has a monitoring authority (if it is TRUE, it has monitoring authority) indicating whether or not it exists, and a home authority indicating whether or not the user can work from home (possible if it is TRUE).
ステップＳ１０２では、ログインユーザの承認済の特徴量データ（図１６）が特徴量データ記憶部５０８に記憶されているか確認する。初回利用時など登録がない場合や、登録はあるが承認されていないまたは棄却されているものだけの場合は証跡送信端末１００に特徴量データの登録通知を送信する（ステップＳ１０３へ）。承認済の特徴量データの登録がある場合にはステップＳ１０５に処理を進める。
In step S102, it is confirmed whether the feature amount data (FIG. 16) approved by the logged-in user is stored in the feature amount
図１６に示す特徴量データテーブルは、特徴量データを一意に識別するためのＩＤ、ユーザＩＤ、ユーザと特定するために用いる特徴量データを含んで構成されている。 The feature amount data table shown in FIG. 16 includes an ID for uniquely identifying the feature amount data, a user ID, and feature amount data used for identifying the user.
ステップＳ１０３では、証跡送信端末１００にて、ログインユーザの特徴量データを登録する。
In step S103, the feature amount data of the logged-in user is registered in the
本ステップでは、カメラ画像から顔認識により顔画像を抽出し、ログインユーザに登録確認したのち、その顔画像から特徴量データを抽出し、証跡管理サーバ１２０に送信する。
In this step, a face image is extracted from the camera image by face recognition, registration is confirmed by the logged-in user, feature amount data is extracted from the face image, and the feature data is transmitted to the
証跡管理サーバ１２０では、受信した特徴量データを特徴量データ記憶部５０８に記憶し、チーム記憶部５１１の監視情報（図１４）から検索したユーザの監視を行う管理者の利用する証跡監査端末１１０に特徴量データ登録通知を送信する。
In the
図１４には、監視情報テーブルが示されており、監視情報テーブルは、監査対象を一意に識別するためのＩＤ、監査対象を識別するための名称、監査対象を識別するための名称の仮名を示すフリガナ、監査対象を監視する管理者を特定するためのＩＤを示す監視者ＩＤリスト、監視対象となるユーザＩＤを示す被監視者ＩＤリストを含む構成を備える。 FIG. 14 shows a monitoring information table, in which the monitoring information table has an ID for uniquely identifying the audit target, a name for identifying the audit target, and a pseudonym for the name for identifying the audit target. The configuration includes a frigana to indicate, a monitor ID list indicating an ID for identifying an administrator who monitors an audit target, and a monitored person ID list indicating a user ID to be monitored.
ステップＳ１０４では、証跡監査端末１１０は、特徴量データ登録通知を受信し、管理者に対して特徴量データを承認してもらえるようアラート通知する。
In step S104, the
そして、管理者が証跡監査端末１１０で特徴量データを承認または棄却すると、証跡管理サーバ１２０は、承認された場合は、ステップＳ１０５へ処理を進め、棄却された場合は、ステップＳ１０３へ処理を進める。
Then, when the administrator approves or rejects the feature amount data on the
ステップＳ１０５では、証跡送信端末１００が証跡管理サーバ１２０からユーザの特徴量データを取得し、特徴量データ記憶部３０５に記憶する。
In step S105, the
証跡管理サーバ１２０は、すべての特徴量データを返すのではなく、特徴量データ記憶部３０５に記憶された、各特徴量データの識別寄与度（図１７）からユーザの識別に有効な特徴量データを選択して返却する（図５の説明で詳細を記述する）。
The
ステップＳ１０６では、証跡送信端末１００にて、取得した特徴量データを用いてカメラ画像に対して顔認識を行い、ユーザの監視を開始する（図６の説明で詳細を記述する）。ユーザ監視はバックグラウンドで処理し、終了を待たずにステップＳ１０７に進む。
In step S106, the
ステップＳ１０７における拠点選択よりも先にユーザ監視を開始するのは、第三者が証跡送信端末１００にログインし、拠点選択せずに端末を利用した場合にも、なりすましを検出して証跡管理サーバ１２０に記憶するためである。
User monitoring is started prior to the site selection in step S107 because spoofing is detected and the trail management server is started even when a third party logs in to the
ステップＳ１０７では、証跡送信端末１００が接続している拠点を、証跡管理サーバ１２０から取得した拠点の中から選択する。
In step S107, the base to which the
証跡管理サーバ１２０は、ユーザの利用可能な拠点として、拠点情報記憶部５０５に記憶された拠点情報（図１３）を全て返す。
The
図１３には、拠点情報テーブルが示されており、拠点情報テーブルは、拠点を一意に識別するためのＩＤ、拠点の名称を示す名前、拠点の名称の仮名、拠点の住所などを含んで構成されている。 FIG. 13 shows a base information table, and the base information table is configured to include an ID for uniquely identifying the base, a name indicating the name of the base, a pseudonym of the name of the base, an address of the base, and the like. Has been done.
また、ユーザ記憶部５０２のユーザ情報の在宅権限がＴＲＵＥである場合は、ユーザの住所から名前が自宅の拠点情報を生成して返却する。
If the home authority of the user information of the
返却する拠点情報には、ログイン情報記憶部５０３に記憶されたログイン情報（図１５）から、各拠点での最終ログイン日時を取得しマージする。
For the returned base information, the last login date and time at each base is acquired from the login information (FIG. 15) stored in the login
図１５には、ログイン情報テーブルが示されており、ログイン情報テーブルは、ログイン自身を一意に識別するためのＩＤ、ユーザＩＤ、ログインされた証跡送信端末１００を一意に識別するための端末ＩＤ、ログインした拠点のＩＤを示す拠点ＩＤ、ログインした拠点がユーザの自宅であるか否かを示す在宅（ＴＲＵＥの場合、自宅）、ユーザの動静、ログインした日時、及びログアウトした日時を含んで構成されている。
FIG. 15 shows a login information table, in which the login information table includes an ID for uniquely identifying the login itself, a user ID, and a terminal ID for uniquely identifying the logged-in
このような拠点情報は、例えば、図８に示すような、ユーザに拠点を選択させる画面に表示させ、この表示された拠点情報から、ユーザが所望する拠点情報を選択させる。 Such base information is displayed on, for example, a screen that allows the user to select a base, as shown in FIG. 8, and the user selects the desired base information from the displayed base information.
証跡送信端末１００では、Ｗｉｆｉ網等から近辺住所を取得でき、取得した拠点リストから接続元拠点を特定できる場合、自動で接続元拠点を決定してユーザに確認する。
If the
その例を、図８に示す拠点確認画面６０１を表示し、特定できた接続元拠点に関する情報を表示する。
As an example, the
間違っていた場合、拠点リストを近辺住所から近い順に表示し、ユーザに選択させる（最終ログイン日時が新しいものを先に表示する）。 If you make a mistake, display the base list in order from the nearest address and let the user select it (the one with the newest last login date and time is displayed first).
その例として、拠点確認画面６０１に対して、ユーザが、Ｃａｎｃｅｌボタン６０２を押下すると、図８の上段に示すように、作業拠点の選択画面６０４が表示され、近辺住所から近い順に拠点情報を表示して、ユーザに選択させる。
As an example, when the user presses the Cancel
近辺住所を取得できたが特定には至らない場合、拠点リストを近辺住所から近い順に表示し、ユーザに選択させる。 If the neighborhood address can be obtained but cannot be specified, the base list is displayed in order from the nearest address and the user is made to select it.
同様に、拠点確認画面６０１に対して、ユーザが、Ｃａｎｃｅｌボタン６０２を押下すると、図８の上段に示すように、作業拠点の選択画面６０４が表示され、近辺住所から近い順に拠点情報を表示して、ユーザに選択させる。
Similarly, when the user presses the Cancel
近辺住所を取得できない場合、拠点リストを最終ログイン日時の新しい順に表示し、ユーザに選択させる（同じ住所の拠点がある場合はまとめて表示する）。 If the neighborhood address cannot be obtained, the base list is displayed in the order of the latest login date and time, and the user is selected (if there are bases with the same address, they are displayed together).
その例として、拠点確認画面６０１に対して、ユーザが、Ｃａｎｃｅｌボタン６０２を押下すると、図８の下段に示すように、作業拠点の選択画面６０４が表示され、最終ログイン日時の新しい順に拠点情報を表示して（同じ住所の拠点がある場合はまとめて表示する）、ユーザに選択させる。
As an example, when the user presses the Cancel
作業拠点の選択画面６０４において、拠点が選択された状態で、ＯＫボタン６０５が押下されると、選択した拠点情報が証跡管理サーバ１２０に送信され、ログイン情報記憶部５０３に登録されたユーザのログイン情報の拠点に登録される。
When the
ステップＳ１０８では、ログイン情報記憶部５０３から検索した、同一拠点のユーザの証跡送信端末に特徴量データ更新通知を送信する。
In step S108, the feature amount data update notification is transmitted to the trail transmission terminal of the user at the same base searched from the login
ステップＳ１０９では、特徴量データ更新通知を受信した証跡送信端末１００は、証跡管理サーバ１２０から利用すべき特徴量データを取得し、特徴量データ記憶部３０５のデータを置換する。
In step S109, the
その際、証跡管理サーバ１２０は、当該ユーザだけでなく、同一拠点のユーザの特徴量データも返却する。この際、ステップＳ１０５と同様に、すべての特徴量データを返すのではなく、特徴量データ記憶部３０５に記憶された、各特徴量データの識別寄与度からユーザの識別に有効な特徴量データを選択して返却する（図５の説明で詳細を記述する）。
At that time, the
ステップＳ１１０では、ログイン情報記憶部５０３から検索した同一拠点のユーザおよび、チーム記憶部５１１から検索したユーザの所属するチームのメンバー（被監視者ＩＤリスト）に対して、動静更新通知を送信する。
In step S110, a motion update notification is transmitted to the user at the same base searched from the login
ステップＳ１１１では、動静更新通知を受信した証跡送信端末１００は、現在表示しているチームまたは拠点のユーザの動静情報を、証跡管理サーバ１２０から取得して表示する。
In step S111, the
同様に、チーム記憶部５１１から検索したユーザの管理者の証跡監査端末１１０に対して動静更新通知を送信する。動静更新通知を受信した証跡監査端末１１０は、現在表示しているチームに所属するユーザの動静を取得して表示する。
Similarly, the motion update notification is transmitted to the
この動静更新通知を受けた際に証跡送信端末１００でユーザの動静情報を表示する画面の例を図９に示す。
FIG. 9 shows an example of a screen for displaying the user's movement information on the
動静確認画面７０１は、現在、選択した拠点におけるユーザの動静情報を表示する画面であり、図９の上段の左に示すように、田中花子及び鈴木一郎の２名が在席状態となり、動静確認画面７０１に表示されているが、佐藤元子が、当該拠点に出社し、鈴木一郎が退社すると、図９の上段の右に示すように、田中花子及び佐藤元子の２名が在席状態として表示され、鈴木一郎が他社したことを示すオフラインの状態として表示している。
The
ステップＳ１１２では、ユーザが証跡送信端末１００からログアウトすることをトリガーとして、ステップＳ１０６のユーザ監視を終了し、証跡管理サーバ１２０からログアウトする。
In step S112, the user logs out from the
ステップＳ１１３では、ユーザ監視を終了する際、特徴量データ記憶部３０５に記憶された識別寄与度を証跡管理サーバ１２０に送信し、証跡管理サーバ１２０は、受信した識別寄与度を特徴量データ記憶部５０８に記憶する。
In step S113, when the user monitoring is terminated, the identification contribution degree stored in the feature amount
ログアウトの際、証跡管理サーバ１２０は、ログイン情報記憶部５０３のユーザの最新のログイン情報のログアウト日時を登録し、状態をオフラインにする。そして、ステップＳ１１４では、各証跡監査端末１１０に対して動静更新通知を行う。
At the time of logout, the
以下、図５を参照して、図４のＳ１０４およびＳ１０８の更新通知をトリガーとして特徴量データの更新が行われ、証跡送信端末１００にてユーザおよび同一拠点のユーザを識別可能になるまでの流れを説明する。
Hereinafter, with reference to FIG. 5, the feature amount data is updated with the update notification of S104 and S108 of FIG. 4 as a trigger, and the flow until the user and the user at the same base can be identified by the
証跡送信端末１００の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。また、証跡管理サーバ１２０の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
The processing of the
ステップＳ２０１では、証跡送信端末１００が、証跡管理サーバ１２０に対して、顔認識のための特徴量データの取得を要求する。
In step S201, the
要求のタイミングとしては、ユーザが証跡送信端末１００を通して証跡管理サーバ１２０へのログインに成功したとき、または証跡送信端末１００が証跡管理サーバ１２０から特徴量データの更新通知を受けたときである。
The timing of the request is when the user succeeds in logging in to the
ステップＳ２０２では、ユーザと同一拠点から接続しているユーザをログイン情報記憶部５０３から検索する。
In step S202, a user connected from the same base as the user is searched from the login
ステップＳ２０４の時点では、自身の最新のログイン情報に拠点は設定されていないはずなので、自身のみを同一拠点のログインユーザとして取得する。 At the time of step S204, the base should not be set in the latest login information of the own base, so only the base is acquired as the login user of the same base.
ステップＳ２０７の時点では、自身の最新のログイン情報の拠点と同じ値を持つ（ログアウトしていない）ログイン情報のユーザを取得する。 At the time of step S207, the user of the login information having the same value as the base of the latest login information of the user (not logged out) is acquired.
ステップＳ２０３からステップＳ２０８では、ステップＳ２０２で取得した同一拠点のユーザ全員を識別するのに有効な特徴量データを抽出する。 From step S203 to step S208, feature amount data effective for identifying all users at the same site acquired in step S202 is extracted.
ステップＳ２０４では、特徴量データ記憶部５０８（図１７）に記憶された、該当ユーザの識別寄与度情報を登録の新しいものからＸ件取得し、その中で、識別必須回数（この特徴量データがなければ識別に失敗していた回数）が１以上のものを取得する。 In step S204, X items of the identification contribution information of the corresponding user stored in the feature amount data storage unit 508 (FIG. 17) are acquired from the new registered ones, and among them, the required number of identifications (this feature amount data is If not, the number of times the identification failed) is 1 or more.
図１７には、識別寄与度情報テーブルが示されており、識別寄与度情報テーブルは、識別寄与度情報を一意に識別するためのＩＤ、特徴量を一意に識別するための特徴量データＩＤ、識別寄与度情報を登録したときの日時、認証を行った回数を示す認識回数、認証を行った結果得られた類似度の平均値を示す平均類似度、及び認証必須回数を含んで構成されている（詳細後述）。 FIG. 17 shows an identification contribution information table, in which the identification contribution information table includes an ID for uniquely identifying the identification contribution information, a feature amount data ID for uniquely identifying the feature amount, and the like. It is configured to include the date and time when the identification contribution information was registered, the number of recognitions indicating the number of times of authentication, the average degree of similarity indicating the average value of the degree of similarity obtained as a result of authentication, and the required number of times of authentication. (Details will be described later).
ステップＳ２０５では、ステップＳ２０４で取得した件数が、最大値Ｎ件を超える場合は、ステップＳ２０６へ処理を進め、超えない場合は、ステップＳ２０７へ処理を進める。 In step S205, if the number of cases acquired in step S204 exceeds the maximum value N, the process proceeds to step S206, and if it does not exceed, the process proceeds to step S207.
ここで最大値を設けているのは、あまり多くの特徴量データを使っても、他人許容率（第三者をユーザ本人と認識してしまう確率）が上がる可能性があるからである。 The reason why the maximum value is set here is that even if too much feature amount data is used, the allowance rate for others (probability of recognizing a third party as the user himself / herself) may increase.
また、主に識別する対象がユーザ本人であるため、それ以外の同一拠点のユーザの場合はＮ’（＜Ｎ）件を最大値にしてもよい。 Further, since the target to be identified is mainly the user himself / herself, N'(<N) cases may be set to the maximum value in the case of other users at the same base.
顔認識技術は、撮影した人などの顔を検出し、その属性情報を読み取る技術であり、顔認識技術を用いた個人識別は、顔画像から算出した特徴量を学習した識別器によって他の顔画像から算出した特徴量との類似性を算出し、その顔の人物を識別する技術である。 Face recognition technology is a technology that detects the face of a person who has taken a picture and reads the attribute information, and personal identification using face recognition technology is another face by a classifier that learns the feature amount calculated from the face image. It is a technique to identify a person with a face by calculating the similarity with the feature amount calculated from an image.
この学習の際、同一人物を同じ識別子に関連付けて学習させるが、あまり多くの人物の特徴量を学習しすぎると、識別器の性能にもよるが、本人拒否（登録者を登録者として識別できない）率または他人許容（登録されていない人物を登録者として識別してしまう）率がそれぞれ悪くなってしまう可能性がある。 In this learning, the same person is associated with the same identifier for learning, but if too many features are learned, the person is rejected (the registrant cannot be identified as the registrant), depending on the performance of the classifier. ) Rate or the rate of allowance for others (identifying an unregistered person as a registrant) may be worse.
ステップＳ２０６では、ステップＳ２０４で取得したものの中から識別必須回数が多いもの上位Ｍ（＜Ｎ）件を取得する。さらに、平均類似度が高いもの上位（Ｎ－Ｍ）件を取得し、合計Ｎ件の特徴量データを取得する。 In step S206, among the items acquired in step S204, the upper M (<N) items having a large number of required identifications are acquired. Further, the high-ranking (NM) cases having a high average similarity are acquired, and the feature amount data of a total of N cases is acquired.
ステップＳ２０７では、得られた特徴量データを証跡送信端末１００に返却するリストに追加する。
In step S207, the obtained feature amount data is added to the list to be returned to the
ステップＳ２０９では、証跡管理サーバ１２０が取得した特徴量データを証跡送信端末１００に返却し、証跡送信端末１００は、取得した特徴量データを特徴量データ記憶部３０５に記憶する。
In step S209, the feature amount data acquired by the
以上により、証跡送信端末１００では、ユーザおよび同一拠点のログインユーザを識別できるようになる。
As described above, the
ちなみに、ステップＳ２０４からステップＳ２０７の識別に有効な特徴量データの検索方法は一例であり、各パラメータから総合的なスコアを算出して上位のものを選択したり、前述のスコアに対して新しいデータほど上方補正をかけて選択されやすくしたり、いろいろな選択方法が考えられる。 By the way, the method of searching the feature amount data effective for the identification of steps S204 to S207 is an example, and the comprehensive score is calculated from each parameter and the higher one is selected, or new data is obtained for the above-mentioned score. It is possible to make it easier to select by applying upward correction, and various selection methods can be considered.
以下、図６を参照して、図４のステップＳ１０６のユーザ監視において、ユーザの動静および不正アクセスの検出と、不正アクセス発生時に監視者へ不正アクセス登録通知を行う流れについて説明する。 Hereinafter, with reference to FIG. 6, in the user monitoring in step S106 of FIG. 4, the flow of detecting the user's movement and unauthorized access and notifying the observer of the unauthorized access registration when the unauthorized access occurs will be described.
この処理は、証跡送信端末１００のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
This process is executed by storing the program and data acquired from the
ステップＳ３０１では、現在の動静および不正アクセスを初期化する。動静は最初何もない状態であり、不正アクセスは正常な状態である。 In step S301, the current movement and unauthorized access are initialized. The movement is initially empty, and unauthorized access is normal.
ステップＳ３０２では、カメラ画像に対して顔認識を適用し、顔認識結果（図２１）、顔認識結果から求まる動静（図１８）および不正アクセス（図１９）、およびその際のカメラ画像あるいはスクリーンショット（図２０）を、証跡記憶部３１３に記憶する。カメラ画像からその動静および不正アクセスの状態を検出する（詳細は図７の説明にて記述する）。
In step S302, face recognition is applied to the camera image, the face recognition result (FIG. 21), the movement obtained from the face recognition result (FIG. 18) and unauthorized access (FIG. 19), and the camera image or screenshot at that time. (FIG. 20) is stored in the
図２１には、顔認識結果テーブルが示されており、顔認識結果テーブルは、顔認識の結果を一意に識別するためのＩＤ、顔認識を行ったカメラ画像の画像を一意に識別するための画像ＩＤ、顔検出が行われたカメラ画像における顔の位置を示す座標、顔検出を行った結果としての類似度、顔認識を行った結果、特定されたユーザのユーザＩＤを含む構成を備えている。 FIG. 21 shows a face recognition result table, in which the face recognition result table uniquely identifies an ID for uniquely identifying the face recognition result and an image of a camera image for which face recognition has been performed. It has a configuration including an image ID, coordinates indicating the position of a face in a camera image in which face detection has been performed, similarity as a result of face detection, and a user ID of a user identified as a result of face recognition. There is.
図１８には、動静情報テーブルが示され、動静情報テーブルは、動静情報を一意に識別するためのＩＤ、ユーザＩＤ、端末ＩＤ、ユーザの動静を示す状態（在席、離席）、監視を開始した日時、及び監視を終了した日時を含んで構成されている。 FIG. 18 shows a movement information table, and the movement information table monitors an ID for uniquely identifying the movement information, a user ID, a terminal ID, a state indicating the movement of the user (attended or absent), and monitoring. It is composed of the date and time when it started and the date and time when monitoring ended.
図１９には、不正アクセステーブルが示されており、不正アクセステーブルは、不正アクセスを一意に識別するためのＩＤ、ユーザＩＤ、端末ＩＤ、監視されたユーザの不正アクセスの判定結果を示す状態、この状態が開始された日時、この状態が終了した日時、この不正アクセスに対して、管理者が監査を行ったか否かを示す監査状態、及び監査を行った管理者を示す監査者を含んで構成されている。 FIG. 19 shows an unauthorized access table, and the unauthorized access table shows an ID for uniquely identifying unauthorized access, a user ID, a terminal ID, and a state showing a determination result of unauthorized access of a monitored user. Includes the date and time when this state started, the date and time when this state ended, the audit status that indicates whether the administrator audited this unauthorized access, and the auditor that indicates the administrator who audited. It is configured.
図２０には、証跡画像テーブルが示されており、証跡画像テーブルは、証跡対象となる画像を一意に識別するためのＩＤ、当該画像が、カメラ画像であるかスクリーンショットであるかの種別、画像を取得した端末ＩＤ、取得した画像データ、及び取得した日時を示す撮影日時を含んで構成されている。 FIG. 20 shows a trail image table, in which the trail image table has an ID for uniquely identifying an image to be trailed, a type of whether the image is a camera image or a screenshot, and so on. It is configured to include the terminal ID from which the image was acquired, the acquired image data, and the shooting date and time indicating the acquired date and time.
ステップＳ３０３では、証跡記憶部３１３に記憶された動静情報を元に、最新の動静（新動静）を算出する。
In step S303, the latest movement (new movement) is calculated based on the movement information stored in the
最も単純な算出方法としては、過去数件分の動静情報の中で、最も多い状態を新動静の状態とし、最も古い動静情報を動静の状態とする。 As the simplest calculation method, among the movement information of the past several cases, the most frequent state is the new movement state, and the oldest movement information is the movement state.
同様に、証跡記憶部３１３に記憶された不正アクセス情報を元に、最新の不正アクセス（新不正アクセス）を算出する。
Similarly, the latest unauthorized access (new unauthorized access) is calculated based on the unauthorized access information stored in the
ステップＳ３０４では、動静の状態と新動静の状態が異なるか（つまり状態が変化したか）確認し、異なるならステップＳ３０５へ処理を進め、同じであればステップＳ３０７に進む。 In step S304, it is confirmed whether the state of motion and the state of new motion are different (that is, whether the state has changed), if they are different, the process proceeds to step S305, and if they are the same, the process proceeds to step S307.
ステップＳ３０５では、動静を新動静で置き換え、その動静情報を証跡管理サーバ１２０に送信し、ステップＳ３０６では、証跡管理サーバ１２０が、受信した動静情報を証跡記憶部５１４に記憶する。
In step S305, the movement is replaced with a new movement, and the movement information is transmitted to the
また、ログイン情報記憶部５０３に記憶されたユーザの最新のログイン情報の動静を更新する。
In addition, the movement of the latest login information of the user stored in the login
さらに、同一拠点のユーザをログイン情報記憶部５０３から検索し、ユーザの動静参照者として同一のチームに所属するユーザ（監視者、被監視者）をチーム記憶部５１１から検索し、各ユーザの証跡送信端末１００および証跡監査端末１１０に動静更新通知を送信する。
Further, a user at the same base is searched from the login
このときも前述と同様に図９に示す動静確認画面７０１を証跡送信端末１００に表示するが、証跡監査端末１１０には、図９の下段に示す動静全体確認画面７０２が表示される。
At this time as well, the
動静確認画面７０１については、同一拠点内のユーザの動静を確認することが可能であるが、動静全体確認画面７０２については、全ての拠点内のユーザの動静を確認することが可能である点が主に異なる。動静全体確認画面７０２では、不正アクセスの有無についても確認することが可能である。
On the
動静確認画面７０１及び動静全体確認画面７０２について言えば、証跡監査端末１１０を一意に識別するための端末ＩＤに対応する名称を表示する態様を取ることも可能である。
Speaking of the
この場合、図１２に示す端末情報テーブルを用いて、当該名称の表示を行う。この端末情報テーブルは、証跡監査端末１１０を一意に識別するためのＩＤと、証跡監査端末１１０の名称を示す説明を含む構成を備えている。
In this case, the name is displayed using the terminal information table shown in FIG. This terminal information table includes an ID for uniquely identifying the
つまり、ログイン情報記憶部５０３の端末ＩＤに該当する端末情報テーブルのＩＤに対応する説明を動静確認画面７０１あるいは動静全体確認画面７０２に表示する。
That is, the explanation corresponding to the ID of the terminal information table corresponding to the terminal ID of the login
ステップＳ３０７では、動静の終了日時を現在時刻で更新し、証跡管理サーバ１２０に送信する。登録から一定時間経過しているのであれば、最新のカメラ画像およびスクリーンショットも同様に送信する。証跡管理サーバ１２０は、受信した証跡情報を証跡記憶部５１４の情報に登録または更新する。
In step S307, the end date and time of the movement is updated with the current time and transmitted to the
ステップＳ３０８では、動静が在席である場合、ステップＳ３０９へ処理を進め、それ以外（離席）の場合は、ステップＳ３１０へ処理を進める。 In step S308, if the movement is present, the process proceeds to step S309, and if it is not (away from the seat), the process proceeds to step S310.
ステップＳ３０９では、証跡記憶部３１３に記憶された最新の動静情報を算出した際の、カメラ画像に対する顔認識結果の類似度から、監視対象の各特徴量データの顔認識における識別寄与度を算出し、特徴量データ記憶部３０５に記憶する。最新の動静情報の状態が在席である場合のみ行う。
In step S309, the discrimination contribution in face recognition of each feature amount data to be monitored is calculated from the similarity of the face recognition result with respect to the camera image when the latest motion information stored in the
識別寄与度における平均類似度は、在席と判定された際に特徴量データの記録した全ての類似度の平均である。識別寄与度における識別必須回数は、在席と判定された際にその特徴量データがなければなりすましと判定されていた、つまり、その特徴量データでなければ本人として識別できなかった回数である。 The average similarity in the discrimination contribution is the average of all the similarity recorded in the feature amount data when it is determined to be present. The required number of identifications in the identification contribution degree is the number of times that the person cannot be identified without the feature amount data, that is, it is determined that the feature amount data must be present when it is determined to be present.
単純に類似度が閾値（０．７）を超えるか否かで識別している場合、特徴量データ１が０．７８、特徴量データ２が０．６５のとき、特徴量データ１の識別寄与度の識別必須回数を１増やす。
When the identification is simply made based on whether or not the similarity exceeds the threshold value (0.7), when the
ステップＳ３１０では、不正アクセスの状態と新不正アクセスの状態が異なるか（つまり状態が変化したか）否かを判定し、異なると判定したなら、ステップＳ３１１へ処理を進め、同じであると判定した場合、ステップＳ３１６へ処理を進める。 In step S310, it is determined whether the state of unauthorized access and the state of new unauthorized access are different (that is, whether the state has changed), and if it is determined that they are different, the process proceeds to step S311 and it is determined that they are the same. If so, the process proceeds to step S316.
ステップＳ３１１では、不正アクセスを新不正アクセスで置き換え、その新たな不正アクセス情報を証跡管理サーバ１２０に送信する。ステップＳ３１２では、証跡管理サーバ１２０が、受信した不正アクセス情報を証跡記憶部５１４に記憶する。
In step S311, the unauthorized access is replaced with the new unauthorized access, and the new unauthorized access information is transmitted to the
ステップＳ３１３では、不正アクセスの状態が正常であるか確認し、正常でなければ、その新たな不正アクセス情報を証跡管理サーバ１２０に送信し、ステップＳ３１４に処理を進め、正常であればステップＳ３１８に処理を進める。
In step S313, it is confirmed whether the unauthorized access status is normal, and if it is not normal, the new unauthorized access information is transmitted to the
ステップＳ３１４では、証跡管理サーバ１２０が、受信した不正アクセス情報を証跡記憶部５１４に記憶する。
In step S314, the
ステップＳ３１５では、受信した不正アクセスの状態が「覗き見（同僚）」であれば、ステップＳ３１８に処理を進め、そうでなければ、管理者への通知が必要と判断してステップＳ３１６に処理を進める。 In step S315, if the received unauthorized access status is "peeping (colleague)", the process proceeds to step S318, and if not, it is determined that notification to the administrator is necessary and the process is performed in step S316. Proceed.
ステップＳ３１６では、証跡管理サーバ１２０が、ユーザの所属チームの監視者をチーム記憶部５１１から検索し、各監視者の証跡監査端末１１０に不正アクセス登録通知を送信する。
In step S316, the
不正アクセス登録通知を受信した証跡監査端末１１０は、不正アクセスの監査を監視者に促し、ユーザ情報の表示を更新する。
The
ここでも、前述したように、証跡監査端末１１０において、図９の下段に示す動静全体確認画面７０２が表示され、不正アクセスの有無を動静全体確認画面７０２で確認することが可能となる。
Here, as described above, on the
さらに、この例に関して、図１０を用いて説明する。図１０の上段の左に示される動静確認画面７０１では、田中花子及び鈴木一郎の２名が在席状態となり、動静確認画面７０１に表示されているが、図１０の下段の最も左に示される７０３では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、同一拠点で在席状態である鈴木一郎以外の人物が撮影されているため、不正アクセス登録通知を行う。
Further, this example will be described with reference to FIG. On the
一方、図１０の下段の左から２番目に示される７０４では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、同一拠点で在席状態である鈴木一郎が撮影されているため、不正アクセス登録通知を行わず、処理を終了する。
On the other hand, in 704 shown second from the left in the lower part of FIG. 10, a person other than Hanako Tanaka is photographed on the
また、図１０の上段の左に示すように、田中花子及び鈴木一郎の２名が在席状態である状態から、佐藤元子が、当該拠点に出社し、鈴木一郎が退社すると、図１０の上段の右に示すように、田中花子及び佐藤元子の２名が在席状態として表示され、鈴木一郎が退社したことを示すオフラインの状態として表示している。 In addition, as shown in the upper left of FIG. 10, when Hanako Tanaka and Ichiro Suzuki are present, Motoko Sato arrives at the base and Ichiro Suzuki leaves the office. As shown on the right of the upper row, Hanako Tanaka and Motoko Sato are displayed as being present, and as an offline state indicating that Ichiro Suzuki has left the company.
この状態で、図１０の下段の左から３番目に示される７０５では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、出社した、同一拠点で在席状態である佐藤元子が撮影されているため、不正アクセス登録通知を行わず、処理を終了する。
In this state, in 705, which is the third from the left in the lower part of FIG. 10, a person other than Hanako Tanaka is photographed on the
一方、図１０の下段の最も右に示される７０６では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、退社した鈴木一郎が撮影されているため、不正アクセス登録通知を行う。
On the other hand, in 706 shown on the far right of the lower part of FIG. 10, a person other than Hanako Tanaka is photographed on the
ステップＳ３１７では、不正アクセスの終了日時を現在時刻で更新し、証跡管理サーバ１２０に送信する。登録から一定時間経過しているのであれば、最新のカメラ画像およびスクリーンショットも同様に送信する。証跡管理サーバ１２０は、受信した証跡情報を証跡記憶部５１４の情報に登録または更新する。
In step S317, the end date and time of unauthorized access is updated with the current time and transmitted to the
ステップＳ３１８では、ログアウト等の命令を受けていればフローを終了し、そうでなければステップＳ３０２に処理を戻し、ステップＳ３０２からステップＳ３１７の処理を繰り返す。 In step S318, if an instruction such as logout is received, the flow is terminated, otherwise the process is returned to step S302, and the process of step S302 to step S317 is repeated.
以下、図７を参照して、図６のステップＳ３０２における、カメラ画像に対して顔認識を行い、その結果からユーザの動静および不正アクセスの状態を算出する流れについて説明する。この処理は、証跡送信端末１００のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムをＲＡＭ２０２に記憶することで実行される。
Hereinafter, with reference to FIG. 7, a flow of performing face recognition on the camera image in step S302 of FIG. 6 and calculating the state of movement and unauthorized access of the user from the result will be described. This process is executed by storing the program acquired from the
ステップＳ４０１では、カメラデバイス２１０からカメラ画像の入力を受け付ける。ステップＳ４０２では、カメラ画像に対して顔検出と顔識別を行い、複数の顔認識結果（図２１）を得る。
In step S401, the input of the camera image is received from the
顔検出は、カメラ画像内に存在する顔の領域を検出する処理であり、顔識別は、検出した顔から特徴量データを抽出し、特徴量データ記憶部１０５に記憶された特徴量データとのマッチングを行い、各特徴量データとの類似度を算出する処理であり、さらに算出した類似度を元に、その顔が誰の顔であるか識別する。 Face detection is a process of detecting an area of a face existing in a camera image, and face identification is a process of extracting feature amount data from the detected face and combining it with the feature amount data stored in the feature amount data storage unit 105. It is a process of performing matching and calculating the degree of similarity with each feature amount data, and further identifies who the face is based on the calculated degree of similarity.
最も簡単な識別方法は、一定の閾値を超えた最も高い類似度を記録した特徴量データのユーザに識別することである。識別方法は他にも既存技術が多数あり、何れの技術を適用しても良い。 The simplest identification method is to identify to the user of the feature data that records the highest degree of similarity exceeding a certain threshold. There are many other existing techniques for the identification method, and any technique may be applied.
ステップＳ４０３では、ステップＳ４０２で顔を検出できなかった場合は、ステップＳ４０４に処理を進め、顔をひとつだけ検出できた場合は、ステップＳ４０５に処理を進め、顔を複数検出できた場合は、ステップＳ４０８に処理を進める。 In step S403, if the face could not be detected in step S402, the process proceeds to step S404, if only one face can be detected, the process proceeds to step S405, and if a plurality of faces can be detected, step S. The process proceeds to S408.
ステップＳ４０４では、カメラデバイス２１０に誰も映っていないので、「離席」の動静と「正常」の不正アクセスを証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S404, since no one is shown on the
ステップＳ４０５では、検出できた顔がユーザとして識別されたか否かを判定し、識別されたと判定すれば、ステップＳ４０６に処理を進め、識別されていないと判定すれば、ステップＳ４０７に処理を進める。 In step S405, it is determined whether or not the detected face is identified as a user, and if it is determined that the face is identified, the process proceeds to step S406, and if it is determined that the face is not identified, the process proceeds to step S407.
ステップＳ４０６では、カメラデバイス２１０にユーザが一人だけ映っているので、「在席」の動静と「正常」の不正アクセスを証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S406, since only one user is shown on the
ステップＳ４０７では、カメラデバイス２１０にユーザ以外の人物が一人だけ映っているので、「離席」の動静と「なりすまし」の不正アクセスを証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S407, since only one person other than the user is shown on the
ステップＳ４０８では、検出できた顔の中にユーザとして識別された顔があるか否かを判定し、識別されたと判定すれば、ステップＳ４０９に処理を進め、識別されていないと判定すれば、ステップＳ４１０に処理を進める。 In step S408, it is determined whether or not there is a face identified as a user among the detected faces, and if it is determined that the face is identified, the process proceeds to step S409, and if it is determined that the face is not identified, the step is taken. Proceed with processing to S410.
ステップＳ４０９では、カメラデバイス２１０にユーザが映っているので、「在席」の動静を証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S409, since the user is shown on the
ステップＳ４１０では、カメラデバイス２１０にユーザが映っていないので、「離席」の動静を証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S410, since the user is not shown on the
ステップＳ４１１では、すべての顔が同一拠点のユーザの顔として識別されているか確認し、識別されていれば、ステップＳＳ４１２に処理を進め、識別されていなければ、ステップＳ４１３に処理を進める。同一拠点のユーザ判定は、ログイン情報記憶部５０３から検索したユーザに関する情報を用いて判定することが可能である。
In step S411, it is confirmed whether all the faces are identified as the faces of the users at the same base, and if they are identified, the process proceeds to step SS412, and if not, the process proceeds to step S413. The user determination at the same site can be determined using the information about the user searched from the login
ステップＳ４１２では、カメラデバイス２１０に映っているのはユーザ本人とその同一拠点のユーザであるので、「覗き見（同僚）」の不正アクセスを証跡記憶部３１３に記憶する。
In step S412, since the
ステップＳ４１３では、カメラデバイス２１０に同一拠点のユーザ以外の第三者が映っているので、「覗き見」の不正アクセスを証跡記憶部３１３に記憶する。
[第２の実施形態]
In step S413, since a third party other than the user at the same base is shown on the
[Second Embodiment]
次に第２の実施形態について説明するが、第１の実施形態では、主に証跡送信端末１００において、ユーザの監視に関する処理を行ったが、第２の実施形態では、ユーザの監視に関する主な処理を証跡管理サーバ１２０で行う構成を備える。
Next, the second embodiment will be described. In the first embodiment, the process related to user monitoring is performed mainly in the
尚、第１の実施形態と第２の実施形態において、同様な構成を備える場合、あるいは同様な処理を行う場合は、詳細な説明を省略して、同一の符号を用いて説明を行い、相違する場合にのみ詳細な説明を行う。 When the same configuration is provided or the same processing is performed in the first embodiment and the second embodiment, detailed description thereof will be omitted, and explanations will be given using the same reference numerals. A detailed explanation will be given only when this is done.
次に、図２２を用いて、本発明の証跡送信端末１００、証跡監査端末１１０および証跡管理サーバ１２０の機能ブロック図について説明する。尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
Next, the functional block diagram of the
まず、証跡送信端末１００の機能構成について説明する。
First, the functional configuration of the
特徴量データ更新部９０２は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の特徴量データ取得部５０７から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部９０７のデータを更新する。特徴量データ記憶部９０７は、顔認識に使用する顔の特徴量データを記憶する。
The feature amount
映像入力部８０１は、カメラデバイス２１０より映像を取得し、映像送信部８０２へ出力し、映像送信部８０２は、映像入力部８０１から出力された映像を証跡管理サーバ１２０の映像受信部９０１へ送信する。
The
最後に、証跡管理サーバ１２０の機能構成について説明する。
Finally, the functional configuration of the
映像受信部９０１は、映像送信部８０２から送信された映像を受信して、特徴量データ抽出部９０３および状態検出部９０５にその映像を送信する。
The
特徴量データ更新部９０２は、特徴量データ取得部５０７から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部９０７のデータを更新する。特徴量データ記憶部９０７は、顔認識に使用する顔の特徴量データを記憶する。
The feature amount
特徴量データ抽出部９０３は、特徴量データの登録がない場合や、ユーザの識別がうまくいかない際にユーザを識別するための特徴量データを抽出する。
The feature amount
特徴量データ抽出部９０３は、映像受信部９０１から受信した映像からユーザの顔を抽出し、その顔を使って識別するかどうかユーザに確認する。確認がとれたら、顔から特徴量データを抽出し、それを特徴量データ記憶部５０８に記憶する。その際、監査情報更新通知部５１０に、特徴量データの登録通知を要求する。顔の抽出および特徴料データの抽出は顔認識部９０４に依頼する。
The feature amount
顔認識部９０４は、特徴量データ抽出部９０３から受信した映像から顔を抽出し、さらにその顔から識別に利用可能な特徴量データを抽出する。また、状態検出部９０５から受信した映像から顔を抽出し、各顔から抽出した特徴量データと状態検出部９０５から受信した特徴量データとの類似度を算出する。
The
識別寄与度取得部９０６は、ログアウト前に特徴量データ記憶部９０７に記憶された識別寄与度を特徴量データ記憶部５０８に記憶する。
The identification
状態検出部９０５は、映像受信部９０１から受信した映像と特徴量データ記憶部９０７に記憶された特徴量データから、正規のログインユーザによる動静「在席」、「離席」、同一拠点のログインユーザによる不正アクセス「なりすまし」、「覗き見」、拠点外の第三者による不正アクセス「なりすまし」、「覗き見」の状態を検出する。
The
映像と特徴量データを顔認識部９０４に送信し、得られた顔認識結果から現在の状態を算出する。検出した動静と不正アクセスおよび顔認識結果、その際のカメラ画像は証跡制御部９０８に送信する。
The image and the feature amount data are transmitted to the
証跡制御部９０８は、状態検出部９０５から受信した動静または不正アクセスおよび顔認識結果、カメラ画像を証跡記憶部９０９に記憶する。その際、ビデオコントローラ２０６から取得したスクリーンショットも合わせて記憶する。
The
証跡制御部９０８は、証跡記憶部９０９に記憶された動静および不正アクセスを総合的に見て、動静および不正アクセスの状態がそれぞれ現在どの状態なのか、その状態に切り替わったのはいつか類推し、切り替わった際の証跡情報（動静または不正アクセス、顔認識結果、カメラ画像を証跡取得部９１０に送信する。
The
同じ動静および不正アクセスが継続した際は、その終了日時を随時更新して証跡取得部９１０に送信する。また、その終了日時のカメラ画像を証跡取得部９１０に送信する。状態の判定に使われなくなった古い証跡情報は、証跡記憶部９０９から随時破棄する。
When the same movement and unauthorized access continue, the end date and time are updated at any time and transmitted to the
証跡記憶部９０９は、証跡情報（動静、不正アクセス、顔認識結果、カメラ画像）を記憶する。
The
ユーザ情報更新通知部９１１は、ユーザがログインおよびログアウトした際およびユーザの動静が変化した際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に動静更新通知を送信する。
When the user logs in and out, or when the user's movement changes, the user information
また、ユーザ情報更新通知部９１１は、ユーザがログインおよびログアウトした際および特徴量データが承認された際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に特徴量データ更新通知を送信する。
Further, the user information
特徴量データ取得部５０７は、ユーザの特徴量データと、同一拠点のログインユーザの特徴量データを特徴量データ更新部９０２へ返却する。
The feature amount
証跡取得部９１０は、証跡制御部９０８から送信された証跡情報を受信し、証跡記憶部９１２に記憶する。また、新規の不正アクセスを受信した際、監査情報更新通知部５１０に不正アクセス発生通知を要求する。
The
証跡記憶部９１２は、証跡情報として、動静情報、不正アクセス情報、カメラ画像を記憶する。 The trail storage unit 912 stores motion information, unauthorized access information, and camera images as trail information.
証跡監査操作処理部５１５は、証跡監査端末１１０の特徴量データ承認操作部４０４による特徴量データの更新情報を受信し、特徴量データ記憶部５０８の特徴量データを更新する。
The trail audit
以下、図２３を参照して、本実施形態のテレワーク管理システムにおいて、テレワークを実施するユーザが証跡送信端末１００にログインし、ログアウトするまでの一連の流れを説明する。基本的には、図４に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
Hereinafter, in the telework management system of the present embodiment with reference to FIG. 23, a series of flow from the user who performs the telework to logging in to the
証跡管理サーバ１２０が証跡送信端末１００から監視対象となったことを受けて、証跡送信端末１００にかかる特徴量データを特徴量データ記憶部５０８から取得して、特徴量データ記憶部９０７に記憶する。
In response to the fact that the
証跡管理サーバ１２０は、すべての特徴量データを登録するのではなく、特徴量データ記憶部５０８に記憶された、各特徴量データの識別寄与度（図１７）からユーザの識別に有効な特徴量データを選択して登録する（図２４の説明で詳細を記述する）。尚、特徴量データ記憶部９０７には、図１７に示すテーブルに対して、監視対象となる証跡送信端末１００が属する拠点ＩＤに対応して各情報を記憶しているものとする。
The
ステップＳ５０２では、証跡管理サーバ１２０にて、取得した特徴量データを用いてカメラ画像に対して顔認識を行い、ユーザの監視を開始する（図２５の説明で詳細を記述する）。ユーザ監視はバックグラウンドで処理し、終了を待たずにステップＳ１０７に進む。
In step S502, the
ステップＳ１０８では、ログイン情報記憶部５０３から検索した、同一拠点のユーザの証跡送信端末１００において特徴量データが更新されたことを検出する。
In step S108, it is detected that the feature amount data has been updated in the
ステップＳ１０９では、特徴量データが更新されたことを検出した証跡送信端末１００に関して、証跡管理サーバ１２０は、利用すべき特徴量データを取得し、特徴量データ記憶部９０７のデータを置換する。
In step S109, with respect to the
その際、証跡管理サーバ１２０は、当該ユーザだけでなく、同一拠点のユーザの特徴量データも登録する。この際、ステップＳ５０１と同様に、すべての特徴量データを登録するのではなく、特徴量データ記憶部５０８に記憶された、各特徴量データの識別寄与度からユーザの識別に有効な特徴量データを選択して登録する（図２４の説明で詳細を記述する）。
At that time, the
ステップＳ１１２では、ユーザが証跡送信端末１００からログアウトすることをトリガーとして、ステップＳ１０６のユーザ監視を終了し、証跡管理サーバ１２０からログアウトする。
In step S112, the user logs out from the
ステップＳ１１３では、ユーザ監視を終了する際、証跡管理サーバ１２０は、特徴量データ記憶部９０７に記憶された識別寄与度を特徴量データ記憶部５０８に記憶する。
In step S113, when the user monitoring is terminated, the
以下、図２４を参照して、図２３のＳ１０４およびＳ１０８の更新通知をトリガーとして特徴量データの更新が行われ、証跡送信端末１００にてユーザおよび同一拠点のユーザを識別可能になるまでの流れを説明する。基本的には、図５に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
Hereinafter, with reference to FIG. 24, the feature amount data is updated with the update notification of S104 and S108 of FIG. 23 as a trigger, and the flow until the user and the user at the same base can be identified by the
証跡送信端末１００の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。また、証跡管理サーバ１２０の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
The processing of the
ステップＳ６０１では、証跡管理サーバ１２０は、ログインされた証跡管理サーバ１２０にかかる特徴量データの登録の指示を受付ける。
In step S601, the
登録の指示としては、ユーザが証跡送信端末１００を通して証跡管理サーバ１２０へのログインに成功したとき、または証跡管理サーバ１２０が証跡送信端末１００にかかる特徴量データの更新されたことを検出したときである。
The registration instruction is when the user succeeds in logging in to the
ステップＳ２０７では、得られた特徴量データを特徴量データ記憶部９０７に登録するリストに追加する。
In step S207, the obtained feature amount data is added to the list to be registered in the feature amount
ステップＳ６０２では、証跡管理サーバ１２０は、リストに追加した特徴量データを特徴量データ記憶部９０７に記憶する。
In step S602, the
以上により、証跡送信端末１００では、ユーザおよび同一拠点のログインユーザを識別できるようになる。
As described above, the
以下、図２５を参照して、図２３のステップＳ５０２のユーザ監視において、ユーザの動静および不正アクセスの検出と、不正アクセス発生時に監視者へ不正アクセス登録通知を行う流れについて説明する。基本的には、図６に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。 Hereinafter, with reference to FIG. 25, in the user monitoring in step S502 of FIG. 23, the flow of detecting the user's movement and unauthorized access and notifying the observer of the unauthorized access registration when the unauthorized access occurs will be described. Basically, since the same processing as the flowchart shown in FIG. 6 is performed, only different processing will be described.
この処理は、証跡管理サーバ１２０のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
This process is executed by storing the program and data acquired from the
ステップＳ７０１では、現在の動静および不正アクセスを初期化する。動静は最初何もない状態であり、不正アクセスは正常な状態である。 In step S701, the current movement and unauthorized access are initialized. The movement is initially empty, and unauthorized access is normal.
ステップＳ７０２では、カメラ画像に対して顔認識を適用し、顔認識結果（図２１）、顔認識結果から求まる動静（図１８）および不正アクセス（図１９）、およびその際のカメラ画像（図２０）を、証跡記憶部９０９に記憶する。カメラ画像からその動静および不正アクセスの状態を検出する（詳細は図２６の説明にて記述する）。尚、図１８から図２１の各テーブルには、監視対象となる証跡送信端末１００が属する拠点ＩＤに対応して各情報を記憶しているものとする。
In step S702, face recognition is applied to the camera image, the face recognition result (FIG. 21), the motion obtained from the face recognition result (FIG. 18) and unauthorized access (FIG. 19), and the camera image at that time (FIG. 20). ) Is stored in the
ステップＳ７０３では、証跡記憶部９０９に記憶された動静情報を元に、最新の動静（新動静）を算出する。
In step S703, the latest movement (new movement) is calculated based on the movement information stored in the
最も単純な算出方法としては、過去数件分の動静情報の中で、最も多い状態を新動静の状態とし、最も古い動静情報を動静の状態とする。 As the simplest calculation method, among the movement information of the past several cases, the most frequent state is the new movement state, and the oldest movement information is the movement state.
同様に、証跡記憶部９０９に記憶された不正アクセス情報を元に、最新の不正アクセス（新不正アクセス）を算出する。
Similarly, the latest unauthorized access (new unauthorized access) is calculated based on the unauthorized access information stored in the
ステップＳ７０４では、動静の状態と新動静の状態が異なるか（つまり状態が変化したか）確認し、異なるならステップＳ７０５へ処理を進め、同じであればステップＳ７０７に進む。 In step S704, it is confirmed whether the state of motion and the state of new motion are different (that is, whether the state has changed), if they are different, the process proceeds to step S705, and if they are the same, the process proceeds to step S707.
ステップＳ７０５では、動静を新動静で置き換え、ステップＳ７０６では、動静情報を証跡記憶部９１２に記憶する。 In step S705, the movement is replaced with the new movement, and in step S706, the movement information is stored in the trail storage unit 912.
また、ログイン情報記憶部５０３に記憶されたユーザの最新のログイン情報の動静を更新する。
In addition, the movement of the latest login information of the user stored in the login
さらに、同一拠点のユーザをログイン情報記憶部５０３から検索し、ユーザの動静参照者として同一のチームに所属するユーザ（監視者、被監視者）をチーム記憶部５１１から検索し、各ユーザの証跡送信端末１００および証跡監査端末１１０に動静更新通知を送信する。
Further, a user at the same base is searched from the login
このときも前述と同様に図９に示す動静確認画面７０１を証跡送信端末１００に表示するが、証跡監査端末１１０には、図９の下段に示す動静全体確認画面７０２が表示される。
At this time as well, the
ステップＳ７０７では、動静の終了日時を現在時刻で更新する。登録から一定時間経過しているのであれば、最新のカメラ画像も同様に登録する。証跡管理サーバ１２０は、これらの証跡情報を証跡記憶部９１２の情報に登録または更新する。
In step S707, the end date and time of the movement is updated with the current time. If a certain amount of time has passed since registration, the latest camera image is also registered in the same way. The
ステップＳ７０８では、動静が在席である場合、ステップＳ７０９へ処理を進め、それ以外（離席）の場合は、ステップＳ７１０へ処理を進める。 In step S708, if the movement is present, the process proceeds to step S709, and if it is not (away from the seat), the process proceeds to step S710.
ステップＳ７０９では、証跡記憶部９１２に記憶された最新の動静情報を算出した際の、カメラ画像に対する顔認識結果の類似度から、監視対象の各特徴量データの顔認識における識別寄与度を算出し、特徴量データ記憶部９０７に記憶する。最新の動静情報の状態が在席である場合のみ行う。
In step S709, the discrimination contribution in face recognition of each feature amount data to be monitored is calculated from the similarity of the face recognition result with respect to the camera image when the latest motion information stored in the trail storage unit 912 is calculated. , Stored in the feature amount
ステップＳ７１０では、不正アクセスの状態と新不正アクセスの状態が異なるか（つまり状態が変化したか）否かを判定し、異なると判定したなら、ステップＳ７１１へ処理を進め、同じであると判定した場合、ステップＳ７１６へ処理を進める。 In step S710, it is determined whether the state of unauthorized access and the state of new unauthorized access are different (that is, whether the state has changed), and if it is determined that they are different, the process proceeds to step S711 and it is determined that they are the same. If so, the process proceeds to step S716.
ステップＳ７１１では、不正アクセスを新不正アクセスで置き換え、ステップＳ７１２では、不正アクセス情報を証跡記憶部９１２に記憶する。 In step S711, the unauthorized access is replaced with the new unauthorized access, and in step S712, the unauthorized access information is stored in the trail storage unit 912.
ステップＳ７１３では、不正アクセスの状態が正常であるか確認し、正常でなければ、ステップＳ７１４に処理を進め、正常であればステップＳ７１８に処理を進める。 In step S713, it is confirmed whether the state of unauthorized access is normal, and if it is not normal, the process proceeds to step S714, and if it is normal, the process proceeds to step S718.
ステップＳ７１４では、不正アクセス情報を証跡記憶部９１２に記憶し、ステップＳ７１５では、受信した不正アクセスの状態が「覗き見（同僚）」であれば、ステップＳ７１８に処理を進め、そうでなければ、管理者への通知が必要と判断してステップＳ７１６に処理を進める。 In step S714, the unauthorized access information is stored in the trail storage unit 912, and in step S715, if the received unauthorized access status is "peeping (colleague)", the process proceeds to step S718, otherwise the process proceeds to step S718. It is determined that notification to the administrator is necessary, and the process proceeds to step S716.
ステップＳ７１６では、ユーザの所属チームの監視者をチーム記憶部５１１から検索し、各監視者の証跡監査端末１１０に不正アクセス登録通知を送信する。
In step S716, the observer of the team to which the user belongs is searched from the
不正アクセス登録通知を受信した証跡監査端末１１０は、不正アクセスの監査を監視者に促し、ユーザ情報の表示を更新する。
The
ここでも、前述したように、証跡監査端末１１０において、図９の下段に示す動静全体確認画面７０２が表示され、不正アクセスの有無を動静全体確認画面７０２で確認することが可能となる。
Here, as described above, on the
ステップＳ７１７では、不正アクセスの終了日時を現在時刻で更新する。登録から一定時間経過しているのであれば、最新のカメラ画像も同様に登録する。証跡管理サーバ１２０は、証跡情報を証跡記憶部９１２の情報に登録または更新する。
In step S717, the end date and time of unauthorized access is updated with the current time. If a certain amount of time has passed since registration, the latest camera image is also registered in the same way. The
ステップＳ７１８では、ログアウト等の命令を受けていればフローを終了し、そうでなければステップＳ７０２に処理を戻し、ステップＳ７０２からステップＳ７１７の処理を繰り返す。 In step S718, if an instruction such as logout is received, the flow is terminated, otherwise the process is returned to step S702, and the process of step S702 to step S717 is repeated.
以下、図２６を参照して、図２５のステップＳ７０２における、カメラ画像に対して顔認識を行い、その結果からユーザの動静および不正アクセスの状態を算出する流れについて説明する。この処理は、証跡送信端末１００のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムをＲＡＭ２０２に記憶することで実行される。基本的には、図７に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
Hereinafter, with reference to FIG. 26, a flow of performing face recognition on the camera image in step S702 of FIG. 25 and calculating the state of movement and unauthorized access of the user from the result will be described. This process is executed by storing the program acquired from the
ステップＳ８０１では、証跡送信端末１００においてカメラデバイス２１０で撮影して得られたカメラ画像を取得する。ステップＳ８０２では、カメラ画像に対して顔検出と顔識別を行い、複数の顔認識結果（図２１）を得る。
In step S801, the camera image obtained by taking a picture with the
顔検出は、カメラ画像内に存在する顔の領域を検出する処理であり、顔識別は、検出した顔から特徴量データを抽出し、特徴量データ記憶部９０７に記憶された特徴量データとのマッチングを行い、各特徴量データとの類似度を算出する処理であり、さらに算出した類似度を元に、その顔が誰の顔であるか識別する。
Face detection is a process of detecting an area of a face existing in a camera image, and face identification is a process of extracting feature amount data from the detected face and combining it with the feature amount data stored in the feature amount
最も簡単な識別方法は、一定の閾値を超えた最も高い類似度を記録した特徴量データのユーザに識別することである。識別方法は他にも既存技術が多数あり、何れの技術を適用しても良い。 The simplest identification method is to identify to the user of the feature data that records the highest degree of similarity exceeding a certain threshold. There are many other existing techniques for the identification method, and any technique may be applied.
ステップＳ８０３では、ステップＳ８０２で顔を検出できなかった場合は、ステップＳ８０４に処理を進め、顔をひとつだけ検出できた場合は、ステップＳ８０５に処理を進め、顔を複数検出できた場合は、ステップＳ８０８に処理を進める。 In step S803, if the face could not be detected in step S802, the process proceeds to step S804, if only one face can be detected, the process proceeds to step S805, and if a plurality of faces can be detected, the step The process proceeds to S808.
ステップＳ８０４では、カメラデバイス２１０に誰も映っていないので、「離席」の動静と「正常」の不正アクセスを証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S804, since no one is shown on the
ステップＳ８０５では、検出できた顔がユーザとして識別されたか否かを判定し、識別されたと判定すれば、ステップＳ８０６に処理を進め、識別されていないと判定すれば、ステップＳ８０７に処理を進める。 In step S805, it is determined whether or not the detected face is identified as a user, and if it is determined that the face is identified, the process proceeds to step S806, and if it is determined that the face is not identified, the process proceeds to step S807.
ステップＳ８０６では、カメラデバイス２１０にユーザが一人だけ映っているので、「在席」の動静と「正常」の不正アクセスを証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S806, since only one user is shown on the
ステップＳ８０７では、カメラデバイス２１０にユーザ以外の人物が一人だけ映っているので、「離席」の動静と「なりすまし」の不正アクセスを証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S807, since only one person other than the user is shown on the
ステップＳ８０８では、検出できた顔の中にユーザとして識別された顔があるか否かを判定し、識別されたと判定すれば、ステップＳ８０９に処理を進め、識別されていないと判定すれば、ステップＳ８１０に処理を進める。 In step S808, it is determined whether or not there is a face identified as a user among the detected faces, and if it is determined that the face is identified, the process proceeds to step S809, and if it is determined that the face is not identified, the step is taken. The process proceeds to S810.
ステップＳ８０９では、カメラデバイス２１０にユーザが映っているので、「在席」の動静を証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S809, since the user is shown on the
ステップＳ８１０では、カメラデバイス２１０にユーザが映っていないので、「離席」の動静を証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S810, since the user is not shown on the
ステップＳ８１１では、すべての顔が同一拠点のユーザの顔として識別されているか確認し、識別されていれば、ステップＳ８１２に処理を進め、識別されていなければ、ステップＳ８１３に処理を進める。同一拠点のユーザ判定は、ログイン情報記憶部５０３から検索したユーザに関する情報を用いて判定することが可能である。
In step S811, it is confirmed whether all the faces are identified as the faces of the users at the same site, and if they are identified, the process proceeds to step S812, and if not, the process proceeds to step S813. The user determination at the same base can be determined using the information about the user searched from the login
ステップＳ８１２では、カメラデバイス２１０に映っているのはユーザ本人とその同一拠点のユーザであるので、「覗き見（同僚）」の不正アクセスを証跡記憶部９０９に記憶する。
In step S812, since the
ステップＳ８１３では、カメラデバイス２１０に同一拠点のユーザ以外の第三者が映っているので、「覗き見」の不正アクセスを証跡記憶部９０９に記憶する。
In step S813, since a third party other than the user at the same base is shown on the
尚、各ステップにおいて、証跡制御部９０８は、不正アクセスが発生したと判定したタイミングで、証跡送信端末１００に対して、スクリーンショットを取得する要求を行い、証跡送信端末１００は、スクリーンショットを取得する要求を受付けると、現在、ＣＲＴ２１１に表示されている情報に関してスクリーンショットを取得して証跡管理サーバ１２０へ送信する。
In each step, the
証跡制御部９０８は、このスクリーンショットを受信すると、証跡記憶部９０９に記憶した動静、カメラ画像、顔認識結果に対応して記憶する。
[第３の実施形態]
Upon receiving this screenshot, the
[Third Embodiment]
次に第３の実施形態について説明するが、第１の実施形態及び第２の実施形態では、不正アクセスの状態が覗き見である場合、ステップＳ４１１及びステップＳ８１１において、全員が同一拠点のログインユーザが映されているか否かによって判定を行った。 Next, a third embodiment will be described. In the first embodiment and the second embodiment, when the state of unauthorized access is a peep, in step S411 and step S811, all of them are logged-in users at the same base. The judgment was made based on whether or not the image was displayed.
この判定によって、全員が同一拠点のログインユーザであれば、覗き見（同僚）として、全員が同一拠点のログインユーザでなければ、覗き見としているが、このような状態にかかわらず、本実施形態では、映されているユーザが、本人と同僚を示す「覗き見（本人＋同僚）」であるのか、あるいは、同僚のみを示す「覗き見（同僚のみ）」であるのか、上司を示す「覗き見（上司）」によって、登録すべく状態を変える態様を備える。 According to this determination, if all of them are logged-in users of the same base, they are peeped (colleagues), and if all of them are not logged-in users of the same base, they are peeped. Then, whether the user being shown is a "peeping (person + colleague)" indicating the person and a colleague, or a "peeping (colleague only)" indicating only a colleague, or a "peeping" indicating the boss. It has a mode to change the state to register by "seeing (boss)".
このような態様を備える理由として、本人が離席中に同僚が覗き込んだ場合、本人が意図しない情報が漏洩するリスクが顕在し、上司が覗き込んだ場合、不正アクセスとみなさなくてもセキュリティを確保できることを想定しており、監視者の監視負荷を低減すること等が可能である。 The reason for providing such an aspect is that if a colleague looks into the desk while the person is away, there is a risk that information that the person does not intend to leak will be revealed, and if the boss looks into it, security is not considered to be unauthorized access. It is possible to reduce the monitoring load of the observer, etc.
本判定は、何れもステップＳ４１１及びステップＳ８１１において行われるものであり、「覗き見（本人＋同僚）」の判定については、ステップＳ８０８において映された顔にユーザが存在し、かつ全員が同一拠点のログインユーザであると判定した場合である。 This determination is performed in both steps S411 and S811, and for the determination of "peeping (person + colleague)", the user is present on the face projected in step S808, and all of them are at the same base. This is the case when it is determined that the user is the login user of.
一方、「覗き見（同僚のみ）」の判定については、ステップＳ８０８において映された顔にユーザが存在し、かつ全員が同一拠点のログインユーザであると判定した場合である。 On the other hand, the determination of "peeping (only a colleague)" is a case where it is determined that the user exists on the face projected in step S808 and all of them are login users of the same base.
さらに、「覗き見（上司）」の判定については、ステップＳ８０８において映された顔にユーザが存在するかいないにかかわらず、かつユーザの上司であると判定した場合であるが、この判定は、図２７に示す上司情報テーブルを用いて、ユーザの上司が写りこんでいるか否かを判定する。 Further, the determination of "peeping (boss)" is a case where it is determined that the user is the boss of the user regardless of whether or not the user is present on the face projected in step S808. Using the boss information table shown in FIG. 27, it is determined whether or not the user's boss is reflected.
上司情報テーブルは、ユーザの上司に関する情報を記憶しており、上司を一意に示すためのＩＤ（ユーザＩＤに該当）に対応して、上司の配下に所属するユーザを一意に示すためのユーザＩＤを含めて記憶している。 The boss information table stores information about the user's boss, and corresponds to the ID (corresponding to the user ID) for uniquely indicating the boss, and the user ID for uniquely indicating the user belonging to the boss's subordinate. I remember including.
また、覗き見である状態として、上司が覗き込んだ場合を示したが、上司にかかるものとして、同僚が映されている場合、その同僚の上司が同じか否かによって状態を分けても良い。 In addition, the case where the boss looks into is shown as a state of peeping, but if a colleague is shown as a state that depends on the boss, the state may be divided according to whether the boss of the colleague is the same or not. ..
本人も含め同僚の上司を上司情報テーブルに記憶された情報から特定して、全て同じ上司であるか否かによって、「覗き見（本人＋同僚）」及び「覗き見（同僚のみ）」であって上司が同じあるいは上司が異なるといった状態を判定しても良い。 The bosses of colleagues including the person are identified from the information stored in the boss information table, and depending on whether they are all the same boss or not, they are "peeping (person + colleague)" and "peeping (colleague only)". It may be determined that the boss is the same or the boss is different.
以上、本発明によれば、ユーザの監視環境下に応じて、本人以外の人物が撮影されたことによって不正利用と見做さない場合において、ユーザが使用している情報処理装置利用を制御することなく、また、管理者などへの通知を抑止することで、ユーザまたは管理者の監視に係る労力を軽減することで、効率的な監視方法を実現することができる。 As described above, according to the present invention, the use of the information processing device used by the user is controlled when a person other than the user is photographed and is not regarded as unauthorized use according to the monitoring environment of the user. It is possible to realize an efficient monitoring method by reducing the labor related to the monitoring of the user or the administrator by suppressing the notification to the administrator or the like.
以上、実施形態例を詳述したが、本発明は、例えば、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 Although examples of embodiments have been described in detail above, the present invention can be, for example, an embodiment as a method, a program, a storage medium, or the like, and specifically, a system composed of a plurality of devices. It may be applied, or it may be applied to a device consisting of one device.
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能（読み取り可能）なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。 Further, the program in the present invention is a program in which a computer can execute (readable) each processing method, and the storage medium of the present invention stores a program in which a computer can execute each processing method.
なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。 The program in the present invention may be a program for each processing method of each device.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。 As described above, a recording medium recording a program that realizes the functions of the above-described embodiment is supplied to the system or device, and the computer (or CPU or MPU) of the system or device stores the program in the recording medium. It goes without saying that the object of the present invention is achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることができる。 Recording media for supplying programs include, for example, flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, magnetic tapes, non-volatile memory cards, ROMs, EEPROMs, and silicon. A disc or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the function of the above-described embodiment is realized, but also the OS or the like running on the computer is a part of the actual processing or based on the instruction of the program. Needless to say, there are cases where the functions of the above-described embodiment are realized by performing all of them and performing the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program read from the recording medium is written in the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, the function expansion board is based on the instruction of the program code. It goes without saying that there are cases where the CPU or the like provided in the function expansion unit performs a part or all of the actual processing, and the processing realizes the functions of the above-described embodiment.
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。 Further, the present invention may be applied to a system composed of a plurality of devices or a device composed of one device.
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 It goes without saying that the present invention can also be applied when it is achieved by supplying a program to a system or an apparatus. In this case, by reading the recording medium containing the program for achieving the present invention into the system or device, the system or device can enjoy the effect of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Further, by downloading and reading a program for achieving the present invention from a server, database, or the like on the network by a communication program, the system or device can enjoy the effect of the present invention. It should be noted that the present invention also includes all the configurations in which each of the above-described embodiments and modifications thereof are combined.
１００ 証跡送信端末
１１０ 証跡監査端末
１２０ 証跡管理サーバ
１３０ ＬＡＮ
１４０ ルータ
１５０ インターネット
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ ＫＢ
２１０ カメラデバイス
２１１ ＣＲＴ
２１２ 外部メモリ
100
140
202 ROM
203 RAM
204
210
212 External memory
Claims (10)
画像から検出された人物が、前記他のユーザを特定する情報により特定される前記他のユーザであるか否かによって、前記情報処理装置の使用状態を管理する管理手段と、
を備えたことを特徴とする情報処理装置。 An acquisition means for acquiring information that identifies another user at the user's base of the information processing device ,
A management means for managing the usage state of the information processing apparatus depending on whether or not the person detected from the image is the other user specified by the information that identifies the other user.
An information processing device characterized by being equipped with.
画像から検出された人物が、前記他のユーザを特定する情報により特定される前記他のユーザであるか否かによって、前記情報処理装置の使用状態を管理する管理ステップと、
を実行することを特徴とする情報処理装置の制御方法。 An acquisition step to acquire information that identifies another user at the user's site of the information processing device ,
A management step for managing the usage state of the information processing apparatus depending on whether or not the person detected from the image is the other user specified by the information that identifies the other user.
A control method for an information processing device, which is characterized by executing.
情報処理装置のユーザの拠点における他のユーザを特定する情報を取得する取得手段と、
画像から検出された人物が、前記他のユーザを特定する情報により特定される前記他のユーザであるか否かによって、前記情報処理装置の使用状態を管理する管理手段
として機能させるためのプログラム。 Computer,
An acquisition means for acquiring information that identifies another user at the user's base of the information processing device ,
A management means for managing the usage state of the information processing apparatus depending on whether or not the person detected from the image is the other user specified by the information that identifies the other user.
A program to function as .
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014264094 | 2014-12-26 | ||
| JP2014264094 | 2014-12-26 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018143646A Division JP6691306B2 (en) | 2014-12-26 | 2018-07-31 | Information processing apparatus, control method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020119585A JP2020119585A (en) | 2020-08-06 |
| JP2020119585A5 JP2020119585A5 (en) | 2020-09-17 |
| JP6993597B2 true JP6993597B2 (en) | 2022-01-13 |
Family
ID=56359522
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015131556A Active JP6481203B2 (en) | 2014-12-26 | 2015-06-30 | Information processing system, information processing apparatus, server, control method, and program |
| JP2018143646A Active JP6691306B2 (en) | 2014-12-26 | 2018-07-31 | Information processing apparatus, control method, and program |
| JP2020069516A Active JP6993597B2 (en) | 2014-12-26 | 2020-04-08 | Information processing equipment, control methods, and programs |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015131556A Active JP6481203B2 (en) | 2014-12-26 | 2015-06-30 | Information processing system, information processing apparatus, server, control method, and program |
| JP2018143646A Active JP6691306B2 (en) | 2014-12-26 | 2018-07-31 | Information processing apparatus, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6481203B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018001281A (en) | 2016-06-27 | 2018-01-11 | 株式会社デンソーウェーブ | Robot hand |
| JP6544413B2 (en) * | 2016-12-15 | 2019-07-17 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, control method, program |
| JP7012182B1 (en) | 2021-07-14 | 2022-01-27 | 日本コンピュータビジョン株式会社 | Output control program, output control method and terminal device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366530A (en) | 2001-06-11 | 2002-12-20 | Hitachi Ltd | Service providing method for distributed system |
| JP2006033852A (en) | 2004-07-15 | 2006-02-02 | Avaya Technology Corp | Proximity-based authorization |
| JP2006067563A (en) | 2004-07-15 | 2006-03-09 | Avaya Technology Corp | Peer-to-peer neighbor detection for proximity-based command execution |
| JP2012088835A (en) | 2010-10-18 | 2012-05-10 | Mitsubishi Electric Corp | Composite authentication device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4086740B2 (en) * | 2003-09-09 | 2008-05-14 | 日本電気株式会社 | Terminal user monitoring system |
| JP2006259930A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Display device and its control method, electronic device equipped with display device, display device control program, and recording medium recording program |
| JP4910627B2 (en) * | 2006-10-24 | 2012-04-04 | オムロン株式会社 | Impersonation detection device |
| JP2009080668A (en) * | 2007-09-26 | 2009-04-16 | Sky Kk | Peep prevention system and peep prevention program |
| JP5001194B2 (en) * | 2008-02-20 | 2012-08-15 | アズビル株式会社 | Entrance management system |
| JP2010277205A (en) * | 2009-05-26 | 2010-12-09 | Nec Corp | Information processing device, method and program |
| US8904473B2 (en) * | 2011-04-11 | 2014-12-02 | NSS Lab Works LLC | Secure display system for prevention of information copying from any display screen system |
| US8914875B2 (en) * | 2012-10-26 | 2014-12-16 | Facebook, Inc. | Contextual device locking/unlocking |
-
2015
- 2015-06-30 JP JP2015131556A patent/JP6481203B2/en active Active
-
2018
- 2018-07-31 JP JP2018143646A patent/JP6691306B2/en active Active
-
2020
- 2020-04-08 JP JP2020069516A patent/JP6993597B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366530A (en) | 2001-06-11 | 2002-12-20 | Hitachi Ltd | Service providing method for distributed system |
| JP2006033852A (en) | 2004-07-15 | 2006-02-02 | Avaya Technology Corp | Proximity-based authorization |
| JP2006067563A (en) | 2004-07-15 | 2006-03-09 | Avaya Technology Corp | Peer-to-peer neighbor detection for proximity-based command execution |
| JP2012088835A (en) | 2010-10-18 | 2012-05-10 | Mitsubishi Electric Corp | Composite authentication device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020119585A (en) | 2020-08-06 |
| JP6481203B2 (en) | 2019-03-13 |
| JP6691306B2 (en) | 2020-04-28 |
| JP2018200705A (en) | 2018-12-20 |
| JP2016126747A (en) | 2016-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6993597B2 (en) | Information processing equipment, control methods, and programs | |
| JP6442751B2 (en) | Information processing apparatus, information processing system, control method, and program | |
| JP6823267B2 (en) | Information processing equipment, information processing systems, control methods, and programs | |
| US8913270B2 (en) | Authentication system having an authentication apparatus including an authentication unit configured to search records of identification information associated with group information to find matching identification information matching obtained identification information of a user, authentication method, and apparatus | |
| JP6123653B2 (en) | Information processing apparatus, information processing method, and program | |
| CN113490935A (en) | Face authentication management server and face authentication management method | |
| CN113519013A (en) | Face authentication system and face authentication method | |
| CN113490936A (en) | Face authentication device and face authentication method | |
| CN113519014A (en) | Gate opening/closing control device and gate opening/closing control method | |
| US8819114B2 (en) | Server apparatus, method for controlling the server apparatus, and storage medium | |
| JP2017084025A (en) | Automatic login system for information processing device | |
| JP6617804B2 (en) | Information processing apparatus, information processing system, control method, and program | |
| JP6770231B2 (en) | Information processing device, control method of information processing device, and program | |
| JP6485522B2 (en) | Management server, information processing terminal, control method, and program | |
| JP2017152013A (en) | Information processing device, information processing method, and program | |
| CN113508389A (en) | Face authentication registration device and face authentication registration method | |
| JP6982266B2 (en) | Information processing equipment, information processing methods, programs | |
| JP6697170B2 (en) | Information processing device, information processing method, and program | |
| JP6159782B2 (en) | Information processing apparatus control method, information processing apparatus and control program, terminal control method and terminal control program | |
| WO2023084593A1 (en) | Information processing device, information processing system, information processing method, and non-transitory computer-readable medium | |
| JP7356060B2 (en) | Information processing equipment, its control method and program | |
| JP7296607B2 (en) | Face recognition machine and face recognition method | |
| JP6802473B2 (en) | Information processing system, information processing system control method, and program | |
| JP2022084586A (en) | Entrance control apparatus and entrance control method | |
| JP2019114277A (en) | Information processing device, personal authentication system, control method thereof, personal authentication method, and program therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6993597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |