JP2020021346A - Display control program, display control method, information processing device, and head mount unit - Google Patents

Display control program, display control method, information processing device, and head mount unit Download PDF

Info

Publication number
JP2020021346A
JP2020021346A JP2018145703A JP2018145703A JP2020021346A JP 2020021346 A JP2020021346 A JP 2020021346A JP 2018145703 A JP2018145703 A JP 2018145703A JP 2018145703 A JP2018145703 A JP 2018145703A JP 2020021346 A JP2020021346 A JP 2020021346A
Authority
JP
Japan
Prior art keywords
information
unit
display
user
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018145703A
Other languages
Japanese (ja)
Other versions
JP7103040B2 (en
Inventor
恵子 野田
Keiko Noda
恵子 野田
五十嵐　智
Satoshi Igarashi
智 五十嵐
亮 張
Liang Zhang
亮 張
成弘 米谷
Shigehiro Yonetani
成弘 米谷
康 渡
Ko Watari
康 渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018145703A priority Critical patent/JP7103040B2/en
Publication of JP2020021346A publication Critical patent/JP2020021346A/en
Application granted granted Critical
Publication of JP7103040B2 publication Critical patent/JP7103040B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

To provide a display control program, a display control method, an information processing device, and a head mount unit, which enable quick information cooperation among users with different security levels.SOLUTION: A display control program causes a computer to execute the following processing. The computer recognizes, on the basis of a position of a user in a security area and a captured image corresponding to a field of view of the user, information about an object including information on at least one of a character string and an image, among objects in the captured image. When the recognized information is stored in a storage unit that stores confidential information according to attributes of users, the computer determines an area of the captured image corresponding to the recognized information to be a non-display area. The computer processes information of the determined non-display area in the captured image. The computer displays the processed information of the non-display area.SELECTED DRAWING: Figure 11

Description

本発明は、表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニットに関する。   The present invention relates to a display control program, a display control method, an information processing device, and a head mount unit.

顧客情報等の重要情報や、社内システムの情報を取り扱っているデータセンタ等では、情報漏洩を発生させないためにセキュリティレベルが高く設定されている。例えば、所定のセキュリティエリア内では、入退室管理が行われるとともに、データへのアクセスや外部持ち出しが制限される。また、顧客システムの運用では、障害時に顧客システムを構築した開発ベンダのシステムエンジニア（ＳＥ）がセキュリティエリア内に立ち入って作業を行う場合がある。この様な場合、例えば、顧客システムにおける個人情報の取り扱いについては、利用者（顧客側の担当者やＳＥ、開発側のＳＥ等。）の権限に応じて、表示または非表示の制御を行っている。   In a data center or the like that handles important information such as customer information and information of an in-house system, a high security level is set to prevent information leakage. For example, in a predetermined security area, entry / exit management is performed, and access to data and taking outside are restricted. In the operation of a customer system, a system engineer (SE) of a development vendor who built the customer system in the event of a failure sometimes enters the security area and performs work. In such a case, for example, with regard to the handling of personal information in the customer system, display or non-display is controlled according to the authority of the user (a customer's person in charge or SE, a development side SE, etc.). I have.

特開２０１７−１８４０１５号公報JP 2017-184015 A 特開２０１７−２２８９６３号公報JP 2017-228963 A

しかしながら、障害対応等で、顧客側ＳＥだけでは対処できず、開発側ＳＥの作業が必要となった場合に、適切な利用者の権限が存在しない場合が生じる。例えば、システム開発時点では、非表示にすべき項目では無かった項目が、障害時点では、非表示にすべき項目になっている事象が発生する。また、障害の解析に非表示の項目の参照が必要となった場合に、一時的に非表示の項目を表示可能な権限を開発側ＳＥに設定せざるを得ない状況が生じる。このような障害対応専用の権限設定の追加の改修を顧客システムに行うことは難しく、顧客システム外で対処可能な仕組みを提供することが望ましい。   However, when a customer SE alone cannot cope with a failure or the like, and the work of the development SE becomes necessary, there may be cases where appropriate user authority does not exist. For example, an event occurs in which an item that should not be hidden at the time of system development is an item that should be hidden at the time of failure. In addition, when it is necessary to refer to a non-displayed item for failure analysis, a situation arises in which the right to temporarily display the non-displayed item must be set to the development SE. It is difficult to perform such additional modification of the authority setting dedicated to failure handling on the customer system, and it is desirable to provide a mechanism that can deal with the problem outside the customer system.

一つの側面では、セキュリティレベルの異なる利用者間の情報連携が迅速にできる表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニットを提供することにある。   One aspect of the present invention is to provide a display control program, a display control method, an information processing device, and a head mount unit that can quickly perform information cooperation between users having different security levels.

一つの態様では、表示制御プログラムは、コンピュータに下記の処理を実行させる。コンピュータは、セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち１つ以上の情報を含むオブジェクトについて前記情報を認識する。コンピュータは、認識した前記情報が、前記利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した前記情報に対応する前記撮像画像の領域を非表示にする領域と判定する。コンピュータは、前記撮像画像のうち、判定した前記非表示にする領域の情報を加工する。コンピュータは、加工した前記非表示にする領域の情報を表示させる。   In one aspect, a display control program causes a computer to execute the following processing. The computer includes, based on a position of the user in the security area and a captured image corresponding to the field of view of the user, information on at least one of a character string and an image among objects in the captured image. Recognize the information about the object. The computer, when the recognized information is stored in the storage unit storing the confidential information according to the attribute of the user, hides the area of the captured image corresponding to the recognized information. The area is determined. The computer processes information of the determined non-display area in the captured image. The computer displays the processed information of the non-display area.

セキュリティレベルの異なる利用者間の情報連携が迅速にできる。   Information can be quickly linked between users with different security levels.

図１は、実施例の情報制御システムの構成の一例を示すブロック図である。FIG. 1 is a block diagram illustrating an example of the configuration of the information control system according to the embodiment. 図２は、実施例のＨＭユニットの構成の一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a configuration of the HM unit according to the embodiment. 図３は、実施例のデータベースの構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a configuration of the database according to the embodiment. 図４は、利用者情報ＤＢの一例を示す図である。FIG. 4 is a diagram illustrating an example of the user information DB. 図５は、作業管理ＤＢの一例を示す図である。FIG. 5 is a diagram illustrating an example of the work management DB. 図６は、入室時基本情報ＤＢの一例を示す図である。FIG. 6 is a diagram illustrating an example of the entry-time basic information DB. 図７は、居室内情報ＤＢの一例を示す図である。FIG. 7 is a diagram illustrating an example of the living room information DB. 図８は、Ｗｅｂ設計情報ＤＢの一例を示す図である。FIG. 8 is a diagram illustrating an example of the Web design information DB. 図９は、秘匿対象情報ＤＢの一例を示す図である。FIG. 9 is a diagram illustrating an example of the secrecy target information DB. 図１０は、秘匿情報表示ルールＤＢの一例を示す図である。FIG. 10 is a diagram illustrating an example of the confidential information display rule DB. 図１１は、実施例の情報処理装置の構成の一例を示すブロック図である。FIG. 11 is a block diagram illustrating an example of a configuration of the information processing apparatus according to the embodiment. 図１２は、ログ記憶部の一例を示す図である。FIG. 12 is a diagram illustrating an example of the log storage unit. 図１３は、初期表示の表示画面の一例を示す図である。FIG. 13 is a diagram illustrating an example of the display screen of the initial display. 図１４は、利用者の表示画面の一例を示す図である。FIG. 14 is a diagram illustrating an example of the display screen of the user. 図１５は、利用者の表示画面の他の一例を示す図である。FIG. 15 is a diagram showing another example of the display screen of the user. 図１６は、コンソール画面の一例を示す図である。FIG. 16 is a diagram illustrating an example of the console screen. 図１７は、印刷物のマスキング処理の一例を示す図である。FIG. 17 is a diagram illustrating an example of a masking process of a printed material. 図１８は、端末の画面に対するマスキング処理の一例を示す図である。FIG. 18 is a diagram illustrating an example of a masking process on the screen of the terminal. 図１９は、実施例の認証処理の一例を示すシーケンス図である。FIG. 19 is a sequence diagram illustrating an example of the authentication processing according to the embodiment. 図２０は、実施例の表示制御処理の一例を示すシーケンス図である。FIG. 20 is a sequence diagram illustrating an example of the display control process according to the embodiment. 図２１は、実施例のマスキング処理の一例を示すシーケンス図である。FIG. 21 is a sequence diagram illustrating an example of the masking process according to the embodiment. 図２２は、実施例のマスキング処理の一例を示すシーケンス図である。FIG. 22 is a sequence diagram illustrating an example of the masking process according to the embodiment. 図２３は、表示制御プログラムを実行するコンピュータの一例を示す図である。FIG. 23 is a diagram illustrating an example of a computer that executes a display control program.

以下、図面に基づいて、本願の開示する表示制御プログラム、表示制御方法、情報処理装置およびヘッドマウントユニットの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。   Hereinafter, embodiments of a display control program, a display control method, an information processing device, and a head mount unit disclosed in the present application will be described in detail with reference to the drawings. Note that the disclosed technology is not limited by the present embodiment. Further, the following embodiments may be appropriately combined within a consistent range.

図１は、実施例の情報制御システムの構成の一例を示すブロック図である。図１に示す情報制御システム１は、ヘッドマウントユニット１０（以下、ＨＭユニット１０ともいう。）と、データベース２０と、ビル管理システム３０と、認証システム４０と、ゲート５０と、情報処理装置１００とを有する。なお、情報制御システム１では、ＨＭユニット１０の数は限定されず、任意の数のＨＭユニット１０を有するようにしてもよい。   FIG. 1 is a block diagram illustrating an example of the configuration of the information control system according to the embodiment. The information control system 1 illustrated in FIG. 1 includes a head mount unit 10 (hereinafter, also referred to as an HM unit 10), a database 20, a building management system 30, an authentication system 40, a gate 50, an information processing device 100, Having. In the information control system 1, the number of HM units 10 is not limited, and an arbitrary number of HM units 10 may be provided.

ＨＭユニット１０と、情報処理装置１００との間は、ネットワークＮ１を介して、相互に通信可能に接続される。また、データベース２０と、ビル管理システム３０と、情報処理装置１００との間は、ネットワークＮ２を介して、相互に通信可能に接続される。さらに、ビル管理システム３０と、認証システム４０およびゲート５０との間は、相互に通信可能に接続される。   The HM unit 10 and the information processing apparatus 100 are communicably connected to each other via a network N1. The database 20, the building management system 30, and the information processing apparatus 100 are communicably connected to each other via a network N2. Further, the building management system 30, the authentication system 40, and the gate 50 are communicably connected to each other.

かかるネットワークＮ１，Ｎ２には、有線または無線を問わず、インターネットを始め、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。また、ネットワークＮ１，Ｎ２を介する通信は、例えば、ＴＬＳ（Transport Layer Security）／ＳＳＬ（Secure Sockets Layer）等によって暗号化されるようにしてもよい。   As the networks N1 and N2, any type of communication network such as a LAN (Local Area Network) and a VPN (Virtual Private Network), such as the Internet, can be adopted regardless of whether wired or wireless. Further, communication via the networks N1 and N2 may be encrypted by, for example, TLS (Transport Layer Security) / SSL (Secure Sockets Layer).

情報制御システム１は、例えば、セキュリティルーム内で作業を行う利用者がＨＭユニット１０を装着し、セキュリティルーム内の顧客システムの端末画面等に表示される秘密情報を利用者の権限に応じてマスキングするシステムである。なお、セキュリティルームは、セキュリティエリアの一例である。また、以下の説明では、セキュリティルーム内にある物体、例えば端末装置、ホワイトボード、ポスター、椅子、机等をオブジェクトと称する。さらに、オブジェクトのうち、情報の表示が可能なもの、例えば、端末装置、ホワイトボード、ポスター等を媒体と称する。   In the information control system 1, for example, a user working in a security room wears the HM unit 10, and masks secret information displayed on a terminal screen or the like of a customer system in the security room in accordance with the authority of the user. System. The security room is an example of a security area. In the following description, an object in a security room, for example, a terminal device, a whiteboard, a poster, a chair, a desk, etc., is referred to as an object. Further, among objects, those capable of displaying information, for example, a terminal device, a whiteboard, a poster, and the like are referred to as a medium.

ＨＭユニット１０は、セキュリティルーム内で作業を行う利用者が装着する端末装置である。ＨＭユニット１０は、例えば没入型のＨＭＤ（Head Mounted Display）である。なお、ＨＭユニット１０は、利用者の視界をマスキングできれば、透過型のＨＭＤを用いてもよい。また、ＨＭユニット１０は、外部情報を取得するための外部カメラと、利用者の視線や注視点、生体認証情報を取得する内部カメラとを有する。さらに、ＨＭユニット１０は、周囲の視界を妨げる遮蔽部材を有し、ディスプレイを介した視界以外が利用者から視認出来ない構造である。ＨＭユニット１０は、情報処理装置１００から受信したマスク画像を表示することで、利用者が権限を有しない情報にマスキングを行うことができる。   The HM unit 10 is a terminal device worn by a user who works in a security room. The HM unit 10 is, for example, an immersive HMD (Head Mounted Display). The HM unit 10 may use a transmissive HMD as long as it can mask the field of view of the user. Further, the HM unit 10 includes an external camera for acquiring external information, and an internal camera for acquiring a user's line of sight, a point of gaze, and biometric authentication information. Further, the HM unit 10 has a shielding member that obstructs the view of the surroundings, and has a structure in which the user cannot visually recognize the view other than the view through the display. By displaying the mask image received from the information processing apparatus 100, the HM unit 10 can perform masking on information for which the user does not have authority.

データベース（以下、ＤＢともいう。）２０は、利用者やセキュリティルームの情報、入退室管理や秘匿対象に関する情報等の各種の情報を記憶する。データベース２０は、情報処理装置１００からの要求に基づいて、対応する情報を情報処理装置１００に提供する。また、データベース２０は、情報処理装置１００や、情報制御システム１の管理者等により、情報が更新される。   The database (hereinafter also referred to as DB) 20 stores various information such as information on users and security rooms, information on entry / exit management and information on confidentiality. The database 20 provides corresponding information to the information processing device 100 based on a request from the information processing device 100. The information in the database 20 is updated by an administrator of the information processing apparatus 100 or the information control system 1 or the like.

ビル管理システム３０は、例えば、ビル内の各フロアやセキュリティルームの入退室管理を行う。ビル管理システム３０では、認証システム４０が入退室者の認証を行い、ゲート５０が認証結果に応じて施錠管理を行う。例えば、利用者がＩＤ（IDentifier）カードをゲート５０の読取装置にかざすと、読み取ったＩＤカードの情報に基づいて認証システム４０が認証を行う。ビル管理システム３０は、認証結果が認証ＯＫである場合にゲート５０を解錠する。   The building management system 30 manages, for example, entry / exit of each floor and a security room in the building. In the building management system 30, the authentication system 40 authenticates a person entering and leaving the room, and the gate 50 performs lock management according to the authentication result. For example, when the user holds an ID (IDentifier) card over the reading device of the gate 50, the authentication system 40 performs authentication based on the read information of the ID card. The building management system 30 unlocks the gate 50 when the authentication result indicates that the authentication is OK.

情報処理装置１００は、ＨＭユニット１０を装着した利用者の位置と、ＨＭユニット１０で撮像された撮像画像とに基づいて、セキュリティルーム内の物体（オブジェクト）を認識し、秘密情報を利用者の権限に応じてマスキングする。すなわち、情報処理装置１００は、セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち１つ以上の情報を含むオブジェクトについて情報を認識する。情報処理装置１００は、認識した情報が、利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した情報に対応する撮像画像の領域を非表示にする領域と判定する。情報処理装置１００は、撮像画像のうち、判定した非表示にする領域の情報を加工（マスキング）する。情報処理装置１００は、加工した非表示にする領域の情報をＨＭユニット１０に表示させる。これにより、情報処理装置１００は、利用者ごとに閲覧可能な情報を制御できるので、セキュリティレベルの異なる利用者間の情報連携が迅速にできる。   The information processing apparatus 100 recognizes an object in the security room based on the position of the user wearing the HM unit 10 and the image captured by the HM unit 10, and outputs the secret information of the user. Mask according to authority. That is, based on the position of the user in the security area and the captured image corresponding to the field of view of the user, the information processing apparatus 100 outputs one of a character string and an image among the objects in the captured image. The information is recognized for the object including the above information. When the recognized information is stored in the storage unit that stores the confidential information according to the attribute of the user, the information processing apparatus 100 hides the area of the captured image corresponding to the recognized information. Is determined. The information processing apparatus 100 processes (masks) information of the determined non-display area in the captured image. The information processing apparatus 100 causes the HM unit 10 to display information of the processed non-display area. Thereby, the information processing apparatus 100 can control the information that can be browsed for each user, so that information cooperation between users having different security levels can be performed quickly.

次に、ＨＭユニット１０の構成について説明する。図２は、実施例のＨＭユニットの構成の一例を示すブロック図である。図２に示すように、ＨＭユニット１０は、通信部１１と、表示部１２と、第１撮像部１３と、第２撮像部１４と、制御部１５とを有する。なお、ＨＭユニット１０は、図２に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。   Next, the configuration of the HM unit 10 will be described. FIG. 2 is a block diagram illustrating an example of a configuration of the HM unit according to the embodiment. As shown in FIG. 2, the HM unit 10 includes a communication unit 11, a display unit 12, a first imaging unit 13, a second imaging unit 14, and a control unit 15. The HM unit 10 may include various functional units included in a known computer, for example, various input devices and audio output devices, in addition to the functional units illustrated in FIG. 2.

通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、ネットワークＮ１を介して情報処理装置１００と無線で接続され、情報処理装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、制御部１５から入力された生体情報、位置情報、撮像画像および監視情報を情報処理装置１００に送信する。また、通信部１１は、情報処理装置１００から認証情報、初期表示情報、第１マスク画像、第２マスク画像および警告情報を受信する。通信部１１は、受信した認証情報、初期表示情報、第１マスク画像、第２マスク画像および警告情報を制御部１５に出力する。   The communication unit 11 is realized by, for example, a communication module such as a wireless LAN. The communication unit 11 is a communication interface that is wirelessly connected to the information processing device 100 via the network N1 and manages communication of information with the information processing device 100. The communication unit 11 transmits the biological information, the position information, the captured image, and the monitoring information input from the control unit 15 to the information processing device 100. Further, the communication unit 11 receives the authentication information, the initial display information, the first mask image, the second mask image, and the warning information from the information processing device 100. The communication unit 11 outputs the received authentication information, initial display information, first mask image, second mask image, and warning information to the control unit 15.

表示部１２は、各種情報を表示するための表示デバイスである。表示部１２は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１２は、制御部１５から入力された撮像画像、初期表示の画像、第１マスク画像および第２マスク画像等の各種画像に基づく画面を表示する。なお、表示部１２の周囲には、表示部１２以外の視界を遮る遮蔽部材が設けられている。   The display unit 12 is a display device for displaying various information. The display unit 12 is realized by, for example, a liquid crystal display or the like as a display device. The display unit 12 displays a screen based on various images such as a captured image, an initial display image, a first mask image, and a second mask image input from the control unit 15. In addition, a shielding member that blocks a field of view other than the display unit 12 is provided around the display unit 12.

第１撮像部１３は、ＨＭユニット１０の外部の情報を取得する外部カメラである。第１撮像部１３は、例えば、撮像素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて、画像を撮像する。第１撮像部１３は、撮像素子が受光した光を光電変換しＡ／Ｄ（Analog／Digital）変換を行って画像を生成する。第１撮像部１３は、生成した画像を制御部１５に出力する。なお、第１撮像部１３から出力する撮像画像は、ＨＭユニット１０を装着した利用者の視界に対応する撮像画像である。   The first imaging unit 13 is an external camera that acquires information outside the HM unit 10. The first imaging unit 13 captures an image using, for example, a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor as an imaging element. The first imaging unit 13 generates an image by performing photoelectric conversion on light received by the imaging element and performing A / D (Analog / Digital) conversion. The first imaging unit 13 outputs the generated image to the control unit 15. Note that the captured image output from the first imaging unit 13 is a captured image corresponding to the field of view of the user wearing the HM unit 10.

第２撮像部１４は、ＨＭユニット１０を装着した利用者の視線や注視点、生体認証情報を取得する内部カメラである。第２撮像部１４は、例えば、撮像素子としてＣＭＯＳイメージセンサまたはＣＣＤイメージセンサ等を用いて、画像を撮像する。第２撮像部１４は、撮像素子が受光した光を光電変換しＡ／Ｄ変換を行って画像を生成する。第２撮像部１４は、生成した画像を制御部１５に出力する。第２撮像部１４から出力する撮像画像は、ＨＭユニット１０を装着した利用者の生体情報、および、視線や注視点に関する視線情報の生成元となる撮像画像である。   The second imaging unit 14 is an internal camera that acquires a line of sight, a gazing point, and biometric authentication information of a user wearing the HM unit 10. The second imaging unit 14 captures an image using, for example, a CMOS image sensor or a CCD image sensor as an imaging element. The second imaging unit 14 generates an image by performing photoelectric conversion on the light received by the imaging element and performing A / D conversion. The second imaging unit 14 outputs the generated image to the control unit 15. The captured image output from the second imaging unit 14 is a captured image that is a source of biometric information of the user wearing the HM unit 10 and line of sight information regarding the line of sight and gazing point.

制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。   The control unit 15 is realized, for example, by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like executing a program stored in an internal storage device using a RAM as a work area. Further, the control unit 15 may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

制御部１５は、ＨＭユニット１０の動作を制御する。制御部１５は、通信部１１を用いて無線ＬＡＮを利用した測位を行い、利用者の位置情報を取得する。制御部１５は、通信部１１およびネットワークＮ１を介して、取得した位置情報を情報処理装置１００に送信する。すなわち、制御部１５は、セキュリティエリア（ルーム）内における利用者の位置を検出可能である。   The control unit 15 controls the operation of the HM unit 10. The control unit 15 performs positioning using the wireless LAN by using the communication unit 11 and acquires position information of the user. The control unit 15 transmits the acquired position information to the information processing device 100 via the communication unit 11 and the network N1. That is, the control unit 15 can detect the position of the user in the security area (room).

制御部１５は、第１撮像部１３から入力された撮像画像を表示部１２に表示するとともに、通信部１１およびネットワークＮ１を介して、情報処理装置１００に送信する。   The control unit 15 displays the captured image input from the first imaging unit 13 on the display unit 12 and transmits the captured image to the information processing device 100 via the communication unit 11 and the network N1.

制御部１５は、第２撮像部１４から入力された撮像画像に基づいて、利用者の虹彩を抽出して生体情報を生成する。制御部１５は、通信部１１およびネットワークＮ１を介して、生成した生体情報を情報処理装置１００に送信する。つまり、第２撮像部１４および制御部１５は、生体認証装置の一例である。   The control unit 15 extracts the iris of the user based on the captured image input from the second imaging unit 14 and generates biological information. The control unit 15 transmits the generated biological information to the information processing device 100 via the communication unit 11 and the network N1. That is, the second imaging unit 14 and the control unit 15 are examples of the biometric authentication device.

制御部１５は、ネットワークＮ１および通信部１１を介して、情報処理装置１００から利用者の操作の監視を指示されると、第２撮像部１４から入力された撮像画像に基づいて、視線や注視点に関する視線情報を生成する。制御部１５は、第１撮像部１３から入力された撮像画像に基づいて、利用者が注視する画面等の情報を生成する。制御部１５は、生成した視線情報と、利用者が注視する画面等の情報とを含む監視情報を生成する。制御部１５は、通信部１１およびネットワークＮ１を介して、生成した監視情報を情報処理装置１００に送信する。   When instructed by the information processing apparatus 100 to monitor the operation of the user via the network N1 and the communication unit 11, the control unit 15 controls the line of sight and the attention based on the captured image input from the second imaging unit 14. Generate line-of-sight information about the viewpoint. The control unit 15 generates information such as a screen on which the user gazes based on the captured image input from the first imaging unit 13. The control unit 15 generates monitoring information including the generated line-of-sight information and information such as a screen on which the user gazes. The control unit 15 transmits the generated monitoring information to the information processing device 100 via the communication unit 11 and the network N1.

制御部１５は、ネットワークＮ１および通信部１１を介して、情報処理装置１００から入室を許可する旨の認証情報を受信すると、位置情報および撮像画像の取得を開始する。また、制御部１５は、入室を許可する旨の認証情報の受信後に、所定の間隔で生体情報を生成し、従前の生体情報と一致するか否かを判定する。すなわち、制御部１５は、利用者について所定の間隔で認証を行う。制御部１５は、従前の生体情報と一致しない場合、通信部１１およびネットワークＮ１を介して、新たに生成した生体情報を情報処理装置１００に送信する。制御部１５は、ネットワークＮ１および通信部１１を介して、情報処理装置１００から警告情報を受信すると、例えば表示部１２に警告画面を表示するとともに、図示しないスピーカから警告音を出力する。つまり、制御部１５は、利用者がＨＭユニット１０を外した場合に警告することができる。   When receiving the authentication information for permitting entry from the information processing apparatus 100 via the network N1 and the communication unit 11, the control unit 15 starts acquiring position information and a captured image. After receiving the authentication information for permitting entry into the room, the control unit 15 generates biometric information at predetermined intervals, and determines whether or not the biometric information matches the biometric information before. That is, the control unit 15 authenticates the user at predetermined intervals. The control unit 15 transmits the newly generated biometric information to the information processing device 100 via the communication unit 11 and the network N1 when the biometric information does not match the conventional biometric information. When receiving the warning information from the information processing device 100 via the network N1 and the communication unit 11, the control unit 15 displays a warning screen on the display unit 12, for example, and outputs a warning sound from a speaker (not shown). That is, the control unit 15 can issue a warning when the user removes the HM unit 10.

また、制御部１５は、ネットワークＮ１および通信部１１を介して、情報処理装置１００から初期表示情報を受信すると、初期表示の画像を表示部１２に表示する。なお、初期表示の画像は、例えば、セキュリティルームに入室した際の位置において予め撮像された画像に対し、秘匿対象の情報を含むオブジェクトをマスキングした画像である。   Further, when receiving the initial display information from the information processing apparatus 100 via the network N1 and the communication unit 11, the control unit 15 displays an image of the initial display on the display unit 12. Note that the image of the initial display is, for example, an image obtained by masking an object including information to be concealed with respect to an image captured in advance at a position when entering the security room.

制御部１５は、ネットワークＮ１および通信部１１を介して、情報処理装置１００から第１マスク画像または第２マスク画像を受信すると、表示部１２に受信した第１マスク画像または第２マスク画像を表示する。   When receiving the first mask image or the second mask image from the information processing device 100 via the network N1 and the communication unit 11, the control unit 15 displays the received first mask image or the second mask image on the display unit 12. I do.

言い換えると、ＨＭユニット１０は、利用者に装着して移動可能な装置である。また、ＨＭユニット１０は、カメラで撮像された画像を表示するディスプレイを備えたヘッドマウントユニットである。制御部１５は、カメラで撮像された画像から文字が検出されると、検出された文字について秘匿化処理を施してディスプレイに表示する第１の制御を実行する。制御部１５は、検出された文字のうち秘匿化対象の文字に制限して秘匿化処理を施してディスプレイに表示する第２の制御を実行する。また、第１の制御は、ヘッドマウントユニットに搭載されたセンサにより移動中であることが検知された場合に実行される。また、第２の制御は、ヘッドマウントユニットに搭載されたセンサにより非移動中であることの検知、所定の物の検知、所定の画面の検知、所定のフォームの検知、のいずれか、または、複数の組み合わせに応じて実行される。また、制御部１５は、カメラで撮像された画像から所定の画面または所定のフォームが検知された場合に、所定の画面または所定のフォームに対応づけられた特定の箇所または文字について秘匿化処理を施した画像をディスプレイに表示させる。   In other words, the HM unit 10 is a device that can be worn by a user and movable. The HM unit 10 is a head mounted unit including a display for displaying an image captured by a camera. When a character is detected from an image captured by the camera, the control unit 15 performs a first control of performing concealment processing on the detected character and displaying the concealed character on a display. The control unit 15 executes a second control of performing a concealment process by restricting the characters to be concealed among the detected characters, and displaying the concealment process on a display. The first control is executed when a sensor mounted on the head mount unit detects that it is moving. In addition, the second control is performed by a sensor mounted on the head mount unit to detect non-moving, detection of a predetermined object, detection of a predetermined screen, detection of a predetermined form, or It is executed according to a plurality of combinations. In addition, when a predetermined screen or a predetermined form is detected from an image captured by the camera, the control unit 15 performs concealment processing on a specific portion or character associated with the predetermined screen or the predetermined form. Display the applied image on the display.

続いて、データベース２０の構成について説明する。データベース２０は、内部の記憶部として、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。図３は、実施例のデータベースの構成の一例を示すブロック図である。図３に示すように、データベース２０は、利用者情報ＤＢ２１、作業管理ＤＢ２２、入室時基本情報ＤＢ２３、文字列情報ＤＢ２４、居室内情報ＤＢ２５、Ｗｅｂ設計情報ＤＢ２６、秘匿対象情報ＤＢ２７および秘匿情報表示ルールＤＢ２８を有する。   Next, the configuration of the database 20 will be described. The database 20 is realized by, for example, a semiconductor memory element such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk as an internal storage unit. FIG. 3 is a block diagram illustrating an example of a configuration of the database according to the embodiment. As shown in FIG. 3, the database 20 includes a user information DB 21, a work management DB 22, a basic entry information DB 23, a character string information DB 24, a room information DB 25, a web design information DB 26, a secrecy target information DB 27, and a secrecy information display rule. It has DB28.

利用者情報ＤＢ２１は、利用者の氏名やセキュリティ権限を利用者ＩＤに対応付けて記憶する。図４は、利用者情報ＤＢの一例を示す図である。図４に示すように、利用者情報ＤＢ２１は、「利用者ＩＤ」、「氏名（漢字）」、「氏名（かな）」、「所属会社」、「連絡先」、「所属先責任者」、「所属先責任者連絡先」、「セキュリティ権限」といった項目を有する。また、利用者情報ＤＢ２１は、利用者ごとの生体情報、例えば虹彩の情報等を記憶する。   The user information DB 21 stores a user's name and security authority in association with a user ID. FIG. 4 is a diagram illustrating an example of the user information DB. As shown in FIG. 4, the user information DB 21 stores “user ID”, “name (kanji)”, “name (kana)”, “affiliation company”, “contact information”, “affiliation manager”, It has items such as “contact information of the person in charge of belonging” and “security authority”. The user information DB 21 stores biological information for each user, for example, information on the iris.

「利用者ＩＤ」は、利用者を識別する識別子である。「氏名（漢字）」および「氏名（かな）」は、利用者の氏名を、それぞれ漢字とかなで表す情報である。「所属会社」は、利用者が所属する会社名を示す情報である。「連絡先」は、利用者の連絡先を示す情報である。「所属先責任者」は、利用者が所属する会社の責任者を示す情報である。「所属先責任者連絡先」は、利用者が所属する会社の責任者の連絡先を示す情報である。「セキュリティ権限」は、セキュリティルーム内の情報に対して、利用者に設定されたセキュリティに関する権限を示す情報である。   “User ID” is an identifier for identifying a user. “Name (Kanji)” and “Name (Kana)” are information representing the user's name in Kanji and Kana, respectively. “Affiliated company” is information indicating the name of the company to which the user belongs. “Contact information” is information indicating the contact information of the user. The “affiliation manager” is information indicating the manager of the company to which the user belongs. “Affiliation contact person in charge” is information indicating the contact information of the person in charge of the company to which the user belongs. “Security authority” is information indicating the security authority set for the user with respect to the information in the security room.

図３の説明に戻って、作業管理ＤＢ２２は、セキュリティルーム内において、誰がいつどの様な作業をするかを示す情報を記憶する。図５は、作業管理ＤＢの一例を示す図である。図５に示すように、作業管理ＤＢ２２は、「作業管理ＩＤ」、「依頼日」、「作業予定開始終了日時」、「実作業開始終了日時」、「利用者ＩＤ」、「アクセス予定画面帳票」、「アクセス予定ＤＢ」といった項目を有する。   Returning to the description of FIG. 3, the work management DB 22 stores information indicating who performs what work and when in the security room. FIG. 5 is a diagram illustrating an example of the work management DB. As shown in FIG. 5, the work management DB 22 stores “work management ID”, “request date”, “work scheduled start and end date and time”, “actual work start and end date and time”, “user ID”, and “access scheduled screen form”. , "Access schedule DB".

「作業管理ＩＤ」は、セキュリティルーム内で実施される作業を識別する識別子である。「依頼日」は、当該作業が依頼された日を示す情報である。「作業予定開始終了日時」は、作業の予定開始日時または予定終了日時を示す情報である。「実作業開始終了日時」は、実際に行われた作業の開始日時または終了日時を示す情報である。「利用者ＩＤ」は、当該作業に従事する利用者を示す情報である。「アクセス予定画面帳票」は、当該作業でアクセス予定の顧客システムの画面や帳票を示す情報である。「アクセス予定ＤＢ」は、当該作業でアクセス予定の顧客システムのデータベースを示す情報である。   “Work management ID” is an identifier for identifying a work performed in the security room. The “request date” is information indicating the date on which the work was requested. “Scheduled work start and end date and time” is information indicating the scheduled work start and end date and time. The “actual work start end date and time” is information indicating the start date and time or the end date and time of the work actually performed. “User ID” is information indicating a user engaged in the work. The “access scheduled screen form” is information indicating a screen or a form of the customer system to be accessed in the work. “Access schedule DB” is information indicating a database of a customer system to be accessed in the work.

図３の説明に戻って、入室時基本情報ＤＢ２３は、利用者がセキュリティルームに入室したゲート５０の位置から撮像した撮像画像に、オブジェクトまたは媒体の位置を対応付けた画像を記憶する。図６は、入室時基本情報ＤＢの一例を示す図である。図６に示すように、入室時基本情報ＤＢ２３は、「ルームＩＤ」、「ルーム名」、「画像」、「取得日時」といった項目を有する。   Returning to the description of FIG. 3, the entry-time basic information DB 23 stores an image in which the position of an object or a medium is associated with a captured image captured from the position of the gate 50 where the user has entered the security room. FIG. 6 is a diagram illustrating an example of the entry-time basic information DB. As shown in FIG. 6, the entry basic information DB 23 has items such as “room ID”, “room name”, “image”, and “acquisition date”.

「ルームＩＤ」は、セキュリティルームを識別する識別子である。「ルーム名」は、セキュリティルームの名称を示す情報である。「画像」は、利用者がセキュリティルームに入室したゲート５０の位置から撮像した撮像画像に、オブジェクトまたは媒体の位置を対応付けた画像のファイル名を示す情報である。なお、画像自体は、入室時基本情報ＤＢ２３の図示しない記憶領域に記憶される。また、「画像」は、適宜ＨＭユニット１０において撮像された撮像画像に基づいて更新される。「取得日時」は、画像を取得した日時を示す情報である。   “Room ID” is an identifier for identifying a security room. “Room name” is information indicating the name of the security room. The “image” is information indicating a file name of an image in which a position of an object or a medium is associated with a captured image captured from the position of the gate 50 when the user enters the security room. The image itself is stored in a storage area (not shown) of the entry basic information DB 23. The “image” is appropriately updated based on a captured image captured by the HM unit 10. “Acquisition date and time” is information indicating the date and time when the image was acquired.

図３の説明に戻って、文字列情報ＤＢ２４は、媒体に表示された文字列を識別するための辞書情報を記憶する。文字列情報ＤＢ２４は、例えば、文字ごとに字形や特徴点等のパターンを記憶し、撮像画像内の文字列を光学文字認識（ＯＣＲ：Optical Character Recognition）によって認識するために用いる。なお、文字列情報ＤＢ２４は、機械学習によって文字を学習させた学習モデルとしてもよい。   Returning to the description of FIG. 3, the character string information DB 24 stores dictionary information for identifying a character string displayed on the medium. The character string information DB 24 stores, for example, patterns such as character shapes and characteristic points for each character, and is used for recognizing a character string in a captured image by optical character recognition (OCR: Optical Character Recognition). Note that the character string information DB 24 may be a learning model in which characters are learned by machine learning.

居室内情報ＤＢ２５は、セキュリティルーム内の媒体の座標を記憶する。図７は、居室内情報ＤＢの一例を示す図である。図７に示すように、居室内情報ＤＢ２５は、「ルームＩＤ」、「コンテンツＩＤ」、「コンテンツ名」、「画像」、「取得日時」、「座標」、「秘匿レベル」といった項目を有する。   The living room information DB 25 stores the coordinates of the medium in the security room. FIG. 7 is a diagram illustrating an example of the living room information DB. As shown in FIG. 7, the living room information DB 25 has items such as “room ID”, “content ID”, “content name”, “image”, “acquisition date and time”, “coordinates”, and “confidential level”.

「ルームＩＤ」は、セキュリティルームを識別する識別子である。「コンテンツＩＤ」は、媒体を識別する識別子である。「コンテンツ名」は、媒体の名称を示す情報である。「画像」は、対応する媒体の撮像画像のファイル名を示す情報である。なお、画像自体は、居室内情報ＤＢ２５の図示しない記憶領域に記憶される。「取得日時」は、画像を取得した日時を示す情報である。「座標」は、セキュリティルーム内の媒体の位置を示す情報である。「秘匿レベル」は、媒体に表示される情報の秘匿レベルを示す情報である。   “Room ID” is an identifier for identifying a security room. “Content ID” is an identifier for identifying a medium. “Content name” is information indicating the name of the medium. “Image” is information indicating the file name of the captured image of the corresponding medium. The image itself is stored in a storage area (not shown) of the living room information DB 25. “Acquisition date and time” is information indicating the date and time when the image was acquired. “Coordinates” are information indicating the position of the medium in the security room. “Confidential level” is information indicating the confidential level of the information displayed on the medium.

図３の説明に戻って、Ｗｅｂ設計情報ＤＢ２６は、顧客システムにおけるＷｅｂ画面の表示項目等の設計情報を記憶する。図８は、Ｗｅｂ設計情報ＤＢの一例を示す図である。図８に示すように、Ｗｅｂ設計情報ＤＢ２６は、画面帳票構成情報２６ａと、画面帳票項目２６ｂと、画面帳票情報２６ｃと、画面帳票遷移情報２６ｄとを有する。   Returning to the description of FIG. 3, the web design information DB 26 stores design information such as display items on a web screen in the customer system. FIG. 8 is a diagram illustrating an example of the Web design information DB. As shown in FIG. 8, the Web design information DB 26 has screen form configuration information 26a, screen form items 26b, screen form information 26c, and screen form transition information 26d.

画面帳票構成情報２６ａは、「画面帳票ＩＤ」、「項目ＩＤ」、「座標」、「フォント」といった項目を有する。「画面帳票ＩＤ」は、画面に表示される帳票を識別する識別子である。「項目ＩＤ」は、帳票内の各項目を識別する識別子である。「座標」は、画面内における項目の座標を示す情報である。「フォント」は、項目におけるフォントサイズを示す情報である。   The screen form configuration information 26a has items such as “screen form ID”, “item ID”, “coordinates”, and “font”. “Screen form ID” is an identifier for identifying a form displayed on the screen. “Item ID” is an identifier for identifying each item in the form. “Coordinates” are information indicating the coordinates of items on the screen. “Font” is information indicating the font size of the item.

画面帳票項目２６ｂは、「画面帳票ＩＤ」、「項目ＩＤ」、「項目名」、「セキュリティレベル」、「設計情報」といった項目を有する。「画面帳票ＩＤ」は、画面に表示される帳票を識別する識別子である。「項目ＩＤ」は、帳票内の各項目を識別する識別子である。「項目名」は、項目の名称を示す情報である。「セキュリティレベル」は、項目ごとに設定されたセキュリティレベルを示す情報である。「セキュリティレベル」は、例えば、数値が大きいほどセキュリティレベルが高いことを示す。「設計情報」は、項目が入力可能なフィールドであるか、入力不可能なラベルであるかといった項目に関する設計事項を示す情報である。   The screen form item 26b has items such as “screen form ID”, “item ID”, “item name”, “security level”, and “design information”. “Screen form ID” is an identifier for identifying a form displayed on the screen. “Item ID” is an identifier for identifying each item in the form. “Item name” is information indicating the name of an item. “Security level” is information indicating a security level set for each item. The “security level” indicates that, for example, the larger the numerical value, the higher the security level. “Design information” is information indicating design items related to an item, such as whether the item is a field that can be input or a label that cannot be input.

画面帳票情報２６ｃは、「画面帳票ＩＤ」、「画面名」、「項目量」といった項目を有する。「画面帳票ＩＤ」は、画面に表示される帳票を識別する識別子である。「画面名」は、画面に表示される帳票の名称を示す情報である。「項目量」は、当該画面における項目の数を示す情報である。   The screen form information 26c has items such as “screen form ID”, “screen name”, and “item amount”. “Screen form ID” is an identifier for identifying a form displayed on the screen. “Screen name” is information indicating the name of a form displayed on the screen. “Item quantity” is information indicating the number of items on the screen.

画面帳票遷移情報２６ｄは、「親画面帳票ＩＤ」、「子画面帳票ＩＤ」といった項目を有する。「親画面帳票ＩＤ」と「子画面帳票ＩＤ」は、画面の親子関係を示す情報である。   The screen form transition information 26d has items such as “parent screen form ID” and “child screen form ID”. The “parent screen form ID” and the “child screen form ID” are information indicating the parent-child relationship of the screen.

図３の説明に戻って、秘匿対象情報ＤＢ２７は、秘匿対象の項目や秘匿レベルを記憶する。図９は、秘匿対象情報ＤＢの一例を示す図である。図９に示すように、秘匿対象情報ＤＢ２７は、秘匿ルール２７ａと、秘匿グループルール２７ｂとを有する。   Returning to the description of FIG. 3, the secrecy target information DB 27 stores the secrecy target items and the secrecy level. FIG. 9 is a diagram illustrating an example of the secrecy target information DB. As shown in FIG. 9, the secrecy target information DB 27 has a secrecy rule 27a and a secrecy group rule 27b.

秘匿ルール２７ａは、「秘匿管理ＩＤ」、「項目名」、「秘匿レベル」といった項目を有する。「秘匿管理ＩＤ」は、秘匿する項目を識別する識別子である。「項目名」は、秘匿する項目を示す情報である。「秘匿レベル」は、利用者のセキュリティ権限に応じて、当該項目を秘匿するか否かを制御するための情報である。   The security rule 27a has items such as “security management ID”, “item name”, and “security level”. “Confidentiality management ID” is an identifier for identifying an item to be concealed. “Item name” is information indicating an item to be kept secret. “Confidential level” is information for controlling whether or not to conceal the item according to the security authority of the user.

秘匿グループルール２７ｂは、「グループＩＤ」、「秘匿管理ＩＤ」といった項目を有する。「グループＩＤ」は、秘匿管理ＩＤをグループに分けて管理する際におけるグループを識別する識別子である。「秘匿管理ＩＤ」は、秘匿する項目を識別する識別子である。   The secret group rule 27b has items such as “group ID” and “secret management ID”. The “group ID” is an identifier for identifying a group when the security management ID is divided into groups and managed. “Confidentiality management ID” is an identifier for identifying an item to be concealed.

図３の説明に戻って、秘匿情報表示ルールＤＢ２８は、媒体の秘匿対象の文字を置き換えるための表示ルールを記憶する。図１０は、秘匿情報表示ルールＤＢの一例を示す図である。図１０に示すように、秘匿情報表示ルールＤＢ２８は、「ルールＩＤ」、「変換対象」、「枝版」、「フォント」、「色」、「開始位置」、「文字数」、「置き換え値」といった項目を有する。   Returning to the description of FIG. 3, the confidential information display rule DB 28 stores a display rule for replacing a confidential character on a medium. FIG. 10 is a diagram illustrating an example of the confidential information display rule DB. As shown in FIG. 10, the confidential information display rule DB 28 includes “rule ID”, “conversion target”, “branch”, “font”, “color”, “start position”, “number of characters”, and “replacement value”. Items.

「ルールＩＤ」は、文字を置き換えるための表示ルールを識別する識別子である。「変換対象」は、文字を置き換える対象となる項目を示す情報である。「枝版」は、当該ルールの改版数を示す枝番の情報である。「フォント」は、置き換え値の文字のフォントを示す情報である。「色」は、置き換え値の文字の色を示す情報である。「開始位置」は、文字を置き換える対象となる項目において、何文字目から置き換えるかを示す情報である。「文字数」は、開始位置から何文字を置き換えるかを示す情報である。「置き換え値」は、置き換える文字を示す情報である。   "Rule ID" is an identifier for identifying a display rule for replacing characters. “Conversion target” is information indicating an item to be replaced with a character. “Branch edition” is information of a branch number indicating the number of revisions of the rule. “Font” is information indicating the font of the character of the replacement value. “Color” is information indicating the color of the character of the replacement value. The “start position” is information indicating from which character the item to be replaced is to be replaced. “Number of characters” is information indicating how many characters to replace from the start position. “Replacement value” is information indicating a character to be replaced.

次に、情報処理装置１００の構成について説明する。図１１は、実施例の情報処理装置の構成の一例を示すブロック図である。図１１に示すように、情報処理装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、図１１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。   Next, the configuration of the information processing apparatus 100 will be described. FIG. 11 is a block diagram illustrating an example of a configuration of the information processing apparatus according to the embodiment. As illustrated in FIG. 11, the information processing device 100 includes a communication unit 110, a display unit 111, an operation unit 112, a storage unit 120, and a control unit 130. Note that the information processing apparatus 100 may include various functional units included in a known computer in addition to the functional units illustrated in FIG. 11, for example, functional units such as various input devices and audio output devices.

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）や無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１０は、ネットワークＮ１を介してＨＭユニット１０と有線または無線で接続され、ＨＭユニット１０との間で情報の通信を司る通信インタフェースである。また、通信部１１０は、ネットワークＮ２を介してデータベース２０およびビル管理システム３０と接続され、データベース２０およびビル管理システム３０との間で情報の通信を司る通信インタフェースである。   The communication unit 110 is realized by, for example, a communication module such as a NIC (Network Interface Card) or a wireless LAN. The communication unit 110 is a communication interface that is connected to the HM unit 10 via a network N1 by wire or wirelessly, and controls information communication with the HM unit 10. The communication unit 110 is a communication interface that is connected to the database 20 and the building management system 30 via the network N2, and manages communication of information between the database 20 and the building management system 30.

通信部１１０は、ＨＭユニット１０から生体情報、位置情報、撮像画像および監視情報を受信する。通信部１１０は、受信した生体情報、位置情報、撮像画像および監視情報を制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力された認証情報、初期表示情報、第１マスク画像、第２マスク画像および警告情報をＨＭユニット１０に送信する。さらに、通信部１１０は、制御部１３０から入力されたデータベース２０への要求をデータベース２０に送信するとともに、要求に対応する情報をデータベース２０から受信して制御部１３０に出力する。また、通信部１１０は、ビル管理システム３０との間でセキュリティルームに関する認証情報を送受信する。   The communication unit 110 receives the biological information, the position information, the captured image, and the monitoring information from the HM unit 10. The communication unit 110 outputs the received biological information, position information, captured image, and monitoring information to the control unit 130. In addition, the communication unit 110 transmits the authentication information, the initial display information, the first mask image, the second mask image, and the warning information input from the control unit 130 to the HM unit 10. Further, the communication unit 110 transmits a request to the database 20 input from the control unit 130 to the database 20, and receives information corresponding to the request from the database 20 and outputs the information to the control unit 130. The communication unit 110 transmits and receives authentication information regarding the security room to and from the building management system 30.

表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。   The display unit 111 is a display device for displaying various information. The display unit 111 is realized by, for example, a liquid crystal display or the like as a display device. The display unit 111 displays various screens such as a display screen input from the control unit 130.

操作部１１２は、情報処理装置１００の管理者から各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、管理者によって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。   The operation unit 112 is an input device that receives various operations from the administrator of the information processing device 100. The operation unit 112 is realized by, for example, a keyboard, a mouse, or the like as an input device. The operation unit 112 outputs the operation input by the administrator to the control unit 130 as operation information. The operation unit 112 may be realized by a touch panel or the like as an input device, or the display device of the display unit 111 and the input device of the operation unit 112 may be integrated.

記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、ログ記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。   The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 120 includes a log storage unit 121. The storage unit 120 stores information used for processing in the control unit 130.

ログ記憶部１２１は、セキュリティルームに入室する利用者について、入室時から退室時までの閲覧情報や操作ログ等を記憶する。図１２は、ログ記憶部の一例を示す図である。図１２に示すように、ログ記憶部１２１は、認証・入室情報１２１ａと、移動ログ１２１ｂと、閲覧情報１２１ｃと、操作ログ１２１ｄと、マスキング対象データ１２１ｅと、退出情報１２１ｆとを有する。   The log storage unit 121 stores browsing information, operation logs, and the like from the time of entry to the time of exit from the user who enters the security room. FIG. 12 is a diagram illustrating an example of the log storage unit. As shown in FIG. 12, the log storage unit 121 has authentication / entry information 121a, a movement log 121b, browsing information 121c, an operation log 121d, masking target data 121e, and exit information 121f.

認証・入室情報１２１ａは、「管理ＩＤ」、「利用者ＩＤ」、「認証日」、「認証時刻」、「入室情報（時刻）」、「入室ルーム」といった項目を有する。「管理ＩＤ」は、利用者が入室してから退室するまでの一連の動作に対して割り振られ、ログを管理するための識別子である。「利用者ＩＤ」は、ログの取得対象となる利用者を識別する識別子である。「認証日」は、セキュリティルームへの入室のためにビル管理システム３０を介して認証システム４０で認証された日を示す情報である。「認証時刻」は、認証日と同様に、認証システム４０で認証された時刻を示す情報である。「入室情報（時刻）」は、認証後に利用者がゲート５０を通過してセキュリティルームに入室した時刻を示す情報である。「入室ルーム」は、利用者が入室したセキュリティルームを示す情報である。「入室ルーム」は、例えばルームＩＤやセキュリティルームの名称等を用いることができる。なお、認証・入室情報１２１ａは、認証がＮＧとなった場合でも、その旨を記憶するようにしてもよい。   The authentication / entrance information 121a has items such as “management ID”, “user ID”, “authentication date”, “authentication time”, “entry information (time)”, and “entrance room”. The “management ID” is an identifier for managing a log, which is assigned to a series of operations from the time a user enters a room until the user leaves the room. “User ID” is an identifier for identifying a user whose log is to be acquired. “Authentication date” is information indicating the date of authentication by the authentication system 40 via the building management system 30 for entering the security room. The “authentication time” is information indicating the time at which the authentication was performed by the authentication system 40, like the authentication date. The “entrance information (time)” is information indicating the time at which the user passed through the gate 50 and entered the security room after authentication. “Entry room” is information indicating the security room into which the user has entered. As the “entrance room”, for example, a room ID, a security room name, or the like can be used. Note that the authentication / entrance information 121a may be stored even if the authentication is NG.

移動ログ１２１ｂは、「管理ＩＤ」、「取得日」、「取得時刻」、「滞在場所」といった項目を有する。「管理ＩＤ」は、ログを管理するための識別子である。「取得日」は、利用者の位置情報を取得した日を示す情報である。「取得時刻」は、利用者の位置情報を取得した時刻を示す情報である。「滞在場所」は、利用者の位置情報である、セキュリティルーム内の座標を示す情報である。すなわち、移動ログ１２１ｂは、セキュリティルームに入室した利用者の所定時間ごとの位置を記憶する。   The movement log 121b has items such as “management ID”, “acquisition date”, “acquisition time”, and “stay place”. “Management ID” is an identifier for managing logs. “Acquisition date” is information indicating the date on which the position information of the user was acquired. “Acquisition time” is information indicating the time at which the position information of the user was acquired. The “stay place” is information indicating coordinates in the security room, which is position information of the user. That is, the movement log 121b stores the position of the user who has entered the security room at predetermined time intervals.

閲覧情報１２１ｃは、「管理ＩＤ」、「取得日」、「取得時刻」、「閲覧媒体ＩＤ」、「閲覧詳細」、「閲覧時間」、「視覚情報、閲覧情報」、「マスキングフラグ」といった項目を有する。「管理ＩＤ」は、ログを管理するための識別子である。「取得日」は、閲覧情報の取得日、つまり利用者が媒体を閲覧した日を示す情報である。「取得時刻」は、閲覧情報の取得時刻、つまり利用者が媒体を閲覧した時刻を示す情報である。「閲覧媒体ＩＤ」は、利用者が閲覧した媒体を識別する識別子である。「閲覧詳細」は、閲覧した顧客システムの端末の画面等におけるアプリケーションＩＤやログ名等を示す情報である。「閲覧時間」は、当該媒体を閲覧していた時間を示す情報である。「視覚情報、閲覧情報」は、具体的な視覚情報や文字化された閲覧情報を示す情報である。「マスキングフラグ」は、利用者に対して、当該媒体の情報をマスキングしたか否かを示す情報である。   The browsing information 121c includes items such as “management ID”, “acquisition date”, “acquisition time”, “browsing medium ID”, “browsing details”, “browsing time”, “visual information, browsing information”, and “masking flag”. Having. “Management ID” is an identifier for managing logs. The “acquisition date” is information indicating the acquisition date of the browsing information, that is, the date on which the user browsed the medium. “Acquisition time” is information indicating the acquisition time of the browsing information, that is, the time when the user browsed the medium. The “viewing medium ID” is an identifier for identifying a medium viewed by the user. “Browsing details” is information indicating an application ID, a log name, and the like on a screen of a terminal of a customer system that has been viewed. “Browsing time” is information indicating the time of browsing the medium. The “visual information, browsing information” is information indicating specific visual information or characterized browsing information. The “masking flag” is information indicating whether or not the information of the medium has been masked for the user.

操作ログ１２１ｄは、「管理ＩＤ」、「取得日」、「取得時刻」、「入力情報」といった項目を有する。「管理ＩＤ」は、ログを管理するための識別子である。「取得日」は、操作ログの取得日、つまり利用者が顧客システムの端末を操作した日を示す情報である。「取得時刻」は、操作ログの取得時刻、つまり利用者が顧客システムの端末を操作した時刻を示す情報である。「入力情報」は、利用者が顧客システムの端末に入力した操作コマンド等を示す情報である。   The operation log 121d has items such as “management ID”, “acquisition date”, “acquisition time”, and “input information”. “Management ID” is an identifier for managing logs. The “acquisition date” is information indicating the acquisition date of the operation log, that is, the date on which the user operated the terminal of the customer system. The “acquisition time” is information indicating the acquisition time of the operation log, that is, the time when the user operated the terminal of the customer system. “Input information” is information indicating an operation command or the like input by a user to a terminal of the customer system.

マスキング対象データ１２１ｅは、「管理ＩＤ」、「取得日」、「取得時刻」、「データ内容」といった項目を有する。「管理ＩＤ」は、ログを管理するための識別子である。「取得日」は、マスキングした情報について、当該マスキングを行った日を示す情報である。「取得時刻」は、マスキングした情報について、当該マスキングを行った時刻を示す情報である。「データ内容」は、秘匿対象の情報、つまりマスキングした情報を示す。   The masking target data 121e has items such as "management ID", "acquisition date", "acquisition time", and "data content". “Management ID” is an identifier for managing logs. The “acquisition date” is information indicating the date on which the masking was performed for the masked information. The “acquisition time” is information indicating the time at which the masking was performed for the masked information. “Data content” indicates information to be concealed, that is, masked information.

退出情報１２１ｆは、「管理ＩＤ」、「退室日」、「退室時刻」といった項目を有する。「管理ＩＤ」は、ログを管理するための識別子である。「退室日」は、利用者がセキュリティルームから退室した日を示す情報である。「退室時刻」は、利用者がセキュリティルームから退室した時刻を示す情報である。   The exit information 121f has items such as “management ID”, “exit date”, and “exit time”. “Management ID” is an identifier for managing logs. “Exit date” is information indicating the date when the user exited the security room. “Exit time” is information indicating the time at which the user exited the security room.

すなわち、ログ記憶部１２１は、利用者情報（利用者ＩＤ）、認証結果、入室情報（時間）、移動ログ（特定間隔時間ごとの位置）、閲覧情報、入力情報（操作コマンド）、退室情報（時間）といった情報を記憶する。また、閲覧情報は、閲覧媒体ＩＤ（端末、ホワイトボード等）、情報詳細（アプリケーションＩＤ、ログ名）、時刻、閲覧時間、焦点ポイント情報（焦点が合った情報）、マスキング情報等である。   That is, the log storage unit 121 stores the user information (user ID), the authentication result, the entry information (time), the movement log (position at each specific interval time), the browse information, the input information (operation command), the exit information ( Time). The browsing information includes browsing medium ID (terminal, whiteboard, etc.), information details (application ID, log name), time, browsing time, focus point information (in-focus information), masking information, and the like.

図１１の説明に戻って、制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、取得部１３１と、認識部１３２と、判定部１３３と、加工部１３４と、表示制御部１３５と、警告部１３６と、ログ記録部１３７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。   Returning to the description of FIG. 11, the control unit 130 is realized by, for example, a CPU or an MPU executing a program stored in an internal storage device using a RAM as a work area. Further, the control unit 130 may be realized by, for example, an integrated circuit such as an ASIC or an FPGA. The control unit 130 includes an acquisition unit 131, a recognition unit 132, a determination unit 133, a processing unit 134, a display control unit 135, a warning unit 136, and a log recording unit 137, and includes information described below. Implement or execute a processing function or action. Note that the internal configuration of the control unit 130 is not limited to the configuration illustrated in FIG. 11 and may be another configuration as long as the configuration performs information processing described later.

取得部１３１は、ネットワークＮ１および通信部１１０を介して、ＨＭユニット１０から生体情報を取得する。取得部１３１は、取得した生体情報に基づいて、データベース２０の利用者情報ＤＢ２１および作業管理ＤＢ２２を参照し、利用者を照合する。取得部１３１は、照合の結果、利用者が利用者情報ＤＢ２１および作業管理ＤＢ２２に登録されているか否かを判定する。取得部１３１は、登録されていないと判定した場合には、通信部１１０およびネットワークＮ１を介して、ＨＭユニット１０に未登録者として通知、つまり未登録者である旨の認証情報を送信する。また、取得部１３１は、通信部１１０およびネットワークＮ２を介して、ビル管理システム３０に対して、入室が許可されていない人物である旨を通知する。   The acquisition unit 131 acquires biological information from the HM unit 10 via the network N1 and the communication unit 110. The acquisition unit 131 refers to the user information DB 21 and the work management DB 22 of the database 20 based on the acquired biological information, and collates the user. The acquisition unit 131 determines whether the user is registered in the user information DB 21 and the work management DB 22 as a result of the comparison. If the acquisition unit 131 determines that the user has not been registered, the acquisition unit 131 notifies the HM unit 10 via the communication unit 110 and the network N1 as an unregistered person, that is, transmits authentication information indicating that the user is an unregistered person. Further, the acquisition unit 131 notifies the building management system 30 via the communication unit 110 and the network N2 that the person is not permitted to enter the room.

取得部１３１は、登録されていると判定した場合には、通信部１１０およびネットワークＮ１を介して、入室を許可する旨の認証情報をＨＭユニット１０に送信する。取得部１３１は、入室を許可する旨の認証情報の送信後、ネットワークＮ１および通信部１１０を介して、ＨＭユニット１０から位置情報の受信を開始する。取得部１３１は、受信した位置情報に基づいて、利用者がセキュリティルーム内にいるか否かを判定する。取得部１３１は、利用者がセキュリティルーム内にいないと判定した場合には、引き続き、利用者がセキュリティルーム内にいるか否かの判定を行う。   If the acquisition unit 131 determines that the entry has been made, the acquisition unit 131 transmits authentication information to permit entry to the HM unit 10 via the communication unit 110 and the network N1. After transmitting the authentication information to permit entry into the room, the acquisition unit 131 starts receiving position information from the HM unit 10 via the network N1 and the communication unit 110. The acquisition unit 131 determines whether the user is in the security room based on the received position information. When determining that the user is not in the security room, the acquisition unit 131 continuously determines whether or not the user is in the security room.

取得部１３１は、利用者がセキュリティルーム内にいると判定した場合には、ＨＭユニット１０に対する表示制御処理を実行するように、認識部１３２に処理開始指示を出力する。つまり、表示制御処理を実行する場合とは、利用者がセキュリティルームの入口にいる状態で、ＨＭユニット１０がセキュリティルーム内の撮像画像を取得し、情報処理装置１００が撮像画像内の媒体の文字列等を認識可能な位置であると判定した場合である。   When determining that the user is in the security room, the obtaining unit 131 outputs a processing start instruction to the recognizing unit 132 so as to execute the display control processing for the HM unit 10. In other words, the case where the display control process is executed means that the HM unit 10 acquires a captured image in the security room while the user is at the entrance of the security room, and the information processing apparatus 100 transmits the character of the medium in the captured image. This is a case where it is determined that the position is such that a column or the like can be recognized.

言い換えると、取得部１３１は、検出した位置が、文字列および画像のうち１つ以上の情報を含むオブジェクトの情報を認識可能な位置である場合に、認識する処理、判定する処理および加工する処理を行うように制御する。   In other words, when the detected position is a position at which information of an object including one or more pieces of information of a character string and an image can be recognized, the acquiring unit 131 performs a process of recognizing, determining, and processing. Is controlled to be performed.

認識部１３２は、取得部１３１から処理開始指示が入力されると、データベース２０の入室時基本情報ＤＢ２３を参照し、初期表示用の初期値を取得する。認識部１３２は、取得した初期値に基づいて、初期表示情報を生成する。認識部１３２は、通信部１１０およびネットワークＮ１を介して、生成した初期表示情報をＨＭユニット１０に送信する。   When the processing start instruction is input from the obtaining unit 131, the recognizing unit 132 obtains an initial value for initial display with reference to the entry basic information DB 23 of the database 20. The recognizing unit 132 generates initial display information based on the obtained initial value. The recognition unit 132 transmits the generated initial display information to the HM unit 10 via the communication unit 110 and the network N1.

認識部１３２は、初期表示情報の送信後、ネットワークＮ１および通信部１１０を介して、ＨＭユニット１０から撮像画像の受信を開始する。認識部１３２は、受信した撮像画像からオブジェクトを検出する。認識部１３２は、データベース２０の居室内情報ＤＢ２５を参照し、検出したオブジェクトから文字列や画像等の情報を含むオブジェクトを媒体として特定する。また、認識部１３２は、居室内情報ＤＢ２５を参照し、媒体に秘密情報が含まれ秘匿することが求められる秘匿領域があるか否かを判定する。なお、当該判定は、媒体が複数ある場合には、それぞれの媒体に対して行う。すなわち、認識部１３２は、初期表示を行っている間に、ＨＭユニット１０の第１撮像部１３の望遠等の機能を利用してより詳細な情報を遠距離の時点で取得する。   After transmitting the initial display information, the recognition unit 132 starts receiving a captured image from the HM unit 10 via the network N1 and the communication unit 110. The recognition unit 132 detects an object from the received captured image. The recognizing unit 132 refers to the living room information DB 25 of the database 20 and specifies an object including information such as a character string and an image from the detected objects as a medium. In addition, the recognizing unit 132 refers to the living room information DB 25 and determines whether or not there is a confidential area in which the confidential information is included in the medium and confidentiality is required. When there are a plurality of media, the determination is made for each of the media. That is, while performing the initial display, the recognition unit 132 acquires more detailed information at a long distance by using a function such as telephoto of the first imaging unit 13 of the HM unit 10.

認識部１３２は、撮像画像内の全ての媒体に秘匿領域がないと判定した場合には、順次受信する撮像画像を監視し、新しい媒体が現れた場合に、秘匿領域があるか否かの判定を行う。   The recognizing unit 132 monitors captured images sequentially received when all media in the captured image have no concealed area, and determines whether there is a concealed area when a new medium appears. I do.

認識部１３２は、媒体に秘匿領域があると判定した場合には、居室内情報ＤＢ２５を参照し、秘匿領域がある媒体をマスキングする第１マスク画像を生成する。認識部１３２は、通信部１１０およびネットワークＮ１を介して、生成した第１マスク画像をＨＭユニット１０に送信する。認識部１３２は、第１マスク画像の送信後、マスキング処理を実行する。なお、マスキング処理は、認識部１３２、判定部１３３および加工部１３４が連携して実行する。   If the recognizing unit 132 determines that the medium has a secret area, the recognition unit 132 refers to the living room information DB 25 and generates a first mask image for masking the medium with the secret area. The recognizing unit 132 transmits the generated first mask image to the HM unit 10 via the communication unit 110 and the network N1. After transmitting the first mask image, the recognition unit 132 performs a masking process. The masking process is executed by the recognition unit 132, the determination unit 133, and the processing unit 134 in cooperation.

認識部１３２は、マスキング処理として、まず、秘匿領域があると判定された媒体を１つ選択する。認識部１３２は、選択した媒体がＰＣ（Personal Computer）画面か否かを判定する。認識部１３２は、ＰＣ画面であると判定した場合には、ＰＣ画面に表示されている内容がＷｅｂ画面であるか否かを判定する。認識部１３２は、Ｗｅｂ画面であると判定した場合には、データベース２０の文字列情報ＤＢ２４を参照し、Ｗｅｂ画面内の文字列等を認識する。なお、Ｗｅｂ画面であるか否かの判定には、例えば画面内に表示されたアプリケーションＩＤや画面ＩＤ等の各種の識別情報、Ｗｅｂ画面のレイアウト情報（座標情報）等を用いることができる。また、認識部１３２は、Ｗｅｂ画面内のフォントの大きさを参照することで、撮像画像内のＷｅｂ画面の大きさによらずに、Ｗｅｂ画面内の文字列等を認識する。なお、以下の説明において、文字列の認識を行う際には、文字列情報ＤＢ２４の参照を行っている。認識部１３２は、データベース２０のＷｅｂ設計情報ＤＢ２６を参照し、認識した情報に基づいて、情報が一致する画面帳票ＩＤがあるか否かを判定する。   The recognizing unit 132 first selects one medium determined to have a secret area as a masking process. The recognizing unit 132 determines whether the selected medium is a PC (Personal Computer) screen. If the recognizing unit 132 determines that the content is a PC screen, the recognizing unit 132 determines whether the content displayed on the PC screen is a Web screen. When the recognizing unit 132 determines that the screen is a Web screen, the recognizing unit 132 refers to the character string information DB 24 of the database 20 to recognize a character string or the like in the Web screen. In addition, various identification information such as an application ID and a screen ID displayed in the screen, layout information (coordinate information) of the Web screen, and the like can be used to determine whether the screen is a Web screen. In addition, the recognition unit 132 recognizes a character string or the like in the Web screen regardless of the size of the Web screen in the captured image by referring to the size of the font in the Web screen. In the following description, the character string information DB 24 is referred to when recognizing a character string. The recognizing unit 132 refers to the Web design information DB 26 of the database 20, and determines whether or not there is a screen form ID whose information matches based on the recognized information.

認識部１３２は、情報が一致する画面帳票ＩＤがないと判定した場合には、情報が類似する画面があるか否かを判定する。認識部１３２は、情報が類似する画面がないと判定した場合には、当該Ｗｅｂ画面をＷｅｂ設計情報ＤＢ２６の図示しない登録外画面情報の記憶領域に記憶するとともに、認識した情報を判定部１３３に出力する。   If the recognizing unit 132 determines that there is no screen form ID with the same information, it determines whether there is a screen with similar information. When the recognizing unit 132 determines that there is no screen having similar information, the recognizing unit 132 stores the web screen in a storage area of unregistered screen information (not shown) of the web design information DB 26, and transmits the recognized information to the determining unit 133. Output.

一方、認識部１３２は、情報が一致する画面帳票ＩＤがあると判定した場合、または、情報が類似する画面があると判定した場合には、認識した情報を判定部１３３に出力する。また、認識部１３２は、選択した媒体がＰＣ画面か否かの判定において、ＰＣ画面でないと判定した場合には、媒体の文字列等を認識する。認識部１３２は、認識した情報を判定部１３３に出力する。   On the other hand, when the recognizing unit 132 determines that there is a screen form ID with matching information or determines that there is a screen with similar information, it outputs the recognized information to the determining unit 133. When determining that the selected medium is not a PC screen, the recognition unit 132 recognizes a character string or the like of the medium when determining that the selected medium is not a PC screen. The recognizing unit 132 outputs the recognized information to the determining unit 133.

また、認識部１３２は、Ｗｅｂ画面であるか否かの判定において、Ｗｅｂ画面でないと判定した場合には、コンソール画面内の文字列等の認識を開始する。認識部１３２は、認識を開始すると、通信部１１０およびネットワークＮ１を介して、ＨＭユニット１０に対して利用者の操作の監視を指示する。   If the recognition unit 132 determines that the screen is not a Web screen, the recognition unit 132 starts recognition of a character string or the like in the console screen. When the recognition unit 132 starts the recognition, the recognition unit 132 instructs the HM unit 10 to monitor the operation of the user via the communication unit 110 and the network N1.

認識部１３２は、利用者の操作の監視の指示後、ネットワークＮ１および通信部１１０を介して、監視情報の受信を開始する。認識部１３２は、監視情報に含まれる視線情報と、利用者が注視する画面等の情報とに基づいて、コンソール画面上の文字列について、利用者が入力しているか否かを判定する。認識部１３２は、利用者が入力していないと判定した場合には、認識中の文字列等の情報を判定部１３３に出力する。   The recognition unit 132 starts receiving monitoring information via the network N1 and the communication unit 110 after instructing to monitor the operation of the user. The recognizing unit 132 determines whether or not the user has input a character string on the console screen based on the line-of-sight information included in the monitoring information and information such as a screen that the user gazes at. When the recognizing unit 132 determines that the user has not input, the recognizing unit 132 outputs information such as the character string being recognized to the determining unit 133.

認識部１３２は、利用者が入力していると判定した場合には、視線情報と、利用者が注視する画面等の情報とに基づいて、注視点を特定する。認識部１３２は、特定した注視点における認識中の文字列から入力コマンドを検出する。認識部１３２は、検出したコマンドを判定部１３３に出力する。   When the recognizing unit 132 determines that the user is inputting, the recognizing unit 132 specifies the point of gaze based on the line-of-sight information and information such as a screen that the user gazes at. The recognizing unit 132 detects an input command from the character string being recognized at the specified gazing point. The recognizing unit 132 outputs the detected command to the determining unit 133.

言い換えると、認識部１３２は、セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち１つ以上の情報を含むオブジェクトについて情報を認識する。また、認識部１３２は、利用者の位置における視界内に存在する秘匿対象のオブジェクトの位置を特定する情報が記憶された居室内情報ＤＢ２５を参照し、秘匿対象のオブジェクトの位置を特定する情報に基づいて、撮像画像内の秘匿対象のオブジェクトを認識する。また、認識部１３２は、セキュリティエリア内に設けられたシステムの端末に表示される画面の設計情報が記憶されたＷｅｂ設計情報ＤＢ２６を参照し、画面の設計情報に基づいて、文字列および画像のうち１つ以上の情報を含むオブジェクトの情報を認識する。   In other words, based on the position of the user in the security area and the captured image corresponding to the field of view of the user, the recognition unit 132 selects one of the character string and the image from among the objects in the captured image. The information is recognized for the object including the above information. Further, the recognition unit 132 refers to the living room information DB 25 in which information for specifying the position of the object to be concealed existing in the field of view at the position of the user is stored, and converts the information to specify the position of the object to be concealed. Based on this, an object to be concealed in the captured image is recognized. The recognizing unit 132 refers to the Web design information DB 26 in which design information of a screen displayed on a terminal of the system provided in the security area is stored, and based on the design information of the screen, recognizes a character string and an image. The information of the object including one or more pieces of information is recognized.

判定部１３３は、認識部１３２から認識した情報が入力されると、データベース２０の利用者情報ＤＢ２１および秘匿対象情報ＤＢ２７を参照し、秘匿対象の文字列等を特定する。また、判定部１３３は、認識部１３２から検出したコマンドが入力されると、利用者情報ＤＢ２１および秘匿対象情報ＤＢ２７を参照し、コマンドに対応してコンソール画面上に表示される情報が秘匿対象であるか否かを判定する。   When the information recognized from the recognizing unit 132 is input, the determining unit 133 refers to the user information DB 21 and the confidential information DB 27 of the database 20 and specifies a confidential character string and the like. When the command detected from the recognition unit 132 is input, the determination unit 133 refers to the user information DB 21 and the concealment target information DB 27, and sets information displayed on the console screen corresponding to the command as a concealment target. It is determined whether or not there is.

判定部１３３は、コマンドに対応する情報が秘匿対象であると判定した場合、または、秘匿対象の文字列等を特定した場合には、居室内情報ＤＢ２５を参照し、秘匿対象領域の座標を取得する。判定部１３３は、取得した秘匿対象領域の座標を加工部１３４に出力する。なお、判定部１３３は、利用者がコマンド入力を行った場合には、コンソール画面のコマンドの下側の行に表示される情報を秘匿対象領域と判定する。また、判定部１３３は、利用者がコンソール画面において顧客システムにより勝手に吐き出されるログを見ている場合には、設計情報等に基づいて、秘匿対象領域を判定する。   When the determination unit 133 determines that the information corresponding to the command is a confidential object, or specifies a confidential character string or the like, the determining unit 133 refers to the living room information DB 25 to obtain the coordinates of the confidential target area. I do. The determination unit 133 outputs the acquired coordinates of the concealment target area to the processing unit 134. When the user inputs a command, the determination unit 133 determines the information displayed on the lower line of the command on the console screen as the confidential area. In addition, when the user is looking at the log that is spit out by the customer system on the console screen, the determination unit 133 determines the confidential area based on the design information and the like.

一方、判定部１３３は、コマンドに対応する情報が秘匿対象でないと判定した場合には、当該コンソール画面は秘匿対象領域ではない旨の判定情報を加工部１３４に出力する。   On the other hand, when the determining unit 133 determines that the information corresponding to the command is not a concealment target, the determination unit 133 outputs determination information indicating that the console screen is not a confidential target area to the processing unit 134.

言い換えると、判定部１３３は、認識した情報が、利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した情報に対応する撮像画像の領域を非表示にする領域と判定する。また、判定部１３３は、生体認証装置によって認証された利用者の権限に応じて判定を行う。また、判定部１３３は、非表示にしない領域内のオブジェクトを特定する。また、判定部１３３は、認識した秘匿対象のオブジェクトに対応する撮像画像内の領域を非表示にする領域と判定する。また、判定部１３３は、端末に表示される画面ごとに設定された秘匿対象情報に基づいて、該画面内の秘匿対象の項目を非表示にする領域と判定する。   In other words, when the recognized information is stored in the storage unit that stores the confidential information according to the attribute of the user, the determination unit 133 hides the area of the captured image corresponding to the recognized information. Is determined to be a region to be performed. In addition, the determination unit 133 performs the determination according to the authority of the user authenticated by the biometric authentication device. In addition, the determination unit 133 specifies an object in an area not to be hidden. In addition, the determination unit 133 determines an area in the captured image corresponding to the recognized object to be concealed as an area to be hidden. In addition, the determination unit 133 determines an area in which the item to be concealed in the screen is to be hidden based on the information to be concealed set for each screen displayed on the terminal.

加工部１３４は、判定部１３３から秘匿対象領域の座標が入力されると、データベース２０の居室内情報ＤＢ２５、Ｗｅｂ設計情報ＤＢ２６および秘匿情報表示ルールＤＢ２８を参照し、秘匿対象領域をマスキングする第２マスク画像を生成する。なお、加工部１３４は、秘匿対象の媒体が複数ある場合には、先に生成した第２マスク画像を更新する。また、加工部１３４は、判定部１３３から秘匿対象領域ではない旨の判定情報が入力されると、当該コンソール画面をマスクしない第２マスク画像を生成または更新する。   When the coordinates of the concealment target area are input from the determination unit 133, the processing unit 134 refers to the living room information DB 25, the Web design information DB 26, and the confidential information display rule DB 28 of the database 20, and masks the concealment target area. Generate a mask image. When there are a plurality of media to be concealed, the processing unit 134 updates the previously generated second mask image. In addition, when the determination unit 133 receives the determination information indicating that the area is not the confidential target area from the determination unit 133, the processing unit 134 generates or updates a second mask image that does not mask the console screen.

加工部１３４は、秘匿領域があると判定された媒体について、未処理の媒体があるか否かを判定する。加工部１３４は、未処理の媒体があると判定した場合には、秘匿領域があると判定された媒体のうち、次の媒体を１つ選択するように、認識部１３２に指示する。加工部１３４は、未処理の媒体がないと判定した場合には、生成した第２マスク画像を表示制御部１３５に出力し、マスキング処理を終了する。すなわち、加工部１３４は、撮像画像のうち、判定した非表示にする領域の情報を加工する。   The processing unit 134 determines whether there is any unprocessed medium for the medium determined to have the secret area. When determining that there is an unprocessed medium, the processing unit 134 instructs the recognizing unit 132 to select the next medium from among the media determined to have the secret area. When determining that there is no unprocessed medium, the processing unit 134 outputs the generated second mask image to the display control unit 135, and ends the masking process. That is, the processing unit 134 processes information of the determined non-display area in the captured image.

表示制御部１３５は、加工部１３４から第２マスク画像が入力されると、通信部１１０およびネットワークＮ１を介して、入力された第２マスク画像をＨＭユニット１０に送信する。すなわち、表示制御部１３５は、加工した非表示にする領域の情報を表示させる。また、表示制御部１３５は、ＨＭユニット１０の表示部１２に、第１撮像部１３で撮像された撮像画像を表示させるとともに、判定部１３３で判定された非表示にする領域が存在する場合、撮像画像に、加工した非表示にする領域の情報を重畳表示させる。   When the second mask image is input from the processing unit 134, the display control unit 135 transmits the input second mask image to the HM unit 10 via the communication unit 110 and the network N1. That is, the display control unit 135 displays the processed information of the non-display area. In addition, the display control unit 135 causes the display unit 12 of the HM unit 10 to display the captured image captured by the first imaging unit 13 and, when there is a non-display area determined by the determination unit 133, Information of the processed non-display area is superimposed on the captured image.

警告部１３６は、ネットワークＮ１および通信部１１０を介して、ＨＭユニット１０から認証情報の送信後に、新たな生体情報を受信すると、受信した生体情報に基づいて、利用者情報ＤＢ２１および作業管理ＤＢ２２を参照し、利用者を照合する。警告部１３６は、照合の結果、受信した生体情報に対応する利用者が利用者情報ＤＢ２１および作業管理ＤＢ２２に登録されていない場合、通信部１１０およびネットワークＮ１を介して、警告情報をＨＭユニット１０に送信する。また、警告部１３６は、通信部１１０およびネットワークＮ２を介して、警告情報をビル管理システム３０に送信する。すなわち、警告部１３６は、ＨＭユニット１０で認証が出来ない場合に、ＨＭユニット１０（表示装置）の利用者に警告を発する。つまり、警告部１３６は、利用者が対応付けられたＨＭユニット１０を掛けていることを監視し、例えば、ＨＭユニット１０を外したり、他人とＨＭユニット１０を交換したりした場合に警告を発する。   When receiving new biometric information after transmitting the authentication information from the HM unit 10 via the network N1 and the communication unit 110, the warning unit 136 transmits the user information DB21 and the work management DB22 based on the received biometric information. Reference and collate users. If the user corresponding to the received biometric information is not registered in the user information DB 21 and the work management DB 22 as a result of the verification, the warning unit 136 transmits the warning information to the HM unit 10 via the communication unit 110 and the network N1. Send to The warning unit 136 transmits warning information to the building management system 30 via the communication unit 110 and the network N2. That is, the warning unit 136 issues a warning to a user of the HM unit 10 (display device) when authentication cannot be performed by the HM unit 10. That is, the warning unit 136 monitors that the user is wearing the associated HM unit 10, and issues a warning when, for example, the HM unit 10 is removed or the HM unit 10 is replaced with another person. .

ログ記録部１３７は、ＨＭユニット１０を装着した利用者の認証開始からセキュリティルームを退室するまでの各種情報についてログを取得してログ記憶部１２１に記録する。ログ記録部１３７は、例えば、認証・入室情報、移動ログ、閲覧情報、操作ログ、マスキング対象データ、退出情報といった各種の情報をログとして記録する。   The log recording unit 137 acquires logs of various types of information from the start of authentication of the user wearing the HM unit 10 to leaving the security room, and records them in the log storage unit 121. The log recording unit 137 records, as logs, various information such as authentication / entry information, movement logs, browsing information, operation logs, masking target data, and exit information.

すなわち、ログ記録部１３７は、特定した非表示にしない領域内のオブジェクトのうち、利用者の視線情報に基づいて、利用者が視線を合わせたオブジェクトの情報を記録する。また、ログ記録部１３７は、セキュリティエリア内に設けられたシステムの端末に表示される画面を特定する情報が記憶されたＷｅｂ設計情報ＤＢ２６を参照し、特定した非表示にしない領域内のオブジェクトのうち、画面を特定する情報を含むオブジェクトの情報を記録する。   That is, the log recording unit 137 records the information of the object to which the user has set his / her gaze based on the user's gaze information among the objects in the specified area not to be hidden. Further, the log recording unit 137 refers to the Web design information DB 26 in which information for specifying the screen displayed on the terminal of the system provided in the security area is stored, and the log of the object in the specified area not to be hidden is stored. The information of the object including the information for specifying the screen is recorded.

ここで、図１３から図１８を用いて表示画面およびマスキング処理について説明する。図１３は、初期表示の表示画面の一例を示す図である。図１３に示す表示画面６０は、利用者がセキュリティルームに入室した時点における表示画面である。表示画面６０では、ＰＣ画面６１、ホワイトボード６２およびポスター６３といった媒体は、全てマスキング処理がされている。   Here, the display screen and the masking processing will be described with reference to FIGS. FIG. 13 is a diagram illustrating an example of the display screen of the initial display. The display screen 60 shown in FIG. 13 is a display screen when the user enters the security room. On the display screen 60, all the media such as the PC screen 61, the whiteboard 62, and the poster 63 have been subjected to the masking processing.

図１４は、利用者の表示画面の一例を示す図である。図１４に示す表示画面６４は、ある閲覧権限を有する利用者Ａに対する表示画面である。表示画面６４では、ＰＣ画面６１ａと、ポスター６５と、ホワイトボード６６とは閲覧可能であるが、ホワイトボード６２ａと、ポスター６３ａと、ＰＣ画面６７は閲覧禁止となりマスキングされている。   FIG. 14 is a diagram illustrating an example of the display screen of the user. The display screen 64 shown in FIG. 14 is a display screen for a user A who has a certain viewing right. On the display screen 64, the PC screen 61a, the poster 65, and the whiteboard 66 are viewable, but the whiteboard 62a, the poster 63a, and the PC screen 67 are prohibited from viewing and are masked.

図１５は、利用者の表示画面の他の一例を示す図である。図１５に示す表示画面６８は、利用者Ａと異なる閲覧権限を有する利用者Ｂに対する表示画面である。表示画面６８では、利用者Ａが閲覧可能であったＰＣ画面６１ａが、閲覧禁止であるＰＣ画面６１ｂとなっている。一方、表示画面６８では、利用者Ａが閲覧禁止であったホワイトボード６２ａと、ポスター６３ａと、ＰＣ画面６７とが、閲覧可能であるホワイトボード６２ｂと、ポスター６３ｂと、ＰＣ画面６７ｂとなっている。このように、情報処理装置１００は、利用者や、表示画面に応じてマスキング対象を変更することができる。   FIG. 15 is a diagram showing another example of the display screen of the user. A display screen 68 shown in FIG. 15 is a display screen for a user B having a different browsing authority from the user A. On the display screen 68, the PC screen 61a that could be viewed by the user A has become a PC screen 61b that is prohibited from being viewed. On the other hand, on the display screen 68, the whiteboard 62a, the poster 63a, and the PC screen 67, on which the user A has been prohibited from browsing, become the browsable whiteboard 62b, the poster 63b, and the PC screen 67b. I have. As described above, the information processing apparatus 100 can change the masking target according to the user and the display screen.

図１６は、コンソール画面の一例を示す図である。図１６に示すコンソール画面６９は、コマンド６９ａと、コマンド６９ａの入力に応じて出力される情報とを表示したものである。ＨＭユニット１０は、コンソール画面６９を見ている利用者に対して、視線情報に基づく操作の監視を行い、監視情報を情報処理装置１００に送信する。情報処理装置１００は、監視情報に基づいて、入力コマンドの検出や、コマンドに対する情報が秘匿対象であるかを判定し、秘匿対象領域に対してマスキング処理を行う。   FIG. 16 is a diagram illustrating an example of the console screen. The console screen 69 shown in FIG. 16 displays a command 69a and information output in response to the input of the command 69a. The HM unit 10 monitors the operation of the user viewing the console screen 69 based on the line-of-sight information, and transmits the monitoring information to the information processing apparatus 100. The information processing apparatus 100 detects an input command based on the monitoring information, determines whether information on the command is a concealment target, and performs a masking process on the concealment target area.

図１７は、印刷物のマスキング処理の一例を示す図である。図１７は、例えば机上に置かれた印刷物に対してマスキング処理を行う場合の一例である。図１７の例では、机上に管理者手引き７０と、印刷された帳票７１とが置かれていたとする。帳票７１には、画面帳票ＩＤ７２が印刷されている。このとき、ある利用者について閲覧権限がない場合には、管理者手引き７０に対して閲覧権限がない旨の表示７３が重畳表示される。また、帳票７１に対しては、画面帳票ＩＤ７２に基づいて秘匿対象領域が特定され、文字単位でマスクが重畳表示された帳票７４に示す様な表示となる。   FIG. 17 is a diagram illustrating an example of a masking process of a printed material. FIG. 17 is an example of a case where a masking process is performed on a printed matter placed on a desk, for example. In the example of FIG. 17, it is assumed that the administrator's guide 70 and the printed form 71 are placed on the desk. On the form 71, a screen form ID 72 is printed. At this time, if the user does not have viewing authority, a display 73 indicating that the user does not have viewing authority is superimposed on the administrator's guide 70. In addition, for the form 71, a confidential area is specified based on the screen form ID 72, and the display is as shown in a form 74 in which a mask is superimposed and displayed in units of characters.

図１８は、端末の画面に対するマスキング処理の一例を示す図である。図１８は、ＰＣ画面７５に表示された帳票に対してマスキング処理を行う場合の一例である。図１８の例では、ＰＣ画面７５には、画面帳票ＩＤ７６が表示されている。このとき、ある利用者について閲覧権限がない場合には、画面帳票ＩＤ７６に基づいて秘匿対象領域が特定され、文字単位でマスクが重畳表示されたＰＣ画面７７に示す様な表示となる。   FIG. 18 is a diagram illustrating an example of a masking process on the screen of the terminal. FIG. 18 shows an example of a case where a masking process is performed on a form displayed on the PC screen 75. In the example of FIG. 18, a screen form ID 76 is displayed on the PC screen 75. At this time, if the user does not have browsing authority, the confidential area is specified based on the screen form ID 76, and the screen is displayed as shown on the PC screen 77 in which a mask is superimposed and displayed in units of characters.

次に、実施例の情報制御システム１の動作について説明する。まず、図１９を用いて利用者の認証処理について説明する。図１９は、実施例の認証処理の一例を示すシーケンス図である。   Next, the operation of the information control system 1 according to the embodiment will be described. First, the user authentication process will be described with reference to FIG. FIG. 19 is a sequence diagram illustrating an example of the authentication processing according to the embodiment.

ＨＭユニット１０の制御部１５は、第２撮像部１４から入力された撮像画像に基づいて、生体情報を取得する（ステップＳ１）。制御部１５は、取得した生体情報を情報処理装置１００に送信する。   The control unit 15 of the HM unit 10 acquires biological information based on the captured image input from the second imaging unit 14 (Step S1). The control unit 15 transmits the acquired biological information to the information processing device 100.

情報処理装置１００の取得部１３１は、ＨＭユニット１０から生体情報を取得する。取得部１３１は、取得した生体情報に基づいて、利用者情報ＤＢ２１および作業管理ＤＢ２２を参照し、利用者を照合する（ステップＳ２）。取得部１３１は、照合の結果、利用者が利用者情報ＤＢ２１および作業管理ＤＢ２２に登録されているか否かを判定する（ステップＳ３）。   The acquisition unit 131 of the information processing device 100 acquires biological information from the HM unit 10. The acquisition unit 131 refers to the user information DB 21 and the work management DB 22 based on the acquired biometric information and collates the user (Step S2). The acquisition unit 131 determines whether or not the user is registered in the user information DB 21 and the work management DB 22 as a result of the comparison (Step S3).

取得部１３１は、登録されていないと判定した場合には（ステップＳ３：否定）、未登録者として通知する旨の認証情報をＨＭユニット１０に送信する（ステップＳ４）。また、取得部１３１は、ビル管理システム３０に対して、入室が許可されていない人物である旨を通知する。一方、取得部１３１は、登録されていると判定した場合には（ステップＳ３：肯定）、入室を許可する旨の認証情報をＨＭユニット１０に送信する（ステップＳ５）。   When determining that the user is not registered (Step S3: No), the acquiring unit 131 transmits authentication information to notify the user as an unregistered person to the HM unit 10 (Step S4). Further, the acquiring unit 131 notifies the building management system 30 that the person is not permitted to enter the room. On the other hand, when the acquisition unit 131 determines that the entry has been made (step S3: affirmative), the acquisition unit 131 transmits authentication information to permit entry to the HM unit 10 (step S5).

ＨＭユニット１０の制御部１５は、情報処理装置１００から入室を許可する旨の認証情報を受信すると、位置情報および撮像画像の取得を開始する（ステップＳ６）。制御部１５は、取得した位置情報を情報処理装置１００に送信する。   When receiving the authentication information for permitting entry from the information processing device 100, the control unit 15 of the HM unit 10 starts acquiring position information and a captured image (step S6). The control unit 15 transmits the acquired position information to the information processing device 100.

情報処理装置１００の取得部１３１は、入室を許可する旨の認証情報の送信後、ＨＭユニット１０から位置情報の受信を開始する。取得部１３１は、受信した位置情報に基づいて、利用者がセキュリティルーム内にいるか否かを判定する（ステップＳ７）。取得部１３１は、利用者がセキュリティルーム内にいないと判定した場合には（ステップＳ７：否定）、ステップＳ７の判定を繰り返す。   The acquisition unit 131 of the information processing apparatus 100 starts receiving position information from the HM unit 10 after transmitting authentication information for permitting entry into the room. The acquisition unit 131 determines whether the user is in the security room based on the received position information (Step S7). When determining that the user is not in the security room (Step S7: No), the acquiring unit 131 repeats the determination of Step S7.

取得部１３１は、利用者がセキュリティルーム内にいると判定した場合には（ステップＳ７：肯定）、ＨＭユニット１０に対する表示制御処理を実行するように、認識部１３２に処理開始指示を出力する（ステップＳ８）。これにより、情報処理装置１００は、利用者の認証を行って表示制御処理を実行できる。   When determining that the user is in the security room (step S7: YES), the acquiring unit 131 outputs a process start instruction to the recognizing unit 132 to execute the display control process for the HM unit 10 (step S7). Step S8). Thereby, the information processing apparatus 100 can execute the display control process by authenticating the user.

続いて、図２０を用いて表示制御処理について説明する。図２０は、実施例の表示制御処理の一例を示すシーケンス図である。   Subsequently, the display control process will be described with reference to FIG. FIG. 20 is a sequence diagram illustrating an example of the display control process according to the embodiment.

情報処理装置１００の認識部１３２は、取得部１３１から処理開始指示が入力されると、入室時基本情報ＤＢ２３を参照し、初期表示用の初期値を取得する（ステップＳ１１）。認識部１３２は、取得した初期値に基づいて、初期表示情報を生成する。認識部１３２は、生成した初期表示情報をＨＭユニット１０に送信する。   When the processing start instruction is input from the obtaining unit 131, the recognizing unit 132 of the information processing apparatus 100 obtains an initial value for initial display with reference to the room entry basic information DB 23 (step S11). The recognizing unit 132 generates initial display information based on the obtained initial value. The recognition unit 132 transmits the generated initial display information to the HM unit 10.

ＨＭユニット１０の制御部１５は、情報処理装置１００から初期表示情報を受信すると、初期表示の画像を表示部１２に表示する（ステップＳ１２）。また、制御部１５は、第１撮像部１３から入力された撮像画像を表示部１２に表示するとともに、情報処理装置１００に対して撮像画像の送信を開始する（ステップＳ１３）。なお、ＨＭユニット１０における撮像画像の表示部１２への表示は、認証処理のステップＳ６の直後から開始してもよい。   When receiving the initial display information from the information processing device 100, the control unit 15 of the HM unit 10 displays an image of the initial display on the display unit 12 (Step S12). The control unit 15 displays the captured image input from the first imaging unit 13 on the display unit 12 and starts transmitting the captured image to the information processing device 100 (Step S13). The display of the captured image on the display unit 12 in the HM unit 10 may be started immediately after step S6 of the authentication process.

情報処理装置１００の認識部１３２は、初期表示情報の送信後、ＨＭユニット１０から撮像画像の受信を開始する。認識部１３２は、受信した撮像画像からオブジェクトを検出する（ステップＳ１４）。認識部１３２は、居室内情報ＤＢ２５を参照し、検出したオブジェクトから文字列や画像等の情報を含むオブジェクトを媒体として特定する（ステップＳ１５）。また、認識部１３２は、居室内情報ＤＢ２５を参照し、媒体に秘匿領域があるか否かを判定する（ステップＳ１６）。   After transmitting the initial display information, the recognition unit 132 of the information processing apparatus 100 starts receiving a captured image from the HM unit 10. The recognition unit 132 detects an object from the received captured image (Step S14). The recognizing unit 132 refers to the living room information DB 25 and specifies an object including information such as a character string and an image from the detected objects as a medium (step S15). Further, the recognition unit 132 refers to the living room information DB 25 and determines whether or not the medium has a secret area (step S16).

認識部１３２は、撮像画像内の全ての媒体に秘匿領域がないと判定した場合には（ステップＳ１６：否定）、順次受信する撮像画像を監視し、新しい媒体が現れた場合に、ステップＳ１６の判定を行う。   When the recognizing unit 132 determines that all the media in the captured image do not have the confidential area (step S16: No), the recognition unit 132 monitors the sequentially received captured images, and when a new medium appears, the process proceeds to step S16. Make a decision.

認識部１３２は、媒体に秘匿領域があると判定した場合には（ステップＳ１６：肯定）、居室内情報ＤＢ２５を参照し、秘匿領域がある媒体をマスキングする第１マスク画像を生成する。認識部１３２は、生成した第１マスク画像をＨＭユニット１０に送信する（ステップＳ１７）。   When the recognizing unit 132 determines that the medium has a secret area (Yes at Step S16), the recognizing unit 132 refers to the living room information DB 25 and generates a first mask image for masking the medium with the secret area. The recognizing unit 132 transmits the generated first mask image to the HM unit 10 (Step S17).

ＨＭユニット１０の制御部１５は、情報処理装置１００から第１マスク画像を受信すると、表示部１２に受信した第１マスク画像を表示する（ステップＳ１８）。   When receiving the first mask image from the information processing device 100, the control unit 15 of the HM unit 10 displays the received first mask image on the display unit 12 (Step S18).

情報処理装置１００の認識部１３２は、第１マスク画像の送信後、マスキング処理を実行する（ステップＳ１９）。   After transmitting the first mask image, the recognition unit 132 of the information processing device 100 performs a masking process (Step S19).

ここで、図２１および図２２を用いてマスキング処理について説明する。図２１および図２２は、実施例のマスキング処理の一例を示すシーケンス図である。   Here, the masking process will be described with reference to FIGS. FIGS. 21 and 22 are sequence diagrams illustrating an example of the masking process according to the embodiment.

認識部１３２は、秘匿領域があると判定された媒体を１つ選択する（ステップＳ１０１）。認識部１３２は、選択した媒体がＰＣ画面か否かを判定する（ステップＳ１０２）。認識部１３２は、ＰＣ画面であると判定した場合には（ステップＳ１０２：肯定）、ＰＣ画面に表示されている内容がＷｅｂ画面であるか否かを判定する（ステップＳ１０３）。認識部１３２は、Ｗｅｂ画面であると判定した場合には（ステップＳ１０３：肯定）、Ｗｅｂ画面内の文字列等を認識する（ステップＳ１０４）。認識部１３２は、Ｗｅｂ設計情報ＤＢ２６を参照し、認識した情報に基づいて、情報が一致する画面帳票ＩＤがあるか否かを判定する（ステップＳ１０５）。   The recognizing unit 132 selects one medium determined to have a secret area (step S101). The recognizing unit 132 determines whether the selected medium is a PC screen (Step S102). When the recognizing unit 132 determines that the screen is the PC screen (Yes at Step S102), the recognizing unit 132 determines whether the content displayed on the PC screen is the Web screen (Step S103). When the recognizing unit 132 determines that the screen is a Web screen (step S103: YES), the recognizing unit 132 recognizes a character string or the like in the Web screen (step S104). The recognizing unit 132 refers to the Web design information DB 26, and determines whether there is a screen form ID that matches the information based on the recognized information (Step S105).

認識部１３２は、情報が一致する画面帳票ＩＤがないと判定した場合には（ステップＳ１０５：否定）、情報が類似する画面があるか否かを判定する（ステップＳ１０６）。認識部１３２は、情報が類似する画面がないと判定した場合には（ステップＳ１０６：否定）、当該Ｗｅｂ画面を登録するとともに（ステップＳ１０７）、認識した情報を判定部１３３に出力し、ステップＳ１１８に進む。   When the recognizing unit 132 determines that there is no screen form ID with matching information (step S105: No), the recognizing unit 132 determines whether there is a screen with similar information (step S106). When the recognizing unit 132 determines that there is no screen with similar information (step S106: No), the recognizing unit 132 registers the web screen (step S107), outputs the recognized information to the determining unit 133, and performs step S118. Proceed to.

一方、認識部１３２は、情報が一致する画面帳票ＩＤがあると判定した場合（ステップＳ１０５：肯定）、または、情報が類似する画面があると判定した場合には（ステップＳ１０６：肯定）、認識した情報を判定部１３３に出力し、ステップＳ１１８に進む。   On the other hand, when the recognizing unit 132 determines that there is a screen form ID with matching information (step S105: affirmative), or when determining that there is a screen with similar information (step S106: affirmative), the recognition unit 132 performs recognition. The output information is output to the determination unit 133, and the process proceeds to step S118.

また、認識部１３２は、ステップＳ１０２において、ＰＣ画面でないと判定した場合には（ステップＳ１０２：否定）、媒体の文字列等を認識する（ステップＳ１０８）。認識部１３２は、認識した情報を判定部１３３に出力し、ステップＳ１１８に進む。   When the recognition unit 132 determines in step S102 that the screen is not a PC screen (step S102: No), the recognition unit 132 recognizes a character string or the like of the medium (step S108). The recognizing unit 132 outputs the recognized information to the determining unit 133, and proceeds to step S118.

また、認識部１３２は、ステップＳ１０３において、Ｗｅｂ画面でないと判定した場合には（ステップＳ１０３：否定）、コンソール画面内の文字列等の認識を開始する（ステップＳ１０９）。認識部１３２は、認識を開始すると、ＨＭユニット１０に対して利用者の操作の監視を指示する（ステップＳ１１０）。   If the recognition unit 132 determines in step S103 that the screen is not a Web screen (step S103: No), the recognition unit 132 starts recognition of a character string or the like in the console screen (step S109). Upon starting the recognition, the recognizing unit 132 instructs the HM unit 10 to monitor a user operation (step S110).

ＨＭユニット１０の制御部１５は、情報処理装置１００から利用者の操作の監視を指示されると、第１撮像部１３および第２撮像部１４から入力された撮像画像に基づいて、視線情報と、利用者が注視する画面等の情報とを含む監視情報の生成を開始する。つまり、制御部１５は、視線情報に基づく操作の監視を開始する（ステップＳ１１１）。制御部１５は、生成した監視情報の情報処理装置１００への送信を開始する（ステップＳ１１２）。   When the control unit 15 of the HM unit 10 is instructed by the information processing apparatus 100 to monitor the operation of the user, based on the captured images input from the first imaging unit 13 and the second imaging unit 14, Then, generation of monitoring information including information such as a screen watched by the user is started. That is, the control unit 15 starts monitoring the operation based on the line-of-sight information (step S111). The control unit 15 starts transmitting the generated monitoring information to the information processing device 100 (Step S112).

情報処理装置１００の認識部１３２は、利用者の操作の監視の指示後、監視情報の受信を開始する（ステップＳ１１３）。認識部１３２は、コンソール画面上の文字列について、利用者が入力しているか否かを判定する（ステップＳ１１４）。認識部１３２は、利用者が入力していないと判定した場合には（ステップＳ１１４：否定）、認識中の文字列等の情報を判定部１３３に出力し、ステップＳ１１８に進む。   The recognition unit 132 of the information processing apparatus 100 starts receiving monitoring information after instructing the user to monitor the operation (step S113). The recognition unit 132 determines whether or not the user has input a character string on the console screen (step S114). When the recognizing unit 132 determines that the user has not input (No at Step S114), the recognizing unit 132 outputs information such as the character string being recognized to the determining unit 133, and proceeds to Step S118.

判定部１３３は、認識部１３２から認識した情報が入力されると、利用者情報ＤＢ２１および秘匿対象情報ＤＢ２７を参照し、秘匿対象の文字列等を特定し（ステップＳ１１８）、ステップＳ１１９に進む。   When the information recognized from the recognizing unit 132 is input, the determining unit 133 refers to the user information DB 21 and the confidential information DB 27 to identify a character string to be concealed (step S118), and proceeds to step S119.

一方、認識部１３２は、ステップＳ１１４において、利用者が入力していると判定した場合には（ステップＳ１１４：肯定）、注視点を特定する（ステップＳ１１５）。認識部１３２は、特定した注視点における認識中の文字列から入力コマンドを検出する（ステップＳ１１６）。認識部１３２は、検出したコマンドを判定部１３３に出力する。   On the other hand, when it is determined in step S114 that the user has input (step S114: affirmative), the recognizing unit 132 specifies the point of regard (step S115). The recognizing unit 132 detects an input command from the character string being recognized at the specified gazing point (step S116). The recognizing unit 132 outputs the detected command to the determining unit 133.

判定部１３３は、認識部１３２から検出したコマンドが入力されると、利用者情報ＤＢ２１および秘匿対象情報ＤＢ２７を参照し、コマンドに対応してコンソール画面上に表示される情報が秘匿対象であるか否かを判定する（ステップＳ１１７）。   When the command detected from the recognition unit 132 is input, the determination unit 133 refers to the user information DB 21 and the concealment target information DB 27, and determines whether the information displayed on the console screen corresponding to the command is the concealment target. It is determined whether or not it is (step S117).

判定部１３３は、コマンドに対応する情報が秘匿対象であると判定した場合（ステップＳ１１７：肯定）、または、秘匿対象の文字列等を特定した場合には（ステップＳ１１８）、居室内情報ＤＢ２５を参照し、秘匿対象領域の座標を取得する（ステップＳ１１９）。判定部１３３は、取得した秘匿対象領域の座標を加工部１３４に出力する。   When the determination unit 133 determines that the information corresponding to the command is a confidential object (step S117: affirmative) or specifies a confidential character string or the like (step S118), the living room information DB 25 is stored in the living room information DB 25. The coordinates of the concealment target area are acquired with reference to the information (step S119). The determination unit 133 outputs the acquired coordinates of the concealment target area to the processing unit 134.

加工部１３４は、判定部１３３から秘匿対象領域の座標が入力されると、居室内情報ＤＢ２５、Ｗｅｂ設計情報ＤＢ２６および秘匿情報表示ルールＤＢ２８を参照し、秘匿対象領域をマスキングする第２マスク画像を生成または更新する（ステップＳ１２０）。   When the coordinates of the concealment target area are input from the determination unit 133, the processing unit 134 refers to the living room information DB 25, the Web design information DB 26, and the confidential information display rule DB 28, and generates a second mask image for masking the concealment target area. Generate or update (step S120).

一方、判定部１３３は、コマンドに対応する情報が秘匿対象でないと判定した場合には（ステップＳ１１７：否定）、当該コンソール画面は秘匿対象領域ではない旨の判定情報を加工部１３４に出力する。加工部１３４は、判定部１３３から秘匿対象領域ではない旨の判定情報が入力されると、当該コンソール画面をマスクしない第２マスク画像を生成または更新し、ステップＳ１２１に進む。   On the other hand, when the determining unit 133 determines that the information corresponding to the command is not a confidential object (step S117: No), the determining unit 133 outputs determination information indicating that the console screen is not a confidential target area to the processing unit 134. When the determination unit 133 receives the determination information indicating that the area is not the confidential target area from the determination unit 133, the processing unit 134 generates or updates a second mask image that does not mask the console screen, and proceeds to step S121.

加工部１３４は、第２マスク画像の生成または更新に続いて、秘匿領域があると判定された媒体について、未処理の媒体があるか否かを判定する（ステップＳ１２１）。加工部１３４は、未処理の媒体があると判定した場合には（ステップＳ１２１：肯定）、ステップＳ１０１に戻る。加工部１３４は、未処理の媒体がないと判定した場合には（ステップＳ１２１：否定）、生成した第２マスク画像を表示制御部１３５に出力し、マスキング処理を終了する。これにより、情報処理装置１００は、ＨＭユニット１０に秘密情報をマスキングするための第２マスク画像を表示させることができる。   Following the generation or update of the second mask image, the processing unit 134 determines whether there is an unprocessed medium for the medium determined to have the secret area (step S121). If the processing unit 134 determines that there is an unprocessed medium (Yes at Step S121), the processing returns to Step S101. If it is determined that there is no unprocessed medium (step S121: No), the processing unit 134 outputs the generated second mask image to the display control unit 135, and ends the masking process. Thereby, the information processing apparatus 100 can cause the HM unit 10 to display the second mask image for masking the secret information.

図２０の説明に戻って、表示制御部１３５は、加工部１３４から第２マスク画像が入力されると、入力された第２マスク画像をＨＭユニット１０に送信する（ステップＳ２０）。   Returning to the description of FIG. 20, when the second mask image is input from the processing unit 134, the display control unit 135 transmits the input second mask image to the HM unit 10 (Step S20).

ＨＭユニット１０の制御部１５は、情報処理装置１００から第２マスク画像を受信すると、表示部１２に受信した第２マスク画像を表示する（ステップＳ２１）。これにより、情報処理装置１００は、ＨＭユニット１０の利用者ごとに閲覧可能な情報を制御できるので、セキュリティレベルの異なる利用者間の情報連携が迅速にできる。   When receiving the second mask image from the information processing device 100, the control unit 15 of the HM unit 10 displays the received second mask image on the display unit 12 (Step S21). Accordingly, the information processing apparatus 100 can control the information that can be browsed for each user of the HM unit 10, so that information cooperation between users having different security levels can be performed quickly.

このように、情報処理装置１００は、セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち１つ以上の情報を含むオブジェクトについて情報を認識する。また、情報処理装置１００は、認識した情報が、利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した情報に対応する撮像画像の領域を非表示にする領域と判定する。また、情報処理装置１００は、撮像画像のうち、判定した非表示にする領域の情報を加工する。また、情報処理装置１００は、加工した非表示にする領域の情報を表示させる。その結果、情報処理装置１００は、利用者ごとに閲覧可能な情報を制御できるので、セキュリティレベルの異なる利用者間の情報連携が迅速にできる。   As described above, the information processing apparatus 100 determines, based on the position of the user in the security area and the captured image corresponding to the field of view of the user, the character string and the image among the objects in the captured image. Recognize information about objects that include one or more pieces of information. When the recognized information is stored in the storage unit that stores the confidential information according to the attribute of the user, the information processing apparatus 100 hides the area of the captured image corresponding to the recognized information. Is determined to be a region to be performed. Further, the information processing apparatus 100 processes information of the determined non-display area in the captured image. Further, the information processing apparatus 100 displays information on the processed non-display area. As a result, the information processing apparatus 100 can control information that can be browsed for each user, so that information cooperation between users having different security levels can be performed quickly.

また、非表示にする領域の情報を表示させる表示装置（ＨＭユニット１０）は、撮像部（第１撮像部１３）と表示部１２とを有する。また、情報処理装置１００は、表示部１２に、第１撮像部１３で撮像された撮像画像を表示させるとともに、判定する処理で判定された非表示にする領域が存在する場合、撮像画像に、加工した非表示にする領域の情報を重畳表示させる。その結果、情報処理装置１００は、ＨＭユニット１０の利用者が閲覧権限を有しない情報をマスキングすることができる。   The display device (the HM unit 10) that displays information of a non-display area includes an imaging unit (the first imaging unit 13) and the display unit 12. In addition, the information processing apparatus 100 causes the display unit 12 to display the captured image captured by the first imaging unit 13 and, when there is a non-display area determined in the determination process, the captured image includes: The processed information of the non-display area is superimposed and displayed. As a result, the information processing apparatus 100 can mask information for which the user of the HM unit 10 does not have viewing authority.

また、表示装置（ＨＭユニット１０）は、利用者に装着して移動可能な装置であるとともに、セキュリティエリア内における利用者の位置を検出可能である。表示部１２の表示は、利用者の視野を遮蔽する。また、情報処理装置１００は、検出した位置が、文字列および画像のうち１つ以上の情報を含むオブジェクトの情報を認識可能な位置である場合に、認識する処理、判定する処理および加工する処理を行うように制御する。その結果、情報処理装置１００は、セキュリティエリア内を移動する利用者の視界に応じて閲覧可能な情報を制御できる。   The display device (HM unit 10) is a device that can be worn by a user and movable, and can detect the position of the user within the security area. The display on the display unit 12 blocks the user's field of view. When the detected position is a position at which information of an object including one or more pieces of information from a character string and an image can be recognized, the information processing apparatus 100 performs processing of recognizing, determining, and processing. Is controlled to be performed. As a result, the information processing apparatus 100 can control the information that can be browsed according to the field of view of the user moving in the security area.

また、表示装置（ＨＭユニット１０）は、生体認証装置（第２撮像部１４，制御部１５）を有する。また、情報処理装置１００は、生体認証装置によって認証された利用者の権限に応じて判定を行う。その結果、情報処理装置１００は、利用者の閲覧権限に応じて閲覧可能な情報を制御できる。   The display device (HM unit 10) includes a biometric authentication device (second imaging unit 14, control unit 15). Further, the information processing apparatus 100 makes the determination according to the authority of the user authenticated by the biometric authentication apparatus. As a result, the information processing apparatus 100 can control the information that can be browsed according to the user's browsing authority.

また、生体認証装置は、所定の間隔で認証を行う。また、情報処理装置１００は、認証が出来ない場合に、表示装置（ＨＭユニット１０）の利用者に警告を発する。その結果、情報処理装置１００は、利用者がＨＭユニット１０を外した場合に警告することができる。   Further, the biometric authentication device performs authentication at predetermined intervals. Further, the information processing apparatus 100 issues a warning to the user of the display device (HM unit 10) when the authentication cannot be performed. As a result, the information processing apparatus 100 can issue a warning when the user removes the HM unit 10.

また、情報処理装置１００は、非表示にしない領域内のオブジェクトを特定する。また、情報処理装置１００は、特定した非表示にしない領域内のオブジェクトのうち、利用者の視線情報に基づいて、利用者が視線を合わせたオブジェクトの情報を記録する。その結果、情報処理装置１００は、利用者がどの様な情報を閲覧したかを記録することができる。   Further, the information processing apparatus 100 specifies an object in an area that is not to be hidden. In addition, the information processing apparatus 100 records information of an object to which the user has adjusted his / her gaze based on the user's gaze information among the objects in the identified non-hidden region. As a result, the information processing apparatus 100 can record what information the user has viewed.

また、情報処理装置１００は、セキュリティエリア内に設けられたシステムの端末に表示される画面を特定する情報が記憶された記憶部を参照し、特定した非表示にしない領域内のオブジェクトのうち、画面を特定する情報を含むオブジェクトの情報を記録する。その結果、情報処理装置１００は、利用者のコンソール画面での操作を記録することができる。   Further, the information processing apparatus 100 refers to the storage unit in which information for specifying the screen displayed on the terminal of the system provided in the security area is stored, and among the objects in the specified area not to be hidden, The information of the object including the information specifying the screen is recorded. As a result, the information processing apparatus 100 can record a user's operation on the console screen.

また、情報処理装置１００は、利用者の位置における視界内に存在する秘匿対象のオブジェクトの位置を特定する情報が記憶された記憶部を参照し、秘匿対象のオブジェクトの位置を特定する情報に基づいて、撮像画像内の秘匿対象のオブジェクトを認識する。また、情報処理装置１００は、認識した秘匿対象のオブジェクトに対応する撮像画像内の領域を非表示にする領域と判定する。その結果、情報処理装置１００は、秘密情報が表示される可能性のある媒体を秘匿することができる。   Further, the information processing apparatus 100 refers to a storage unit in which information for specifying the position of the object to be concealed existing in the field of view at the position of the user is stored, and based on the information for specifying the position of the object to be concealed. Thus, the object to be concealed in the captured image is recognized. Further, the information processing apparatus 100 determines that the area in the captured image corresponding to the recognized confidential object is the area to be hidden. As a result, the information processing apparatus 100 can keep the medium in which the confidential information may be displayed confidential.

また、情報処理装置１００は、セキュリティエリア内に設けられたシステムの端末に表示される画面の設計情報が記憶された記憶部を参照し、画面の設計情報に基づいて、文字列および画像のうち１つ以上の情報を含むオブジェクトの情報を認識する。また、情報処理装置１００は、端末に表示される画面ごとに設定された秘匿対象情報に基づいて、該画面内の秘匿対象の項目を非表示にする領域と判定する。その結果、情報処理装置１００は、コンソール画面に表示された秘密情報を文字単位で秘匿することができる。   Further, the information processing apparatus 100 refers to the storage unit in which the screen design information displayed on the terminal of the system provided in the security area is stored, and, based on the screen design information, Recognize object information that includes one or more pieces of information. Further, the information processing apparatus 100 determines, based on the concealment target information set for each screen displayed on the terminal, an area where the item to be concealed in the screen is to be hidden. As a result, the information processing apparatus 100 can conceal the secret information displayed on the console screen in character units.

ＨＭユニット１０（ヘッドマウントユニット）は、カメラ（第１撮像部１３）で撮像された画像を表示するディスプレイ（表示部１２）を備える。ＨＭユニット１０は、周囲の視界を妨げる遮蔽部材を備える。また、ＨＭユニット１０は、カメラで撮像された画像から文字が検出されると、検出された文字について秘匿化処理を施してディスプレイに表示する第１の制御を実行可能である。また、ＨＭユニット１０は、検出された文字のうち秘匿化対象の文字に制限して秘匿化処理を施してディスプレイに表示する第２の制御を実行可能である。その結果、ＨＭユニット１０は、利用者が閲覧権限を有しない情報をマスキングすることができる。   The HM unit 10 (head mount unit) includes a display (display unit 12) that displays an image captured by a camera (first imaging unit 13). The HM unit 10 includes a shielding member that obstructs the surrounding view. In addition, when a character is detected from an image captured by the camera, the HM unit 10 can execute first control of performing concealment processing on the detected character and displaying the concealed character on a display. Further, the HM unit 10 can execute the second control of restricting the characters to be concealed among the detected characters, performing concealment processing, and displaying the concealed characters on the display. As a result, the HM unit 10 can mask information for which the user does not have viewing authority.

また、第１の制御は、ＨＭユニット１０に搭載されたセンサにより移動中であることが検知された場合に実行させる。その結果、ＨＭユニット１０は、新たに視界に入ってきた文字を迅速にマスキングできる。   In addition, the first control is executed when the sensor mounted on the HM unit 10 detects that the HM unit 10 is moving. As a result, the HM unit 10 can quickly mask a character newly entering the field of view.

また、第２の制御は、ＨＭユニット１０に搭載されたセンサにより非移動中であることの検知、所定の物の検知、所定の画面の検知、所定のフォームの検知、のいずれか、または、複数の組み合わせに応じて、実行される。その結果、ＨＭユニット１０は、利用者が移動していない場合に、より細かく閲覧を制御することができる。   In addition, the second control is any one of detection of non-moving, detection of a predetermined object, detection of a predetermined screen, detection of a predetermined form, by a sensor mounted on the HM unit 10, or It is executed according to a plurality of combinations. As a result, the HM unit 10 can control the browsing more finely when the user is not moving.

ＨＭユニット１０（ヘッドマウントユニット）は、カメラ（第１撮像部１３）で撮像された画像を表示するディスプレイ（表示部１２）を備える。ＨＭユニット１０は、周囲の視界を妨げる遮蔽部材を備える。また、ＨＭユニット１０は、カメラで撮像された画像から所定の画面または所定のフォームが検知された場合に、所定の画面または所定のフォームに対応づけられた特定の箇所または文字について秘匿化処理を施した画像をディスプレイに表示させる。その結果、ＨＭユニット１０は、コンソール画面に表示された秘密情報を所定の画面または所定のフォームに応じて秘匿することができる。   The HM unit 10 (head mount unit) includes a display (display unit 12) that displays an image captured by a camera (first imaging unit 13). The HM unit 10 includes a shielding member that obstructs the surrounding view. Further, when a predetermined screen or a predetermined form is detected from an image captured by the camera, the HM unit 10 performs concealment processing on a specific portion or character associated with the predetermined screen or the predetermined form. Display the applied image on the display. As a result, the HM unit 10 can conceal the secret information displayed on the console screen according to a predetermined screen or a predetermined form.

なお、上記実施例では、利用者がＨＭユニット１０を外しているか否かの判定に、第２撮像部１４を用いた虹彩認証を用いたが、これに限定されない。例えば、利用者の視線情報を用いてもよいし、サーモパイル等を用いて利用者の体温を検知するようにしてもよい。   In the above embodiment, the iris authentication using the second imaging unit 14 is used to determine whether or not the user has detached the HM unit 10. However, the present invention is not limited to this. For example, the user's line of sight information may be used, or the body temperature of the user may be detected using a thermopile or the like.

また、上記実施例では、ＨＭユニット１０に初期表示する画像を情報処理装置１００から送信したが、これに限定されない。例えば、予め初期表示する画像をＨＭユニット１０に記憶させておき、セキュリティルームに入室した時点で初期表示する画像を表示させるようにしてもよい。また、初期表示させる画像は、ＨＭユニット１０が撮像する画像に基づいて、随時更新するようにしてもよい。これにより、レイアウト変更等が行われても、対応して閲覧制限を行うことができる。   Further, in the above embodiment, the image initially displayed on the HM unit 10 is transmitted from the information processing apparatus 100, but the present invention is not limited to this. For example, an image to be initially displayed may be stored in the HM unit 10 in advance, and an image to be initially displayed may be displayed when entering the security room. Further, the image to be initially displayed may be updated at any time based on the image captured by the HM unit 10. As a result, even if a layout change or the like is performed, browsing can be restricted correspondingly.

また、上記実施例では、データベース２０に、利用者やセキュリティルームの情報、入退室管理や秘匿対象に関する情報等の各種の情報を記憶したが、これに限定されない。例えば、情報処理装置１００の記憶部１２０にこれらの各種データベースを記憶するようにしてもよい。また、情報処理装置１００に設けたログ記憶部１２１をデータベース２０に設けてもよい。   Further, in the above embodiment, the database 20 stores various information such as information on users and security rooms, and information on entry / exit management and confidentiality. However, the present invention is not limited to this. For example, these various databases may be stored in the storage unit 120 of the information processing apparatus 100. Further, the log storage unit 121 provided in the information processing apparatus 100 may be provided in the database 20.

また、上記実施例では、セキュリティルーム内における閲覧権限の制御について説明したが、これに限定されない。例えば、スマートフォン等に適用することで、子供を対象としたペアレンタルコントロールについて、より柔軟に閲覧権限を制御することができる。   Further, in the above embodiment, the control of the viewing authority in the security room has been described, but the present invention is not limited to this. For example, by applying the present invention to a smartphone or the like, parental control for a child can be more flexibly controlled in viewing authority.

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、情報処理装置１００の認識部１３２と判定部１３３と加工部１３４とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。   In addition, each component of each unit illustrated does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each unit is not limited to the one shown in the figure, and all or a part thereof is functionally or physically distributed / integrated in arbitrary units according to various loads and usage conditions. Can be configured. For example, the recognition unit 132, the determination unit 133, and the processing unit 134 of the information processing device 100 may be integrated. Further, the illustrated processes are not limited to the above-described order, and may be performed simultaneously or may be performed in a different order as long as the processing contents are not contradictory.

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。   Further, various processing functions performed by each device may be entirely or arbitrarily executed on a CPU (or a microcomputer such as an MPU or an MCU (Micro Controller Unit)). The various processing functions may be entirely or arbitrarily executed on a program analyzed and executed by a CPU (or a microcomputer such as an MPU or an MCU) or on hardware by wired logic. It goes without saying that it is good.

ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図２３は、表示制御プログラムを実行するコンピュータの一例を示す図である。   The various processes described in the above embodiments can be realized by executing a prepared program on a computer. Therefore, an example of a computer that executes a program having the same functions as the above embodiments will be described below. FIG. 23 is a diagram illustrating an example of a computer that executes a display control program.

図２３に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。   As shown in FIG. 23, the computer 200 includes a CPU 201 that executes various arithmetic processing, an input device 202 that receives data input, and a monitor 203. Also, the computer 200 includes a medium reading device 204 for reading a program or the like from a storage medium, an interface device 205 for connecting to various devices, and a communication device 206 for connecting to another information processing device or the like by wire or wirelessly. Having. Further, the computer 200 has a RAM 207 for temporarily storing various information, and a hard disk device 208. Each of the devices 201 to 208 is connected to a bus 209.

ハードディスク装置２０８には、図１１に示した取得部１３１、認識部１３２、判定部１３３、加工部１３４、表示制御部１３５、警告部１３６およびログ記録部１３７の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、ハードディスク装置２０８には、ログ記憶部１２１、および、表示制御プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００の管理者から操作情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００の管理者に対して表示画面等の各種画面を表示する。インタフェース装置２０５は、例えば印刷装置等が接続される。通信装置２０６は、例えば、図１１に示した通信部１１０と同様の機能を有しネットワークＮ１，Ｎ２と接続され、ＨＭユニット１０、データベース２０、ビル管理システム３０、および、他の情報処理装置と各種情報をやりとりする。   The hard disk device 208 has the same functions as the processing units of the acquisition unit 131, the recognition unit 132, the determination unit 133, the processing unit 134, the display control unit 135, the warning unit 136, and the log recording unit 137 shown in FIG. A display control program is stored. The hard disk device 208 stores the log storage unit 121 and various data for implementing the display control program. The input device 202 receives input of various information such as operation information from the administrator of the computer 200, for example. The monitor 203 displays various screens such as a display screen for the administrator of the computer 200, for example. The interface device 205 is connected to, for example, a printing device. The communication device 206 has, for example, the same function as the communication unit 110 illustrated in FIG. 11 and is connected to the networks N1 and N2, and communicates with the HM unit 10, the database 20, the building management system 30, and other information processing devices. Exchange various information.

ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１１に示した取得部１３１、認識部１３２、判定部１３３、加工部１３４、表示制御部１３５、警告部１３６およびログ記録部１３７として機能させることができる。   The CPU 201 performs various processes by reading out each program stored in the hard disk device 208, developing the program in the RAM 207, and executing the program. Further, these programs can cause the computer 200 to function as the acquisition unit 131, the recognition unit 132, the determination unit 133, the processing unit 134, the display control unit 135, the warning unit 136, and the log recording unit 137 illustrated in FIG. .

なお、上記の表示制御プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ２００がこれらから表示制御プログラムを読み出して実行するようにしてもよい。   The above display control program does not necessarily need to be stored in the hard disk device 208. For example, the computer 200 may read out and execute a program stored in a storage medium readable by the computer 200. The storage medium readable by the computer 200 corresponds to, for example, a portable recording medium such as a CD-ROM, a DVD (Digital Versatile Disc), a USB (Universal Serial Bus) memory, a semiconductor memory such as a flash memory, a hard disk drive, and the like. . Alternatively, the display control program may be stored in a device connected to a public line, the Internet, a LAN, or the like, and the computer 200 may read out the display control program and execute the program.

１ 情報制御システム
１０ ＨＭユニット
１１ 通信部
１２ 表示部
１３ 第１撮像部
１４ 第２撮像部
１５ 制御部
２０ データベース
２１ 利用者情報ＤＢ
２２ 作業管理ＤＢ
２３ 入室時基本情報ＤＢ
２４ 文字列情報ＤＢ
２５ 居室内情報ＤＢ
２６ Ｗｅｂ設計情報ＤＢ
２７ 秘匿対象情報ＤＢ
２８ 秘匿情報表示ルールＤＢ
３０ ビル管理システム
４０ 認証システム
５０ ゲート
１００ 情報処理装置
１１０ 通信部
１１１ 表示部
１１２ 操作部
１２０ 記憶部
１２１ ログ記憶部
１３０ 制御部
１３１ 取得部
１３２ 認識部
１３３ 判定部
１３４ 加工部
１３５ 表示制御部
１３６ 警告部
１３７ ログ記録部
Ｎ１，Ｎ２ ネットワーク Reference Signs List 1 information control system 10 HM unit 11 communication unit 12 display unit 13 first imaging unit 14 second imaging unit 15 control unit 20 database 21 user information DB
22 Work management DB
23 Basic Information DB at Entry
24 Character string information DB
25 Living Room Information DB
26 Web design information DB
27 confidential information DB
28 Confidential information display rule DB
Reference Signs List 30 building management system 40 authentication system 50 gate 100 information processing device 110 communication unit 111 display unit 112 operation unit 120 storage unit 121 log storage unit 130 control unit 131 acquisition unit 132 recognition unit 133 determination unit 134 processing unit 135 display control unit 136 warning Unit 137 Log recording unit N1, N2 Network

Claims (15)

セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち１つ以上の情報を含むオブジェクトについて前記情報を認識し、
認識した前記情報が、前記利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した前記情報に対応する前記撮像画像の領域を非表示にする領域と判定し、
前記撮像画像のうち、判定した前記非表示にする領域の情報を加工し、
加工した前記非表示にする領域の情報を表示させる、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。 Based on the position of the user in the security area, and the captured image corresponding to the field of view of the user, among the objects in the captured image, the object including at least one of the character string and the image is described. Recognize information,
When the recognized information is stored in a storage unit that stores confidential information according to the attribute of the user, the area of the captured image corresponding to the recognized information is determined to be a non-display area. And
Processing information of the determined non-display area of the captured image,
Displaying the processed information of the non-display area,
A display control program for causing a computer to execute processing. 前記非表示にする領域の情報を表示させる表示装置は、撮像部と表示部とを有し、
前記表示させる処理は、前記表示部に、前記撮像部で撮像された前記撮像画像を表示させるとともに、前記判定する処理で判定された前記非表示にする領域が存在する場合、前記撮像画像に、加工した前記非表示にする領域の情報を重畳表示させる、
ことを特徴とする請求項１に記載の表示制御プログラム。 A display device that displays information of the region to be hidden includes an imaging unit and a display unit,
The process of displaying, the display unit, while displaying the captured image captured by the imaging unit, if there is an area to be hidden that is determined in the determination process, the captured image, Superimposing the processed information of the non-display area,
The display control program according to claim 1, wherein: 前記表示装置は、前記利用者に装着して移動可能な装置であるとともに、前記セキュリティエリア内における前記利用者の位置を検出可能であり、
前記表示部の表示は、前記利用者の視野を遮蔽し、
検出した前記位置が、前記文字列および画像のうち１つ以上の情報を含むオブジェクトの前記情報を認識可能な位置である場合に、前記認識する処理、前記判定する処理および前記加工する処理を行うように制御する処理をコンピュータに実行させる、
ことを特徴とする請求項２に記載の表示制御プログラム。 The display device is a device that can be worn by the user and movable, and can detect the position of the user in the security area,
The display of the display unit shields the user's field of view,
When the detected position is a position at which the information of the object including one or more information of the character string and the image can be recognized, the recognition process, the determination process, and the processing process are performed. To make the computer execute the process to control
The display control program according to claim 2, wherein: 前記表示装置は、生体認証装置を有し、
前記判定する処理は、前記生体認証装置によって認証された前記利用者の権限に応じて判定を行う、
ことを特徴とする請求項２または３に記載の表示制御プログラム。 The display device has a biometric authentication device,
The determining process performs a determination according to the authority of the user authenticated by the biometric authentication device,
4. The display control program according to claim 2, wherein: 前記生体認証装置は、所定の間隔で認証を行い、
認証が出来ない場合に、前記表示装置の前記利用者に警告を発する処理をコンピュータに実行させる、
ことを特徴とする請求項４に記載の表示制御プログラム。 The biometric authentication device performs authentication at predetermined intervals,
If authentication is not possible, cause the computer to execute a process of issuing a warning to the user of the display device.
The display control program according to claim 4, wherein: 前記判定する処理は、非表示にしない領域内のオブジェクトを特定し、
特定した前記非表示にしない領域内のオブジェクトのうち、前記利用者の視線情報に基づいて、前記利用者が視線を合わせたオブジェクトの情報を記録する処理をコンピュータに実行させる、
ことを特徴とする請求項１〜５のいずれか１つに記載の表示制御プログラム。 The determining process specifies an object in an area not to be hidden,
Among the objects in the specified area not to be hidden, based on the line of sight information of the user, the computer causes the computer to execute a process of recording information of the object to which the user has lined up.
The display control program according to any one of claims 1 to 5, wherein: 前記記録する処理は、前記セキュリティエリア内に設けられたシステムの端末に表示される画面を特定する情報が記憶された記憶部を参照し、特定した前記非表示にしない領域内のオブジェクトのうち、前記画面を特定する情報を含むオブジェクトの情報を記録する、
ことを特徴とする請求項６に記載の表示制御プログラム。 The recording processing refers to a storage unit in which information for specifying a screen displayed on a terminal of the system provided in the security area is stored, and among the objects in the specified area not to be hidden, Recording information of an object including information for specifying the screen,
7. The display control program according to claim 6, wherein: 前記認識する処理は、前記利用者の位置における前記視界内に存在する秘匿対象のオブジェクトの位置を特定する情報が記憶された記憶部を参照し、前記秘匿対象のオブジェクトの位置を特定する情報に基づいて、前記撮像画像内の秘匿対象のオブジェクトを認識し、
前記判定する処理は、認識した前記秘匿対象のオブジェクトに対応する前記撮像画像内の領域を非表示にする領域と判定する、
ことを特徴とする請求項１〜７のいずれか１つに記載の表示制御プログラム。 The recognizing process refers to a storage unit in which information for specifying the position of the object to be concealed existing in the field of view at the position of the user is stored, and to information for specifying the position of the object to be concealed. On the basis of the object to be concealed in the captured image,
The determination processing is to determine a region in the captured image corresponding to the recognized object to be concealed as a region to be hidden,
The display control program according to any one of claims 1 to 7, wherein: 前記認識する処理は、前記セキュリティエリア内に設けられたシステムの端末に表示される画面の設計情報が記憶された記憶部を参照し、前記画面の設計情報に基づいて、前記文字列および画像のうち１つ以上の情報を含むオブジェクトの前記情報を認識し、
前記判定する処理は、前記端末に表示される画面ごとに設定された秘匿対象情報に基づいて、該画面内の秘匿対象の項目を非表示にする領域と判定する、
ことを特徴とする請求項１〜８のいずれか１つに記載の表示制御プログラム。 The recognizing process refers to a storage unit in which design information of a screen displayed on a terminal of a system provided in the security area is stored. Based on the design information of the screen, the character string and the image Recognizing the information of the object including at least one of the information,
The determining process is based on confidential information set for each screen displayed on the terminal, and determines an area in which the items to be concealed in the screen are to be hidden.
The display control program according to any one of claims 1 to 8, wherein: セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち１つ以上の情報を含むオブジェクトについて前記情報を認識し、
認識した前記情報が、前記利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した前記情報に対応する前記撮像画像の領域を非表示にする領域と判定し、
前記撮像画像のうち、判定した前記非表示にする領域の情報を加工し、
加工した前記非表示にする領域の情報を表示させる、
処理をコンピュータが実行することを特徴とする表示制御方法。 Based on the position of the user in the security area, and the captured image corresponding to the field of view of the user, among the objects in the captured image, the object including at least one of the character string and the image is described. Recognize information,
When the recognized information is stored in a storage unit that stores confidential information according to the attribute of the user, the area of the captured image corresponding to the recognized information is determined to be a non-display area. And
Processing information of the determined non-display area of the captured image,
Displaying the processed information of the non-display area,
A display control method, wherein the processing is executed by a computer. セキュリティエリア内の利用者の位置、および、該利用者の視界に対応する撮像画像に基づいて、該撮像画像内のオブジェクトのうち、文字列および画像のうち１つ以上の情報を含むオブジェクトについて前記情報を認識する認識部と、
認識した前記情報が、前記利用者の属性に応じた秘匿対象情報を記憶した記憶部に記憶されている場合に、認識した前記情報に対応する前記撮像画像の領域を非表示にする領域と判定する判定部と、
前記撮像画像のうち、判定した前記非表示にする領域の情報を加工する加工部と、
加工した前記非表示にする領域の情報を表示させる表示制御部と、
を有することを特徴とする情報処理装置。 Based on the position of the user in the security area, and the captured image corresponding to the field of view of the user, among the objects in the captured image, the object including at least one of the character string and the image is described. A recognition unit for recognizing information;
When the recognized information is stored in the storage unit that stores the confidential information according to the attribute of the user, the area of the captured image corresponding to the recognized information is determined to be a non-display area. A determination unit to perform
A processing unit that processes information of the determined non-display area in the captured image,
A display control unit for displaying information of the processed non-display area,
An information processing apparatus comprising: カメラで撮像された画像を表示するディスプレイを備えたヘッドマウントユニットにおいて、
周囲の視界を妨げる遮蔽部材と、
前記カメラで撮像された画像から文字が検出されると、検出された前記文字について秘匿化処理を施して前記ディスプレイに表示する第１の制御と、検出された前記文字のうち秘匿化対象の文字に制限して秘匿化処理を施して前記ディスプレイに表示する第２の制御と、を実行可能な制御部と、
を備えたことを特徴とするヘッドマウントユニット。 In a head mounted unit having a display for displaying an image captured by a camera,
A shielding member that obstructs the surrounding view,
When a character is detected from an image captured by the camera, a first control for performing concealment processing on the detected character and displaying it on the display, and a character to be concealed among the detected characters A control unit capable of executing a second control of performing concealment processing by limiting the display to the display and restricting the display to the display;
A head mount unit comprising: 前記第１の制御は、前記ヘッドマウントユニットに搭載されたセンサにより移動中であることが検知された場合に実行される、ことを特徴とする請求項１２に記載のヘッドマウントユニット。   13. The head mount unit according to claim 12, wherein the first control is executed when it is detected that the mobile unit is moving by a sensor mounted on the head mount unit. 前記第２の制御は、前記ヘッドマウントユニットに搭載されたセンサにより非移動中であることの検知、所定の物の検知、所定の画面の検知、所定のフォームの検知、のいずれか、または、複数の組み合わせに応じて、実行されることを特徴とする請求項１２に記載のヘッドマウントユニット。   The second control is any of non-moving detection by a sensor mounted on the head mount unit, detection of a predetermined object, detection of a predetermined screen, detection of a predetermined form, or The head mount unit according to claim 12, wherein the head mount unit is executed according to a plurality of combinations. カメラで撮像された画像を表示するディスプレイを備えたヘッドマウントユニットにおいて、
周囲の視界を妨げる遮蔽部材と、
前記カメラで撮像された画像から所定の画面または所定のフォームが検知された場合に、前記所定の画面または前記所定のフォームに対応づけられた特定の箇所または文字について秘匿化処理を施した画像を前記ディスプレイに表示させる制御部と、
を備えたことを特徴とするヘッドマウントユニット。 In a head mounted unit having a display for displaying an image captured by a camera,
A shielding member that obstructs the surrounding view,
When a predetermined screen or a predetermined form is detected from the image captured by the camera, an image obtained by performing concealment processing on a specific portion or character associated with the predetermined screen or the predetermined form is displayed. A control unit for displaying on the display,
A head mount unit comprising:
JP2018145703A 2018-08-02 2018-08-02 Display control program, display control method, information processing device and head mount unit Active JP7103040B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018145703A JP7103040B2 (en) 2018-08-02 2018-08-02 Display control program, display control method, information processing device and head mount unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018145703A JP7103040B2 (en) 2018-08-02 2018-08-02 Display control program, display control method, information processing device and head mount unit

Publications (2)

Publication Number Publication Date
JP2020021346A true JP2020021346A (en) 2020-02-06
JP7103040B2 JP7103040B2 (en) 2022-07-20

Family

ID=69588525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018145703A Active JP7103040B2 (en) 2018-08-02 2018-08-02 Display control program, display control method, information processing device and head mount unit

Country Status (1)

Country Link
JP (1) JP7103040B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598935A (en) * 2020-12-07 2022-06-07 横河电机株式会社 Apparatus, method and recording medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001530A1 (en) * 2007-06-22 2008-12-31 Panasonic Corporation Camera device and imaging method
JP2012170024A (en) * 2011-02-16 2012-09-06 Nikon Corp Information processing apparatus
JP2014099130A (en) * 2012-11-16 2014-05-29 International Business Maschines Corporation System for displaying data on device, method, and program for the system
WO2016013269A1 (en) * 2014-07-22 2016-01-28 ソニー株式会社 Image display device, image display method, and computer program
US20180180882A1 (en) * 2016-12-23 2018-06-28 Raja Singh Tuli Augmented Reality Eyewear

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001530A1 (en) * 2007-06-22 2008-12-31 Panasonic Corporation Camera device and imaging method
JP2012170024A (en) * 2011-02-16 2012-09-06 Nikon Corp Information processing apparatus
JP2014099130A (en) * 2012-11-16 2014-05-29 International Business Maschines Corporation System for displaying data on device, method, and program for the system
WO2016013269A1 (en) * 2014-07-22 2016-01-28 ソニー株式会社 Image display device, image display method, and computer program
US20180180882A1 (en) * 2016-12-23 2018-06-28 Raja Singh Tuli Augmented Reality Eyewear

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598935A (en) * 2020-12-07 2022-06-07 横河电机株式会社 Apparatus, method and recording medium

Also Published As

Publication number Publication date
JP7103040B2 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
JP6481249B2 (en) Programmable display, control method, and program
US8751534B2 (en) Method and apparatus for managing file
CN106605410B (en) A kind of method and equipment controlling the access to content by the appearance based on user that calculating equipment is realized
JP6307807B2 (en) Programmable display, display control method, and program
JP6295534B2 (en) Programmable display, control method, and program
CN103797752A (en) Method and computer program for providing authentication to control access to a computer system
CN105659250B (en) World driven access control
JP2015088086A (en) Information processing apparatus and information processing method
JP5831412B2 (en) Information sharing system, shared terminal, and shared control program
JP7103040B2 (en) Display control program, display control method, information processing device and head mount unit
JP6118128B2 (en) Authentication system
JP2008140319A (en) Personal identification device and personal identification system
JP5901824B1 (en) Face authentication system and face authentication program
JP7007032B2 (en) Information processing equipment, information processing methods and information processing programs
JP6485522B2 (en) Management server, information processing terminal, control method, and program
WO2019216630A1 (en) Image editing method and electronic device supporting same
WO2020022646A1 (en) User-aware remote control for shared devices
CN105787339B (en) The method and device of Password Input based on target identification technology
JP2007122598A (en) Information processor, and information processing system and program
JP2004334859A (en) Information processor used by plurality of different operators, its method, and program
JP6515439B2 (en) Authority management apparatus, authority management method, and authority management system
JP6871470B1 (en) Information processing equipment, information processing methods and programs
WO2018122960A1 (en) Photographer identification system, photographer identification method, and program
JP2007295127A (en) Unit and method for processing information
JP4500903B2 (en) Groupware system and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R150 Certificate of patent or registration of utility model

Ref document number: 7103040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150