JP7228153B2

JP7228153B2 - Head-mounted device, brain activity recording system

Info

Publication number: JP7228153B2
Application number: JP2018197792A
Authority: JP
Inventors: 清長谷川; 剛史星野; 拓也岡田
Original assignee: FOVE, INC.; NeU Corp
Current assignee: FOVE, INC.; NeU Corp
Priority date: 2018-10-19
Filing date: 2018-10-19
Publication date: 2023-02-24
Anticipated expiration: 2038-10-19
Also published as: JP2020062354A

Description

特許法第３０条第２項適用（公開１）掲載日平成３０年１０月１５日ｈｔｔｐ：／／ｎｅｕ－ｂｒａｉｎｓ．ｃｏ．ｊｐ／ｉｎｆｏｒｍａｔｉｏｎ／ｐｒｅｓｓ／２０１８／１０／１５／４９４．ｈｔｍｌ（公開２）掲載日平成３０年１０月１５日ｈｔｔｐｓ：／／ｗｗｗ．ｇｅｔｆｏｖｅ．ｃｏｍ／ｕｐｄａｔｅｓ／（公開３）掲載日平成３０年１０月１５日ｈｔｔｐｓ：／／ｗｗｗ．ａｔｐｒｅｓｓ．ｎｅ．ｊｐ／ｎｅｗｓ／１６８３８９（公開４）展示日平成３０年１０月１５日から１９日展示会名ＣＥＡＴＥＣＪＡＰＡＮ２０１８開催場所幕張メッセ（千葉県美浜区中瀬２－１）Application of Article 30, Paragraph 2 of the Patent Act (Publication 1) Posting date October 15, 2018 http://neu-brains. co. jp/information/press/2018/10/15/494. html (Publication 2) Posting date October 15, 2018 https://www. getfove. com/updates/ (Publication 3) Posting date October 15, 2018 https://www. at press. ne. jp/news/168389 (Publication 4) Exhibition date: October 15 to 19, 2018 Exhibition name: CEATEC JAPAN 2018 Venue: Makuhari Messe (2-1 Nakase, Mihama-ku, Chiba)

本発明は、頭部装着装置、脳活動記録システムに関する。 The present invention relates to a head-mounted device and a brain activity recording system.

近年、ＶＲ（Virtual Reality）技術の市場拡大が見られる。ＶＲ技術は、現物がなく
とも機能として本質は同じであるような環境を、利用者の感覚（特に視覚）を刺激することにより、仮想的に作り出す技術である。ＶＲ技術は、ゲーム業界だけではなく、製品の設計や、試作品の制作、製品に対する顧客の印象評価などにも使用され始めている。ＶＲ技術を使用することで、従来のような、製品のモックアップを制作することに比べ、コストダウンを図ることができる。ＶＲ技術は、例えば、ヘッドマウントディスプレイ（Head
Mounted Display; HMD）により実現されている。 In recent years, the market for VR (Virtual Reality) technology has expanded. VR technology is a technology that virtually creates an environment that is functionally the same as the real thing by stimulating the user's senses (especially vision). VR technology has begun to be used not only in the game industry, but also in product design, prototype production, customer impression evaluation of products, and the like. By using VR technology, it is possible to reduce costs compared to creating mockups of products as in the past. VR technology, for example, head-mounted display (Head
Mounted Display (HMD).

また、頭部に装着される脳活動測定装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。当該計測システムを利用して、利用者（被験者）が様々な行動を行う際の脳活動状態を計測することが行われている。 In addition, by providing a near-infrared irradiation part and a near-infrared detection part in the brain activity measurement device worn on the head, detecting changes in blood flow on the brain surface, and processing the detected data with a data processing device , a measurement system for acquiring information indicating the activity state of the brain. The measurement system is used to measure the state of brain activity when a user (subject) performs various actions.

国際公開第２０１６／０８４８３４号WO2016/084834

利用者が、例えば、ＨＭＤを利用してＶＲ技術の視覚コンテンツを視聴している場合に、利用者の視線方向や利用者の脳活動状態を検出することが求められている。しかし、ＶＲ技術のコンテンツを視聴しているときに、視線方向測定と脳活動測定とを行うことは難しい。視線方向測定及び脳活動測定では、ともに、近赤外線を使用するので、一方の測定のために照射された近赤外線が、他方の測定の検出手段で検出されることにより、誤検出の原因となるからである。 For example, when a user is viewing visual content of VR technology using an HMD, it is required to detect the user's line-of-sight direction and the user's brain activity state. However, it is difficult to perform gaze direction measurement and brain activity measurement while viewing VR technology content. Gaze direction measurement and brain activity measurement both use near-infrared rays, so the near-infrared rays irradiated for one measurement are detected by the detection means for the other measurement, causing false detection. It is from.

本発明は、視覚コンテンツを利用する利用者の視線方向測定と脳活動測定とを行うことができる技術を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a technology capable of measuring the line-of-sight direction and brain activity of a user who uses visual content.

上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、
利用者に装着され、脳活動測定装置及び映像出力装置を含む頭部装着装置であって、
前記脳活動測定装置は、
第１波長の近赤外線を前記利用者の頭部に照射する第１光源と、
前記利用者の所定の脳活動状態を計測するために、前記利用者の頭部で反射される前記第１波長の近赤外線を受光する第１受光部とを有し、
前記映像出力装置は、
前記利用者に視聴させる映像を出力する表示部と、
前記第１波長と異なる第２波長の近赤外線を前記利用者の眼に照射する第２光源と、
前記利用者の視線方向を検出するために、前記利用者の眼で反射される前記第２波長の近赤外線を受光する第２受光部とを有する、
頭部装着装置である。 In order to solve the above problems, the following means are adopted.
That is, the first aspect is
A head-mounted device worn by a user and including a brain activity measuring device and a video output device,
The brain activity measuring device
a first light source that irradiates the user's head with near-infrared rays of a first wavelength;
a first light receiving unit for receiving the near-infrared rays of the first wavelength reflected by the user's head in order to measure a predetermined state of brain activity of the user;
The video output device is
a display unit for outputting a video to be viewed by the user;
a second light source that irradiates the eyes of the user with near-infrared light having a second wavelength different from the first wavelength;
a second light receiving unit that receives the near-infrared rays of the second wavelength reflected by the eyes of the user, in order to detect the line-of-sight direction of the user;
It is a head-mounted device.

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。 Aspects of the disclosure may be realized by a program being executed by an information processing apparatus. That is, the disclosed configuration can be specified as a program for causing an information processing apparatus to execute the processing executed by each unit in the above-described aspects, or a computer-readable recording medium recording the program. Further, the disclosed configuration may be specified by a method for the information processing apparatus to execute the processes executed by the above-described means. The disclosed configuration may be specified as a system including an information processing device that performs the processing executed by each of the means described above.

プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。 The steps of writing a program include not only processes that are performed chronologically in the described order, but also processes that are not necessarily performed chronologically, but which are performed in parallel or individually. Some of the steps of writing the program may be omitted.

本発明によれば、視覚コンテンツを利用する利用者の視線方向測定と脳活動測定とを行うことができる。 According to the present invention, it is possible to measure the line-of-sight direction and brain activity of a user who uses visual content.

図１は、実施形態に係る脳活動記録システムの情報処理に関する構成例を示す図である。FIG. 1 is a diagram showing a configuration example regarding information processing of a brain activity recording system according to an embodiment. 図２は、脳活動測定装置の構成例を示す図である。FIG. 2 is a diagram showing a configuration example of a brain activity measuring device. 図３は、映像出力装置の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of a video output device. 図４は、利用者端末の構成例を示す図である。FIG. 4 is a diagram showing a configuration example of a user terminal. 図５は、頭部装着装置１０を情報から見た外観を例示する斜視図である。FIG. 5 is a perspective view illustrating an appearance of the head-mounted device 10 viewed from information. 図６は、頭部装着装置１０を頭部に装着する側から見た平面図である。FIG. 6 is a plan view of the head mounted device 10 viewed from the side where the head is mounted. 図７は、頭部装着装置１０を側面から見た平面図である。FIG. 7 is a plan view of the head-mounted device 10 viewed from the side. 図８は、実施形態の脳活動記録システムの利用者端末の動作フローの例を示す図である。FIG. 8 is a diagram illustrating an example of an operation flow of a user terminal of the brain activity recording system of the embodiment; 図９は、頭部装着装置の構造の変形例１を示す図である。FIG. 9 is a diagram showing Modification 1 of the structure of the head-mounted device. 図１０は、頭部装着装置の構造の変形例２を示す図である。FIG. 10 is a diagram showing Modification 2 of the structure of the head-mounted device.

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。 Embodiments will be described below with reference to the drawings. The configuration of the embodiment is an example, and the configuration of the invention is not limited to the specific configuration of the disclosed embodiment. In carrying out the invention, a specific configuration according to the embodiment may be adopted as appropriate.

〔実施形態〕
（構成例）
図１は、本実施形態に係る脳活動記録システムの情報処理に関する構成例を示す図である。本実施形態のシステムは、利用者に脳活動測定装置１００と映像出力装置２００とを含む頭部装着装置１０を装着させ、利用者に視聴させる映像を出力し、利用者の視線（視線方向）を検出し、利用者の脳活動状態（例えば、心拍数、脳血流変化量など）を示す計測データ（検出値、計測値ともいう）を検出する。脳活動記録システムでは、利用者が映像出力装置２００から出力される映像を視聴している際の、利用者の脳活動状態を測定することができる。 [Embodiment]
(Configuration example)
FIG. 1 is a diagram showing a configuration example regarding information processing of a brain activity recording system according to this embodiment. The system of the present embodiment allows a user to wear a head-mounted device 10 including a brain activity measuring device 100 and a video output device 200, outputs video for the user to view, and is detected, and measurement data (also referred to as detection value or measurement value) indicating the user's brain activity state (for example, heart rate, cerebral blood flow variation, etc.) is detected. The brain activity recording system can measure the brain activity state of the user while the user is viewing the video output from the video output device 200 .

図１のように、脳活動記録システム１は、利用者端末２０、頭部装着装置１０を有する。頭部装着装置１０と利用者端末２０とは、ネットワークＮ１を介して、通信可能に接続される。頭部装着装置１０は、脳活動測定装置１００、映像出力装置２００、本体部３０
０を含む。ネットワークＮ１は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、ＬＴＥ（Long Term Evolution）等の規格にしたがうネットワークである。脳活動測定装置１００が使用するネットワークと、映像出力装置２００が使用するネットワークとが、異なっていてもよい。脳活動測定装置１００と映像出力装置２００とが、ネットワークＮ１を介して、通信可能に接続されてもよい。脳活動測定装置１００は、脳活動状態を計測する計測装置の一例である。頭部装着装置１０は、利用者の頭部に装着され、利用者の頭部に固定される構造を有する。頭部装着装置１０では、脳活動測定装置１００は頭部（額など）に接触されるように装着され、映像出力装置２００は眼を覆うように装着される。頭部装着装置１０の脳活動測定装置１００と映像出力装置２００とは、一体化しても分離してもよい。 As shown in FIG. 1 , the brain activity recording system 1 has a user terminal 20 and a head-mounted device 10 . The head-mounted device 10 and the user terminal 20 are communicably connected via a network N1. The head-mounted device 10 includes a brain activity measuring device 100, a video output device 200, and a main body 30.
Contains 0. The network N1 is, for example, a network conforming to standards such as Bluetooth (registered trademark), wireless LAN (Local Area Network), and LTE (Long Term Evolution). The network used by brain activity measuring device 100 and the network used by video output device 200 may be different. Brain activity measurement device 100 and video output device 200 may be communicably connected via network N1. The brain activity measuring device 100 is an example of a measuring device that measures the state of brain activity. The head-mounted device 10 has a structure to be mounted on a user's head and fixed to the user's head. In the head-mounted device 10, the brain activity measuring device 100 is worn so as to be in contact with the head (forehead, etc.), and the image output device 200 is worn so as to cover the eyes. The brain activity measuring device 100 and the video output device 200 of the head-mounted device 10 may be integrated or separated.

図２は、脳活動測定装置の構成例を示す図である。脳活動測定装置１００は、情報処理の側面としては、制御部１０１と、無線通信部１０３と、光源１０４、受光部１０５とを有する。制御部１０１は、脳活動測定装置１００の計測と通信を制御する。制御部１０１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital Signal Processor）等のプロセッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュー
タプログラム、ファームウェア等により処理を実行する。ただし、制御部１０１は、無線通信部１０３、光源１０４、受光部１０５を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよ
い。また、制御部１０１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。 FIG. 2 is a diagram showing a configuration example of a brain activity measuring device. The brain activity measuring device 100 includes a control unit 101, a wireless communication unit 103, a light source 104, and a light receiving unit 105 as aspects of information processing. The control unit 101 controls measurement and communication of the brain activity measuring device 100 . The control unit 101 has a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) and a memory, and executes processing by means of a computer program, firmware, etc. that is executable on the memory. . However, the control unit 101 activates the wireless communication unit 103, the light source 104, and the light receiving unit 105, and even if it is a dedicated hardware circuit, an FPGA (Field Programmable Gate Array), or the like, that executes cooperative processing with each component. good. Also, the control unit 101 may be a mixture of a CPU, a DSP, a dedicated hardware circuit, and the like.

無線通信部１０３は、所定のインターフェースによって、制御部１０１および光源１０４、受光部１０５と接続される。ただし、無線通信部１０３は、制御部１０１を介して、受光部１０５からデータを取得する構成であってもよい。無線通信部１０３は、ネットワークＮ１を介して、利用者端末２０と通信する。無線通信部１０３は、転送手段の一例である。ただし、脳活動記録システム１において、無線通信部１０３の無線インターフェースの規格に限定はない。 Wireless communication section 103 is connected to control section 101, light source 104, and light receiving section 105 via a predetermined interface. However, the wireless communication unit 103 may be configured to acquire data from the light receiving unit 105 via the control unit 101 . The wireless communication unit 103 communicates with the user terminal 20 via the network N1. Wireless communication unit 103 is an example of transfer means. However, in the brain activity recording system 1, the standard of the wireless interface of the wireless communication unit 103 is not limited.

ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、脳活動測定装置１００を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。 During communication on the network N1, an identifier for identifying the brain activity measuring device 100 is embedded in the header part of the communication header or the user data part (payload part) in the communication data, subject) can be identified.

また、脳活動記録システム１において、無線通信部１０３に代えて、あるいは、無線通信部１０３とともに有線で通信を行う通信部を設けてもよい。すなわち、脳活動測定装置１００と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、脳活動記録システム１の用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩＥｘｐｒｅｓｓ（登録商標）等の各種インターフェースを使用できる。 Further, in the brain activity recording system 1, instead of the wireless communication unit 103, or together with the wireless communication unit 103, a communication unit that performs wired communication may be provided. That is, the brain activity measuring device 100 and the user terminal 20 may be connected via a wired communication interface. The wired communication interface in this case is not limited, and various interfaces such as USB (Universal Serial Bus) and PCI Express (registered trademark) can be used according to the application of the brain activity recording system 1 .

光源１０４は、赤外線を頭部に照射する。受光部１０５は、光源１０４から頭部に照射され、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。受光部１０５は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。受光部１０５は、検出部の一例である。受光部１０５で検出される情報により、脳血流変化量、脈拍数を算出することができる。脈拍数は、心拍数に相当する。 The light source 104 irradiates the head with infrared rays. The light-receiving unit 105 receives near-infrared rays emitted from the light source 104 to the head and partially absorbed and scattered in the vicinity of the cerebral cortex of the brain, and converts the near-infrared rays into electrical signals. The cerebral cortex of the brain, for example, has different blood flow depending on the activity state of the brain. As a result, the amount of oxygen-bound hemoglobin in the blood and the amount of oxygen-unbound hemoglobin change in each part of the cerebral cortex. Due to changes in the amount of hemoglobin, changes in the amount of oxygen, etc., near-infrared absorption characteristics or scattering characteristics change near the cerebral cortex. The light-receiving unit 105 converts the near-infrared rays whose light quantity changes due to changes in the near-infrared absorptivity or transmittance depending on the state of blood flow in the vicinity of the cerebral cortex into electric signals and outputs the electric signals. The light receiving unit 105 is an example of a detection unit. The amount of change in cerebral blood flow and the pulse rate can be calculated from the information detected by the light receiving unit 105 . The pulse rate corresponds to heart rate.

光源１０４は、例えば、近赤外線を照射する近赤外線光源を含む。近赤外線光源は、例えば、ＬＥＤ（Light Emitting Diodes）、赤外線ランプ等である。ここで使用される近
赤外線の波長は、例えば、８１０ｎｍである。 The light source 104 includes, for example, a near-infrared light source that emits near-infrared rays. Near-infrared light sources are, for example, LEDs (Light Emitting Diodes), infrared lamps, and the like. The near-infrared wavelength used here is, for example, 810 nm.

受光部１０５は、近赤外線を受光して電気信号に変換する。受光部１０５は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、ＡＤ（Analog Digital）コンバータとを含む。なお、光源１０４と受光部１０５とが対にして設けられなくてもよい。例えば、１つの光源１０４に対して、複数の受光部１０５が設けられてもよい。また、複数の光源１０４が設けられてもよい。受光部１０５は、光源１０４で使用する波長の近赤外線を通し、光源２０５で使用する波長の近赤外線を通さない（遮断する）フィルタを含んでもよい。当該フィルタにより、光源２０５からの近赤外線によるノイズを抑制することができる。 The light receiving unit 105 receives near-infrared light and converts it into an electric signal. The light receiving unit 105 includes a photoelectric element such as a photodiode and a phototransistor, an amplifier, and an AD (Analog Digital) converter. Note that the light source 104 and the light receiving section 105 may not be paired. For example, a plurality of light receiving units 105 may be provided for one light source 104 . Also, multiple light sources 104 may be provided. The light-receiving unit 105 may include a filter that allows the near-infrared rays of the wavelength used by the light source 104 to pass but does not pass (blocks) the near-infrared rays of the wavelength used by the light source 205 . The filter can suppress noise due to near-infrared rays from the light source 205 .

図３は、映像出力装置の構成例を示す図である。映像出力装置２００は、情報処理の側面としては、制御部２０１と、無線通信部２０３と、表示部２０４と、光源２０５と、受光部２０６とを有する。制御部２０１は、映像出力装置２００における映像の出力、視線方向の検出（推定）とを制御する。 FIG. 3 is a diagram showing a configuration example of a video output device. The video output device 200 includes a control unit 201, a wireless communication unit 203, a display unit 204, a light source 205, and a light receiving unit 206 as aspects of information processing. The control unit 201 controls video output and detection (estimation) of the line-of-sight direction in the video output device 200 .

映像出力装置２００は、利用者端末２０などから送信されて無線通信部２０３によって受信される映像信号に基づいて、表示部２０４に映像（視覚コンテンツ）を表示する。映像出力装置２００は、ゲーム機、ＰＣ（Personal Computer）、タブレット端末、スマー
トフォン、テレビ、ビデオプレイヤ等から出力される映像を表示可能な装置である。 The video output device 200 displays video (visual content) on the display unit 204 based on a video signal transmitted from the user terminal 20 or the like and received by the wireless communication unit 203 . The video output device 200 is a device capable of displaying video output from a game machine, a PC (Personal Computer), a tablet terminal, a smartphone, a television, a video player, or the like.

制御部２０１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital Signal Processor）等のプロセッサとメモリとを有し、メモリ上に実行可能に展開さ
れたコンピュータプログラム、ファームウェア等により処理を実行する。メモリは、揮発性メモリと不揮発性メモリを含んでよい。ただし、制御部２０１は、無線通信部２０３、表示部２０４、光源２０５、受光部２０６を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよ
い。また、制御部２０１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。 The control unit 201 has a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) and a memory, and executes processing according to a computer program, firmware, or the like that is executable on the memory. . The memory may include volatile memory and non-volatile memory. However, the control unit 201 activates the wireless communication unit 203, the display unit 204, the light source 205, and the light receiving unit 206, and includes a dedicated hardware circuit, an FPGA (Field Programmable Gate Array), etc. that executes cooperative processing with each component. may be Also, the control unit 201 may be a mixture of a CPU, a DSP, a dedicated hardware circuit, and the like.

無線通信部２０３は、所定のインターフェースによって、制御部２０１、表示部２０４、光源２０５、受光部２０６と接続される。ただし、無線通信部２０３は、制御部２０１を介して、受光部２０６からデータを取得する構成であってもよい。無線通信部２０３は、ネットワークＮ１を介して、利用者端末２０と通信する。無線通信部２０３は、転送手段の一例である。ただし、脳活動記録システム１において、無線通信部２０３の無線インターフェースの規格に限定はない。 The wireless communication section 203 is connected to the control section 201, the display section 204, the light source 205, and the light receiving section 206 via a predetermined interface. However, the wireless communication unit 203 may be configured to acquire data from the light receiving unit 206 via the control unit 201 . The wireless communication unit 203 communicates with the user terminal 20 via the network N1. Wireless communication unit 203 is an example of transfer means. However, in the brain activity recording system 1, the standard of the wireless interface of the wireless communication unit 203 is not limited.

ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、映像出力装置２００を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。 During communication on the network N1, an identifier that identifies the video output device 200 is embedded in the header portion of the communication header or the user data portion (payload portion) in the communication data so that the user terminal 20 can be used by the user (subject). ) can be identified.

また、脳活動記録システム１において、無線通信部２０３に代えて、あるいは、無線通信部２０３とともに有線で通信を行う通信部を設けてもよい。すなわち、映像出力装置２００と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、脳活動記録システム１の用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩＥｘｐｒｅｓｓ（登録商標）等の各種インターフェースを使用できる。 Further, in the brain activity recording system 1, instead of the wireless communication unit 203, or together with the wireless communication unit 203, a communication unit that performs wired communication may be provided. That is, the video output device 200 and the user terminal 20 may be connected via a wired communication interface. The wired communication interface in this case is not limited, and various interfaces such as USB (Universal Serial Bus) and PCI Express (registered trademark) can be used according to the application of the brain activity recording system 1 .

表示部２０４は、画像表示素子２０４ａ（図７参照）、レンズ２０４ｂ（図５等参照）を含む。画像表示素子２０４ａは、利用者に提示する画像（映像）を表示する。画像表示素子が表示する画像は、制御部２０１によって生成される。画像表示素子は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display）等によって実現される。 The display unit 204 includes an image display element 204a (see FIG. 7) and a lens 204b (see FIG. 5, etc.). The image display element 204a displays an image (video) to be presented to the user. An image displayed by the image display device is generated by the control unit 201 . The image display element is implemented by, for example, an LCD (Liquid Crystal Display) or an organic EL display (Organic Electro-Luminescence Display).

レンズ２０４ｂは、利用者が頭部装着装置１０を装着したときに、利用者の眼に対向する位置となるように配置される。レンズ２０４ｂは、画像表示素子２０４ａからの光を、集光し、利用者の眼に導く。レンズ２０４ｂは、複数のレンズを組み合わせたレンズ群であってもよい。レンズ２０４ｂの周囲には、複数の光源２０５が備えられている。図５の例では、レンズ２０４ｂの周囲に４つの光源２０５が備えられている。 The lens 204b is arranged so as to face the user's eyes when the user wears the head-mounted device 10 . The lens 204b collects the light from the image display element 204a and guides it to the user's eyes. The lens 204b may be a lens group that combines a plurality of lenses. A plurality of light sources 205 are provided around the lens 204b. In the example of FIG. 5, four light sources 205 are provided around the lens 204b.

光源２０５は、赤外線を眼球に照射する。受光部２０６は、光源２０５から眼球に照射され、眼球の虹彩付近で反射された近赤外線を受光し、電気信号に変換する。眼球の虹彩部分は、近赤外光を反射し（反射率が高い）、眼球の虹彩の内側は、近赤外光を吸収する（反射率が低い）。受光部２０６は、眼球の黒目の位置を、眼球の虹彩と虹彩の内側とによる近赤外光の反射率の差によりにより判別し、眼球の黒目の位置を検出する。受光部２０６は、検出部の一例である。制御部２０１や利用者端末２０は、受光部２０６で検出される情報（眼球の黒目の位置）により、視線方向を算出することができる。また、制御部２０１や利用者端末２０は、左右の眼球の視線方向に基づいて、利用者が見ているものまでの距離を算出することができる。視線方向の算出には、ここで説明した方法以外の他の方法が使用されてもよい。視線方向の算出には、周知のアイトラッキング技術が使用され得る。視線方向は、表示部２０４の表示領域のいずれかの位置を基準とした座標値（ｘ，ｙ）として表されてもよい。 The light source 205 irradiates the eyeball with infrared rays. The light receiving unit 206 receives the near-infrared rays emitted from the light source 205 to the eyeball and reflected near the iris of the eyeball, and converts the near-infrared rays into electrical signals. The iris portion of the eyeball reflects near-infrared light (high reflectance), and the inside of the iris of the eye absorbs near-infrared light (low reflectance). The light-receiving unit 206 detects the position of the iris of the eyeball by determining the position of the iris of the eyeball from the difference in reflectance of near-infrared light between the iris of the eyeball and the inner side of the iris. The light receiving unit 206 is an example of a detection unit. The control unit 201 and the user terminal 20 can calculate the line-of-sight direction from the information (the position of the iris of the eyeball) detected by the light receiving unit 206 . Also, the control unit 201 and the user terminal 20 can calculate the distance to what the user is looking at based on the line-of-sight directions of the left and right eyeballs. Other methods than the method described here may be used to calculate the line-of-sight direction. A well-known eye-tracking technique can be used to calculate the gaze direction. The line-of-sight direction may be expressed as coordinate values (x, y) based on any position in the display area of the display unit 204 .

光源２０５は、例えば、近赤外線を照射する近赤外線光源を含む。近赤外線光源は、例えば、ＬＥＤ（Light Emitting Diodes）、赤外線ランプ等である。ここで使用される近
赤外線の波長は、例えば、８５０ｎｍである。ここで使用される光源２０５の近赤外線の波長は、光源１０４の近赤外線の波長と異なる。異なる波長を使用することで、受光部１０５での誤検出を抑制することができる。光源２０５は、複数設けてもよいし、また眼球毎に設けられてもよい。 The light source 205 includes, for example, a near-infrared light source that emits near-infrared rays. Near-infrared light sources are, for example, LEDs (Light Emitting Diodes), infrared lamps, and the like. The near-infrared wavelength used here is, for example, 850 nm. The near-infrared wavelength of the light source 205 used here is different from the near-infrared wavelength of the light source 104 . By using different wavelengths, erroneous detection in the light receiving unit 105 can be suppressed. A plurality of light sources 205 may be provided, or may be provided for each eyeball.

受光部２０６は、近赤外線を受光して電気信号に変換する。受光部２０６は、近赤外線を画像で取得する赤外線カメラを含む。赤外線カメラの固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を利用できる。受光部２０６は、眼球毎に設けられてもよい。受光部２０６は、利用者の眼に向けられる。 The light receiving unit 206 receives near-infrared light and converts it into an electric signal. The light receiving unit 206 includes an infrared camera that acquires an image of near-infrared rays. A CCD (Charge-coupled device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like can be used as the solid-state imaging device of the infrared camera. The light receiving unit 206 may be provided for each eyeball. The light receiving portion 206 is directed toward the user's eyes.

脳活動測定装置１００と映像出力装置２００とが一体化して１つの装置として、１つの制御部により、脳活動の測定、映像の出力、視線方向の検出等を制御し、１つの無線通信部により、利用者端末２０等との通信を行ってもよい。 The brain activity measurement device 100 and the image output device 200 are integrated into one device, and one control unit controls brain activity measurement, image output, gaze direction detection, etc., and one wireless communication unit , the user terminal 20 or the like.

図４は、利用者端末の構成例を示す図である。利用者端末２０は、脳活動測定装置１０００から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。また、利用者端末２０は、映像出力装置２００に映像を表示するため情報を含む映像信号を出力し、映像出力装置２００から利用者の視線方向の情報を含む視線信号を受信する。映像出力装置２００から映像を出力している際に、利用者の視線方向と、利用者の脳活動状態を取得することで、利用者が映像を視聴している際の視線方向と脳活動状態を把握すること
ができる。利用者端末２０は、情報処理装置（コンピュータ）の一例である。利用者端末２０は、ＰＣ（Personal Computer）、スマートフォン、携帯電話、タブレット型端末、
カーナビゲーション装置、ＰＤＡ（Personal Digital Assistant）、ゲーム機のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。 FIG. 4 is a diagram showing a configuration example of a user terminal. The user terminal 20 acquires change data of near-infrared absorption rate or transmittance near the user's cerebral cortex from the brain activity measuring device 1000, and performs various information processing related to the user's brain activity state. provide services including In addition, the user terminal 20 outputs a video signal including information for displaying an image on the video output device 200 and receives from the video output device 200 a line-of-sight signal including information on the line-of-sight direction of the user. By acquiring the line-of-sight direction and the brain activity state of the user while outputting the video from the video output device 200, the line-of-sight direction and the brain activity state when the user is viewing the video can be determined. can be grasped. The user terminal 20 is an example of an information processing device (computer). The user terminal 20 includes a PC (Personal Computer), a smart phone, a mobile phone, a tablet terminal,
It can be realized using a car navigation device, a PDA (Personal Digital Assistant), a dedicated or general-purpose computer such as a game machine, or an electronic device equipped with a computer.

利用者端末２０は、ＣＰＵ２１と、メモリ２２と、無線通信部２３と、公衆回線通信部２４と、表示部２５と、操作部２６と、出力部２７と、撮像部２８と、測位部２９と、物理センサ部２Ａを有する。ＣＰＵ２１は、メモリ２２に実行可能に展開されたコンピュータプログラムにより、利用者端末２０としての処理を実行する。利用者端末２０としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ２１は、制御部の一例である。 The user terminal 20 includes a CPU 21, a memory 22, a wireless communication unit 23, a public line communication unit 24, a display unit 25, an operation unit 26, an output unit 27, an imaging unit 28, and a positioning unit 29. , and a physical sensor unit 2A. The CPU 21 executes processing as the user terminal 20 by a computer program developed in the memory 22 so as to be executable. The processing as the user terminal 20 is, for example, a service including various information processing related to the activity state of the user's brain. CPU21 which runs such a computer program is an example of a control part.

メモリ２２は、ＣＰＵ２１で実行されるコンピュータプログラム、あるいは、ＣＰＵ２１が処理するデータを記憶する。メモリ２２は、揮発性メモリと不揮発性メモリを含んでよい。メモリ２２は、記憶部の一例である。メモリ２２には、画像データを文字化するためのプログラム、測定結果等を表示するためのプログラム、データ等が格納される。 The memory 22 stores computer programs executed by the CPU 21 or data processed by the CPU 21 . Memory 22 may include volatile memory and non-volatile memory. The memory 22 is an example of a storage unit. The memory 22 stores a program for converting image data into characters, a program for displaying measurement results and the like, data, and the like.

無線通信部２３は、脳活動測定装置１００の無線通信部１０３と同様である。無線通信部２３は、受信手段の一例である。また、利用者端末２０は、無線通信部１０３に代えて、あるいは、無線通信部１０３とともに有線で通信を行う通信部を有してもよい。利用者端末２０は、無線通信部２３を介して、脳活動測定装置１００のセンサ１１５、１２５で検出された情報を取得する。利用者端末２０は、脳活動測定装置１００から取得した情報に基づいて、利用者の心拍数、脳血流変化量等を算出する。 The wireless communication section 23 is the same as the wireless communication section 103 of the brain activity measuring device 100 . The wireless communication unit 23 is an example of receiving means. Also, the user terminal 20 may have a communication section that performs wired communication in place of the wireless communication section 103 or together with the wireless communication section 103 . The user terminal 20 acquires information detected by the sensors 115 and 125 of the brain activity measuring device 100 via the wireless communication section 23 . The user terminal 20 calculates the heart rate of the user, the amount of change in cerebral blood flow, etc. based on the information acquired from the brain activity measuring device 100 .

公衆回線通信部２４は、上位のネットワーク等を介して、サーバ等の他の情報処理装置等と通信する。上位のネットワークは、公衆回線網等である。公衆回線通信部２４は、通信部の一例である。 The public line communication unit 24 communicates with other information processing devices such as servers through a higher-level network or the like. The upper network is a public line network or the like. The public line communication unit 24 is an example of a communication unit.

表示部２５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ２１からの出力情報を表示する。操作部２６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部２７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部２８は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を利用できる。 The display unit 25 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, etc., and displays output information from the CPU 21 . The operation unit 26 is, for example, a push button, a touch panel, or the like, and receives user operations. The output unit 27 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or voice, or the like. The imaging unit 28 is, for example, a camera including a solid-state imaging device. A CCD (Charge-coupled device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like can be used as the solid-state imaging device.

測位部２９は、例えば、ＧＰＳ（Global Positioning System）受信機であり、ＧＰＳ
衛星からの電波を受信し、現在位置（緯度、経度等）、時刻等を算出する。ただし、測位部２９としては、ＧＰＳ受信機を有するものに限定される訳ではない。例えば、公衆回線通信部２４が携帯電話網である場合には、測位部２９は、携帯電話基地局からの距離を基に測位を実行してもよい。 The positioning unit 29 is, for example, a GPS (Global Positioning System) receiver.
Receives radio waves from satellites and calculates the current position (latitude, longitude, etc.), time, etc. However, the positioning unit 29 is not limited to having a GPS receiver. For example, if the public line communication unit 24 is a mobile phone network, the positioning unit 29 may perform positioning based on the distance from the mobile phone base station.

物理センサ部２Ａは、例えば、加速度センサ、あるいは角加速度センサ等である。ただし、物理センサ部２Ａは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。 The physical sensor unit 2A is, for example, an acceleration sensor or an angular acceleration sensor. However, the physical sensor unit 2A may be a temperature sensor, a humidity sensor, an air pressure sensor, or a water pressure sensor.

（構造例）
図５から図７は、頭部装着装置１０の構造例を示す図である。図５は、頭部装着装置１
０を情報から見た外観を例示する斜視図である。図６は、頭部装着装置１０を頭部に装着する側から見た平面図である。図７は、頭部装着装置１０を側面から見た平面図である。各図に示すように、頭部装着装置１０を利用者の頭部に装着したときの正面側から頭部側の方向をＸ軸方向、上下方向をＺ軸方向、Ｘ軸方向及びＺ軸方向に直交する方向をＹ軸方向（頭部装着装置１０を装着した利用者の左側から右側への方向）とする。 (Structure example)
5 to 7 are diagrams showing structural examples of the head-mounted device 10. FIG. FIG. 5 shows the head-mounted device 1
FIG. 10 is a perspective view illustrating an appearance of 0 viewed from information; FIG. 6 is a plan view of the head mounted device 10 viewed from the side where the head is mounted. FIG. 7 is a plan view of the head-mounted device 10 viewed from the side. As shown in each figure, when the head-mounted device 10 is worn on the user's head, the direction from the front side to the head side is the X-axis direction, the vertical direction is the Z-axis direction, and the X-axis direction and the Z-axis direction. is the Y-axis direction (the direction from the left side to the right side of the user wearing the head-mounted device 10).

頭部装着装置１０は、図５等のように、本体部３００、脳活動測定装置１００、映像出力装置２００を含む。本体部３００は、筐体３１０、遮光部３２０を含む。筐体は、ハウジングともいう。 The head-mounted device 10 includes a main body 300, a brain activity measuring device 100, and a video output device 200, as shown in FIG. Body portion 300 includes housing 310 and light shielding portion 320 . A housing is also called a housing.

図５などのように、筐体３１０は、前面３１１と、左側面３１２と、上面３１３と、右側面３１４と、下面３１５とを有する。前面３１１は、利用者が頭部装着装置１０を装着した場合の正面側の面である。図５における一番奥の面である。左側面３１２は、頭部装着装置１０を装着した利用者から見て前面３１１の左側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。上面３１３は、前面３１１の上側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。右側面３１４は、頭部装着装置１０を装着した利用者から見て前面３１１の右側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。下面３１５は、前面３１１の下側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。 As in FIG. 5 , housing 310 has front surface 311 , left side surface 312 , top surface 313 , right side surface 314 and bottom surface 315 . The front surface 311 is the surface on the front side when the user wears the head-mounted device 10 . It is the innermost surface in FIG. The left side surface 312 rises from the left side of the front surface 311 toward the user wearing the head-mounted device 10 at a substantially right angle to the front surface 311 . The upper surface 313 is a surface that rises from the upper side of the front surface 311 toward the user at a substantially right angle to the front surface 311 . The right side surface 314 rises from the right side of the front surface 311 as seen from the user wearing the head-mounted device 10 toward the user at a substantially right angle to the front surface 311 . The lower surface 315 rises from the lower side of the front surface 311 toward the user at a substantially right angle to the front surface 311 .

左側面３１２の利用者側の辺３１２ａ、上面３１３の利用者側の辺３１３ａ、右側面３１４の利用者側の辺３１４ａ、下面３１５の利用者側の辺３１５ａは、筐体３１０の開口部を形成する。上面３１３の利用者側の辺３１３ａ、下面３１５の利用者側の辺３１５ａは、利用者の頭部の形状に合わせた曲線となっている。 A user-side side 312 a of the left side surface 312 , a user-side side 313 a of the top surface 313 , a user-side side 314 a of the right side surface 314 , and a user-side side 315 a of the bottom surface 315 align with the opening of the housing 310 . Form. A user-side side 313a of the upper surface 313 and a user-side side 315a of the lower surface 315 are curved to match the shape of the user's head.

筐体３１０の開口部の内側には、遮光部３２０が設けられる。遮光部３２０は、頭部装着装置１０が利用者の頭部に装着された際、利用者の頭部に密着し、頭部装着装置１０の筐体３１０内に光が入らないようにする。光が筐体３１０内に入ると、表示部２０４による映像を視認しにくくなるため、光が筐体３１０内に入らないことが望ましい。頭部装着装置１０は、利用者の眼の位置が遮光部３２０の内側になるように、利用者の頭部に装着される。遮光部３２０には、柔らかい素材（ウレタン等の樹脂、ゴム等）が使用される。遮光部３２０は、利用者の頭部に接触すると利用者の頭部の形状に合わせて変形し、筐体３１０の内部（遮光部３２０の内側）に光が入らないようにする。 A light shielding part 320 is provided inside the opening of the housing 310 . When the head-mounted device 10 is worn on the user's head, the light blocking part 320 is in close contact with the user's head to prevent light from entering the housing 310 of the head-mounted device 10 . If light enters the housing 310 , the image on the display unit 204 becomes difficult to see. The head-mounted device 10 is worn on the user's head so that the user's eyes are located inside the light shielding portion 320 . A soft material (resin such as urethane, rubber, or the like) is used for the light shielding portion 320 . When the light shielding part 320 comes into contact with the user's head, the light shielding part 320 deforms according to the shape of the user's head and prevents light from entering the inside of the housing 310 (the inside of the light shielding part 320).

筐体３１０内では、表示部２０４のレンズ２０４ｂが利用者の左右の眼の位置に合わせて、配置される。また、レンズ２０４ｂの周辺には、１以上の光源２０５が配置される。さらに、レンズ２０４ｂの周辺には、受光部２０６が配置される。受光部２０６は、利用者の眼球の方に向けられる。また、レンズ２０４ｂの上方には、脳活動測定装置１００が設置される。脳活動測定装置１００は、利用者の頭部の額の位置に対応する位置に、設置される。脳活動測定装置１００は、頭部装着装置１０を装着された利用者の頭部の額に、光源１０４及び受光部１０５が接触するように、設置される。頭部装着装置１０には、複数の脳活動測定装置１００が配置されてもよい。脳活動測定装置１００、映像出力装置２００の各構成要素は、筐体３１０内において、所定の治具等により所定の位置に固定される。 Inside the housing 310, the lenses 204b of the display unit 204 are arranged according to the positions of the left and right eyes of the user. One or more light sources 205 are arranged around the lens 204b. Further, a light receiving section 206 is arranged around the lens 204b. The light receiving unit 206 is directed toward the user's eyeball. Moreover, the brain activity measuring device 100 is installed above the lens 204b. The brain activity measuring device 100 is installed at a position corresponding to the position of the forehead of the user's head. The brain activity measuring device 100 is installed so that the light source 104 and the light receiving unit 105 are in contact with the forehead of the user wearing the head-mounted device 10 . A plurality of brain activity measuring devices 100 may be arranged on the head-mounted device 10 . Each component of the brain activity measuring device 100 and the video output device 200 is fixed at a predetermined position within the housing 310 by a predetermined jig or the like.

筐体３１０の左側面３１２、右側面３１４には、それぞれ、図示しないベルトの一端が取り付けられ、当該ベルトを利用者の頭部に巻きつけることにより、頭部装着装置１０を利用者の頭部に固定する。また、さらに、上面３１３にも図示しないベルトの一端を取り付け、利用者の頭頂部から後頭部に当該ベルトを伸ばし、利用者の後頭部で、先のベルトと取り付けるようにしてもよい。 One end of a belt (not shown) is attached to each of the left side 312 and the right side 314 of the housing 310, and by winding the belt around the user's head, the head-mounted device 10 can be attached to the user's head. fixed to Furthermore, one end of a belt (not shown) may be attached to the upper surface 313, the belt may be extended from the top of the user's head to the back of the head, and attached to the previous belt at the back of the user's head.

〈動作例〉
本実施形態の脳活動記録システムの利用者端末の動作例について説明する。脳活動記録システム１は、利用者に装着された頭部装着装置１０の映像出力装置２００で映像を出力するとともに、頭部装着装置１０の脳活動測定装置１００で利用者の脳活動（脳血流量）を記録し、映像出力装置２００で利用者の視線方向を記録する。脳活動記録システム１は、脳活動状態と視線方向とを、測定された日時とともに記録する。脳活動記録システム１は、脳活動の測定結果と、視線方向の測定結果（算出結果）とを対応付けて出力する。 <Operation example>
An operation example of the user terminal of the brain activity recording system of this embodiment will be described. The brain activity recording system 1 outputs an image with the image output device 200 of the head-mounted device 10 worn by the user, and the brain activity of the user (brain blood flow) is recorded, and the visual line direction of the user is recorded by the video output device 200 . The brain activity recording system 1 records the brain activity state and the line-of-sight direction together with the date and time of measurement. The brain activity recording system 1 associates and outputs brain activity measurement results and line-of-sight direction measurement results (calculation results).

図８は、本実施形態の脳活動記録システムの利用者端末の動作フローの例を示す図である。本実施形態の脳活動記録システム１の頭部装着装置１０は、利用者（被験者）の頭部に装着されており、利用者に対する映像の出力、利用者の視線方向の検出、脳活動状態（脳血流変化量、脈拍数）の測定をできる状態である。脳活動測定装置１００、映像出力装置２００は、利用者端末２０に接続されている。利用者端末２０は、当該動作フローにおいて、利用者の脳活動状態、利用者の視線方向を取得できる状態にある。 FIG. 8 is a diagram showing an example of the operation flow of the user terminal of the brain activity recording system of this embodiment. The head-mounted device 10 of the brain activity recording system 1 of the present embodiment is worn on the head of a user (subject), outputs images to the user, detects the user's gaze direction, Cerebral blood flow change, pulse rate) can be measured. The brain activity measuring device 100 and the video output device 200 are connected to the user terminal 20 . The user terminal 20 is in a state capable of acquiring the brain activity state of the user and the line-of-sight direction of the user in the operation flow.

Ｓ１０１では、利用者端末２０は、映像出力装置２００に、映像を表示するための映像信号を送信し、当該映像信号に基づく映像を出力することを指示する。映像出力装置２００の制御部２０１は、無線通信部２０３を介して、利用者端末２０から映像信号を受信すると、表示部２０４に映像信号に基づく映像を表示させる。表示部２０４は、画像表示素子２０４ａ、レンズ２０４ｂを使用して、利用者に向けて映像を表示する。頭部装着装置を装着する利用者は、表示される映像を視聴することができる。 In S101, the user terminal 20 transmits a video signal for displaying a video to the video output device 200, and instructs the video output device 200 to output a video based on the video signal. Upon receiving the video signal from the user terminal 20 via the wireless communication unit 203, the control unit 201 of the video output device 200 causes the display unit 204 to display an image based on the video signal. The display unit 204 uses an image display element 204a and a lens 204b to display images to the user. A user wearing the head-mounted device can view the displayed video.

Ｓ１０２では、利用者端末２０は、脳活動測定装置１００に、利用者の脳活動状態の測定を開始することを指示する。測定開始の指示をされた脳活動測定装置１００は、脳活動状態の測定を開始する。脳活動測定装置１００は、脳活動状態を測定した日時とともに、利用者の脳活動状態を記録する。脳活動測定装置１００は、利用者の脳活動状態の測定結果（計測値）を、順次、利用者端末２０に送信する。脳活動状態の測定結果には、脳活動状態を測定した日時の情報が含まれる。 In S102, the user terminal 20 instructs the brain activity measuring device 100 to start measuring the state of brain activity of the user. The brain activity measuring device 100 that has been instructed to start measurement starts measuring the state of brain activity. The brain activity measuring device 100 records the user's brain activity state together with the date and time when the brain activity state was measured. The brain activity measuring device 100 sequentially transmits the measurement results (measurement values) of the user's brain activity state to the user terminal 20 . The brain activity state measurement result includes information on the date and time when the brain activity state was measured.

Ｓ１０３では、利用者端末２０は、映像出力装置２００に、光源２０５、受光部２０６による視線方向の検出を開始することを指示する。検出開始を指示された映像出力装置２００は、光源２０５より利用者の眼に向けて近赤外線を照射し、受光部２０６による撮影を開始する。受光部２０６による撮影は、所定時間ごとの静止画の撮影であっても、動画の撮影であってもよい。映像出力装置２００は、撮影した日時とともに、撮影した画像（静止画又は動画）を記録する。映像出力装置２００は、撮影した画像（利用者画像）の画像データを、順次、利用者端末２０に送信する。画像データには、当該画像を撮影した日時の情報が含まれる。また、映像出力装置２００は、撮影した画像から利用者の視線方向を算出し、算出した視線方向のデータを撮影した日時とともに、記録してもよい。映像出力装置２００は、算出した視線方向のデータを、順次、利用者端末２０に送信する。視線方向のデータには、視線方向の算出に使用された画像を撮影した日時の情報が含まれる。撮影された画像の画像データ、または、視線方向のデータを、視線データともいう。 In S<b>103 , the user terminal 20 instructs the video output device 200 to start detecting the line-of-sight direction by the light source 205 and the light receiving unit 206 . The image output device 200 instructed to start detection irradiates the user's eyes with near-infrared rays from the light source 205 and starts photographing by the light receiving unit 206 . The photographing by the light receiving unit 206 may be still image photographing at predetermined time intervals or moving image photographing. The video output device 200 records the captured image (still image or moving image) together with the date and time when the image was captured. The video output device 200 sequentially transmits image data of captured images (user images) to the user terminal 20 . Image data includes information on the date and time when the image was taken. Further, the video output device 200 may calculate the line-of-sight direction of the user from the captured image, and record the data of the calculated line-of-sight direction together with the date and time when the image was captured. The video output device 200 sequentially transmits the calculated line-of-sight direction data to the user terminal 20 . The line-of-sight direction data includes information on the date and time when the image used to calculate the line-of-sight direction was taken. Image data of a photographed image or data on the line-of-sight direction is also referred to as line-of-sight data.

Ｓ１０４では、利用者端末２０は、脳活動測定装置１００から、脳活動状態（脳血流変化量、脈拍数）の測定結果を受信する。利用者端末２０は、受信した脳活動状態の測定結果を、メモリ２２に格納する。 In S<b>104 , the user terminal 20 receives the measurement result of the brain activity state (change in cerebral blood flow, pulse rate) from the brain activity measurement device 100 . The user terminal 20 stores the received brain activity state measurement results in the memory 22 .

Ｓ１０５では、利用者端末２０は、映像出力装置２００から、視線方向のデータ（視線データ）を受信する。利用者端末２０は、受信した視線データを、メモリ２２に格納する。視線データが画像データを含む場合、利用者端末２０は、画像データの画像から利用者
の視線方向を算出し、算出した視線方向のデータを、画像を撮影した日時ともに、メモリ２２に格納する。視線データが視線方向のデータを含む場合、視線方向のデータと、視線方向の算出に使用された画像を撮影した日時の情報とを、メモリ２２に格納する。 In S<b>105 , the user terminal 20 receives line-of-sight direction data (line-of-sight data) from the video output device 200 . The user terminal 20 stores the received line-of-sight data in the memory 22 . When the line-of-sight data includes image data, the user terminal 20 calculates the line-of-sight direction of the user from the image of the image data, and stores the calculated line-of-sight direction data in the memory 22 together with the date and time when the image was taken. When the line-of-sight data includes line-of-sight direction data, the line-of-sight direction data and information on the date and time when the image used to calculate the line-of-sight direction is captured are stored in the memory 22 .

Ｓ１０６では、利用者端末２０は、測定された脳活動状態の計測値と、Ｓ１０５で取得された視線方向の情報とを、脳活動状態が測定された日時と、視線方向を算出する際に使用された画像が撮影された日時とで対応づけて、出力する。利用者端末２０は、例えば、測定された脳活動状態の計測値と、Ｓ１０５で取得された利用者の視線方向の情報とを、脳活動状態が測定された日時（物体を含む画像が撮影された日時）で対応づけて、メモリ２２に格納することにより出力する。また、利用者端末２０は、利用者の脳活動状態の計測値及び視線方向と対応づけて、表示部２５のディスプレイに表示することにより出力してもよい。利用者端末２０は、利用者の脳活動状態の計測値及び視線方向を日時と対応づけて、他の装置に送信することにより出力してもよい。利用者端末２０は、当該出力を所定時間ごとにまとめて行うようにしてもよい。また、利用者端末２０は、利用者の脳活動状態、視線方向とともに、利用者が視聴していた映像の情報とを対応付けて出力してもよい。 In S106, the user terminal 20 uses the measured value of the brain activity state and the gaze direction information acquired in S105 to calculate the date and time when the brain activity state was measured and the gaze direction. The captured image is associated with the date and time when it was taken, and is output. For example, the user terminal 20 receives the measured value of the brain activity state and the information on the user's gaze direction acquired in S105, and the date and time when the brain activity state was measured (the image including the object was captured). date and time) and stored in the memory 22 for output. Further, the user terminal 20 may output by displaying on the display of the display unit 25 in association with the measured value of the brain activity state of the user and the line-of-sight direction. The user terminal 20 may output the measurement value of the brain activity state of the user and the line-of-sight direction in association with the date and time, and transmit them to another device. The user terminal 20 may collectively perform the output at predetermined time intervals. In addition, the user terminal 20 may output the information of the image that the user was viewing in association with the user's brain activity state and line-of-sight direction.

Ｓ１０７では、利用者端末２０は、利用者などによる操作部２６への操作によって、当該動作フローの処理の終了の操作がされたか否かを判定する。終了の操作がされた場合（Ｓ１０７；ＹＥＳ）、処理が終了する。終了の操作がされていない場合（Ｓ１０７；ＮＯ）、処理がＳ１０４に戻る。 In S<b>107 , the user terminal 20 determines whether or not the user or the like has operated the operation unit 26 to end the processing of the operation flow. If an end operation has been performed (S107; YES), the process ends. If the end operation has not been performed (S107; NO), the process returns to S104.

これにより、利用者端末２０は、利用者の脳活動状態の計測値と利用者の視線方向とを対応づけて出力することができる。 Thereby, the user terminal 20 can output the measured value of the user's brain activity state and the user's line-of-sight direction in association with each other.

利用者端末２０は、利用者の脳活動状態の計測値と、利用者の視線方向とを、映像出力装置２００が出力した映像とともに、メモリ２２に格納してもよい。また、利用者端末２０は、Ｓ１０６の出力の際に、映像出力装置２００が出力した映像も合わせて出力してもよい。脳活動状態の解析の際、利用者が視聴していた映像は、有用な情報となる。 The user terminal 20 may store the measured value of the brain activity state of the user and the line-of-sight direction of the user in the memory 22 together with the video output by the video output device 200 . Further, the user terminal 20 may also output the video output by the video output device 200 when outputting in S106. When analyzing the state of brain activity, the video that the user was viewing becomes useful information.

（その他）
上記の例では、脳活動測定装置１００の光源１０４が照射する近赤外線の波長（８１０ｎｍ）と、映像出力装置２００の光源２０５が照射する近赤外線の波長（８５０ｎｍ）とを、異なる周波数にすることで、脳活動測定装置１００の受光部１０５での誤検出を抑制した。 (others)
In the above example, the near-infrared wavelength (810 nm) emitted by the light source 104 of the brain activity measuring device 100 and the near-infrared wavelength (850 nm) emitted by the light source 205 of the video output device 200 are set to different frequencies. , erroneous detection in the light receiving unit 105 of the brain activity measuring device 100 is suppressed.

ここでは、脳活動測定装置１００の光源１０４が照射する際に、映像出力装置２００の光源２０５による照射を停止するようにする。また、脳活動測定装置１００の受光部１０５は、光源１０４が照射するときにのみ、近赤外線を受光するものとする。これにより、受光部１０５で、映像出力装置２００の光源２０５からの近赤外線によるノイズを抑制することができ、より正確に利用者の脳血流量を測定することができる。また、このとき、光源１０４と光源２０５とで、同じ波長の近赤外線を照射してもよい。 Here, when the light source 104 of the brain activity measuring device 100 emits light, the light source 205 of the image output device 200 stops emitting light. It is also assumed that the light receiving unit 105 of the brain activity measuring device 100 receives near-infrared rays only when the light source 104 irradiates them. As a result, noise due to near-infrared rays from the light source 205 of the image output device 200 can be suppressed in the light receiving unit 105, and the cerebral blood flow of the user can be measured more accurately. Also, at this time, the light sources 104 and 205 may irradiate near-infrared rays of the same wavelength.

また、光源１０４と光源２０５とで、同じ波長の近赤外線を照射する場合に、光源１０４の近赤外線の位相と、光源２０５の近赤外線の位相とを１８０度ずらしてもよい。このとき、受光部１０５で光源１０４の近赤外線と同位相の近赤外線を受光することで、光源２０５からの近赤外線によるノイズを抑制することができる。 Further, when the light sources 104 and 205 irradiate the same wavelength of near-infrared rays, the phase of the near-infrared rays of the light source 104 and the phase of the near-infrared rays of the light source 205 may be shifted by 180 degrees. At this time, the near-infrared rays from the light source 205 can be suppressed by receiving the near-infrared rays having the same phase as the near-infrared rays from the light source 104 by the light receiving unit 105 .

図９は、頭部装着装置の構造の変形例１を示す図である。図９は、頭部装着装置１０を頭部に装着する側から見た平面図である。図９の例では、頭部装着装置１０を頭部に装着
する側から見たとき、本体部３００の遮光部３２０の内側に、映像出力装置２００のレンズ２０４ｂ、光源２０５、受光部２０６が配置され、遮光部３２０の外側に、脳活動測定装置１００が配置される。映像出力装置２００の光源２０５と、脳活動測定装置１００の受光部１０５との間に、遮光部３２０が存在することで、光源２０５からの近赤外線が受光部１０５で受光されることを抑制することができる。 FIG. 9 is a diagram showing Modification 1 of the structure of the head-mounted device. FIG. 9 is a plan view of the head mounted device 10 viewed from the side where the head is mounted. In the example of FIG. 9, the lens 204b, the light source 205, and the light receiving section 206 of the video output device 200 are arranged inside the light shielding section 320 of the main body section 300 when the head mounted device 10 is viewed from the side where the head mounted device 10 is worn on the head. , and the brain activity measuring device 100 is arranged outside the light shielding part 320 . The presence of the light shielding unit 320 between the light source 205 of the image output device 200 and the light receiving unit 105 of the brain activity measuring device 100 suppresses the near infrared rays from the light source 205 from being received by the light receiving unit 105. be able to.

図１０は、頭部装着装置の構造の変形例２を示す図である。図１０は、頭部装着装置１０を頭部に装着する側から見た平面図である。図１０の例では、頭部装着装置１０を頭部に装着する側から見たとき、本体部３００の遮光部３２０の内側に、映像出力装置２００のレンズ２０４ｂ、光源２０５、受光部２０６が配置され、遮光部３２０内に、脳活動測定装置１００が配置される。脳活動測定装置１００の受光部１０５の周囲に、遮光部３２０が存在することで、光源２０５からの近赤外線が受光部１０５で受光されることを抑制することができる。 FIG. 10 is a diagram showing Modification 2 of the structure of the head-mounted device. FIG. 10 is a plan view of the head mounted device 10 viewed from the side where the head is mounted. In the example of FIG. 10, the lens 204b, the light source 205, and the light receiving section 206 of the image output device 200 are arranged inside the light blocking section 320 of the main body section 300 when the head mounted device 10 is viewed from the side where the head mounted device 10 is worn on the head. , and the brain activity measuring device 100 is arranged in the light shielding section 320 . The presence of the light shielding unit 320 around the light receiving unit 105 of the brain activity measuring device 100 can suppress the near infrared rays from the light source 205 from being received by the light receiving unit 105 .

（実施形態の作用、効果）
脳活動記録システム１は、利用者端末２０、利用者の頭部に装着される頭部装着装置１０を有する。頭部装着装置１０は、脳活動測定装置１００と映像出力装置２００とを含む。脳活動測定装置１００は、近赤外線を使用して利用者の脳血流量を測定する。映像出力装置２００は、近赤外線を使用して利用者の視線方向を検出する。脳活動測定装置１００の光源１０４で使用する近赤外線の波長と、映像出力装置２００の光源２０５で使用する近赤外線の波長とを、異なる波長にすることで、受光部１０５における光源２０５からの近赤外線によるノイズを抑制することができる。 (Action and effect of embodiment)
The brain activity recording system 1 has a user terminal 20 and a head-mounted device 10 worn on the user's head. The head-mounted device 10 includes a brain activity measuring device 100 and a video output device 200 . The brain activity measuring device 100 uses near-infrared rays to measure the cerebral blood flow of the user. The video output device 200 uses near-infrared rays to detect the line-of-sight direction of the user. By setting the near-infrared wavelength used by the light source 104 of the brain activity measuring device 100 and the near-infrared wavelength used by the light source 205 of the video output device 200 to different wavelengths, the near-infrared light from the light source 205 in the light receiving unit 105 is reduced. Infrared noise can be suppressed.

また、光源１０４と光源２０５とで同じ波長を使用する場合でも、光源１０４が照射している時間に、光源２０５が照射することを停止することで、受光部１０５における光源２０５からの近赤外線によるノイズを抑制することができる。また、光源１０４が照射する近赤外線の位相と、光源２０５が照射する近赤外線の位相とを１８０度ずらし、受光部１０５で光源１０４の近赤外線と同位相の近赤外線を受光することで、受光部１０５における光源２０５からの近赤外線によるノイズを抑制することができる。 Further, even when the same wavelength is used for the light source 104 and the light source 205, by stopping the irradiation of the light source 205 while the light source 104 is irradiating, Noise can be suppressed. Further, the phase of the near-infrared rays emitted by the light source 104 is shifted from the phase of the near-infrared rays emitted by the light source 205 by 180 degrees, and the near-infrared rays of the same phase as the near-infrared rays emitted by the light source 104 are received by the light receiving unit 105. Noise due to near-infrared rays from the light source 205 in the unit 105 can be suppressed.

脳活動測定装置１００は、光源２０５からの近赤外線を受光することを抑制することで、より正確に利用者の脳血流量を測定することができる。 Brain activity measurement device 100 can more accurately measure the cerebral blood flow of the user by suppressing reception of near-infrared rays from light source 205 .

上記の構成は、可能な限りこれらを組み合わせて実施され得る。 The above configurations can be implemented by combining them as much as possible.

〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。 <Computer-readable recording medium>
A program that causes a computer or other machine or device (hereinafter referred to as a computer or the like) to implement any of the functions described above can be recorded in a computer-readable recording medium. By causing a computer or the like to read and execute the program of this recording medium, the function can be provided.

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。 Here, a computer-readable recording medium is a recording medium that stores information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read by a computer, etc. Say. Elements constituting a computer such as a CPU and a memory may be provided in such a recording medium, and the CPU may be caused to execute the program.

また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。 Examples of such recording media that can be removed from a computer or the like include flexible disks, magneto-optical disks, CD-ROMs, CD-R/Ws, DVDs, DATs, 8 mm tapes, memory cards, and the like.

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。 In addition, there are a hard disk, a ROM, and the like as recording media fixed to a computer or the like.

１：脳活動記録システム
１０：頭部装着装置
１００：脳活動測定装置
１０１：制御部
１０３：無線通信部
１０４：光源
１０５：受光部
２００：映像出力装置
２０１：制御部
２０３：無線通信部
２０４：表示部
２０５：光源
２０６：受光部
３００：本体部
３１０：筐体
３２０：遮光部
２０：利用者端末
２１：ＣＰＵ
２２：メモリ
２３：無線通信部
２４：公衆回線通信部
２５：表示部
２６：操作部
２７：出力部
２８：撮像部
２９：測位部
２Ａ：物理センサ部 1: brain activity recording system 10: head-mounted device 100: brain activity measuring device 101: control unit 103: wireless communication unit 104: light source 105: light receiving unit 200: video output device 201: control unit 203: wireless communication unit 204: Display unit 205 : Light source 206 : Light receiving unit 300 : Main unit 310 : Housing 320 : Light shielding unit 20 : User terminal 21 : CPU
22: memory 23: wireless communication unit 24: public line communication unit 25: display unit 26: operation unit 27: output unit 28: imaging unit 29: positioning unit 2A: physical sensor unit

Claims

利用者に装着され、筐体、遮光部、脳活動測定装置及び映像出力装置を含む頭部装着装置であって、
前記筐体は、開口部を有し、
前記遮光部は、前記開口部に設けられ、光を遮断し、
前記脳活動測定装置は、
前記開口部に設け前記遮光部の内側に配置された第１波長の近赤外線を前記利用者の頭部に照射する第１光源と、
前記開口部に設け前記遮光部の内側に配置された前記利用者の所定の脳活動状態を計測するために、前記利用者の頭部で反射される前記第１波長の近赤外線を受光する第１受光部とを有し、
前記映像出力装置は、
前記利用者に視聴させる映像を出力するレンズを有する表示部と、
前記開口部の前記脳活動測定装置の下方に設け前記遮光部の内側に配置する前記レンズの周囲に配置された前記第１波長と異なる第２波長の近赤外線を前記利用者の眼に照射する第２光源と、
前記開口部に設け前記遮光部の内側で前記レンズの下方に配置された前記利用者の視線方向を検出するために、前記利用者の眼で反射される前記第２波長の近赤外線を受光する第２受光部とを有する、
頭部装着装置。 A head-mounted device worn by a user and including a housing, a light shielding unit, a brain activity measuring device, and a video output device,
The housing has an opening,
The light shielding part is provided in the opening to block light,
The brain activity measuring device
a first light source provided in the opening and arranged inside the light shielding portion for irradiating the user's head with near-infrared light having a first wavelength;
In order to measure a predetermined state of brain activity of the user provided in the opening and placed inside the light shielding part , a second device for receiving the near-infrared rays of the first wavelength reflected by the head of the user is provided. 1 light receiving part,
The video output device is
a display unit having a lens for outputting an image to be viewed by the user;
The user's eyes are irradiated with near-infrared light having a second wavelength different from the first wavelength arranged around the lens provided below the brain activity measuring device in the opening and arranged inside the light shielding section. a second light source;
The near-infrared rays of the second wavelength reflected by the eyes of the user are received in order to detect the line-of-sight direction of the user who is provided in the opening and placed below the lens inside the light shielding part. a second light receiving unit;
Head-mounted device.

前記第１受光部は、前記第１波長の近赤外線を通し、前記第２波長の近赤外線を遮断するフィルタを含む、
請求項１に記載の頭部装着装置。 The first light receiving unit includes a filter that passes the near infrared rays of the first wavelength and blocks the near infrared rays of the second wavelength,
The head mounted device according to claim 1.

利用者に装着され、筐体、遮光部、脳活動測定装置及び映像出力装置を含む頭部装着装置であって、
前記筐体は、開口部を有し、
前記遮光部は、前記開口部に設けられ、光を遮断し、
前記脳活動測定装置は、
前記開口部に設け前記遮光部の内側に配置された第１波長の近赤外線を前記利用者の頭部に照射する第１光源と、
前記開口部に設け前記遮光部の内側に配置された前記利用者の所定の脳活動状態を計測するために、前記利用者の頭部で反射される前記第１波長の近赤外線を受光する第１受光部とを有し、
前記映像出力装置は、
前記利用者に視聴させる映像を出力するレンズを有する表示部と、
前記開口部の前記脳活動測定装置の下方に設け前記遮光部の内側に配置する前記レンズの周囲に配置された前記第１波長の近赤外線を前記利用者の眼に照射する第２光源と、
前記開口部に設け前記遮光部の内側で前記レンズの下方に配置された前記利用者の視線方向を検出するために、前記利用者の眼で反射される前記第１波長の近赤外線を受光する第２受光部とを有し、
前記第２光源は、前記第１光源が前記第１波長の近赤外線を照射しているときに、前記第１波長の近赤外線の照射を停止する、
頭部装着装置。 A head-mounted device worn by a user and including a housing, a light shielding unit, a brain activity measuring device, and a video output device,
The housing has an opening,
The light shielding part is provided in the opening to block light,
The brain activity measuring device
a first light source provided in the opening and arranged inside the light shielding portion for irradiating the user's head with near-infrared light having a first wavelength;
In order to measure a predetermined state of brain activity of the user provided in the opening and placed inside the light shielding part , a second device for receiving the near-infrared rays of the first wavelength reflected by the head of the user is provided. 1 light receiving part,
The video output device is
a display unit having a lens for outputting an image to be viewed by the user;
a second light source that irradiates the eyes of the user with the near-infrared light of the first wavelength, which is provided below the brain activity measuring device in the opening and is arranged around the lens arranged inside the light shielding part;
The near-infrared rays of the first wavelength reflected by the eyes of the user are received in order to detect the line-of-sight direction of the user who is provided in the opening and placed below the lens inside the light shielding part. and a second light receiving portion,
The second light source stops irradiating the near-infrared light of the first wavelength while the first light source is irradiating the near-infrared light of the first wavelength.
Head-mounted device.

請求項１から３のいずれか１項に記載された頭部装着装置と、
前記表示部に表示されていた前記映像と、前記表示部に前記映像が表示されていた際に前記頭部装着装置の前記第１受光部で受光された近赤外線に基づいて計測された前記脳活動状態と、前記表示部に前記映像が表示されていた際に前記映像出力装置の前記第２受光部で受光された近赤外線に基づいて検出される前記視線方向とを対応付けて表示する利用者端末と、
を有する脳活動記録システム。 a head-mounted device according to any one of claims 1 to 3;
The brain measured based on the image displayed on the display unit and the near-infrared light received by the first light receiving unit of the head-mounted device when the image was displayed on the display unit Utilization of displaying in association with the activity state and the line-of-sight direction detected based on the near-infrared light received by the second light-receiving unit of the image output device when the image is displayed on the display unit a user terminal;
brain activity recording system.