JP2015043966A - Diagnosis assistance device and diagnosis assistance method - Google Patents

Diagnosis assistance device and diagnosis assistance method Download PDF

Info

Publication number
JP2015043966A
JP2015043966A JP2014039247A JP2014039247A JP2015043966A JP 2015043966 A JP2015043966 A JP 2015043966A JP 2014039247 A JP2014039247 A JP 2014039247A JP 2014039247 A JP2014039247 A JP 2014039247A JP 2015043966 A JP2015043966 A JP 2015043966A
Authority
JP
Japan
Prior art keywords
image
unit
viewpoint
display
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014039247A
Other languages
Japanese (ja)
Other versions
JP6142825B2 (en
Inventor
首藤　勝行
Katsuyuki Shudo
勝行 首藤
賢 二宮
Masaru Ninomiya
賢 二宮
修二 箱嶋
Shuji Hakojima
修二 箱嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2014039247A priority Critical patent/JP6142825B2/en
Priority to EP14818648.9A priority patent/EP3015075B1/en
Priority to PCT/JP2014/067289 priority patent/WO2014208761A1/en
Publication of JP2015043966A publication Critical patent/JP2015043966A/en
Priority to US14/980,077 priority patent/US9579054B2/en
Priority to US15/398,906 priority patent/US10149643B2/en
Application granted granted Critical
Publication of JP6142825B2 publication Critical patent/JP6142825B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve accuracy of diagnosis.SOLUTION: A diagnosis assistance device comprises: a display part: an imaging part which picks up images of a subject; a line-of-sight detecting part which detects the direction of a line of sight of the subject from the picked-up image picked up by the imaging part; a view point detecting part which detects the view point of the subject in a display area of the display part on the basis of the direction of the line of sight; an output control part which displays a diagnostic image which contains a person image and a geometric pattern image and where transmittance of at least one of the person image and the geometric pattern image changes with the lapse of time, on the display part; and an evaluating part which calculates the evaluation value of the subject on the basis of the view point detected by the view point detecting part, when the diagnostic image is displayed.

Description

本発明は、診断支援装置および診断支援方法に関する。   The present invention relates to a diagnosis support apparatus and a diagnosis support method.

最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。   Recently, people with developmental disabilities are said to be on the rise. It is known that developmental disabilities are found early and start treatment to reduce symptoms and increase the effect of adapting to society. In Japan, we are aiming for early detection through interviews at the age of 1 and a half. However, there are problems such as shortage of psychiatrists and time-consuming interviews, and the effect is not sufficient. Therefore, there is a need for an objective and efficient diagnosis support device for developmental disabilities.

発達障がい早期発見のためには、例えば１歳半検診時に診断できることが理想的である。発達障がい児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。また、発達障がい児は、人物映像より幾何学模様の映像を好むことが知られている。   For early detection of developmental disabilities, it is ideal to be able to diagnose at the age of 1 and a half years. One characteristic of children with developmental disabilities is that they do not look at the eyes of their opponents. It is also known that children with developmental disabilities prefer geometrical images over human images.

また、カメラで人の顔を撮影して、角膜反射と瞳孔の位置を算出することにより注視点を検出する方法などを応用して、発達障がいを診断支援する方法が提案されている。   In addition, a method for supporting diagnosis of developmental disabilities has been proposed by applying a method of detecting a gazing point by photographing a human face with a camera and calculating a corneal reflection and a pupil position.

特開２００５−１８５４３１号公報JP 2005-185431 A 特開２００８−１２５６１９号公報JP 2008-125619 A 特開２００５−１９８７４３号公報JP 2005-198743 A 特開２０１１−２０６５４２号公報JP 2011-206542 A

Pierce K et al.,“Preference for Geometric Patterns Early in Life as a Risk Factor for Autism.”，Arch Gen PsychiatrＹ２011 Jan;68（1）:101-109.Pierce K et al., “Preference for Geometric Patterns Early in Life as a Risk Factor for Autism.”, Arch Gen PsychiatrY2011 Jan; 68 (1): 101-109.

１歳半程度の被験者は、動きの少ない物体を注視しない傾向がある。このため、従来のように注視点を検出する方法では、適切に診断を支援できない場合があり、さらに高精度の検出方法が求められていた。   Subjects about one and a half years old tend not to gaze at objects with little movement. For this reason, the conventional method of detecting a gazing point may not be able to support diagnosis appropriately, and a more accurate detection method has been demanded.

本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置および診断支援方法を提供することを目的とする。   The present invention has been made in view of the above, and an object thereof is to provide a diagnosis support apparatus and a diagnosis support method capable of improving the accuracy of diagnosis.

上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、人物の画像と幾何学模様の画像とを含み、前記人物の画像と前記幾何学模様の画像との少なくとも一方の画像の透過度が時間の経過とともに変化する診断画像を前記表示部に表示させる出力制御部と、前記診断画像が表示されたときに前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides a display unit, an imaging unit that images a subject, and a line of sight that detects the gaze direction of the subject from a captured image captured by the imaging unit. A detection unit; a viewpoint detection unit that detects the viewpoint of the subject in the display area of the display unit based on the line-of-sight direction; a person image and a geometric pattern image; An output control unit that displays on the display unit a diagnostic image in which the transparency of at least one of the images of the geometric pattern changes with time, and is detected by the viewpoint detection unit when the diagnostic image is displayed. And an evaluation unit that calculates an evaluation value of the subject based on the viewpoint.

本発明にかかる診断支援装置および診断支援方法は、診断の精度を向上できるという効果を奏する。   The diagnosis support apparatus and diagnosis support method according to the present invention have an effect of improving the accuracy of diagnosis.

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。FIG. 1 is a diagram illustrating an example of an arrangement of a display unit, a stereo camera, and a light source used in the first embodiment. 図２は、第１の実施形態の診断支援装置の機能の概要を示す図である。FIG. 2 is a diagram illustrating an outline of functions of the diagnosis support apparatus according to the first embodiment. 図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of detailed functions of the respective units illustrated in FIG. 図４は、２台のカメラを使用した場合の目および距離の検出の一例を示す図である。FIG. 4 is a diagram illustrating an example of eye and distance detection when two cameras are used. 図５−１は、診断画像の一例を示す説明図である。FIG. 5A is an explanatory diagram of an example of a diagnostic image. 図５−２は、診断画像の一例を示す説明図である。FIG. 5B is an explanatory diagram of an example of the diagnostic image. 図５−３は、診断画像の一例を示す説明図である。FIG. 5C is an explanatory diagram of an example of a diagnostic image. 図５−４は、診断画像の一例を示す説明図である。FIG. 5-4 is an explanatory diagram of an example of a diagnostic image. 図５−５は、診断画像の一例を示す説明図である。FIG. 5-5 is an explanatory diagram of an example of a diagnostic image. 図６−１は、人物映像と幾何学模様映像の時間に対する属性の変化の一例を示す図である。FIG. 6A is a diagram illustrating an example of an attribute change with respect to time of a person image and a geometric pattern image. 図６−２は、人物映像と幾何学模様映像の時間に対する属性の変化の一例を示す図である。FIG. 6B is a diagram illustrating an example of a change in the attribute with respect to time of the person image and the geometric pattern image. 図７−１は、人物映像と幾何学模様映像の時間に対する属性の変化の他の例を示す図である。FIG. 7A is a diagram illustrating another example of changes in attributes with respect to time of a person image and a geometric pattern image. 図７−２は、人物映像と幾何学模様映像の時間に対する属性の変化の他の例を示す図である。FIG. 7B is a diagram illustrating another example of the change in the attribute with respect to time of the person image and the geometric pattern image. 図８−１は、診断画像の他の例を示す説明図である。FIG. 8A is an explanatory diagram of another example of a diagnostic image. 図８−２は、診断画像の他の例を示す説明図である。FIG. 8B is an explanatory diagram of another example of the diagnostic image. 図８−３は、診断画像の他の例を示す説明図である。FIG. 8C is an explanatory diagram of another example of the diagnostic image. 図８−４は、診断画像の他の例を示す説明図である。FIG. 8D is an explanatory diagram of another example of the diagnostic image. 図８−５は、診断画像の他の例を示す説明図である。FIG. 8-5 is an explanatory diagram of another example of a diagnostic image. 図９は、表示部に表示される画像の座標の一例を示す図である。FIG. 9 is a diagram illustrating an example of coordinates of an image displayed on the display unit. 図１０は、表示部に表示される画像の座標の他の例を示す図である。FIG. 10 is a diagram illustrating another example of the coordinates of an image displayed on the display unit. 図１１は、１つの映像（診断画像）を用いる診断支援処理の一例を示すフローチャートである。FIG. 11 is a flowchart illustrating an example of a diagnosis support process using one video (diagnosis image). 図１２−１は、２つの映像を用いる診断支援処理の一例を示すフローチャートである。FIG. 12A is a flowchart illustrating an example of a diagnosis support process using two images. 図１２−２は、２つの映像を用いる診断支援処理の一例を示すフローチャートである。FIG. 12-2 is a flowchart illustrating an example of a diagnosis support process using two images. 図１２−３は、２つの映像を用いる診断支援処理の一例を示すフローチャートである。FIG. 12-3 is a flowchart illustrating an example of a diagnosis support process using two images. 図１３は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。FIG. 13 is a diagram illustrating an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject according to the second embodiment. 図１４は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。FIG. 14 is a diagram illustrating an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject according to the second embodiment. 図１５は、診断支援装置の機能の概要を示す図である。FIG. 15 is a diagram illustrating an outline of functions of the diagnosis support apparatus. 図１６は、図１５に示す各部の詳細な機能の一例を示すブロック図である。FIG. 16 is a block diagram illustrating an example of detailed functions of each unit illustrated in FIG. 15. 図１７は、第２の実施形態の診断支援装置により実行される処理の概要を説明する図である。FIG. 17 is a diagram illustrating an outline of processing executed by the diagnosis support apparatus according to the second embodiment. 図１８は、２つの光源を用いる方法と、１つの光源を用いる第２の実施形態との違いを示す説明図である。FIG. 18 is an explanatory diagram showing the difference between the method using two light sources and the second embodiment using one light source. 図１９は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。FIG. 19 is a diagram for explaining calculation processing for calculating the distance between the pupil center position and the corneal curvature center position. 図２０は、第２の実施形態の算出処理の一例を示すフローチャートである。FIG. 20 is a flowchart illustrating an example of calculation processing according to the second embodiment. 図２１は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。FIG. 21 is a diagram showing a method of calculating the position of the corneal curvature center using the distance obtained in advance. 図２２は、第２の実施形態の視線検出処理の一例を示すフローチャートである。FIG. 22 is a flowchart illustrating an example of a line-of-sight detection process according to the second embodiment.

以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。   Hereinafter, embodiments of a diagnosis support apparatus and a diagnosis support method according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.

（第１の実施形態）
従来のように人物映像と幾何学模様とを並列表示して、被験者がいずれを注視する割合が高いかを調べる方法は、映像の特徴によっては検出感度が上がり難い問題があった。これは、例えば、色彩や動きが派手な幾何学模様を用いた場合、定型発達の被験者も幾何学模様を見ることがあること、逆に、色彩や動きが地味な幾何学模様を用いた場合、発達障がいの被験者であっても、幾何学模様を注視しない場合があること、などが原因である。このように、高精度の診断支援のためには、バランスのよい映像を制作することが望ましいが、個人差もあり難しいものとなっていた。 (First embodiment)
The conventional method of displaying a human image and a geometric pattern in parallel and checking which one has a high rate of gaze at the subject has a problem that the detection sensitivity is difficult to increase depending on the characteristics of the image. This is because, for example, when a geometric pattern with flashy colors and movements is used, subjects with regular development may also see geometric patterns. This is because even subjects with developmental disabilities may not pay attention to geometric patterns. As described above, in order to provide high-precision diagnosis support, it is desirable to produce a well-balanced video, but it is difficult due to individual differences.

そこで、第１の実施形態の診断支援装置は、人物映像を表示する映像領域と幾何学模様映像を表示する映像領域とを設け、表示時間内において人物映像と幾何学模様映像とをそれぞれ、コントラスト、色の濃さ、または、透過度などの少なくとも１つを変化させて表示する。これにより、映像の個別差による発達障がい検出感度のブレを少なくし、高精度の検出を実現する。   Therefore, the diagnosis support apparatus according to the first embodiment includes an image area for displaying a person image and an image area for displaying a geometric pattern image, and contrasts the person image and the geometric pattern image within the display time. , And at least one of color intensity, transparency, etc. is changed for display. This reduces blurring of developmental obstacle detection sensitivity due to individual differences in video and realizes highly accurate detection.

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、本実施形態では、表示画面１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。   FIG. 1 is a diagram illustrating an example of an arrangement of a display unit, a stereo camera, and a light source used in the first embodiment. As shown in FIG. 1, in this embodiment, a set of stereo cameras 102 is arranged below the display screen 101. The stereo camera 102 is an imaging unit that can perform stereo shooting with infrared rays, and includes a right camera 202 and a left camera 204.

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。   Infrared LED (Light Emitting Diode) light sources 203 and 205 are arranged in the circumferential direction immediately before the lenses of the right camera 202 and the left camera 204, respectively. The infrared LED light sources 203 and 205 include an inner peripheral LED and an outer peripheral LED having different wavelengths for emitting light. The pupils of the subject are detected by the infrared LED light sources 203 and 205. As a pupil detection method, for example, the method described in Patent Document 2 can be applied.

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。   When detecting the line of sight, the space is expressed by coordinates to identify the position. In this embodiment, the center position of the display screen 101 is the origin, the top and bottom are the Y coordinate (up is +), the side is the X coordinate (right is +), and the depth is the Z coordinate (front is +). .

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ（interface）部２０８と、制御部３００と、記憶部１５０と、表示部２１０と、を含む。図２において、表示画面１０１は、右カメラ２０２および左カメラ２０４との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。   FIG. 2 is a diagram illustrating an outline of functions of the diagnosis support apparatus 100. FIG. 2 shows a part of the configuration shown in FIG. 1 and a configuration used for driving the configuration. As shown in FIG. 2, the diagnosis support apparatus 100 includes a right camera 202, a left camera 204, infrared LED light sources 203 and 205, a speaker 105, a drive / IF (interface) unit 208, and a control unit 300. A storage unit 150 and a display unit 210. In FIG. 2, the display screen 101 shows the positional relationship between the right camera 202 and the left camera 204 in an easy-to-understand manner, but the display screen 101 is a screen displayed on the display unit 210. The drive unit and the IF unit may be integrated or separate.

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。   The speaker 105 functions as an audio output unit that outputs an audio or the like for alerting the subject during calibration.

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。   The drive / IF unit 208 drives each unit included in the stereo camera 102. The drive / IF unit 208 serves as an interface between each unit included in the stereo camera 102 and the control unit 300.

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。   The storage unit 150 stores various information such as a control program, a measurement result, and a diagnosis support result. The storage unit 150 stores, for example, an image to be displayed on the display unit 210. The display unit 210 displays various information such as a target image for diagnosis.

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。   FIG. 3 is a block diagram illustrating an example of detailed functions of the respective units illustrated in FIG. As shown in FIG. 3, a display unit 210 and a drive / IF unit 208 are connected to the control unit 300. The drive / IF unit 208 includes camera IFs 314 and 315, an LED drive control unit 316, and a speaker drive unit 322.

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。   A right camera 202 and a left camera 204 are connected to the drive / IF unit 208 via camera IFs 314 and 315, respectively. The driving / IF unit 208 drives these cameras to image the subject.

赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。   The infrared LED light source 203 includes a wavelength 1-LED 303 and a wavelength 2-LED 304. The infrared LED light source 205 includes a wavelength 1-LED 305 and a wavelength 2-LED 306.

波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。   Wavelength 1-LEDs 303 and 305 emit infrared light having wavelength 1. Wavelength 2-LEDs 304 and 306 irradiate wavelength 2 infrared rays.

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。なお、照射する赤外線の波長については、上記に限らず、波長１の赤外線を照射して瞳孔で反射された反射光を撮像した結果と、波長２の赤外線を照射して瞳孔で反射された反射光を撮像した結果とで、差が出せるものであればよい。   The wavelength 1 and the wavelength 2 are, for example, a wavelength of less than 900 nm and a wavelength of 900 nm or more, respectively. When the reflected light reflected by the pupil is irradiated with infrared light having a wavelength of less than 900 nm, a bright pupil image is obtained as compared with the case where reflected light reflected by the pupil is irradiated with infrared light having a wavelength of 900 nm or more. It is because it is obtained. In addition, about the wavelength of the infrared rays to irradiate, it is not restricted to the above, The result which imaged the reflected light reflected by the pupil by irradiating the infrared rays of wavelength 1, and the reflection reflected by the pupil after irradiating the infrared rays of wavelength 2 What is necessary is just to be able to make a difference with the result of imaging light.

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。   The speaker driving unit 322 drives the speaker 105. The diagnosis support apparatus 100 may include an interface (printer IF) for connecting to a printer as a printing unit. In addition, the printer may be provided inside the diagnosis support apparatus 100.

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、視線検出部３５１と、視点検出部３５２と、出力制御部３５３と、評価部３５４と、を備えている。   The control unit 300 controls the entire diagnosis support apparatus 100. The control unit 300 includes a line-of-sight detection unit 351, a viewpoint detection unit 352, an output control unit 353, and an evaluation unit 354.

視線検出部３５１は、撮像部（ステレオカメラ１０２）により撮像された撮像画像から、被験者の視線（視線方向）を検出する。視線を検出する処理には、被験者の目の位置を検出する処理が含まれる。視点検出部３５２は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５２は、例えば、表示画面１０１に表示された対象画像のうち、被験者が注視する点である視点（注視点）を検出する。視線検出部３５１による視線検出方法、および、視点検出部３５２による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステレオカメラを用いて被験者の視線方向および注視点を検出する場合を例に説明する。   The gaze detection unit 351 detects the gaze (gaze direction) of the subject from the captured image captured by the imaging unit (stereo camera 102). The process for detecting the line of sight includes a process for detecting the eye position of the subject. The viewpoint detection unit 352 detects the viewpoint of the subject using the detected gaze direction. For example, the viewpoint detection unit 352 detects a viewpoint (gaze point) that is a point that the subject gazes out of the target image displayed on the display screen 101. As a gaze detection method by the gaze detection unit 351 and a viewpoint detection method by the viewpoint detection unit 352, any conventionally used method can be applied. Below, similarly to patent document 3, it demonstrates as an example the case where a test subject's gaze direction and a gaze point are detected using a stereo camera.

この場合、まず視線検出部３５１は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。視線検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視線検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視線検出部３５１は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置（目の位置）を算出する。また、視線検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視線検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。   In this case, the gaze detection unit 351 first detects the gaze direction of the subject from the image captured by the stereo camera 102. The gaze detection unit 351 detects the gaze direction of the subject using, for example, the methods described in Patent Documents 1 and 2. Specifically, the line-of-sight detection unit 351 obtains the difference between the image captured by irradiating the infrared light having the wavelength 1 and the image captured by irradiating the infrared light having the wavelength 2, and the image in which the pupil image is clarified. Generate. The line-of-sight detection unit 351 uses the two images generated as described above from the images captured by the left and right cameras (the right camera 202 and the left camera 204) and uses the stereo vision technique to determine the position of the subject's pupil ( Eye position) is calculated. The line-of-sight detection unit 351 calculates the position of the subject's corneal reflection using images taken by the left and right cameras. Then, the gaze detection unit 351 calculates a gaze vector representing the gaze direction of the subject from the position of the pupil of the subject and the corneal reflection position.

なお、被験者の目の位置および視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の目の位置および視線を検出してもよい。   In addition, the detection method of the eye position and the line of sight of the subject is not limited to this. For example, the eye position and line of sight of the subject may be detected by analyzing an image captured using visible light instead of infrared light.

視点検出部３５２は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって注視点を計測してもよい。   The viewpoint detection unit 352 detects, for example, the intersection of the line-of-sight vector represented in the coordinate system as shown in FIG. 1 and the XY plane as the gaze point of the subject. When the gaze direction of both eyes is obtained, the gaze point may be measured by obtaining the intersection of the left and right gazes of the subject.

図４は、２台のカメラ（右カメラ２０２、左カメラ２０４）を使用した場合の目および距離の検出の一例を示す図である。２台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ２０２で撮影された画像から検出した目の位置と、左カメラ２０４で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の３次元座標が得られる。これにより、目とステレオカメラ１０２間の距離、および、瞳孔座標を推定することができる。瞳孔座標とは、ＸＹ平面上での被験者の目（瞳孔）の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をＸＹ平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。表示画面１０１には、診断画像が表示される。後述するように、診断画像は、例えば、人物の画像（人物映像）と幾何学模様の画像（幾何学模様映像）とを含む。   FIG. 4 is a diagram illustrating an example of eye and distance detection when two cameras (the right camera 202 and the left camera 204) are used. For the two cameras, a camera calibration theory based on a stereo calibration method is applied in advance to obtain camera parameters. As the stereo calibration method, any conventionally used method such as a method using Tsai's camera calibration theory can be applied. Using the eye position detected from the image captured by the right camera 202, the eye position detected from the image captured by the left camera 204, and the camera parameters, the three-dimensional coordinates of the eye in the world coordinate system are obtained. It is done. Thereby, the distance between the eyes and the stereo camera 102 and the pupil coordinates can be estimated. The pupil coordinate is a coordinate value representing the position of the subject's eye (pupil) on the XY plane. The pupil coordinates can be, for example, coordinate values obtained by projecting the eye position expressed in the world coordinate system onto the XY plane. Usually, the pupil coordinates of the left and right eyes are obtained. A diagnostic image is displayed on the display screen 101. As will be described later, the diagnostic image includes, for example, a person image (person image) and a geometric pattern image (geometric pattern image).

図３に戻り、出力制御部３５３は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部３５３は、診断画像、および、評価部３５４による評価結果などの表示部２１０に対する出力を制御する。出力制御部３５３は、人物の画像と幾何学模様の画像とを含む診断画像を表示部２１０に表示させる。また、出力制御部３５３は、人物の画像または幾何学模様の画像のコントラスト、色の濃さ、透過度のうち少なくとも１つが、時間の経過とともに変化する診断画像を表示部２１０に表示させる。   Returning to FIG. 3, the output control unit 353 controls the output of various information to the display unit 210, the speaker 105, and the like. For example, the output control unit 353 controls the output to the display unit 210 such as the diagnostic image and the evaluation result by the evaluation unit 354. The output control unit 353 causes the display unit 210 to display a diagnostic image including a person image and a geometric pattern image. Further, the output control unit 353 causes the display unit 210 to display a diagnostic image in which at least one of contrast, color density, and transparency of a person image or a geometric pattern image changes with time.

診断画像は、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含んでいればよい。例えば、発達障がいの被験者が好む画像以外の画像として自然画を用いてもよい。自然画は、幾何学画像以外の、自然物または自然物を連想させるような画像であればよい。例えば、人物、動物、植物、および自然の景観などをカメラで撮像した画像（静止画、動画）を自然画として用いてもよい。また、人物および動物などを模したキャラクタの画像（静止画、動画）を自然画として用いてもよい。   The diagnostic image may include an image (such as a geometric pattern image) preferred by a subject with developmental disabilities and other images (such as a person image). For example, a natural image may be used as an image other than an image preferred by a subject with developmental disabilities. The natural image may be a natural object or an image reminiscent of a natural object other than a geometric image. For example, an image (still image or moving image) obtained by capturing a person, an animal, a plant, a natural landscape, or the like with a camera may be used as the natural image. Moreover, you may use the image (still image, moving image) of the character imitating a person, an animal, etc. as a natural image.

評価部３５４は、診断画像と、視点検出部３５２により検出された注視点とに基づいて、発達障がいの程度に関する指標として評価値を算出する。評価部３５４は、例えば、後述する図５−１〜図５−５および図８−１〜図８−５のような診断画像を表示した際の被験者の注視点の位置に基づいて評価値を算出する。評価値の算出方法の具体例は後述する。評価部３５４は、診断画像と注視点とに基づいて評価値を算出すればよく、その算出方法は、実施の形態に限定されるものではない。   The evaluation unit 354 calculates an evaluation value as an index related to the degree of developmental disability based on the diagnostic image and the gazing point detected by the viewpoint detection unit 352. For example, the evaluation unit 354 calculates an evaluation value based on the position of the subject's gazing point when displaying diagnostic images as illustrated in FIGS. 5-1 to 5-5 and FIGS. 8-1 to 8-5 described later. calculate. A specific example of the evaluation value calculation method will be described later. The evaluation unit 354 may calculate the evaluation value based on the diagnostic image and the gazing point, and the calculation method is not limited to the embodiment.

図５−１〜図５−５は、診断画像の一例を示す説明図である。なお、診断画像は、静止画および動画（映像）のいずれでもよいが、動画の方が注視されやすいので望ましい。図５−１に示すように、診断画像は、表示画面１０１の右に幾何学模様映像を表示する領域（幾何学模様領域Ａ）と、表示画面１０１の左に人物映像を表示する領域（人物領域Ｂ）とを含む。   5A to 5E are explanatory diagrams illustrating examples of diagnostic images. The diagnostic image may be either a still image or a moving image (video), but a moving image is preferable because it is easier to watch. As illustrated in FIG. 5A, the diagnostic image includes an area (geometric pattern area A) that displays a geometric pattern image on the right side of the display screen 101 and an area (person figure) that displays a person image on the left side of the display screen 101. Region B).

図６−１および図６−２は、人物映像と幾何学模様映像の時間に対する属性の変化の一例を示す図である。図６−１および図６−２で、横軸は時間を示し、縦軸は映像のコントラスト、色の濃さおよび透過度を示す。コントラストは、例えば、最もコントラストが小さい状態を０％とし、最もコントラストが大きい状態を１００％とした割合で表される。色の濃さは、例えば、濃さ（濃度）を０とした状態を０％とし、元の画像の濃さと同じ値とした状態を１００％とした割合で表される。なお、色の濃さを変化させる代わりに、透過度を変化させてもよい。例えば、透過度１００％が色の濃さ０％に対応し、透過度０％が色の濃さ１００％に対応するように変化させてもよい。   FIGS. 6A and 6B are diagrams illustrating an example of changes in attributes with respect to time of a person image and a geometric pattern image. In FIGS. 6A and 6B, the horizontal axis represents time, and the vertical axis represents video contrast, color density, and transmittance. For example, the contrast is represented by a ratio in which the lowest contrast state is 0% and the highest contrast state is 100%. The color density is represented, for example, by a ratio in which the density (density) is 0 and 0%, and the same value as the original image is 100%. Note that, instead of changing the color intensity, the transmittance may be changed. For example, the transparency may be changed so that 100% corresponds to 0% color density and 0% transparency corresponds to 100% color density.

コントラストおよび色の濃さは同時に変化させることが望ましいが、いずれか一方のみを変化させてもよい。また、背景に対して人物映像および幾何学模様映像をそれぞれ重ねて表示する場合、透過度を変化させればよい。   Although it is desirable to change the contrast and the color density at the same time, only one of them may be changed. Further, in the case where a person image and a geometric pattern image are displayed over the background, the transparency may be changed.

映像全体は時刻ｔ４で表示を終了する。出力制御部３５３は、表示開始の時刻ｔ０から時刻ｔ２までは幾何学模様映像は変化させず、人物映像のコントラストおよび色の濃さ（透過度）を２０％（８０％）〜１００％（０％）に変化させる。また、出力制御部３５３は、時刻ｔ２から時刻ｔ４にかけて人物映像は変化させず、幾何学模様映像のコントラストおよび色の濃さ（透過度）を１００％（０％）〜２０％（８０％）に変化させる。前述の括弧内の記述は、透過度に関する記述である。つまり、表示開始の時刻ｔ０から時刻ｔ２までは幾何学模様映像は変化させず、人物映像のコントラストおよび色の濃さを２０％〜１００％に変化させる。そして、時刻ｔ２から時刻ｔ４にかけて人物映像は変化させず、幾何学模様映像のコントラストおよび色の濃さを１００％〜２０％に変化させる。また、透過度においては、表示開始の時刻ｔ０から時刻ｔ２までは幾何学模様映像は変化させず、人物映像の透過度を８０％〜０％に変化させる。そして、時刻ｔ２から時刻ｔ４にかけて人物映像は変化させず、幾何学模様映像の透過度を０％〜８０％に変化させる。これにより、時刻ｔ２まで徐々に人物映像がはっきりと浮き上がり、時刻ｔ２以降徐々に幾何学模様映像がフェードアウトする映像となる。   The display of the entire video ends at time t4. The output control unit 353 does not change the geometric pattern image from the display start time t0 to the time t2, and sets the contrast and color density (transmittance) of the human image between 20% (80%) and 100% (0). %). Further, the output control unit 353 does not change the person image from time t2 to time t4, and changes the contrast and color density (transmittance) of the geometric pattern image from 100% (0%) to 20% (80%). To change. The above description in parentheses is a description regarding transparency. That is, the geometric pattern image is not changed from the display start time t0 to the time t2, and the contrast and color density of the person image are changed from 20% to 100%. The person image is not changed from time t2 to time t4, and the contrast and color density of the geometric pattern image are changed from 100% to 20%. In addition, regarding the transparency, the geometric pattern image is not changed from the display start time t0 to the time t2, and the transparency of the person image is changed from 80% to 0%. The person image is not changed from time t2 to time t4, and the transparency of the geometric pattern image is changed from 0% to 80%. Thereby, the person image gradually rises up to time t2, and the geometric pattern image gradually fades out after time t2.

図６−２は、人物映像と幾何学模様映像の変化の状態を図６−１に対して入れ替えた場合の例を示す。出力制御部３５３は図６−２のような診断画像を表示してもよい。図６−１および図６−２に示すように、出力制御部３５３は、人物映像と幾何学模様映像のコントラスト、色の濃さ、透過度などが、時間の経過とともに相反して変化する診断画像を表示してもよい。   FIG. 6B illustrates an example in which the state of change between the person image and the geometric pattern image is changed with respect to FIG. 6A. The output control unit 353 may display a diagnostic image as shown in FIG. As illustrated in FIGS. 6A and 6B, the output control unit 353 performs diagnosis in which the contrast, color density, transparency, and the like of the person image and the geometric pattern image change in a contradictory manner. An image may be displayed.

図５−１〜図５−５は、図６−１のように変化させた場合に表示される映像の例を示している。図５−１は、図６−１の時刻ｔ０における診断画像の例である。説明の便宜のため、人物映像および幾何学模様映像とも各図で同一の画像となっているが、実際には動画なので異なるシーンに対応する異なる画像が表示される。図５−２は、時刻ｔ１における診断画像の例である。図５−３は、時刻ｔ２における診断画像の例である。図５−４は、時刻ｔ３における表示画面である。図５−５は、時刻ｔ４における表示画面である。   FIGS. 5-1 to 5-5 show examples of images that are displayed when changed as shown in FIG. 6A. FIG. 5A is an example of a diagnostic image at time t0 in FIG. For convenience of explanation, both the person image and the geometric pattern image are the same image in each figure, but since they are actually moving images, different images corresponding to different scenes are displayed. FIG. 5-2 is an example of a diagnostic image at time t1. FIG. 5C is an example of a diagnostic image at time t2. FIG. 5-4 is a display screen at time t3. FIG. 5-5 is a display screen at time t4.

図７−１および図７−２は、人物映像と幾何学模様映像の時間に対するコントラスト、色の濃さ、透過度の変化の他の例を示す図である。図６−１および図６−２と同様に、図７−１および図７−２の横軸は時間を示し、縦軸は映像のコントラスト、色の濃さおよび透過度を示す。コントラストおよび色の濃さは同時に変化させることが望ましいが、いずれか一方のみを変化させてもよい。また、背景に対して人物映像および幾何学模様映像をそれぞれ重ねて表示する場合、透過度を変化させればよい。   FIGS. 7A and 7B are diagrams illustrating other examples of changes in contrast, color density, and transmissivity with respect to time of a person image and a geometric pattern image. Similar to FIGS. 6A and 6B, the horizontal axis of FIGS. 7A and 7B indicates time, and the vertical axis indicates image contrast, color density, and transmittance. Although it is desirable to change the contrast and the color density at the same time, only one of them may be changed. Further, in the case where a person image and a geometric pattern image are displayed over the background, the transparency may be changed.

映像全体は時刻ｔ４で表示を終了する。出力制御部３５３は、時刻ｔ０〜時刻ｔ４において、人物映像のコントラストおよび色の濃さ（透過度）を２０％（８０％）〜１００％（０％）に変化させる。また、出力制御部３５３は、幾何学模様映像のコントラストおよび色の濃さ（透過度）を１００％（０％）〜２０％（８０％）に変化させる。前述の括弧内の記述は、透過度に関する記述である。つまり、表示開始の時刻ｔ０〜時刻ｔ４にかけて、人物映像のコントラストおよび色の濃さを２０％〜１００％に変化させ、幾何学模様映像のコントラストおよび色の濃さを１００％〜２０％に変化させる。また、透過度においては、表示開始の時刻ｔ０〜時刻ｔ４にかけて、人物映像の透過度を８０％〜０％に変化させ、幾何学模様映像の透過度を０％〜８０％に変化させる。これにより、徐々に人物映像がはっきりと浮き上がり、徐々に幾何学模様映像がフェードアウトする映像となる。   The display of the entire video ends at time t4. The output control unit 353 changes the contrast and color density (transmittance) of the person video from 20% (80%) to 100% (0%) at time t0 to time t4. Further, the output control unit 353 changes the contrast and color density (transmittance) of the geometric pattern image from 100% (0%) to 20% (80%). The above description in parentheses is a description regarding transparency. That is, from time t0 to time t4 when the display is started, the contrast and color density of the person image are changed to 20% to 100%, and the contrast and color density of the geometric pattern image are changed to 100% to 20%. Let In addition, the transparency of the person image is changed from 80% to 0% and the transparency of the geometric pattern image is changed from 0% to 80% from time t0 to time t4 when the display is started. As a result, the person image gradually rises and the geometric pattern image gradually fades out.

図７−２は、人物映像と幾何学模様映像の変化の状態を図７−１に対して入れ替えた場合の例を示す。出力制御部３５３は図７−２のような診断画像を表示してもよい。   FIG. 7-2 shows an example in which the state of change between the person image and the geometric pattern image is changed with respect to FIG. The output control unit 353 may display a diagnostic image as shown in FIG.

図６−１、図６−２、図７−１および図７−２に示す変化は一例であり、これらに限られるものではない。図６−１、図６−２、図７−１および図７−２は、コントラスト、色の濃さ、透過度が連続的に変化する例であるが、コントラスト、色の濃さ、透過度を段階的に変化させてもよい。また、コントラスト、色の濃さ、透過度は直線的に変化する必要はなく、曲線的に変化させてもよい。急激に変化すると被験者の注意を引きやすいため、単位時間あたりの属性の変化の割合が一定値以下となるように変化させることが望ましい。コントラストおよび色の濃さを表す数値は一例であり、これらに限られるものではない。本実施例では、コントラスト、色の濃さ、透過度を変化させているが、いずれか１つを変化させてもよい。   The changes shown in FIGS. 6-1, 6-2, 7-1 and 7-2 are examples, and are not limited to these. FIGS. 6A, 6B, 6A, and 7B are examples in which contrast, color density, and transparency change continuously, but contrast, color density, and transparency are examples. May be changed step by step. Further, the contrast, color density, and transmittance need not be changed linearly, but may be changed in a curved line. Since it is easy to draw the subject's attention if it changes suddenly, it is desirable to change so that the rate of change in attributes per unit time is below a certain value. The numerical values representing the contrast and the color density are examples, and are not limited to these. In this embodiment, the contrast, the color density, and the transmittance are changed, but any one of them may be changed.

図８−１〜図８−５は、診断画像の他の例を示す説明図である。図８−１〜図８−５は、図７−１のように変化させた場合に表示される映像の例を示している。図８−１は、図７−１の時刻ｔ０における診断画像の例である。説明の便宜のため、人物映像および幾何学模様映像とも各図で同一の画像となっているが、実際には動画なので異なるシーンに対応する異なる画像が表示される。図８−２は、時刻ｔ１における診断画像の例である。図８−３は、時刻ｔ２における診断画像の例である。図８−４は、時刻ｔ３における診断画像の例である。図８−５は、時刻ｔ４における診断画像の例である。   FIGS. 8-1 to 8-5 are explanatory diagrams illustrating other examples of the diagnostic image. FIGS. 8-1 to 8-5 show examples of images displayed when changed as shown in FIG. FIG. 8A is an example of a diagnostic image at time t0 in FIG. For convenience of explanation, both the person image and the geometric pattern image are the same image in each figure, but since they are actually moving images, different images corresponding to different scenes are displayed. FIG. 8-2 is an example of a diagnostic image at time t1. FIG. 8C is an example of a diagnostic image at time t2. FIG. 8D is an example of a diagnostic image at time t3. FIG. 8-5 is an example of a diagnostic image at time t4.

図９は、表示部２１０に表示される画像の座標の一例を示す図である。表示部２１０上の座標は左上が原点となっており、前述の注視点検出用の世界座標（空間座標）とは異なる。   FIG. 9 is a diagram illustrating an example of coordinates of an image displayed on the display unit 210. The upper left corner of the coordinates on the display unit 210 is the origin, and is different from the above-described world coordinates (spatial coordinates) for detecting a gazing point.

表示部２１０の画素数は、Ｘｍａｘ×Ｙｍａｘとなっている。幾何学模様領域Ａの左辺のＸ座標をＸ１、右辺のＸ座標をＸ２、上辺のＹ座標をＹ１、下辺のＹ座標をＹ２とする。人物領域Ｂの左辺のＸ座標をＸ３、右辺のＸ座標をＸ４、上辺のＹ座標をＹ３、下辺のＹ座標をＹ４とする。図９では、Ｙ１＝Ｙ３、Ｙ２＝Ｙ４となる例が示されている。   The number of pixels of the display unit 210 is Xmax × Ymax. The X coordinate of the left side of the geometric pattern area A is X1, the X coordinate of the right side is X2, the Y coordinate of the upper side is Y1, and the Y coordinate of the lower side is Y2. The X coordinate of the left side of the human region B is X3, the X coordinate of the right side is X4, the Y coordinate of the upper side is Y3, and the Y coordinate of the lower side is Y4. FIG. 9 shows an example in which Y1 = Y3 and Y2 = Y4.

図１０は、表示部２１０に表示される画像の座標の他の例を示す図である。図１０は、図９に対して人物映像および幾何学模様映像の配置が異なる診断画像の例である。すなわち、図１０では、左が幾何学模様映像、右が人物映像となる。   FIG. 10 is a diagram illustrating another example of the coordinates of an image displayed on the display unit 210. FIG. 10 is an example of a diagnostic image in which the arrangement of the person image and the geometric pattern image is different from that in FIG. That is, in FIG. 10, the left is a geometric pattern image and the right is a person image.

図９または図１０のような診断画像を用いた診断支援処理の一例について、図１１および図１２−１〜図１２−３を用いて説明する。   An example of the diagnosis support process using the diagnostic image as shown in FIG. 9 or FIG. 10 will be described with reference to FIG. 11 and FIGS. 12-1 to 12-3.

図１１は、１つの映像（診断画像）を用いる診断支援処理の一例を示すフローチャートである。この例では人物映像と幾何学模様映像とが予め合成されているものとする。   FIG. 11 is a flowchart illustrating an example of a diagnosis support process using one video (diagnosis image). In this example, it is assumed that a person image and a geometric pattern image are synthesized in advance.

まず、出力制御部３５３は、映像（診断画像）の再生を開始する（ステップＳ１０１）。次に、出力制御部３５３は、映像の再生時間より僅かに短い時間を計測するタイマをリセットする（ステップＳ１０２）。視点検出部３５２は、幾何学模様領域Ａ内を注視した時にカウントアップするカウンタ１と、人物領域Ｂ内を注視した時にカウントアップするカウンタ２をリセット（初期化）する（ステップＳ１０３）。次のステップＳ１０３ｂの処理については後述する。このステップＳ１０３ｂは実行しなくてもよい。   First, the output control unit 353 starts reproduction of a video (diagnostic image) (step S101). Next, the output control unit 353 resets a timer that measures a time slightly shorter than the video playback time (step S102). The viewpoint detection unit 352 resets (initializes) the counter 1 that counts up when the inside of the geometric pattern area A is watched and the counter 2 that counts up when the inside of the person area B is watched (step S103). The process of the next step S103b will be described later. This step S103b may not be executed.

注視点測定は、例えば、同期して撮像するステレオカメラの１フレームごとに行う。すなわち注視点は所定の時間間隔ごとに測定される。カウンタ１、カウンタ２のカウント値は注視時間に対応する。   The gazing point measurement is performed, for example, for each frame of a stereo camera that captures images synchronously. That is, the gaze point is measured at predetermined time intervals. The count values of the counter 1 and the counter 2 correspond to the gaze time.

次に、視点検出部３５２は、注視点検出を行う（ステップＳ１０４）。視点検出部３５２は、注視点検出が失敗したか否かを判断する（ステップＳ１０５）。瞬きなどにより瞳孔および角膜反射の画像が得られない場合などに、注視点検出が失敗する。また、注視点が表示画面１０１内に存在しない場合（被験者が表示画面１０１以外を見ていた場合）も、失敗としている。   Next, the viewpoint detection unit 352 performs gaze point detection (step S104). The viewpoint detection unit 352 determines whether or not gazing point detection has failed (step S105). Gaze point detection fails when an image of the pupil and corneal reflection cannot be obtained due to blinking or the like. In addition, when the gazing point does not exist in the display screen 101 (when the subject looks at something other than the display screen 101), it is also determined as a failure.

注視点検出が失敗した場合（ステップＳ１０５：Ｙｅｓ）、カウンタ１、カウンタ２に影響させないため、ステップＳ１１６に移動する。注視点検出が成功した場合（ステップＳ１０５：Ｎｏ）、視点検出部３５２は、検出した注視点の表示部２１０上のｘ座標がＸ１より大きいかを調べる（ステップＳ１０６）。大きい場合（ステップＳ１０６：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｘ座標がＸ２より小さいかを調べる（ステップＳ１０７）。小さい場合（ステップＳ１０７：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｙ座標がＹ１より大きいかを調べる（ステップＳ１０８）。大きい場合（ステップＳ１０８：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｙ座標がＹ２より小さいかを調べる（ステップＳ１０９）。小さい場合（ステップＳ１０９：Ｙｅｓ）、注視点が幾何学模様領域Ａ内に存在することになるので、視点検出部３５２は、カウンタ１をカウントアップする（ステップＳ１１０）。   If the gazing point detection fails (step S105: Yes), the process proceeds to step S116 in order not to affect the counter 1 and the counter 2. When the gazing point detection is successful (step S105: No), the viewpoint detection unit 352 checks whether the x coordinate on the display unit 210 of the detected gazing point is larger than X1 (step S106). If larger (step S106: Yes), the viewpoint detection unit 352 checks whether the x coordinate on the display unit 210 is smaller than X2 (step S107). If smaller (step S107: Yes), the viewpoint detection unit 352 checks whether the y coordinate on the display unit 210 is larger than Y1 (step S108). If larger (step S108: Yes), the viewpoint detection unit 352 checks whether the y coordinate on the display unit 210 is smaller than Y2 (step S109). If it is smaller (step S109: Yes), the gazing point is present in the geometric pattern area A, so the viewpoint detection unit 352 counts up the counter 1 (step S110).

カウンタ１アップの条件でない場合（ステップＳ１０６：Ｎｏ、ステップＳ１０７：Ｎｏ、ステップＳ１０８：Ｎｏ、ステップＳ１０９：Ｎｏ）、ステップＳ１１１に進む。   If the condition is not up for the counter 1 (step S106: No, step S107: No, step S108: No, step S109: No), the process proceeds to step S111.

視点検出部３５２は、検出した注視点の表示部２１０上のｘ座標がＸ３より大きいかを調べる（ステップＳ１１１）。大きい場合（ステップＳ１１１：Ｙｅｓ）、表示部２１０上のｘ座標がＸ４より小さいかを調べる（ステップＳ１１２）。小さい場合（ステップＳ１１２：Ｙｅｓ）、表示部２１０上のｙ座標がＹ３より大きいかを調べる（ステップＳ１１３）。大きい場合（ステップＳ１１３：Ｙｅｓ）、表示部２１０上のｙ座標がＹ４より小さいかを調べる（ステップＳ１１４）。小さい場合（ステップＳ１１４：Ｙｅｓ）、注視点が人物領域Ｂ内に存在することになるので、視点検出部３５２は、カウンタ２をカウントアップする（ステップＳ１１５）。   The viewpoint detection unit 352 checks whether the x coordinate on the display unit 210 of the detected gazing point is larger than X3 (step S111). If larger (step S111: Yes), it is checked whether the x coordinate on the display unit 210 is smaller than X4 (step S112). If smaller (step S112: Yes), it is checked whether the y coordinate on the display unit 210 is larger than Y3 (step S113). If larger (step S113: Yes), it is checked whether the y coordinate on the display unit 210 is smaller than Y4 (step S114). If it is smaller (step S114: Yes), the gazing point is present in the person area B, so the viewpoint detection unit 352 counts up the counter 2 (step S115).

カウンタ１，２をカウントアップした後、または、カウンタ２アップの条件でない場合（ステップＳ１１１：Ｎｏ、ステップＳ１１２：Ｎｏ、ステップＳ１１３：Ｎｏ、ステップＳ１１４：Ｎｏ）、ステップＳ１１６に進む。   After counting up the counters 1 and 2 or when the condition is not up for the counter 2 (Step S111: No, Step S112: No, Step S113: No, Step S114: No), the process proceeds to Step S116.

出力制御部３５３は、映像の終了を確認するため、タイマが完了したかを判断する（ステップＳ１１６）。完了していない場合（ステップＳ１１６：Ｎｏ）、ステップＳ１０４に戻り処理を繰り返す。   The output control unit 353 determines whether the timer has been completed in order to confirm the end of the video (step S116). If not completed (step S116: No), the process returns to step S104 and is repeated.

タイマが完了した場合（ステップＳ１１６：Ｙｅｓ）、出力制御部３５３は、映像の再生を停止させる（ステップＳ１１７）。次に、評価部３５４は、カウンタ１のデータを出力する（ステップＳ１１８）。カウンタ１のデータは、幾何学模様領域Ａの注視時間に対応する。次に、評価部３５４は、カウンタ２のデータを出力する（ステップＳ１１９）。カウンタ２のデータは、人物領域Ｂの注視時間に対応する。次に、評価部３５４は、カウンタ１とカウンタ２の割合を評価値として算出する（ステップＳ１２０）。例えば、評価部３５４は、カウンタ１に対するカウンタ２の割合を表す評価値を算出する。算出された評価値は、発達障がいの可能性の指針になる。例えば、幾何学模様領域Ａを注視した割合が高いほど、発達障がいの可能性が高くなると判断される。評価部３５４は、算出した評価値（割合データ）を出力する（ステップＳ１２１）。   When the timer is completed (step S116: Yes), the output control unit 353 stops the reproduction of the video (step S117). Next, the evaluation unit 354 outputs the data of the counter 1 (step S118). The data of the counter 1 corresponds to the gaze time of the geometric pattern area A. Next, the evaluation unit 354 outputs the data of the counter 2 (step S119). The data of the counter 2 corresponds to the gaze time of the person area B. Next, the evaluation unit 354 calculates the ratio between the counter 1 and the counter 2 as an evaluation value (step S120). For example, the evaluation unit 354 calculates an evaluation value that represents the ratio of the counter 2 to the counter 1. The calculated evaluation value serves as a guide for the possibility of developmental disability. For example, it is determined that the higher the proportion of attention to the geometric pattern area A, the higher the possibility of developmental disability. The evaluation unit 354 outputs the calculated evaluation value (ratio data) (step S121).

図１１の例では、映像が表示された当初、多くの被験者はコントラストが高い、幾何学模様を注視する。時間の経過により人物映像の方がコントラストが高くなる。定型発達の被験者は、コントラストが高くなった人物映像を注視するように変化する。一方、発達障がいの被験者は、幾何学模様に対する興味度が高いので注視点が移動することなく、そのまま幾何学模様映像を注視し続けることが多い。   In the example of FIG. 11, at the beginning of video display, many subjects gaze at a geometric pattern with high contrast. The contrast of the person image becomes higher as time passes. A subject with typical development changes so as to watch a human image with high contrast. On the other hand, subjects with developmental disabilities have a high degree of interest in geometric patterns, so the gaze points do not move and they often keep watching the geometric pattern images as they are.

このため、ステップＳ１２１の出力において、発達障がいの被験者はカウンタ１の計数値の割合が高くなる。さらに、コントラストおよび色の濃さ（透過度）が相対的に変化するので、映像の目立つ度合いが変化する。本実施形態では、映像に関わらず必ず目立つ度合いが反転するので、いずれかの時点で、定型発達の被験者は注視点の移動が起こる。   For this reason, in the output of step S121, the percentage of the count value of the counter 1 is high for subjects with developmental disabilities. Furthermore, since the contrast and the color density (transparency) change relatively, the degree of conspicuousness of the video changes. In the present embodiment, since the degree of conspicuousness is always reversed regardless of the image, the subject of fixed development will move the gaze point at any point in time.

図６−２および図７−２のように、最初に人物映像のコントラストが高い場合は、この逆となる。すなわち、定型発達の被験者は注視点の移動が少なく、発達障がいの被験者の注視点の移動が多くなる。発達障がいの被験者の方が、注視している診断画像を継続して注視する傾向（こだわり）が強いので、図６−１および図７−１のパターンの方がより望ましい形態である。   As shown in FIGS. 6-2 and 7-2, the reverse is true when the contrast of the person image is high at first. That is, the subject with normal development has less movement of the gazing point, and the movement of the gazing point of the subject with developmental disabilities increases. Since subjects with developmental disabilities have a stronger tendency (sticking) to keep a close eye on the diagnostic image being watched, the patterns of FIGS. 6-1 and 7-1 are more desirable forms.

図１２−１〜図１２−３は、２つの映像を用いる診断支援処理の一例を示すフローチャートである。この例では人物映像と幾何学模様映像とが予め合成されているものとする。また、２つの映像は連結されており、双方が所定の時間で再生されるように構成されている。以下の例では、前半に、図５−１〜図５−５の映像が再生され、後半に、図１０のように、幾何学模様映像と人物映像の配置が左右反転した映像が再生される。   12A to 12C are flowcharts illustrating an example of a diagnosis support process using two images. In this example, it is assumed that a person image and a geometric pattern image are synthesized in advance. Also, the two videos are connected, and both are played back in a predetermined time. In the following example, the images in FIGS. 5-1 to 5-5 are played back in the first half, and the video in which the arrangement of the geometric pattern video and the human video is reversed horizontally is played back in the second half, as shown in FIG. .

ステップＳ２０１〜ステップＳ２２０までの処理は、図１１のステップＳ１０１〜ステップＳ１１６、ステップＳ１１８〜ステップＳ１２１と同等である。   The processing from step S201 to step S220 is equivalent to step S101 to step S116 and step S118 to step S121 in FIG.

ただし、カウンタ１およびカウンタ２の役割が図１１と異なる。図１２−１〜図１２−２の例では、カウンタ１およびカウンタ２は、２つの映像である映像１および映像２を通して計数するカウンタである。ただし、映像１の終了時に、映像１としての計数結果とその割合を出力する（ステップＳ２１７〜ステップＳ２２０）。その後、映像２でも継続してカウンタ１およびカウンタ２が計数され、合計値と割合が出力される（ステップＳ２３９〜ステップＳ２４２）。   However, the roles of the counter 1 and the counter 2 are different from those in FIG. In the example of FIGS. 12A to 12B, the counter 1 and the counter 2 are counters that count through the video 1 and the video 2 that are two videos. However, at the end of the video 1, the counting result as the video 1 and its ratio are output (steps S217 to S220). Thereafter, the counter 1 and the counter 2 are continuously counted even in the video 2, and the total value and the ratio are output (steps S239 to S242).

図１２−２について説明する。ステップＳ２２１の直前に、２番目の映像の再生が開始される。出力制御部３５３は、２番目の映像（映像２）の再生時間より僅かに短い時間を計測するタイマをリセットする（ステップＳ２２１）。視点検出部３５２は、映像２において幾何学模様領域Ａ内を注視した時にカウントアップするカウンタ３と、人物領域Ｂを注視した時にカウントアップするカウンタ４をリセットする（ステップＳ２２２）。   FIG. 12-2 will be described. Just before step S221, reproduction of the second video is started. The output control unit 353 resets a timer that measures a time slightly shorter than the playback time of the second video (video 2) (step S221). The viewpoint detection unit 352 resets the counter 3 that counts up when the inside of the geometric pattern area A in the video 2 is watched, and the counter 4 that counts up when the person area B is watched (step S222).

次に、視点検出部３５２は、注視点検出を行う（ステップＳ２２３）。視点検出部３５２は、注視点検出が失敗したかを判断する（ステップＳ２２４）。失敗した場合（ステップＳ２２４：Ｙｅｓ）、カウンタ１、カウンタ２、カウンタ３、カウンタ４に影響させないため、ステップＳ２３７に移動する。   Next, the viewpoint detection unit 352 performs gaze point detection (step S223). The viewpoint detection unit 352 determines whether gazing point detection has failed (step S224). If unsuccessful (step S224: Yes), the process proceeds to step S237 in order not to affect the counter 1, the counter 2, the counter 3, and the counter 4.

注視点検出が成功した場合（ステップＳ２２４：Ｎｏ）、視点検出部３５２は、検出した注視点の表示部２１０上のｘ座標がＸ３より大きいかを調べる（ステップＳ２２５）。大きい場合（ステップＳ２２５：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｘ座標がＸ４より小さいかを調べる（ステップＳ２２６）。小さい場合（ステップＳ２２６：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｙ座標がＹ３より大きいかを調べる（ステップＳ２２７）。大きい場合（ステップＳ２２７：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｙ座標がＹ４より小さいかを調べる（ステップＳ２２８）。小さい場合（ステップＳ２２８：Ｙｅｓ）、注視点が幾何学模様領域Ａ内に存在することになるので、視点検出部３５２は、カウンタ１をカウントアップし（ステップＳ２２９）、カウンタ３をカウントアップする（ステップＳ２３０）。   When the gaze point detection is successful (step S224: No), the viewpoint detection unit 352 checks whether the x coordinate on the display unit 210 of the detected gaze point is larger than X3 (step S225). If larger (step S225: Yes), the viewpoint detection unit 352 checks whether the x coordinate on the display unit 210 is smaller than X4 (step S226). If it is smaller (step S226: Yes), the viewpoint detection unit 352 checks whether the y coordinate on the display unit 210 is larger than Y3 (step S227). If larger (step S227: Yes), the viewpoint detection unit 352 checks whether the y coordinate on the display unit 210 is smaller than Y4 (step S228). If it is smaller (step S228: Yes), the gazing point is present in the geometric pattern area A, so the viewpoint detection unit 352 counts up the counter 1 (step S229) and counts up the counter 3 (step S229). Step S230).

カウンタ１およびカウンタ３をカウントアップする条件でない場合（ステップＳ２２５：Ｎｏ、ステップＳ２２６：Ｎｏ、ステップＳ２２７：Ｎｏ、ステップＳ２２８：Ｎｏ）、ステップＳ２３１に進む。   When it is not a condition for counting up the counter 1 and the counter 3 (step S225: No, step S226: No, step S227: No, step S228: No), the process proceeds to step S231.

視点検出部３５２は、検出した注視点の表示部２１０上のｘ座標がＸ１より大きいかを調べる（ステップＳ２３１）。大きい場合（ステップＳ２３１：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｘ座標がＸ２より小さいかを調べる（ステップＳ２３２）。小さい場合（ステップＳ２３２：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｙ座標がＹ１より大きいかを調べる（ステップＳ２３３）。大きい場合（ステップＳ２３３：Ｙｅｓ）、視点検出部３５２は、表示部２１０上のｙ座標がＹ２より小さいかを調べる（ステップＳ２３４）。小さい場合（ステップＳ２３４：Ｙｅｓ）、注視点が人物領域Ｂ内に存在することになるので、視点検出部３５２は、カウンタ２をカウントアップし（ステップＳ２３５）、カウンタ４をカウントアップする（ステップＳ２３６）。   The viewpoint detection unit 352 checks whether the x coordinate on the display unit 210 of the detected gazing point is larger than X1 (step S231). If larger (step S231: Yes), the viewpoint detection unit 352 checks whether the x coordinate on the display unit 210 is smaller than X2 (step S232). If it is smaller (step S232: Yes), the viewpoint detection unit 352 checks whether the y coordinate on the display unit 210 is larger than Y1 (step S233). If larger (step S233: Yes), the viewpoint detection unit 352 checks whether the y coordinate on the display unit 210 is smaller than Y2 (step S234). If it is smaller (step S234: Yes), the gazing point is present in the person area B, so the viewpoint detection unit 352 counts up the counter 2 (step S235) and counts up the counter 4 (step S236). ).

出力制御部３５３は、映像の終了を確認するため、タイマが完了したかを判断する（ステップＳ２３７）。完了していない場合（ステップＳ２３７：Ｎｏ）、ステップＳ２２３に戻り処理を繰り返す。   The output control unit 353 determines whether the timer has been completed in order to confirm the end of the video (step S237). If not completed (step S237: No), the process returns to step S223 to repeat the process.

タイマが完了した場合（ステップＳ２３７：Ｙｅｓ）、出力制御部３５３は、映像の再生を停止させる（ステップＳ２３８）。   When the timer is completed (step S237: Yes), the output control unit 353 stops the reproduction of the video (step S238).

次に、評価部３５４は、カウンタ１のデータを出力する（ステップＳ２３９）。ここで出力されるカウンタ１のデータは、映像１および映像２における幾何学模様領域Ａの注視時間に対応する。次に、評価部３５４は、カウンタ２のデータを出力する（ステップＳ２４０）。ここで出力されるカウンタ２のデータは、映像１および映像２における人物領域Ｂの注視時間に対応する。評価部３５４は、カウンタ１とカウンタ２の割合を評価値として算出する（ステップＳ２４１）。この評価値は、発達障がいの可能性の指針になる。例えば、幾何学模様領域Ａを注視した割合が高いほど、発達障がいの可能性が高くなると判断される。評価部３５４は、算出した評価値（割合データ）を出力する（ステップＳ２４２）。   Next, the evaluation unit 354 outputs the data of the counter 1 (Step S239). The data of the counter 1 output here corresponds to the gaze time of the geometric pattern area A in the video 1 and the video 2. Next, the evaluation unit 354 outputs the data of the counter 2 (Step S240). The data of the counter 2 output here corresponds to the gaze time of the person area B in the video 1 and the video 2. The evaluation unit 354 calculates the ratio between the counter 1 and the counter 2 as an evaluation value (step S241). This evaluation value will guide the possibility of developmental disabilities. For example, it is determined that the higher the proportion of attention to the geometric pattern area A, the higher the possibility of developmental disability. The evaluation unit 354 outputs the calculated evaluation value (ratio data) (step S242).

また、評価部３５４は、カウンタ３のデータを出力する（ステップＳ２４３）。カウンタ３のデータは、映像２における幾何学模様領域Ａの注視時間に対応する。次に、評価部３５４は、カウンタ４のデータを出力する（ステップＳ２４４）。カウンタ４のデータは、映像２における人物領域Ｂの注視時間に対応する。次に、評価部３５４は、カウンタ３とカウンタ４の割合を評価値として算出する（ステップＳ２４５）。この評価値も、発達障がいの可能性の指針になる。例えば、幾何学模様領域Ａを注視した割合が高いほど、発達障がいの可能性が高くなると判断される。評価部３５４は、算出した評価値（割合データ）を出力する（ステップＳ２４６）。   Further, the evaluation unit 354 outputs the data of the counter 3 (step S243). The data of the counter 3 corresponds to the gaze time of the geometric pattern area A in the video 2. Next, the evaluation unit 354 outputs the data of the counter 4 (step S244). The data of the counter 4 corresponds to the gaze time of the person area B in the video 2. Next, the evaluation unit 354 calculates the ratio between the counter 3 and the counter 4 as an evaluation value (step S245). This evaluation value also serves as a guideline for the possibility of developmental disabilities. For example, it is determined that the higher the proportion of attention to the geometric pattern area A, the higher the possibility of developmental disability. The evaluation unit 354 outputs the calculated evaluation value (ratio data) (step S246).

ここで、映像１としての計数結果とその割合（ステップＳ２１７〜ステップＳ２２０）と、映像２としての計数結果とその割合（ステップＳ２４３〜ステップＳ２４６）を比較することにより、被験者の傾向を知ることができる。例えば、画面の右側から見る傾向がある場合は、映像１では幾何学模様領域Ａのカウント値が上がり、映像２では幾何学模様領域Ａのカウント値が下がる傾向がある。両方がバランスしている場合には中央部分から見始めて自分の嗜好にあわせて注視していると考えられる。   Here, it is possible to know the tendency of the subject by comparing the counting result as video 1 and its ratio (steps S217 to S220) and the counting result as video 2 and the ratio (steps S243 to S246). it can. For example, when there is a tendency to see from the right side of the screen, the count value of the geometric pattern area A tends to increase in the video 1 and the count value of the geometric pattern area A tends to decrease in the video 2. When both are in balance, it is thought that they started watching from the center and focused on their own preference.

また、図１１のステップＳ１０３ｂ、および、図１２−１のステップＳ２０３ｂに示すように、視点検出部３５２が、タイマ等を用いて、所定時間の経過を待機する処理を行ってもよい。所定時間は、例えば映像１で幾何学模様映像のコントラストおよび色の濃さの低下が開始するまでの時間である。図６−１の例では、時刻ｔ０から時刻ｔ２までの時間に相当する。最初の映像部分で、ほとんどの被験者が幾何学模様映像を注視する。従って、ステップＳ１０３ｂおよびステップＳ２０３ｂのような待機処理を行うことによって、前半の時間は測定せず、後半のみ測定することが可能になる。この場合、さらに検出精度を向上させることが可能となる。また、３以上の映像を用いて診断支援処理を実行してもよい。この場合、例えば、各映像での計数結果および評価値とともに、全映像での計数結果の合計値および評価値の合計値を出力するように構成してもよい。   Further, as shown in step S103b in FIG. 11 and step S203b in FIG. 12-1, the viewpoint detection unit 352 may perform a process of waiting for the elapse of a predetermined time using a timer or the like. The predetermined time is, for example, the time until the reduction of the contrast and color density of the geometric pattern image in the image 1 starts. In the example of FIG. 6A, this corresponds to the time from time t0 to time t2. In the first video part, most subjects gaze at the geometric pattern video. Therefore, by performing standby processing as in steps S103b and S203b, it is possible to measure only the second half without measuring the first half time. In this case, the detection accuracy can be further improved. Further, the diagnosis support process may be executed using three or more videos. In this case, for example, the total value of the count results and the total value of the evaluation values in all the videos may be output together with the count result and the evaluation value of each video.

また、映像のコントラストなどの変化は、予めそのような映像を用いることで実現してもよい。   Further, a change in the contrast of the video may be realized by using such a video in advance.

以上のように、第１の実施形態によれば、例えば以下のような効果が得られる。
（１）人物映像、および、幾何学模様映像の注目度の差があっても、良好な検出が可能になり、検出精度が向上する。
（２）被験者の個人差の影響が少なくなる。
（３）診断支援用の映像（診断画像）の製作が容易になる。 As described above, according to the first embodiment, for example, the following effects can be obtained.
(1) Even if there is a difference in the degree of attention between a person image and a geometric pattern image, good detection is possible and detection accuracy is improved.
(2) The influence of individual differences among subjects is reduced.
(3) Production of diagnostic support video (diagnostic image) is facilitated.

（第２の実施形態）
第２の実施形態では、第１の実施形態よりも一層、装置構成を簡略化できる視線検出装置および視線検出方法を実現する。 (Second Embodiment)
In the second embodiment, a line-of-sight detection device and a line-of-sight detection method capable of further simplifying the apparatus configuration are realized as compared with the first embodiment.

以下に、第２の実施形態の視線検出装置および視線検出方法を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。   Hereinafter, the line-of-sight detection device and the line-of-sight detection method of the second embodiment will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment. In the following, an example in which the line-of-sight detection apparatus is used as a diagnosis support apparatus that supports diagnosis of developmental disabilities using the line-of-sight detection result will be described. Applicable devices are not limited to diagnosis support devices.

本実施形態の視線検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。   The line-of-sight detection apparatus (diagnosis support apparatus) of the present embodiment detects the line of sight using an illumination unit installed at one place. In addition, the line-of-sight detection device (diagnosis support device) of the present embodiment calculates the corneal curvature center position with high accuracy by using a result obtained by gazing at one point on the subject before the line-of-sight detection.

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。   In addition, an illumination part is an element which can irradiate light to a test subject's eyeball including a light source. The light source is an element that generates light, such as an LED (Light Emitting Diode). A light source may be comprised from one LED, and may be comprised by combining several LED and arrange | positioning in one place. Hereinafter, the “light source” may be used as a term representing the illumination unit in this way.

図１３および１４は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。なお、第１の実施形態と同様の構成については同一の符号を付し、説明を省略する場合がある。   13 and 14 are diagrams illustrating an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject according to the second embodiment. In addition, about the structure similar to 1st Embodiment, the same code | symbol may be attached | subjected and description may be abbreviate | omitted.

図１３に示すように、第２の実施形態の診断支援装置は、表示部２１０と、ステレオカメラ２１０２と、ＬＥＤ光源２１０３と、を含む。ステレオカメラ２１０２は、表示部２１０の下に配置される。ＬＥＤ光源２１０３は、ステレオカメラ２１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源２１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１３では、９個のＬＥＤによりＬＥＤ光源２１０３（照明部）を構成する例が示されている。なお、ステレオカメラ２１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。   As illustrated in FIG. 13, the diagnosis support apparatus according to the second embodiment includes a display unit 210, a stereo camera 2102, and an LED light source 2103. The stereo camera 2102 is disposed below the display unit 210. The LED light source 2103 is arranged at the center position of two cameras included in the stereo camera 2102. The LED light source 2103 is a light source that irradiates near infrared rays having a wavelength of 850 nm, for example. FIG. 13 shows an example in which an LED light source 2103 (illumination unit) is configured by nine LEDs. Note that the stereo camera 2102 uses a lens that can transmit near-infrared light having a wavelength of 850 nm.

図１４に示すように、ステレオカメラ２１０２は、右カメラ２２０２と左カメラ２２０３とを備えている。ＬＥＤ光源２１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ２１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２２０２、左カメラ２２０３）それぞれで取得することができる。   As illustrated in FIG. 14, the stereo camera 2102 includes a right camera 2202 and a left camera 2203. The LED light source 2103 irradiates near-infrared light toward the eyeball 111 of the subject. In the image acquired by the stereo camera 2102, the pupil 112 is reflected and darkened with low brightness, and the corneal reflection 113 generated as a virtual image in the eyeball 111 is reflected and brightened with high brightness. Accordingly, the positions of the pupil 112 and the corneal reflection 113 on the image can be acquired by each of the two cameras (the right camera 2202 and the left camera 2203).

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示画面１０１の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。   Further, the three-dimensional world coordinate values of the positions of the pupil 112 and the corneal reflection 113 are calculated from the positions of the pupil 112 and the corneal reflection 113 obtained by the two cameras. In the present embodiment, as the three-dimensional world coordinates, with the center position of the display screen 101 as the origin, the top and bottom are the Y coordinate (up is +), the side is the X coordinate (right is +), and the depth is the Z coordinate (front is +).

図１５は、第２の実施形態の診断支援装置２１００の機能の概要を示す図である。図１５では、図１３および１４に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図１５に示すように、診断支援装置２１００は、右カメラ２２０２と、左カメラ２２０３と、ＬＥＤ光源２１０３と、スピーカ１０５と、駆動・ＩＦ（interface）部２０８と、制御部２３００と、記憶部１５０と、表示部２１０と、を含む。図１５において、表示画面１０１は、右カメラ２２０２および左カメラ２２０３との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。   FIG. 15 is a diagram illustrating an outline of functions of the diagnosis support apparatus 2100 according to the second embodiment. FIG. 15 shows a part of the configuration shown in FIGS. 13 and 14 and a configuration used for driving the configuration. As shown in FIG. 15, the diagnosis support apparatus 2100 includes a right camera 2202, a left camera 2203, an LED light source 2103, a speaker 105, a drive / IF (interface) unit 208, a control unit 2300, and a storage unit 150. And a display unit 210. In FIG. 15, the display screen 101 shows the positional relationship between the right camera 2202 and the left camera 2203 in an easy-to-understand manner, but the display screen 101 is a screen displayed on the display unit 210. The drive unit and the IF unit may be integrated or separate.

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。   The speaker 105 functions as an audio output unit that outputs an audio or the like for alerting the subject during calibration.

駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部と、制御部２３００とのインタフェースとなる。   The drive / IF unit 208 drives each unit included in the stereo camera 2102. The drive / IF unit 208 serves as an interface between each unit included in the stereo camera 2102 and the control unit 2300.

制御部２３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。   The control unit 2300 is a communication I / F that communicates with a control device such as a CPU (Central Processing Unit) and a storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory) by connecting to a network. And a computer equipped with a bus for connecting each unit.

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。   The storage unit 150 stores various information such as a control program, a measurement result, and a diagnosis support result. The storage unit 150 stores, for example, an image to be displayed on the display unit 210. The display unit 210 displays various information such as a target image for diagnosis.

図１６は、図１５に示す各部の詳細な機能の一例を示すブロック図である。図１６に示すように、制御部２３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。   FIG. 16 is a block diagram illustrating an example of detailed functions of each unit illustrated in FIG. 15. As shown in FIG. 16, a display unit 210 and a drive / IF unit 208 are connected to the control unit 2300. The drive / IF unit 208 includes camera IFs 314 and 315, an LED drive control unit 316, and a speaker drive unit 322.

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２２０２、左カメラ２２０３が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。   A right camera 2202 and a left camera 2203 are connected to the drive / IF unit 208 via camera IFs 314 and 315, respectively. The driving / IF unit 208 drives these cameras to image the subject.

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置２１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置２１００の内部に備えるように構成してもよい。   The speaker driving unit 322 drives the speaker 105. The diagnosis support apparatus 2100 may include an interface (printer IF) for connecting to a printer as a printing unit. Further, the printer may be provided inside the diagnosis support apparatus 2100.

制御部２３００は、診断支援装置２１００全体を制御する。制御部２３００は、第１算出部２３５１と、第２算出部２３５２と、第３算出部２３５３と、視線検出部２３５４と、視点検出部２３５５と、出力制御部２３５６と、評価部２３５７と、を備えている。なお、視線検出装置としては、少なくとも第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、および、視線検出部２３５４が備えられていればよい。   The control unit 2300 controls the entire diagnosis support apparatus 2100. The control unit 2300 includes a first calculation unit 2351, a second calculation unit 2352, a third calculation unit 2353, a gaze detection unit 2354, a viewpoint detection unit 2355, an output control unit 2356, and an evaluation unit 2357. I have. Note that the line-of-sight detection device may include at least the first calculation unit 2351, the second calculation unit 2352, the third calculation unit 2353, and the line-of-sight detection unit 2354.

制御部２３００に含まれる各要素（第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、視線検出部２３５４、視点検出部２３５５、出力制御部２３５６、および、評価部２３５７）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。   Each element included in the control unit 2300 (the first calculation unit 2351, the second calculation unit 2352, the third calculation unit 2353, the line-of-sight detection unit 2354, the viewpoint detection unit 2355, the output control unit 2356, and the evaluation unit 2357) It may be realized by software (program), may be realized by a hardware circuit, or may be realized by using software and a hardware circuit in combination.

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。   When implemented by a program, the program is a file in an installable or executable format, such as a CD-ROM (Compact Disk Read Only Memory), a flexible disk (FD), a CD-R (Compact Disk Recordable), a DVD ( Digital Versatile Disk) is recorded on a computer-readable recording medium and provided as a computer program product. The program may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. The program may be provided or distributed via a network such as the Internet. The program may be provided by being incorporated in advance in a ROM or the like.

第１算出部２３５１は、ステレオカメラ２１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部２３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。   The first calculation unit 2351 calculates the position of the pupil center (first position) indicating the center of the pupil from the eyeball image captured by the stereo camera 2102. The second calculator 2352 calculates the position of the corneal reflection center (second position) indicating the center of corneal reflection from the captured image of the eyeball.

第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線と、から角膜曲率中心（第３位置）を算出する。例えば、第３算出部２３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。   The third calculator 2353 calculates the corneal curvature center (third position) from the straight line connecting the LED light source 2103 and the corneal reflection center. For example, the third calculation unit 2353 calculates a position on the straight line where the distance from the corneal reflection center is a predetermined value as the corneal curvature center. As the predetermined value, a value determined in advance from a general radius of curvature of the cornea or the like can be used.

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部２３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部２３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とＬＥＤ光源２１０３とを結ぶ直線と、の交点（第４位置）を算出する。そして第３算出部２３５３は、瞳孔中心と算出した交点との距離を（第１距離）を算出し、例えば記憶部１５０に記憶する。   Since there may be individual differences in the radius of curvature of the cornea, there is a possibility that an error will increase if the center of corneal curvature is calculated using a predetermined value. Therefore, the third calculation unit 2353 may calculate the corneal curvature center in consideration of individual differences. In this case, the third calculation unit 2353 uses the pupil center and the corneal reflection center calculated when the target position is first watched by the subject, the straight line connecting the pupil center and the target position, the corneal reflection center, and the LED. The intersection (fourth position) of the straight line connecting the light source 2103 is calculated. Then, the third calculation unit 2353 calculates a distance (first distance) between the pupil center and the calculated intersection, and stores it in the storage unit 150, for example.

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面１０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部２３５６が、表示画面１０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。   The target position may be a position that is determined in advance and can calculate a three-dimensional world coordinate value. For example, the center position of the display screen 101 (the origin of the three-dimensional world coordinates) can be set as the target position. In this case, for example, the output control unit 2356 displays an image (target image) or the like that causes the subject to gaze at the target position (center) on the display screen 101. Thereby, a test subject can be made to gaze at a target position.

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。   The target image may be any image as long as it can attract the attention of the subject. For example, an image in which a display mode such as luminance or color changes, an image in which the display mode is different from other regions, or the like can be used as the target image.

なお、目標位置は表示画面１０１の中央に限られるものではなく、任意の位置でよい。表示画面１０１の中央を目標位置とすれば、表示画面１０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。   The target position is not limited to the center of the display screen 101, and may be an arbitrary position. If the center of the display screen 101 is set as the target position, the distance from an arbitrary end of the display screen 101 is minimized. For this reason, it becomes possible to make the measurement error at the time of gaze detection smaller, for example.

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。   The processing up to the calculation of the distance is executed in advance, for example, before the actual gaze detection is started. At the time of actual line-of-sight detection, the third calculation unit 2353 calculates, on the straight line connecting the LED light source 2103 and the corneal reflection center, a position where the distance from the pupil center is a previously calculated distance as the corneal curvature center. .

視線検出部２３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部２３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。   The line-of-sight detection unit 2354 detects the line of sight of the subject from the pupil center and the corneal curvature center. For example, the gaze detection unit 2354 detects the direction from the corneal curvature center to the pupil center as the gaze direction of the subject.

視点検出部２３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部２３５５は、例えば、表示画面１０１で被験者が注視する点である視点（注視点）を検出する。視点検出部２３５５は、例えば図１４のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。   The viewpoint detection unit 2355 detects the viewpoint of the subject using the detected gaze direction. The viewpoint detection unit 2355 detects, for example, a viewpoint (gaze point) that is a point on the display screen 101 where the subject gazes. The viewpoint detection unit 2355 detects, for example, the intersection of the line-of-sight vector represented in the three-dimensional world coordinate system as shown in FIG. 14 and the XY plane as the gaze point of the subject.

出力制御部２３５６は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部２３５６は、表示部２１０上の目標位置に目標画像を出力させる。また、出力制御部２３５６は、診断画像、および、評価部２３５７による評価結果などの表示部２１０に対する出力を制御する。   The output control unit 2356 controls output of various information to the display unit 210, the speaker 105, and the like. For example, the output control unit 2356 outputs the target image at the target position on the display unit 210. Further, the output control unit 2356 controls the output to the display unit 210 such as the diagnostic image and the evaluation result by the evaluation unit 2357.

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。   The diagnostic image may be an image corresponding to the evaluation process based on the line-of-sight (viewpoint) detection result. For example, in the case of diagnosing a developmental disorder, a diagnostic image including an image (such as a geometric pattern image) preferred by a subject with a developmental disorder and other images (such as a person image) may be used.

評価部２３５７は、診断画像と、視点検出部２３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部２３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。   The evaluation unit 2357 performs an evaluation process based on the diagnostic image and the gazing point detected by the viewpoint detection unit 2355. For example, in the case of diagnosing a developmental disorder, the evaluation unit 2357 analyzes the diagnostic image and the gazing point, and evaluates whether or not the image preferred by the subject with the developmental disorder has been gazed.

出力制御部２３５６が第１の実施形態と同様の診断画像を表示し、評価部２３５７が第１の実施形態の評価部３５４と同様の評価処理を行ってもよい。言い換えると、第１の実施形態の視線検出処理（視線検出部３５１）を、第２の実施形態の視線検出処理（第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、視線検出部２３５４）で置き換えてもよい。これにより、第１の実施形態の効果に加えて、第２の実施形態の効果（装置構成の簡略化など）を達成可能となる。   The output control unit 2356 may display the same diagnostic image as that of the first embodiment, and the evaluation unit 2357 may perform the same evaluation process as that of the evaluation unit 354 of the first embodiment. In other words, the gaze detection process (gaze detection unit 351) of the first embodiment is replaced with the gaze detection process (first calculation unit 2351, second calculation unit 2352, third calculation unit 2353, gaze detection of the second embodiment. Part 2354). Thereby, in addition to the effect of 1st Embodiment, the effect (simplification of an apparatus structure etc.) of 2nd Embodiment can be achieved.

図１７は、本実施形態の診断支援装置２１００により実行される処理の概要を説明する図である。図１３〜図１６で説明した要素については同一の符号を付し説明を省略する。   FIG. 17 is a diagram illustrating an outline of processing executed by the diagnosis support apparatus 2100 of this embodiment. The elements described in FIGS. 13 to 16 are denoted by the same reference numerals and description thereof is omitted.

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源２１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。   The pupil center 407 and the corneal reflection center 408 represent the center of the pupil and the center of the corneal reflection point detected when the LED light source 2103 is turned on, respectively. The corneal curvature radius 409 represents the distance from the corneal surface to the corneal curvature center 410.

図１８は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１３〜図１６で説明した要素については同一の符号を付し説明を省略する。   FIG. 18 is an explanatory diagram showing a difference between a method using two light sources (illumination units) (hereinafter referred to as method A) and the present embodiment using one light source (illumination unit). The elements described in FIGS. 13 to 16 are denoted by the same reference numerals and description thereof is omitted.

方法Ａは、ＬＥＤ光源２１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。   Method A uses two LED light sources 511 and 512 instead of the LED light source 2103. In the method A, a straight line 515 connecting the cornea reflection center 513 and the LED light source 511 when the LED light source 511 is irradiated, and a straight line 516 connecting the cornea reflection center 514 and the LED light source 512 when the LED light source 512 is irradiated. An intersection is calculated. This intersection is the corneal curvature center 505.

これに対し、本実施形態では、ＬＥＤ光源２１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源２１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源２１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。   In contrast, in the present embodiment, a straight line 523 connecting the corneal reflection center 522 and the LED light source 2103 when the LED light source 2103 is irradiated is considered. A straight line 523 passes through the corneal curvature center 505. It is also known that the radius of curvature of the cornea is almost constant with little influence from individual differences. Thus, the corneal curvature center when the LED light source 2103 is irradiated exists on the straight line 523 and can be calculated by using a general curvature radius value.

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。   However, if the viewpoint is calculated using the position of the center of corneal curvature calculated using a general radius of curvature, the viewpoint position may deviate from the original position due to individual differences in the eyeballs, and accurate viewpoint position detection cannot be performed. There is.

図１９は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１３〜図１６で説明した要素については同一の符号を付し説明を省略する。なお、左右カメラ（右カメラ２２０２、左カメラ２２０３）と制御部２３００とが接続することについては図示せず省略する。   FIG. 19 is a diagram for explaining calculation processing for calculating the corneal curvature center position and the distance between the pupil center position and the corneal curvature center position before performing viewpoint detection (line-of-sight detection). The elements described in FIGS. 13 to 16 are denoted by the same reference numerals and description thereof is omitted. The connection between the left and right cameras (the right camera 2202 and the left camera 2203) and the control unit 2300 is not shown and is omitted.

目標位置６０５は、表示部２１０上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示画面１０１の中央位置としている。直線６１３は、ＬＥＤ光源２１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部２３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。   The target position 605 is a position for displaying a target image or the like at one point on the display unit 210 and causing the subject to stare. In this embodiment, the center position of the display screen 101 is set. A straight line 613 is a straight line connecting the LED light source 2103 and the corneal reflection center 612. A straight line 614 is a straight line connecting the target position 605 (gaze point) that the subject looks at and the pupil center 611. A corneal curvature center 615 is an intersection of the straight line 613 and the straight line 614. The third calculation unit 2353 calculates and stores the distance 616 between the pupil center 611 and the corneal curvature center 615.

図２０は、本実施形態の算出処理の一例を示すフローチャートである。   FIG. 20 is a flowchart illustrating an example of calculation processing according to the present embodiment.

まず出力制御部２３５６は、表示画面１０１上の１点に目標画像を再生し（ステップＳ３０１）、被験者にその１点を注視させる。次に、制御部２３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源２１０３を被験者の目に向けて点灯させる（ステップＳ３０２）。制御部２３００は、左右カメラ（右カメラ２２０２、左カメラ２２０３）で被験者の目を撮像する（ステップＳ３０３）。   First, the output control unit 2356 reproduces the target image at one point on the display screen 101 (step S301), and causes the subject to gaze at the one point. Next, the control unit 2300 turns on the LED light source 2103 toward the eyes of the subject using the LED drive control unit 316 (step S302). The control unit 2300 images the eyes of the subject with the left and right cameras (the right camera 2202 and the left camera 2203) (step S303).

ＬＥＤ光源２１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部２３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第２算出部２３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部２３５１および第２算出部２３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ３０４）。   The pupil part is detected as a dark part (dark pupil) by irradiation of the LED light source 2103. Further, a corneal reflection virtual image is generated as a reflection of LED irradiation, and a corneal reflection point (corneal reflection center) is detected as a bright portion. That is, the first calculation unit 2351 detects a pupil portion from the captured image, and calculates coordinates indicating the position of the pupil center. In addition, the second calculation unit 2352 detects a corneal reflection portion from the captured image, and calculates coordinates indicating the position of the corneal reflection center. The first calculation unit 2351 and the second calculation unit 2352 calculate each coordinate value for each of two images acquired by the left and right cameras (step S304).

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。   Note that the left and right cameras are pre-calibrated with a stereo calibration method to obtain three-dimensional world coordinates, and conversion parameters are calculated. As the stereo calibration method, any conventionally used method such as a method using Tsai's camera calibration theory can be applied.

第１算出部２３５１および第２算出部２３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ３０５）。第３算出部２３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源２１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ３０６）。次に、第３算出部２３５３は、表示画面１０１の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ３０７）。第３算出部２３５３は、ステップＳ３０６で算出した直線とステップＳ３０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ３０８）。第３算出部２３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ３０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。   The first calculation unit 2351 and the second calculation unit 2352 use the conversion parameters to convert the coordinates of the left and right cameras into the three-dimensional world coordinates of the pupil center and the corneal reflection center (step S305). The 3rd calculation part 2353 calculates | requires the straight line which connects the world coordinate of the calculated | required corneal reflection center, and the world coordinate of the center position of the LED light source 2103 (step S306). Next, the third calculation unit 2353 calculates a straight line connecting the world coordinates of the center of the target image displayed at one point on the display screen 101 and the world coordinates of the pupil center (step S307). The 3rd calculation part 2353 calculates | requires the intersection of the straight line calculated by step S306, and the straight line calculated by step S307, and makes this intersection a cornea curvature center (step S308). The third calculation unit 2353 calculates the distance between the pupil center and the corneal curvature center at this time, and stores it in the storage unit 150 or the like (step S309). The stored distance is used to calculate the corneal curvature center at the time of subsequent detection of the viewpoint (line of sight).

算出処理で表示部２１０上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部２１０内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。   The distance between the pupil center and the corneal curvature center when looking at one point on the display unit 210 in the calculation process is kept constant within a range in which the viewpoint in the display unit 210 is detected. The distance between the center of the pupil and the center of corneal curvature may be obtained from the average of all the values calculated during playback of the target image, or from the average of several values of the values calculated during playback. You may ask for it.

図２１は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。   FIG. 21 is a diagram illustrating a method of calculating the corrected position of the corneal curvature center using the distance between the pupil center and the corneal curvature center that is obtained in advance when performing viewpoint detection. A gazing point 805 represents a gazing point obtained from a corneal curvature center calculated using a general curvature radius value. A gazing point 806 represents a gazing point obtained from a corneal curvature center calculated using a distance obtained in advance.

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源２１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示画面１０１上の注視点は、注視点８０５から注視点８０６に補正される。なお、左右カメラ（右カメラ２２０２、左カメラ２２０３）と制御部２３００とが接続することについては図示せず省略する。   The pupil center 811 and the corneal reflection center 812 indicate the position of the pupil center and the position of the corneal reflection center calculated at the time of viewpoint detection, respectively. A straight line 813 is a straight line connecting the LED light source 2103 and the corneal reflection center 812. The corneal curvature center 814 is the position of the corneal curvature center calculated from a general curvature radius value. The distance 815 is the distance between the pupil center and the corneal curvature center calculated by the prior calculation process. The corneal curvature center 816 is the position of the corneal curvature center calculated using the distance obtained in advance. The corneal curvature center 816 is obtained from the fact that the corneal curvature center exists on the straight line 813 and the distance between the pupil center and the corneal curvature center is the distance 815. Thus, the line of sight 817 calculated when a general radius of curvature value is used is corrected to the line of sight 818. Also, the gazing point on the display screen 101 is corrected from the gazing point 805 to the gazing point 806. The connection between the left and right cameras (the right camera 2202 and the left camera 2203) and the control unit 2300 is not shown and is omitted.

図２２は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図２２の視線検出処理を実行することができる。診断処理では、図２２の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部２３５７による評価処理などが実行される。   FIG. 22 is a flowchart illustrating an example of a line-of-sight detection process according to this embodiment. For example, the line-of-sight detection process of FIG. 22 can be executed as the process of detecting the line of sight in the diagnostic process using the diagnostic image. In the diagnostic process, in addition to the steps in FIG. 22, a process for displaying a diagnostic image, an evaluation process by the evaluation unit 2357 using the detection result of the gazing point, and the like are executed.

ステップＳ４０１〜ステップＳ４０５は、図２０のステップＳ３０２〜ステップＳ３０６と同様であるため説明を省略する。   Steps S401 to S405 are the same as steps S302 to S306 in FIG.

第３算出部２３５３は、ステップＳ４０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ４０６）。   The third calculation unit 2353 calculates, as the corneal curvature center, a position on the straight line calculated in step S405 and having a distance from the pupil center equal to the distance obtained by the previous calculation process (step S406).

視線検出部２３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ４０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部２３５５は、この視線方向と表示画面１０１との交点の三次元世界座標値を算出する（ステップＳ４０８）。この値が、被験者が注視する表示部２１０上の１点を世界座標で表した座標値である。視点検出部２３５５は、求めた三次元世界座標値を、表示部２１０の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ４０９）。これにより、被験者が見つめる表示部２１０上の視点（注視点）を算出することができる。   The line-of-sight detection unit 2354 obtains a vector (line-of-sight vector) connecting the pupil center and the corneal curvature center (step S407). This vector indicates the line-of-sight direction viewed by the subject. The viewpoint detection unit 2355 calculates the three-dimensional world coordinate value of the intersection between the line-of-sight direction and the display screen 101 (step S408). This value is a coordinate value representing one point on the display unit 210 that the subject gazes in world coordinates. The viewpoint detection unit 2355 converts the obtained three-dimensional world coordinate value into a coordinate value (x, y) represented in the two-dimensional coordinate system of the display unit 210 (step S409). Thereby, the viewpoint (gaze point) on the display part 210 which a test subject looks at can be calculated.

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（２）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。 As described above, according to the present embodiment, for example, the following effects can be obtained.
(1) It is not necessary to arrange light sources (illuminating units) at two places, and it becomes possible to perform line-of-sight detection with the light sources arranged at one place.
(2) Since the number of light sources is one, the apparatus can be made compact and the cost can be reduced.

１００、２１００ 診断支援装置
１０１ 表示画面
１０２、２１０２ ステレオカメラ
１０５ スピーカ
１５０ 記憶部
２０２、２２０２ 右カメラ
２０３ 赤外ＬＥＤ光源
２０４、２２０３ 左カメラ
２０５ 赤外ＬＥＤ光源
２０８ 駆動・ＩＦ部
２１０ 表示部
３００、２３００ 制御部
３５１、２３５４ 視線検出部
３５２、２３５５ 視点検出部
３５３、２３５６ 出力制御部
３５４、２３５７ 評価部
２３５１ 第１算出部
２３５２ 第２算出部
２３５３ 第３算出部 100, 2100 Diagnosis support device 101 Display screen 102, 2102 Stereo camera 105 Speaker 150 Storage unit 202, 2202 Right camera 203 Infrared LED light source 204, 2203 Left camera 205 Infrared LED light source 208 Drive / IF unit 210 Display unit 300, 2300 Control unit 351, 2354 Gaze detection unit 352, 2355 View point detection unit 353, 2356 Output control unit 354, 2357 Evaluation unit 2351 First calculation unit 2352 Second calculation unit 2353 Third calculation unit

Claims (8)

表示部と、
被験者を撮像する撮像部と、
前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、
人物の画像と幾何学模様の画像とを含み、前記人物の画像と前記幾何学模様の画像との少なくとも一方の画像の透過度が時間の経過とともに変化する診断画像を前記表示部に表示させる出力制御部と、
前記診断画像が表示されたときに前記視点検出部により検出された前記視点に基づいて前記被験者の評価値を算出する評価部と、
を備えることを特徴とする診断支援装置。 A display unit;
An imaging unit for imaging a subject;
From a captured image captured by the imaging unit, a gaze detection unit that detects the gaze direction of the subject,
A viewpoint detection unit that detects the viewpoint of the subject in the display area of the display unit based on the line-of-sight direction;
An output including a human image and a geometric pattern image, and causing the display unit to display a diagnostic image in which the transparency of at least one of the human image and the geometric pattern image changes over time A control unit;
An evaluation unit that calculates an evaluation value of the subject based on the viewpoint detected by the viewpoint detection unit when the diagnostic image is displayed;
A diagnostic support apparatus comprising: 前記出力制御部は、前記人物の画像の透過度と、前記幾何学模様画像の透過度とが、時間の経過とともに相反して変化する診断画像を前記表示部に表示させること、
を特徴とする請求項１に記載の診断支援装置。 The output control unit causes the display unit to display a diagnostic image in which the transparency of the image of the person and the transparency of the geometric pattern image change with time.
The diagnosis support apparatus according to claim 1. 前記出力制御部は、前記透過度の変化の割合が一定値以下となる診断画像を前記表示部に表示させること、
を特徴とする請求項１に記載の診断支援装置。 The output control unit causes the display unit to display a diagnostic image in which the rate of change in the transmittance is a certain value or less;
The diagnosis support apparatus according to claim 1. 前記視点検出部は、前記診断画像の表示が開始されてから所定時間が経過した後に、前記視線方向に基づいて前記視点を検出すること、
を特徴とする請求項１に記載の診断支援装置。 The viewpoint detection unit detects the viewpoint based on the line-of-sight direction after a predetermined time has elapsed since the display of the diagnostic image was started;
The diagnosis support apparatus according to claim 1. 前記出力制御部は、第１の診断画像を前記表示部に表示させた後、前記人物の画像の位置、および、前記幾何学模様の画像の位置が前記第１の診断画像と異なる第２の診断画像を前記表示部に表示させ、
前記評価部は、前記第１の診断画像が表示されたときに前記視点検出部により検出された前記視点、および、前記第２の診断画像が表示されたときに前記視点検出部により検出された前記視点に基づいて前記評価値を算出すること、
を特徴とする請求項１に記載の診断支援装置。 The output control unit displays a first diagnostic image on the display unit, and then has a second image position different from the first diagnostic image in the position of the person image and the geometric pattern image. Display a diagnostic image on the display,
The evaluation unit is detected by the viewpoint detection unit when the first diagnostic image is displayed and the viewpoint detected by the viewpoint detection unit and when the second diagnostic image is displayed. Calculating the evaluation value based on the viewpoint;
The diagnosis support apparatus according to claim 1. 前記評価部は、前記人物の画像を含む領域で前記視点が検出される時間を表す第１停留時間と、前記幾何学模様の画像を含む領域で前記視点が検出される時間を表す第２停留時間と、の少なくとも一方に基づいて前記評価値を算出すること、
を特徴とする請求項１に記載の診断支援装置。 The evaluation unit includes a first stop time indicating a time during which the viewpoint is detected in an area including the person image and a second stop indicating a time during which the viewpoint is detected in an area including the geometric pattern image. Calculating the evaluation value based on at least one of time and
The diagnosis support apparatus according to claim 1. 光を照射する光源を含む照明部と、
前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置を算出する第１算出部と、
撮像された前記眼球の画像から角膜反射の中心を示す第２位置を算出する第２算出部と、
前記光源と前記第２位置とを結ぶ直線に基づいて、角膜曲率中心を示す第３位置を算出する第３算出部と、をさらに備え、
前記視線検出部は、前記第１位置と前記第３位置に基づいて前記被験者の視線を検出すること、
を特徴とする請求項１から６のいずれか一項に記載の診断支援装置。 An illumination unit including a light source that emits light;
A first calculation unit that calculates a first position indicating the center of the pupil from an image of the eyeball of the subject that is illuminated by the illumination unit and imaged by the imaging unit;
A second calculation unit that calculates a second position indicating the center of corneal reflection from the captured image of the eyeball;
A third calculator that calculates a third position indicating a corneal curvature center based on a straight line connecting the light source and the second position;
The line-of-sight detection unit detects the line of sight of the subject based on the first position and the third position;
The diagnosis support apparatus according to any one of claims 1 to 6, wherein: 被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出ステップと、
前記視線方向に基づいて、表示部の表示領域における前記被験者の視点を検出する視点検出ステップと、
人物の画像と幾何学模様の画像とを含み、前記人物の画像と前記幾何学模様の画像との少なくとも一方の画像の透過度が時間の経過とともに変化する診断画像を前記表示部に表示させる出力制御ステップと、
前記診断画像が表示されたときに前記視点検出ステップにより検出された前記視点に基づいて前記被験者の評価値を算出する評価ステップと、
を含む診断支援方法。 A line-of-sight detection step for detecting a line-of-sight direction of the subject from a captured image captured by an imaging unit that images the subject,
A viewpoint detection step of detecting the viewpoint of the subject in the display area of the display unit based on the line-of-sight direction;
An output including a human image and a geometric pattern image, and causing the display unit to display a diagnostic image in which the transparency of at least one of the human image and the geometric pattern image changes over time Control steps;
An evaluation step of calculating an evaluation value of the subject based on the viewpoint detected by the viewpoint detection step when the diagnostic image is displayed;
A diagnostic support method including:
JP2014039247A 2013-06-28 2014-02-28 Diagnosis support apparatus and diagnosis support method Active JP6142825B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014039247A JP6142825B2 (en) 2013-07-30 2014-02-28 Diagnosis support apparatus and diagnosis support method
EP14818648.9A EP3015075B1 (en) 2013-06-28 2014-06-27 Diagnosis assistance device and diagnosis assistance method
PCT/JP2014/067289 WO2014208761A1 (en) 2013-06-28 2014-06-27 Diagnosis assistance device and diagnosis assistance method
US14/980,077 US9579054B2 (en) 2013-06-28 2015-12-28 Diagnosis supporting device and diagnosis supporting method
US15/398,906 US10149643B2 (en) 2013-06-28 2017-01-05 Control device, diagnosis supporting device, control method and a non-transitory storage medium that stores control program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013157756 2013-07-30
JP2013157756 2013-07-30
JP2014039247A JP6142825B2 (en) 2013-07-30 2014-02-28 Diagnosis support apparatus and diagnosis support method

Publications (2)

Publication Number Publication Date
JP2015043966A true JP2015043966A (en) 2015-03-12
JP6142825B2 JP6142825B2 (en) 2017-06-07

Family

ID=52670035

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014039247A Active JP6142825B2 (en) 2013-06-28 2014-02-28 Diagnosis support apparatus and diagnosis support method
JP2014039246A Active JP6142824B2 (en) 2013-06-28 2014-02-28 Diagnosis support apparatus and diagnosis support method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014039246A Active JP6142824B2 (en) 2013-06-28 2014-02-28 Diagnosis support apparatus and diagnosis support method

Country Status (1)

Country Link
JP (2) JP6142825B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021087825A (en) * 2021-02-26 2021-06-10 株式会社Ｊｖｃケンウッド Evaluation device, evaluation method, and evaluation program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080186449A1 (en) * 2007-02-04 2008-08-07 Miralex Systems Incorporated Gaze tracking using multiple images
US20100208205A1 (en) * 2009-01-15 2010-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
JP2011206542A (en) * 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ Autism diagnosis support apparatus
JP2012055418A (en) * 2010-09-07 2012-03-22 Osaka Univ View line detection device and view line detection method
WO2012077713A1 (en) * 2010-12-08 2012-06-14 国立大学法人静岡大学 Method for detecting point of gaze and device for detecting point of gaze
JP2013223713A (en) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine Asperger's diagnosis assistance method and system, and asperger's diagnosis assistance device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080186449A1 (en) * 2007-02-04 2008-08-07 Miralex Systems Incorporated Gaze tracking using multiple images
US20100208205A1 (en) * 2009-01-15 2010-08-19 Po-He Tseng Eye-tracking method and system for screening human diseases
JP2011206542A (en) * 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ Autism diagnosis support apparatus
JP2012055418A (en) * 2010-09-07 2012-03-22 Osaka Univ View line detection device and view line detection method
WO2012077713A1 (en) * 2010-12-08 2012-06-14 国立大学法人静岡大学 Method for detecting point of gaze and device for detecting point of gaze
JP2013223713A (en) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine Asperger's diagnosis assistance method and system, and asperger's diagnosis assistance device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAREN PIERCE ET AL: "Preference for geometric patterns early in life as arisk factor for autism", ARCH GEN PSYCHIATRY, vol. 68, no. 1, JPN7017001191, January 2011 (2011-01-01), pages 101 - 109, ISSN: 0003533592 *
松村 佳亮、他: "「近赤外瞳孔検出法に基づくカラーカメラ顔画像中の高精度実時間瞳孔位置推定」", 映像情報メディア学会誌, vol. 第65巻 第12号, JPN6013018140, 2011, JP, pages 1783 - 1787, ISSN: 0003533593 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021087825A (en) * 2021-02-26 2021-06-10 株式会社Ｊｖｃケンウッド Evaluation device, evaluation method, and evaluation program
JP7074221B2 (en) 2021-02-26 2022-05-24 株式会社Ｊｖｃケンウッド Evaluation device, evaluation method, and evaluation program

Also Published As

Publication number Publication date
JP6142825B2 (en) 2017-06-07
JP2015043965A (en) 2015-03-12
JP6142824B2 (en) 2017-06-07

Similar Documents

Publication Publication Date Title
US10149643B2 (en) Control device, diagnosis supporting device, control method and a non-transitory storage medium that stores control program
JP6217445B2 (en) Diagnosis support apparatus and diagnosis support method
WO2015146491A1 (en) Detection device and detection method
JP6201956B2 (en) Gaze detection device and gaze detection method
JP6269377B2 (en) Diagnosis support apparatus and diagnosis support method
JP2015126857A (en) Line of sight detection support device and line of sight detection support method
JP6245093B2 (en) Diagnosis support apparatus and diagnosis support method
JP6142822B2 (en) Diagnosis support apparatus and diagnosis support method
US10123695B2 (en) Diagnosis supporting device and method of supporting diagnosis
JP6380178B2 (en) Diagnosis support apparatus and diagnosis support method
JP6217446B2 (en) Control device, diagnosis support device, control method, and control program
JP6593133B2 (en) Diagnosis support apparatus and diagnosis support method
JP2015144635A (en) detection device and detection method
JP6142825B2 (en) Diagnosis support apparatus and diagnosis support method
JP6327171B2 (en) Gaze point detection device and gaze point detection method
JP6187347B2 (en) Detection apparatus and detection method
JP6471533B2 (en) Gaze detection device and gaze detection method
JP2015181797A (en) Detection apparatus and detection method
JP2015126850A (en) Pupil detector, sight line detector, and pupil detection method
JP2016157326A (en) Line of sight detection device and line of sight detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170424

R150 Certificate of patent or registration of utility model

Ref document number: 6142825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150