JP5838894B2 - Diagnosis support apparatus and diagnosis support method - Google Patents

Description

本発明は、診断支援装置および診断支援方法に関する。   The present invention relates to a diagnosis support apparatus and a diagnosis support method.

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障害の診断支援装置が求められている。   Recently, people with developmental disabilities are said to be on the rise. Developmental disorders are known to be detected early and start treatment to reduce symptoms and increase the effect of adapting to society. In Japan, we are aiming for early detection through interviews at the age of 1 and a half. However, there are problems such as shortage of psychiatrists and time-consuming interviews, and the effect is not sufficient. Therefore, there is a need for an objective and efficient diagnosis support device for developmental disorders.

発達障害早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障害を診断支援する方法が提案されている。   For early detection of developmental disorders, it is ideal to be able to diagnose at the age of 1 and a half. In addition, it is necessary to consider the use at the time of screening. One characteristic of children with developmental disabilities is that they do not look at the eyes of their opponents. There has been proposed a method for diagnosing developmental disorders by applying a method of detecting a gazing point by photographing a human face with a camera and calculating a corneal reflection and a pupil position.

特開２０１１−２０６５４２号公報JP 2011-206542 A 特開２００８−１２５６１９号公報JP 2008-125619 A 特開２００５−１９８７４３号公報JP 2005-198743 A 特開２００７−２１３３７７号公報JP 2007-213377 A

特許文献１では、目領域と、確実に観察対象者の口が含まれる口領域とを特定し、目領域に注視点座標が検出された動画像のフレーム数、口領域に注視点座標が検出された動画像のフレーム数、目領域の外に注視点座標が検出された動画像のフレーム数、および、計算対象の全フレーム数を算出する方法が提示されているが、さらに高精度の検出方法が求められていた。   In Patent Literature 1, an eye area and a mouth area that reliably includes the mouth of the observation target are specified, the number of frames of a moving image in which the gazing point coordinates are detected in the eye area, and the gazing point coordinates are detected in the mouth area. A method for calculating the number of frames of the moving image, the number of frames of the moving image in which the gaze point coordinates are detected outside the eye area, and the total number of frames to be calculated has been presented. A method was sought.

本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置および診断支援方法を提供することを目的とする。   The present invention has been made in view of the above, and an object thereof is to provide a diagnosis support apparatus and a diagnosis support method capable of improving the accuracy of diagnosis.

上述した課題を解決し、目的を達成するために、本発明は、被験者の視点を検出する視点検出部と、前記対象の動作する動作部分を含む動作領域と、前記対象の動作しない非動作部分を含む非動作領域と、を含む、被験者が観察する対象を分割した複数の分割領域間での前記視点の移動パターンを検出するパターン検出部と、前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、発達障害の程度を表す評価情報を算出する算出部と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides a viewpoint detection unit that detects a viewpoint of a subject, an operation region including an operation part in which the object operates, and a non-operation part in which the object does not operate. A pattern detecting unit that detects a movement pattern of the viewpoint among a plurality of divided areas obtained by dividing a subject to be observed by the subject, a movement pattern, and a predetermined point of the viewpoint. And a calculation unit that calculates evaluation information representing the degree of developmental disability by comparing with a reference pattern representing a movement pattern.

本発明にかかる診断支援装置および診断支援方法は、診断の精度を向上できるという効果を奏する。   The diagnosis support apparatus and diagnosis support method according to the present invention have an effect of improving the accuracy of diagnosis.

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。FIG. 1 is a diagram illustrating an example of an arrangement of a display unit, a stereo camera, and a light source used in the first embodiment. 図２は、第１の実施形態の診断支援装置の機能の概要を示す図である。FIG. 2 is a diagram illustrating an outline of functions of the diagnosis support apparatus according to the first embodiment. 図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of detailed functions of the respective units illustrated in FIG. 図４は、被験者の瞳孔の位置を検出する方法を模式的に示す説明図である。FIG. 4 is an explanatory diagram schematically showing a method for detecting the position of the pupil of the subject. 図５は、対象画像のエリア分割の一例を示す説明図である。FIG. 5 is an explanatory diagram illustrating an example of area division of the target image. 図６は、視点の移動パターンの一例を示す図である。FIG. 6 is a diagram illustrating an example of a viewpoint movement pattern. 図７は、第１の実施形態における診断支援処理の一例を示すフローチャートである。FIG. 7 is a flowchart illustrating an example of a diagnosis support process according to the first embodiment. 図８は、第１の実施形態における診断支援処理の別の例を示すフローチャートである。FIG. 8 is a flowchart illustrating another example of the diagnosis support process in the first embodiment. 図９は、検出された視点と移動パターンとの関係の一例を示すタイムチャートである。FIG. 9 is a time chart showing an example of the relationship between the detected viewpoint and the movement pattern. 図１０は、動作パターンと移動パターンとの関係の一例を示すタイムチャートである。FIG. 10 is a time chart illustrating an example of a relationship between an operation pattern and a movement pattern. 図１１は、評価結果の一例を示す図である。FIG. 11 is a diagram illustrating an example of the evaluation result. 図１２は、評価結果の一例を示す図である。FIG. 12 is a diagram illustrating an example of the evaluation result. 図１３は、第２の実施形態の診断支援装置の外観構成の一例を示す斜視図である。FIG. 13 is a perspective view illustrating an example of an external configuration of the diagnosis support apparatus according to the second embodiment. 図１４は、第２の実施形態の診断支援装置の詳細な機能の一例を示すブロック図である。FIG. 14 is a block diagram illustrating an example of detailed functions of the diagnosis support apparatus according to the second embodiment. 図１５は、対象者の目の位置と被験者の視点検出を説明するための図である。FIG. 15 is a diagram for explaining the eye position of the subject and the viewpoint detection of the subject.

以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。   Hereinafter, embodiments of a diagnosis support apparatus and a diagnosis support method according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.

（第１の実施形態）
第１の実施形態は、被験者の観察する対象（観察対象）となる画像（対象画像）を表示部（モニタ）に表示して被験者の発達障害を診断する例である。図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、第１の実施形態では、表示部１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。 (First embodiment)
The first embodiment is an example of diagnosing a developmental disorder of a subject by displaying an image (target image) that is an object (observation object) to be observed by the subject on a display unit (monitor). FIG. 1 is a diagram illustrating an example of an arrangement of a display unit, a stereo camera, and a light source used in the first embodiment. As shown in FIG. 1, in the first embodiment, a set of stereo cameras 102 is arranged below the display unit 101. The stereo camera 102 is an imaging unit that can perform stereo shooting with infrared rays, and includes a right camera 202 and a left camera 204.

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。   Infrared LED (Light Emitting Diode) light sources 203 and 205 are arranged in the circumferential direction immediately before the lenses of the right camera 202 and the left camera 204, respectively. The infrared LED light sources 203 and 205 include an inner peripheral LED and an outer peripheral LED having different wavelengths for emitting light. The pupils of the subject are detected by the infrared LED light sources 203 and 205. As a pupil detection method, for example, the method described in Patent Document 2 can be applied.

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。   When detecting the line of sight, the space is expressed by coordinates to identify the position. In the present embodiment, the center position of the screen of the display unit 101 is the origin, the top and bottom are the Y coordinate (up is +), the side is the X coordinate (right is +), and the depth is the Z coordinate (front is +). .

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ部２０８と、制御部３００と、表示部１０１と、表示部２１０と、を含む。   FIG. 2 is a diagram illustrating an outline of functions of the diagnosis support apparatus 100. FIG. 2 shows a part of the configuration shown in FIG. 1 and a configuration used for driving the configuration. As shown in FIG. 2, the diagnosis support apparatus 100 includes a right camera 202, a left camera 204, infrared LED light sources 203 and 205, a speaker 105, a drive / IF unit 208, a control unit 300, and a display unit. 101 and a display unit 210.

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する。   The speaker 105 outputs a sound or the like for prompting the subject to pay attention during calibration.

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。   The drive / IF unit 208 drives each unit included in the stereo camera 102. The drive / IF unit 208 serves as an interface between each unit included in the stereo camera 102 and the control unit 300.

表示部１０１は、対象画像を表示する。表示部２１０は、装置の操作や、診断支援結果を表示する。   The display unit 101 displays a target image. The display unit 210 displays device operations and diagnosis support results.

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部１０１と、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。   FIG. 3 is a block diagram illustrating an example of detailed functions of the respective units illustrated in FIG. As shown in FIG. 3, the display unit 101, the display unit 210, and the drive / IF unit 208 are connected to the control unit 300. The drive / IF unit 208 includes camera IFs 314 and 315, an LED drive control unit 316, and a speaker drive unit 322.

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。   A right camera 202 and a left camera 204 are connected to the drive / IF unit 208 via camera IFs 314 and 315, respectively. The driving / IF unit 208 drives these cameras to image the subject.

右カメラ２０２からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４とＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２、左カメラ２０４）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラによる画像を取り込んでいる。   A frame synchronization signal is output from the right camera 202. The frame synchronization signal is input to the left camera 204 and the LED drive control unit 316. This causes the left and right wavelength 1 infrared light sources (wavelength 1-LED 303, wavelength 1-LED 305) to emit light at different timings in the first frame, and correspondingly by the left and right cameras (right camera 202, left camera 204). In the second frame, the left and right wavelength 2 infrared light sources (wavelength 2-LED 304, wavelength 2-LED 306) are caused to emit light in the second frame, and the images from the left and right cameras are captured correspondingly.

赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。   The infrared LED light source 203 includes a wavelength 1-LED 303 and a wavelength 2-LED 304. The infrared LED light source 205 includes a wavelength 1-LED 305 and a wavelength 2-LED 306.

波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。   Wavelength 1-LEDs 303 and 305 emit infrared light having wavelength 1. Wavelength 2-LEDs 304 and 306 irradiate wavelength 2 infrared rays.

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。   Wavelength 1 and wavelength 2 are, for example, a wavelength of less than 900 nm and a wavelength of 900 nm or more, respectively. When the reflected light reflected by the pupil is irradiated with infrared light having a wavelength of less than 900 nm, a bright pupil image is obtained as compared with the case where reflected light reflected by the pupil is irradiated with infrared light having a wavelength of 900 nm or more. It is because it is obtained.

スピーカ駆動部３２２は、スピーカ１０５を駆動する。   The speaker driving unit 322 drives the speaker 105.

制御部３００は、診断支援装置１００全体を制御して、結果を表示部２１０およびスピーカ１０５などに出力する。制御部３００は、視点検出部３５１と、パターン検出部３５２と、算出部３５３と、表示制御部３５４と、を備えている。   The control unit 300 controls the entire diagnosis support apparatus 100 and outputs the result to the display unit 210, the speaker 105, and the like. The control unit 300 includes a viewpoint detection unit 351, a pattern detection unit 352, a calculation unit 353, and a display control unit 354.

視点検出部３５１は、被験者の視点を検出する。本実施形態では、視点検出部３５１は、例えば、被験者の母親の画像などを含む表示部１０１に表示された対象画像のうち、被験者が注視する点である視点を検出する。視点検出部３５１による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。   The viewpoint detection unit 351 detects the subject's viewpoint. In this embodiment, the viewpoint detection part 351 detects the viewpoint which is a point which a test subject gazes among the target images displayed on the display part 101 containing the test subject's mother's image etc., for example. As a viewpoint detection method by the viewpoint detection unit 351, any conventionally used method can be applied. Below, similarly to patent document 3, the case where a test subject's viewpoint is detected using a stereo camera is demonstrated to an example.

この場合、まず視点検出部３５１は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。視点検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視点検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視点検出部３５１は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、視点検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視点検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。   In this case, the viewpoint detection unit 351 first detects the gaze direction of the subject from the image captured by the stereo camera 102. The viewpoint detection unit 351 detects the line-of-sight direction of the subject using, for example, the methods described in Patent Documents 1 and 2. Specifically, the viewpoint detection unit 351 obtains the difference between the image captured by irradiating the infrared light having the wavelength 1 and the image captured by irradiating the infrared light having the wavelength 2, and the image with the pupil image clarified is obtained. Generate. The viewpoint detection unit 351 uses the two images generated as described above from the images taken by the left and right cameras (the right camera 202 and the left camera 204) to determine the position of the pupil of the subject using a stereo vision technique. calculate. In addition, the viewpoint detection unit 351 calculates the position of the subject's corneal reflection using images taken by the left and right cameras. Then, the viewpoint detection unit 351 calculates a line-of-sight vector representing the direction of the subject's line of sight from the position of the pupil of the subject and the corneal reflection position.

視点検出部３５１は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって視点を計測してもよい。   The viewpoint detection unit 351 detects, for example, the intersection of the line-of-sight vector represented in the coordinate system as shown in FIG. 1 and the XY plane as the viewpoint of the subject. When the gaze direction of both eyes is obtained, the viewpoint may be measured by obtaining the intersection of the left and right gazes of the subject.

なお、被験者の視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視点を検出してもよい。   Note that the method for detecting the viewpoint of the subject is not limited to this. For example, you may detect a test subject's viewpoint by analyzing the image image | photographed using visible light instead of infrared rays.

図４は、被験者の瞳孔の位置を検出する方法を模式的に示す説明図である。右カメラ２０２で検出した瞳孔の位置と角膜反射の位置関係とから、右カメラ２０２から見た被験者２０１の視線の方向が求められる。また、左カメラ２０４で検出した瞳孔の位置と角膜反射の位置関係とから、左カメラ２０４から見た被験者２０１の視線の方向が求められる。求められた２つの視線の方向の交点から、図１の座標上の被験者２０１の注視点の位置が計算される。   FIG. 4 is an explanatory diagram schematically showing a method for detecting the position of the pupil of the subject. From the pupil position detected by the right camera 202 and the positional relationship of corneal reflection, the direction of the line of sight of the subject 201 viewed from the right camera 202 is obtained. Further, the direction of the line of sight of the subject 201 viewed from the left camera 204 is obtained from the position of the pupil detected by the left camera 204 and the positional relationship of corneal reflection. The position of the gazing point of the subject 201 on the coordinates in FIG. 1 is calculated from the intersection of the obtained two line-of-sight directions.

図３に戻る。パターン検出部３５２は、観察対象を分割した複数のエリア（分割領域）間での、被験者の視点が移動するパターン（移動パターン）を検出する。パターン検出部３５２は、まず、観察対象を複数のエリアに分割する。本実施形態では、対象画像を表示して診断するため、対象画像が複数のエリアに分割される。   Returning to FIG. The pattern detection unit 352 detects a pattern (movement pattern) in which the viewpoint of the subject moves between a plurality of areas (division areas) obtained by dividing the observation target. First, the pattern detection unit 352 divides the observation target into a plurality of areas. In the present embodiment, since the target image is displayed and diagnosed, the target image is divided into a plurality of areas.

図５は、対象画像のエリア分割の一例を示す説明図である。パターン検出部３５２は、対象画像を、例えば、対象画像の動作する部分（動作部分）を含むエリア（動作領域）と、対象画像の動作しない部分（非動作部分）を含むエリア（非動作領域）とを含む、複数のエリアに分割する。動作部分は、例えば、対象画像に映される対象者の目および口である。なお、動作部分はこれに限られるものではない。例えば、顔の近くにある玩具などのように、対象者の顔の外側に存在する動作物体であってもよい。   FIG. 5 is an explanatory diagram illustrating an example of area division of the target image. The pattern detection unit 352 includes, for example, an area (operation area) including a portion (operation portion) where the target image operates and an area (non-operation portion) where the target image does not operate (non-operation region). And divided into multiple areas. The motion part is, for example, the eyes and mouth of the subject shown in the subject image. The operating part is not limited to this. For example, it may be a moving object that exists outside the face of the subject, such as a toy near the face.

以下では、対象画像が、目を含む目エリア（目領域）、口を含む口エリア（口領域）、目と口以外の顔を含む顔エリア（顔領域）、および、その他のエリアに分割される場合を例に説明する。   In the following, the target image is divided into an eye area including eyes (eye area), a mouth area including mouth (mouth area), a face area including faces other than eyes and mouth (face area), and other areas. An example will be described.

この場合、パターン検出部３５２は、まず対象画像における目の位置、および、口の位置を検出する。画像から目および口を検出する方法としては、特許文献４の方法など、従来から用いられているあらゆる方法を適用できる。これにより、パターン検出部３５２は、右目の中心座標Ｐ０１、左目の中心座標Ｐ０２、および、口の中心座標Ｐ０３を求める。パターン検出部３５２は、Ｐ０１に対して片側の幅Ｌ０１、片側の高さＬ０２の長方形を右目付近のエリアとする。左目についても同様にして左目付近のエリアが求められる。パターン検出部３５２は、右目付近のエリアと左目付近のエリアとを合わせて目エリア（エリアＡ１）とする。   In this case, the pattern detection unit 352 first detects the position of the eye and the position of the mouth in the target image. As a method for detecting eyes and mouth from an image, any conventionally used method such as the method of Patent Document 4 can be applied. Thereby, the pattern detection unit 352 obtains the center coordinates P01 of the right eye, the center coordinates P02 of the left eye, and the center coordinates P03 of the mouth. The pattern detection unit 352 uses a rectangle having a width L01 on one side and a height L02 on one side with respect to P01 as an area near the right eye. Similarly, the area near the left eye is obtained for the left eye. The pattern detection unit 352 combines the area near the right eye and the area near the left eye as an eye area (area A1).

口については、パターン検出部３５２は、Ｐ０３に対して片側の幅Ｌ０３、片側の高さＬ０４の長方形を口エリア（エリアＡ２）とする。また、パターン検出部３５２は、Ｐ０１よりＬ０５右を顔エリアの右端、Ｐ０２よりＬ０５左を顔エリアの左端、Ｐ０１よりＬ０６上を顔エリアの上端、Ｐ０３よりＬ０７下を顔エリアの下端としている。パターン検出部３５２が、顔の輪郭を抽出して顔エリアを決めてもよい。   Regarding the mouth, the pattern detection unit 352 defines a rectangle having a width L03 on one side and a height L04 on one side as the mouth area (area A2) with respect to P03. Further, the pattern detection unit 352 sets L05 right from P01 as the right end of the face area, L05 left from P02 as the left end of the face area, L06 above P01 as the upper end of the face area, and P07 below L07 as the lower end of the face area. The pattern detection unit 352 may determine the face area by extracting the outline of the face.

これにより、目エリアであるエリアＡ１、口エリアであるエリアＡ２、エリアＡ１とエリアＡ２を除いた顔エリア（エリアＡ３）、その他のエリア（エリアＡ４）が確定する。   Thereby, the area A1 that is the eye area, the area A2 that is the mouth area, the face area excluding the areas A1 and A2 (area A3), and the other areas (area A4) are determined.

この方法は、動画で対象者を表示して、その動画に対して、順次エリアを計測して決めていく方法である。すなわち、例えば母親を撮像した画像をそのまま対象画像とする場合などにも対応可能である。しかし、所定の動画像を対象画像とする場合などは、フレームごとのエリアが事前にわかっているので、これを保存しておいて、そのデータを用いる方法でもよい。   In this method, the target person is displayed as a moving image, and the area is sequentially measured and determined for the moving image. That is, for example, it is possible to deal with a case where an image obtained by imaging a mother is used as a target image as it is. However, when a predetermined moving image is used as a target image, the area for each frame is known in advance, so that a method of storing this and using the data may be used.

パターン検出部３５２は、このようにして分割されたエリア間の被験者の視点の移動パターンを検出する。パターン検出部３５２は、例えば、分割された各エリアの図１の座標系での座標値と、視点検出部３５１により検出された視点の図１の座標系での座標値と、を比較することにより、視点の移動パターンを検出することができる。   The pattern detection unit 352 detects the movement pattern of the subject's viewpoint between the areas thus divided. For example, the pattern detection unit 352 compares the coordinate values of the divided areas in the coordinate system of FIG. 1 with the coordinate values of the viewpoint detected by the viewpoint detection unit 351 in the coordinate system of FIG. Thus, the movement pattern of the viewpoint can be detected.

図６は、視点の移動パターンの一例を示す図である。例えば、エリアＡ１→エリアＡ２の視点の移動パターンが移動パターンＭ１として付番される。他の移動パターンも同様に付番される。   FIG. 6 is a diagram illustrating an example of a viewpoint movement pattern. For example, the movement pattern of the viewpoint from area A1 to area A2 is numbered as the movement pattern M1. Other movement patterns are similarly numbered.

算出部３５３は、検出された移動パターンと基準パターンとを比較することにより、発達障害の程度に関連する値を表す評価情報を算出する。基準パターンは、視点の予め定められた移動のパターンを表す。例えば、目エリア以外のエリアから、目エリア（エリアＡ１）に移動するパターンを基準パターンとすることができる。図６の例では、移動パターンＭ４、Ｍ７、Ｍ１０が、このような基準パターンに相当する。上述のように、発達障害者の特徴の１つとして、対面する相手の目を見ないことが挙げられる。従って、目エリア以外のエリアから目エリアに移動する基準パターンに適合する場合は、算出部３５３は、発達障害に関連する値の程度が低くなるように評価情報を算出する。   The calculation unit 353 calculates evaluation information representing a value related to the degree of developmental disability by comparing the detected movement pattern with the reference pattern. The reference pattern represents a predetermined movement pattern of the viewpoint. For example, a pattern that moves from an area other than the eye area to the eye area (area A1) can be used as the reference pattern. In the example of FIG. 6, the movement patterns M4, M7, and M10 correspond to such a reference pattern. As described above, one of the characteristics of a developmentally disabled person is that he / she does not look at the eyes of the other party. Therefore, when the reference pattern that moves from the area other than the eye area to the eye area is met, the calculation unit 353 calculates the evaluation information so that the value related to the developmental disorder is low.

このように、例えば、検出された移動パターンと基準パターンとが一致する場合、算出部３５３は、当該基準パターンに応じて定められた数値を加算または減算した評価値を評価情報として算出する。評価値（評価情報）としては、値が大きいほど発達障害の程度が低いことを示す情報を用いてもよいし、逆に値が大きいほど発達障害の程度が高いことを示す情報を用いてもよい。   Thus, for example, when the detected movement pattern matches the reference pattern, the calculation unit 353 calculates an evaluation value obtained by adding or subtracting a numerical value determined according to the reference pattern as evaluation information. As the evaluation value (evaluation information), information indicating that the degree of developmental disorder is low as the value is large may be used. Conversely, information indicating that the degree of developmental disorder is high as the value is large may be used. Good.

また、基準パターンとしては、健常者の視点の移動を表すパターン、および、発達障害者の視点の移動を表すパターンのいずれを用いてもよい。移動パターンが前者の基準パターンに適合する場合は、算出部３５３は、発達障害の程度が低いことを示すように評価値を算出すればよい。逆に、移動パターンが後者の基準パターンに適合する場合は、算出部３５３は、発達障害の程度が高いことを示すように評価値を算出すればよい。   In addition, as the reference pattern, any one of a pattern representing movement of the viewpoint of the healthy person and a pattern representing movement of the viewpoint of the developmentally disabled person may be used. When the movement pattern matches the former reference pattern, the calculation unit 353 may calculate the evaluation value so as to indicate that the degree of developmental disorder is low. Conversely, when the movement pattern matches the latter reference pattern, the calculation unit 353 may calculate the evaluation value so as to indicate that the degree of developmental disability is high.

また、基準パターンは、２つのエリア間の視点の移動のパターンに限られるものではない。３つ以上のエリア間の視点の移動のパターンを基準パターンとしてもよい。また、対象の動作部分が動作するパターン（動作パターン）に応じて定められる基準パターンを用いてもよい。   Further, the reference pattern is not limited to the movement pattern of the viewpoint between the two areas. A pattern of viewpoint movement between three or more areas may be used as a reference pattern. Further, a reference pattern determined according to a pattern (operation pattern) in which the target operation part operates may be used.

例えば、発達障害者は、対象者の目が動作した場合に、目を注視するが、目から視点を逸らして他の部分を注視する傾向がある。また、発達障害者は、口が動作した場合に、口を注視するが、再び目を注視することが少ないという傾向がある。従って、例えば、「口が動作する動作パターンの対象画像が表示されたときに、口エリアに視点が移動し、さらに移動後の所定時間以内に目エリアに視点が移動する」という基準パターンを用いてもよい。算出部３５３は、検出された移動パターンが、この基準パターンに適合する場合に、発達障害の程度が低いことを示す評価値を算出すればよい。   For example, people with developmental disabilities look at the eyes when the subject's eyes move, but tend to look away from the eyes and look at other parts. Further, people with developmental disabilities tend to gaze at the mouth when the mouth moves, but rarely gaze at the eyes again. Therefore, for example, a reference pattern of “the viewpoint moves to the mouth area when the target image of the motion pattern in which the mouth moves” is displayed and the viewpoint moves to the eye area within a predetermined time after the movement is used is used. May be. The calculation unit 353 may calculate an evaluation value indicating that the degree of developmental disability is low when the detected movement pattern matches this reference pattern.

また、動作パターンに対する視点移動のタイミングも含めた基準パターンを用いてもよい。例えば、対象者の目が動作した後、所定時間経過までに視点が目エリアに移動した場合の評価値を、所定時間経過後に視点が目エリアに移動した場合より大きく（または小さく）するように構成してもよい。   Also, a reference pattern including the timing of viewpoint movement with respect to the operation pattern may be used. For example, the evaluation value when the viewpoint moves to the eye area before the elapse of a predetermined time after the eye of the subject moves is set to be larger (or smaller) than when the viewpoint moves to the eye area after the elapse of the predetermined time. It may be configured.

表示制御部３５４は、表示部１０１に対する各種情報の表示を制御する。例えば、表示制御部３５４は、対象画像を表示部１０１に表示する。   The display control unit 354 controls display of various information on the display unit 101. For example, the display control unit 354 displays the target image on the display unit 101.

制御部３００および制御部３００内の各部の一部または全部は、ハードウェアにより実現してもよいし、ＣＰＵなどにより実行されるソフトウェア（プログラム）により実現してもよい。   Part or all of the control unit 300 and each unit in the control unit 300 may be realized by hardware, or may be realized by software (program) executed by a CPU or the like.

本実施形態の診断支援装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。   A program executed by the diagnosis support apparatus 100 according to the present embodiment is a file in an installable format or an executable format, and is a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). Recorded on a readable recording medium.

また、本実施形態の診断支援装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の診断支援装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の診断支援装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。   Further, the program executed by the diagnosis support apparatus 100 of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the diagnosis support apparatus 100 of the present embodiment may be configured to be provided or distributed via a network such as the Internet. Further, the program executed by the diagnosis support apparatus 100 of this embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.

本実施形態の診断支援装置１００で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。   The program executed by the diagnosis support apparatus 100 according to the present embodiment has a module configuration including the above-described units. As actual hardware, a CPU (processor) reads the program from the storage medium and executes it. Each of the above parts is loaded on the main storage device, and each part is generated on the main storage device.

次に、このように構成された第１の実施形態にかかる診断支援装置１００による診断支援処理について説明する。図７は、第１の実施形態における診断支援処理の一例を示すフローチャートである。   Next, diagnosis support processing by the diagnosis support apparatus 100 according to the first embodiment configured as described above will be described. FIG. 7 is a flowchart illustrating an example of a diagnosis support process according to the first embodiment.

まず、制御部３００は、診断のための予め定められた計測期間を設定して、計測期間を監視するためのタイマ１と、停留時間を計測するタイマ２をクリアする（ステップＳ１０１）。次に、パターン検出部３５２は、対象画像の目の位置を検出し、目エリア（エリアＡ１）を決定する（ステップＳ１０２）。次に、パターン検出部３５２は、対象画像の口の位置を検出し、口エリア（エリアＡ２）を決定する（ステップＳ１０３）。パターン検出部３５２は、対象画像の顔エリア（エリアＡ３）を決定する（ステップＳ１０４）。   First, the controller 300 sets a predetermined measurement period for diagnosis, and clears the timer 1 for monitoring the measurement period and the timer 2 for measuring the stop time (step S101). Next, the pattern detection unit 352 detects the eye position of the target image and determines the eye area (area A1) (step S102). Next, the pattern detection unit 352 detects the position of the mouth of the target image, and determines the mouth area (area A2) (step S103). The pattern detection unit 352 determines the face area (area A3) of the target image (step S104).

次に、視点検出部３５１は、被験者の視点検出を行う（ステップＳ１０５）。   Next, the viewpoint detection unit 351 detects the subject's viewpoint (step S105).

次に、パターン検出部３５２は、ステップＳ１０５で検出された視点がいずれのエリアに存在するかを座標より決定する（ステップＳ１０６）。以下では、視点が存在するエリアを停留エリアともいう。   Next, the pattern detection unit 352 determines in which area the viewpoint detected in step S105 exists from the coordinates (step S106). Hereinafter, the area where the viewpoint exists is also referred to as a stop area.

次に、パターン検出部３５２は、ＲＡＭ（Random Access Memory）などの記憶部（図示せず）に保存されていた前回の停留エリア（前回エリア）を読み出す（ステップＳ１０７）。初回の場合（前回エリアが保存されていない場合）は、今回視点が検出されたエリア（現エリア）を前回エリアとする。   Next, the pattern detection unit 352 reads the previous stop area (previous area) stored in a storage unit (not shown) such as a RAM (Random Access Memory) (step S107). In the first case (when the previous area is not stored), the area where the current viewpoint is detected (current area) is set as the previous area.

パターン検出部３５２は、現エリアと前回エリアとが一致するか否かを判断する（ステップＳ１０８）。一致する場合は（ステップＳ１０８：Ｙｅｓ）、ステップＳ１１６に移る。一致しない場合は（ステップＳ１０８：Ｎｏ）、パターン検出部３５２は、タイマ２のスタートからの経過時間を保存する（ステップＳ１０９）。フレーム数を時間とする場合は、パターン検出部３５２は、フレーム数を経過時間として保存する。   The pattern detection unit 352 determines whether or not the current area matches the previous area (step S108). If they match (step S108: Yes), the process proceeds to step S116. If they do not match (step S108: No), the pattern detection unit 352 stores the elapsed time from the start of the timer 2 (step S109). When the number of frames is time, the pattern detection unit 352 stores the number of frames as elapsed time.

次に、パターン検出部３５２は、停留時間（経過時間）が、所定値（閾値）を超えているかを判断する（ステップＳ１１０）。所定値以下の場合、すなわち注視とは言えない時間の場合は（ステップＳ１１０：Ｎｏ）、停留エリアであると判断しないようにするため、ステップＳ１１５に進む。図５の例では、例えば、口エリアから、目エリアへの移動中に横切った顔エリアを停留エリアから除外するための処理である。   Next, the pattern detection unit 352 determines whether the stop time (elapsed time) exceeds a predetermined value (threshold value) (step S110). If it is less than the predetermined value, that is, if it is a time that cannot be gazed (step S110: No), the process proceeds to step S115 so as not to determine that it is a stop area. In the example of FIG. 5, for example, this is processing for excluding from the stop area a face area that has been crossed while moving from the mouth area to the eye area.

所定値を超えた場合（ステップＳ１１０：Ｙｅｓ）、パターン検出部３５２は、前々回の停留エリア（前々回エリア）を読出す（ステップＳ１１１）。次に、パターン検出部３５２は、前々回エリア→前回エリアの移動パターンを、被験者の視点の移動パターンとして検出し、検出した移動パターンを保存する（ステップＳ１１２）。   When the predetermined value is exceeded (step S110: Yes), the pattern detection unit 352 reads the previous stop area (previous area) (step S111). Next, the pattern detection unit 352 detects the movement pattern from the previous area to the previous area as the movement pattern of the subject's viewpoint, and stores the detected movement pattern (step S112).

次に、パターン検出部３５２は、タイマ２の経過時間を、前回エリアの停留時間として保存する（ステップＳ１１３）。次に、パターン検出部３５２は、次回の判断のために、前回エリアを前々回エリアとして、また、現エリアを前回エリアとして保存する（ステップＳ１１４）。   Next, the pattern detection unit 352 stores the elapsed time of the timer 2 as the previous area stop time (step S113). Next, the pattern detection unit 352 stores the previous area as the previous time area and the current area as the previous area for the next determination (step S114).

次に、制御部３００は、停留時間を計測しているタイマ２をクリアする（ステップＳ１１５）。制御部３００は、タイマ１と計測期間とを比較して、全体の計測が終了したか否かを判断する（ステップＳ１１６）。終了していない場合には（ステップＳ１１６：Ｎｏ）、ステップＳ１０２に戻る。   Next, the control unit 300 clears the timer 2 that measures the stopping time (step S115). The control unit 300 compares the timer 1 with the measurement period, and determines whether or not the entire measurement is completed (step S116). If not completed (step S116: No), the process returns to step S102.

計測が終了した場合（ステップＳ１１６：Ｙｅｓ）、算出部３５３は、動作パターン、移動パターン、および停留時間による評価値算出処理を実行する（ステップＳ１１７）。評価値算出処理の詳細は後述する。最後に、算出部３５３は、評価値を保存して診断支援処理を終了する（ステップＳ１１８）。   When the measurement is completed (step S116: Yes), the calculation unit 353 executes an evaluation value calculation process based on the operation pattern, the movement pattern, and the stop time (step S117). Details of the evaluation value calculation process will be described later. Finally, the calculation unit 353 stores the evaluation value and ends the diagnosis support process (step S118).

図８は、第１の実施形態における診断支援処理の別の例を示すフローチャートである。図８の例は、図７と異なり、２フレームごとに各エリアの座標データ、視点の座標データ、経過時間、および、動作パターンを記憶部（図示せず）に保存しておいて、計測が終了してから、保存されていたデータを解析するものである。これにより、例えば処理能力の不足等で図７の処理（リアルタイムの処理）が実行できない場合であっても診断支援が可能となる。   FIG. 8 is a flowchart illustrating another example of the diagnosis support process in the first embodiment. The example of FIG. 8 differs from FIG. 7 in that the coordinate data of each area, the coordinate data of the viewpoint, the elapsed time, and the operation pattern are stored in a storage unit (not shown) every two frames. This is to analyze the saved data after the end. Accordingly, for example, even when the processing of FIG. 7 (real-time processing) cannot be executed due to lack of processing capability, diagnosis support is possible.

まず、制御部３００は、診断のための計測期間を設定して、計測期間を監視するためのタイマ１をクリアする（ステップＳ２０１）。次に、パターン検出部３５２は、対象画像の目の位置を検出し、目エリア（エリアＡ１）を決定し、目エリアの座標データを保存する（ステップＳ２０２）。次に、パターン検出部３５２は、対象画像の口の位置を検出し、口エリア（エリアＡ２）を決定し、口エリアの座標データを保存する（ステップＳ２０３）。パターン検出部３５２は、対象画像の顔エリア（エリアＡ３）を決定し、顔エリアの座標データを保存する（ステップＳ２０４）。   First, the control unit 300 sets a measurement period for diagnosis and clears the timer 1 for monitoring the measurement period (step S201). Next, the pattern detection unit 352 detects the position of the eye of the target image, determines the eye area (area A1), and stores the coordinate data of the eye area (step S202). Next, the pattern detection unit 352 detects the position of the mouth of the target image, determines the mouth area (area A2), and stores the coordinate data of the mouth area (step S203). The pattern detection unit 352 determines the face area (area A3) of the target image and stores the coordinate data of the face area (step S204).

次に、視点検出部３５１は、被験者の視点検出を行い、視点の座標データを保存する（ステップＳ２０５）。また、パターン検出部３５２は、タイマ１のスタートからの経過時間を保存する（ステップＳ２０６）。パターン検出部３５２は、２フレームの画像の比較等により、目エリアで目が動作したか否かを表す動作パターン、および、口エリアで口が動作したか否かを表す動作パターンを検出し、検出した動作パターンを保存する（ステップＳ２０７）。   Next, the viewpoint detector 351 detects the subject's viewpoint and stores the coordinate data of the viewpoint (step S205). Further, the pattern detection unit 352 stores the elapsed time from the start of the timer 1 (step S206). The pattern detection unit 352 detects an operation pattern indicating whether or not the eye has moved in the eye area and an operation pattern indicating whether or not the mouth has moved in the mouth area by comparing two frames of images, The detected operation pattern is stored (step S207).

制御部３００は、タイマ１と計測期間とを比較して、全体の計測が終了したか否かを判断する（ステップＳ２０８）。終了していない場合には（ステップＳ２０８：Ｎｏ）、ステップＳ２０２に戻る。終了した場合には（ステップＳ２０８：Ｙｅｓ）、ステップＳ２０９に進む。この時点で計測は終了する。   The control unit 300 compares the timer 1 with the measurement period, and determines whether or not the entire measurement has been completed (step S208). If not completed (step S208: No), the process returns to step S202. If completed (step S208: Yes), the process proceeds to step S209. At this point, the measurement ends.

次に、制御部３００は、データ読出し期間を設定する（ステップＳ２０９）。そして、パターン検出部３５２は、対象画像の目エリアの座標データを読出し（ステップＳ２１０）、口エリアの座標データを読出し（ステップＳ２１１）、顔エリアの座標データを読出し（ステップＳ２１２）、視点の座標データを読出す（ステップＳ２１３）。   Next, the control unit 300 sets a data reading period (step S209). Then, the pattern detection unit 352 reads the coordinate data of the eye area of the target image (step S210), reads the coordinate data of the mouth area (step S211), reads the coordinate data of the face area (step S212), and coordinates of the viewpoint Data is read (step S213).

次に、パターン検出部３５２は、読み出した各座標データを用いて、視点が含まれるエリア（現エリア）を決定する（ステップＳ２１４）。そして、パターン検出部３５２は、前回エリアを読み出し（ステップＳ２１５）、現エリアと前回エリアとが一致するか否かを判断する（ステップＳ２１６）。一致する場合は（ステップＳ２１６：Ｙｅｓ）、ステップＳ２２２に進む。一致しない場合は（ステップＳ２１６：Ｎｏ）、パターン検出部３５２は、停留時間が所定値を超えているかを判断する（ステップＳ２１７）。停留時間は、例えば、前回エリアの最初のフレームから現エリアのフレームまでのフレーム数、または、このフレーム数に対応する時間として算出できる。   Next, the pattern detection unit 352 determines an area (current area) including the viewpoint using each read coordinate data (step S214). Then, the pattern detection unit 352 reads the previous area (step S215), and determines whether or not the current area matches the previous area (step S216). If they match (step S216: Yes), the process proceeds to step S222. If they do not match (step S216: No), the pattern detection unit 352 determines whether the stopping time exceeds a predetermined value (step S217). The stop time can be calculated, for example, as the number of frames from the first frame in the previous area to the frame in the current area, or as the time corresponding to this number of frames.

所定値以下の場合（ステップＳ２１７：Ｎｏ）、ステップＳ２２２に進む。所定値を超えていた場合（ステップＳ２１７：Ｙｅｓ）、パターン検出部３５２は、前々回エリアを読出す（ステップＳ２１８）。この時点で、パターン検出部３５２は、前々回エリア→前回エリアの移動パターンを、被験者の視点の移動パターンとして決定し、決定した移動パターンを保存する（ステップＳ２１９）。   If it is equal to or smaller than the predetermined value (step S217: No), the process proceeds to step S222. If the predetermined value is exceeded (step S217: Yes), the pattern detection unit 352 reads the area two times before (step S218). At this time, the pattern detection unit 352 determines the movement pattern from the previous area to the previous area as the movement pattern of the subject's viewpoint, and stores the determined movement pattern (step S219).

また、パターン検出部３５２は、前回エリアの停留時間を保存する（ステップＳ２２０）。パターン検出部３５２は、次回の判断のために、前回エリアを前々回エリアとして、また、現エリアを前回エリアとして保存する（ステップＳ２２１）。この時点で、データの保存が終わる。   In addition, the pattern detection unit 352 stores the stop time of the previous area (step S220). The pattern detection unit 352 stores the previous area as the previous time area and the current area as the previous area for the next determination (step S221). At this point, data storage is complete.

次に、制御部３００は、一連の処理が終わったか（データ読出し期間のデータの処理が完了したか）を判断し（ステップＳ２２２）、未終了の場合は（ステップＳ２２２：Ｎｏ）、ステップＳ２１０に戻る。終了した場合（ステップＳ２２２：Ｙｅｓ）、算出部３５３は、動作パターン、移動パターン、および停留時間による評価値算出処理を実行する（ステップＳ２２３）。算出部３５３は、評価値を保存して診断支援処理を終了する（ステップＳ２２４）。   Next, the control unit 300 determines whether a series of processing has been completed (whether processing of data in the data reading period has been completed) (step S222). If not completed (step S222: No), the control unit 300 proceeds to step S210. Return. If completed (step S222: Yes), the calculation unit 353 executes an evaluation value calculation process based on the operation pattern, the movement pattern, and the stop time (step S223). The calculation unit 353 stores the evaluation value and ends the diagnosis support process (step S224).

図９は、検出された視点と移動パターンとの関係の一例を示すタイムチャートである。図９を用いて、停留時間が所定値を超えないときには注視と判断しない例について説明する（図７のステップＳ１１０および図８のステップＳ２１７）。   FIG. 9 is a time chart showing an example of the relationship between the detected viewpoint and the movement pattern. With reference to FIG. 9, an example in which it is not determined to be gaze when the stop time does not exceed a predetermined value will be described (step S110 in FIG. 7 and step S217 in FIG. 8).

上のタイムチャートが、視点が検出されたエリアの動きを表す。横軸が時間を表す。視点が、その他→顔→口→顔・・・と移動している。ここで、時間軸の１メモリを、Δｔとして、所定値（閾値）をΔｔの２倍とする。この時、ｔ０１付近の視点の停留時間は、Δｔとなっており、所定値を超えていない。この動きは、注視とは言えないので除外する。   The upper time chart represents the movement of the area where the viewpoint is detected. The horizontal axis represents time. The point of view is moving from Other → Face → Mouth → Face. Here, it is assumed that one memory on the time axis is Δt, and a predetermined value (threshold value) is two times Δt. At this time, the stopping time of the viewpoint near t01 is Δt and does not exceed the predetermined value. This movement is excluded because it is not a gaze.

図７および図８のフローチャートでは、連続してΔｔの２倍以上の時間、同じエリアで視点が検出された時に、そのエリアを視点が停留した停留エリアとして確定させている。下のタイムチャートが、確定された停留エリアを表している。   In the flowcharts of FIGS. 7 and 8, when a viewpoint is detected in the same area continuously for a time longer than Δt, that area is determined as a stop area where the viewpoint has stopped. The time chart below shows the fixed stop area.

図１０は、動作パターンと移動パターンとの関係の一例を示すタイムチャートである。図１０を用いて、評価値算出処理について説明する。横軸は時間を表すが、図９より時間軸は圧縮されて表示されている。   FIG. 10 is a time chart illustrating an example of a relationship between an operation pattern and a movement pattern. The evaluation value calculation process will be described with reference to FIG. Although the horizontal axis represents time, the time axis is compressed and displayed from FIG.

上のタイムチャートは、動作パターンを表す。動作パターンは、対象画像における各部分の動きのパターンである。図１０の動作パターンは、対象画像が動画である場合、または、観察対象が実物の母親などの場合のパターンである。   The upper time chart represents the operation pattern. The motion pattern is a motion pattern of each part in the target image. The operation pattern in FIG. 10 is a pattern when the target image is a moving image or when the observation target is a real mother or the like.

動作パターンＣ１は、目の部分が動くパターンである。例えば瞬きやウインクなどである。動作パターンＣ２は、口の部分が動くパターンである。例えば、話しかける動作や、口を任意に開けたり閉じたりする動作である。動作パターンＣ０は、いずれの部分も動いていない状態である。その他、背景に存在する物体（玩具など）の動作パターンを用いてもよい。   The motion pattern C1 is a pattern in which the eyes move. For example, blinking or winking. The motion pattern C2 is a pattern in which the mouth portion moves. For example, it is an operation of talking or an operation of opening or closing the mouth arbitrarily. The operation pattern C0 is a state in which no part moves. In addition, an operation pattern of an object (such as a toy) existing in the background may be used.

また、動作パターンは、既知の映像を使用する場合には経過時間ごとに決められるため、決められた動作パターンを使えばよい。任意の映像等の場合には、数フレームごとの差分画像などにより動作を検出してそれを使用してもよい。   In addition, since the operation pattern is determined for each elapsed time when a known video is used, the determined operation pattern may be used. In the case of an arbitrary video or the like, an operation may be detected from a difference image every several frames and used.

上のタイムチャートは、まず、変化なしの状態（動作パターンＣ０）から、目の変化が起きて（動作パターンＣ１）、また変化がなくなり（動作パターンＣ０）、その後口の変化が起こったこと（動作パターンＣ２）を示している。   In the upper time chart, first, from a state without change (operation pattern C0), a change in eyes occurred (operation pattern C1), no change occurred (operation pattern C0), and then a mouth change occurred ( An operation pattern C2) is shown.

中段および下段の２つのタイムチャートは、このような動作パターンを含む映像に対して、注視点がどのように移動したかを示している。中段のタイムチャートは、健常者の注視点の移動の一例を模式化したタイムチャートである。図１０は、図９の下のタイムチャートのように、細かい動きを排除したタイムチャートとなっている。   The two time charts in the middle stage and the lower stage show how the gazing point has moved with respect to an image including such an operation pattern. The middle time chart is a time chart that schematically illustrates an example of movement of a gazing point of a healthy person. FIG. 10 is a time chart in which fine movements are excluded as in the time chart at the bottom of FIG.

図１０では、上からエリアＡ１〜エリアＡ４が並んでいる。対象の目が変化した動作パターンが発生したとき、被験者は、目を注視して、目の動きが止まった後も、また目を注視することを示す視点の移動パターンが発生する。また、口が変化した動作パターンが発生したとき、被験者は、口を注視するが、再び目を注視することを示す視点の移動パターンが発生する。また、口が変化した動作パターンが発生したとき、被験者は、口の変化が止まった後、所定時間（ｔ０）以内に目を注視することを示す視点の移動パターンが発生する。   In FIG. 10, area A1 to area A4 are arranged from the top. When a motion pattern in which the subject's eyes have changed occurs, the subject gazes at the eyes, and after the movement of the eyes stops, a movement pattern of the viewpoint indicating that the eyes are gazes is generated. In addition, when an action pattern with a changed mouth is generated, the subject gazes at the mouth, but a movement pattern of the viewpoint indicating that the eyes are watched again is generated. In addition, when an operation pattern with a changed mouth is generated, a movement pattern of a viewpoint indicating that the subject gazes within the predetermined time (t0) after the change of the mouth stops is generated.

本実施形態では、このような健常者の移動パターンが発生したときに、発達障害の程度が低いことを表す評価値が算出される。例えば、このような健常者の移動パターンを基準パターンとして定めておき、検出された移動パターンが基準パターンと一致したときに、発達障害の程度が低いことを表す評価値が算出される。   In this embodiment, when such a healthy person's movement pattern generate | occur | produces, the evaluation value showing that the grade of a developmental disorder is low is calculated. For example, such a healthy person's movement pattern is defined as a reference pattern, and when the detected movement pattern matches the reference pattern, an evaluation value indicating that the degree of developmental disorder is low is calculated.

下段のタイムチャートは、発達障害の傾向のある被験者の注視点の移動の一例を模式化したタイムチャートである。このような被験者の場合、対象の目が変化した動作パターンが発生したとき、目を注視するが、目から視点を逸らして他の部分を注視する傾向がある。また、口が変化した動作パターンが発生したとき、口を注視するが、再び目を注視することが少なくなる傾向がある。   The lower time chart is a time chart that schematically illustrates an example of movement of a gazing point of a subject who is prone to developmental disabilities. In the case of such a subject, when an operation pattern in which the subject's eyes have changed occurs, the eyes are watched, but there is a tendency to look away from the eyes and look at other parts. Also, when an operation pattern with a changing mouth occurs, the user looks at the mouth, but there is a tendency that the eyes are less likely to be watched again.

図１１および図１２は、評価結果の一例を示す図である。なお、図１１および図１２では、値が大きいほど発達障害の程度が低いことを示す評価値を用いる例が示される。   11 and 12 are diagrams illustrating examples of evaluation results. FIGS. 11 and 12 show examples using evaluation values indicating that the greater the value, the lower the degree of developmental disorder.

図１１は、健常者の評価結果の例を示す。図１１は、図１０の中段の移動パターンに対応する評価結果の例を表している。図１０の中段には、視点の移動パターン（Ｍ１０、Ｍ２、Ｍ７、Ｍ２、Ｍ７・・・）が１５個含まれる。図１１は、移動パターンが検出された順番と、移動パターンと、停留時間と、動作パターンと、４つの評価値（評価１〜評価４）とを対応づけた評価結果を示している。停留時間は、各移動パターンに対して求められた停留時間である。図１１では説明の便宜上、停留時間を整数で表しているが、停留時間の単位は任意である。動作パターンは、移動パターンが発生したときの動作パターンである。   FIG. 11 shows an example of an evaluation result of a healthy person. FIG. 11 shows an example of an evaluation result corresponding to the movement pattern in the middle stage of FIG. The middle part of FIG. 10 includes 15 viewpoint movement patterns (M10, M2, M7, M2, M7...). FIG. 11 shows an evaluation result in which the order in which the movement patterns are detected, the movement pattern, the retention time, the operation pattern, and the four evaluation values (Evaluation 1 to Evaluation 4) are associated with each other. The stop time is a stop time obtained for each movement pattern. In FIG. 11, for the convenience of explanation, the stop time is represented by an integer, but the unit of the stop time is arbitrary. The operation pattern is an operation pattern when a movement pattern occurs.

評価１は、移動パターンが、目エリア以外のエリアから目エリアに移動する基準パターンに適合する場合に１が設定され、それ以外の場合は０が設定される。すなわち、移動パターンがＭ４、Ｍ７、および、Ｍ１０の場合に評価１＝１が設定される。   Evaluation 1 is set to 1 when the movement pattern matches a reference pattern that moves from an area other than the eye area to the eye area, and is set to 0 otherwise. That is, evaluation 1 = 1 is set when the movement patterns are M4, M7, and M10.

評価２は、動作パターンで変化（動作）したことが示されるエリアと移動後の視点のエリアとが一致していない場合、評価１の値を２倍した値が設定される。すなわち、算出部３５３は、検出された移動パターンが、「動作部分が動作する動作パターンが発生したときに、当該動作部分を含まないエリアに視点が移動する」ことを示す基準パターンに適合する場合に、発達障害の程度が低いことを示す評価値を算出する。動いている部分に対して、その部分を見るのは、障害の影響を受け難い。逆に、発達障害者は、動いている部分を見ずに他の部分に視点を移動する可能性が低い。このため、変化した部分を含むエリアと視点の移動後のエリアとが一致しない場合の評価を２倍としている。   The evaluation 2 is set to a value obtained by doubling the value of the evaluation 1 when the area indicated by the operation pattern (changed) does not match the area of the viewpoint after movement. That is, the calculation unit 353 matches the detected movement pattern with a reference pattern indicating that “when an operation pattern in which an operation part operates is generated, the viewpoint moves to an area not including the operation part”. In addition, an evaluation value indicating that the degree of developmental disorder is low is calculated. Viewing a moving part is unlikely to be affected by obstacles. Conversely, developmentally disabled people are less likely to move their viewpoints to other parts without looking at the moving parts. For this reason, the evaluation when the area including the changed portion and the area after the movement of the viewpoint do not match is doubled.

評価３は、目以外（口）が変化したあと、所定時間（ｔ０）以内に目エリアに視点が移動した場合に、値３が設定される。   The evaluation 3 is set to a value of 3 when the viewpoint moves to the eye area within a predetermined time (t0) after the non-eye (mouth) changes.

評価４は、評価２＋評価３に停留時間を加算した値である。目に対して注視する時間（停留時間）が長いほど、障害が少ないと考えられるためである。   Evaluation 4 is a value obtained by adding the stop time to evaluation 2 + evaluation 3. This is because it is considered that the longer the time of gazing at the eyes (stopping time), the fewer the obstacles.

図１２は、発達障害の可能性がある被験者の評価結果の例を示す。図１２は、図１０の下段の移動パターンに対応する評価結果の例を表している。健常者に対して、下記の差が生じている。
評価１：７→２
評価２：１２→３
評価３：６→０
評価４：４５→７ FIG. 12 shows an example of an evaluation result of a subject who has a possibility of developmental disorder. FIG. 12 shows an example of an evaluation result corresponding to the lower movement pattern of FIG. The following differences occur with respect to healthy individuals.
Evaluation 1: 7 → 2
Evaluation 2: 12 → 3
Evaluation 3: 6 → 0
Evaluation 4: 45 → 7

評価値の間に、閾値を設け、評価値が閾値を超えたか否かにより、診断支援を行うことが可能になる。なお、評価値ごとに閾値を設けてもよいし、合計値に相当する評価４のみに対して閾値を設けてもよい。   A threshold is provided between the evaluation values, and diagnosis support can be performed depending on whether or not the evaluation value exceeds the threshold. Note that a threshold value may be provided for each evaluation value, or a threshold value may be provided only for the evaluation 4 corresponding to the total value.

（第２の実施形態）
第１の実施形態では、観察対象の画像（対象画像）を表示部に表示して被験者の発達障害を診断する例を説明した。第２の実施形態では、表示部に表示される対象画像ではなく、直接観察対象（対象者）の目を見るか否かにより診断支援する例を説明する。この方法でも、対象者を撮影した映像と、被験者の視点より、エリア設定および視点の移動などの判断が可能である。 (Second Embodiment)
In the first embodiment, an example has been described in which an image to be observed (target image) is displayed on the display unit to diagnose a developmental disorder of the subject. In the second embodiment, an example will be described in which diagnosis is supported based on whether or not the eyes of a direct observation target (subject) are viewed, not the target image displayed on the display unit. Even in this method, it is possible to determine the area setting, the movement of the viewpoint, and the like from the video of the subject and the viewpoint of the subject.

図１３は、第２の実施形態の診断支援装置の外観構成の一例を示す斜視図である。図１３に示すように、第２の実施形態の診断支援装置１００−２は、筐体１３１と、ステレオカメラ１０２ａ、１０２ｂと、較正用ＬＥＤ１０４ａ〜１０４ｃと、スピーカ１０５と、ボタン１０６と、赤外線通信部１０７と、コネクタ１０８と、を備えている。   FIG. 13 is a perspective view illustrating an example of an external configuration of the diagnosis support apparatus according to the second embodiment. As illustrated in FIG. 13, the diagnosis support apparatus 100-2 of the second embodiment includes a housing 131, stereo cameras 102a and 102b, calibration LEDs 104a to 104c, a speaker 105, a button 106, and infrared communication. A portion 107 and a connector 108 are provided.

ステレオカメラ１０２ａ、１０２ｂは、赤外線によるステレオ撮影が可能な撮像部である。ステレオカメラ１０２ａ、１０２ｂは、それぞれ第１の実施形態のステレオカメラ１０２と同様の構成を備える。２組のステレオカメラ１０２ａ、１０２ｂは、互いに撮像面が反対方向となるように設置される。これにより、ステレオカメラ１０２ａ、１０２ｂが、それぞれ対面する被験者（例えば幼児）と対象者（例えば母親）の顔を撮影できるようになっている。以下、区別する必要がない場合は、ステレオカメラ１０２ａ、１０２ｂを単にステレオカメラ１０２という場合がある。   The stereo cameras 102a and 102b are imaging units capable of performing stereo shooting with infrared rays. The stereo cameras 102a and 102b each have the same configuration as the stereo camera 102 of the first embodiment. The two sets of stereo cameras 102a and 102b are installed such that their imaging surfaces are opposite to each other. Accordingly, the stereo cameras 102a and 102b can capture the faces of the subject (for example, an infant) and the subject (for example, a mother) facing each other. Hereinafter, when it is not necessary to distinguish, the stereo cameras 102a and 102b may be simply referred to as the stereo camera 102.

較正用ＬＥＤ１０４ａ〜１０４ｃは、較正用の注視点となるＬＥＤである。なお、このＬＥＤを用いる較正処理は、個人ごとの目の特性に応じて視線検出のための計算パラメータを修正するための較正処理（視線検出用較正）であり、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正）とは異なる。視線検出用較正時に被験者に注視させる必要があるため、較正用ＬＥＤ１０４ａ〜１０４ｃは、可視光を発光するＬＥＤ光源である。   The calibration LEDs 104a to 104c are LEDs that serve as gazing points for calibration. The calibration process using the LED is a calibration process (calibration for gaze detection) for correcting calculation parameters for gaze detection according to the eye characteristics of each individual. This is different from the parameter calibration process (camera calibration). The calibration LEDs 104a to 104c are LED light sources that emit visible light because it is necessary to have the subject gaze at the time of gaze detection calibration.

スピーカ１０５は、視線検出用較正時に被験者に注意を促すための音声、および、測定結果を示す音声などを出力する。ボタン１０６は、例えば診断支援装置１００−２の操作者が、測定開始を指示するためのボタンである。なお、ボタン１０６は操作のためのインタフェースの一例であり、操作インタフェースとしては他のあらゆるインタフェースを適用できる。例えば、複数のボタンを備えるように構成してもよい。また、タッチパネル、キーボード、およびマウスなどのインタフェースを適用してもよい。   The speaker 105 outputs sound for alerting the subject at the time of gaze detection calibration, sound indicating the measurement result, and the like. The button 106 is a button for the operator of the diagnosis support apparatus 100-2 to instruct the start of measurement, for example. The button 106 is an example of an interface for operation, and any other interface can be applied as the operation interface. For example, you may comprise so that a some button may be provided. Further, an interface such as a touch panel, a keyboard, and a mouse may be applied.

赤外線通信部１０７は、外部装置との間で赤外線通信を行うためのインタフェースである。赤外線通信部１０７は、例えば、較正装置を用いてステレオカメラ１０２を較正（カメラ較正）するときに、較正装置との間でデータを送受信するときに利用される。なお、通信は赤外線通信に限られるものではなく、他の無線通信方式、および、有線通信方式などを用いてもよい。   The infrared communication unit 107 is an interface for performing infrared communication with an external device. For example, when the stereo camera 102 is calibrated (camera calibration) using a calibration device, the infrared communication unit 107 is used when data is transmitted to and received from the calibration device. Note that communication is not limited to infrared communication, and other wireless communication methods, wired communication methods, and the like may be used.

コネクタ１０８は、測定結果の数値および画像などを表示するモニタ（表示部２１０）を接続する場合のコネクタである。   The connector 108 is a connector for connecting a monitor (display unit 210) that displays a numerical value and an image of the measurement result.

図１４は、診断支援装置１００−２の詳細な機能の一例を示すブロック図である。図１４に示すように、制御部３００−２には、表示部２１０と駆動・ＩＦ部２０８−２が接続される。駆動・ＩＦ部２０８−２は、カメラＩＦ３１４、３１５、３１７、３１８と、ＬＥＤ駆動制御部３１６−２と、ＬＥＤ駆動部３２０ａ〜３２０ｃと、スピーカ駆動部３２２と、を含む。図１４に示すように、第２の実施形態では、対象画像を表示する表示部１０１を備える必要がない。   FIG. 14 is a block diagram illustrating an example of detailed functions of the diagnosis support apparatus 100-2. As shown in FIG. 14, the display unit 210 and the drive / IF unit 208-2 are connected to the control unit 300-2. The drive / IF unit 208-2 includes camera IFs 314, 315, 317, and 318, an LED drive control unit 316-2, LED drive units 320a to 320c, and a speaker drive unit 322. As shown in FIG. 14, in the second embodiment, it is not necessary to include the display unit 101 that displays the target image.

ＬＥＤ駆動制御部３１６−２は、赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂを駆動する。赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂは、それぞれ波長が異なるＬＥＤを含んでいる。   The LED drive control unit 316-2 drives the infrared LED light sources 203a, 205a, 203b, and 205b. The infrared LED light sources 203a, 205a, 203b, and 205b include LEDs having different wavelengths.

赤外ＬＥＤ光源２０３ａは、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５ａは、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。赤外ＬＥＤ光源２０３ｂは、波長１−ＬＥＤ３０７と、波長２−ＬＥＤ３０８と、を備えている。赤外ＬＥＤ光源２０５ｂは、波長１−ＬＥＤ３０９と、波長２−ＬＥＤ３１０と、を備えている。   The infrared LED light source 203a includes a wavelength 1-LED 303 and a wavelength 2-LED 304. The infrared LED light source 205a includes a wavelength 1-LED 305 and a wavelength 2-LED 306. The infrared LED light source 203b includes a wavelength 1-LED 307 and a wavelength 2-LED 308. The infrared LED light source 205b includes a wavelength 1-LED 309 and a wavelength 2-LED 310.

波長１−ＬＥＤ３０３、３０５、３０７、３０９は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６、３０８、３１０は、波長２の赤外線を照射する。   Wavelength 1-LEDs 303, 305, 307, and 309 emit infrared light having a wavelength of 1. Wavelength 2-LEDs 304, 306, 308, and 310 emit infrared light having a wavelength of 2.

ＬＥＤ駆動部３２０ａ〜３２０ｃは、それぞれ較正用ＬＥＤ１０４ａ〜１０４ｃを駆動する。スピーカ駆動部３２２は、スピーカ１０５を駆動する。   The LED driving units 320a to 320c drive the calibration LEDs 104a to 104c, respectively. The speaker driving unit 322 drives the speaker 105.

駆動・ＩＦ部２０８−２には、カメラＩＦ３１４、３１５、３１７、３１８を介して、それぞれ、右カメラ２０２ａ、左カメラ２０４ａ、右カメラ２０２ｂ、左カメラ２０４ｂが接続される。駆動・ＩＦ部２０８−２がこれらのカメラを駆動することにより、被験者や対象者を撮像する。   The right camera 202a, the left camera 204a, the right camera 202b, and the left camera 204b are connected to the drive / IF unit 208-2 via the camera IFs 314, 315, 317, and 318, respectively. The driving / IF unit 208-2 drives these cameras to image the subject and the subject.

右カメラ２０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４ａと、ＬＥＤ駆動制御部３１６−２とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込むように制御できる。   A frame synchronization signal is output from the right camera 202a. The frame synchronization signal is input to the left camera 204a and the LED drive control unit 316-2. Thus, in the first frame, the left and right wavelength 1 infrared light sources (wavelength 1-LED 303, wavelength 1-LED 305) are caused to emit light at different timings, and correspondingly by the left and right cameras (right camera 202a, left camera 204a). In the second frame, the left and right wavelength 2 infrared light sources (wavelength 2-LED 304, wavelength 2-LED 306) are caused to emit light in the second frame, and the left and right cameras (right camera 202a, left camera 204a) are correspondingly emitted. It is possible to control to capture an image by.

例えば、右カメラ２０２ａ、左カメラ２０４ａ、赤外ＬＥＤ光源２０３ａ、赤外ＬＥＤ光源２０５ａが、被験者用のモジュールであり、右カメラ２０２ｂ、左カメラ２０４ｂ、赤外ＬＥＤ光源２０３ｂ、赤外ＬＥＤ光源２０５ｂが、対象者用のモジュールである。   For example, the right camera 202a, the left camera 204a, the infrared LED light source 203a, and the infrared LED light source 205a are modules for the subject, and the right camera 202b, the left camera 204b, the infrared LED light source 203b, and the infrared LED light source 205b. This is a module for the target person.

対象者用のモジュールでは、発光および撮像は、第３フレームおよび第４フレームで実施する。このように、４フレームをサイクルとして撮像を行っていく。また、１フレーム内において、カメラの高速シャッター機能と赤外線短時間発光を組み合わせて、２種類の波長それぞれが干渉しないようにして撮像することも可能である。   In the module for the subject, light emission and imaging are performed in the third frame and the fourth frame. In this way, imaging is performed with four frames as a cycle. In addition, in one frame, it is possible to combine the high-speed shutter function of the camera and short-time infrared light emission so that the two types of wavelengths do not interfere with each other to capture an image.

制御部３００−２は、第１の実施形態と同様の視点検出部３５１、パターン検出部３５２、および、算出部３５３に加えて、位置検出部３５４と、変換部３５５と、較正部３５６と、を備えている。   The control unit 300-2 includes a position detection unit 354, a conversion unit 355, a calibration unit 356, in addition to the viewpoint detection unit 351, the pattern detection unit 352, and the calculation unit 353 similar to those in the first embodiment. It has.

位置検出部３５４は、対象者用のモジュール（ステレオカメラ１０２ｂ）で撮影された画像から、対象者の目の位置を検出する。対象者の目の位置は、例えば、視点検出部３５１が瞳孔の位置を算出する方法と同様の方法により検出できる。   The position detection unit 354 detects the position of the eye of the subject from the image photographed by the module for the subject (stereo camera 102b). The position of the eye of the subject can be detected by a method similar to the method by which the viewpoint detection unit 351 calculates the position of the pupil, for example.

なお、対象者の目の位置の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、対象者の目の位置を検出してもよい。   Note that the method for detecting the eye position of the subject person is not limited to this. For example, the eye position of the subject may be detected by analyzing an image captured using visible light instead of infrared light.

変換部３５５は、２組のステレオカメラ１０２ａ、１０２ｂそれぞれが用いる座標系間の変換を行う。被験者の視線方向および対象者の目の位置は、それぞれ座標系が異なるステレオカメラ（ステレオカメラ１０２ａ、ステレオカメラ１０２ｂ）で撮影された画像から検出され、異なる座標系の座標値で表される。このため、変換部３５５が、両座標系間の座標値の変換を行う。   The conversion unit 355 performs conversion between coordinate systems used by each of the two sets of stereo cameras 102a and 102b. The visual line direction of the subject and the eye position of the subject are detected from images captured by stereo cameras (stereo camera 102a and stereo camera 102b) having different coordinate systems, and are represented by coordinate values of different coordinate systems. For this reason, the conversion unit 355 converts coordinate values between the two coordinate systems.

較正部３５６は、視線方向を検出するために用いる計算パラメータを較正（視線検出用較正）する。一般に個人ごとに目の光軸と視線方向とが異なる。このため、光軸と視線方向が一致するように補正する必要があるためである。視線検出用較正処理では、所定の座標系上で既知である所定の位置（例えば較正用ＬＥＤ１０４ａ〜１０４ｃ）を被験者に注視させて、その時の瞳孔の中心（瞳孔の位置）と角膜反射位置とを測定する。そして、較正部３５６は、測定された瞳孔の位置と角膜反射位置とから求められる視線方向が、所定の位置に向くように、視線検出のための計算パラメータを修正する。   The calibration unit 356 calibrates the calculation parameters used for detecting the line-of-sight direction (calibration for line-of-sight detection). Generally, the optical axis of the eye and the line-of-sight direction are different for each individual. For this reason, it is necessary to correct so that the optical axis and the line-of-sight direction coincide. In the line-of-sight detection calibration process, a predetermined position (for example, the calibration LEDs 104a to 104c) known on a predetermined coordinate system is watched by the subject, and the pupil center (pupil position) and corneal reflection position at that time are determined. taking measurement. Then, the calibration unit 356 corrects the calculation parameter for eye gaze detection so that the eye gaze direction obtained from the measured pupil position and corneal reflection position is directed to a predetermined position.

所定の位置は、例えば１点、２点、および３点のいずれかが設定される。本実施形態の例では、例えば較正用ＬＥＤ１０４ａのみ（１点）、較正用ＬＥＤ１０４ａおよび１０４ｂ（２点）、および、較正用ＬＥＤ１０４ａ〜１０４ｃ（３点）などが設定される。点数が少ないほど、較正時間が短く、点数が多いほど高精度となる傾向がある。   For example, one point, two points, or three points are set as the predetermined position. In the example of the present embodiment, for example, only the calibration LED 104a (one point), the calibration LEDs 104a and 104b (two points), and the calibration LEDs 104a to 104c (three points) are set. The smaller the score, the shorter the calibration time, and the higher the score, the higher the accuracy.

なお、対象者については、目の位置検出だけでよいので視線検出用較正は不要である。また、較正部３５６は、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正）を行う。   For the subject, it is only necessary to detect the position of the eyes, so that calibration for detecting the line of sight is unnecessary. Further, the calibration unit 356 performs calibration processing (camera calibration) of the internal parameters and external parameters of the stereo camera 102.

図１５は、対象者の目の位置と被験者の視点検出を説明するための図である。上述のように、視点検出部３５１は、被験者の瞳孔位置および角膜反射位置から、被験者の視線方向を検出する。位置検出部３５４は、対象者の目の位置（瞳孔位置）を検出する。瞳孔位置は、ステレオカメラ１０２ａおよび１０２ｂが共通に用いる座標系（共通座標系）で表現される。また、被験者の目の位置（瞳孔位置）および視線方向（視線ベクトルなど）も、共通座標系で表現される。このため、パターン検出部３５２は、各エリアの共通座標系での座標値と、視点検出部３５１により検出された視点の共通座標系での座標値と、を比較することにより、視点の移動パターンを検出することができる。なお、本実施形態では、パターン検出部３５２が、対象者を撮像した画像を対象画像とし、この対象画像を複数のエリアに分割するように構成すればよい。   FIG. 15 is a diagram for explaining the eye position of the subject and the viewpoint detection of the subject. As described above, the viewpoint detection unit 351 detects the visual line direction of the subject from the pupil position and the corneal reflection position of the subject. The position detector 354 detects the eye position (pupil position) of the subject. The pupil position is expressed by a coordinate system (common coordinate system) commonly used by the stereo cameras 102a and 102b. The eye position (pupil position) and the line-of-sight direction (line-of-sight vector, etc.) of the subject are also expressed in a common coordinate system. For this reason, the pattern detection unit 352 compares the coordinate value in the common coordinate system of each area with the coordinate value in the common coordinate system of the viewpoint detected by the viewpoint detection unit 351, thereby moving the viewpoint movement pattern. Can be detected. In the present embodiment, the pattern detection unit 352 may be configured to set an image obtained by capturing the target person as a target image and divide the target image into a plurality of areas.

このように、第２の実施形態では、対象者用のモジュール（ステレオカメラ１０２ｂ）で撮像された画像を、第１の実施形態の対象画像として用いて、第１の実施形態と同様の方法で診断支援処理を実行することができる。   Thus, in the second embodiment, an image captured by the module for the target person (stereo camera 102b) is used as the target image of the first embodiment, and the same method as in the first embodiment. Diagnosis support processing can be executed.

以上のように、第１および第２の実施形態によれば、例えば以下のような効果が得られる。
（１）視点の位置だけでなく、視点の移動も判断することにより高精度の発達障害診断を実現することができる。
（２）目の動作、および、目以外の部分の動作に対応した視点の移動も判断することにより高精度の発達障害診断を実現することができる。
（３）注視と解釈すべきでない細かい視点の動きを排除できる。 As described above, according to the first and second embodiments, for example, the following effects can be obtained.
(1) A highly accurate developmental disorder diagnosis can be realized by judging not only the position of the viewpoint but also the movement of the viewpoint.
(2) A highly accurate developmental disorder diagnosis can be realized by determining the movement of the viewpoint corresponding to the movement of the eye and the movement of the part other than the eye.
(3) The movement of a fine viewpoint that should not be interpreted as gaze can be eliminated.

１００ 診断支援装置
１０１ 表示部
１０２ ステレオカメラ
１０５ スピーカ
１０６ ボタン
１０７ 赤外線通信部
１０８ コネクタ
１３１ 筐体
２０２ 右カメラ
２０３、２０５ 赤外ＬＥＤ光源
２０４ 左カメラ
２０８ 駆動・ＩＦ部
２１０ 表示部
３００ 制御部
３５１ 視点検出部
３５２ パターン検出部
３５３ 算出部
DESCRIPTION OF SYMBOLS 100 Diagnosis support apparatus 101 Display part 102 Stereo camera 105 Speaker 106 Button 107 Infrared communication part 108 Connector 131 Case 202 Right camera 203, 205 Infrared LED light source 204 Left camera 208 Drive / IF part 210 Display part 300 Control part 351 Viewpoint detection Unit 352 pattern detection unit 353 calculation unit

Claims (11)

被験者の視点を検出する視点検出部と、
被験者が観察する対象を分割した複数の分割領域間での前記視点の移動パターンを検出するパターン検出部と、
前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、発達障害の程度を表す評価情報を算出する算出部と、
を備えることを特徴とする診断支援装置。 A viewpoint detector for detecting the viewpoint of the subject;
A pattern detection unit for detecting a movement pattern of the viewpoint between a plurality of divided areas obtained by dividing a subject to be observed by the subject;
A calculation unit that calculates evaluation information indicating the degree of developmental disability by comparing the movement pattern with a reference pattern that represents a predetermined pattern of movement of the viewpoint;
A diagnostic support apparatus comprising: 前記複数に分割した領域は、前記被験者が観察する対象の動作する動作部分を含む動作領域と、前記対象の動作しない非動作部分を含む非動作領域と、を含む領域である
ことを特徴とする請求項１に記載の診断支援装置。 The region divided into a plurality of regions is a region including an operation region including an operation portion of a subject that is observed by the subject and a non-operation region including a non-operation portion of the object that is not operated. The diagnosis support apparatus according to claim 1. 前記基準パターンは、前記非動作領域から前記動作領域に前記視点が移動するパターンを表し、
前記算出部は、前記基準パターンと一致する前記移動パターンが多いほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項２に記載の診断支援装置。 The reference pattern represents a pattern in which the viewpoint moves from the non-operation area to the operation area,
The calculation unit calculates the evaluation information indicating that the greater the movement pattern that matches the reference pattern, the smaller the degree of developmental disability.
The diagnosis support apparatus according to claim 2, wherein: 前記算出部は、前記移動パターンと、前記動作部分の動作パターンに応じて定められた前記基準パターンとを比較することにより前記評価情報を算出する、
ことを特徴とする請求項２に記載の診断支援装置。 The calculation unit calculates the evaluation information by comparing the movement pattern and the reference pattern determined according to the operation pattern of the operation part;
The diagnosis support apparatus according to claim 2, wherein: 前記基準パターンは、前記動作部分が動作しないことを表す動作パターンから前記動作部分が動作することを表す動作パターンに変化したときに、前記非動作領域から前記動作領域に前記視点が移動するパターンを表し、
前記算出部は、前記基準パターンと一致する前記移動パターンが多いほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項４に記載の診断支援装置。 The reference pattern is a pattern in which the viewpoint moves from the non-operation area to the operation area when the reference pattern changes from an operation pattern indicating that the operation part does not operate to an operation pattern indicating that the operation part operates. Represent,
The calculation unit calculates the evaluation information indicating that the greater the movement pattern that matches the reference pattern, the smaller the degree of developmental disability.
The diagnosis support apparatus according to claim 4, wherein: 前記動作部分は、人物の目および前記人物の口の少なくとも一方である、
ことを特徴とする請求項２に記載の診断支援装置。 The operating part is at least one of a person's eyes and the person's mouth;
The diagnosis support apparatus according to claim 2, wherein: 前記動作部分は、人物の目および前記人物の口であり、
前記動作領域は、前記人物の目を含む目領域と、前記人物の口を含む口領域とを含み、
前記基準パターンは、前記口が動作したことを表す動作パターンが発生したときに、前記口領域から前記目領域に前記視点が移動するパターンを表し、
前記算出部は、前記基準パターンと一致する前記移動パターンが多いほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項２に記載の診断支援装置。 The operation portion is the eyes and mouth of the person of the human material,
The operation area includes an eye area including the eyes of the person and a mouth area including the mouth of the person,
The reference pattern represents a pattern in which the viewpoint moves from the mouth area to the eye area when an operation pattern indicating that the mouth has moved occurs.
The calculation unit calculates the evaluation information indicating that the greater the movement pattern that matches the reference pattern, the smaller the degree of developmental disability.
The diagnosis support apparatus according to claim 2, wherein: 前記パターン検出部は、前記分割領域のうち第１領域から前記分割領域のうち第２領域に前記視点が移動した後の経過時間が予め定められた閾値を超えた場合に、前記第１領域から前記第２領域に前記視点が移動したことを検出する、
ことを特徴とする請求項１に記載の診断支援装置。 When the elapsed time after the viewpoint has moved from a first area of the divided areas to a second area of the divided areas exceeds a predetermined threshold, the pattern detection unit starts from the first area. Detecting that the viewpoint has moved to the second region;
The diagnosis support apparatus according to claim 1. 前記算出部は、前記経過時間が大きいほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項８に記載の診断支援装置。 The calculation unit calculates the evaluation information indicating that the degree of developmental disorder is small as the elapsed time is large.
The diagnosis support apparatus according to claim 8. 被験者の視点を検出するステップと、
被験者が観察する対象を分割した複数の分割領域間での前記視点の移動パターンを検出するステップと、
前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、発達障害の程度を表す評価情報を算出するステップと、
を含むことを特徴とする診断支援方法。 Detecting a subject's viewpoint;
Detecting a movement pattern of the viewpoint between a plurality of divided areas obtained by dividing a subject to be observed by the subject;
Calculating evaluation information representing the degree of developmental disability by comparing the movement pattern with a reference pattern representing a predetermined movement pattern of the viewpoint;
A diagnostic support method comprising: 前記複数に分割した領域は、前記被験者が観察する対象の動作する動作部分を含む動作領域と、前記対象の動作しない非動作部分を含む非動作領域と、を含む領域である
ことを特徴とする請求項１０に記載の診断支援方法。 The region divided into a plurality of regions is a region including an operation region including an operation portion of a subject that is observed by the subject and a non-operation region including a non-operation portion of the object that is not operated. The diagnosis support method according to claim 10.

Images