JP2016057906A - Measurement method and system of viewpoint position - Google Patents
Measurement method and system of viewpoint position Download PDFInfo
- Publication number
- JP2016057906A JP2016057906A JP2014184347A JP2014184347A JP2016057906A JP 2016057906 A JP2016057906 A JP 2016057906A JP 2014184347 A JP2014184347 A JP 2014184347A JP 2014184347 A JP2014184347 A JP 2014184347A JP 2016057906 A JP2016057906 A JP 2016057906A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint position
- line
- imaging
- eyeball
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、被験者の眼球を撮像して視点位置を計測する方法及びその計測システムに関し、特に、上下左右方向とともに奥行き方向の三次元空間内における視点位置を計測する方法及びその計測システムに関する。 The present invention relates to a method for measuring a viewpoint position by imaging a subject's eyeball, and more particularly to a method for measuring a viewpoint position in a three-dimensional space in the depth direction as well as a vertical direction and a measurement system thereof.
被験者の眼球を撮像してモニター画面上の視点位置を計測する方法や計測システムが数多く提案されている。かかる計測情報はモニター画面の制御や周辺環境の各種制御などに利用される。一方、上下左右方向とともに奥行き方向の三次元空間内における視点位置を計測する方法及びその計測システムも提案されている。 Many methods and measurement systems for imaging the eyeball of the subject and measuring the viewpoint position on the monitor screen have been proposed. Such measurement information is used for control of the monitor screen and various controls of the surrounding environment. On the other hand, a method and a measurement system for measuring a viewpoint position in a three-dimensional space in the depth direction as well as in the vertical and horizontal directions have been proposed.
例えば、特許文献１では、それぞれが光源を備える２台のカメラで両眼球の視線を同時に測定することで三次元空間内における視点位置を計測する方法を開示している。具体的には、一方の光源を点灯させ該光源とともにあるカメラで一方の眼球の瞳孔を明るくしつつ撮影し、同様に、他方の光源を点灯させ該光源とともにあるカメラで他方の眼球の瞳孔を明るくしつつ撮影する。このとき、角膜反射の像も得られる。瞳孔位置及び角膜反射像から両眼球の視線ベクトルを求め、更に、輻輳角(両目の視線のなす角度)を求め、奥行き方向の視点（両目の視線の交差点）を計測するのである。
For example,
上記したように、カメラに対する視線ベクトルを求めることで、三次元空間内における視点位置を計測できる。ここで、カメラによって複数の画像を取り込み、反射光形状、瞳孔形状を計測し、反射光重心位置、瞳孔の楕円形状近似による短軸の傾き、短軸長軸比、瞳孔中心を計算することで、より正確且つ簡便に視線位置を三次元的に計測する方法も提案されている。 As described above, the viewpoint position in the three-dimensional space can be measured by obtaining the line-of-sight vector for the camera. Here, by capturing multiple images with the camera, measuring the reflected light shape and pupil shape, calculating the reflected light barycentric position, the minor axis inclination by approximating the elliptical shape of the pupil, the minor axis major axis ratio, and the pupil center A method of measuring the line-of-sight position three-dimensionally more accurately and simply has also been proposed.
例えば、特許文献２では、反射位置を角膜上に位置させるように配置された光源で照明された瞳孔をカメラで撮影し複数の画像を取り込み、得られたそれぞれの画像について、反射光重心位置と角膜曲率中心のｘ方向の距離及びｙ方向の距離、角膜曲率中心と瞳孔中心の距離を求め、反射光重心位置と瞳孔中心位置からカメラに対する視線ベクトルを求めて視線位置を三次元的に計測する方法が開示されている。
For example, in
また、特許文献３では、カメラ座標系で求めた視線ベクトルを対象物座標系における視線ベクトルに変換して被験者の視線位置を算出できること述べた上で、静止している眼球位置の計測だけでなく、眼球運動の計測までをも与える方法を開示している。ここでは、高速撮影可能なデジタルカメラを用いて、プログレッシブ方式のデジタル画像信号を直接コンピュータに入力し、デジタル画像処理を行う。主に、眼球の画像から瞳孔部分を近似した楕円の検出方法について述べている。
In addition,
一方、特許文献４では、単眼カメラによって所定面を基準とした人物の視点を計測する方法を開示している。単眼カメラによって得られた撮影画像上において両眼球の位置を検出し、瞳孔間距離を求める。一方、単眼カメラの内部パラメータ（焦点距離等）と実空間上における既知の瞳孔間距離とを用いて、撮影画像上における瞳孔間距離を実空間上における視点距離（所定面と視点との距離）に換算するとしている。
On the other hand,
特許文献３でも述べられているように、従来の視線位置検出システムでは、静止している眼球位置の計測はできても、眼球運動の計測までは困難であった。つまり、眼球位置の計測からカメラに対する両眼球の視線ベクトルを求めてその交点として視線位置を三次元的に計測できるのであるが、両眼球のそれぞれの視線ベクトルが時間差を持って得られるなら、視線位置の計測は不正確なものとなってしまう。特に、両眼球をそれぞれ対応するカメラで撮像した場合、眼球運動の計測を行い得るレベルまで同期させることは非常に困難である。そこで両眼球を単眼で同時にカメラ撮像することが考慮される。
As described in
本発明は、上記したような状況に鑑みてなされたものであって、その目的とするところは、両眼球を１フレームに撮像して、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測する方法及びその計測システムを提供することにある。 The present invention has been made in view of the situation as described above, and the object of the present invention is to capture images of both eyes in one frame and measure eye movement in a three-dimensional space. An object of the present invention is to provide a method and a measurement system for measuring a viewpoint position.
本発明による方法は、被験者の眼球を撮像して視点位置を計測する方法であって、両眼球を１フレームに撮像する撮像ステップと、前記撮像ステップで得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析ステップと、前記視線方向の交点を求める視点位置特定ステップと、を含むことを特徴とする。 The method according to the present invention is a method for imaging a subject's eyeball and measuring a viewpoint position, the imaging step of imaging both eyes in one frame, image analysis of the image obtained in the imaging step, and pupil position The method includes a line-of-sight analysis step for obtaining a line-of-sight direction of the eyeball based on a shape and a reflected light position shape, and a viewpoint position specifying step for obtaining an intersection of the line-of-sight directions.
かかる発明によれば、両眼球の視線方向を左右の時間差なしで得ることができ、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測することができる。 According to this invention, the line-of-sight direction of both eyes can be obtained without a time difference between left and right, and the viewpoint position in the three-dimensional space can be measured at a level at which eye movement can be measured.
上記した発明において、前記撮像ステップは、前記両眼球を面対称とする対称面上の位置から撮像するステップであることを特徴としてもよい。かかる発明によれば、両眼球までの距離を等しくして撮像できて、より正確な画像解析に基づいて、視点位置を正確に計測し得る。 In the above-described invention, the imaging step may be a step of imaging from a position on a symmetry plane in which the both eyes are plane-symmetric. According to this invention, the distance to both eyes can be made equal, and the viewpoint position can be accurately measured based on more accurate image analysis.
上記した発明において、前記視点位置特定ステップは、前記視線方向の水平方向の成分について前記交点を求め、前記交点を含む鉛直線上に前記視点位置を確定させることを特徴としてもよい。かかる発明によれば、比較的簡単に視点位置を確定できるとともに、水平方向及び鉛直方向の各々の二次元空間内で観察しやすい結果として視点位置の移動の軌跡を表示できる。 In the above-described invention, the viewpoint position specifying step may be characterized in that the intersection point is obtained for a horizontal component of the line-of-sight direction, and the viewpoint position is determined on a vertical line including the intersection point. According to this invention, the viewpoint position can be determined relatively easily, and the locus of movement of the viewpoint position can be displayed as a result of being easily observed in the two-dimensional space in each of the horizontal direction and the vertical direction.
また、本発明によるシステムは、被験者の眼球を撮像して視点位置を計測するシステムであって、両眼球を１フレームで撮像する撮像装置と、前記撮像装置で得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析手段と、前記視線方向の交点を求める視点位置特定手段と、を含むことを特徴とする。 Further, a system according to the present invention is a system that images a subject's eyeball and measures a viewpoint position, and an image pickup device that picks up both eyeballs in one frame, and an image analysis of the image obtained by the image pickup device, It is characterized by comprising gaze analysis means for obtaining the respective gaze directions of the eyeball based on the pupil position shape and the reflected light position shape, and viewpoint position specifying means for obtaining the intersection of the gaze directions.
かかる発明によれば、両眼球の視線方向を左右の時間差なしで得ることができ、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測することができる。 According to this invention, the line-of-sight direction of both eyes can be obtained without a time difference between left and right, and the viewpoint position in the three-dimensional space can be measured at a level at which eye movement can be measured.
上記した発明において、前記撮像装置は、前記両眼球を面対称とする対称面上の位置から撮像することを特徴としてもよい。かかる発明によれば、両眼球までの距離を等しくして撮像できて、より正確な画像解析に基づいて、視点位置を正確に計測し得る。 In the above-described invention, the image pickup device may pick up an image from a position on a symmetry plane in which the both eyes are plane-symmetric. According to this invention, the distance to both eyes can be made equal, and the viewpoint position can be accurately measured based on more accurate image analysis.
上記した発明において、前記視点位置特定手段は、前記視線方向の水平方向の成分について前記交点を求め、前記交点を含む鉛直線上に前記視点位置を確定させる手段であることを特徴としてもよい。かかる発明によれば、比較的簡単に視点位置を確定できるとともに、水平方向及び鉛直方向の各二次元空間内で観察しやすい結果として視点位置の移動の軌跡を表示できる。 In the above-described invention, the viewpoint position specifying means may be a means for obtaining the intersection point with respect to a horizontal component of the line-of-sight direction and determining the viewpoint position on a vertical line including the intersection point. According to this invention, the viewpoint position can be determined relatively easily, and the locus of movement of the viewpoint position can be displayed as a result of being easily observed in each two-dimensional space in the horizontal direction and the vertical direction.
本発明による視点位置の計測システムについて、図１を用いて説明する。 A viewpoint position measurement system according to the present invention will be described with reference to FIG.
図１に示すように、視点位置の計測システム１は、被験者Ｐの左右の眼球Ｌ及びＲを撮像できる位置に備えられるカメラ２と、カメラ２の側部から眼球Ｌ及びＲに向けて赤外線を照射するＬＥＤ３と、カメラ２に接続されるコンピュータ１０とコンピュータ１０に接続される外部装置５とを備える。外部装置５は、測定結果を記録する記憶装置であるが、必要に応じてその他の装置も適宜選択される。
As shown in FIG. 1, the viewpoint
カメラ２は、広視野を撮像可能な単眼のハイスピードカメラであり、上記したように左右の眼球Ｌ及びＲを同時に撮像できる位置に配置される。つまり、１フレームで左右の眼球Ｌ及びＲを同時に撮像できる。特に、内蔵するイメージセンサなどにグローバルシャッタ機能を有していると１枚の画像の中の時間差を排除できて好ましい。また、カメラ２及びＬＥＤ３は、眼球Ｌ及びＲを面対称とする対称面Ｓ上に配置されると、後述する画像処理において有利になる。すなわち、カメラ２及びＬＥＤ３からそれぞれの眼球Ｌ及びＲまでの距離がほぼ等しくなり、解析すべき眼球Ｌ及びＲに対応する画像の明るさをほぼ等しくでき、画像解析上の処理を比較的単純にできる。この場合において、図１（ｂ）に示すように、カメラ２及びＬＥＤ３は、被験者Ｐの視界を遮らないよう上方又は下方にオフセットされた位置に配置されるとよい。さらに、ＬＥＤ３は、両眼球Ｌ及びＲの角膜上に反射光を形成するような位置に配置されている。
The
被験者Ｐの前方には、被験者Ｐの視覚を刺激するためのディスプレー４が備えられる。ディスプレー４は、平面の画像表示装置などでもよいが、視点とすべきターゲットＴ１及びＴ２のように、被験者Ｐにとって前後方向の奥行きを異ならせて設けた複数のターゲットを備える立体的なものであると好ましい。
In front of the subject P, a
コンピュータ１０は、いわゆるパーソナルコンピュータなどであり、キーボードやモニタなど図示しない入出力装置を備える。コンピュータ１０は、視点位置を計測するためのプログラムを実行することで、視線解析手段１１及び視点位置特定手段１２として機能する。
The
視線解析手段１１は、撮像した画像について画像解析を行い、かかる画像解析に基づいて、少なくとも両眼球Ｌ及びＲの視線方向を求めることができる。ここでは、少なくとも画像解析を行って瞳孔の位置及び形状（瞳孔位置形状）と角膜上の反射光の位置及び形状（反射光位置形状）とを得て、その結果に基づいて幾何学的条件に従った計算等により左右の眼球Ｌ及びＲのそれぞれの視線方向を得るのである。また、左右の眼球Ｌ及びＲの回転中心及び、両眼球Ｌ及びＲの眼球間距離を算出することもできる。なお、各眼球の視線方向を求める方法については以下に示す公知のシステムによる方法と同様の方法を用い得る。
The line-of-
かかるシステムの１つは、頭部が固定された被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込む手段と、取り込まれたそれぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段とを備え、あらかじめ計測しておいた反射光重心位置と角膜曲率中心のＸ方向の距離及びＹ方向の距離、角膜曲率中心と眼球回転中心の距離、瞳孔中心と眼球回転中心との距離を利用して、反射光重心位置と瞳孔中心位置からカメラに対する視線ベクトルを求めることから成る視線検出システムである。すなわち、取り込んだ画像を画像解析し、瞳孔位置形状及び反射光位置形状により眼球の視線方向を求めている。なお、角膜曲率中心は角膜を球の一部としたときのかかる球の中心であり、眼球回転中心は眼球が回転する際の不動点である。 One of such systems includes means for capturing a plurality of images by a camera capable of photographing a pupil illuminated by a light source arranged so that a reflection position thereof is located on the cornea in a subject whose head is fixed; Means for measuring the reflected light shape and pupil shape of each captured image, and calculating the inclination of the minor axis, the minor axis major axis ratio, and the pupil center by approximating the reflected light center of gravity and the pupil to an ellipse The distance between the center of gravity of the reflected light and the center of corneal curvature measured in the X direction and the distance in the Y direction, the distance between the corneal curvature center and the eyeball rotation center, and the distance between the pupil center and the eyeball rotation center are used. Thus, the line-of-sight detection system includes obtaining a line-of-sight vector for the camera from the position of the center of gravity of the reflected light and the center of the pupil. That is, the captured image is subjected to image analysis, and the line-of-sight direction of the eyeball is obtained from the pupil position shape and the reflected light position shape. The corneal curvature center is the center of the sphere when the cornea is part of the sphere, and the eyeball rotation center is a fixed point when the eyeball rotates.
また、他のシステムの１つは、頭部が固定されていない被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込む手段と、取り込まれたそれぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段とを備え、あらかじめ計測しておいた反射光重心位置と角膜曲率中心のＸ方向の距離及びＹ方向の距離、角膜曲率中心と瞳孔中心の距離を利用して、反射光重心位置と瞳孔中心位置からカメラに対する視線ベクトルを求めることから成る視線検出システムである。すなわち、同様に、取り込んだ画像を画像解析し、瞳孔位置形状及び反射光位置形状により眼球の視線方向を求めている。 In another system, in a subject whose head is not fixed, a plurality of images can be captured by a camera capable of photographing a pupil illuminated by a light source arranged so that a reflection position is located on the cornea. Measure the reflected light shape and pupil shape for each captured image and the captured image, and reflect the center of gravity of the reflected light and elliptical approximation of the pupil, the minor axis inclination, the minor axis major axis ratio, and the pupil center The center position of the reflected light is calculated using the X-direction distance and the Y-direction distance of the reflected light centroid position and the corneal curvature center measured in advance, and the distance between the corneal curvature center and the pupil center. And a gaze detection system that obtains a gaze vector for the camera from the center position of the pupil. That is, similarly, the captured image is image-analyzed, and the eye gaze direction is obtained from the pupil position shape and the reflected light position shape.
視点位置特定手段１２は、視線解析手段１１によって得られた左右の眼球Ｌ及びＲの視線方向の交点を求め、三次元空間内の視点位置を計測することができる。かかる計測方法の詳細については後述する。
The viewpoint
次に、計測システム１による視点位置の計測方法について、図２乃至図４を参照しつつ、詳細に説明する。
Next, a method for measuring the viewpoint position by the
図２を参照すると、まず、被験者Ｐの左右の眼球Ｌ及びＲをカメラ２により撮影しその画像を得る。すなわち撮像する（撮像ステップＳ１）。次いで、得られた画像について画像解析や幾何学的条件に基づく計算などを含んだ視線解析を行い、少なくとも左右の眼球Ｌ及びＲの視線方向を求める（視線解析ステップＳ２）。ここで、両眼球Ｌ及びＲの眼球回転中心及び眼球間距離（回転中心同士の距離）を併せて求めておくことが好ましい。視線方向等は、上記したような公知の方法によって求めることができる。さらに、得られた視線方向の交点を求めて三次元空間内の視点位置を特定する（視点位置特定ステップＳ３）。
Referring to FIG. 2, first, the left and right eyeballs L and R of the subject P are photographed by the
詳細には、図３に示すように、左の眼球Ｌの眼球回転中心を原点とし、右の眼球Ｒの眼球回転中心をＸ軸上に配置し、被験者Ｐの正面に向かう水平方向をＺ軸とし、鉛直上方をＹ軸方向とする（図４参照）よう座標を定める。ここで、眼球Ｌと眼球Ｒとの眼球回転中心距離はＣであり、上記したように画像解析に基づく視線解析によって得られた眼球Ｌ及びＲの眼球回転中心から求め得る。なお、眼球Ｌと眼球Ｒの眼球間距離は、例えば、個人差もあるが予め６０ｍｍとして定めておいて、簡易に視点位置を計測することもできる。被験者Ｐの頭の位置を固定することで、眼球位置を定めてもよい。 Specifically, as shown in FIG. 3, the center of eyeball rotation of the left eyeball L is the origin, the eyeball rotation center of the right eyeball R is placed on the X axis, and the horizontal direction toward the front of the subject P is the Z axis. And the coordinates are determined so that the upper vertical direction is the Y-axis direction (see FIG. 4). Here, the eyeball rotation center distance between the eyeball L and the eyeball R is C, and can be obtained from the eyeball rotation centers of the eyeballs L and R obtained by the line-of-sight analysis based on the image analysis as described above. Note that the interocular distance between the eyeball L and the eyeball R may be determined, for example, as 60 mm in advance, although there are individual differences, and the viewpoint position can be easily measured. The eyeball position may be determined by fixing the position of the head of the subject P.
まず、眼球Ｌの視線方向から左目水平角ｒｏａｘ（単位：度）を得て、眼球Ｒの視線方向から右目水平角ｒｏａｘＲ（単位：度）を得る。ここで、左目水平角ｒｏａｘは正の値、右目水平角ｒｏａｘＲは負の値となる。さらに、求める視点位置Ｔを頂点の１つとして左右の眼球Ｌ及びＲを結ぶ三角形において、視点位置Ｔと眼球Ｒとの間の辺の長さをＡ、視点位置Ｔと眼球Ｌとの間の辺の長さをＢ、眼球Ｌと眼球Ｒとの間の辺の長さを上記したようにＣとする。つまり眼球間距離は回転中心同士の距離である。また、かかる三角形の角辺の対角はそれぞれａ、ｂ、ｃとする。すると、ａ＝９０−ｒｏａｘ、ｂ＝９０＋ｒｏａｘＲである。つまり、角度ａ及びｂは視線解析によって得られる左目水平角ｒｏａｘ及び右目水平角ｒｏａｘＲによって記述でき、角度ｃも同様である。 First, the left eye horizontal angle roax (unit: degree) is obtained from the line-of-sight direction of the eyeball L, and the right eye horizontal angle roaxR (unit: degree) is obtained from the line-of-sight direction of the eyeball R. Here, the left eye horizontal angle roax has a positive value, and the right eye horizontal angle roaxR has a negative value. Further, in a triangle connecting the left and right eyeballs L and R with the desired viewpoint position T as one vertex, the length of the side between the viewpoint position T and the eyeball R is A, and the distance between the viewpoint position T and the eyeball L is The length of the side is B, and the length of the side between the eyeball L and the eyeball R is C as described above. That is, the interocular distance is the distance between the rotation centers. The diagonals of the corners of the triangle are a, b, and c, respectively. Then, a = 90−roax and b = 90 + roaxR. That is, the angles a and b can be described by the left-eye horizontal angle roax and the right-eye horizontal angle roaxR obtained by line-of-sight analysis, and the angle c is the same.
このとき、正弦定理により
図４に示すように、鉛直方向成分（ｙ）は、上記で求めたｚと左の眼球Ｌによる視線方向から求めた左目鉛直角ｒｏａｙとを用いて以下のように記述できる。
上記したように、左目鉛直角ｒｏａｙ又は右目鉛直角ｒｏａｙＲの一方のみからｙを求めてもよいが、両者からそれぞれｙを求めて一致するかを確認したり、ずれの生じる場合にそれぞれ求めた２つのｙを平均したりできる。また、左目鉛直角ｒｏａｙ及び右目鉛直角ｒｏａｙＲの平均値から、
以上のようにして１フレームの画像から視点位置を計測できる。また、上記した撮像ステップＳ１、視線解析ステップＳ２、視点位置特定ステップＳ３を繰り返すことで、被験者Ｐの視線の移動による視点位置の移動を追従するように順次、視点位置を計測して、視点位置の移動の軌跡を得ることができる。 As described above, the viewpoint position can be measured from one frame image. In addition, by repeating the imaging step S1, the line-of-sight analysis step S2, and the viewpoint position specifying step S3, the viewpoint position is sequentially measured so as to follow the movement of the viewpoint position due to the movement of the line of sight of the subject P. The movement trajectory can be obtained.
図５に図１を併せて参照すると、被験者Ｐにディスプレイ４のターゲットＴ１及びＴ２を所定の規則で視認させ、被験者Ｐの視点位置を連続して計測した。かかる所定の規則は、中央手前のターゲットＴ１を基準位置として、これを視認した後、左上奥のターゲットＴ２を視認し基準位置を視認、右上奥のターゲットＴ２を視認し基準位置を視認、という視認の順番である。図５（ａ）は、水平方向の、すなわちＸ−Ｚ平面上の視点位置の移動を示し、図５（ｂ）は、鉛直方向の、すなわちＺ−Ｙ平面上の視点位置の移動を示している。以上のように、計測システム１を用いて被験者Ｐの視点位置の計測を行えば、両眼球Ｌ及びＲの視線方向を時間差なしで得ることができ、眼球運動の計測を行い得るレベルで三次元空間内における視点位置を計測することができる。
Referring to FIG. 5 together with FIG. 1, the subject P was allowed to visually recognize the targets T1 and T2 of the
ここまで本発明による代表的実施例について説明したが、本発明は必ずしもこれに限定されるものではない。当業者であれば、本発明の主旨又は添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができるだろう。 Although the exemplary embodiments according to the present invention have been described so far, the present invention is not necessarily limited thereto. Those skilled in the art will recognize a variety of alternative embodiments and modifications without departing from the spirit of the invention or the scope of the appended claims.
１ 視点位置の計測システム
２ カメラ
３ ＬＥＤ
１０ コンピュータ
１１ 視線解析手段
１２ 視点位置特定手段
1
10
Claims (6)
両眼球を１フレームで撮像する撮像ステップと、
前記撮像ステップで得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析ステップと、
前記視線方向の交点を求める視点位置特定ステップと、を含むことを特徴とする視点位置の計測方法。 A method of measuring a viewpoint position by imaging a subject's eyeball,
An imaging step of imaging both eyes in one frame;
An image analysis of the image obtained in the imaging step, and a line-of-sight analysis step for obtaining a respective line-of-sight direction of the eyeball from a pupil position shape and a reflected light position shape;
And a viewpoint position specifying step for obtaining an intersection in the line-of-sight direction.
両眼球を１フレームで撮像する撮像装置と、
前記撮像装置で得られた画像を画像解析し、瞳孔位置形状及び反射光位置形状により前記眼球のそれぞれの視線方向を求める視線解析手段と、
前記視線方向の交点を求める視点位置特定手段と、を含むことを特徴とする視点位置の計測システム。 A system for measuring a viewpoint position by imaging a subject's eyeball,
An imaging device that images both eyes in one frame;
Line-of-sight analysis means for performing image analysis on the image obtained by the imaging device and obtaining the line-of-sight direction of the eyeball based on a pupil position shape and a reflected light position shape;
And a viewpoint position specifying means for obtaining an intersection in the line-of-sight direction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014184347A JP2016057906A (en) | 2014-09-10 | 2014-09-10 | Measurement method and system of viewpoint position |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014184347A JP2016057906A (en) | 2014-09-10 | 2014-09-10 | Measurement method and system of viewpoint position |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016057906A true JP2016057906A (en) | 2016-04-21 |
Family
ID=55758472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014184347A Pending JP2016057906A (en) | 2014-09-10 | 2014-09-10 | Measurement method and system of viewpoint position |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016057906A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6420876B1 (en) * | 2017-07-26 | 2018-11-07 | 楽天株式会社 | Information processing apparatus, information processing system, information processing method, and information processing program |
| CN111854658A (en) * | 2020-07-22 | 2020-10-30 | 四川大学 | R-test precision ball head detection device and calibration method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10276987A (en) * | 1997-04-03 | 1998-10-20 | Sony Corp | Visual line position detecting system |
| JP2006141862A (en) * | 2004-11-24 | 2006-06-08 | Saga Univ | Visual-axis direction specification system |
| JP2008194146A (en) * | 2007-02-09 | 2008-08-28 | Toshiba Corp | Visual line detecting apparatus and its method |
| JP2010259605A (en) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | Visual line measuring device and visual line measuring program |
-
2014
- 2014-09-10 JP JP2014184347A patent/JP2016057906A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10276987A (en) * | 1997-04-03 | 1998-10-20 | Sony Corp | Visual line position detecting system |
| JP2006141862A (en) * | 2004-11-24 | 2006-06-08 | Saga Univ | Visual-axis direction specification system |
| JP2008194146A (en) * | 2007-02-09 | 2008-08-28 | Toshiba Corp | Visual line detecting apparatus and its method |
| JP2010259605A (en) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | Visual line measuring device and visual line measuring program |
Non-Patent Citations (1)
| Title |
|---|
| 竹上 健: "視線方向計測のための高精度瞳孔検出アルゴリズム", 電子情報通信学会論文誌（Ｊ８６−Ｄ−ＩＩ）第２号, JPN6018010613, 1 February 2003 (2003-02-01), JP, pages 252 - 261, ISSN: 0003893725 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6420876B1 (en) * | 2017-07-26 | 2018-11-07 | 楽天株式会社 | Information processing apparatus, information processing system, information processing method, and information processing program |
| JP2019028566A (en) * | 2017-07-26 | 2019-02-21 | 楽天株式会社 | Information processing apparatus, information processing system, information processing method and information processing program |
| CN111854658A (en) * | 2020-07-22 | 2020-10-30 | 四川大学 | R-test precision ball head detection device and calibration method thereof |
| CN111854658B (en) * | 2020-07-22 | 2021-04-20 | 四川大学 | R-test precision ball head detection device and calibration method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9329683B2 (en) | Method for detecting point of gaze and device for detecting point of gaze | |
| JP5467303B1 (en) | Gaze point detection device, gaze point detection method, personal parameter calculation device, personal parameter calculation method, program, and computer-readable recording medium | |
| CN109008944B (en) | Sight line measuring device, ROM, and sight line measuring method | |
| US7682026B2 (en) | Eye location and gaze detection system and method | |
| JP2010259605A (en) | Visual line measuring device and visual line measuring program | |
| EP3153092B1 (en) | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program | |
| JP6346525B2 (en) | Gaze detection device | |
| WO2018030515A1 (en) | Line-of-sight detection device | |
| JP6631951B2 (en) | Eye gaze detection device and eye gaze detection method | |
| JP7030317B2 (en) | Pupil detection device and pupil detection method | |
| JPWO2014188727A1 (en) | Eye-gaze measuring device, eye-gaze measuring method, and eye-gaze measuring program | |
| JP6596678B2 (en) | Gaze measurement apparatus and gaze measurement method | |
| WO2019010959A1 (en) | Method and device for determining sight line, and computer readable storage medium | |
| JP2014052758A (en) | Sight line measurement method | |
| JP2009297323A (en) | Visual axis measuring apparatus | |
| JP2019215688A (en) | Visual line measuring device, visual line measurement method and visual line measurement program for performing automatic calibration | |
| WO2016142489A1 (en) | Eye tracking using a depth sensor | |
| JP2016099759A (en) | Face detection method, face detection device, and face detection program | |
| JP5590487B2 (en) | Gaze measurement method and gaze measurement device | |
| Zhang et al. | A simplified 3D gaze tracking technology with stereo vision | |
| JP2016057906A (en) | Measurement method and system of viewpoint position | |
| JP5371051B2 (en) | Gaze measurement apparatus, method, and program | |
| JP2017102731A (en) | Gaze detection device and gaze detection method | |
| JP6789899B2 (en) | Measuring device and operating method of measuring device | |
| JP4055858B2 (en) | Gaze detection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181009 |