WO2016006170A1 - 視線入力パラメータの補正装置、及び視線入力装置 - Google Patents

視線入力パラメータの補正装置、及び視線入力装置 Download PDF

Info

Publication number
WO2016006170A1
WO2016006170A1 PCT/JP2015/003061 JP2015003061W WO2016006170A1 WO 2016006170 A1 WO2016006170 A1 WO 2016006170A1 JP 2015003061 W JP2015003061 W JP 2015003061W WO 2016006170 A1 WO2016006170 A1 WO 2016006170A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
image
unit
user
Prior art date
Application number
PCT/JP2015/003061
Other languages
English (en)
French (fr)
Inventor
佳行 津田
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/322,192 priority Critical patent/US20170153699A1/en
Priority to DE112015003148.0T priority patent/DE112015003148T5/de
Publication of WO2016006170A1 publication Critical patent/WO2016006170A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Definitions

  • the present disclosure relates to a gaze input parameter correction device and a gaze input device.
  • the inventors of the present application found the following.
  • the parameter correction method described in Patent Document 1 adopts the line-of-sight direction at the time of occurrence of an event as the line-of-sight direction corresponding to the marker position at the time of event occurrence. If an event is generated while the user is intentionally looking at a position that is not intended to be viewed in order to operate the marker, an incorrect parameter correction is performed and the line-of-sight detection accuracy is further deteriorated. There is a risk that.
  • An object of the present disclosure is to provide a gaze input parameter correction device or a gaze input device capable of automatically and accurately correcting a gaze input parameter.
  • the line-of-sight input parameter correction device determines which image the user is viewing from the image group displayed on the display device, and acquires an image of the user's face
  • the map creation unit, the storage device that stores the information of the image group displayed on the display device, the multiple areas obtained by the gazing point map creation unit, and the information of the image group stored in the storage device are compared.
  • a correction unit that estimates which of the image groups corresponds to the plurality of areas and corrects the parameters of the line-of-sight detection unit based on the estimation result.
  • the parameters are corrected by associating a plurality of areas where the line of sight stays on the screen of the display device with the image group on the display screen. Compared with the method of correcting the parameters, it is possible to correct the line-of-sight input parameters with high accuracy.
  • the line-of-sight input device displays an image group on the display device, and determines which image the user is looking at by determining which image the user is viewing.
  • An image acquisition unit that determines a user's face image
  • a line-of-sight detection unit that detects a user's line-of-sight position based on the acquired face image
  • a display control unit that displays an image group on a display device
  • a gazing point map creation unit that identifies a plurality of areas where the line of sight stays on the screen of the display device based on the detection result of the sight line detection unit
  • a storage device that stores information on the image group displayed on the display device, and a note
  • the plurality of areas obtained by the viewpoint map creation unit and the positional relationship between the image groups stored in the storage device are compared to estimate which of the image groups corresponds to each of the image groups.
  • a correction unit that corrects a parameter of the detection unit; and a determination unit that determines which image the user is currently viewing among the image group displayed on the display device based on the parameter corrected by the correction unit.
  • the display control unit replaces the image group with a new image group when a determination input operation is performed on the image viewed by the user after the determination unit determines which image the user is viewing.
  • the parameters are corrected by associating a plurality of areas where the line of sight stays on the screen of the display device with the image group on the display screen, Compared with the method of correcting parameters based on the user's line of sight, the line-of-sight input parameter can be corrected with high accuracy.
  • the gaze input parameter correction device or the gaze input device, the gaze input parameter can be automatically and accurately corrected.
  • FIG. 1 is a block diagram illustrating a configuration of a line-of-sight input device and a line-of-sight input parameter correction device according to the embodiment.
  • FIG. 2 is a diagram visualizing a specific example of correction performed by the correction unit
  • FIG. 3 is a flowchart showing a method of correcting the line-of-sight input parameter
  • FIG. 4 is a diagram illustrating a display example when the displayed image group is replaced with a new image group by the user's decision input
  • FIG. 5 is a diagram illustrating an example in which correction is performed using an image group arranged in a V shape or a fan shape.
  • FIG. 1 is a block diagram showing the configuration of the line-of-sight input device 100 and the line-of-sight input parameter correction device 220 in this embodiment.
  • the line-of-sight input parameter correction device 220 is also called a line-of-sight input parameter correction device.
  • the line-of-sight input device 100 according to the present embodiment is mounted on a vehicle (not shown), and a vehicle occupant (user of the line-of-sight input device 100) uses an image captured by an imaging device 110 mounted on a dashboard or a steering column.
  • a decision input device 130 such as a steering switch
  • the line-of-sight input device 100 includes an image acquisition unit (face image acquisition unit) 150 that acquires an image of the user's face from the imaging device 110, and a line-of-sight detection unit that repeatedly detects the user's line-of-sight position based on the face image.
  • image acquisition unit face image acquisition unit
  • line-of-sight detection unit that repeatedly detects the user's line-of-sight position based on the face image.
  • a gaze point map creation unit 170 for identifying a plurality of areas where the line of sight stays on the screen of the display device 120 in a specific period (for example, 2 to 3 seconds) based on the detection result of the line-of-sight detection unit 160, and the specification Based on the storage device 180 that stores information of the image group displayed on the display device 120 during the period, the line-of-sight position detected by the line-of-sight detection unit 160, and the line-of-sight input parameter stored in the storage device 180.
  • the determination unit 190 that determines which image the user is currently viewing, and the image groups stored in the storage device
  • the correction unit 200 that corrects the line-of-sight input parameter based on the information and the gaze point map, and the display control that changes the display mode of the display device 120 based on which image the user is currently viewing and / or the determination input operation Part 210.
  • the display device 210 causes the display device 120 to display an image group according to the execution state of the currently executing application program. After the determination unit 190 determines which image the user is viewing, the display device 210 displays the image group. When a decision input operation is performed on an image viewed by the user, the state of the application program being executed is changed, and the displayed image group is replaced with a new image group.
  • the (X, Y) coordinates are given to the line-of-sight positions repeatedly detected by the line-of-sight detection unit 160, and the gazing point map creation unit 160 uses the (X, Y) coordinates on the screen of the display device 120.
  • a plurality of areas where the line of sight stays are identified and stored in the storage device as a gazing point map.
  • the image acquisition unit 150, the line-of-sight detection unit 160, the gazing point map creation unit 170, the storage unit 180, and the correction unit 200 serve as the line-of-sight input parameter correction device 220 according to this embodiment. It is composed.
  • FIG. 2 is a diagram in which a specific example of control performed by the correction unit 220 is visualized.
  • an arrangement example of the image group (button image A to button image F) displayed on the display device 120 in a specific period in which the line-of-sight data from which the gaze point map is obtained is obtained. Is shown.
  • the coordinate system in the upper right of FIG. 2 shows an example of a gazing point map created by the gazing point map creating unit 170 based on the line-of-sight data obtained in the specific period.
  • the correction unit 220 loads the arrangement information of these image groups and the gazing point map from the storage unit 180, compares the positional relationship of the image groups with the positional relationship of each area in the gazing point map, and a plurality of areas are image groups. It is estimated which of the images corresponds to.
  • the correction unit corrects the line-of-sight input parameter based on the estimated correspondence, and stores the corrected line-of-sight input parameter in the storage device 180.
  • the gaze point map is updated by using the user's overhead view of the plurality of image groups displayed on the display screen, and the line of sight is based on the gaze point map and the arrangement information of the actually displayed image group. Since the input parameter is corrected and updated to a new one, it is possible to accurately correct the line-of-sight input parameter without taking time and effort for the user.
  • FIG. 3 is a flowchart for more specifically explaining the gaze input parameter correction method described in FIG.
  • the line-of-sight detection unit 160 measures the line-of-sight position and assigns (X, Y) coordinates.
  • the (X, Y) coordinates of the line-of-sight position measured in S1 and the image group displayed on the display device 120 by the application program being executed via the display control device 210 are corrected for the line-of-sight input parameter.
  • the process returns to S1.
  • the determination of whether or not the gaze input parameter needs to be corrected can be made by various methods. For example, the gaze position is within a predetermined range (for example, 1.5 times the display screen area) for a specific period (for example, 2 to 3 seconds). It is good to make a judgment based on whether or not it is in place.
  • S5 it is determined whether or not the moving speed of the line of sight at each time t in the specific period calculated in S4 is less than a predetermined threshold speed (Tg: for example, 100 deg / sec) for a certain time. If the moving speed does not fall below the predetermined threshold speed (Tg) for a predetermined time (for example, 0.2 to 0.3 seconds), that is, if S5 is negative, at least one of If the moving speed is equal to or higher than the predetermined threshold speed (Tg) for the predetermined time at the time, that is, if S5 is affirmative, the process proceeds to S6.
  • Tg predetermined threshold speed
  • a position where the line of sight stays at a certain position on the screen of the display device 120 is determined from a set of line-of-sight position data at a time when the movement speed of the line of sight becomes less than a predetermined speed for a certain time. Specifically, the average position coordinates (avet (xt, yt)) of the line-of-sight position data at the time when the speed is less than the predetermined speed for a certain time are calculated.
  • the average position coordinates (avet (xt, yt)) calculated in S6 are added to the gaze point map (G (X, Y)) provided in the storage device 180, and the new gaze point (X, Y). And proceed to S8. For example, if the line of sight stops for a certain period of time, it is determined to be gaze and added to the gaze point map.
  • the plurality of clusters selected in S8 correspond to areas 1 to 5 on the gazing point map in FIG. By dividing the line-of-sight positions detected in this way into appropriate groups (clusters) and specifying them as a plurality of areas, matching with the image group displayed on the display device can be achieved. For example, a point having a high gaze frequency and a local maximum value (maximum) in the gaze point map is extracted as a cluster.
  • S9 it is determined whether or not the number of clusters (Nm (P)) extracted in S8 is larger than a predetermined number (Tn). If it is determined that the number of extracted clusters (Nm (P)) is equal to or less than the predetermined number (Tn), it is determined that sufficient data for correcting the line-of-sight input parameter has not yet been obtained, and the process returns to S1. That is, it is possible to prevent correction with only a small number of areas that are not suitable for parameter correction. If it is determined that the number of extracted clusters (Nm (P)) is larger than the predetermined number (Tn), the process proceeds to S10.
  • the predetermined number (Tn) is predetermined in advance depending on the number and arrangement of displayed image groups.
  • the position coordinates of the extracted cluster are matched with the position coordinates of the image group displayed on the display device 120 by the application program being executed during the specific period via the display control device 210, and a predetermined algorithm Based on the above, a correction value candidate (F) for the line-of-sight input parameter is calculated.
  • Xbef and Ybef are the gaze position coordinates originally calculated by the gaze detection unit 160
  • Xaft and Yaft are the gaze position coordinates reflecting the gaze input parameters
  • ax, ay, bx, and by are constants to be corrected.
  • the predetermined algorithm in S10 changes the variables ax, ay, bx, and by of the linear function F (X, Y), calculates the distance to the image with the closest coordinate in each cluster i, and calculates the distance between them.
  • An algorithm for obtaining variables ax, ay, bx, and by which the sum is minimized can be employed.
  • the linear function F (X, Y) is changed, and the difference from the icon coordinates Icn closest to the coordinates of each point of F (P) is taken as an error.
  • the linear function F (X, Y) may be obtained by minimizing the sum of errors.
  • S11 it is verified whether the correction value candidate of the line-of-sight input parameter calculated in S10 is correct. If it is determined to be correct, the process proceeds to S12, and if it is determined not correct, the process returns to S1.
  • the verification of whether the correction value candidate of the line input parameter is correct can be determined by various methods. For example, the distance between (Xaft, Yaft) and the image, that is, whether the total of residual errors is less than a threshold value. It is good to verify by judging.
  • the correction unit 200 performs correction to replace the line-of-sight input parameter (C) in the storage device 180 with the line-of-sight input parameter correction value candidate (F) calculated in S10.
  • a parameter can be corrected by associating a plurality of areas where the line of sight stays on the screen of the display device 120 and an image group on the display screen, some decision input has been made. Compared with the method of correcting the parameters based on the user's line of sight at the time, the line-of-sight input parameter can be corrected with high accuracy.
  • FIG. 4 shows an example in which the state of the application program being executed is changed by the display control unit 210 by the user's input to the decision input unit 130 and the displayed image group is replaced with a new image group. Yes.
  • the replacement of the image group shown in FIG. 4 is characterized in that a new image group having the same image arrangement as that of the image group before the replacement is used as a new image group. As a result, it is possible to compare position information of a plurality of areas accumulated based on the image group before replacement with a new image group, and it is possible to correct parameters with higher accuracy.
  • the image group shown in FIG. 4 is arranged in a ring shape
  • the image group shown in FIG. 5 is arranged in a V shape or a fan shape.
  • the line-of-sight input parameter correction device determines which image the user is viewing from the image group displayed on the display device, and acquires the face image of the user.
  • a gaze detection unit that detects a user's gaze position based on the face image
  • a gaze point map creation unit that identifies a plurality of areas where the gaze has remained on the screen of the display device based on a detection result of the gaze detection unit
  • a display A storage device that stores information on the image group displayed on the device, a plurality of areas obtained by the gazing point map creation unit, and information on the image group stored in the storage device are compared.
  • a correction unit that corrects the parameters of the line-of-sight detection unit based on the estimation result.
  • the parameters are corrected by associating a plurality of areas where the line of sight stays on the screen of the display device with the image group on the display screen. Compared with the method of correcting the parameters, it is possible to correct the line-of-sight input parameters with high accuracy.
  • the gazing point map creation unit may exclude, as noise, an area in which the line-of-sight stop time is shorter than a predetermined time from a plurality of areas where the line-of-sight stays. Thereby, parameter correction with higher accuracy is possible using a plurality of areas from which noise is removed.
  • the correction unit when the number of areas specified by the gaze point map generation unit is less than a predetermined number, the correction unit does not have to perform parameter correction. As a result, it is possible to prevent correction using only a small number of areas that are not suitable for parameter correction.
  • the gaze point map creation unit calculates a movement speed of the line of sight, determines that the line of sight has remained when the movement speed is less than a predetermined speed, and determines that the line of sight has remained.
  • a plurality of line-of-sight positions may be stored, and the plurality of stored line-of-sight positions may be divided into a plurality of groups to identify the plurality of areas.
  • the detected line-of-sight positions can be divided into appropriate groups and specified as a plurality of areas.
  • the line-of-sight input device displays an image group on the display device, determines which image the user is looking at by determining which image the user is looking at, and determines the face image of the user Based on the detection results of the image acquisition unit, the gaze detection unit that detects the user's gaze position based on the acquired face image, the display control unit that displays the image group on the display device, and the gaze detection unit
  • a gazing point map creation unit that identifies a plurality of areas where the line of sight stays on the screen of the display device, a storage device that stores information on the image group displayed on the display device, and a plurality of points obtained by the gazing point map creation unit Compare the area and the positional relationship of the image group stored in the storage device, estimate which of the image group corresponds to the plurality of areas, and set the parameters of the eye gaze detection unit based on the estimation result Comprising a positive correcting unit, among the image group displayed on the display device based on the corrected parameter by the correction unit, the user and the determination section for determining looking at
  • the parameters are corrected by associating a plurality of areas where the line of sight stays on the screen of the display device with the image group on the display screen, Compared with the method of correcting parameters based on the user's line of sight, the line-of-sight input parameter can be corrected with high accuracy.
  • the display control unit may cause the display device to display an image group arranged in a ring shape, a V shape, or a fan shape.
  • the display control unit may use a new image group having the same image arrangement as that of the image group before replacement as a new image group. As a result, it is possible to compare position information of a plurality of areas accumulated based on the image group before replacement with a new image group, and it is possible to correct parameters with higher accuracy.
  • each step is expressed as, for example, S1. Further, each step can be divided into a plurality of sub-steps, while a plurality of steps can be combined into one step.
  • the embodiments, configurations, and aspects of the line-of-sight input parameter correction device and the line-of-sight input device have been illustrated above, but the embodiments, configurations, and aspects related to the line-of-sight input parameter correction device and the line-of-sight input device include the embodiments described above, It is not limited to each structure and each aspect.
  • the embodiments, configurations, and aspects obtained by appropriately combining technical sections described in different embodiments, configurations, and aspects also include the embodiments, configurations, and aspects related to the gaze input parameter correction device and the gaze input device. Included in the range.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　視線入力パラメータの補正装置は、表示装置に表示された画像群のうち、ユーザーがどの画像を見ているかを判定する。視線入力パラメータの補正装置は、ユーザーの顔画像を取得する画像取得部と、ユーザーの視線位置を検出する視線検出部と、表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、表示装置に表示されていた画像群の情報を記憶する記憶装置と、注視点マップ作成部によって得られた複数エリアと、記憶装置に記憶されていた画像群の情報とを比較し、複数エリアが画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部とを備える。

Description

視線入力パラメータの補正装置、及び視線入力装置 関連出願の相互参照
　本出願は、２０１４年７月８日に出願された日本国特許出願２０１４－１４０６２８号に基づくものであり、ここにその記載内容を参照により援用する。
　本開示は、視線入力パラメータの補正装置および視線入力装置に関するものである。
　ユーザーに手間を取らせることなく、自動的に視線入力のパラメータを補正する技術として、ユーザーにより発生されたイベントの発生時点において表示されていたマーカの位置と、イベントの発生時点において視線センサが検出していた視線方向とに基づいて視線入力のパラメータを補正する方法が知られている（例えば特許文献１）。
　本願発明者は下記を見出した。上記特許文献１に記載のパラメータの補正方法は、イベントの発生時点の視線方向をイベント発生時点のマーカ位置に対応する視線方向として採用してしまうため、例えば補正前の視線入力パラメータが大きくずれていた場合など、ユーザーがマーカを操作するために意図的に本来見るべき位置ではない位置を注視した状態でイベントを発生させると、誤ったパラメータの補正が行われて視線検出精度が更に悪化してしまうおそれがある。
日本国公開特許公報２０００－１０７２３号
　本開示の目的は視線入力パラメータの補正を自動的に精度よく行うことが可能な視線入力パラメータの補正装置または視線入力装置を提供することである。
　本開示の第一の態様によれば、視線入力パラメータの補正装置は、表示装置に表示された画像群のうち、ユーザーがどの画像を見ているかを判定し、ユーザーの顔画像を取得する画像取得部と、取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、視線検出部の検出結果に基づいて表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、表示装置に表示されていた画像群の情報を記憶する記憶装置と、注視点マップ作成部によって得られた複数エリアと記憶装置に記憶されている画像群の情報とを比較し、複数エリアが画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部とを備える。
　視線入力パラメータの補正装置によれば、表示装置の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正するため、イベント発生時のユーザーの視線に基づいてパラメータを補正する手法と比べて、視線入力パラメータの補正を精度よく行うことが可能となる。
　本開示の第二の態様によれば、視線入力装置は、表示装置に画像群を表示させ、ユーザーがどの画像を見ているかを判定することで該ユーザーが前記画像群のいずれを選択しようとしているのか判定し、ユーザーの顔画像を取得する画像取得部と、取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、表示装置に画像群を表示させる表示制御部と、視線検出部の検出結果に基づいて表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、表示装置に表示されていた画像群の情報を記憶する記憶装置と、注視点マップ作成部によって得られた複数エリアと、記憶装置に記憶されていた画像群の位置関係とを比較し、複数エリアが画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部と、補正部によって補正されたパラメータに基づいて表示装置に表示された画像群のうち、ユーザーが現在どの画像を見ているかを判定する判定部と、を備える。表示制御部は、判定部によってユーザーがどの画像を見ているのか判定した後に、該ユーザーが見ている前記画像に対する決定入力操作がなされた場合には画像群を新しい画像群に置き換える。
　視線入力装置によれば、視線入力パラメータの補正装置と同じく、表示装置の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正するため、イベント発生時のユーザーの視線に基づいてパラメータを補正する手法と比べて視線入力パラメータの補正を精度よく行うことが可能となる。
　視線入力パラメータの補正装置または視線入力装置によれば、視線入力パラメータの補正を自動的に精度よく行うことが可能となる。
　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において
図１は、実施形態における視線入力装置および視線入力パラメータ補正装置の構成を示すブロック図であり、 図２は、補正部が行う補正の具体例を可視化した図であり、 図３は、視線入力パラメータの補正方法を示すフローチャートであり、 図４は、ユーザーの決定入力によって表示中の画像群が新しい画像群に置き換わったときの表示例を示す図であり、 図５は、Ｖ字状または扇状に並んだ画像群を用いて補正を行った例を示した図である。
　以下、実施形態を図面に基づいて説明する。なお、実形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。
　図１は本実施形態における視線入力装置１００および視線入力パラメータ補正装置２２０の構成を示すブロック図である。視線入力パラメータ補正装置２２０は視線入力パラメータの補正装置とも呼ぶ。本実施形態における視線入力装置１００は、図示しない車両に搭載されるものであり、ダッシュボードやステアリングコラムに搭載された撮像装置１１０で撮影した画像から車両の乗員（視線入力装置１００のユーザー）がセンターメーターやヘッドアップディスプレイなどの車載表示装置１２０に表示された画像群のうち、どの画像を見ているかを判定し、ステアリングスイッチなどの決定入力装置１３０によって決定入力がなされた場合に、該ユーザーが見ていた画像に対応するアプリケーションプログラム１４０を実行させるものである。
　以下、視線入力装置１００の各構成要素について説明する。本実施形態における視線入力装置１００は、撮像装置１１０からユーザーの顔の画像を取得する画像取得部（顔画像取得部）１５０と、顔画像に基づいてユーザーの視線位置を繰り返し検出する視線検出部１６０と、視線検出部１６０の検出結果に基づいてある特定期間（例えば２～３秒間）において表示装置１２０の画面上で視線が留まったエリアを複数特定する注視点マップ作成部１７０と、該特定期間において表示装置１２０に表示されていた画像群の情報を記憶する記憶装置１８０と、視線検出部１６０で検出した視線位置と記憶装置１８０に記憶された視線入力パラメータとに基づいて表示装置１２０に表示されている画像群のうち、ユーザーが現在どの画像を見ているかを判定する判定部１９０と、記憶装置に記憶された画像群の情報と注視点マップとに基づいて上記視線入力パラメータを補正する補正部２００と、ユーザーが現在どの画像を見ているか及び／または決定入力操作に基づいて表示装置１２０の表示態様を変更する表示制御部２１０とを備えている。
　ここで表示装置２１０は、現在実行中のアプリケーションプログラムの実行状態に応じた画像群を表示装置１２０に表示させるものであり、判定部１９０によってユーザーがどの画像を見ているのか判定した後に、該ユーザーが見ている画像に対する決定入力操作がなされた場合に、実行中のアプリケーションプログラムの状態を遷移させて表示中の画像群を新しい画像群に置き換えるものである。
　また、視線検出部１６０で繰り返し検出された視線位置にはそれぞれ（Ｘ，Ｙ）座標が与えられ、注視点マップ作成部１６０は該（Ｘ，Ｙ）座標を用いて表示装置１２０の画面上で視線が留まったエリアを複数特定し、注視点マップとして記憶装置に記憶させる。
　また、視線入力装置１００の各構成要素のうち、画像取得部１５０、視線検出部１６０、注視点マップ作成部１７０、記憶部１８０および補正部２００が本実施形態における視線入力パラメータの補正装置２２０を構成している。
　図２は補正部２２０が行う制御の具体例を可視化した図である。図２の左上の四角形の枠内は、注視点マップの元となった視線データが得られた特定期間において表示装置１２０に表示されていた画像群（ボタン画像Ａないしボタン画像Ｆ）の配置例を示している。図２の右上の座標系は当該特定期間において得られた視線データを元に注視点マップ作成部１７０によって作成される注視点マップの例を示している。補正部２２０は、これらの画像群の配置情報と注視点マップを記憶部１８０からロードして画像群の位置関係と注視点マップ中の各エリアの位置関係を比較し、複数のエリアが画像群のうちのいずれの画像に対応するのか推測する。そして補正部は推測した対応関係に基づいて上記視線入力パラメータを補正し、補正後の視線入力パラメータを記憶装置１８０に記憶する。
　これにより、ユーザーが表示画面に表示される複数の画像群を俯瞰することを利用して注視点マップが更新され、注視点マップと実際に表示されていた画像群の配置情報とに基づいて視線入力パラメータが補正されて新しいものに更新されるため、ユーザーに手間をかけずに視線入力パラメータの補正を精度よく行うことが可能となる。
　図３は図２において説明した視線入力パラメータの補正方法をより具体的に説明するためのフローチャートである。
　まず、Ｓ１では、画像取得部１５０にて撮像装置１１０から取得した画像に基づいて、視線検出部１６０で視線位置を計測し、（Ｘ，Ｙ）座標を付与する。
　次に、Ｓ２では、Ｓ１で計測した視線位置の（Ｘ，Ｙ）座標と、実行中のアプリケーションプログラムが表示制御装置２１０を介して表示装置１２０に表示させている画像群を視線入力パラメータの補正に用いる画像群として時刻データと共に記憶装置１８０に記憶する。
　そして、Ｓ３において今すぐ視線入力パラメータの補正（キャリブレーション）を行うべきか否かを判定し、行う必要が無いと判定された場合はＳ１に戻る。視線入力パラメータの補正要否の判定は、様々な方法によって判定できるが、例えば、特定期間（例えば、２～３秒間）視線位置が所定の範囲（例えば、表示画面領域の１．５倍）に収まっているかどうかによって判定するようにすると良い。
　Ｓ３において今すぐ視線入力パラメータの補正が必要だと判定された場合、Ｓ４において、特定期間（例えば、２～３秒間）遡って記憶装置１８０に蓄積された各時刻ｔにおける視線位置の（Ｘ，Ｙ）座標から各時刻ｔにおける視線の移動速度（瞬間的な移動量：ｄｘｔ，ｄｙｔ）を算出し、Ｓ５へと進む。
　Ｓ５では、Ｓ４で算出した上記特定期間中の各時刻ｔそれぞれにおける視線の移動速度が、一定時間所定の閾値速度（Ｔｇ：例えば１００ｄｅｇ／秒）未満であるか否かを判定し、いずれの時刻においても移動速度が所定時間（例えば０．２～０．３秒間）所定の閾値速度（Ｔｇ）以下とならなかった場合、即ちＳ５が否定判定であった場合はＳ１に戻り、少なくともいずれかの時刻において移動速度が上記所定時間、所定の閾値速度（Ｔｇ）以上となっていた場合、即ちＳ５が肯定判定であった場合はＳ６に進む。これにより、ある期間視線が留まったエリアあったとしても、視線の停留時間が非常に短いものはノイズとして対象から除外することができる。これにより、ノイズが除かれたデータ用いたより精度の高いパラメータ補正が可能となる。
　Ｓ６では、視線の移動速度が一定時間所定速度未満となった時刻の視線位置データの集合から、視線が表示装置１２０の画面上のある位置で留まった位置を判定する。具体的には、一定時間所定速度未満となった時刻の視線位置データの平均位置座標（ａｖｅｔ（ｘｔ，ｙｔ））を算出する。
　そして、Ｓ７では、Ｓ６で算出した平均位置座標（ａｖｅｔ（ｘｔ，ｙｔ））を、記憶装置１８０内に設けられた注視点マップ（Ｇ（Ｘ，Ｙ））に新しい注視点（Ｘ，Ｙ）として加え、Ｓ８へと進む。例えば、一定時間視線が停留したら注視と判定し、注視点マップに追加する。
　Ｓ８では、注視点マップ（Ｇ（Ｘ，Ｙ））に蓄えられた複数の注視点（Ｘ，Ｙ）のうち、所定数以上の注視点が集まった注視点グループ（Ｇ（Ｘ，Ｙ）極大：以下クラスタと称する）を複数抽出し、Ｓ９へと進む。このＳ８において選ばれた複数のクラスタは、図２における注視点マップ上の各エリア１～５に相当する。このように検出された視線位置を適切なグループ（クラスタ）に分けて複数のエリアとして特定することで、表示装置に表示していた画像群とのマッチングを取ることが可能となる。例えば、注視点マップの中で注視頻度が高く、かつ、局所的な最大値（極大）になっている点をクラスタとして抽出する。
　Ｓ９では、Ｓ８で抽出したクラスタ数（Ｎｍ（Ｐ））が、所定数（Ｔｎ）よりも大きいか否かを判定する。抽出したクラスタ数（Ｎｍ（Ｐ））が所定数（Ｔｎ）以下であったと判定すると、視線入力パラメータの補正を行うのに充分な数のデータがまだ得られていないとして、Ｓ１に戻る。つまり、パラメータ補正に適さない少数のエリアのみで補正を行うことを防止できる。また、抽出したクラスタ数（Ｎｍ（Ｐ））が所定数（Ｔｎ）よりも大きいと判定すると、Ｓ１０へと進む。尚、上記所定数（Ｔｎ）は表示されていた画像群の数および配置に依存してその最小数が予め決定されている。
　Ｓ１０では、抽出したクラスタの位置座標と、上記特定期間中において実行中のアプリケーションプログラムが表示制御装置２１０を介して表示装置１２０に表示させていた画像群の位置座標とをマッチングさせ、所定のアルゴリズムに基づいて視線入力パラメータの補正値候補（Ｆ）を算出する。
　以下、一例として視線入力パラメータが視線位置座標を引数とする線形関数Ｆ（Ｘ，Ｙ）で表されている場合を説明する。ここで、Ｘｂｅｆ，Ｙｂｅｆを視線検出部１６０がオリジナルで算出した視線位置座標、Ｘａｆｔ、Ｙａｆｔを視線入力パラメータが反映された視線位置座標、ａｘ、ａｙ、ｂｘ、ｂｙを補正対象となる定数とすると、Ｆ（Ｘ，Ｙ）は、（Ｘａｆｔ＝ａｘ＊Ｘｂｅｆ＋ｂｙ、Ｙａｆｔ＝ａｙ＊Ｘｂｅｆ＋ｂｙ）となる。
　上記Ｓ１０における所定のアルゴリズムは、例えば上記線形関数Ｆ（Ｘ，Ｙ）の変数ａｘ、ａｙ、ｂｘ、ｂｙを変化させ、各クラスタｉにおいて最も座標が近い画像との距離を算出し、それら距離の合計が最小となる変数ａｘ、ａｙ、ｂｘ、ｂｙを求めるアルゴリズムを採用することができる。線形関数Ｆ（Ｘ，Ｙ）を変化させ、Ｆ（Ｐ）各点の座標に最も近いアイコン座標Icnとの差分を誤差とする。誤差の合計を最小化することで、線形関数Ｆ（Ｘ，Ｙ）を求めてもよい。
　Ｓ１１では、Ｓ１０で算出した視線入力パラメータの補正値候補が正しいか否かを検証し、正しいと判定した場合はＳ１２へと進み、正しくないと判定した場合はＳ１へと戻る。尚、線入力パラメータの補正値候補が正しいか否かの検証は、様々な方法によって判定できるが、例えば、（Ｘａｆｔ，Ｙａｆｔ）と画像との距離、即ち残存誤差の合計が閾値未満かどうかを判定することによって検証するようにすると良い。
　Ｓ１３では、補正部２００によって記憶装置１８０内の視線入力パラメータ（Ｃ）をＳ１０で算出した視線入力パラメータの補正値候補（Ｆ）で置き換える補正を行う。
　以上の説明した実施形態によれば、表示装置１２０の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正することができるため、何らかの決定入力がなされた時点のユーザーの視線に基づいてパラメータを補正する手法と比べて、視線入力パラメータの補正を精度よく行うことが可能となる。
　また、図４は、表示制御部２１０がユーザーの決定入力部１３０への入力によって実行中のアプリケーションプログラムの状態を遷移させ、表示中の画像群を新しい画像群に置き換えたときの例を示している。図４に示された画像群の置き換えは、新しい画像群として、置き換え前の画像群の画像配置と同一の画像配置の新しい画像群を用いることを特徴としている。これにより、置き換え前の画像群に基づいて蓄積した複数エリアの位置情報を新しい画像群とも対比させることが可能となり、より精度の高いパラメータの補正を行うことが可能となる。
　また、図４に示した画像群は環状に並んで配置されており、図５に示した画像群はＶ字状または扇状に並んでいる。このように画像群を配置することで、画面上で視線が留まった複数エリアの数が少ない場合であっても、該複数エリアが画像群のどの画像にそれぞれ対応するのか対応付けることが容易となる。即ち、画像群を縦横のマトリックス状に当配列した場合に比べて上述した所定数（Ｔｎ）が満たすべき最小値を小さくすることができる。
　以上をまとめると、視線入力パラメータの補正装置は、表示装置に表示された画像群のうち、ユーザーがどの画像を見ているかを判定し、ユーザーの顔画像を取得する画像取得部と、取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、視線検出部の検出結果に基づいて表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、表示装置に表示されていた画像群の情報を記憶する記憶装置と、注視点マップ作成部によって得られた複数エリアと記憶装置に記憶されている画像群の情報とを比較し、複数エリアが画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部とを備える。
　視線入力パラメータの補正装置によれば、表示装置の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正するため、イベント発生時のユーザーの視線に基づいてパラメータを補正する手法と比べて、視線入力パラメータの補正を精度よく行うことが可能となる。
　また視線入力パラメータの補正装置において、上記注視点マップ作成部は、視線が留まった複数エリアのうち、視線の停留時間が所定の時間よりも短いエリアをノイズとして対象から除外してもよい。これにより、ノイズが除かれた複数エリアを用いてより精度の高いパラメータ補正が可能となる。
　更に、視線入力パラメータの補正装置において、前記注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、上記補正部はパラメータの補正を行わなくてもよい。これにより、パラメータ補正に適さない少数のエリアのみで補正を行うことを防止できる。
　更に、視線入力パラメータの補正装置において、上記注視点マップ作成部が、視線の移動速度を算出し、該移動速度が所定速度未満であった場合に視線が留まったと判定し、視線が留まったと判定したときの視線位置を複数記憶し、複数記憶された視線位置を複数のグループに分けて前記複数のエリアを特定してもよい。これにより、検出された視線位置を適切なグループに分けて複数のエリアとして特定することが可能となる。
　また、視線入力装置は、表示装置に画像群を表示させ、ユーザーがどの画像を見ているかを判定することで該ユーザーが前記画像群のいずれを選択しようとしているのか判定し、ユーザーの顔画像を取得する画像取得部と、取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、表示装置に画像群を表示させる表示制御部と、視線検出部の検出結果に基づいて表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、表示装置に表示されていた画像群の情報を記憶する記憶装置と、注視点マップ作成部によって得られた複数エリアと、記憶装置に記憶されていた画像群の位置関係とを比較し、複数エリアが画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部と、補正部によって補正されたパラメータに基づいて表示装置に表示された画像群のうち、ユーザーが現在どの画像を見ているかを判定する判定部と、を備える。表示制御部は、判定部によってユーザーがどの画像を見ているのか判定した後に、該ユーザーが見ている前記画像に対する決定入力操作がなされた場合には画像群を新しい画像群に置き換える。
　視線入力装置によれば、視線入力パラメータの補正装置と同じく、表示装置の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正するため、イベント発生時のユーザーの視線に基づいてパラメータを補正する手法と比べて視線入力パラメータの補正を精度よく行うことが可能となる。
　また、視線入力装置は、表示制御部が、環状、Ｖ字状または扇状に並んだ画像群を前記表示装置に表示させてもよい。これにより、画面上で視線が留まった複数エリアの数が少ない場合であっても、該複数エリアが画像群のどの画像にそれぞれ対応するのか対応付けることが容易となる。
　また、視線入力装置は、表示制御部は、新しい画像群として、置き換え前の画像群の画像配置と同一の画像配置の新しい画像群を用いてもよい。これにより、置き換え前の画像群に基づいて蓄積した複数エリアの位置情報を新しい画像群とも対比させることが可能となり、より精度の高いパラメータの補正を行うことが可能となる。
　この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。
　以上、視線入力パラメータの補正装置および視線入力装置の実施形態、構成、態様を例示したが、視線入力パラメータの補正装置および視線入力装置に係わる実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ記載された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても視線入力パラメータの補正装置および視線入力装置に係わる実施形態、構成、態様の範囲に含まれる。

Claims (7)

  1. 　表示装置（１２０）に表示された画像群のうち、ユーザーがどの画像を見ているかを判定する視線入力パラメータの補正装置であって、
    　ユーザーの顔画像を取得する画像取得部（１５０）と、
    　取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部（１６０）と、
    　前記視線検出部の検出結果に基づいて前記表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部（１７０）と、
    　前記表示装置に表示されていた画像群の情報を記憶する記憶装置（１８０）と、
    　前記注視点マップ作成部によって得られた複数エリアと、前記記憶装置に記憶されていた前記画像群の情報とを比較し、前記複数エリアが前記画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部（２００）と
    　を備える視線入力パラメータの補正装置。
  2. 　前記注視点マップ作成部は、視線が留まった複数エリアのうち、視線の停留時間が所定の時間よりも短いエリアをノイズとして対象から除外する請求項１に記載の視線入力パラメータの補正装置。
  3. 　前記補正部は、前記注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、前記パラメータの補正を行わない請求項１または２に記載の視線入力パラメータの補正装置。
  4. 　前記注視点マップ作成部は、
    　視線の移動速度を算出し、
    　前記移動速度が所定速度未満であった場合に視線が留まったと判定し、
    　前記視線が留まったと判定したときの視線位置を複数記憶し、
    　前記複数記憶された視線位置を複数のグループに分けて前記複数のエリアを特定する
    　請求項１ないし３のいずれか一項に記載の視線入力パラメータの補正装置。
  5. 　表示装置（１２０）に画像群を表示させ、ユーザーがどの画像を見ているかを判定することで該ユーザーが前記画像群のいずれを選択しようとしているのか判定する視線入力装置であって、
    　ユーザーの顔画像を取得する画像取得部（１５０）と、
    　取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部（１６０）と、
    　前記表示装置に画像群を表示させる表示制御部（２１０）と、
    　前記視線検出部の検出結果に基づいて前記表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部（１７０）と、
    　前記表示装置に表示されていた画像群の情報を記憶する記憶装置（１８０）と、
    　前記注視点マップ作成部によって得られた複数エリアと、前記記憶装置に記憶されていた前記画像群の位置関係とを比較し、前記複数エリアが前記画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部（２００）と、
    　前記補正部によって補正されたパラメータに基づいて前記表示装置に表示された画像群のうち、ユーザーが現在どの画像を見ているかを判定する判定部（１９０）と、を備え、
    　前記表示制御部は、前記判定部によってユーザーがどの画像を見ているのか判定した後に、該ユーザーが見ている前記画像に対する決定入力操作がなされた場合には前記画像群を新しい画像群に置き換える視線入力装置。
  6. 　前記表示制御部は、環状、Ｖ字状または扇状に並んだ画像群を前記表示装置に表示させる請求項５に記載の視線入力装置。
  7. 　前記表示制御部は、前記新しい画像群として、置き換え前の画像群の画像配置と同一の画像配置の新しい画像群を用いる請求項５または６に記載の視線入力装置。
PCT/JP2015/003061 2014-07-08 2015-06-18 視線入力パラメータの補正装置、及び視線入力装置 WO2016006170A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/322,192 US20170153699A1 (en) 2014-07-08 2015-06-18 Sight line input parameter correction apparatus, and sight line input apparatus
DE112015003148.0T DE112015003148T5 (de) 2014-07-08 2015-06-18 Sichtlinieneingabeparameterkorrekturvorrichtung und Sichtlinieneingabevorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014140628A JP6237504B2 (ja) 2014-07-08 2014-07-08 視線入力装置
JP2014-140628 2014-07-08

Publications (1)

Publication Number Publication Date
WO2016006170A1 true WO2016006170A1 (ja) 2016-01-14

Family

ID=55063828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003061 WO2016006170A1 (ja) 2014-07-08 2015-06-18 視線入力パラメータの補正装置、及び視線入力装置

Country Status (4)

Country Link
US (1) US20170153699A1 (ja)
JP (1) JP6237504B2 (ja)
DE (1) DE112015003148T5 (ja)
WO (1) WO2016006170A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004117A (ja) * 2015-06-05 2017-01-05 富士通テン株式会社 視線検出装置および視線検出方法
JP2018041219A (ja) * 2016-09-06 2018-03-15 アイシン・エィ・ダブリュ株式会社 視点取得システムおよび視点取得プログラム
JP2019017988A (ja) * 2017-07-18 2019-02-07 富士通株式会社 視線位置検出プログラム、視線位置検出装置及び視線位置検出方法
CN108563778B (zh) * 2018-04-24 2022-11-04 北京市商汤科技开发有限公司 一种关注信息的处理方法及装置、存储介质、电子设备
JP7200749B2 (ja) * 2019-02-27 2023-01-10 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置
CN113094930B (zh) * 2021-05-06 2022-05-20 吉林大学 一种驾驶人行为状态数据采集装置和检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272517A (ja) * 1995-03-28 1996-10-18 Sanyo Electric Co Ltd 視線対応選択装置及び方法並びに情報処理装置
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
JP2012080910A (ja) * 2010-10-06 2012-04-26 Fujitsu Ltd 補正値算出装置、補正値算出方法および補正値算出プログラム
JP2014067203A (ja) * 2012-09-26 2014-04-17 Kyocera Corp 電子機器、注視点検出プログラムおよび注視点検出方法
JP2014109916A (ja) * 2012-12-03 2014-06-12 Fujitsu Ltd ユーザ操作端末装置、ユーザ操作端末プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
JP5588992B2 (ja) * 2010-03-10 2014-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 押し込み位置制御装置、押し込み位置制御方法及びタッチセンサシステム
WO2011156195A2 (en) * 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US20140055337A1 (en) * 2012-08-22 2014-02-27 Mobitv, Inc. Device eye tracking calibration
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272517A (ja) * 1995-03-28 1996-10-18 Sanyo Electric Co Ltd 視線対応選択装置及び方法並びに情報処理装置
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法
JP2012080910A (ja) * 2010-10-06 2012-04-26 Fujitsu Ltd 補正値算出装置、補正値算出方法および補正値算出プログラム
JP2014067203A (ja) * 2012-09-26 2014-04-17 Kyocera Corp 電子機器、注視点検出プログラムおよび注視点検出方法
JP2014109916A (ja) * 2012-12-03 2014-06-12 Fujitsu Ltd ユーザ操作端末装置、ユーザ操作端末プログラム

Also Published As

Publication number Publication date
DE112015003148T5 (de) 2017-03-30
US20170153699A1 (en) 2017-06-01
JP6237504B2 (ja) 2017-11-29
JP2016018377A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
WO2016006170A1 (ja) 視線入力パラメータの補正装置、及び視線入力装置
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP6351238B2 (ja) 画像処理装置、撮像装置および距離補正方法
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
US20110298988A1 (en) Moving object detection apparatus and moving object detection method
WO2012169119A1 (ja) 物体検出枠表示装置及び物体検出枠表示方法
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
US20140140577A1 (en) Eyelid detection device
US20210270625A1 (en) Follow that car
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的***和方法
EP3069935A1 (en) Rearview mirror angle setting system, method, and program
JP2006067272A (ja) カメラキャリブレーション装置及びカメラキャリブレーション方法
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
JPWO2018180597A1 (ja) 注意喚起装置
US11216064B2 (en) Non-transitory computer-readable storage medium, display control method, and display control apparatus
JP2016018377A5 (ja)
JP5644414B2 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
CN107735826A (zh) 信号机检测装置及信号机检测方法
JP2011209070A (ja) 画像処理装置
JP2020107031A (ja) 指示ジェスチャ検出装置、およびその検出方法
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP2019179289A (ja) 処理装置、及びプログラム
US11461928B2 (en) Location estimation apparatus
JP7293620B2 (ja) ジェスチャ検出装置、およびジェスチャ検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15818424

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15322192

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015003148

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15818424

Country of ref document: EP

Kind code of ref document: A1