JP2016021063A - 画像集中誘導装置及びそれを用いた画像集中誘導方法 - Google Patents

画像集中誘導装置及びそれを用いた画像集中誘導方法 Download PDF

Info

Publication number
JP2016021063A
JP2016021063A JP2015129573A JP2015129573A JP2016021063A JP 2016021063 A JP2016021063 A JP 2016021063A JP 2015129573 A JP2015129573 A JP 2015129573A JP 2015129573 A JP2015129573 A JP 2015129573A JP 2016021063 A JP2016021063 A JP 2016021063A
Authority
JP
Japan
Prior art keywords
image
data
measurement
eye movement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015129573A
Other languages
English (en)
Other versions
JP6336414B2 (ja
Inventor
▲景▼ 順 申
Kyung Soon Shin
▲景▼ 順 申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NHN Corp
Original Assignee
NHN Entertainment Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NHN Entertainment Corp filed Critical NHN Entertainment Corp
Publication of JP2016021063A publication Critical patent/JP2016021063A/ja
Application granted granted Critical
Publication of JP6336414B2 publication Critical patent/JP6336414B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Dermatology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Neurology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】本発明は画像集中誘導装置及びそれを用いた画像集中誘導方法を提供する。【解決手段】画像集中誘導装置は測定部、撮影部、データ処理部及び画像集中誘導部を含む。測定部は画像を視聴するユーザの体に接触して皮膚伝導度の測定のための測定データを出力する。撮影部はユーザの目を撮影して、目の動きの測定のための撮影データを出力する。データ処理部は測定データから皮膚伝導度の測定値を抽出し、撮影データの分析を通じて目の動き測定値を抽出し、皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れている同時に、目の動き測定値が目の動きの基準範囲を外れている場合、集中誘導制御信号を出力する。画像集中誘導部は集中誘導制御信号に従って集中誘導メッセージを出力する。これにより、ユーザの画像集中程度を正確に判断してユーザに前記集中誘導メッセージを提供することができる。【選択図】図１

Description

本発明は画像集中誘導装置及びそれを用いた画像集中誘導方法に関わり、より詳細にはオンライン講義及び動画像講義などの学習者の集中力を高めることのできる画像集中誘導装置及びそれを用いた画像集中誘導方法に関する。
インターネットの発展によりデータの伝送速度が増加されることによって、大勢の人がコンピュータやモバイル端末機でどこででも高容量の動画像を視聴できるようになった。特に、直接学校などに行かずに学習を所望する多様な学習需要者は、時間とお金を節約しながら所望する講義画像をどこででも視聴できる機会を有するようになった。即ち、動画像講義を実行することのできる端末機を所持した学習者は、所望する時点にインターネットを通じて実時間で講義の伝送を受けて視聴するか、端末機内に保存されている動画像講義を視聴することができる。
しかし、一般的な動画像講義の場合、講師が一方的に学習者に講義を提供するため、学習者に適切なフィードバックを提供することが容易ではない。それによって、学習者の講義への集中力が低下して効果的な学習効果を上げることが難しい。従って、効果的な学習のために学習者に学習者の集中状態による適切なフィードバックが提供されることが必要である。
一方、学習者からの適切なフィードバックを得るために脳波を測定する方法が提示されている。しかし、このような脳波測定を通じたフィードバック方法は脳波測定装置が複雑で装着しにくく、正確な脳波を測定するために外部ノイズを遮断するために特定の遮蔽空間で行われなければならないので、学習者のアクセスが落ちるという短所を有している。
従って、本発明はこのような問題点を解決するためのものであって、本発明の解決しようとする課題は、画像を視聴するユーザに容易に適用して画像への集中度を高めることのできる画像集中誘導装置を提供することにある。
また、本発明の解決しようとする他の課題は、前記画像集中誘導装置を用いた画像集中誘導方法を提供することにある。
本発明の一実施例による画像集中誘導装置は測定部、撮影部、データ処理部及び画像集中誘導部を含む。
前記測定部は画像出力装置から出力される任意の画像を視聴するユーザの体に接触して皮膚伝導度の測定のための測定データを出力する。前記撮影部は前記ユーザの目を撮影して、目の動きの測定のための撮影データを出力する。前記データ処理部は前記測定データから皮膚伝導度の測定値を抽出し、前記撮影データの分析を通じて目の動き測定値を抽出し、前記皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れていると同時に、前記目の動き測定値が目の動きの基準範囲を外れている場合、集中誘導制御信号を出力する。前記画像集中誘導部は前記集中誘導制御信号に従って集中誘導メッセージを出力する。
前記データ処理部は、前記測定データの出力以前に前記測定部から出力された基準出力データから皮膚伝導度の基準測定値を抽出し、前記皮膚伝導度の基準測定値を用いて前記皮膚伝導度の基準範囲を決定することができる。この際、前記測定データの出力以前には、前記画像が出力される直前に対応する出力直前時間、及び前記画像が出力された直後に対応する出力直後時間のうち少なくとも一つが含まれてもよい。
また、前記データ処理部は、前記撮影データの出力以前に前記撮影部から出力された基準撮影データを分析して前記目の動きの基準測定値を抽出し、前記目の動きの基準測定値を用いて前記目の動きの基準範囲を決定することができる。この際、前記撮影データの出力以前には、前記画像が出力される直前に対応する出力直前時間、及び前記画像が出力された直後に対応する出力直後時間のうち少なくとも一つが含まれてもよい。
前記目の動き測定値は、前記ユーザの瞬きに対応する瞬き測定値、前記ユーザの瞳孔の大きさに対応する瞳孔大きさの測定値、及び前記ユーザの目の視線に対応する視線位置測定値のうち少なくとも一つを含んでいてもよい。また、前記目の動きの基準範囲は、前記瞬き測定値の比較基準となる瞬き基準範囲、前記瞳孔大きさ測定値の比較基準となる瞳孔大きさ基準範囲、及び前記視線位置測定値の比較基準となる視線基準範囲のうち少なくとも一つを含んでいてもよい。
前記画像集中誘導部は、前記集中誘導制御信号に含まれた画像制御信号に従って、集中誘導画像を出力する画像出力部を含んでいてもよい。
また、前記画像集中誘導部は前記集中誘導制御信号に含まれた振動制御信号に従って、振動を発生させる振動発生部をさらに含んでいてもよい。
前記測定部は、前記ユーザの体の少なくとも２つの部分と接触する少なくとも２つの接触センサーを通じて前記測定データを出力してもよい。この際、前記測定データは、前記接触センサーで測定された電位値を含み、前記データ処理部は、前記電位値を用いて前記皮膚伝導度の測定値を計算することができる。
前記接触センサーは前記画像出力装置の一面の端に取り付けられてもよい。
または、前記接触センサーは、前記画像出力装置の画像を表示する前面の端と、前記前面の端に対応する後面の一部分にそれぞれ取り付けられてもよい。
または、前記接触センサーは前記画像出力装置と別途に具備されれる補助装置に取り付けられてもよい。この際、前記補助装置はペン、時計、マウス、眼鏡、イヤホーン、ヘッドホーンのうち少なくとも一つを含んでいてもよい。
または、前記接触センサーは結合手段を通じて前記ユーザの体の一部に直接装着されてもよい。この際、前記接触センサーが直接装着される体の一部は、手の指、手のひら、足指、足裏のうち少なくとも一つを含んでいてもよい。
前記撮影部は、前記画像出力装置に具備されていてもよい。
前記画像集中誘導装置は前記画像出力装置に具備され、前記撮影部で撮影が可能であるように光を照射する光出射部をさらに含んでいてもよい。この際、前記光出射部は赤外線を出射させる赤外線出力ユニットを含んでいてもよい。
続いて、本発明の一実施形態による画像集中誘導方法は画像出力装置から出力される任意の画像を視聴するユーザの体に接触された測定部によって、皮膚伝導度の測定のための測定データを出力し、前記ユーザの目を撮影する撮影部によって、目の動きの測定のための撮影データを出力し、前記測定データから皮膚伝導度の測定値を抽出し、前記撮影データを分析して目の動き測定値を抽出し、前記皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れていると同時に、前記目の動き測定値が目の動きの基準範囲を外れている場合、集中誘導メッセージを出力すること、を含む。
前記画像集中誘導方法は、前記皮膚伝導度の基準範囲を決定すること、及び前記目の動きの基準範囲を決定すること、をさらに含んでいてもよい。
前記皮膚伝導度の基準範囲を決定することは、前記測定データの出力以前に、前記測定部から基準出力データを出力し、前記基準出力データから皮膚伝導度基準測定値を抽出し、前記皮膚伝導度の基準測定値を用いて前記皮膚伝導度の基準範囲を決定すること、を含んでいてもよい。
前記目の動きの基準範囲を決定することは、前記撮影データの出力以前に、前記撮影部で基準撮影データを出力し、前記基準撮影データを分析して目の動きの基準測定値を抽出し、前記目の動きの基準測定値を用いて前記目の動きの基準範囲を決定すること、を含んでいてもよい。
前記集中誘導メッセージを出力することにおいては、前記皮膚伝導度の測定値が前記皮膚伝導度の基準範囲を外れていると同時に、前記目の動き測定値が前記目の動きの基準範囲を外れている場合、前記画像出力装置で前記画像を停止させ集中誘導画像を出力することができる。
前記画像集中誘導方法は前記画像が停止された後、前記測定部から再測定データを出力し、前記画像が停止された後、前記撮影部から再撮影データを出力し、前記再測定データから皮膚伝導度の再測定値を抽出し、前記再撮影データを分析して目の動き再測定値を抽出し、前記皮膚伝導度の再測定値が前記皮膚伝導度の基準範囲内に含まれるか、前記目の動き再測定値が前記目の動きの基準範囲内に含まれる場合、前記画像出力装置で前記画像を再び再生させること、をさらに含んでいてもよい。
このように本発明による画像集中誘導装置及びそれを用いた画像集中誘導方法によると、測定部から提供された測定データ及び撮影部から提供された撮影データを全部用いることで、画像撮影装置から出力されている画像を視聴するユーザの画像集中程度をより精密に測定することができる。
また、前記ユーザの画像集中程度が低下されたと判断されると、出力されている画像を停止させ集中誘導画像を出力することで、前記ユーザを再度画像に集中させるように自然に誘導することができる。
本発明の一実施形態による画像集中誘導装置を説明するためのブロック図である。 図１の画像集中誘導装置を具備した画像出力装置の一例を示した図面である。 図１の画像集中誘導装置を具備した画像出力装置の他の例を示した図面である。 図１の画像集中誘導装置を具備した画像出力装置のさらに他の例を示した図面である。 図１の画像集中誘導装置を具備した画像出力装置のさらに他の例を示した図面である。 図１の画像集中誘導装置を用いた画像集中誘導方法を説明するためのフロー図である。 図６の皮膚伝導度の基準範囲決定過程を説明するためのフロー図である。 図６の目の動きの基準範囲決定過程を説明するためのフロー図である。
本発明は多様な変更を加えることができ、多様な形態を有することできる。ここでは、特定の実施形態を図面に例示し本文に詳細に説明する。
しかし、これは本発明を特定の開示形態に限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むこととして理解されるべきである。第１、第２などの用語は多用な構成要素を説明するのに使用されることがあるが、前記構成要素は前記用語によって限定解釈されない。前記用語は一つの構成要素を他の構成要素から区別する目的のみとして使用される。例えば、本発明の権利範囲を外れることなく第１構成要素を第２構成要素ということができ、同様に第２構成要素も第１構成要素ということができる。
本出願において使用した用語は単なる特定の実施形態を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に示さない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書に記載された特徴、数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを意味し、一つまたはそれ以上の他の特徴や数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないこととして理解されるべきである。
以下、図面を参照して本発明の好適な一実施形態をより詳細に説明する。
図１は本発明の一実施形態による画像集中誘導装置を説明するためのブロック図であり、図２は図１の画像集中誘導装置を具備した画像出力装置の一例を示した図面である。
図１及び図２を参照すると、本実施形態による画像集中誘導装置は、画像を出力する画像出力装置１０に装着されて、前記画像を視聴するユーザの画像に対する集中度を高めるための装置である。
本実施形態において、画像は複数のイメージの結合体である単純画像のみを意味していてもよく、単純画像にオーディオが含まれていてもよい。従って、画像出力装置１０は、単純画像のみを表示するディスプレイ装置であってもよく、単純画像と音響を共に出力するマルチメディア装置であってもよい。例えば、画像出力装置１０はスマートホン、タブレットＰＣなどのようなモバイル端末機や、ＰＣと連結されたモニター、ノートブックなどのコンピュータシステムであるか、動画像講義を学習するための学習機であってもよい。
画像集中誘導装置は測定部１００、撮影部２００、光出射部３００、データ処理部４００、及び画像集中誘導部５００を含む。
測定部１００は画像出力装置１０から出力される任意の画像を視聴するユーザの体に接触して皮膚伝導度の測定のための測定データを出力する。ここで、前記測定部１００は前記画像出力装置１０に具備されてもよく、これと分離された状態で配置されてもよい。
本実施形態において、測定部１００は、ユーザの体の少なくとも２つの部分と接触する少なくとも２つの接触センサー１１０を通じて測定データを出力することができる。
測定データは接触センサー１１０で測定された電位値を含んでいてもよい。即ち、接触センサー１１０それぞれはユーザの体の接触部分での電位値を測定してデータ処理部４００に伝送し、以後、データ処理部４００はこの電位値を用いた計算過程を通じて皮膚伝導度の測定値を計算することができる。
これとは異なり、測定データはデータ処理部４００で別途の計算過程なしに直接使用できる皮膚伝導度の測定値を含んでいてもよい。具体的に説明すると、測定部１００は、接触センサー１１０から電位値の提供を受けて皮膚伝導度の測定値を計算してデータ処理部４００に伝送する皮膚伝導度計算部（図示せず）をさらに含んでいてもよい。皮膚伝導度計算部は、画像出力装置１０に具備されてもよく、これとは分離された状態で外部に配置されてもよい。
本実施形態において、接触センサー１１０は画像出力装置１０の一面の端の一側または両側に取り付けられてもよい。例えば、接触センサーは図２のように、画像の表示されない画像出力装置１０の後面の端と互いに向き合う両側にそれぞれ２つずつ取り付けられされてもよい。このように、接触センサー１１０が画像出力装置１０の後面に取り付けられることによって、ユーザは手を通じて画像出力装置１０を掴んで画像を視聴する時、２つの指が画像出力装置１０の後面に配置された接触センサー１１０に容易に接触させることができる。
これとは異なり、接触センサー１１０は、画像出力装置１０の画像を表示する前面の端の一側または両側に取り付けられていてもよい。これにより、ユーザは机の上や据置台に配置された画像出力装置１０を通じて視聴する時、体の２つの部分、例えば、２つの指を接触センサー１１０に容易に接触させることができる。ここで、前面の端は画像出力装置１０のベゼル（ｂｅｚｅｌ）部分を意味する。
撮影部２００はユーザの目を撮影して、目の動きを測定するための撮影データを出力する。即ち、撮影部２００はユーザの目を撮影することのできるカメラを含んでいてもよい。ここで、撮影部２００は画像出力装置１０に具備されてもよく、これとは分離された状態で配置されてもよい。
例えば、撮影部２００は図２のように、画像出力装置１０の前面の端に設置されてもよい。その結果、撮影部２００は画像出力装置１０から出力する画像を視聴するユーザの目を容易に撮影することができる。
光出射部３００は撮影部２００と対応するように画像出力装置１０に装着され、撮影部２００で撮影可能であるように光を照射する。例えば、光出射部３００は図２のように、画像出力装置１０の前面の端に撮影部２００と隣り合って配置されてもよい。
本実施形態において、光出射部３００は赤外線を出射させる赤外線出力ユニットを含んでいてもよい。また、撮影部２００も赤外線を撮影できる赤外線カメラを含むか、赤外線を含んだ光を撮影することのできる多機能カメラを含んでいてもよい。
このように、光出射部３００から赤外線を出射させ、撮影部２００で赤外線を撮影することで、ユーザは光出射部３００から出射される光によって目が眩むことを最小化した状態で自然に撮影部２００によって撮影できる。
データ処理部４００は測定部１００及び撮影部２００と電気的に接続され、測定部１００から測定データの提供を受け、撮影部２００から撮影データの提供を受ける。ここで、データ処理部４００は測定部１００及び撮影部２００それぞれと信号線を通じて直接接続されてもよいが、無線送受信装置を通じて無線で接続されて信号を取り交わしてもよい。
データ処理部４００は、測定部１００から提供された測定データから皮膚伝導度の測定値を抽出することができる。ここで、“測定データから皮膚伝導度の測定値を抽出する”というのは“測定データを用いた計算過程を通じて皮膚伝導度の測定値を計算して抽出する”という第１の意味と、“皮膚伝導度の測定値を含む測定データから直接抽出する”という第２の意味を含んでいてもよい。
まず、第１の意味で解釈すると、データ処理部４００は、接触センサー１１０から提供された電位値を用いて皮膚伝導度の測定値を計算して抽出することができる。例えば、データ処理部４００はユーザの体の２つの部分で測定された電位値の差異を通じて皮膚伝導度の測定値を計算することができる。
続いて、第２意味で解釈すると、測定データに皮膚伝導度の測定値が含まれている場合、データ処理部４００は測定データに含まれた皮膚伝導度の測定値を別途の計算過程なしにそのまま提供を受けて使用することもできる。ここで、“測定データに皮膚伝導度の測定値が含まれている”というのは“測定データに皮膚伝導度の測定値以外の他のデータがさらに含まれている”という場合と“測定データが皮膚伝導度の測定値と同一の対象である”という場合とを含む意味であってもよい。
データ処理部４００は、撮影部２００から提供された撮影データを分析して目の動き測定値を抽出することができる。即ち、撮影データはユーザの目を撮影した単純画像データであるので、撮影データからユーザの目の動きに対する情報のみを抽出する過程が必要である。
本実施形態において、目の動き測定値はユーザの瞬きに対応する瞬き測定値、ユーザの瞳孔の大きさに対応する瞳孔大きさの測定値、及びユーザの目の視線に対応する視線位置測定値のうち少なくとも一つを含んでいてもよい。即ち、データ処理部４００は、撮影データからユーザの瞬き、瞳孔の大きさ及び視線位置のうち少なくとも一つに対する情報を抽出することができる。
データ処理部４００は、皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れているか否かを判断し、目の動き測定値が目の動きの基準範囲を外れているか否かを判断し、２つの判断で全部の基準範囲を外れていると判断されると、集中誘導制御信号を出力する。ここで、皮膚伝導度の基準範囲はユーザの安定状態での皮膚伝導度範囲を意味し、目の動きの基準範囲はユーザの安定状態での目の動き範囲を意味する。また、ユーザの安定状態は画像を視聴するにおいて、集中の程度が基準値以下に低下されない範囲を意味する。
本実施形態において、目の動きの基準範囲は瞬き測定値の比較基準となる瞬き基準範囲、瞳孔の大きさ測定値の比較基準となる瞳孔の大きさ基準範囲、及び視線位置測定値の比較基準となる視線基準範囲のうち少なくとも一つを含んでいてもよい。従って、目の動き測定値が目の動きの基準範囲を外れているか否かの判断は、瞬き測定値が瞬き基準範囲を外れているか否か、瞳孔の大きさ測定値が瞳孔の大きさ基準範囲を外れているか否か、及び視線位置測定値が視線基準範囲を外れているか否かの判定のうち少なくとも一つを用いて決定することができる。
データ処理部４００は、測定データの出力以前に測定部１００から出力された基準出力データから皮膚伝導度の基準測定値を抽出し、皮膚伝導度の基準測定値を用いて皮膚伝導度の基準範囲を決定することができる。この際、測定データの出力以前という時間範囲には、ユーザが安定状態にあると仮定される時間が含まれる。例えば、画像が出力される直前に対応する出力直前時間、及び画像が出力された直後と対応する出力直後時間のうち少なくとも一つが含まれてもよい。
データ処理部４００は、撮影データの出力以前に撮影部２００から出力された基準撮影データを分析して目の動きの基準測定値を抽出し、目の動きの基準測定値を用いて目の動きの基準範囲を決定することができる。この際、撮影データの出力以前という時間範囲には、ユーザが安定状態にあると仮定される時間が含まれる。例えば、画像が出力される直前と対応する出力直前時間、及び画像が出力された直後と対応する出力直後時間のうち少なくとも一つが含まれてもよい。
このように、データ処理部４００が測定データの出力以前に測定された皮膚伝導度の基準測定値を用いて皮膚伝導度の基準範囲を決定し、撮影データの出力以前に測定された目の動きの基準測定値を用いて目の動きの基準範囲を決定することによって、ユーザの個人特定による基準範囲が決定されてもよい。即ち、ユーザ毎に安定状態に対する特性が互いに相違することがあり得るので、このような特性を考慮して個人毎に互いに異なる基準範囲を決定して使用することができる。
一方、皮膚伝導度の基準範囲及び目の動きの基準範囲は測定部１００及び撮影部２００で測定された値を通じて決定されるのではなく、データ処理部４００内に予め保存されているデータ、例えば、以前に使用されていた基準範囲データから抽出されて決定されてもよい。この際、予め保存されているデータは複数のユーザ別に基準範囲が保存されていてもよい。
また、データ処理部４００は画像出力装置１０内に具備されて画像を制御するプロセッサであってもよく、画像出力装置１０と別途に具備されたプロセッサであってもよい。また、データ処理部４００は、光出射部３００と電気的に接続されて光出射部３００を制御する機能も実行することができる。
画像集中誘導部５００はデータ処理部４００から提供された集中誘導制御信号に従って制御されて外部に集中誘導メッセージを出力する。この際、画像集中誘導部５００は、データ処理部４００と信号線と通じて直接接続されてもよいが、無線送受信装置を通じて信号を取り交わしてもよい。
画像集中誘導部５００は、集中誘導制御信号に含まれた画像制御信号に従って制御され、集中誘導画像を出力する画像出力部５１０を含んでいてもよい。この際、集中誘導画像にはユーザの現在状態を知らせるメッセージ、ユーザの注意を喚起して画像への集中を誘導することのできる画像や音などが含まれてもよい。
本実施形態において、画像出力部５１０は、画像出力装置１０内に具備されて画像を出力する画像出力手段であってよい。このように、画像出力部５１０が画像出力装置１０の画像出力手段であるとき、画像出力部５１０は既存の出力されている画像を停止させ、前記集中誘導画像を出力することができる。一方、画像出力部５１０は、画像出力装置１０の画像出力手段とは異なり、別途具備された装置であってもよい。
画像集中誘導部５００は、集中誘導制御信号に含まれた振動制御信号に従って制御され、振動を発生させる振動発生部５２０をさらに含んでいてもよい。
振動発生部５２０は、画像出力装置１０内に具備されて、ユーザに振動を提供してもよく、画像出力装置１０と別途に配置されてもよい。例えば、振動発生部５２０はユーザの体に装着されるか、ユーザの隣接位置に配置されて、ユーザに振動を提供することもできる。
このように、画像集中誘導部５００が集中誘導画像と共に振動発生部５２０による振動をユーザに提供し、ユーザの画像集中をより容易に誘導することができる。
以下、接触センサー１１０の取り付け位置による多様な実施形態を説明する。
図３は図１の画像集中誘導装置を具備した画像出力装置の他の例を示した図面である。
図３を参照すると、接触センサー１１０は画像出力装置１０の前面の端と、前面の端に対応される後面の一部分にそれぞれ取り付けられていてもよい。これにより、ユーザが画像出力装置１０を指を通じて掴んだ状態で自然に皮膚伝導度の測定を実行することができる。
図４は図１の画像集中誘導装置を具備した画像出力装置のさらに他の例を示した図面である。
図４を参照すると、接触センサー１１０は画像出力装置１０と別途に具備される補助装置６００に取り付けられていてもよい。この際、補助装置６００はユーザの体に装着して使用できる手段として、ペン、時計、マウス、眼鏡、イヤホーンのうち少なくとも一つを含んでいてもよい。図４においては補助装置６００の一例として、ペンを示した。
図５は図１の画像集中誘導装置を具備した画像出力装置のさらに他の例を示した図面である。
図５を参照すると、接触センサー１１０は結合手段、例えば、接着テープ、ベンド、指ぬき、やっとこなどを通じてユーザの体の一部に直接取り付けられてもよい。この際、接触センサー１１０が直接取り付けられる体の一部は指、手のひら、足指、足裏のうち少なくとも一つを含んでいてもよい。図５においては取り付け位置の一例として、指を示した。
このように、ユーザは、補助装置６００または結合手段を通じて自然に皮膚伝導度の測定を実行することができる。
以上では、ユーザの画像への集中程度を判定するために、皮膚伝導度の測定値及び目の動き測定値の両方をそれぞれの基準範囲から外れているか否かを判断した例を説明したが、本発明はこれに限定されず、皮膚伝導度の測定値及び目の動き測定値のいずれか一つが、皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れている場合、データ処理部４００は集中誘導制御信号を出力してもよい。
以下、前述した画像集中誘導装置を用いた画像集中誘導方法を説明する。
図６は図１の画像集中誘導装置を用いた画像集中誘導方法を説明するためのフロー図であり、図７は図６の皮膚伝導度の基準範囲の決定過程を説明するためのフロー図であり、図８は図６の目の動きの基準範囲の決定過程を説明するためのフロー図である。
図６、図７及び図８を参照すると、本実施形態による画像集中誘導方法において、まず、皮膚伝導度の基準範囲を決定し（Ｓ１０）、目の動きの基準範囲を決定する（Ｓ２０）。この際、ステップＳ１０及びステップＳ２０は互いに独立的に実行されてもよい。
皮膚伝導度の基準範囲の決定（Ｓ１０）において、測定部１００で、測定データの出力以前に基準出力データを出力する（Ｓ１２）。この後、データ処理部４００で、基準出力データから皮膚伝導度基準測定値を抽出する（Ｓ１４）。この後、データ処理部４００で、皮膚伝導度の基準測定値を用いて皮膚伝導度の基準範囲を決定する（Ｓ１６）。
また、目の動きの基準範囲の決定（Ｓ２０）において、撮影部２００で、撮影データの出力以前に基準撮影データを出力する（Ｓ２２）。この後、データ処理部４００で、基準撮影データを分析して目の動きの基準測定値を抽出する（Ｓ２４）。この後、データ処理部４００で、目の動きの基準測定値を用いて目の動きの基準範囲を決定する（Ｓ２６）。
続いて、測定部１００で測定データを出力し（Ｓ３０）、撮影部２００で撮影データを出力する（Ｓ４０）。この際、ステップＳ３０及びステップＳ４０は互いに独立的に実行されてもよい。
続いて、データ処理部４００で、測定データから皮膚伝導度の測定値（Ａ１）を抽出し（Ｓ５０）、撮影データを分析して目の動き測定値（Ｂ１）を抽出する（Ｓ６０）。この際、ステップＳ５０及びステップＳ６０は互いに独立的に実行されてもよい。
続いて、データ処理部４００で、皮膚伝導度の測定値Ａ１が皮膚伝導度の基準範囲内にあるか、目の動き測定値Ｂ１が目の動きの基準範囲内にあるかを判断する（Ｓ７０）。
ステップＳ７０の判断の結果、皮膚伝導度の測定値Ａ１が皮膚伝導度の基準範囲を外れており同時に、目の動き測定値Ｂ１が目の動きの基準範囲を外れていると判断されると、画像集中誘導部５００が集中誘導メッセージを出力する（Ｓ８０）。例えば、ステップＳ８０においては、画像出力装置１０で、ユーザに出力している画像を停止させ、集中誘導画像を出力させてもよい。また、振動発生部５２０からユーザに振動を提供してもよい。
一方、ステップＳ７０での判断結果、皮膚伝導度の測定値Ａ１が皮膚伝導度の基準範囲内にあるか、目の動き測定値Ｂ１が目の動きの基準範囲内にあると判断されると、画像出力装置１０を通じて画像を継続して出力させる（Ｓ９０）。一方、ステップＳ９０の後には、ステップＳ３０及びステップＳ４０の以降の過程を繰り返し実行してもよい。
続いて、ステップＳ８０以後、即ち、画像が停止された後には、測定部１００でユーザの皮膚伝導度の再測定のための再測定データを出力し（Ｓ１００）、撮影部でユーザの目の動きの再測定のための再撮影データを出力する（Ｓ１１０）。この際、ステップＳ１００及びステップＳ１１０は互いに独立的に実行されてもよい。
続いて、データ処理部４００で、再測定データから皮膚伝導度の再測定値Ａ２を抽出し（Ｓ１２０）、再撮影データを分析して目の動き再測定値Ｂ２を抽出する（Ｓ１３０）。この際、ステップＳ１２０及びステップＳ１３０は互いに独立的に実行されてもよい。
続いて、データ処理部４００で、皮膚伝導度の再測定値が皮膚伝導度の基準範囲内にあるか、目の動き再測定値が目の動きの基準範囲内にあるかを判断する（Ｓ１４０）。
ステップＳ１４０の判断の結果、皮膚伝導度の再測定値Ａ２が皮膚伝導度の基準範囲内にあるか、目の動き再測定値Ｂ２が目の動きの基準範囲内にあると判断されると、画像出力装置１０で停止された画像を再度再生させる（Ｓ１５０）。一方、ステップＳ１５０以後には、ステップＳ３０及びステップＳ４０以降の過程を繰り返して実行してもよい。
一方、ステップＳ１４０での判断の結果、皮膚伝導度の再測定値Ａ２が皮膚伝導度の基準範囲を外れており、同時に、目の動き再測定値Ｂ２が目の動きの基準範囲を外れていると判断されると、ステップＳ１００及びステップＳ１１０以降の過程を繰り返して実行する。
このように、集中誘導メッセージを出力させるステップ（Ｓ８０）ぼ後にも、皮膚伝導度の再測定値Ａ２及び目の動き再測定値Ｂ２を継続して測定して、ユーザの画像集中程度を再検証することで、停止された画像を再び再生するか否かを決定することができる。
このように本実施形態によると、測定部１００から提供された測定データ及び撮影部２００から提供された撮影データを全て用いることで、画像撮影装置１０から出力されている画像を視聴するユーザの画像集中程度をより精密に測定することができる。
また、ユーザの画像集中程度が低下されたと判断されると、出力されている画像を停止させ集中誘導画像を出力することで、ユーザを再度画像に集中させるように自然に誘導することができる。
また、測定部１００がユーザが容易に接触できる多様な位置及び手段に配置されることによって、ユーザの画像視聴に妨害を与えない範囲内で自然にユーザの皮膚伝導度の測定を実行することができる。
また、画像を停止させた後にも、皮膚伝導度及び目の動きを再測定してユーザの画像集中情報を再検証することで、ユーザが画像に集中できていると判断される場合に、停止された画像を再び再生し、ユーザに提供することができる。
以上、本発明の実施形態に基づいて詳細に説明したが、本発明はこれに限定されず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と精神を離れることなく、本発明を修正または変更できる。
１００：測定部
２００：撮影部
３００：光出射部
４００：データ処理部
５００：画像集中誘導部
５１０：画像出力部
５２０：振動発生部
６００：補助装置
１０：画像出力装置

Claims (20)

  1. 画像出力装置から出力される任意の画像を視聴するユーザの体に接触して皮膚伝導度の測定のための測定データを出力する測定部と、
    前記測定データから皮膚伝導度の測定値を抽出し、前記皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れている場合、集中誘導制御信号を出力するデータ処理部と、
    前記集中誘導制御信号に従って集中誘導メッセージを出力する画像集中誘導部と、
    を含むことを特徴とする画像集中誘導装置。
  2. データ処理部は、測定データの出力以前に前記測定部から出力された基準出力データから皮膚伝導度の基準測定値を抽出し、前記皮膚伝導度の基準測定値を用いて前記皮膚伝導度の基準範囲を決定することを特徴とする請求項１に記載の画像集中誘導装置。
  3. 前記測定データの出力以前には、前記画像が出力される直前に対応する出力直前時間、及び前記画像が出力された直後に対応する出力直後時間のうち少なくとも一つが含まれることを特徴とする請求項２に記載の画像集中誘導装置。
  4. 前記ユーザの目を撮影して、目の動きの測定のための撮影データを出力する撮影部をさらに含むことを特徴とする請求項１に記載の画像集中誘導装置。
  5. 前記データ処理部は、前記撮影データの分析を通じて前記皮膚伝導度の測定値を抽出すると同時に目の動き測定値を抽出し、前記皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れていると同時に前記目の動き測定値が目の動きの基準範囲を外れている場合、集中誘導制御信号を出力することを特徴とする請求項４に記載の画像集中誘導装置。
  6. 前記データ処理部は、前記撮影データの出力以前に前記撮影部から出力された基準撮影データを分析して前記目の動きの基準測定値を抽出し、前記目の動きの基準測定値を用いて前記目の動きの基準範囲を決定することを特徴とする請求項５に記載の画像集中誘導装置。
  7. 前記目の動き測定値は、前記ユーザの瞬きに対応する瞬き測定値、前記ユーザの瞳孔の大きさに対応する瞳孔大きさの測定値、及び前記ユーザの目の視線に対応する視線位置測定値のうち少なくとも一つを含み、
    前記目の動きの基準範囲は、前記瞬き測定値の比較基準となる瞬き基準範囲、前記瞳孔大きさの測定値の比較基準となる瞳孔大きさの基準範囲、及び前記視線位置測定値の比較基準となる視線基準範囲のうち少なくとも一つを含むことを特徴とする請求項６に記載の画像集中誘導装置。
  8. 前記画像集中誘導部は、前記集中誘導制御信号に含まれた画像制御信号に従って、集中誘導画像を出力する画像出力部を含むことを特徴とする請求項１に記載の画像集中誘導装置。
  9. 前記測定部は、前記ユーザの体の少なくとも２つの部分と接触する少なくとも２つの接触センサーを通じて前記測定データを出力することを特徴とする請求項１に記載の画像集中誘導装置。
  10. 前記測定データは、前記接触センサーで測定された電位値を含み、
    前記データ処理部は、前記電位値を用いて前記皮膚伝導度の測定値を計算することを特徴とする請求項９に記載の画像集中誘導装置。
  11. 前記接触センサーは、前記画像出力装置の画像を表示する前面の端と、前記前面の端に対応する後面の一部分にそれぞれ取り付けられていることを特徴とする請求項９に記載の画像集中誘導装置。
  12. 前記撮影部は、前記画像出力装置に具備されていることを特徴とする請求項４に記載の画像集中誘導装置。
  13. 前記画像出力装置に具備され、前記撮影部で撮影可能であるように光を照射する光出射部をさらに含むことを特徴とする請求項１２に記載の画像集中誘導装置。
  14. 前記光出射部は、赤外線を出射させる赤外線出力ユニットを含むことを特徴とする請求項１２に記載の画像集中誘導装置。
  15. 画像出力装置から出力される任意の画像を視聴するユーザの体に接触された測定部によって、皮膚伝導度の測定のための測定データを出力し、
    前記ユーザの目を撮影する撮影部によって、目の動きの測定のための撮影データを出力し、
    前記測定データから皮膚伝導度の測定値を抽出し、
    前記撮影データを分析して目の動き測定値を抽出し、
    前記皮膚伝導度の測定値が皮膚伝導度の基準範囲を外れていると同時に、前記目の動き測定値が目の動きの基準範囲を外れている場合、集中誘導メッセージを出力すること、
    を含むことを特徴とする画像集中誘導方法。
  16. 前記皮膚伝導度の基準範囲を決定すること、及び
    前記目の動きの基準範囲を決定すること、をさらに含むことを特徴とする請求項１５に記載の画像集中誘導方法。
  17. 前記皮膚伝導度の基準範囲を決定することは、
    前記測定データの出力以前に、前記測定部から基準出力データを出力し、
    前記基準出力データから皮膚伝導度の基準測定値を抽出し、
    前記皮膚伝導度の基準測定値を用いて前記皮膚伝導度の基準範囲を決定すること、を含むことを特徴とする請求項１６に記載の画像集中誘導方法。
  18. 前記目の動きの基準範囲を決定することは、
    前記撮影データの出力以前に、前記撮影部で基準撮影データを出力し、
    前記基準撮影データを分析して目の動きの基準測定値を抽出し、
    前記目の動きの基準測定値を用いて前記目の動きの基準範囲を決定すること、を含むことを特徴とする請求項１６に記載の画像集中誘導方法。
  19. 前記集中誘導メッセージを出力することにおいては、
    前記皮膚伝導度の測定値が前記皮膚伝導度の基準範囲を外れていると同時に、前記目の動き測定値が前記目の動きの基準範囲を外れている場合、前記画像出力装置で前記画像を停止させ集中誘導画像を出力することを特徴とする請求項１５に記載の画像集中誘導方法。
  20. 前記画像が停止された後、前記測定部から再測定データを出力し、
    前記画像が停止された後、前記撮影部から再撮影データを出力し、
    前記再測定データから皮膚伝導度の再測定値を抽出し、
    前記再撮影データを分析して目の動き再測定値を抽出し、
    前記皮膚伝導度の再測定値が前記皮膚伝導度の基準範囲内に含まれるか、前記目の動き再測定値が前記目の動きの基準範囲内に含まれる場合、前記画像出力装置で前記画像を再び再生させること、をさらに含むことを特徴とする請求項１９に記載の画像集中誘導方法。
JP2015129573A 2014-07-14 2015-06-29 画像集中誘導装置及びそれを用いた画像集中誘導方法 Active JP6336414B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140088255A KR101662636B1 (ko) 2014-07-14 2014-07-14 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법
KR10-2014-0088255 2014-07-14

Publications (2)

Publication Number Publication Date
JP2016021063A true JP2016021063A (ja) 2016-02-04
JP6336414B2 JP6336414B2 (ja) 2018-06-06

Family

ID=55067617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015129573A Active JP6336414B2 (ja) 2014-07-14 2015-06-29 画像集中誘導装置及びそれを用いた画像集中誘導方法

Country Status (3)

Country Link
US (1) US10203753B2 (ja)
JP (1) JP6336414B2 (ja)
KR (1) KR101662636B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327926A (zh) * 2016-10-18 2017-01-11 王锴 一种能够提高学生智力的教学演示设备
CN107577343B (zh) * 2017-08-25 2020-04-28 北京航空航天大学 一种基于力触觉反馈和脑电信号分析的注意力训练与评价装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09277849A (ja) * 1996-04-12 1997-10-28 Mitsubishi Motors Corp 覚醒度推定装置
JPH1078743A (ja) * 1996-09-05 1998-03-24 Omron Corp 学習制御装置、学習制御方法及び学習制御プログラム記憶媒体
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP2000037364A (ja) * 1998-07-23 2000-02-08 Yamato Scale Co Ltd 体脂肪計
US6067468A (en) * 1991-08-07 2000-05-23 Ultramind International Limited Apparatus for monitoring a person's psycho-physiological condition
JP2003248768A (ja) * 2002-02-26 2003-09-05 Fuji Photo Film Co Ltd 画像評価装置及び方法、画像注文受付装置及び方法
JP2005244375A (ja) * 2004-02-25 2005-09-08 Sanyo Electric Co Ltd 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム
JP2013097311A (ja) * 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd 学習支援装置、学習支援方法および学習支援プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016213A (en) * 1984-08-20 1991-05-14 Dilts Robert B Method and apparatus for controlling an electrical device using electrodermal response
US8062129B2 (en) * 2006-09-29 2011-11-22 Pope Alan T Physiological user interface for a multi-user virtual environment
KR101042780B1 (ko) * 2008-10-31 2011-06-20 연세대학교 산학협력단 안경을 이용한 실시간 건강 및 감성 모니터링 시스템
KR101236139B1 (ko) * 2010-11-01 2013-02-22 전자부품연구원 인체통신을 이용한 감성추론장치의 생체신호 전송방법
US20130182144A1 (en) * 2012-01-17 2013-07-18 Sony Mobile Communications Ab Camera button with integrated sensors
JP2014100227A (ja) * 2012-11-19 2014-06-05 Toyota Motor Corp 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法
US8708884B1 (en) * 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness
US9400878B2 (en) * 2013-11-08 2016-07-26 Dell Products L.P. Context analysis at an information handling system to manage authentication cycles
US20150213019A1 (en) * 2014-01-27 2015-07-30 Fujitsu Limited Content switching using salience
CN106028913B (zh) * 2014-02-19 2018-03-30 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067468A (en) * 1991-08-07 2000-05-23 Ultramind International Limited Apparatus for monitoring a person's psycho-physiological condition
JPH09277849A (ja) * 1996-04-12 1997-10-28 Mitsubishi Motors Corp 覚醒度推定装置
JPH1078743A (ja) * 1996-09-05 1998-03-24 Omron Corp 学習制御装置、学習制御方法及び学習制御プログラム記憶媒体
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP2000037364A (ja) * 1998-07-23 2000-02-08 Yamato Scale Co Ltd 体脂肪計
JP2003248768A (ja) * 2002-02-26 2003-09-05 Fuji Photo Film Co Ltd 画像評価装置及び方法、画像注文受付装置及び方法
JP2005244375A (ja) * 2004-02-25 2005-09-08 Sanyo Electric Co Ltd 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム
JP2013097311A (ja) * 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd 学習支援装置、学習支援方法および学習支援プログラム

Also Published As

Publication number Publication date
US20160011840A1 (en) 2016-01-14
KR20160008677A (ko) 2016-01-25
JP6336414B2 (ja) 2018-06-06
KR101662636B1 (ko) 2016-10-07
US10203753B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
US10650533B2 (en) Apparatus and method for estimating eye gaze location
JP6845982B2 (ja) 表情認識システム、表情認識方法及び表情認識プログラム
TWI639931B (zh) 眼動追蹤式選擇性強調顯示器之一部分
US9529428B1 (en) Using head movement to adjust focus on content of a display
US7809160B2 (en) Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
TW201804314A (zh) 影像顯示系統、影像顯示方法、影像顯示程式
JP6574937B2 (ja) 通信システム、制御方法、および記憶媒体
CN114222960A (zh) 用于计算机生成现实的多模态输入
JP2017507400A (ja) 注視によるメディア選択及び編集のためのシステム並びに方法
KR20180074180A (ko) 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US20210132378A1 (en) Head mounted display and information processing method
JP2019047250A (ja) 映像表示システム、映像表示方法及び映像表示プログラム
TWI717425B (zh) 可區別使用者生理特徵的使用者生理感測系統
JP6336414B2 (ja) 画像集中誘導装置及びそれを用いた画像集中誘導方法
CN114207557A (zh) 虚拟和物理相机的位置同步
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
JP6214334B2 (ja) 電子機器、判定方法及びプログラム
KR20190038296A (ko) 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램
CN112836685A (zh) 一种辅助阅读方法、***及存储介质
KR20210070119A (ko) 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템
US11328187B2 (en) Information processing apparatus and information processing method
US10828560B2 (en) Systems and methods for stereoscopic vision with head mounted display
Murray et al. Eye gaze in virtual environments: evaluating the need and initial work on implementation
Kwiatkowska et al. Eye Tracking as a Method of Controlling Applications on Mobile Devices.
KR20190066427A (ko) 가상 현실 콘텐츠의 시청 피로도 분석 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180502

R150 Certificate of patent or registration of utility model

Ref document number: 6336414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250