JP6462209B2 - 計測装置及び計測方法 - Google Patents

計測装置及び計測方法 Download PDF

Info

Publication number
JP6462209B2
JP6462209B2 JP2013250378A JP2013250378A JP6462209B2 JP 6462209 B2 JP6462209 B2 JP 6462209B2 JP 2013250378 A JP2013250378 A JP 2013250378A JP 2013250378 A JP2013250378 A JP 2013250378A JP 6462209 B2 JP6462209 B2 JP 6462209B2
Authority
JP
Japan
Prior art keywords
subject
reflected image
image
eyelid
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013250378A
Other languages
English (en)
Other versions
JP2015107155A (ja
Inventor
一隆 鈴木
一隆 鈴木
克宜 松井
克宜 松井
豊田 晴義
晴義 豊田
宅見 宗則
宗則 宅見
直俊 袴田
直俊 袴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2013250378A priority Critical patent/JP6462209B2/ja
Priority to PCT/JP2014/080238 priority patent/WO2015083524A1/ja
Priority to US15/101,169 priority patent/US10722112B2/en
Priority to CN201480065934.1A priority patent/CN105792730B/zh
Publication of JP2015107155A publication Critical patent/JP2015107155A/ja
Application granted granted Critical
Publication of JP6462209B2 publication Critical patent/JP6462209B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、被験者の瞼位置を計測する計測装置及び計測方法に関する。
従来から、被験者の眼球動作を計測することで様々な疾患の診断等を目的とした計測方法の開発が進められている。例えば、下記特許文献1に記載された装置では、カメラによって取得された被験者の眼画像を対象にして、上下方向に濃度値の変化を観測し、瞼と眼球との間で濃度値が変化することを利用して瞼位置を計測する。また、下記特許文献2に記載の装置では、カメラで被験者の動画像を取得し、その動画像の明暗を基に上瞼と下瞼との組み合わせの候補となるエッジラインを抽出し、下記特許文献3に記載の装置では、被験者の目画像から輝度分布に基づいて濃淡変化を示す一次元画像を抽出し、その一次元画像を基に瞼と眼球との境界点を検出する。これらの装置は、いずれも被験者の画像を処理することにより、瞼位置を検出するものである。
一方、下記特許文献4に記載の装置では、被験者の目に当てた光の反射光及び散乱光の強度をセンサで検出することにより、瞼が開いた状態か閉じた状態かを示す信号を生成する。この装置では、エミッタとセンサとを内蔵する検出デバイスを備え、眼の表面では戻り光が弱く瞼の表面では戻り光が強いことを利用して、瞼が開いた状態か閉じた状態かを判別する。
特開2000−102510号公報 特開2008−226047号公報 特開平7−313459号公報 特表2007−531579号公報
しかしながら、上述した特許文献1〜3に記載の装置における計測方法では、輝度値の変化で瞼の位置を計測する場合、瞼における散乱光の発生の影響、又は睫毛による影響により、正確な瞼位置の計測が困難になる傾向にあった。また、特許文献4に記載の装置では、瞼における光の散乱条件は肌の状態や化粧などで変化するため、正確に瞼位置を計測することは困難である。また、この装置では、睫毛による散乱光を検出してしまうため正確性が低下する。
そこで、本発明は、かかる課題に鑑みて為されたものであり、被験者の瞼位置をより正確に計測することが可能な計測装置及び計測方法を提供することを目的とする。
上記課題を解決するため、本発明の一形態に係る計測装置は、被験者の瞼位置を計測する計測装置であって、被験者の眼球の角膜表面上に反射像を形成させる縦長の発光領域を生成する発光体と、発光体により形成された反射像を撮像する撮像部と、撮像部によって取得された反射像の画像データを基に、反射像のサイズ或いは位置に関する反射像情報を導出し、反射像情報に基づいて瞼位置を計測する演算部と、を備える。
或いは、本発明の他の形態に係る計測方法は、被験者の瞼位置を計測する計測方法であって、縦長の発光領域を生成する発光体を用いて、被験者の眼球の角膜表面上に反射像を形成させる照明ステップと、照明ステップにより形成された反射像を撮像する撮像ステップと、撮像ステップによって取得された反射像の画像データを基に、反射像のサイズ或いは位置に関する反射像情報を導出し、反射像情報に基づいて瞼位置を計測する演算ステップとを備える。
このような計測装置、或いは計測方法によれば、縦長の発光領域の発光に応じて被験者の角膜表面上に反射像が形成され、その反射像が撮像される。そして、取得された反射像の画像データから反射像情報が導出され、その反射像情報から瞼位置が計測される。このように、角膜表面上の反射像を利用することで、被験者における散乱光を利用する場合に比較して、像が比較的明るくなりやすいため瞼位置の検出精度が向上する。また、睫毛による影響、光の散乱条件の変化による影響を受けにくい。従って、簡易な装置構成でより精度の高い瞼位置の検出が可能とされる。
演算部は、反射像情報として、反射像の面積、強度、長さ、及び長さの比のうち少なくとも1つを導出する、ことが好適である。こうすれば、角膜表面における反射像のうちで瞼によって隠される部分の割合が評価可能とされるので、簡易な評価方法で瞼位置を正確に計測することができる。
また、演算部は、反射像情報として、反射像の特徴点の座標を導出する、ことも好適である。かかる演算部の構成によっても、角膜表面における反射像のうちで瞼によって隠される部分の割合が評価可能とされるので、簡易な評価方法で瞼位置を正確に計測することができる。
発光体は、帯状の発光領域を生成する、ことが好適である。かかる構成を採れば、簡易な発光体の構成で瞼位置を正確に計測することができる。
また、撮像部の光軸は、発光体と眼球とを結ぶ軸に対して角膜表面上で斜めに向くように設定される、ことが好適である。こうすれば、角膜表面における反射像を撮像部によって確実に捉えることができる。
さらに、撮像部と発光体としての表示装置とを備える端末装置であり、表示装置は、画面上に発光領域を生成することにより発光体として機能する、ことが好適である。かかる構成を採れば、端末装置に複雑な機能部を追加することなしに、瞼位置を簡易に計測することができる。
本発明によれば、被験者の瞼位置をより正確に計測することができる。
本発明の好適な一実施形態に係る計測装置であるタブレット端末1Aの機能構成を示すブロック図である。 図1のタブレット端末1Aの外観を示す平面図である。 図1のディスプレイ部3から照射される散乱光の被験者の眼に対する様々な入射角度に対するカメラ5への散乱光の反射状態を示す側面図である。 被験者の瞼の閉じ具合が小さい場合のディスプレイ部3から照射される散乱光の被験者の眼に対する様々な入射角度に対するカメラ5への散乱光の反射状態を示す側面図である。 被験者の瞼の閉じ具合が大きい場合のディスプレイ部3から照射される散乱光の被験者の眼に対する様々な入射角度に対するカメラ5への発散光の反射状態を示す側面図である。 図1のタブレット端末1Aによって制御される被験者Sに対するタブレット端末1Aの配置状態を示す概念図である。 図1のタブレット端末1Aによって制御される被験者Sに対するタブレット端末1Aの配置状態を示す概念図である。 図1のタブレット端末1Aによる瞼位置計測処理の動作手順を示すフローチャートである。 図1の演算回路7によって処理される被験者の眼画像の一例を示す図である。 図1のディスプレイ部3に表示された計測結果の一例を示す図である。 図1のディスプレイ部3に表示された計測結果及び外部受信情報の一例を示す図である。 図1のタブレット端末1Aのディスプレイ部3に生成される発光領域13の形状の例を示す図である。 本発明の変形例に係る計測装置1Bの外観構成を示す図である。 本発明の変形例に係る計測装置1Cの外観構成を示す図である。 本発明の変形例に係る計測装置1Dの外観構成を示す図である。
以下、添付図面を参照しながら本発明による計測装置及び計測方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、各図面は説明用のために作成されたものであり、説明の対象部位を特に強調するように描かれている。そのため、図面における各部材の寸法比率は、必ずしも実際のものとは一致しない。
図1は、本発明の好適な一実施形態に係る計測装置であるタブレット端末1Aの機能構成を示すブロック図、図2は、タブレット端末1Aの外観を示す平面図である。このタブレット端末1Aは、被験者の瞼位置の計測が可能な情報処理端末であり、発光体として機能するディスプレイ部3、撮像素子を内蔵するカメラ(撮像部)5、演算回路(演算部)7、演算回路7で処理されるデータを外部との間で送受信するデータ送受信部9、及び演算回路7で処理されるデータを記憶するデータ格納部11を備えて構成されている。
ディスプレイ部3は、いわゆる、タッチパネルディスプレイ装置であり、タブレット端末1Aの筐体14の外面中央に配置された画面3a上でユーザの指による画面操作が可能にされるとともに、画面3a上にデータ、画像等の表示が可能な表示装置である。このディスプレイ部3は、画面操作によって入力されたデータ或いは指示信号を演算回路7に引き渡すとともに、表示対象の文字データ、数値データ、及び画像データを演算回路7から受け取る。また、このディスプレイ部3は、被験者の瞼位置計測が実行されている際に、演算回路7から受け取ったデータに基づいて、画面3a上に図2に示すような画像を表示させる。すなわち、画面の中央に縦長の帯状の輝度が高い発光領域13を生成するとともに、計測時の被験者の注視点を調整するためのマーカー(指標)15を表示させる。これにより、瞼位置計測時には発光領域13からは輝度の高い散乱光が照射させることになる。
カメラ5は、CMOS、CCD等の撮像素子、及び撮像素子に像を結ぶための光学素子を内蔵する撮像装置であり、筐体14の表面上の画面3aの外側に配置され、その撮像光軸が筐体14の表面からほぼ垂直に外側を向くように設定されている。このカメラ5は、瞼位置計測時に被験者の眼を撮像し眼画像を連続的に取得する。カメラ5は、その動作が演算回路7によって制御されるとともに、取得した眼画像に関する画像データを演算回路7に出力する。
演算回路7は、各種データを演算処理する回路部であり、瞼位置計測時にはカメラ5によって取得された画像データを対象に演算(以下、「瞼位置計測処理」という。)を行って計測結果を生成する。具体的には、演算回路7は、画像データを基に被験者の眼球の角膜表面上に形成された反射像を特定し、その反射像の眼画像上のサイズ或いは位置に関する反射像情報を導出する。さらに、演算回路7は、導出した反射像情報を基に瞼位置を計測し、その瞼位置を時系列に解析することによってまばたき特徴量を算出した後に、そのまばたき特徴量に対応する計測結果を取得する。また、演算回路7は、生成した計測結果をディスプレイ部3に表示させることが可能とされ、又は、データ送受信部9を介してインターネット等の外部に送信することも可能にされる。
データ送受信部9は、演算回路7によって生成された計測結果等のデータを移動体通信、無線LAN通信等の無線通信を利用してインターネット等の外部に送信する。また、データ送受信部9は、外部から計測結果に対する診断結果等のデータを無線通信によって受信し、そのデータを演算回路7に引き渡すことも可能にされる。データ格納部11は、演算回路7による演算処理において参照されるデータ、及び当該演算処理によって生成されたデータを格納するメモリ(記憶装置)である。
次に、タブレット端末1Aにおいて被験者の角膜表面上の反射像を撮像するための配置条件について述べる。
図3は、ディスプレイ部3から照射される散乱光の被験者の眼に対する様々な入射角度に対するカメラ5への散乱光の反射状態を被験者の側面側から見た側面図である。同図に示すように、瞼位置計測時には、カメラ5の撮像光軸は、カメラ5と被験者の眼球Eの角膜Cの中心点C0とを結ぶ線L0に近づくように設定される。そのときに被験者の眼球Eの上側から散乱光LBUが照射された場合を想定すると、それらの散乱光LBUによって角膜Cの表面上に形成される反射像は、線L0より上側の経路RU1を経由してカメラ5に結像する。従って、カメラ5によって撮像される散乱光LBUの反射像は、被験者の眼画像における眼球の上方に現れる。一方、被験者の眼球Eの下側から散乱光LBDが照射された場合を想定すると、それらの散乱光LBDによって角膜Cの表面上に形成される反射像は、線L0より下側の経路RD1を経由してカメラ5に結像する。従って、カメラ5によって撮像される散乱光LBDの反射像は、被験者の眼画像における眼球の下方に現れる。
図4は、被験者の瞼の閉じ具合が小さい場合の散乱光の被験者の眼に対する様々な入射角度に対するカメラ5への散乱光の反射状態を示す側面図、図5は、被験者の瞼の閉じ具合が大きい場合の散乱光の被験者の眼に対する様々な入射角度に対するカメラ5への散乱光の反射状態を示す側面図である。図4に示すように、被験者の瞼が少し閉じた場合には、散乱光LBUの反射光の経路RU2の上方が遮られることになるので、カメラ5によって撮像される散乱光LBUの反射像はその上方が瞼の位置に対応した長さで欠けることになる。また、図5に示すように、被験者の瞼が大きく閉じた場合には、散乱光LBUの反射光は全て遮られカメラ5によっては検出されない。このとき、散乱光LBDの反射光の経路RD2の上方が遮られることになるので、カメラ5によって撮像される散乱光LBDの反射像はその上方が瞼の位置に対応した長さで欠けることになる。
上記の散乱光LBU,LBDの反射状態を考慮して、タブレット端末1Aによる瞼位置検出時には、瞼位置を精度よく計測するために、被験者に対するタブレット端末1Aの配置状態が次のように設定される。すなわち、被験者の上眼瞼が瞳孔中心よりも上に有ることが事前に検出された場合には、被験者の正面方向よりも上側からディスプレイ部3からの散乱光が照射されるように設定される。それに対して、被験者の上眼瞼が瞳孔中心よりも下に有ることが事前に検出された場合には、被験者の正面方向よりも下側からディスプレイ部3からの散乱光が照射されるように設定される。これにより、瞼位置に対応してカメラ5に結像する被験者の角膜表面上の反射像の大きさ及び形状を変化させることができる。
このようなタブレット端末1Aの配置状態の制御について具体的に説明する。図6及び図7は、タブレット端末1Aによって制御される被験者Sに対するタブレット端末1Aの配置状態を示す概念図である。図6に示すように、カメラ5によって取得された画像データにより被験者Sの上眼瞼Taの位置が瞳孔中心よりも下にあることが検出された場合には、タブレット端末1Aからの指示により、被験者Sから見て、カメラ5を上側に、ディスプレイ部3を下側に配置させるようにタブレット端末1Aの持ち方が制御される。詳細には、ディスプレイ部3の生成する発光領域13の中心と眼球Eとを結ぶ軸L2に対して、カメラの撮像光軸L1が眼球Eの角膜表面上で斜めに向くようにされ、かつ、発光領域13からの散乱光が被験者Sの正面方向に対して下側から照射されるように制御される。これに対して、図7に示すように、カメラ5によって取得された画像データにより被験者Sの上眼瞼Taの位置が瞳孔中心よりも上にあることが検出された場合には、タブレット端末1Aからの指示により、被験者Sから見て、カメラ5を下側に、ディスプレイ部3を上側に配置させるようにタブレット端末1Aの持ち方が制御される。詳細には、ディスプレイ部3の生成する発光領域13の中心と眼球Eとを結ぶ軸L2に対して、カメラの撮像光軸L1が眼球Eの角膜表面上で斜めに向くようにされ、かつ、発光領域13からの散乱光が被験者Sの正面方向に対して上側から照射されるように制御される。
以下、上述したタブレット端末1Aによる瞼位置計測処理の動作手順について説明するとともに、本実施形態の計測方法について詳述する。図8は、タブレット端末1Aによる瞼位置計測処理の動作手順を示すフローチャートである。
まず、被験者によりタブレット端末1Aがカメラ5が眼部の正面に位置するように保持された状態で、所定の操作を契機にカメラ5により眼の周りの画像データが取得され、その後、演算回路7により、画像データ中から眼部が特定されその眼部の画像データが抽出される(ステップS01)。この眼部の特定方法としては、ディスプレイ部3により一定周期で照明光を明滅させ、それに応じて時系列に得られる画像データ中の同期して輝度が明るくなる箇所を特定する方法が挙げられる。その際、既定の閾値以上の輝度を有する箇所を特定し、領域サイズを設定したうえで眼部の探索を行うことにより、探索速度を向上させることが可能である。或いは、演算回路7による眼部の特定は画像処理によって行われてもよい。すなわち、演算回路7により、カメラ5によって取得された被験者のカラー画像を対象に、眉毛の部位と鼻又は口の部位との間の眼部の領域が特定される。その際、眉毛の部位は、RGBの輝度がいずれも暗く、横に長く伸びた部位として検出され、口の部位は、Rの輝度がGBの輝度よりも明るく、一定の面積を有した部位として検出される。また、演算回路7により、被験者のモノクロ画像を対象に、二値化処理、及びエッジ抽出処理などが施された後に、顔の特徴情報と照らし合わせることで眼部が抽出されてもよい。
次に、演算回路7により、抽出された眼部を含む画像データを対象にして上眼瞼及び瞳孔の位置が検出され、上眼瞼が瞳孔中心より上側に有るか否かが判定される(ステップS02)。この判定により、被験者の日常における瞼位置の特徴を得ることができる。このとき、上眼瞼の輝度は眼部の輝度よりも明るいという特徴を利用して上限瞼の位置が検出される。また、ここでの判定では、眼球表面を覆う上限瞼の面積の眼球の面積に対する割合を判定してもよい。瞼と眼部との区別は、上記のように輝度に基づいて行われてもよいし、ハフ変換やエッジ抽出のような画像処理によって行われてもよい。この判定の結果、上眼瞼が瞳孔中心より上側に有ると判定された場合には(ステップS02;YES)、演算回路7により、被験者に対して、ディスプレイ部3が上でカメラ5が下になるように(図7に示す配置状態になるように)持つことが指示される(ステップS03)。一方、上眼瞼が瞳孔中心より下側に有ると判定された場合には(ステップS02;NO)、演算回路7により、被験者に対して、カメラ5が上でディスプレイ部3が下になるように(図6に示す配置状態になるように)持つことが指示される(ステップS04)。このような指示は、ディスプレイ部3を利用した表示出力、スピーカを利用した音声出力により行われる。なお、演算回路7は、角膜反射光を生成する発光を行い、その結果、角膜反射光が生成されれば瞼が開いている(上がっている)状態と判断し、生成されなければ瞼が閉じている(下がっている)状態と判定しても良い。
その後、演算回路7により、ディスプレイ部3による発光領域13からの散乱光の発光が開始されるとともに、カメラ5による被験者の眼部の撮像が開始され、カメラ5によって取得された画像データが瞼位置計測が可能な状態にあるか否かが判定される(ステップS05)。ここでは、得られた被験者の画像の焦点が合っているか、眼画像中の散乱光の反射像が計測可能な位置にあるか(眼画像中の散乱光の反射像が隅に寄りすぎず、継続的な計測が可能な位置にあるか)、等が判定される。判定の結果、画像データが計測可能な状態に無いと判定された場合には(ステップS05;NO)、画像の焦点及び撮像軸を調整するために、演算回路7により、被験者とカメラ5との距離及び位置関係を最適化するように指示される(ステップS10)。さらに、演算回路7により、ディスプレイ部3の画面3a上のマーカー15の位置が変更され、被験者に対して、注視点を眼画像中の反射像の位置を最適化するような位置に変更するように指示される(ステップS11)。ステップS10,S11における指示は、ディスプレイ部3を利用した表示出力で行われてもよいし、スピーカを利用した音声出力により行われてもよい。次に、演算回路7により、眼画像中の反射像の安定した計測が可能にするために、ディスプレイ部3における発光領域13の輝度及び形状が調整される(ステップS12)。反射光からの瞼位置検出を平均的に安定化するためには、発光領域13の形状を太く縦長にし、その輝度を明るくすることが好ましいが、被験者の眼球の状態(例えば、手術により眼球レンズが挿入された場合等)によってはこの限りではない。そこで、発光領域13の太さ、輝度、及び形状が安定した計測が可能になるように変更される。その際、安定した計測の確保をするために、任意の設定期間内での反射像の位置又は輝度の変動幅を基に発光領域13が調整される。また、形状の調整時には、リアルタイムに反射像の形状を参照しながら発光領域13の形状を変更してもよいし、発光領域13の形状を予め設定された形状に変更してもよい。その後、処理がステップS05に戻される。
一方、ステップS05での判定の結果、画像データが計測可能な状態に有ると判定された場合には(ステップS05;YES)、演算回路7により、画像データを対象に瞼位置計測処理が開始される(ステップS06)。すなわち、画像データを基に被験者の眼球の角膜表面上に形成された反射像が特定され、その反射像の眼画像上のサイズ或いは位置に関する反射像情報が導出される(ステップS07)。図9には、演算回路7によって処理される被験者の眼画像の一例を示している。同図(a)には、被験者の上眼瞼Taが開いた状態で取得される反射像Grの一例、同図(b)には、被験者の上眼瞼Taが小さく閉じた状態で取得される反射像Grの一例、同図(c)には、被験者の上眼瞼Taが大きく閉じた状態で取得される反射像Grの一例を示している。このように、眼画像中には黒目画像Gbの内側に縦長の略長方形の反射像Grが形成され、その反射像Grの上端の欠け具合が上眼瞼の閉じ具合に対応している。
このような性質を利用して瞼位置を計測するために、演算回路7は、反射像情報を導出する。例えば、このような反射像情報としては、反射像Grの面積、全体の光量(発光強度)、縦方向の長さ、右辺と左辺の長さの比、上底と下底の長さの比、縦横比、時間経過に伴う縦方向の長さの比(縦方向の長さの変化)、重心座標(特徴点)、又は頂点座標の平均値(特徴点)が挙げられる。また、演算回路7は、反射像情報として、反射像Grを台形近似した際の上記数値、又は台形近似した際の上記数値の近似値と上記数値の実測値との差を求めてもよい。さらに、演算回路7は、反射像情報として、反射像Grを楕円近似した際の重心座標、反射像Grを楕円近似した際の長辺と短辺との長さの比、或いは、反射像Grを楕円近似した際の面積の近似値と面積の実測値との差を求めてもよい。
次に、演算回路7は、導出した反射像情報を基に瞼位置を計測し、その瞼位置を時系列に取得される画像データを対象に解析することによってまばたき特徴量を算出する(ステップS08)。その後、演算回路7は、そのまばたき特徴量を基にデータ格納部11に格納されたデータベースを参照し、まばたきに対応する計測結果を取得し、計測結果をディスプレイ部3の表示させる(ステップS09)。図10には、ディスプレイ部3に表示された計測結果の一例を示している。また、演算回路7は、計測結果をデータ送受信部9を介して外部に送信し、それに応じて外部から受信された外部受信情報をディスプレイ部3に表示させてもよい。図11には、ディスプレイ部3に表示された計測結果及び外部受信情報の一例を示している。なお、まばたき特徴量としては以下のいずれかの算出値の平均値、中央値、又は標準偏差などの集計値を用いることができる。
・瞼の移動距離
・移動時の最大速度
・移動期間
・まばたき動作の間隔
または、以下のいずれかの条件によって選別されたまばたきの回数もまばたき特徴量として用いることができる。
・まばたき時の瞼移動距離閾値より短い移動量のまばたき
・まばたき時の瞼速度閾値より遅いまばたき
・まばたき時の期間閾値より短期間に行われたまばたき
以上説明したタブレット端末1A及びそれを用いた瞼位置計測方法によれば、縦長の発光領域13の発光に応じて被験者の角膜表面上に反射像が形成され、その反射像が撮像される。そして、取得された反射像の画像データから反射像情報が導出され、その反射像情報から瞼位置が計測される。このように、略球面である角膜表面上の反射像を利用することで、被験者における散乱光を利用する場合に比較して、像が比較的明るくなりやすいため瞼位置の検出精度が向上する。散乱光よりも明るい反射光を利用することにより、例えば、室内での計測の際に反射光の明るさがその他の眼部を含む周辺部よりも明るくなり、瞼位置の計測の安定性につながる。また、化粧のアイライン及びラメによる影響、皮膚の横しわによる影響、睫毛による影響、眼内レンズ等による光の散乱条件の変化による影響を受けにくい。従って、簡易な装置構成でより精度の高い瞼位置の検出が可能とされる。
また、タブレット端末1Aは、帯状の面状発光体である発光領域13をディスプレイ部3上に生成している。このように面光源を用いることで、被験者の角膜表面上に形成される反射像の大きさ及び形状を瞼位置に対応して変化させることができ、簡易な構成で瞼位置を高精度に求めることができる。これに対して、点光源を利用した場合は、角膜表面上には光点が形成されるのみとなり、その光点を遮る振れ幅のまばたきしか計測できず、検出するまばたき動作を適応的に変更することができないばかりか、睫毛によって光点が遮られてしまうと正確な計測が妨げられる。
また、瞼位置計測処理においては、演算回路7が反射像情報を導出するので、角膜表面における反射像のうちで瞼によって隠される部分の割合が評価可能とされ、簡易な評価方法で瞼位置を正確に計測することができる。また、演算回路7は反射像情報として反射像の重心座標、頂点座標等の特徴点の座標を利用することもできる。この場合でも、角膜表面における反射像のうちで瞼によって隠される部分の割合が評価可能とされ、簡易な評価方法で瞼位置を正確に計測することができる。
さらに、タブレット端末1Aの制御により、被験者のタブレット端末1Aの持ち方を最適に導くことができる。すなわち、カメラ5の光軸が発光領域13と眼球とを結ぶ軸に対して角膜表面上で斜めに向くように設定され、かつ、被験者の日常の瞼位置に応じて被験者に対する発光領域13からの散乱光の照射方向が設定される。こうすれば、角膜表面における反射像をカメラ5によって確実に捉えることができる。また、被験者1人により計測補助員等による補助を必要とすることなしに、瞼位置の計測が可能とされる。
また、演算回路7により、眼画像における反射像の位置を最適化するように被験者の視線が誘導される。これにより、カメラ5と被験者の眼部の中心とを結ぶ軸に対する上眼瞼位置を最適な位置に誘導でき、眼部に対する瞼位置をより正確に計測できる。
なお、本発明は、前述した実施形態に限定されるものではない。例えば、タブレット端末1Aに代えて、据え置き型或いはノートブック型のコンピュータ端末、携帯電話機、スマートフォン等のカメラ及びデータ通信機能を有する他の情報処理端末を採用してもよい。また、本実施形態で実現される演算機能はソフトウェアによって実現されてもよいし、演算回路等のハードウェアで実現されてもよい。ハードウェアで実現する例としては、例えば、浜松ホトニクス社製のインテリジェントビジョンセンサ(IVS)が用いられる。
また、タブレット端末1Aのディスプレイ部3に生成される発光領域13の形状としては、縦長であれば様々な形状及び大きさに変更されてよい。図12(a)〜(e)には、それぞれ、上部に発光領域に形状、下部にそれに対応して得られる眼画像上の反射像の形状を示している。例えば、発光領域13の形状としては、図12(a)に示すような長方形、図12(b)に示すような帯の中央がくびれた形状、図12(c)に示すような楕円形状、図12(d)、(e)に示すような三角形が挙げられる。このような三角形の発光領域を形成することにより、反射像の縦方向の長さからだけではなく、横幅からも瞼位置を計測することができ、体動、装置位置、視線の移動による影響を低減した高精度の計測が実現される。
また、本発明は、据え置き型装置等の瞼位置計測のための専用装置であってもよい。図13及び図14には、本発明の変形例に係る計測装置1B,1Cの外観構成を示しており、それぞれの図において、(a)は正面図、(b)は側面図である。図13に示す計測装置1Bは、画像データを処理する演算部を内蔵するCMOSカメラ等のカメラ5Bと、カメラ5Bの撮像レンズの上下に分離して設けられた面発光源3Bを備えて構成される。図14に示す計測装置1Cは、計測装置1Bの面発光源3Bを複数に分離された線状の発光源3Cに置換した例である。これらの計測装置1B,1Cのように、カメラ5B,5Cの撮像光軸に対する発光源3B,3Cの照射角度は角膜表面上で最適な反射像が得られるように様々に調整されうる。また、面発光源3B、発光源3Cの発光波長は被験者に対する影響が少ないように赤外領域に設定される。
また、本発明は、眼鏡型の計測装置であってもよい。図15には、本発明の変形例に係る眼鏡型計測装置1Dの構成を示している。この眼鏡型計測装置1Dは、テンプルの部分に設けられて眼鏡レンズ19の内側に向けて赤外光等の照明光を照射する発光部3Dと、眼鏡レンズ19の内側の縦長に形成され、発光部3Dから照射された照明光を散乱することにより被験者の眼球Eに向く散乱光を形成する散乱膜17と、ブリッジ付近に固定されて被験者の眼画像を取得するカメラ5Dとを備える。つまり、発光部3Dと散乱膜17との組み合わせにより、縦長の発光領域を生成する発光体として機能する。なお、この散乱膜17は、発光部3Dからの照明光を散乱する溝に変更されてもよいし、発光部3Dと散乱膜17との代わりに、眼鏡レンズ19の内側に有機EL(Electro-Luminescence)のような自発光体を設けてもよい。
また、上述した実施形態においては、瞼位置検出用の反射像を形成するための発光体以外に、角膜反射像を生成するためのLED等の光源が別に設けられてもよい。このようにすれば、瞼位置計測処理においてその角膜反射像を参照点として反射像の上端位置を相対的に算出することができる。その結果、体動、装置位置、視線の移動による影響を低減した高精度の計測が実現される。
また、上述した実施形態の計測装置においては、加速度センサ、地磁気センサ、或いはジャイロセンサ等の各種センサを内蔵しておいて、センサの検出結果を基に瞼位置の計測結果を補正するようにしてもよい。例えば、センサによって得られた装置の傾き等の検出情報を用いて、計測中の体動、装置の傾き、或いは視線移動による反射光位置に対する影響の分離分析を行い、それらの影響による誤差を補正することにより測定精度を向上させることができる。
1…被験者、1A…タブレット端末(計測装置)、1B,1C,1D…計測装置、3…ディスプレイ部(発光体)、3B,3C…発光源(発光体)、3D…発光部(発光体)、5,5B,5C,5D…カメラ(撮像部)、7…演算回路(演算部)、13…発光領域、17…散乱膜(発光体)、E…眼球、L1…撮像光軸、L2…軸、S…被験者、Ta…上眼瞼。

Claims (7)

  1. 被験者の瞼位置を計測する計測装置であって、
    被験者の眼球の角膜表面上に反射像を形成させる縦長の発光領域を生成する発光体と、
    前記発光体により形成された前記反射像を撮像する撮像部と、
    前記撮像部によって取得された前記反射像の画像データを基に、前記反射像のサイズ或いは位置に関する反射像情報を導出し、前記反射像情報に基づいて前記瞼位置を計測する演算部と、
    を備え、
    前記発光体は、前記発光領域を生成する表示装置であ
    前記計測装置は、前記表示装置を備えるタブレット端末、携帯電話機、あるいは、スマートフォンである、
    計測装置。
  2. 前記演算部は、前記反射像情報として、前記反射像の面積、強度、長さ、及び長さの比のうち少なくとも1つを導出する、
    請求項1記載の計測装置。
  3. 前記演算部は、前記反射像情報として、前記反射像の特徴点の座標を導出する、
    請求項1記載の計測装置。
  4. 前記発光体は、帯状の発光領域を生成する、
    請求項1〜3のいずれか1項に記載の計測装置。
  5. 前記撮像部の光軸は、前記発光体と前記眼球とを結ぶ軸に対して前記角膜表面上で斜めに向くように設定される、
    請求項1〜4のいずれか1項に記載の計測装置。
  6. 前記撮像部と前記発光体としての表示装置とを備える端末装置であり、
    前記表示装置は、画面上に前記発光領域を生成することにより前記発光体として機能する、
    請求項1〜5のいずれか1項に記載の計測装置。
  7. 被験者の瞼位置を計測する計測方法であって、
    縦長の発光領域を生成する発光体を用いて、被験者の眼球の角膜表面上に反射像を形成させる照明ステップと、
    前記照明ステップにより形成された前記反射像を撮像する撮像ステップと、
    撮像ステップによって取得された前記反射像の画像データを基に、前記反射像のサイズ或いは位置に関する反射像情報を導出し、前記反射像情報に基づいて前記瞼位置を計測する演算ステップと
    を備え、
    前記照明ステップでは、前記発光体として、前記発光領域を生成する表示装置を用
    前記照明ステップ、前記撮像ステップ、及び前記演算ステップでは、前記表示装置を備えるタブレット端末、携帯電話機、あるいは、スマートフォンを計測装置として用いる、
    計測方法。
JP2013250378A 2013-12-03 2013-12-03 計測装置及び計測方法 Active JP6462209B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013250378A JP6462209B2 (ja) 2013-12-03 2013-12-03 計測装置及び計測方法
PCT/JP2014/080238 WO2015083524A1 (ja) 2013-12-03 2014-11-14 計測装置及び計測方法
US15/101,169 US10722112B2 (en) 2013-12-03 2014-11-14 Measuring device and measuring method
CN201480065934.1A CN105792730B (zh) 2013-12-03 2014-11-14 测量装置和测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013250378A JP6462209B2 (ja) 2013-12-03 2013-12-03 計測装置及び計測方法

Publications (2)

Publication Number Publication Date
JP2015107155A JP2015107155A (ja) 2015-06-11
JP6462209B2 true JP6462209B2 (ja) 2019-01-30

Family

ID=53273291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250378A Active JP6462209B2 (ja) 2013-12-03 2013-12-03 計測装置及び計測方法

Country Status (4)

Country Link
US (1) US10722112B2 (ja)
JP (1) JP6462209B2 (ja)
CN (1) CN105792730B (ja)
WO (1) WO2015083524A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
CN107224292B (zh) * 2017-05-27 2019-12-31 西南交通大学 一种调度员的注意广度的测试方法和***
JP7109193B2 (ja) * 2018-01-05 2022-07-29 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法
KR20200144196A (ko) 2019-06-17 2020-12-29 삼성전자주식회사 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
KR102281927B1 (ko) * 2019-11-27 2021-07-26 고큐바테크놀로지 주식회사 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템
JP7421436B2 (ja) * 2020-07-14 2024-01-24 株式会社日立製作所 位置検出装置
CN112568992A (zh) * 2020-12-04 2021-03-30 上海交通大学医学院附属第九人民医院 基于3d扫描眼睑参数测量方法、装置、设备和介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59186538A (ja) * 1983-04-07 1984-10-23 キヤノン株式会社 眼科装置
JPH02150202A (ja) * 1988-11-29 1990-06-08 Konan Camera Kenkyusho:Kk 視標使用による眼球運動撮影装置
JP3143819B2 (ja) 1994-05-20 2001-03-07 株式会社豊田中央研究所 まぶたの開度検出装置
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
JPH11225966A (ja) * 1998-02-19 1999-08-24 Topcon Corp 眼科測定装置
AUPP528498A0 (en) * 1998-08-14 1998-09-10 Lions Eye Institute Of Western Australia Incorporated, The Surgical visual feedback and eye fixation method and apparatus
JP3383594B2 (ja) 1998-09-29 2003-03-04 沖電気工業株式会社 眼の開度測定装置
JP3660145B2 (ja) * 1998-11-27 2005-06-15 株式会社ニデック 眼科装置
KR101049605B1 (ko) * 2004-04-01 2011-07-14 윌리엄 씨. 토치 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법
JP4895797B2 (ja) 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4848301B2 (ja) 2007-03-14 2011-12-28 アイシン精機株式会社 瞼検出装置及びプログラム
JP4309927B2 (ja) 2007-03-14 2009-08-05 株式会社豊田中央研究所 まぶた検出装置及びプログラム
JP4309928B2 (ja) 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP2009134276A (ja) * 2007-11-05 2009-06-18 Panasonic Corp 表示装置、表示方法、表示プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、単眼鏡、及び据置型ディスプレイ
US7747160B2 (en) * 2008-01-04 2010-06-29 Sony Ericsson Mobile Communications Ab Intelligent red eye removal
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
JP5642945B2 (ja) * 2009-05-29 2014-12-17 浜松ホトニクス株式会社 瞬目計測装置
CN101692980B (zh) 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
MX2012013189A (es) * 2010-05-25 2012-12-17 Sharp Kk Dispositivo de iluminacion, dispositivo de presentacion y receptor de television.
JP5569357B2 (ja) * 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof

Also Published As

Publication number Publication date
US10722112B2 (en) 2020-07-28
US20160302662A1 (en) 2016-10-20
JP2015107155A (ja) 2015-06-11
CN105792730B (zh) 2018-03-20
CN105792730A (zh) 2016-07-20
WO2015083524A1 (ja) 2015-06-11

Similar Documents

Publication Publication Date Title
JP6462209B2 (ja) 計測装置及び計測方法
ES2957329T3 (es) Sistemas y métodos para el seguimiento ocular en aplicaciones de realidad virtual y de realidad aumentada
US11129530B2 (en) Eye tracking using eyeball center position
US10360450B2 (en) Image capturing and positioning method, image capturing and positioning device
US11294455B2 (en) Method and device for determining gaze placement, computer readable storage medium
JP6617662B2 (ja) 視線検出装置、視線検出方法、及びコンピュータプログラム
CN107003752A (zh) 信息处理装置、信息处理方法以及程序
BR112012023787B1 (pt) Sistema para rastrear o ponto de olhar de um observador observando um objeto e método para rastrear o ponto de olhar de um observador observando um objeto
CN108152996A (zh) 智能眼镜
JP2014520314A (ja) 視線追跡シーン参照位置を識別するシステム及び方法
KR20120057033A (ko) Iptv 제어를 위한 원거리 시선 추적 장치 및 방법
US20110170060A1 (en) Gaze Tracking Using Polarized Light
WO2011105004A1 (ja) 瞳孔検出装置及び瞳孔検出方法
US10248852B2 (en) Method for recognizing facial expression of headset wearing user and apparatus enabling the same
CN106175801A (zh) 眨眼测量方法、眨眼测量装置及眨眼测量程序
US11163994B2 (en) Method and device for determining iris recognition image, terminal apparatus, and storage medium
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
JP2015525597A (ja) 斜視検出
JP2017111746A (ja) 視線検出装置及び視線検出方法
JP6957048B2 (ja) 眼部画像処理装置
JP2020513609A (ja) 眼距離収集のための方法及びデバイス
US10402996B2 (en) Distance measuring device for human body features and method thereof
BR112020013884A2 (pt) aparelho e método para varredura passiva
CN105828701B (zh) 测量装置和测量方法
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181227

R150 Certificate of patent or registration of utility model

Ref document number: 6462209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250