JP6227996B2 - 計測装置及び計測方法 - Google Patents

計測装置及び計測方法 Download PDF

Info

Publication number
JP6227996B2
JP6227996B2 JP2013261251A JP2013261251A JP6227996B2 JP 6227996 B2 JP6227996 B2 JP 6227996B2 JP 2013261251 A JP2013261251 A JP 2013261251A JP 2013261251 A JP2013261251 A JP 2013261251A JP 6227996 B2 JP6227996 B2 JP 6227996B2
Authority
JP
Japan
Prior art keywords
image
subject
light
eyelid
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013261251A
Other languages
English (en)
Other versions
JP2015118523A (ja
Inventor
克宜 松井
克宜 松井
一隆 鈴木
一隆 鈴木
豊田 晴義
晴義 豊田
宅見 宗則
宗則 宅見
直俊 袴田
直俊 袴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2013261251A priority Critical patent/JP6227996B2/ja
Priority to PCT/JP2014/080239 priority patent/WO2015093202A1/ja
Priority to US15/105,088 priority patent/US10478063B2/en
Priority to CN201480068600.XA priority patent/CN105828701B/zh
Publication of JP2015118523A publication Critical patent/JP2015118523A/ja
Application granted granted Critical
Publication of JP6227996B2 publication Critical patent/JP6227996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、被験者の瞼位置を計測する計測装置及び計測方法に関する。
従来から、被験者の眼球動作を計測することで様々な疾患の診断等を目的とした計測方法の開発が進められている。例えば、下記特許文献1に記載された装置では、カメラによって取得された被験者の眼画像を対象にして、上下方向に濃度値の変化を観測し、瞼と眼球との間で濃度値が変化することを利用して瞼位置を計測する。また、下記特許文献2に記載の装置では、カメラで被験者の動画像を取得し、その動画像の明暗を基に上瞼と下瞼との組み合わせの候補となるエッジラインを抽出し、下記特許文献3に記載の装置では、被験者の目画像から輝度分布に基づいて濃淡変化を示す一次元画像を抽出し、その一次元画像を基に瞼と眼球との境界点を検出する。また、下記特許文献4に記載の装置では、被験者の目に当てた光の反射光及び散乱光の強度をセンサで検出することにより、瞼が開いた状態か閉じた状態かを示す信号を生成する。
特開2000−102510号公報 特開2008−226047号公報 特開平7−313459号公報 特表2007−531579号公報
しかしながら、上述した特許文献1〜3に記載の装置における計測方法では、輝度値の変化で瞼の位置を計測する場合、外乱光による影響、又は睫毛による影響により、正確な瞼位置の計測が困難になる傾向にあった。特許文献4に記載の装置では、肌の状態や化粧等の影響により反射光及び散乱光の強度が様々に変化するため、正確に瞼位置を計測することは困難である。また、この装置では、計測時において睫毛による散乱光成分の影響が含まれるため正確性が低下する。
そこで、本発明は、かかる課題に鑑みて為されたものであり、被験者の瞼位置をより正確に計測することが可能な計測装置及び計測方法を提供することを目的とする。
上記課題を解決するため、本発明の一形態に係る計測装置は、被験者の瞼位置を計測する計測装置であって、被験者の上瞼から下瞼に亘って延びる光を照射する照明部と、光の光軸を含む面を、被験者に照射される光に沿った軸を中心に所定の角度だけ回転させた面上に光軸を有する撮像装置と、撮像装置によって撮像された画像における光像の位置に基づいて高さ情報を取得し、高さ情報に基づいて瞼位置を計測する演算部と、を備える。
或いは、本発明の他の形態に係る計測方法は、被験者の瞼位置を計測する計測方法であって、被験者の上瞼から下瞼に亘って延びる光を照射する照明ステップと、光の光軸を含む面を、被験者に照射される光に沿った軸を中心に所定の角度だけ回転させた面上に撮像光軸を設定して、被験者の画像を取得する撮像ステップと、撮像ステップにおいて取得された画像における光像の位置に基づいて高さ情報を取得し、高さ情報に基づいて瞼位置を計測する演算ステップと、を備える。
このような計測装置、或いは計測方法によれば、照明部によって上瞼から下瞼にかけて照射される光に対して、所定の角度だけ回転させた撮像光軸が設定された状態で被験者の画像が取得され、この画像における光像の位置を基に高さ情報が取得され、その高さ情報に基づいて瞼位置が計測される。その結果、外乱光による影響や睫毛の影響、又は、肌の状態や化粧等による反射光および散乱光の強度変化の影響を受けにくく、より正確な瞼位置の計測が可能になる。
演算部は、光像が延びる方向に垂直な方向における光像の位置に基づいて高さ情報を取得する、ことが好適である。こうすれば、被験者の上瞼から下瞼にかけての相対的な高さが精度よく検出され、その結果として瞼位置をさらに正確に計測することができる。
照明部は被験者に正対するように配置され、撮像装置は光の光軸に沿った面を被験者の正対方向から所定の角度だけ回転させた面上に光軸を有するものであってもよい。また、撮像装置は被験者に正対するように配置され、照明部は光軸を含む面が被験者の正対方向を含む面を所定の角度だけ回転させた面上になるように構成されてもよい。さらに、撮像装置及び照明部は、被験者に対して斜めに向くように配置されていてもよい。いずれの場合も、被験者の上瞼から下瞼にかけての相対的な高さを精度よく検出することができる。
本発明によれば、被験者の瞼位置をより正確に計測することができる。
本発明の好適な一実施形態に係る計測装置である瞬目計測システムの概略構成を示す平面図である。 被験者の領域Eにおける図1の照明装置1による照明状態を示す正面図である。 照明装置1に対する画像計測装置2の配置位置による、領域E内の瞼と白目における光像の見え方を示す水平断面図である。 照明装置1に対する画像計測装置2の配置位置による、領域Eにおける画像イメージを示す図である。 図1の画像計測装置2の詳細構成を示す概略構成図である。 図1の画像計測装置2によって被験者の開瞼時に撮像された画像データの一例を示す図である。 被験者の開瞼時の領域Eの横方向から見た断面図である。 図1の画像計測装置2によって被験者の閉瞼時に撮像された画像データの一例を示す図である。 被験者の閉瞼時の領域Eの横方向から見た断面図である。 図5の画像演算部7によって処理される時系列の画像データの一例を示す図である。 図5の画像計測装置2により撮像された時系列の画像データに対し、画像演算部7により1次元重心演算を行った結果を示すグラフである。 図5の画像演算部7が取得した上瞼の境界位置の時間変化の例を示すグラフである。 本発明の変形例に係る瞬目計測システム10Aの配置関係を示す概略構成図である。 本発明の別の変形例に係る瞬目計測システム10Bの配置関係を示す概略構成図である。 本発明の変形例において、被験者の領域Eに対し斜めに光Lが照射される場合の正面図である。 本発明の変形例において、被験者の領域Eに対し複数本の光Lが照射される場合の正面図である。
以下、添付図面を参照しながら本発明による計測装置及び計測方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、各図面は説明用のために作成されたものであり、説明の対象部位を特に強調するように描かれている。そのため、図面における各部材の寸法比率は、必ずしも実際のものとは一致しない。
図1は、本発明の好適な一実施形態に係る計測装置である瞬目計測システム10の概略構成を示す平面図である。同図においては、瞬目計測システム10の各構成要素の被験者の頭上から見た位置関係を示している。この瞬目計測システム10は、被験者の眼を含む領域Eに向かい合うように配置され、被験者の瞼位置を時系列に計測して被験者の瞬きに関するパラメータを取得する計測システムであり、光を照射する照明装置(照明部)1と、照明装置1と被験者の領域Eとの間に配置されたフィルタ3と、領域Eの光像を撮像することによって取得した画像データを処理する画像計測装置2とを備えて構成されている。
照明装置1は、被験者の領域Eに正対するように配置され、被験者の上瞼から下瞼に亘って延びる光を照射する光源である。例えば、照明装置1は被験者の上瞼から下瞼に亘って帯状のライン光を照射する。図2は、被験者の領域Eにおける照明装置1による照明状態を示す正面図である。同図に示すように、照明装置1は、上瞼E、下瞼E、瞳孔E、強膜(白目)E、及び虹彩Eを有する眼を含む領域Eを対象にして、上瞼Euから下瞼Edを含む、長さLhの範囲で直線状に上下に横切るような幅Lwの光Lを照射する。すなわち、照明装置1は、照明装置1の発光中心と被験者の領域Eとを含む平面上に照射光軸Laを有し、被験者の上瞼Eから下瞼Eにかけて照射される光Lを生成する。ここで、照明装置1は、長さLh及び幅Lwの値が、それぞれ計測に最適な値となるように調整されており、特に、照射される光Lにおける幅Lwの値は、人間の睫毛の平均的な太さである0.1 mm以上となるように調整されている。また、照明装置1は、その発光中心が被験者の領域Eから距離WDだけ離れるように配置されている。この距離WDは、領域Eに照射される光Lにおける幅Lwが最も細くなるように、照明装置1に関して予め規定された作動距離に一致するように設定される。その一方で、領域Eに照射される光Lの幅Lwを調整するために、照明装置1が、その距離WDを作動距離から任意の範囲で増減させるように移動させて配置されてもよい。
このような照明装置1としては、例えば、LD(Laser Diode)、SLD(Super Luminescent Diode)等の光源と、シリンドリカルレンズ及びコリメートレンズ等を含むレンズとで構成されるが、上記条件を満足すればLED(Light Emitting Diode)とスリットプレートとで構成されてもよい。また、照明装置1の発光波長は、被験者が光を直接感じることによるまぶしさ又は不安感による瞬目動作への影響を抑えるために、不可視波長領域である近赤外領域もしくは赤外領域の波長であることが好ましく、例えば、750nm以上の波長領域に設定される。さらに、照明装置1の発光強度は、被験者の目の保護の観点から十分に小さい値に設定されている。
図1に戻って、フィルタ3は、照明装置1によって生成される光線束を通過させるように配置され、被験者に照射される光Lの強度を被験者の目を保護する目的で調整を行うためのND(Neutral Density)フィルタ(減光フィルタ)である。フィルタ3は、単一のフィルタであってもよいし、複数枚のフィルタの組み合わせであってもよい。
画像計測装置2は、その撮像光軸Iaを、目領域E上に照射される光Lに沿った軸Aを中心として、照射光軸Laを含む垂直面(光線束に沿った面)を所定角度θだけ回転させた面上に有するように構成されている。すなわち、画像計測装置2は、その撮像光軸Iaが、照射光軸Laを角度θだけ回転させた軸を含む面上に設定され、正対方向に対して斜めの方向から領域Eを撮像する。
図3は、照明装置1に対する画像計測装置2の配置位置による、領域E内の瞼Eと白目Eにおける光像の見え方を示す水平断面図であり、図4は、照明装置1に対する画像計測装置2の配置位置による、領域Eにおける画像イメージを示す図である。
図3に示すように、照射光軸Laに対して撮像光軸Iaは角度θだけ回転している。そのため、照明装置1の位置から領域Eにおける光Lの照射位置を見る視線V1に対して、画像計測装置2の位置から領域Eにおける光Lの照射位置を見る視線V2も角度θだけ回転している。図3において、瞼Eは白目Eよりも位置的に前面に存在するため、領域E内において、照射光軸La上に存在する瞼Eにおける光Lの散乱位置POは、照射光軸La上に存在する白目Eにおける光Lの散乱位置POよりも手前に位置する。このとき、画像計測装置2を照明装置1と同軸上、すなわち照射光軸La上に画像計測装置2を設置した場合、画像計測装置2は視線V1から光Lの照射部分を見ることになる。この場合には、撮像光軸Iaと照射光軸Laが同軸上に存在するため、2つの位置PO,POからの散乱光成分による画像面GS上における光像の投影位置はいずれもGPとなり一致する。一方、画像計測装置2を照明装置1に対して角度θだけ回転して設置した場合、画像計測装置2は視線V2から光Lの照射部分を見ることになる。この場合には、位置POからの散乱光成分による画像面GS上における光像の投影位置はGPとなり、撮像光軸Iaと照射光軸Laとのなす角度θから幾何学的に計算される直線距離ΔLだけ画像面GSにおける中心位置から右方向にシフトする。同様に、位置POからの散乱光成分による画像面GS上における光像の投影位置はGPとなり、撮像光軸Iaと照射光軸Laとのなす角度θから幾何学的に計算される直線距離ΔLだけ画像面GSにおける中心位置から左方向にシフトする。すなわち、照明装置1から水平方向に角度θだけ回転して位置に設置される画像計測装置2によって撮像される光像における画像面GSにおける投影位置のずれ量が、領域Eにおける瞼Eと白目Eとの高低差を表すことになる。
具体的には、図4(a)に示すように、撮像光軸Iaが照射光軸Laと同軸上に有る場合に取得される画像においては、領域Eにおいて光Lで照明された部分に存在する瞼E,Eと白目Eの各部分からの散乱光成分による光像は全て同一直線上に存在する。これに対して、図4(b)に示す本実施形態のように、照射光軸Laに対して撮像光軸Iaが水平方向に角度θだけ回転している場合に取得される画像においては、領域Eにおいて光Lで照明された部分に存在する瞼E,Eと白目Eの各部分からの散乱光成分による光像は、瞼E,Eと白目Eの各境界部分における高低差に応じた量だけシフトする(ずれる)。より詳細には、照射光軸Laに対して撮像光軸Iaが反時計方向に角度θだけ回転している場合、瞼E,Eにおける光Lの散乱光成分による光像の位置に対して、白目Eにおける光Lの散乱光成分による光像の位置は、画像面において水平方向左側にシフトする(ずれる)。このシフト量は瞼E,Eと白目Eとの高低差に比例する。そのため、このシフト量を画像データの1画素以下のサブピクセル単位で求めることにより、領域Eにおける高さ情報を高精度に求めることができる。
次に、図5を参照して、画像計測装置2の詳細構成について説明する。
同図に示すように、画像計測装置2は、撮像レンズ5、画像センサ(撮像装置)6、画像演算部7、及び制御通信部8によって構成されている。撮像レンズ5は、被験者の上瞼Eから下瞼Eまでを含む領域Eをカバーする画角を有し、照明装置1により照射された光Lの反射光及び散乱光成分を集光して画像センサ6上に結像する。画像センサ6は、撮像レンズ5により集光された反射光成分及び散乱光成分を画素ごとに光電変換することによって、画像面上における光像の輝度の二次元分布を表す画像信号(電気信号)を時系列に生成する。また、画像センサ6は、生成した画像信号を画像演算部7に転送する。画像演算部7は、画像センサ6で生成された画像信号に対して信号処理を行い、被験者の領域Eにおける水平方向(光Lの照射方向)に沿った高さ情報を取得し、さらに高さ情報を基に被験者の瞼位置を計測する。具体的には、画像演算部7は、画像信号に対して、平滑化処理、1次元重心演算処理、及び隣接画素差分処理などを実行し、光Lの照射位置における高さ情報及び輝度情報を取得し、それらの情報を基に瞼位置の検出を行う。制御通信部8は、画像センサ6及び画像演算部7の動作を制御するとともに、画像演算部7による演算結果を外部に送信する。このような画像計測装置2を構成する装置としては、例えば、高速2次元CMOSセンサと高速並列画像処理機構とを備える浜松ホトニクス社製のインテリジェントビジョンシステム(IVS)などが挙げられる。なお、撮像レンズ5には、外乱光による計測への影響を抑えるため、照明装置1における発光波長のみを通過させ、それ以外の波長帯を遮断する帯域通過フィルタ4が装着されても良い。帯域通過フィルタ4は単一のフィルタであっても良いし、複数枚のフィルタの組み合わせであっても良い。
図6には、画像計測装置2によって被験者の開瞼時に撮像された画像データの一例を示し、図7には、このときの被験者の領域Eの横方向から見た断面図を示している。図7に示すように、帯状の光Lは上瞼E、下瞼E、及び眼球の白目、黒目部分に跨って照射される。このとき、図6に示されるように、画像データには、上瞼E及び下瞼Eにおける散乱光P1,P2、白目Eにおける散乱光S1,S2が現れる。散乱光S1,S2の画像データ上における位置は、上瞼E及び下瞼Eと白目Eにおける高低差に応じて、散乱光P1,P2に対して左方向にシフトする。なお、黒目部分における散乱光成分の強度は白目部分に比べて相対的に弱くなるため、図6に示す画像データ上においては、黒目部分の散乱光Iは現れていない。
また、図8には、画像計測装置2によって被験者の閉瞼時に撮像された画像データの一例を示し、図9には、このときの被験者の領域Eの横方向から見た断面図を示している。図9に示すように、光Lは上瞼Eが閉瞼により伸長し下瞼Eに重なった状態で照射される。このとき、図8に示されるように、画像データには、上瞼E及び下瞼Eにおける散乱光P1,P2が現れる。閉瞼時には上瞼Eが下瞼Eの上に一部重なるため、散乱光P1およびP2の間には高低差が生じる。したがって、散乱光P2の画像データ上における位置は、散乱光P1との高低差に応じた移動量だけ左方向にシフトする。
このような性質を利用することにより、画像計測装置2の画像演算部7は、光Lの伸びる方向に垂直な方向、すなわち、水平方向の光Lの光像の位置ずれを求めることにより、開瞼時及び閉瞼時のいずれにおいても眼球部分と瞼部分の高低差情報を求めることができる。さらに、画像演算部7は、求めた眼球部分と瞼部分の高低差情報を基に、開瞼時においては眼球と上下瞼との間における高さの変化点から瞼位置を推定し、閉瞼時においては上下瞼間における高さの変化点から瞼位置を推定する。
画像計測装置2による瞼位置推定処理の手順について、より詳細に説明する。まず、被験者の領域Eを照明装置1に正対させた状態で領域Eに光Lを照射させる。この状態で画像計測装置2により領域Eを撮像して、時系列的に画像データを取得し時系列画像データを生成する。その後、画像計測装置2の画像演算部7により、時系列画像データに対して瞼位置の推定処理を実行する。具体的には、画像演算部7は、画像データに対して横方向(水平方向)に1次元重心演算を行うことにより、光Lの光像の正確な横方向位置を取得する。そして、画像演算部7は、1次元重心演算によって得られた光Lの光像の横方向位置からその光像の横方向におけるシフト量、すなわち、高低差情報を取得する。さらに、画像演算部7は、時系列画像データを連続的に処理することにより、高低差情報の時間変化を求める。そして、画像演算部7は、縦方向(垂直方向)における高低差情報の変化から瞼位置を推定し、瞼位置の時間的位置変化を取得する。なお、領域Eの黒目部分については、散乱光成分強度が白目部分に比べて相対的に弱くなるため、1次元重心演算時における閾値設定によっては演算対象とならない場合がある。その場合、当該部分における高低差情報の値はゼロとする。
図10には、画像演算部7によって処理される時系列の画像データの一例を示している。同時では、左側に、領域Eにおける光Lの照射状態を時系列(時間t=T<T<T<T)に示しており、右側に、各照射状態に対応して画像計測装置2で得られた画像データ上の光Lの光像を示している。同図に示すように、開瞼状態(t=T)から閉瞼状態(t=T)に移行する間に、上瞼と白目との境界に表れる光Lの光像シフトの縦方向(垂直方向)Yにおける変化点が下方向に移動していることがわかる。なお、画像データ上には目の周辺部や睫毛、眉毛からの散乱光がバックグラウンドとして存在する場合があるが、この画像データの例では、説明のために光Lの光像のみを示している。画像演算部7は、光Lのシフトの変化点を求めることにより上瞼位置を計測し、その上瞼位置の時間変化から瞬目動作を解析する。
図11は、画像計測装置2により撮像された時系列の画像データに対し、画像演算部7により1次元重心演算を行った結果を示す。同図では、高低差を色の明暗で示しており、白に近いほど高さが高く、黒に近いほど高さが低いことを示している。横方向(t)は時間軸であり、およそ4秒間にわたって計測を行い4回程度の瞼の開閉が計測されている。同図の結果から、開瞼時(図中で“開”と示された箇所)においては、上瞼部分Eと黒目部分E,Eおよび白目部分Eにおいては、各部の高低差を示す色の明暗に明確な差が存在する。画像演算部7は、さらに、この結果から縦方向(Y)において隣接する画素同士の差分を取り、縦方向において差分値の変化が大きく変化する位置を上瞼位置として取得する。また、閉瞼時(図中で“閉”と示された箇所)においても、上瞼部分Eと下瞼部分Eにおいて色の明暗に差が存在するため、縦方向において隣接画素同士の差分を取り、差分値が大きく変化する位置を、上瞼と下瞼との境界位置として取得する。
さらに、図12には、上記のようにして画像演算部7が取得した上瞼の境界位置の時間変化の例を示している。このようにして得られたデータから、被験者の瞬きにおける開眼速度、閉眼速度、及び閉眼時間等のパラメータを取得することが可能となる。
以上説明した瞬目計測システム10或いはそれを用いた計測方法によれば、照明装置1によって被験者の上瞼から下瞼にかけて照射される光Lの照射光軸Laに対して、角度θだけ傾いた撮像光軸Iaが設定された状態で被験者の画像が取得され、この画像における光Lの散乱光の光像の位置を基に高低差情報が取得され、その高低差情報に基づいて瞼位置が計測される。その結果、瞼等における散乱光の発生の影響、睫毛の影響、又は散乱条件の変化の影響を受けにくく、より正確な瞼位置の計測が可能になる。これにより、被験者の瞬目動作の正確な解析が実現される。
ここで、画像計測装置2の画像演算部7は、光Lの光像が延びる方向に垂直な方向におけるその光像の位置に基づいて、光Lの照射方向に沿った領域Eの高さ情報を取得するので、被験者の上瞼から下瞼にかけての相対的な高さが精度よく検出され、その結果として被験者の瞼位置をさらに正確に計測することができる。
また、照明装置1は被験者に正対するように照射光軸Laに沿って配置され、画像計測装置2は、照射光軸Laから角度θだけ回転させた撮像光軸Iaに沿って配置される。このような配置構成によれば、被験者の上瞼から下瞼にかけての相対的な高さを精度よく検出することができる。
なお、本発明は、前述した実施形態に限定されるものではない。例えば、照明装置1から照射される光Lは、被験者の上瞼から下瞼に亘って延びる光であればその形状は特段限定されず、例えば、矩形状であってもよいし、台形形状であってもよい。ただし、帯状のライン光であれば、画像計測装置2によって取得される光像の位置に基づいて高さ情報を取得しやすいため、計測精度が向上する。
また、照明装置1と画像計測装置2の配置関係は、様々変更することができる。
図13は、本発明の変形例に係る瞬目計測システム10Aの配置関係を示す概略構成図である。同図に示す瞬目計測システム10Aにおいては、画像計測装置2が被験者の領域Eに正対するように撮像光軸Iaに沿って配置され、画像計測装置2が、照明装置1における照射光軸Laから角度θだけ回転させた撮像光軸Iaに沿って配置されるように構成される。このような構成によっても、領域Eに照射される光Lの光像の位置に基づいて、領域Eにおける高低差情報を取得することができるため、被験者の上瞼から下瞼にかけての相対的な高さを精度よく検出することができる。
また、図14は、本発明の別の変形例に係る瞬目計測システム10Bの配置関係を示す概略構成図である。同図に示す瞬目計測システム10Bにおいては、照明装置1は被験者の領域Eにおける中心線Cに対して角度θLaだけ回転させた照射光軸Laに沿って設置される。また、画像計測装置2は被験者の領域Eにおける中心線Cに対して角度θIaだけ回転させた撮像光軸Iaに沿って設置される。このような構成によっても、領域Eに照射される光Lの光像の位置に基づいて、領域Eにおける高低差情報を取得することができるため、被験者の上瞼から下瞼にかけての相対的な高さを精度よく検出することができる。
また、照明装置1は、単一の光Lを被験者の領域Eに垂直に照射することに限定されるものではない。図15は、被験者の領域Eに対し斜めに光Lが照射される場合の正面図である。また、図16は、被験者の領域Eに対し複数本の光Lが照射される場合の正面図である。光Lは、図15に示すように、領域Eに対して時計方向あるいは反時計方向に所定の角度θだけ回転させて照射されても良く、また、図16に示すように、領域Eに対して任意の間隔を持ち複数本照射されても良い。また、図15および図16に示す2つの方法が組み合わされても良い。いずれの場合も、被験者が計測中に動いてしまう場合や照射箇所の皮膚状態や睫毛等の影響がある場合でも、精度よく計測することが可能となる。また、照明装置1から照射される光は、上瞼Eから下瞼Eに亘って延びていればよく、瞳孔E、強膜(白目)E、及び虹彩Eの全てを含むように延びる必要はない。
1…照明装置(照明部)、2…画像計測装置、6…画像センサ(撮像装置)、7…画像演算部(演算部)、10,10A,10B…瞬目計測システム、E…領域、Ia…撮像光軸、L…光、La…照射光軸。

Claims (6)

  1. 被験者の瞼位置を計測する計測装置であって、
    被験者の上瞼から下瞼に亘って延びる光を照射する照明部と、
    前記光の光軸を含む面を、前記被験者に照射される前記光に沿った軸を中心に所定の角度だけ回転させた面上に光軸を有する撮像装置と、
    前記撮像装置によって撮像された画像における光像の位置に基づいて高さ情報を取得し、前記高さ情報に基づいて前記瞼位置を計測する演算部と、
    を備える計測装置。
  2. 前記演算部は、前記光像が延びる方向に垂直な方向における前記光像の位置に基づいて前記高さ情報を取得する、
    請求項1記載の計測装置。
  3. 前記照明部は前記被験者に正対するように配置され、
    前記撮像装置は前記光の光軸に沿った面を、前記被験者の正対方向から所定の角度だけ回転させた面上に光軸を有する、
    請求項1又は2記載の計測装置。
  4. 前記撮像装置は前記被験者に正対するように配置され、
    前記照明部は前記光軸を含む面が前記被験者の正対方向を含む面を前記所定の角度だけ回転させた面上になるように構成される、
    請求項1又は2記載の計測装置。
  5. 前記撮像装置及び前記照明部は、前記被験者に対して斜めに向くように配置される、
    請求項1又は2記載の計測装置。
  6. 被験者の瞼位置を計測する計測方法であって、
    被験者の上瞼から下瞼に亘って延びる光を照射する照明ステップと、
    前記光の光軸を含む面を、前記被験者に照射される前記光に沿った軸を中心に所定の角度だけ回転させた面上に撮像光軸を設定して、前記被験者の画像を取得する撮像ステップと、
    前記撮像ステップにおいて取得された画像における光像の位置に基づいて高さ情報を取得し、前記高さ情報に基づいて前記瞼位置を計測する演算ステップと、
    を備える計測方法。
JP2013261251A 2013-12-18 2013-12-18 計測装置及び計測方法 Active JP6227996B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013261251A JP6227996B2 (ja) 2013-12-18 2013-12-18 計測装置及び計測方法
PCT/JP2014/080239 WO2015093202A1 (ja) 2013-12-18 2014-11-14 計測装置及び計測方法
US15/105,088 US10478063B2 (en) 2013-12-18 2014-11-14 Measurement device and measurement method
CN201480068600.XA CN105828701B (zh) 2013-12-18 2014-11-14 测量装置和测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013261251A JP6227996B2 (ja) 2013-12-18 2013-12-18 計測装置及び計測方法

Publications (2)

Publication Number Publication Date
JP2015118523A JP2015118523A (ja) 2015-06-25
JP6227996B2 true JP6227996B2 (ja) 2017-11-08

Family

ID=53402558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013261251A Active JP6227996B2 (ja) 2013-12-18 2013-12-18 計測装置及び計測方法

Country Status (4)

Country Link
US (1) US10478063B2 (ja)
JP (1) JP6227996B2 (ja)
CN (1) CN105828701B (ja)
WO (1) WO2015093202A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448825B2 (en) * 2013-05-01 2019-10-22 Musc Foundation For Research Development Monitoring neurological functional status
CN106456077A (zh) * 2014-06-20 2017-02-22 Sdip控股企业有限公司 监测睡意
JP6255470B1 (ja) * 2016-12-27 2017-12-27 株式会社Qdレーザ 網膜走査型検眼装置、網膜走査型検眼システム、網膜走査型検眼方法、網膜走査型アイウェア提供システム、網膜走査型アイウェア提供方法及び網膜走査型アイウェア
JP7370570B2 (ja) * 2019-09-09 2023-10-30 株式会社トーメーコーポレーション 眼科装置及びコンピュータプログラム
CN115300228A (zh) * 2021-09-10 2022-11-08 苏州大学 一种基于结构光测量的智能眼罩及其控制方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59186538A (ja) * 1983-04-07 1984-10-23 キヤノン株式会社 眼科装置
US4933756A (en) * 1988-04-12 1990-06-12 Kabushiki Kaisha Topcon Eye fundus camera
JP3143819B2 (ja) 1994-05-20 2001-03-07 株式会社豊田中央研究所 まぶたの開度検出装置
JP3539813B2 (ja) * 1995-11-30 2004-07-07 株式会社ニデック 眼科装置
JP4111592B2 (ja) * 1998-06-18 2008-07-02 コニカミノルタセンシング株式会社 3次元入力装置
JP3383594B2 (ja) * 1998-09-29 2003-03-04 沖電気工業株式会社 眼の開度測定装置
JP3660145B2 (ja) * 1998-11-27 2005-06-15 株式会社ニデック 眼科装置
JP2002122899A (ja) * 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2003323607A (ja) * 2002-04-30 2003-11-14 Matsushita Electric Ind Co Ltd 虹彩撮像装置
EP1755441B1 (en) 2004-04-01 2015-11-04 Eyefluence, Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4549109B2 (ja) * 2004-06-14 2010-09-22 キヤノン株式会社 照明装置及び撮影装置
JP4710679B2 (ja) * 2006-03-23 2011-06-29 日産自動車株式会社 開閉眼判定方法及びその装置
JP2007319174A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 撮影装置およびそれを用いた認証装置
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
JP4895797B2 (ja) * 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4888127B2 (ja) * 2007-01-17 2012-02-29 コニカミノルタセンシング株式会社 三次元測定装置及び携帯型計測器
JP4309926B2 (ja) * 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP4848301B2 (ja) 2007-03-14 2011-12-28 アイシン精機株式会社 瞼検出装置及びプログラム
JP4309928B2 (ja) 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP4307496B2 (ja) * 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
US9965681B2 (en) * 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
JP5642945B2 (ja) * 2009-05-29 2014-12-17 浜松ホトニクス株式会社 瞬目計測装置
JP5180997B2 (ja) * 2010-07-14 2013-04-10 株式会社豊田中央研究所 まぶた検出装置及びプログラム
JP2012038106A (ja) 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5879825B2 (ja) * 2010-09-30 2016-03-08 株式会社ニデック 角膜内皮細胞撮影装置
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
WO2013008304A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
RU2612500C2 (ru) * 2011-07-14 2017-03-09 Конинклейке Филипс Н.В. Система и способ для удаленного измерения оптического фокуса
EP2551636A1 (de) * 2011-07-25 2013-01-30 Leica Geosystems AG Berührungslos bedienbare Vermessungsvorrichtung und Steuerverfahren für eine solche
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
CN104114080B (zh) * 2011-10-17 2017-04-19 爱迪尔扫描有限责任公司 用于确定眼地形图的方法和设备
WO2013065805A1 (ja) * 2011-11-02 2013-05-10 株式会社ニデック 角膜撮影装置
US8942434B1 (en) * 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
US9201512B1 (en) * 2012-04-02 2015-12-01 Google Inc. Proximity sensing for input detection
CN102752458A (zh) 2012-07-19 2012-10-24 北京理工大学 一种驾驶员疲劳检测手机与检测单元
JP6292799B2 (ja) * 2012-10-26 2018-03-14 キヤノン株式会社 眼科装置およびその制御方法
US20140267668A1 (en) * 2013-03-15 2014-09-18 Lumetrics, Inc. Portable fundus camera
JP6265348B2 (ja) * 2013-05-22 2018-01-24 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
US9795290B2 (en) * 2013-11-15 2017-10-24 Tearscience, Inc. Ocular tear film peak detection and stabilization detection systems and methods for determining tear film layer characteristics
JP6462209B2 (ja) * 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
KR101613091B1 (ko) * 2014-04-24 2016-04-20 한국과학기술연구원 시선 추적 장치 및 방법
CN107077608B (zh) * 2014-11-13 2021-06-29 英特尔公司 图像生物特征识别中的面部活体检测
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
JP6530239B2 (ja) * 2015-05-28 2019-06-12 浜松ホトニクス株式会社 両眼計測装置、両眼計測方法、及び両眼計測プログラム
JP6231541B2 (ja) * 2015-06-25 2017-11-15 株式会社Qdレーザ 画像投影装置
JP2017131550A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 画像処理装置及び画像処理方法
US10796608B2 (en) * 2016-11-18 2020-10-06 Gaumard Scientific Comapny, Inc. Interactive education system

Also Published As

Publication number Publication date
JP2015118523A (ja) 2015-06-25
WO2015093202A1 (ja) 2015-06-25
US10478063B2 (en) 2019-11-19
US20160317033A1 (en) 2016-11-03
CN105828701A (zh) 2016-08-03
CN105828701B (zh) 2018-02-13

Similar Documents

Publication Publication Date Title
JP6227996B2 (ja) 計測装置及び計測方法
US10360683B2 (en) Image processing apparatus, image processing method, and program
US9600886B2 (en) Optical image measuring apparatus
JP6535223B2 (ja) 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム
US20120120368A1 (en) Fundus analyzing appartus and fundus analyzing method
US8879069B2 (en) Optical image measurement device
JP6112846B2 (ja) 眼科装置
JP5901124B2 (ja) 撮像装置およびその制御方法
WO2014103646A1 (ja) 眼科装置
US10362939B2 (en) Fundus analysis apparatus and fundus observation apparatus
WO2015019867A1 (ja) 眼科撮影装置
US9913581B2 (en) Photography apparatus and photography method
US9861279B2 (en) Method and device for determining the eye position
US20160106312A1 (en) Data processing method and oct apparatus
JP6585897B2 (ja) 眼科撮影装置
US10045691B2 (en) Ophthalmologic observation apparatus using optical coherence tomography
KR101218914B1 (ko) 안굴절력 측정장치
JP6407631B2 (ja) 眼科装置
JP6901264B2 (ja) 眼科装置
CN102525404B (zh) 眼科装置
JP5690130B2 (ja) 瞳孔径計測装置
JP6779674B2 (ja) Oct装置
WO2020250922A1 (ja) 眼科装置
JP6693149B2 (ja) 瞳孔検出装置、および瞳孔検出方法
JP7231366B2 (ja) 眼科装置および眼科装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171012

R150 Certificate of patent or registration of utility model

Ref document number: 6227996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150