JPH1172697A

JPH1172697A - 視点位置検出方法及び検出装置

Info

Publication number: JPH1172697A
Application number: JP9231962A
Authority: JP
Inventors: Hiroshi Imai; 浩今井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-08-28
Filing date: 1997-08-28
Publication date: 1999-03-16

Abstract

(57)【要約】【課題】視点追従型立体表示装置などで用いられる瞳
孔抽出による視点位置検出装置において、撮像装置と光
軸を同軸とする単一の照明装置を用いた簡単な装置構成
で観察者の瞳孔を安定に抽出し、非接触で正確な視点位
置検出を行う。【解決手段】観察者（被検出者）１３０の顔面を照明
する赤外光照明装置１０１と、照明された観察者１３０
の顔面を撮像する撮像装置１０２と、観察者１３０の瞳
孔位置を検出するための所定の処理を施す画像処理装置
１２０を有する。画像処理装置１２０では画像メモリ１
０４に蓄積された画像は画像微分演算部１０５により空
間的な微分演算が施される。その後、画像絶対値演算部
１０６により画像微分演算部１０５の出力画像の絶対値
がそれぞれの画素ごとに計算され、その結果を画像２値
化演算部１０７によりそれぞれの画素ごとに２値化し、
視点位置算出部１０８により２値化された画像の明るい
部分の座標位置から観察者の視点位置を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察者の視点位置
を検出するための技術に関し、特に観察者の視点位置を
常時非接触で検出してその検出した視点位置に応じて観
察者に常に正しい立体画像を呈示する立体表示装置等に
用いて好適な視点位置検出方法と検出装置に関する。

【０００２】

【従来の技術】近年、立体表示への要望が高まってお
り、様々な立体表示装置の研究が行われている、最近で
は特にレンチキュラスクリーンを用いて、両眼視差を有
する画像をそれぞれ左右の目に空間的に分離して呈示す
ることで立体視を実現する立体表示装置が注目されてい
る。この装置は特別なメガネを装着する必要がないとい
う利点を有している。ただし、この装置では立体視が可
能な領域が人間の両眼間隔程度に制限されてしまうとい
う問題があり、観察者は常に頭を固定して観察するとい
う不自然な姿勢を要求されている。このような問題点を
解決するために観察者の視点位置を常時検出して、その
検出された視点位置に応じて観察者に常に正しい立体画
像を呈示する視点追従型立体表示装置が知られている
（例えば、特開平１−１０７２４７号公報、特開平５−
７１２３号公報など）。このような従来の視点追従型立
体表示装置では、視点位置を検出するために磁気センサ
や、反射鏡等を観察者に装着させる必要があり、このこ
とが観察者に違和感を与え、特別なメガネを装着する必
要がないというレンチキュラスクリーンを用いた立体表
示装置の利点を低減してしまう原因となる。また、不特
定多数の観察者が使用する場合、装着型の視点検知装置
を使用すると衛生上の問題も生じる。

【０００３】このような問題を解消できる視点位置検出
装置として、例えば、特開平７−６１２５６号公報で
は、観察者の顔面を撮像し、この撮像画像から瞳孔のみ
を抽出して、観察者の瞳孔位置を非接触で検出する瞳孔
検出装置が提案されている。この瞳孔検出装置では、人
間の瞳孔の反射特性を利用して瞳孔検出を行っている。
人間の瞳孔は、撮像装置と光軸を同軸とする赤外光照明
装置で照明すると瞳孔の反射率が顔面の他の部分の反射
率より大きくなるという性質があり、撮像装置と光軸を
非同軸とする赤外光照明装置で照明すると瞳孔の反射率
が顔面の他の部分の反射率より小さくなるという性質が
ある。そこで、これら配置の異なる照明装置を用いて得
られたそれぞれの画像の差分をとると、人間の瞳孔部分
だけを抽出することが可能となる。

【０００４】図１３はこの特開平７−６１２５６号公報
に記載の技術の一部を概念的に示す図である。この瞳孔
検出装置では、撮像部１と、眼球１７を照明する第１照
明灯２および第２照明灯３を有する。第１照明灯２はそ
の光軸が撮像部１と同軸に配置され、第２照明灯３はそ
の光軸が撮像部１と非同軸に配置される。この瞳孔検出
装置では、まず照明発光制御部６により第１照明灯２の
みが点灯され瞳孔が明るくなる画像が撮像される。撮像
部１で撮像された画像はＡ／Ｄ変換器８でデジタル画像
に変換された後、画像メモリ９にて保持される。続い
て、照明発光制御部６により撮像部１と光軸を非同軸と
する第２照明灯３のみが点灯され、瞳孔が暗くなる画像
が撮像される。撮像部１で撮像された画像は、第１照明
灯２の場合と同様にＡ／Ｄ変換器８でデジタル画像に変
換された後、画像メモリ９にて保持される。さらに、画
像メモリ９に保持されている第１照明灯２および第２照
明灯３で照明されたそれぞれの画像同志の差分を瞳孔抽
出部１０で計算することで眼球１７の瞳孔を抽出してい
る。

【０００５】

【発明が解決しようとする課題】この従来の瞳孔検出装
置では被験者の顔面を撮像した画像から瞳孔部分を抽出
するために、撮像装置と光軸を同軸とする赤外光照明装
置および撮像装置と光軸を非同軸とする赤外光照明装置
の２種類の照明手段を必要し、また、これらの２種類の
照明手段で照明された撮像画像をそれぞれ独立に取得す
るために、時分割でそれぞれの照明装置を切り替えて点
灯する手段を備える必要があり、装置構成が複雑化する
という問題がある。

【０００６】本発明の目的は、撮像装置と光軸を同軸と
する単一の照明装置のみを用いた簡単な装置構成で観察
者の瞳孔を抽出し、正確な視点位置検出を行うことがで
きる視点位置検出方法と検出装置を提供することにあ
る。

【０００７】

【課題を解決するための手段】本発明の視点位置検出方
法は、被検出者の顔面を照明するとともに撮像し、撮像
により得られた前記被検出者の顔面画像値を微分演算
し、かつこの演算結果の絶対値を求めるとともに、この
絶対値を閾値と比較し、前記閾値よりも大きな値の箇所
を前記被検出者の視点位置として検出する。この場合、
微分演算した演算結果の絶対値を求めるとともに、演算
対象値の輝度の総和を演算し、かつ演算結果同志を、そ
れぞれの対応値ごとに除算し、この除算結果を閾値と比
較して閾値よりも大きな値の箇所を前記被検出者の視点
位置として検出するようにしてもよい。また、前記画像
を微分する際に、演算対象値の間隔を瞳孔径に一致させ
ることが好ましい。

【０００８】また、本発明の視点位置検出装置は、被検
出者の顔面を撮像する撮像手段と、光軸が前記撮像手段
と実質的に同軸にある照明手段と、前記撮像手段によっ
て得られた前記被検出者の顔面画像を蓄積する記憶手段
と、前記記憶手段に蓄積された画像に空間的な微分演算
を施す画像微分演算手段と、前記画像微分演算手段の演
算結果の絶対値を求める画像絶対値演算手段と、前記絶
対値演算手段の演算結果を２値化する画像２値化演算手
段と、前記画像２値化演算手段の演算結果から前記被検
出者の視点位置を検出する手段を備える。この場合、画
像微分演算手段における演算対象画素の輝度の総和を演
算する規格化因子演算手段と、前記画像絶対値演算手段
および前記規格化因子演算手段で得られた演算結果同志
を、それぞれの対応画素ごとに除算する画像除算手段と
を備え、この画像除算手段の演算結果を２値化する構成
としてもよい。なお、前記画像微分演算手段は、演算対
象画素の間隔を瞳孔径にした構成とすることが好まし
い。

【０００９】本発明による視点位置検出方法及び検出装
置では、顔面の撮影画像を微分することで、被験者の瞳
孔像を画像の他の部分より強調させ、信号対雑音比の高
い瞳孔画像信号を得ることにより、単一の照明装置のみ
を用いた簡単な装置構成で観察者の瞳孔を安定に抽出
し、非接触で正確な視点位置検出を行うことができる。
特に、光軸が撮像手段と実質的に同軸にある照明手段及
び撮像手段を用いることで、さらに、演算対象画素の間
隔を瞳孔径にした空間的な画像微分演算を施すことで、
より高精度でかつ正確な視点位置検出が実現できる。

【００１０】

【発明の実施の形態】次に、本発明の実施形態を図面を
参照して説明する。（第１の実施形態）図１は本発明の視点位置検出装置の
第１の実施形態を示す概念構成図である。観察者１３０
（被検出者）の顔面を照明する赤外光照明装置１０１
と、この赤外光照明装置１０１で照明された観察者１３
０の顔面を撮像する撮像装置１０２、および観察者１３
０の瞳孔位置を検出するための所定の処理を施す画像処
理装置１２０を有する。前記撮像装置１０２はハーフミ
ラー１０３により赤外光照明装置１０１と光軸が同軸に
なるように配置してあり、観察者１３０の瞳孔を明るく
撮像することができる。ここでは、赤外光照明装置１０
１の光源として波長８５０ｎｍの発光ダイオードを用い
ている。

【００１１】また、前記撮像装置１０２は固体撮像素子
を用いたものであり、波長７６０ｎｍ以下の光を遮断す
る波長フィルタを内蔵して室内灯など可視光の外部照明
装置の影響を受けないようにしてある。また、この撮像
装置１０２はＮＴＳＣ規格のモノクロ・アナログ映像信
号を出力し、水平周波数および垂直周波数はそれぞれ１
５．７５ｋＨｚ、６０Ｈｚである。この撮像装置１０２
の撮像距離は２ｍであり、この撮像距離において観察者
１３０の画像の分解能が１ｍｍになるようにレンズ倍率
を調整してある。

【００１２】前記画像処理装置１２０は撮像装置１０２
による観察者１３０の撮像画像を蓄積する画像メモリ１
０４、この画像メモリ１０４に蓄積された画像に空間的
な微分演算を施す画像微分演算部１０５、この画像微分
演算部１０５の結果の絶対値を求める画像絶対値演算部
１０６、この画像絶対値演算部１０６の結果を２値化し
て観察者１３０の瞳孔を抽出する画像２値化演算部１０
７、画像２値化演算部の結果から観察者１３０の視点位
置を検出する視点位置算出部１０８から構成される。

【００１３】この構成においては、前記画像メモリ１０
４は撮像装置１０２からのアナログ映像信号出力をＡ／
Ｄ変換器により解像度５１２×５１２画素のデジタル画
像に変換し、各フィールドごと、すなわち毎秒６０回で
観察者１３０の顔面の撮影画像を蓄積する。そして、画
像メモリ１０４に蓄積された画像は画像微分演算部１０
５により空間的な画像微分演算が施される。その後、画
像絶対値演算部１０６によりそれぞれの画素ごとに絶対
値が計算され、さらに画像２値化演算部１０７によりそ
れぞれの画素ごとに２値化処理が行われ、瞳孔が抽出さ
れる。この後、抽出された瞳孔の座標位置から視点位置
算出部１０８により観察者の視点位置が検出される。次
いで、画像処理装置１２０における各種演算および視点
位置算出は電子計算機により撮像装置１０４の垂直同期
信号と同期して順次行われ、画像処理装置１２０から観
察者１３０の視点位置が毎秒６０回出力される。

【００１４】次に、以上の構成の視点位置検出装置にお
ける視点位置検出動作について詳細を説明する。まず、
動作原理を説明する。図２は本発明の撮像装置で撮像さ
れる画像を示す図である。図２（ａ）は図１における撮
像装置１０２によって得られた観察者の画像であり、図
２（ｂ）は図２（ａ）における線分ＡＢ間の画像の水平
輝度分布である。図２（ｂ）に示すように瞳孔部分２０
１は顔面部分２０２より明るく撮像される。

【００１５】図３は本発明の視点位置検出装置における
画像処理装置の原理を説明するための図である。撮像装
置１０２により得られた画像は画像メモリ１０４に画像
Ｉ（ｘ，ｙ）として記録される。ここで、ｘ，ｙは撮像
画像の水平、垂直それぞれの座標位置を表わす。図３
（ａ）は画像メモリ１０４に記録された観察者の画像の
水平輝度分布であり、前述の図２（ｂ）で示したものに
相当する。このように、画像メモリ１０４に記録された
画像Ｉ（ｘ，ｙ）に対し、画像微分演算部１０５で画像
微分演算を行う。画像微分演算は図３（ａ）に示すよう
に、瞳孔径３０３に相当する画素数ｄｘだけ離れた画素
同志の差分Ｉ（x+dx/2 , y）−Ｉ（x-dx/2, y）を求め
ることで行う。この画像微分演算を行うことで図３
（ｂ）に示すように、顔面像３０２に対して瞳孔像３０
１のみを強調することができる。この画像微分演算後、
画像絶対値演算部１０６により画像絶対値演算を行うこ
とで図３（ｃ）に示すように、図３（ａ）において負の
値を持つ成分が正の値に変換される。さらに、画像絶対
値処理後、画像２値化処理部１０７により、図３（ｃ）
の画像に対して閾値３０４の画像２値化演算を施すこと
により図３（ｄ）に示すように瞳孔像のみを抽出でき
る。

【００１６】図４は本発明の視点位置検出装置における
視点位置算出部１０８の働きを説明するための図であ
る。本発明の視点位置検出装置を視点追従型立体表示装
置に適用するためには観察者画像４０１における両眼の
瞳孔部分４０２の中点に相当する視点位置４０３を検出
する必要がある。本実施形態においては瞳孔抽出画像４
０４において抽出された瞳孔部分４０５の水平最小座標
４０６と水平最大座標４０７の中点を計算することで視
点位置４０３を検出する。

【００１７】以上の視点位置検出装置を用いて実際に観
察者の顔面を撮影し、観察者の視点位置を検出した例を
説明する。図５（ａ）は観察者の顔面を撮影した画像の
輝度分布を示す図である。図５（ａ）に示した画像には
瞳孔像５０１と顔面像５０２とがそれぞれ撮像される。
図５（ａ）に示した画像に対し、瞳孔像５０１の直径に
相当する５画素だけ離れた画素同志の差分をとることで
微分演算を行なった。画像微分演算後、画像絶対値演算
を行った結果を図５（ｂ）に示す。図５（ｂ）において
瞳孔像５０１と顔面像５０２との輝度比は５：１とな
り、画像２値化演算によってこれらを分離することが可
能となった。ここで図５（ｂ）において閾値５０３を
「２５」として２値化処理を行うと図５（ｃ）に示すよ
うに瞳孔像５０１のみを完全に抽出することができた。

【００１８】図６は本発明の視点位置検出装置を用いて
観察者の視点位置を検出した結果を示す図である。本発
明の視点位置検出装置により瞳孔抽出像の水平最小座標
６０１と水平最大座標６０２がそれぞれ毎秒６０回検出
され、これらの中点から安定に視点位置６０３を毎秒６
０回検出できた。

【００１９】本発明の視点位置検出装置の視点追従型立
体表示装置への適用例について述べる。図７は本発明の
視点位置検出装置を用いた視点追従型立体表示装置の全
体構成を示す図である。本視点追従型立体表示装置にお
いて観察者７０６はレンチキュラスクリーン７０５を通
して立体画像を観察する。図７において、図１に示した
視点位置検出装置は参照番号７０１で示されている。視
点位置検出装置７０１には光学系制御部７０２が接続さ
れており、観察者７０６の視点位置に応じて液晶プロジ
ェクタ７０４内の視点追従光学系機構部７０３が制御さ
れる。以上の本実施形態による視点位置検出装置を視点
追従型立体表示装置へ適用したところ、視点位置を非接
触で正確に検出することが可能となり、観察者の負担の
少ない立体表示装置を提供することができた。

【００２０】（第２の実施形態）図８は本発明の視点位
置検出装置の第２の実施形態を示す図である。この第２
の実施形態では、前記した第１の実施形態における画像
処理装置１２０（図１参照）の構成のうち、画像メモリ
１０４、画像微分演算部１０５、画像絶対値演算部１０
６、画像２値化演算部１０７、視点位置算出部１０８は
同じであるが、この構成に加えて、規格化因子演算部８
０１、画像除算演算部８０２を備えるものである。前記
規格化因子演算部８０１は、画像微分演算部１０５おけ
る演算対象画素の輝度の総和を計算し、画像除算演算部
８０２は、画像絶対値演算部１０６の演算結果を規格化
因子演算部８０１の演算結果で各画素ごとに除算する。
なお、画像処理装置１２０を除く部分の構成は第１の実
施形態と同様であるので、図１と同じ符号を付し、それ
らの説明は省略する。

【００２１】この第２の実施形態の動作原理について詳
細を説明する。図９、図１０は本発明の視点位置検出装
置における画像処理装置の原理を説明するための図であ
る。撮像装置１０２によって得られた観察者の画像は本
発明の第１の実施形態と同様に図２で示される画像が得
られ、この画像は画像メモリ１０４に画像Ｉ（x, y）と
して記録される。ここで、ｘ，ｙは撮像画像の水平、垂
直それぞれの座標位置を表わす。図９（ａ）は画像メモ
リ１０４に記録された観察者の画像の水平輝度分布であ
り、前述の図２（ｂ）で示したものに相当する。画像メ
モリ１０４に記録された画像Ｉ（x , y)に対し、画像微
分演算部１０５で画像微分演算を行う。画像微分演算は
図９（ａ）に示すように、瞳孔径９０３に相当する画素
数ｄｘだけ離れた画素同志の差分Ｉ（x+dx/2 , y）−Ｉ
（x-dx/2 , y）を求めることで行う。この画像微分演算
を行うことで図９（ｂ）に示すように、顔面像９０２に
対して瞳孔像９０１のみを強調することができる。この
後、画像絶対値演算部１０６により画像絶対値演算を行
うことで図９（ｃ）中の絶対値処理後画像９０１に示す
ように、図９（ａ）において負の値を持つ成分が正の値
に変換される。

【００２２】また、規格化因子演算部８０１により演算
Ｉ（x+dx/2 , y）＋Ｉ（x-dx/2 , y）を行うことより微
分対象画素の規格化因子を求める。規格化因子演算部８
０１により計算した規格化因子を図９（ｃ）中の規格化
因子９０５に示す。ここで、画像絶対値演算部１０６に
より求めた図９（ｃ）中の絶対値処理後画像９０４で示
した画像を、規格化因子演算部８０１で求めた規格化因
子９０５で画像除算演算部８０２により画像除算演算を
施すことにより規格化処理を行う。この処理により、瞳
孔像の輝度に変動が生じても常に一定の値を保持するこ
とができる。規格化処理後の画像を図９（ａ）に示す。
規格化処理後、２値化処理部１０７により、図９（ａ）
の画像に対して閾値９０６の２値化演算を施すことによ
り図９（ｂ）に示すように瞳孔像を抽出できる。

【００２３】以上の視点位置検出装置を用いて観察者の
顔面を撮影し、観察者の視点位置を検出した。図１１
（ａ）は観察者の顔面を撮影した画像の輝度分布を示す
図である。図１１（ａ）に示した画像には瞳孔像１００
１と顔面像１００２とがそれぞれ撮像される。図１１
（ａ）に示した画像に対し、瞳孔像１００１の直径に相
当する５画素だけ離れた画素同志の差分をとることで画
像微分演算を行なった。さらに、５画素だけ離れた画素
同志の和をとることで規格化因子を計算した。画像微分
演算後、画像絶対値演算を行った結果を図１１（ｂ）に
示す。また、図１１（ｂ）の結果と規格化因子を比較し
たグラフを図１１（ｃ）に示す。図１１（ｂ）において
右眼瞳孔像１００３と左眼瞳孔像１００４とでは輝度に
差が生じている。そこで図１１（ｃ）における微分絶対
値処理後画像１００５を規格化因子１００６で除算する
ことで規格化処理を行うと、図１２（ａ）に示すように
右眼瞳孔像１００３と左眼瞳孔像１００４との輝度の差
を小さくでき、瞳孔像と顔面像の２値化処理による分離
が容易になる。ここで図１２（ａ）において閾値１００
７を０．２５として画像２値化演算を行うと図１２
（ｂ）に示すように瞳孔像１００１のみを完全に抽出す
ることができた。

【００２４】本発明の視点位置検出装置により視点位置
を検出した結果、第１の実施形態と同様に瞳孔抽出像の
水平最小座標と水平最大座標が毎秒６０回検出され、こ
れらの中点から安定に視点位置を毎秒６０回検出でき
た。また、本実施形態の視点位置検出装置を用いた視点
追従型立体表示装置の全体構成は第１の実施形態と同様
であり。本実施形態の視点位置検出装置は図７の参照番
号７０１で示されている。以上の本実施形態による視点
位置検出装置を視点追従型立体表示装置へ適用したとこ
ろ、視点位置を非接触で正確に検出することが可能とな
り、観察者の負担の少ない立体表示装置を提供すること
ができた。

【００２５】ここで、前記第１、第２の実施形態におい
て、照明装置の位置は正確に同軸でなくても、観察者の
瞳孔が明るく撮像できれば光軸近傍の配置でもよい。ま
た、メガネなど鏡面物体の反射光によるノイズを除去す
る目的で、照明装置や撮像装置の光軸上に偏光板や１／
４波長板などを挿入してもよい。さらに、撮像装置はＮ
ＴＳＣ規格以外にＰＡＬ規格、ＳＥＣＡＭ規格などの各
種規格のものを使用してもよく、またこれらより水平及
び垂直周波数の高いものを用いてもよい。また、画像メ
モリは各種解像度ものを用いてもよい。さらに、画像微
分演算部、画像絶対値演算部、画像除算演算部、画像２
値化演算部における２値化処理は電子計算機に以外に、
専用のデジタル論理回路やオペアンプによるアナログ演
算回路を用いてもよい。また、視点位置検出部における
視点位置検出は電子計算機に以外に、専用のデジタル論
理回路を用いてもよい。

【００２６】一方、演算対象画素の間隔を瞳孔径ｄｘと
する画像微分演算として、前記したＩ（x+dx/2 , y）−
Ｉ（x-dx/2 , y）以外に、Ｉ（x , y)−Ｉ（x-dx , y）
やＩ（x , y)−Ｉ（x+dx , y）などを用いてもよく、ま
たこれらを重畳したＩ（x ,y)−Ｉ（x-dx , y）＋Ｉ（x
, y)−Ｉ（x+dx , y）を用いてもよい。また、画像微
分演算はＩ（x, y+dx/2)−Ｉ（x, y-dx/2)のような垂直
方向に関するものを併せて行ってもよい。また、垂直方
向に関する画像微分演算は水平方向の場合と同様に、Ｉ
（x,y+dx/2 )−Ｉ（x , y-dx/2）以外に、Ｉ（x , y)−
Ｉ(x , y-dx)やＩ（x , y)−Ｉ(x , y+dx)などを用いて
もよく、またこれらを重畳したＩ（x ,y)−Ｉ(x , y-d
x)＋Ｉ(x , y）−Ｉ（x , y+dx）を用いてもよい。さら
に、画像微分演算を水平方向にのみについて行った場合
は、画像メモリをラインメモリとして、各走査線毎に瞳
孔画像を抽出してもよい。また、視点位置検出部におけ
る視点検出は画像重心演算を用いてもよい。

【００２７】

【発明の効果】以上説明したように本発明は、撮像手段
で得られた被験者の画像に対し、画像微分演算を行うこ
とで、被験者の瞳孔像を画像の他の部分より強調させ、
信号対雑音比の高い瞳孔画像信号を得ることにより、撮
像装置と光軸を同軸とする単一の照明装置のみを用いた
簡単な装置構成で観察者の瞳孔を安定に抽出し、非接触
で正確な視点位置検出を行うことができる。この場合、
演算対象画素の間隔を瞳孔径にした空間的な画像微分演
算手段を用いることで、より高精度でかつ正確に位置検
出が実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の構成を示す概念構成
図である。

【図２】本発明の撮像装置で撮像される画像を示す図で
ある。

【図３】本発明の視点位置検出装置における画像処理装
置の原理を説明するための図である。

【図４】本発明の視点位置検出装置における視点位置算
出部の働きを説明するための図である。

【図５】観察者の顔面を撮影した画像の輝度分布を示す
図である。

【図６】本発明の視点位置検出装置を用いて観察者の視
点位置を検出した結果を示す図である。

【図７】本発明の視点位置検出装置を用いた視点追従型
立体表示装置の全体構成を示す図である。

【図８】本発明の第２の実施形態を示す図である。

【図９】本発明の視点位置検出装置における画像処理装
置の原理を説明するための図のその１である。

【図１０】本発明の視点位置検出装置における画像処理
装置の原理を説明するための図のその２である。

【図１１】観察者の顔面を撮影した画像の輝度分布を示
す図のその１である。

【図１２】観察者の顔面を撮影した画像の輝度分布を示
す図のその２である。

【図１３】従来の視点位置検出装置の一例の一部を示す
概念図である。

【符号の説明】

１０１赤外照明装置１０２撮像装置１０３ハーフミラー１０４画像メモリ１０５画像微分演算部１０６画像絶対値演算部１０７画像２値化演算部１０８視点位置算出部１２０画像処理装置７０１視点検出装置７０２光学系制御部７０３視点追従光学系機構部７０４液晶プロジェクタ７０５レンチキュラスクリーン７０６観察者８０１規格化因子演算部８０２画像除算演算部

Claims

【特許請求の範囲】

【請求項１】被検出者の顔面を照明するとともに撮像
し、撮像により得られた前記被検出者の顔面画像値を微
分演算し、かつこの演算結果の絶対値を求めるととも
に、この絶対値を閾値と比較し、前記閾値よりも大きな
値の箇所を前記被検出者の視点位置として検出すること
を特徴とする視点位置検出方法。
【請求項２】被検出者の顔面を照明するとともに撮像
し、撮像により得られた前記被検出者の顔面画像を微分
演算し、かつこの演算結果の絶対値を求めるとともに、
前記演算対象値の輝度の総和を演算し、前記演算結果同
志を、それぞれの対応値ごとに除算し、この除算結果を
閾値と比較し、前記閾値よりも大きな値の箇所を前記被
検出者の視点位置として検出することを特徴とする視点
位置検出方法。
【請求項３】前記画像を微分する際に、演算対象値の
間隔を瞳孔径に一致させる請求項１または２に記載の視
点位置検出方法。
【請求項４】被検出者の顔面を撮像する撮像手段と、
光軸が前記撮像手段と実質的に同軸にある照明手段と、
前記撮像手段によって得られた前記被検出者の顔面画像
を蓄積する記憶手段と、前記記憶手段に蓄積された画像
に空間的な微分演算を施す画像微分演算手段と、前記画
像微分演算手段の演算結果の絶対値を求める画像絶対値
演算手段と、前記絶対値演算手段の演算結果を２値化す
る画像２値化演算手段と、前記画像２値化演算手段の演
算結果から前記被検出者の視点位置を検出する手段を備
えたことを特徴とする視点位置検出装置。
【請求項５】被検出者の顔面を撮像する撮像手段と、
光軸が前記撮像手段と実質的に同軸にある照明手段と、
前記撮像手段によって得られた前記被検出者の顔面画像
を蓄積する記憶手段と、前記記憶手段に蓄積された画像
に空間的な微分演算を施す画像微分演算手段と、前記画
像微分演算手段の演算結果の絶対値を求める画像絶対値
演算手段と、前記画像微分演算手段における演算対象画
素の輝度の総和を演算する規格化因子演算手段と、前記
画像絶対値演算手段および前記規格化因子演算手段で得
られた演算結果同志を、それぞれの対応画素ごとに除算
する画像除算手段と、前記画像除算手段の演算結果を２
値化する画像２値化演算手段と、前記２値化演算手段の
演算結果から前記被検出者の視点位置を検出する手段を
備えたことを特徴とする視点位置検出装置。
【請求項６】前記画像微分演算手段は、演算対象画素
の間隔を瞳孔径にしたことを特徴とする請求項４または
５に記載の視点位置検出装置。