JPH05145830A - ビデオカメラ - Google Patents

Abstract

(57)【要約】 【目的】 意味のある視線移動であるのかどうかを判断
できる、より使い勝手の良い視線検出手段を備えるビデ
オカメラを提供することを目的とする。 【構成】 撮影画像等を電気的に表示するビューファイ
ンダ１０１を備えたビデオカメラであって、前記ビュー
ファインダ１０１のファインダ画面１０２における撮影
者の視線位置を、前記撮影者の視線の移動速度に従って
撮影者の視線の重み付けを行って検出する視線検出手段
を有し、前記視線検出手段により検出された視線位置を
利用して撮影制御を行うことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は撮影者の視線を検出す
る視線検出手段を備えたビデオカメラに関するものであ
る。

【０００２】

【従来の技術】従来、撮影画像を表示するビューファイ
ンダを備えるビデオカメラにおいて、撮影者が撮影中に
各種機能の入力を行おうとする際には、前記ビューファ
インダを覗きながら機能入力（スイッチ）等の操作を行
わなければならなかった。

【０００３】また、各種機能のスイッチを確認しながら
操作するためには一度前記ビューファインダから目を離
さなければならず、撮影画面が乱れたり被写体を見失っ
たりする可能性がある。

【０００４】更に、近年ユーザー用途の多様化などでビ
デオカメラに付随する各種機能は増加する傾向にある。

【０００５】このような背景を鑑みれば、ビューファイ
ンダを覗いている撮影者の視線を検出し、前記視線を機
能入力に応用すれば、ビューファインダから目を離すこ
と無く、容易に機能入力を行うことが可能となる。

【０００６】観察者が観察面上のどの位置を観察してい
るかを検出するいわゆる視線（視軸）を検出する装置は
既に提案されている。

【０００７】例えば、特開昭６１−１７２５５２号公報
においては、光源からの平行光束を観察者の眼球の前眼
部へ投射し、角膜からの反射光による角膜反射像と瞳孔
の結像位置を利用して視軸を求めている。

【０００８】図９及び図１０は視線検出方法の原理説明
図で、図９は視線検出光学系の概略図、図１０は図９の
光電素子列６からの出力信号の強度図である。

【０００９】図９において、５は観察者に対して不感の
赤外光を放射する発光ダイオードなどの光源であり、投
光レンズ３の焦点面に配置されている。

【００１０】光源５より発光した赤外光は投光レンズ３
により平行光となりハーフミラー２で反射し、眼球２０
１の角膜２１を照明する。

【００１１】この時、角膜２１の表面で反射した赤外光
の一部による角膜反射像ｄはハーフミラー２を透過し受
光レンズ４により集光され光電素子列６上の位置Ｚｄ’
に再結像する。

【００１２】また、虹彩２３の端部ａ，ｂからの光束は
ハーフミラー２、受光レンズ４を介して光電素子列６上
の位置Ｚａ’，Ｚｂ’に該端部ａ，ｂの像を結像する。

【００１３】受光レンズ４の光軸（光軸ア）に対する眼
球の光軸イの回転角θが小さい場合、虹彩２３の端部
ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩２３の中心
位置ｃの座標Ｚｃは Ｚｃ≒（Ｚａ＋Ｚｂ）／２ と表される。

【００１４】また、角膜反射像の発生位置ＤのＺ座標を
Ｚｄ、角膜２１の曲率中心Ｏと虹彩２３の中心Ｃまでの
距離をＯＣとすると眼球光軸イの回転角θは、 ＯＣ×ｓｉｎθ≒Ｚｃ−Ｚｄ ・・・（１） の関係式を略満足する。

【００１５】ここで、角膜反射像の位置ｄのＺ座標Ｚｄ
と角膜２１の曲率中心ＯのＺ座標Ｚとは一致している。
このため演算手段９において、図１０に示すごとく光電
素子列６面上に投影された各特異点（角膜反射像ｄ及び
虹彩の端部ａ，ｂ）の位置を検出することにより眼球光
軸イの回転角θを求めることができる。この時、（１）
式は、 β×ＯＣ×ｓｉｎθ≒（Ｚａ’＋Ｚｂ’）／２−Ｚｄ’ ・・・（２） と書き換えられる。

【００１６】但し、βは角膜反射像の発生位置ｄと受光
レンズ４との距離Ｌ１と受光レンズ４と光電素子列６と
の距離Ｌ０で決まる倍率で、通常略一定の値となってい
る。

【００１７】以上、説明したような視線（視軸）検出装
置をビデオカメラの動作制御等に利用すれば、操作性を
向上させた使い勝手が良いビデオカメラを実現できる。

【００１８】

【発明が解決しようとしている課題】しかしながら、上
述した視線検出方法を利用してビデオカメラの動作制御
を行おうとした場合、確実に撮影者の意図する位置に視
線検出が行われないことが生じる。

【００１９】本願発明は斯かる背景下に於て、撮影者の
視線を確実に検出できる視線検出手段を備えるビデオカ
メラを提供することを目的とする。

【００２０】

【課題を解決するための手段】本願発明に係るビデオカ
メラは、撮影画像等を電気的に表示するビューファイン
ダを備えるビデオカメラであって、前記ビューファイン
ダの画面における撮影者の視線位置を、前記撮影者の視
線の動き速度に従って視線の重み付けを行って検出する
視線検出手段を有し、前記視線検出手段により検出され
た視線位置を利用して撮影制御を行うことを特徴とする
ものである。

【００２１】

【作用】上記発明によれば、撮影者の視線の動き速度を
考慮しているので、撮影者の意図する視線検出による撮
影制御が可能となる。

【００２２】

【実施例】以下、本願発明の実施例にかかるビデオカメ
ラを図１〜８を用いて詳細に説明する。

【００２３】図１は第１の実施例にかかるビデオカメラ
の要部ブロック図である。

【００２４】図１において、１は接眼レンズで、その内
側には可視光透過・赤外光反射のハーフミラー（ダイク
ロイックミラー）２が斜設されており、光路分割器を兼
ねている。

【００２５】４は受光レンズ、５は照明手段であり、例
えば後述する各位置に配設された３個の各赤外発光ダイ
オード５ａ，５ｃ，不図示の５ｂよりなる。

【００２６】６は光電素子列、受光レンズ４と光電素子
列６とは受光手段の一要素を構成している。前記光電素
子列６は通常、図面垂直方向に一次元的に複数の光電素
子が並んだデバイスを使うが、必要に応じて２次元に光
電素子が並設されたデバイスを使用する。

【００２７】これらの各構成要素１，２，４，５，６よ
り撮影者（観察者）の眼球２０１の視線検出系を構成し
ている。

【００２８】１０１は電子ビューファインダ（ＥＶ
Ｆ）、１０２は前記ＥＶＦ１０１のファインダ画面を示
す。

【００２９】本実施例では、ファインダ画面１０２に映
し出される映像は、接眼レンズ１を介してアイポイント
Ｅに導かれる。

【００３０】本実施例にかかる視線検出手段は、各構成
要素１，２，４，５，６で表された各要素部材より構成
された前記視線検出系と、演算手段である注視点位置処
理部１０９に含まれる眼球光軸検出回路、眼球判別回
路、視軸補正回路、注視点検出回路等，及び後述する位
置信号発生部１２５とを含む。

【００３１】前記視線検出系において、赤外発光ダイオ
ード（ＩＲＥＤ）５から放射される赤外光は、アイポイ
ントＥ近傍に位置する観察者の眼球２０１を照明する。

【００３２】また、眼球２０１で反射した赤外光は、ハ
ーフミラー２で反射され受光レンズ４によって収斂しな
がら光電素子列６上に像を形成する。

【００３３】また、前記注視点位置処理部１０９は光電
素子列６より出力される信号に基づいてマイクロコンピ
ュータのソフトウエアで注視点検出を実行する。

【００３４】また、１１０は映像信号処理部１２１より
出力される映像信号に後述する枠信号発生部１２６の枠
情報の表示をミックスするためのファインダ表示処理
部、１２０は撮像素子を含むビデオレンズ部、１２１は
前記ビデオレンズ部１２０より出力された画像信号に所
定の信号処理を行う映像信号処理部である。

【００３５】１２２は映像信号処理部１２１より出力さ
れる映像信号に基づいてＡＦ，ＡＥ，ＡＷＢ等の制御を
行うビデオレンズ駆動部、１２３は映像信号を記録する
際にＩＤ信号を付加する等、或は記録媒体１２４に記録
された信号を読み出す等の処理を行う記録再生処理部で
ある。

【００３６】１２５は前記注視点位置処理部１０９より
出力される注視点情報の重み付けを行う位置信号発生
部、１２６は前記位置信号発生部１２５より出力される
位置情報に基づいてファインダ画面１０２に枠を表示さ
せるための枠情報を発生させる枠情報発生部である。

【００３７】１３０はＡＦ、ＡＥ、ＡＷＢ等の制御を行
うと共に、操作部１３１の操作に応じてビデオカメラを
構成する装置全体を制御するシステム制御部である。

【００３８】ここで、本願発明の実施例である撮影者
（観察者）の視線（注視点）位置検出方法を詳細に、図
１〜図５を用いて説明する。

【００３９】図２に、図１の視線検出系の要部斜視図、
また図３（Ａ），（Ｂ）に、視線検出系の光学原理図を
示す。

【００４０】照明用の赤外発光ダイオード５ａ，５ｂ，
５ｃは、カメラと観察者の眼球との距離を検出するため
に２個一組で使用され、カメラの姿勢に応じて赤外発光
ダイオード５ａ，５ｂで横位置、赤外発光ダイオード５
ｂ，５ｃで縦位置の検出を行っている。

【００４１】尚、図２及び図３にはカメラの姿勢検知手
段は図示されていないが、水銀スイッチ等を利用した姿
勢検知手段が有効である。

【００４２】赤外発光ダイオード５ａ，５ｂは受光レン
ズ４の光軸（Ｘ軸）に対して光電素子列６の列方向（Ｚ
軸方向）及びこの列方向と直交する方向にシフトした位
置に配置されている。

【００４３】図３（Ａ）において、光電素子列６の列方
向（Ｚ軸方向）に分離して配置された赤外発光ダイオー
ド５ａ，５ｂからの光束はＺ軸方向に分離した位置に角
膜反射像ｅ，ｄをそれぞれ形成する。

【００４４】この時、角膜反射像ｅ及びｄの中点のＺ座
標は角膜２１の曲率中心ＯのＺ座標と一致している。

【００４５】また、角膜反射像ｅ及びｄの間隔は赤外発
光ダイオードと観察者の眼球との距離に対応して変化す
るため、光電素子列６上に再結像した角膜反射像の位置
ｅ’，ｄ’を検出することにより眼球からの反射像の結
像倍率βを求めることが可能となる。

【００４６】また、図３（Ｂ）において、光電素子列６
の列方向と直交する方向に配置された赤外発光ダイオー
ド５ａ、不図示の５ｂは観察者の眼球を斜め上から照明
することになり、そのため観察者の眼球が垂直方向（Ｘ
−Ｙ平面内）に回転していない場合は角膜反射像ｅ（ｄ
は不図示）は角膜の曲率中心及び瞳孔の中心よりも図中
＋Ｙ方向に形成される。

【００４７】図４（Ａ）は、本実施例において光電素子
列６の複数の光電素子列面上に投影された眼球からの反
射像を示す説明図で、光電素子列６上に投影された眼球
からの反射像を示したものである。同図において角膜反
射像ｅ’，ｄ’は光電素子列Ｙｐ’上に再結像してい
る。この時光電素子列Ｙｐ’より得られる出力信号を図
４（Ｂ）に示す。

【００４８】次に、本実施例における視線検出動作を図
５のシーケンスフローチャートを用いて説明する。

【００４９】まず、ステップＳ１では注視点位置処理回
路１０９に含まれる眼球光軸検出回路において眼球光軸
の回転角が検出される。

【００５０】次いで光電素子列６の像信号の読み出しを
図４（Ａ）で示す−Ｙ方向より順次行い、角膜反射像
ｅ’，ｄ’が形成される光電素子列（ライン）Ｙｐ’を
検出する。

【００５１】次にステップＳ２では、角膜反射像ｅ’，
ｄ’の列方向の発生位置Ｚｄ’，Ｚｅ’を検出する。

【００５２】ステップＳ３では、この角膜反射像の間隔
｜Ｚｄ’−Ｚｅ’｜より光学系の結像倍率βを求める。

【００５３】更に次のステップＳ４で、この光電素子列
（ライン）Ｙｐ’上に虹彩２３と瞳孔２４との境界点Ｚ
２ａ’，Ｚ２ｂ’を検出し、ステップＳ５でこの光電素
子列Ｙｐ’上の瞳孔長｜Ｚ２ａ’−Ｚ２ｂ’｜を算出す
る。

【００５４】次にステップＳ６に進み、図４（Ａ）に示
すように通常、角膜反射像が形成される光電素子列Ｙ
ｐ’は瞳孔中心Ｃ’の存在する光電素子列ＹＯ’より図
中−Ｙ方向に発生し、像信号の読み出しを行うべきもう
一つの光電素子列Ｙ１’は前記結像倍率β及び瞳孔長の
値より算出される。この時、上記光電素子列Ｙ１’は光
電素子列Ｙｐ’に対して十分な間隔を有するように設定
される。

【００５５】同様に、ステップＳ７で光電素子列Ｙ１’
上の虹彩２３と瞳孔２４との境界点Ｚ１ａ’，Ｚ１ｂ’
が検出されると、これら境界点（Ｚ１ａ’，Ｙ１’），
（Ｚ１ｂ’，Ｙ１’）及び前記境界点（Ｚ２ａ’，Ｙ
２’），（Ｚ２ｂ’，Ｙ２’）のうち少なくとも３点を
用いて瞳孔の中心位置Ｃ’（Ｚｃ’，Ｙｃ’）が求めら
れる。

【００５６】更にステップＳ８では眼球光軸の回転角を
算出する。つまり前記角膜反射像の位置（Ｚｄ’，Ｙ
ｐ’），（Ｚｅ’，Ｙｐ’）を用いて前記（２）式を変
形すると眼球光軸の回転角θｚ，θｙは、 β×ＯＣ×ｓｉｎθｚ≒Ｚｃ’−（Ｚｄ’＋Ｚｅ’）／２ ・・・（３） β×ＯＣ×ｓｉｎθｙ≒Ｙｃ’−Ｙｐ’＋δＹ’ ・・・（４） を満足する。

【００５７】ただしδＹ’は赤外発光ダイオードが受光
レンズ４に対して光電素子列６の列方向と直交する方向
に配置されていることにより、角膜反射像の再結像位置
ｅ’，ｄ’が光電素子列６上で角膜２１の曲率中心のＹ
座標に対してＹ軸方向にシフトしている分を補正する値
である。

【００５８】更に、ステップＳ９では注視点位置処理回
路１０９に含まれる眼球判別回路においては、例えば算
出される眼球光軸の回転角の分布よりビューファインダ
１０１を覗いている観察者の目が右目か左目かを判別す
る。

【００５９】更にステップＳ１０で視軸補正回路におい
て該眼球判別情報と前記眼球光軸の回転角に基づいて視
軸の補正が行われる。また注視点検出回路においては、
ステップＳ１１でファインダ光学系の光学定数に基づい
て注視点を算出する。

【００６０】以上の説明のように注視点位置処理部１０
９では処理を行い注視点情報を位置信号発生部１２５に
入力する。

【００６１】以下、位置信号発生部１２５の動作につい
て説明する。

【００６２】図６は、図１中の位置信号発生部１２５の
詳細を示す図である。

【００６３】３０１は前述の注視点位置処理部からの注
視点情報の入力端子、３０２は注視点位置移動検出器、
３０３は視線の移動速度検出器、３０４は後述説明する
図７（Ｂ）に示される様な特性を有するテーブル変換
器、３０５は積分器、３０６は位置信号の出力端子であ
る。

【００６４】図７はファインダ画面１０２に枠を発生さ
せるルーチンを示すフローチャートである。

【００６５】図７において、まず、ステップＳ２１では
注視点位置処理部１０９により上述したように撮影者の
注視点位置（注視点情報）を検出する。

【００６６】ステップＳ２２では前記注視点情報が位置
信号発生部１２５内の注視点位置移動検出器３０２に入
力され前記注視点が所定時間ほぼ同一の位置にあるかど
うか検出され、所定時間同一の場所にない場合は、ステ
ップＳ３へ進む。

【００６７】ステップＳ２３では前記注視点情報に基づ
いて位置信号発生部１２５内の視線移動速度検出器３０
３により視線速度を検出する。

【００６８】ステップＳ２４ではステップＳ２３の視線
の移動速度検出結果をテーブル変換し、意味のある視線
の移動かどうかを検出する。

【００６９】次に、ステップＳ２５へ進み、ステップＳ
２４の検出結果に基づいて積分を行い枠位置情報を出力
する。

【００７０】また、ステップＳ２２において注視点が所
定時間ほぼ同一の位置にある場合は、ステップＳ２７へ
進み、注視点位置処理部１０９より出力された注視点情
報をそのまま枠位置情報として枠信号発生部１２６に入
力させステップＳ２６へ進む。

【００７１】更に、図８を用いて具体的に説明する。

【００７２】図８は、図６の位置信号発生部１２５の動
作を説明する図である。

【００７３】図８（Ａ）は注視点位置処理部１０９から
の出力である注視点情報の信号を表したものであり、横
軸が時間を、縦軸が視線位置を表している。

【００７４】撮影者が図１の構成を持つビデオカメラで
捕らえた映像を、ＥＶＦ１０１で注視している状態を示
している。

【００７５】図８（Ａ）のグラフより次のようなことが
わかる、まずａ部分において撮影者の視線が図に示した
ようにｋ１，ｋ２の２つの速度を持って移動している。
更に、視線の移動速度がｋ２の時は視線が他の被写体に
移動したことを示している。

【００７６】この時の視線移動速度はｋ１＜ｋ２である
ことがわかる。また、ｂ部分においては、撮影者の視線
がほぼ移動せず細かく動いていることを示す。これはＥ
ＶＦ内の特定の被写体を注視していると考えられる。

【００７７】図８（Ｂ）は、視線の移動速度より撮影者
が動いている被写体を見ているのか、或は注視する被写
体を移しているのかを検出するための特性を表してお
り、横軸は視線の移動速度、縦軸は意味のある移動かど
うかの度合いを示している。

【００７８】図で示されるように、所定値ｖ１より大き
い場合、または−ｖ１より小さい場合、注視している被
写体の移動として、情報を得ない様に設定されている。

【００７９】図８（Ｃ）は、図８（Ａ）の信号より、視
線の位置、視線の速度を検出して、図７に示したフロー
の処理を行い、枠位置情報を示したものである。

【００８０】図に示される様に視線の移動速度の大きい
部分の情報が無くなっていることが判る。

【００８１】撮影者は操作部１３１の指示によって、フ
ァインダ画面１０２に表示された枠部分の画面を映像信
号処理部１２１によりデジタル拡大し、ファインダ画面
１０２に表示する。

【００８２】前記実施例においては、水平方向の視線移
動のみを検出したが、垂直、水平両方の視線の動きを検
出するように構成してもよい。

【００８３】この時、速度検出、テーブル変換、積分を
水平、垂直両方向に対して行うか、又は、ベクトル和を
用いて行えば良い。

【００８４】また、位置信号を用いて、拡大枠を移動す
るように構成したが、例えば、自動露出や自動焦点調
整、自動ホワイトバランス調整の検出枠を移動したり、
または、ＥＶＦ上の位置信号の位置に、特定の文字や指
標を表示したり、更に、それを用いてビデオカメラの機
能の切替を行ってもよい。

【００８５】また、位置信号発生部及び枠信号発生部は
マイクロコンピュータを用いて構成してもよい。

【００８６】

【発明の効果】以上説明したように、上記発明によれ
ば、ビューファインダの画面における撮影者の視線位置
を前記撮影者の視線の動き速度に従って視線の重み付け
を行って検出する視線検出手段を有し、前記視線検出手
段により検出された視線位置を利用して撮影制御を行う
ことにより、撮影者の視線移動がビューファインダ画面
上において、被写体を追跡しているのか、或は、別の被
写体に移動しているのかを考慮しているので、撮影者の
意図する撮影制御を行うことができる。

【図面の簡単な説明】

【図１】本実施例に係るビデオカメラの要部ブロック図
である。

【図２】図１の視線検出系の要部斜視図である。

【図３】図２の光学原理図である。

【図４】本実施例に係る光電素子列上の反射象を説明す
る図である。

【図５】本実施例に係る視線検出方法のシーケンスフロ
ーチャートである。

【図６】図１の位置信号発生部の詳細を説明する図であ
る。

【図７】枠位置情報を発生させるフローチャートであ
る。

【図８】図６の位置信号発生部１２５の動作説明図であ
る。

【図９】視線検出光学系の概略図である。

【図１０】図９の光電素子列からの出力信号の強度図で
ある。

【符号の説明】

１ 接眼レンズ ２ ハーフミラー ４ 受光レンズ ５ 照明手段 ６ 光電素子列 １０１ 電子ビューファインダ １０２ ファインダ画面 １０９ 注視点位置処理部 １１０ ファインダ表示処理部 １２１ 映像信号処理部 １２５ 位置信号発生部 １２６ 枠信号発生部 １３０ システム制御部 １３１ 操作部

フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ａ６１Ｂ 3/113

Claims (1)

【特許請求の範囲】
1. 【請求項１】 撮影画像等を電気的に表示するビューフ
   ァインダを備えるビデオカメラであって、 前記ビューファインダの画面における撮影者の視線位置
   を、前記撮影者の視線の動き速度に従って視線の重み付
   けを行って検出する視線検出手段を有し、 前記視線検出手段により検出された視線位置を利用して
   撮影制御を行うことを特徴とするビデオカメラ。