JP2022171084A - 撮像装置及びその制御方法、並びにプログラム - Google Patents
撮像装置及びその制御方法、並びにプログラム Download PDFInfo
- Publication number
- JP2022171084A JP2022171084A JP2021077482A JP2021077482A JP2022171084A JP 2022171084 A JP2022171084 A JP 2022171084A JP 2021077482 A JP2021077482 A JP 2021077482A JP 2021077482 A JP2021077482 A JP 2021077482A JP 2022171084 A JP2022171084 A JP 2022171084A
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- line
- focus detection
- sight
- detection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003384 imaging method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 181
- 238000012937 correction Methods 0.000 claims abstract description 35
- 210000005252 bulbus oculi Anatomy 0.000 abstract description 21
- 210000001508 eye Anatomy 0.000 description 36
- 230000008569 process Effects 0.000 description 31
- 210000001747 pupil Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000004907 flux Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000052343 Dares Species 0.000 description 1
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Viewfinders (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Accessories Of Cameras (AREA)
Abstract
【課題】脱着可能に装着されるアクセサリの違いにより焦点制御可能な範囲が変化した場合にも、キャリブレーション時の視線検出精度を維持できる撮像装置及びその制御方法、並びにプログラムを提供する。【解決手段】カメラ筐体部1Bは、内部のファインダにおけるキャリブレーション作業用の指標の表示位置と、その指標に注がれる、視線検出回路201により検出されたユーザの視線位置とに基づくキャリブレーションにより、眼球の個人差の補正情報を取得し、その補正情報を使用して視線検出回路201のキャリブレーションを行った後、ファインダ10に表示されるスルー画像に注がれるユーザの視線位置を視線検出回路201で検出し、焦点枠に設定する。カメラ筐体部1Bは、アクセサリ装着時にアクセサリよりその焦点検出領域を取得し、取得された焦点検出領域に応じて、上記キャリブレーションの方法を変更する。【選択図】図8
Description
本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に検出された視線位置の情報に基づき焦点制御を行う撮像装置及びその制御方法、並びにプログラムに関する。
近年、撮像装置の自動化・インテリジェント化が進み、手動で被写***置を入力せずとも、ファインダを覗くユーザの視線位置の情報に基づいてユーザが意図する被写体を認識し、焦点制御を行うことを可能とする撮像装置が提案されている。この際、撮像装置がユーザの視線位置を検出する際に、ユーザの意図した視線位置と撮像装置が認識するユーザの視線位置の間にズレが生じ、ユーザの意図する被写体に焦点を合わせることができない場合がある。
これに対し、撮影前にファインダ内に指標を表示し、ユーザにその指標を注視するよう指示を出し、その注視状態において、ユーザの視線位置を検出し、該指標位置とのずれ量を検出するキャリブレーションを実行する。その後、撮影時において、その検出されたずれ量だけ、撮像装置が認識するユーザの視線位置を補正することで、補正後の視線位置をよりユーザの意図どおりの視線位置とする技術が知られている(例えば、特許文献1参照)。
また、視線の検出精度を判定し、判定された検出精度に応じて、表示オブジェクトの表示形態を異ならせ、ユーザの意図しない視線位置が選択されないようにする技術が知られている(例えば、特許文献2参照)。具体的には、キャリブレーションの際にユーザに注視させた指標の付近ではキャリブレーションの精度が高くなるため、その指標の数は多いほどキャリブレーションの全体の精度は上がる。しかし、指標が多い程、キャリブレーション時にユーザに要求する操作は増え、ユーザの負担が大きくなる。そこで、特許文献2では、視線位置の検出精度を判定し、判定された検視線検出精度が低い箇所においては、表示オブジェクトを疎に表示し、視線検出精度が高い箇所においては表示オブジェクトを密に表示する。
しかしながら、特許文献1のキャリブレーションでは、撮像装置に脱着可能に装着されるアクセサリの違いにより焦点制御可能な範囲が異なる点が考慮されていない。
例えば、キャリブレーション時に撮像装置に装着されていた撮影レンズが、35mmフルサイズセンサ用撮影レンズである場合、焦点制御可能な範囲は縦36mm、横24mmとなる。一方、APS-Cセンサ用撮影レンズである場合、焦点制御可能な範囲は縦約15.5mm、横約23.3mmとなる。すなわち、前者より後者の方が焦点制御可能な範囲が小さい。
よって、撮像装置に装着される撮影レンズに関係なく、キャリブレーション時にファインダ内の同一位置に指標を表示するようにすると、キャリブレーションされた指標が焦点制御可能な範囲外となってしまうという課題が生じる。この課題は、対象センサは同じだが性能の異なる複数の撮影レンズが撮像装置に装着されうる場合においても生じうる。一方、精度をあげるために指標の数を増やすと、それだけキャリブレーションに時間がかかり、またユーザの負担が大きくなる。
特許文献2においては、例えば検出精度が悪い箇所では焦点枠を大きくすることで、視線検出の誤検出を防ぐことは可能であるが、焦点枠が大きくなってしまうと、ユーザの望む焦点制御を行うことができないという課題が生じる。
そこで、本発明の目的は、脱着可能に装着されるアクセサリの違いにより焦点制御可能な範囲が変化した場合にも、キャリブレーション時の視線検出精度を維持できる撮像装置及びその制御方法、並びにプログラムを提供することにある。
本発明の請求項1に係る撮像装置は、内部にファインダを有する、複数のアクセサリを脱着可能な撮像装置であって、前記ファインダに注がれるユーザの視線位置を検出する視線検出手段と、前記ファインダにキャリブレーション作業用の指標を表示し、前記指標の前記ファインダにおける表示位置と、前記指標に注がれる、前記視線検出手段により検出されたユーザの視線位置とに基づくキャリブレーションにより、眼球の個人差の補正情報を取得し、前記補正情報を使用して前記視線検出手段の補正を行うキャリブレーション手段と、前記ファインダにスルー画像を表示し、前記スルー画像に注がれるユーザの視線位置を前記視線検出手段により検出し、焦点枠に設定する設定手段と、前記複数のアクセサリの1つが装着された場合に、前記装着されたアクセサリよりその焦点検出領域を取得する焦点検出領域取得手段と、を備え、前記取得された焦点検出領域に応じて、前記キャリブレーション手段は前記キャリブレーションの方法を変更することを特徴とする。
本発明によれば、撮像装置に脱着可能に装着されるアクセサリの違いにより焦点制御可能な範囲が変化した場合にも、キャリブレーション時の視線検出精度を維持できる。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
(実施例1)
以下、図1~11を参照して、本発明の実施例1による、カメラ筐体部に脱着可能に装着されるアクセサリの違いにより焦点制御可能な範囲が変化した場合のキャリブレーションについて説明する。尚、本実施例では撮影レンズをアクセサリとして例示しているが、撮像装置により焦点制御可能な範囲が変化するアクセサリであればこれに限定されない。例えば、カメラ筐体部と撮影レンズの間にアクセサリとしてエクステンダを装着した場合も、以下説明するキャリブレーションが実行される。
以下、図1~11を参照して、本発明の実施例1による、カメラ筐体部に脱着可能に装着されるアクセサリの違いにより焦点制御可能な範囲が変化した場合のキャリブレーションについて説明する。尚、本実施例では撮影レンズをアクセサリとして例示しているが、撮像装置により焦点制御可能な範囲が変化するアクセサリであればこれに限定されない。例えば、カメラ筐体部と撮影レンズの間にアクセサリとしてエクステンダを装着した場合も、以下説明するキャリブレーションが実行される。
図1~図3を用いて、アクセサリの一つである撮影レンズ1Aと、これを脱着可能に装着する撮像装置としてのカメラ筐体部1Bと、からなる撮像システム1の構成に関して説明する。
図2は、撮像システム1の外観を示す図であり、図2(a)は正面斜視図、図2(b)は背面斜視図、図2(c)は図2(b)の操作部材42を説明するための図である。
カメラ筐体部1Bの正面には、図2(a)で示すようにレリーズボタン5が設けられる。
レリーズボタン5は、ユーザからの撮像操作を受ける操作部材である。
また、図2(b)で示すように、カメラ筐体部1Bの背面には、接眼窓6、操作部材41~43が設けられる。
接眼窓6は、カメラ筐体部1Bの内部に含まれる図1で後述するファインダ10上に表示される視認用画像をユーザが覗くための窓である。
操作部材41は、タッチパネル対応液晶であり、操作部材42は、レバー式操作部材であり、操作部材43は、ボタン式十字キーである。尚、本実施例では、後述のファインダ10上の焦点枠の手動操作による移動制御等のカメラ操作に使用する操作部材41~43がカメラ筐体部1Bに設けられているがこれに限定されない。例えば、電子ダイヤル等の他の操作部材がカメラ筐体部1Bに更にまたは操作部材41~43の代わりに設けられていてもよい。
図1は、図2(a)で図示したY軸とZ軸が成すYZ平面でカメラ筐体Bを切った断面図であり、撮像システム1の内部構成の概略を示す図である。尚、図1では、図2と同一の構成には同一の符号が付されている。
図1において、撮影レンズ1Aは、カメラ筐体部1Bに脱着可能に装着される撮影レンズである。本実施例では便宜上撮影レンズ1Aの内部にあるレンズとして二枚のレンズ101,102のレンズのみが図示されているが、実際はさらに多数のレンズで構成されていることは周知の通りである。
カメラ筐体部1Bは、その内部に、撮像素子2、CPU3、メモリ部4、ファインダ10、ファインダ駆動回路11、接眼レンズ12、光源13a~13b、光分割器15、受光レンズ16、及び眼用撮像素子17を備える。
撮像素子2は、撮影レンズ1Aの予定結像面に配置され、画像を撮像する。また、撮像素子2は、測光センサの役割も兼ねる。
CPU3は、撮像システム1全体を制御するマイクロコンピュータの中央処理装置である。
メモリ部4は、撮像素子2にて撮像された画像を記録する。またメモリ部4は、撮像素子2および眼用撮像素子17からの撮像信号の記憶機能及び、後述する視線の個人差を補正する補正情報(視線補正係数Ax,Bx,Ay,By)を記憶する。
ファインダ10は、撮像素子2にて撮像された画像(スルー画像)を表示するための液晶等の表示素子で構成される。
ファインダ駆動回路11は、ファインダ10を駆動する回路である。
接眼レンズ12は、ファインダ10に表示される視認用画像を接眼窓6(図2)からユーザが覗き込んで観察するためのレンズである。
光源13a~13bは、ユーザの視線方向を検出するため、ユーザの眼球14を照明するための赤外発光ダイオードからなる光源であり、接眼窓6(図2)の周りに配置されている。光源13a~13bの点灯により眼球14には光源13a~13bの角膜反射像(プルキニエ像)Pd,Pe(図5)が形成される。この状態で眼球14からの光が接眼レンズ12を透過し、光分割器15で反射され、受光レンズ16によってCMOS等の光電素子列を2次元的に配した眼用撮像素子17(生成手段)上に眼球像を含む眼画像が結像され、眼画像データが生成される。受光レンズ16はユーザの眼球14の瞳孔と眼用撮像素子17を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、視線検出回路201(視線検出手段:図3)が、眼用撮像素子17上に結像された眼球像における角膜反射像の位置から、視線方向(視認用画像に注がれるユーザの視点、以下、第1の推定注視点位置と称する。)を検出する。
光分割器15は、接眼レンズ12を透過した光を反射し、受光レンズ16を介して眼用撮像素子17上に結像させると共に、ファインダ10からの光を透過し、ユーザがファインダ10に表示される視認用画像を見ることができるように構成されている。
撮影レンズ1Aは、絞り111、絞り駆動装置112、レンズ駆動用モーター113、駆動ギヤ等からなるレンズ駆動部材114、フォトカプラー115、パルス板116、マウント接点117、及び焦点調節回路118を備える。
フォトカプラー115は、レンズ駆動部材114に連動するパルス板116の回転を検知して、焦点調節回路118に伝えている。
焦点調節回路118は、フォトカプラー115からの情報とカメラ筐体部1Bからのレンズ駆動量の情報にもとづいてレンズ駆動用モーター113を所定量駆動させ、撮影レンズ1Aを合焦点位置に移動させる。
マウント接点117は、カメラ筐体部1Bと撮影レンズ1Aとのインターフェイスであり、公知の構成を有する。カメラ筐体部1Bと撮影レンズ1Aでは、マウント接点117を介して信号の伝達がなされる。カメラ筐体部1BのCPU3は、撮影レンズ1Aの種別情報や光学情報などを取得することで、カメラ筐体部1Bに装着された撮影レンズ1Aによる焦点可能な範囲を判定する。
図3は、撮像システム1に内蔵された電気的構成を示すブロック図である。尚、図3では、図1、図2と同一の構成には同一番号が付されている。
カメラ筐体部1Bは、視線検出回路201、測光回路202、自動焦点検出回路203、信号入力回路204、ファインダ駆動回路11、光源駆動回路205、視線検出信頼度判別回路31、及び通信回路32を備え、これらは夫々CPU3と接続されている。また、撮影レンズ1Aは、焦点調節回路118、及び絞り駆動装置112(図1)に含まれる絞り制御回路206を備え、これらは夫々マウント接点117を介してカメラ筐体部1BのCPU3との間で信号の伝達を行う。
視線検出回路201は、眼用撮像素子17上で結像・出力された眼画像データをA/D変換し、この眼画像データをCPU3に送信する。CPU3は、眼画像データから視線検出に必要な眼画像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に抽出された各特徴点の位置から推定されたユーザの視線位置(第1の推定注視点位置)を算出する。
測光回路202は、測光センサの役割も兼ねる撮像素子2から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、A/D変換し、被写界輝度情報として、CPU3に送る。
自動焦点検出回路203は、撮像素子2に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をA/D変換し、CPU3に送る。CPU3は前記複数の画素からの信号電圧から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差AFとして知られる公知の技術である。本実施例では、図4に示すファインダ内視野像(視認用画像)で示すように、ファインダ10の撮像面上に180か所の焦点検出ポイントがある。
信号入力回路204は、不図示のスイッチSW1,SW2と接続される。スイッチSW1は、レリーズボタン5(図2(a))の第一ストロークでONし、撮像システム1の測光、測距、視線検出動作等を開始するためスイッチである。スイッチSW2は、レリーズボタン5の第二ストロークでONし、レリーズ動作を開始するためのスイッチである。スイッチSW1,SW2からの信号が信号入力回路204に入力され、CPU3に送信される。
視線検出信頼度判別回路31(信頼度判別手段)は、CPU3によって算出された第1の推定注視点位置の信頼度を判別する。この判別は、後述するキャリブレーション時に取得した眼画像データと、撮影時に取得した眼画像データの2つの眼画像データの差異に基づき実行される。ここでの差異は、具体的には、上記2つの眼画像データの夫々から検出される、瞳孔径の大きさの違い、角膜反射像の数の違い、外光の入り込みの違いである。より具体的には、図5~図7で後述する視線検出方法により瞳孔端を算出するのだが、例えばこの瞳孔端の抽出数が閾値以上の場合に信頼度が高いと判別し、そうでない場合信頼度は低いと判別する。なぜなら瞳孔端をつなぎ合わせることでユーザの眼球14の瞳孔141(図5)として推定するため、抽出できる瞳孔端の個数が多いほど、推定精度があがるためである。またほかにも瞳孔端をつなぎ合わせて算出される瞳孔141が円に対してどれだけ歪んでいるかで信頼度を判別してもよい。またその他の手法として後述するキャリブレーション時にユーザに注視させた指標の付近では信頼度を高く、指標から離れるほど信頼度を低いものとして判別してもよい。視線検出回路201によって算出されたユーザの視線位置情報をCPU3に送信する際、視線検出信頼度判別回路31がその視線位置情報の信頼度をCPU3に送信する。
通信回路32は、CPU3の制御に基づき、LANやインターネットといったネットワーク(不図示)を介して、サーバ上のPC(不図示)に対する通信を行う。
また、前述した操作部材41~43は、CPU3にその操作信号が伝わる構成となっており、それに応じて後述する第1の推定注視点位置の手動操作による移動制御等が行われる。
図4は、ファインダ視野内を示した図であり、ファインダ10が動作する状態(視認用画像を表示した状態)を示す。
図4に示すように、ファインダ内視野には、視野マスク300、焦点検出領域400、180個の測距点指標4001~4180等がある。
測距点指標4001~4180の夫々は、ファインダ10において、撮像素子2の撮像面上における複数の焦点検出ポイントの一つと対応する位置に表示されるように、ファインダ10に表示されたスルー画像(ライブビュー画像)に重畳表示される。また、測距点指標4001~4180のうち、現在の第1の推定注視点位置である位置Aと一致する測距点指標は、CPU3(設定手段)により焦点枠に設定され、ファインダ10において強調表示される。レリーズボタン5が半押しされた場合、現在ファインダ10において設定されている焦点枠をフォーカス位置とする焦点調節がCPU3の指示の下、自動焦点検出回路203及び焦点調節回路118により行われる。
次に、図5~図7を用いて撮像システム1による視線検出方法について説明する。
図5は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。
図5において、光源13a,13bは、ユーザに対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ16の光軸に対して略対称に配置されユーザの眼球14を照らす。光源13a,13bから発せられて眼球14で反射した照明光の一部は受光レンズ16によって、眼用撮像素子17に集光する。
図6(a)は、眼用撮像素子17で撮像された眼画像(眼用撮像素子17に投影される眼画像)の概略図であり、図6(b)は眼用撮像素子17における光電素子列の出力強度を示す図である。
図7は、視線検出処理のフローチャートである。本処理はCPU3が、図3において不図示のROMに記録されるプログラムを読み出すことにより実行される。
図7において、視線検出処理が開始すると、ステップS701において、CPU3は、光源13a、13bからユーザの眼球14に向けて赤外光を放射させる。赤外光によって照明されたユーザの眼画像は、受光レンズ16を通して眼用撮像素子17上に結像され、眼用撮像素子17により光電変換される。これにより、処理可能な眼画像の電気信号(眼画像データ)が得られる。
ステップS702において、CPU3は、上記のように眼用撮像素子17から得られた眼画像データを眼用撮像素子17から取得する。
ステップS703では、CPU3は、ステップS702において得られた眼画像データから、光源13a,13bの角膜反射像Pd,Pe及び瞳孔中心cに対応する座標を検出する。
光源13a、13bより発せられた赤外光は、ユーザの眼球14の角膜142を照明する。このとき、角膜142の表面で反射した赤外光の一部により形成される角膜反射像Pd,Peは、受光レンズ16により集光され、眼用撮像素子17上に結像して、角膜反射像Pd’,Pe’となる。同様に瞳孔141の端部a,bからの光束も眼用撮像素子17上に結像して、瞳孔端像a’,b’となる。
図6(b)は、図6(a)の眼画像における領域αの輝度情報(輝度分布)を示す。図6(b)では、眼画像の水平方向をX軸、垂直方向をY軸とし、X軸方向の輝度分布が示されている。本実施例では、角膜反射像Pd’,Pe’のX軸方向(水平方向)の座標をXd,Xeとし、瞳孔端像a’,b’のX軸方向の座標をXa,Xbとする。図6(b)に示すように、角膜反射像Pd’,Pe’の座標Xd,Xeでは、極端に高いレベルの輝度が得られる。瞳孔141の領域(瞳孔141からの光束が眼用撮像素子17上に結像して得られる瞳孔像141’の領域)に相当する、座標Xaより大きく座標Xbより小さい範囲では、座標Xd,Xeを除いて、極端に低いレベルの輝度が得られる。これに対し、瞳孔141の外側の光彩143の領域(光彩143からの光束が結像して得られる、瞳孔像141’の外側の光彩像143’の領域)では、上記2種の輝度の中間の輝度が得られる。具体的には、X座標(X軸方向の座標)が座標Xaより小さい領域と、X座標が座標Xbより大きい領域とで、上記2種の輝度の中間の輝度が得られる。
図6(b)に示すような輝度分布から、角膜反射像Pd’,Pe’のX座標Xd,Xeと、瞳孔端像a’,b’のX座標Xa,Xbを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Pd’,Pe’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像a’,b’の座標として得ることができる。また、受光レンズ16の光軸に対する眼球14の光軸の回転角θxが小さい場合には、瞳孔中心cからの光束が眼用撮像素子17上に結像して得られる瞳孔中心像c’(瞳孔像141’の中心)の座標Xcは、Xc≒(Xa+Xb)/2と表すことができる。つまり、瞳孔端像a’,b’のX座標Xa,Xbから、瞳孔中心像c’のX座標Xcを算出できる。このようにして、角膜反射像Pd’,Pe’のX座標と、瞳孔中心像c’のX座標とを見積もることができる。
図7に戻り、ステップS704では、CPU3は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ16に対する眼球14の位置により決まる倍率で、角膜反射像Pd‘、Pe’の間隔(Xd-Xe)の関数として求めることができる。
ステップS705では、CPU3は、受光レンズ16の光軸に対する眼球14の光軸の
回転角を算出する。角膜反射像Pdと角膜反射像Peの中点のX座標と角膜142の曲率中心OのX座標とはほぼ一致する。このため、角膜142の曲率中心Oと瞳孔141の中心cまでの標準的な距離をOcとすると、Z-X平面(Y軸に垂直な平面)内の眼球14の回転角θXは、以下の式1で算出できる。Z-Y平面(X軸に垂直な平面)内での眼球14の回転角θyも、回転角θxの算出方法と同様の方法で算出できる。
β×Oc×SINθx≒{(Xd+Xe)/2}-Xc・・・(式1)
回転角を算出する。角膜反射像Pdと角膜反射像Peの中点のX座標と角膜142の曲率中心OのX座標とはほぼ一致する。このため、角膜142の曲率中心Oと瞳孔141の中心cまでの標準的な距離をOcとすると、Z-X平面(Y軸に垂直な平面)内の眼球14の回転角θXは、以下の式1で算出できる。Z-Y平面(X軸に垂直な平面)内での眼球14の回転角θyも、回転角θxの算出方法と同様の方法で算出できる。
β×Oc×SINθx≒{(Xd+Xe)/2}-Xc・・・(式1)
ステップS706では、CPU3は、メモリ部4から補正係数(係数m、及び視線補正係数Ax,Bx,Ay,By)を取得する。係数mは撮像システム1のファインダ光学系(受光レンズ16等)の構成で定まる定数であり、回転角θx,θyを視認用画像において瞳孔中心cに対応する座標に変換する変換係数であり、予め決定されてメモリ部4に格納されている。また、視線補正係数Ax,Bx,Ay,Byは、眼球の個人差を補正するパラメータであり、後述するキャリブレーション作業を行うことで取得され、本処理が開始する前にメモリ部4に格納されている。
ステップS707では、CPU3は、視線検出回路201に指示し、ファインダ10に表示された視認用画像に注がれるユーザの視点の位置(第1の推定注視点位置)を算出させる。具体的には、視線検出回路201は、ステップS705で算出した眼球14の回転角θx,θy、及びステップS706で取得した補正係数データを用いて、第1の推定注視点位置を算出する。第1の推定注視点位置の座標(Hx,Hy)が瞳孔中心cに対応する座標であるとすると、第1の推定注視点位置の座標(Hx,Hy)は以下の式2,3で算出できる。
Hx=m×(Ax×θx+Bx)・・・(式2)
Hy=m×(Ay×θy+By)・・・(式3)
Hx=m×(Ax×θx+Bx)・・・(式2)
Hy=m×(Ay×θy+By)・・・(式3)
ステップS708では、CPU3は、ステップS706で算出した第1の推定注視点位置の座標(Hx,Hy)をメモリ部4に格納して、本処理を終える。
以上、本実施例の視線検出処理においては、眼球14の回転角度θx,θyを、及び後述するキャリブレーション作業等により予め取得している補正係数(係数m、及び視線補正係数Ax,Bx,Ay,By)を用いて、第1の推定注視点位置が算出された。
しかし、人間の眼球の形状の個人差等の要因により、第1の推定注視点位置を高精度に推定できないことがある。具体的には、視線補正係数Ax,Ay,Bx,Byの値をユーザに適した値に調整しなければ、図4(b)に示したように、ユーザが実際に注視している位置BとステップS707で算出された第1の推定注視点位置である位置Cとのずれが生じてしまう。図4(b)では、ユーザは位置Bの人物を注視しているが、撮像システム1は、ユーザが第1の推定注視点位置である位置Cの背景を注視していると誤って推定している。この結果、ユーザが注視している位置Bに対する適切な焦点検出及び調整ができない状態に陥ってしまっている。
そこで、CPU3(キャリブレーション手段)は、撮像システム1が撮像(焦点検出)を行う前に、キャリブレーション作業を行い、ユーザに適した視線補正係数Ax,Ay,Bx,Byを取得し、メモリ部4に格納する。
従来より、キャリブレーション作業は、撮像前に図4(c)のような位置に異なる複数のキャリブレーション作業用の指標D1~D5をファインダ10に強調表示し、ユーザにその指標を見てもらうことで行われている。そして、各指標D1~D5の注視時に視線検出処理を行い、算出された複数の第1の推定注視点位置の座標と、注視された指標の座標とから、ユーザに適した視線補正係数Ax,Ay,Bx,Byを求める技術が、公知の技術として知られている。なお、ユーザの見るべき位置が示唆されれば、図4(c)のように、各指標D1~D5の位置を四角枠で示す強調表示の方法に限定されない。例えば、輝度や色の変更で各指標D1~D5の位置が強調されてもよい。
しかしながら、本実施例のカメラ筐体部1Bは、撮影レンズ1A以外の複数のアクセサリを脱着可能に装着するため、装着されるアクセサリによって、カメラ筐体部1Bによる焦点制御可能な範囲が異なることが知られている。
以下、図8~図11を用いてカメラ筐体部1Bへ装着されるアクセサリに応じた最適なキャリブレーション方法に関して説明する。
以下、本実施例では、撮影レンズ1Aの他、これより焦点検出領域が狭い撮影レンズ1A’が夫々カメラ筐体部1Bに脱着可能に装着される場合について説明する。具体的には、撮影レンズ1A,1A’は夫々、35mmフルサイズセンサ(縦:36mm,横:24mm)用撮影レンズ、及び、APS-Cセンサ(縦:約15.5mm,横:約23.3mm)用撮影レンズであって、同様のハードウェア構成を有する。但し、撮影レンズ1A,1A’の焦点検出領域が異なればこれに限定されない。例えば、撮影レンズ1A,1A’は、対象センサは同じだが性能の異なる撮影レンズであってもよい。
図8は、焦点検出領域が異なる撮影レンズがカメラ筐体部1Bに装着された夫々の場合のキャリブレーション時のファインダ視野内に表示される焦点検出領域の例を示した図である。図8(a)は、撮影レンズ1Aをカメラ筐体部1Bに装着した時にファインダ視野内に表示される焦点検出領域800を示す。また、図8(b)は、撮影レンズ1A’をカメラ筐体部1Bに装着した時にファインダ視野内に表示される焦点検出領域810を示す図である。尚、図8において、図4と同様であるところは説明を省略する。
図8(a)に示すように、焦点検出領域800の内部には、撮影レンズ1Aをカメラ筐体部1Bに装着した際のキャリブレーション作業用の指標801が表示される。
一方、図8(b)に示すように、焦点検出領域810の内部には、撮影レンズ1A’を装着した際のキャリブレーション作業用の指標811が表示される。
図8(a)においては、焦点検出領域800は、ファインダ内視野の視野マスク300内の視野領域の全てを網羅している。これに対して図8(b)においては、焦点検出領域810は、視野領域の一部しか網羅していない。そのため、指標801を、図8(a)と図8(b)の両方で使用した場合、図8(b)の焦点検出領域810の外部にほとんどの指標があるため、視線検出の精度が悪化してしまう。また逆に、指標811を、図8(a)と図8(b)の両方で使用した場合、図8(a)の焦点検出領域800の端部には指標が存在しなくなるため、焦点検出領域800内であってもその端部では視線検出の精度が悪化してしまう。
そこで、図8の例では、図8(a),(b)に示すように、カメラ筐体部1Bに装着された撮影レンズの焦点検出領域に応じて、その焦点検出領域内部に収まるようにキャリブレーション作業用の指標が設定される。
尚、図8の例においてはキャリブレーション作業用の指標が5つである場合を説明したが、指標の数はこれに限定されない。すなわち、ファインダ視野内の視野領域に応じてではなく焦点検出領域に応じて、キャリブレーション作業用の指標の表示位置、大きさ、指標数が決定されればよい。
図8の例では、キャリブレーションにかかる時間を維持しつつ、視線検出の精度が悪化するのを抑制するため、焦点検出領域の大きさに応じて最適となるよう、キャリブレーション指標の位置を変更するようにした。これに対し、以下に説明する図9の例では、焦点検出領域が広い場合は、焦点検出領域が狭い場合と同程度の視線検出精度を視線検出回路201に持たせるため、キャリブレーションの時間はかかるが、指標の数を増やすよう変更する。
図9は、焦点検出領域が異なる撮影レンズがカメラ筐体部1Bに装着された夫々の場合のキャリブレーション時のファインダ視野内における焦点検出領域の他の例を示した図である。図9において、図4、図8と同様であるところは説明を省略する。
図9(a)は、撮影レンズ1Aをカメラ筐体部1Bに装着した時にファインダ視野内に表示される焦点検出領域800を示す。また、図9(b)は、撮影レンズ1A’をカメラ筐体部1Bに装着した時にファインダ視野内に表示される焦点検出領域810を示す。
図9(a)に示すように、焦点検出領域800の内部には、撮影レンズ1Aをカメラ筐体部1Bに装着した際のキャリブレーション作業用の指標901が表示される。
一方、図9(b)に示すように、焦点検出領域810の内部には、撮影レンズ1A’を装着した際のキャリブレーション作業用の指標911が表示される。
図9(a)の指標901は、焦点検出領域400の内部に表示される数が図8(a)の指標801が多い点で、図8,9は異なる。
先述したように、キャリブレーションは注視させた指標の付近では検出精度が高くなり、そこから離れるほど検出精度が低くなる傾向にある。よって、図9に示す他の例では、求められる視線検出精度に応じて焦点検出領域内に表示されるキャリブレーション作業用の指標の個数が設定される。すなわち、図9の例では、焦点検出領域が異なる撮影レンズがカメラ筐体部1Bに装着された夫々の場合のキャリブレーション作業用指標の数を焦点検出領域に応じて変更する。これにより、必要最小のキャリブレーション時間で期待する視線検出精度を出すことができる。
本実施例のCPU3(表示画像変更手段)は、液晶等で構成されるファインダ10のファインダ視野角を変更する視野角変更機能を備える。この機能は、例えばユーザがメガネをつけているため、接眼窓6を覗いてもファインダ10の表示画像の一部しか見えない場合、ユーザがファインダ10の表示画像の大きさを縮小してその全体が見えるように調整する際に使用される。
図10は、異なるファインダ視野角におけるキャリブレーション時のファインダ視野内における焦点検出領域の例を示した図である。図10において、図4、図8~9と同様であるところは説明を省略する。
図10(a)、図10(b)はどちらも、撮影レンズ1Aをカメラ筐体部1Bに装着した状態でキャリブレーションが行われた時のファインダ視野内における焦点検出領域である。
図10(a)は、初期設定のファインダ視野角である場合のファインダ視野内における焦点検出領域800である。図10(b)は、ユーザが視野角変更機能を用いてファインダ視野角を初期設定から変更し、ファインダ10の表示画像の大きさを縮小した場合のファインダ視野内における焦点検出領域1000である。
図10(b)に示すように、撮影レンズ1Aがカメラ筐体部1Bに装着された後、視野角変更機能によりファインダ10の表示画像の大きさが縮小された場合、焦点検出領域1000には、キャリブレーション作業用の指標1001が表示される。
注目してもらいたいのは、図10(a)、図10(b)のいずれのファインダ10の表示画像においても、測距点視標の個数は同数の180個であるが、その大きさは異なっているという点である。このように、ファインダ10の表示画像の大きさに応じて、その測距点視標の大きさが変更すると、キャリブレーション作業用の指標の大きさもこれに応じて変更する。
尚、図10では、測距点指標とキャリブレーション作業用の指標が同じ大きさと形である場合を例示しているが、必ずしも測距点指標とキャリブレーション作業用指標を同じ大きさと形にする必要はない。すなわち、ファインダ視野内の測距点視標の大きさに応じてキャリブレーション作業用指標の大きさ、形の少なくとも1つが変更されればよい。例えば、測距点指標とキャリブレーション作業用指標の大きさや形は違うものであってもよく、測距点指標の変化比率に応じて、キャリブレーション作業用の指標の大きさを変化させるようにしてもよい。また、測距点指標の大きさが予め設定されている閾値を下回ったらキャリブレーション作業用の指標の大きさや形を切り替えるようにしてもよい。また視線検出回路201の性能によっては、ファインダ10の出力画像が小さくなりすぎると、測距点指標ごとの視線検出精度を出すことが難しい場合がある。このような場合は、キャリブレーション作業用指標の大きさを測距点指標複数個分の大きさに変更してキャリブレーションを行ってもよい。
図11は、カメラ筐体部1Bへのアクセサリ装着時に実行されるキャリブレーション方法決定処理のフローチャートである。本処理は、カメラ筐体部1Bにアクセサリが未装着の状態において、カメラ筐体部1BのCPU3が、図3において不図示のROMに記録されるプログラムを読み出すことにより実行される。
ステップS1101において、CPU3は、カメラ筐体部1Bにアクセサリが装着されたか否かを判別する。具体的には、CPU3は、マウント接点117から出力される信号の状態が変化したときに、カメラ筐体部1Bに撮影レンズ1A等のアクセサリが装着されたと判別する。アクセサリが装着されたことが検出された場合、ステップS1102へと進む。以下、本処理ではアクセサリとして撮影レンズ1Aが装着された場合を例に説明する。
ステップS1102において、CPU3はマウント接点117を介して、撮影レンズ1Aと通信を行い、アクセサリ情報を取得する。撮影レンズ1Aの場合のアクセサリ情報とは、二枚のレンズ101,102の種別情報や、光学情報等である。一般的には、各レンズの固有な情報は撮影レンズ1A内部の不図示の記憶媒体に記憶されており、撮影レンズ1Aとの通信によって、カメラ筐体部1BのCPU3はその情報を取得する。アクセサリ情報を取得後、ステップS1103へと進む。
ステップS1103において、CPU3(焦点検出領域取得手段)は、ステップS1102で取得したアクセサリ情報に基づき焦点検出領域Aを算出する。この焦点検出領域Aは、カメラ筐体部1Bに装着されるアクセサリが撮影レンズ1Aの場合は、図8(a)の焦点検出領域800となり、カメラ筐体部1Bに装着されるアクセサリが撮影レンズ1A’の場合は、図8(b)の焦点検出領域810となる。すなわち、装着されるアクセサリの光学情報より、焦点検出領域Aがどの領域となるかは一意に求められる。焦点検出領域Aを算出後、ステップS1104へと進む。
ステップS1104において、CPU3は、視線検出精度の期待値に応じてキャリブレーション作業用の指標の個数を決定する。視線検出精度の期待値は、CPU3にあらかじめ設定されていてもよいし、ユーザが任意に設定可能としてもよい。先述したが、一般的に、キャリブレーションは注視させた指標の付近では検出精度が高くなるため、キャリブレーションの指標は多いほどよい。しかし、キャリブレーションの工程は、ユーザに一定の操作を強要するため、負担が大きくなりやすい。そのため、ユーザに視線検出精度の期待値を設定させるのではなく、キャリブレーションの許容時間を設定してもらい、その時間内で可能なキャリブレーション指標の個数を設定するようにしても良い。キャリブレーション指標の個数の決定後、ステップS1105へと進む。
ステップS1105において、CPU3は、ファインダ10の表示画像の大きさが、視野角変更機能を用いてユーザにより変更されているか否かを判別する。このようにファインダ10の表示画像をユーザがあえて変更を行う理由は図10において説明済みのため説明を省略する。判別の結果、ファインダ10の表示画像の大きさが変更されている場合はステップS1106へと進み、変更されていない場合はステップS1110へと進む。本実施例では、CPU3は、視野角の値が初期設定と異なる値となっている場合、ファインダ10の表示画像の大きさが変更されていると判別するがこれに限るものではない。例えば、前回のキャリブレーション時のファインダ10の表示画像の大きさを記憶しておき、その時の大きさと現在の大きさを比較することで、ファインダ10の表示画像の大きさが変化しているか否かを判別するようにしても良い。
ステップS1106において、CPU3は、ステップS1103で取得した焦点検出領域Aを、ファインダ10の表示画像の大きさの変化割合をかけることで、焦点検出領域A2(図10(b)の焦点検出領域1000)を算出する。焦点検出領域A2を算出後、ステップS1107へと進む。
ステップS1107において、CPU3は、ステップS1106で取得した焦点検出領域A2内部に入るようにキャリブレーション指標の位置を決定する。このキャリブレーション指標の位置の決定方法の詳細に関しては図8にて説明したとおりである。キャリブレーション指標の位置の決定後、ステップS1108へと進む。
ステップS1108において、CPU3は、初期設定の測距点指標の大きさに、ファインダ10の出力画像の大きさの変化割合をかけることで、測距点指標の大きさを算出すると共に、算出された値でメモリ部4に保持される測距点指標の大きさを更新する。その後、ステップS1110へと進む。
ステップS1109において、CPU3は、ステップS1103で取得した焦点検出領域A内部に入るようにキャリブレーション指標の位置を決定する。このキャリブレーション指標の位置の決定方法の詳細に関しては図8にて説明したとおりである。キャリブレーション指標の位置の決定後、その後、ステップS1110へと進む。
ステップS1110において、CPU3は、メモリ部4に保持される測距点指標の大きさに応じて、キャリブレーション指標の大きさを決定する。このキャリブレーション指標の大きさの決定方法の詳細に関しては図10にて説明したとおりである。その後、本処理を終了する。
図11の処理によれば、焦点検出領域に応じて最適な数及び大きさのキャリブレーション指標をキャリブレーション時にファインダ10に表示するので、キャリブレーション時の視線検出精度を維持できる。
(実施例2)
以下、図12~図14を参照して、本発明の実施例2による、カメラ筐体部に脱着可能に装着されるアクセサリ(ここでは、撮影レンズ)の違いにより焦点制御可能な範囲が変化した場合の再キャリブレーションについて説明する。
以下、図12~図14を参照して、本発明の実施例2による、カメラ筐体部に脱着可能に装着されるアクセサリ(ここでは、撮影レンズ)の違いにより焦点制御可能な範囲が変化した場合の再キャリブレーションについて説明する。
尚、本実施例において、実施例1と同一の構成については同一の付番を付し、重複した説明は省略する。
実施例1においては、撮影レンズ1Aがカメラ筐体部1Bに装着している際のキャリブレーションの方法について説明した。これに対して本実施例では、撮影レンズ1A’がカメラ筐体部1Bに装着している際にキャリブレーションが行われたあとに、カメラ筐体部1Bに装着される撮影レンズを撮影レンズ1Aに変更した場合の再キャリブレーションの方法について説明する。
図12は、カメラ筐体部1Bに装着されるアクセサリの交換時に実行される再キャリブレーション方法決定処理のフローチャートである。本処理は、カメラ筐体部1Bにアクセサリが装着されている状態において、カメラ筐体部1BのCPU3が、図3において不図示のROMに記録されるプログラムを読み出すことにより実行される。また、図12のステップのうち、図11と同一の内容のステップについては、同一番号を付し、重複した説明は省略する。
ステップS1201において、CPU3は、カメラ筐体部1Bに装着されるアクセサリが交換されたか否かを判別する。具体的には、CPU3は、マウント接点117から出力される信号の状態が変化したときに、カメラ筐体部1Bに交換後のアクセサリが装着されたと判別する。以下、本処理では、カメラ筐体部1Bに装着されているアクセサリが、撮影レンズ1A’から撮影レンズ1Aに交換された場合を例に説明する。
判別の結果、アクセサリが交換されたことが検出された場合(ステップS1201でYES)、ステップS1102へと進む。ここでステップS1102,S1103は図11で前述しているため説明を割愛する。ステップS1103の後、ステップS1202へと進む。
ステップS1202において、CPU3は、ステップS1103によって算出された焦点検出領域Aが過去にキャリブレーション済みかどうかを判別する。本実施例では、過去にキャリブレーションが行われる毎に、焦点検出領域とそのキャリブレーションで得られた補正情報(視線補正係数Ax,Bx,Ay,By)をメモリ部4(記憶手段)に紐づけて格納しておく。そしてステップS1201でのアクセサリの交換により新たに装着された撮影レンズ1Aの焦点検出領域Aがメモリ部4に格納されている場合、CPU3は焦点検出領域Aが過去にキャリブレーション済みであると判別する。尚、カメラ筐体部1Bを複数のユーザが使用する場合は、過去にキャリブレーションが行われる毎に、そのキャリブレーションを行ったユーザの情報も格納する。この場合、ステップS1202では、そのユーザの情報を用いて、現在カメラ筐体部1Bを使用しているユーザが、過去に焦点検出領域Aのキャリブレーションを行ったかを判別する。
判別の結果、新たに装着された撮影レンズ1Aの焦点検出領域Aがキャリブレーション済みである場合(ステップS1202でYES)、ステップS1203へと進む一方、まだキャリブレーション済ではない場合、ステップS1204へと進む。
ステップS1203において、CPU3(キャリブレーション手段)は、新たに装着された撮影レンズ1Aの焦点検出領域Aに対する過去のキャリブレーションの際に得られた補正情報をメモリ部4から取得し、視線検出回路201の補正を行う。その後、本処理を終了する。
ステップS1204において、CPU3は、ファインダ10に再キャリブレーションの実施を促す警告画面をファインダ10に表示する。この警告画面については図13において後述する。警告画面の表示後、ステップS1205へと進む。
ステップS1205において、CPU3は、再キャリブレーションが実施されたか、再キャリブレーションを実施しない旨のユーザ指示があったかを判別する。判別の結果、再キャリブレーションを実施する旨のユーザ指示があった場合(ステップS1205でYES)、ステップS1206へと進む。一方、再キャリブレーションを実施しない旨のユーザ指示があった場合、ステップS1207へと進む。ここで、再キャリブレーションを実施しない旨のユーザ指示とは、例えば、撮影をすぐしたい場合など、再キャリブレーションをせずに視線検出を使用したい場合になされるユーザ指示である。具体的には、ユーザが操作部材41~43を用いてファインダ10に表示中の警告画面のキャンセル操作を行った場合や、レリーズボタン5を押した場合に、CPU3は再キャリブレーションを実施しない旨のユーザ指示があったと判別する。但し、再キャリブレーションを実施しない旨のユーザ指示は、特にこれに限るものでなく、例えば音声を用いて再キャリブレーションを実施しないことをカメラ筐体部1Bに通知するなど種々の方法を採ることが可能である。
ステップS1206において、CPU3は、新たに装着された撮影レンズ1Aの焦点検出領域Aに対応した再キャリブレーションで得られた補正情報を用いて、視線検出を行う。その後、本処理を終了する。
ステップS1207において、CPU3(算出手段)は、メモリ部4に格納されている補正情報を用いた場合、焦点検出領域Aに対する視線検出精度がどの程度になるかを算出する。視線検出精度の算出は、キャリブレーション指標の間隔がどのくらい離れているかや、キャリブレーションの実施回数などから算出可能である。その後ステップS1208へと進む。尚、補正情報がメモリ部4に複数格納されている場合は、新たに装着された撮影レンズ1Aの焦点検出領域Aともっとも誤差の小さい焦点検出領域に対応するキャリブレーションにより得られた補正情報を選定するようにしてもよい。また、過去のキャリブレーション時の夫々の視線検出精度を算出し、もっとも精度が高いものを選んでもよいし、焦点検出領域Aよりも大きい領域に対応するキャリブレーションにより得られた補正情報を選定するようにしてもよい。
ステップS1208において、CPU3は、ステップS1207において算出された視線検出精度に応じて、測距点指標の大きさを変更し、ファインダ10に表示する。この決定方法に関しては図14を用いて後述する。その後ステップS1209へと進む。
ステップS1209において、CPU3は、新たに装着された撮影レンズ1Aに対して、メモリ部4に格納されている補正情報を用いて、視線検出回路201の補正を行う。尚、補正情報がメモリ部4に複数格納されている場合は、ステップS1207で上述した方法で選定された補正情報を用いる。その後、本処理を終了する。
図13は、図12のステップS1204でファインダ10に表示される再キャリブレーションの警告画面の一例である。尚、図13において、図4と同様であるところは説明を省略する。
図13に示すように、警告画面には、再キャリブレーションの実施を促す警告メッセージ1300が表示される。本実施例では、警告メッセージ1300として「再キャリブレーションを実施してください」との文言を例示しているがこれに限るものではない。また、図13の警告画面の表示は所定時間表示後に解除するようにしても良い。また、ステップS1205で、再キャリブレーションが実施されたか、再キャリブレーションを実施しない旨のユーザ指示があるまで、所定の期間で再度、図13の警告画面を表示するようにしてもよい。
図14は、図12のステップS1208で視線検出精度に応じて大きさが決定され、ファインダ10に表示される測距点指標を説明するための図である。尚、図14において、図4と同様であるところは説明を省略する。
図14(a)は、焦点検出領域Aに対応したキャリブレーションが実施できた場合の撮影時における焦点枠1401を示す図である。
図14(b)は、焦点検出領域Aに対応したキャリブレーションが実施できていない場合の撮影時における焦点枠1402を示す図である。
図14(b)に示すように、視線検出精度に応じて、測距点指標の大きさを大きくすることでユーザの意図しない位置に焦点枠が設定されないように構成することができる。また本実施例では、最適なキャリブレーションがされている場合は、焦点枠1401のように丸型(第1の表示オブジェクト)とする。一方、最適なキャリブレーションがされておらず焦点枠が大きくなっている場合は、焦点枠1402のように菱形(第2の表示オブジェクト)とする。但し、最適なキャリブレーションが完了しているか否かがユーザ識別可能であれば焦点枠1402は本実施例の形態に限るものでなく、例えば、別の形状や色で表示してもよい。また、焦点枠1402の付近に「再キャリブレーションを実施してください」との文言を併記してもよい。
上記構成により、カメラ筐体部1Bに装着するアクセサリの交換時において最適なキャリブレーション結果を使用し、視線検出を行うことができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実行可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実行可能である。
1 撮像システム
1A 撮影レンズ
1B カメラ筐体
3 CPU
4 メモリ部
5 レリーズボタン
10 ファインダ
118 焦点調節回路
201 視線検出回路
203 自動焦点検出回路
1A 撮影レンズ
1B カメラ筐体
3 CPU
4 メモリ部
5 レリーズボタン
10 ファインダ
118 焦点調節回路
201 視線検出回路
203 自動焦点検出回路
Claims (10)
- 内部にファインダを有する、複数のアクセサリを脱着可能な撮像装置であって、
前記ファインダに注がれるユーザの視線位置を検出する視線検出手段と、
前記ファインダにキャリブレーション作業用の指標を表示し、前記指標の前記ファインダにおける表示位置と、前記指標に注がれる、前記視線検出手段により検出されたユーザの視線位置とに基づくキャリブレーションにより、眼球の個人差の補正情報を取得し、前記補正情報を使用して前記視線検出手段の補正を行うキャリブレーション手段と、
前記ファインダにスルー画像を表示し、前記スルー画像に注がれるユーザの視線位置を前記視線検出手段により検出し、焦点枠に設定する設定手段と、
前記複数のアクセサリの1つが装着された場合に、前記装着されたアクセサリよりその焦点検出領域を取得する焦点検出領域取得手段と、を備え、
前記取得された焦点検出領域に応じて、前記キャリブレーション手段は前記キャリブレーションの方法を変更することを特徴とする撮像装置。 - 前記キャリブレーション手段は、前記複数のアクセサリのうち、装着されたアクセサリの焦点検出領域が広い程、前記ファインダに表示される前記指標の個数を多くすることを特徴とする請求項1記載の撮像装置。
- 前記ファインダの表示画像の大きさを変更する表示画像変更手段をさらに備え、
前記キャリブレーション手段は、
前記ファインダに表示される複数の測距点指標の夫々の大きさを、前記表示画像変更手段によって変更された前記表示画像の大きさに応じて変更し、
前記変更された複数の測距点指標の夫々の大きさに応じて、前記指標の大きさ及び形の少なくとも1つを変更させることを特徴とする請求項1又は2記載の撮像装置。 - 前記複数のアクセサリの1つが装着される毎に、前記装着されたアクセサリの焦点検出領域と前記キャリブレーション手段により取得された前記補正情報とを紐づけて記憶する記憶手段をさらに備え、
前記複数のアクセサリの1つが新たに装着された際、前記新たに装着されたアクセサリの焦点検出領域が、前記記憶手段に記憶される焦点検出領域と同じである場合、前記キャリブレーション手段は、前記記憶手段に記憶される焦点検出領域と紐づけられて記憶される補正情報を使用して前記視線検出手段のキャリブレーションを行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 - 前記新たに装着されたアクセサリの焦点検出領域が、前記記憶手段に記憶される焦点検出領域と異なる場合、前記キャリブレーション手段による再キャリブレーションを促す警告画面を前記ファインダに表示することを特徴とする請求項4記載の撮像装置。
- 前記警告画面が前記ファインダに表示された後、前記キャリブレーション手段による再キャリブレーションを実施しない旨のユーザ指示があった場合、前記記憶手段に記憶される焦点検出領域と紐づけられて記憶される補正情報を使用して前記視線検出手段のキャリブレーションを行うことを特徴とする請求項5記載の撮像装置。
- 前記ユーザ指示があった場合、前記記憶手段に記憶される焦点検出領域と紐づけられて記憶される補正情報を使用した場合の、前記新たに装着されたアクセサリの焦点検出領域に対する視線検出精度を算出する算出手段を更に備え、
前記算出された視線検出精度に応じて、前記焦点枠の大きさを決定することを特徴とする請求項6記載の撮像装置。 - 前記新たに装着されたアクセサリの焦点検出領域が前記記憶手段に記憶される焦点検出領域と同じである場合に前記焦点枠として表示される第1の表示オブジェクトと、前記新たに装着されたアクセサリの焦点検出領域が前記記憶手段に記憶される焦点検出領域と異なる場合に前記焦点枠として表示される第2の表示オブジェクトとは、形状及び色の少なくともいずれか1つが異なることを特徴とする請求項7記載の撮像装置。
- 内部にファインダを有する、複数のアクセサリを脱着可能な撮像装置の制御方法であって、
前記ファインダに注がれるユーザの視線位置を検出する視線検出ステップと、
前記ファインダにキャリブレーション作業用の指標を表示し、前記指標の前記ファインダにおける表示位置と、前記指標に注がれる、前記視線検出ステップにおいて検出されたユーザの視線位置とに基づくキャリブレーションにより、眼球の個人差の補正情報を取得し、前記補正情報を使用して前記視線検出ステップの補正を行うキャリブレーションステップと、
前記ファインダにスルー画像を表示し、前記スルー画像に注がれるユーザの視線位置を前記視線検出ステップにおいて検出し、焦点枠に設定する設定ステップと、
前記複数のアクセサリの1つが装着された場合に、前記装着されたアクセサリよりその焦点検出領域を取得する焦点検出領域取得ステップと、を有し、
前記取得された焦点検出領域に応じて、前記キャリブレーションステップにおける前記キャリブレーションの方法を変更することを特徴とする制御方法。 - コンピュータを、請求項1乃至8のいずれか1項に記載の撮像装置の各手段として機能させる、コンピュータにより実行可能なプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021077482A JP2022171084A (ja) | 2021-04-30 | 2021-04-30 | 撮像装置及びその制御方法、並びにプログラム |
US17/727,421 US11632496B2 (en) | 2021-04-30 | 2022-04-22 | Image pickup apparatus for detecting line-of-sight position, control method therefor, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021077482A JP2022171084A (ja) | 2021-04-30 | 2021-04-30 | 撮像装置及びその制御方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022171084A true JP2022171084A (ja) | 2022-11-11 |
JP2022171084A5 JP2022171084A5 (ja) | 2024-05-10 |
Family
ID=83807935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021077482A Pending JP2022171084A (ja) | 2021-04-30 | 2021-04-30 | 撮像装置及びその制御方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11632496B2 (ja) |
JP (1) | JP2022171084A (ja) |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6456788B1 (en) * | 2000-08-21 | 2002-09-24 | Canon Kabushiki Kaisha | Optical apparatus and camera provided with line-of-sight detecting device |
JP2004008323A (ja) | 2002-06-04 | 2004-01-15 | Canon Inc | 視線機能付光学装置 |
CN101943982B (zh) * | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
JP6123694B2 (ja) | 2014-02-10 | 2017-05-10 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2016139850A1 (ja) * | 2015-03-05 | 2016-09-09 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
CN109074212B (zh) * | 2016-04-26 | 2021-12-31 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN105892691A (zh) * | 2016-06-07 | 2016-08-24 | 京东方科技集团股份有限公司 | 代步工具的控制方法和控制装置、代步工具*** |
KR20180071589A (ko) * | 2016-12-20 | 2018-06-28 | 삼성전자주식회사 | 홍채 인식 기능 운용 방법 및 이를 지원하는 전자 장치 |
WO2019135281A1 (ja) * | 2018-01-05 | 2019-07-11 | 三菱電機株式会社 | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム |
CN111513670B (zh) * | 2018-12-21 | 2023-10-10 | 托比股份公司 | 用于眼睛追踪中的角膜半径的估计 |
JP7293039B2 (ja) * | 2019-08-16 | 2023-06-19 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7443005B2 (ja) * | 2019-09-18 | 2024-03-05 | キヤノン株式会社 | 画像処理装置、撮像装置および制御方法 |
JP7467071B2 (ja) * | 2019-10-24 | 2024-04-15 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
JP7208128B2 (ja) * | 2019-10-24 | 2023-01-18 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7490372B2 (ja) * | 2020-01-21 | 2024-05-27 | キヤノン株式会社 | 撮像制御装置及びその制御方法 |
US11509816B2 (en) * | 2020-02-05 | 2022-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, and control method of image processing apparatus |
JP7463155B2 (ja) * | 2020-03-25 | 2024-04-08 | キヤノン株式会社 | 撮像制御装置およびその制御方法 |
JP2021156919A (ja) * | 2020-03-25 | 2021-10-07 | キヤノン株式会社 | 撮像装置 |
-
2021
- 2021-04-30 JP JP2021077482A patent/JP2022171084A/ja active Pending
-
2022
- 2022-04-22 US US17/727,421 patent/US11632496B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11632496B2 (en) | 2023-04-18 |
US20220353426A1 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7358530B2 (ja) | 被写体認識装置及び被写体認識装置の制御方法 | |
CN112306229A (zh) | 电子装置、控制方法和计算机可读介质 | |
JP2024003037A (ja) | 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 | |
US20220197111A1 (en) | Gaze detection apparatus, gaze detection method, and non-transitory computer readable medium | |
JP2022171084A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2004008323A (ja) | 視線機能付光学装置 | |
US20240085979A1 (en) | Recording device, image-capturing apparatus, control method, and recording system | |
JP7358130B2 (ja) | 電子機器およびその制御方法 | |
JP7446898B2 (ja) | 電子機器 | |
US20230186520A1 (en) | Gaze detection apparatus | |
US20240114228A1 (en) | Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium | |
JP2022165239A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2022183552A (ja) | 視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体 | |
JP2018033055A (ja) | 撮像装置 | |
JP2023069526A (ja) | 電子機器及びその制御方法、プログラム | |
JP2023063023A (ja) | 電子機器及び電子機器の制御方法 | |
JP2023159741A (ja) | 電子機器、電子機器の制御方法、プログラム、および記憶媒体 | |
JP2023040771A (ja) | 視線検出装置 | |
JP2023045131A (ja) | 検出装置、制御方法およびプログラム | |
JP2023006629A (ja) | 制御装置およびその制御方法 | |
JP2021064928A (ja) | 電子機器 | |
JP2023084503A (ja) | 撮像装置、制御装置、撮像装置の制御方法、制御方法およびプログラム | |
JP3184634B2 (ja) | 視線検出装置を有する光学装置 | |
JP2023083695A (ja) | 電子機器 | |
JP3332581B2 (ja) | 光学装置、カメラ、視線検出装置、視線検出方法、及び、接眼部と眼球位置の相対位置判別方法。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240426 |