JP2004343317A

JP2004343317A - 撮像装置

Info

Publication number: JP2004343317A
Application number: JP2003135861A
Authority: JP
Inventors: Mitsuteru Matsunaga; 光輝松永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-14
Filing date: 2003-05-14
Publication date: 2004-12-02

Abstract

【課題】被写体を撮像する第１の撮像手段と、大画面を見る撮影者の目を撮像する第２の撮像手段を備え、第２の撮像手段で撮像した目の瞳孔を検出して、その大きさにより絞りを制御する撮像装置を提供する。
【解決手段】撮像装置は、被写体を撮像する第１の撮像手段と、この第１の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、この第１の撮像手段により撮像する画像を表示させる表示器と、この表示器をみている撮影者の目を撮像する第２の撮像手段と、この第２の撮像手段により撮像した目の情報から撮影者の目の瞳孔の位置と現在の大きさを認識する瞳孔認識手段と、この瞳孔認識手段により瞳孔の開閉状態値を算出する瞳孔開閉算出手段と、を備え、瞳孔開閉算出手段で算出された瞳孔開閉状態値と現在の絞り状態との差分を検出し、該差分により前記第１の撮像手段の絞りを制御する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関するものであり、詳しくは、被写体を撮影時に、同時に撮影者の目の部分を撮影し、その撮影した瞳孔の開閉状態と大きさを観察して、絞りの制御を行うようにした撮像装置に関する。
【０００２】
【従来の技術】
従来技術における撮像装置、例えば、デジタルスチルカメラやビデオカメラでは、撮影や再生といった機能項目に対してユーザが設定を変更したり、実施したりする際、釦やスイッチといったものが必ず外装に取付けられ、それを入力デバイスとして操作させてきた。
しかし、近年デジタルスチルカメラやビデオカメラは小型化になってきており、その結果、釦やスイッチというものが極力排除される方向に進んでいる。
なくなった釦やスイッチの代用として、現在押圧式の表示装置の利用から、人間の視線や音声を利用して操作を補助する方法が採られてきている。
特に、視線を利用する方法は、釦やスイッチを殆ど使用することなく操作できる。又、音声を使用した撮影においては、被写体を自然な動きで追いながら、操作することができる。
又、現在の視線の入力では、一般的に使用者や電子ビューファインダーを覗き込み、覗き込んだ状態に対して、ＬＥＤを照射し、その反射から瞳孔の位置を検出して位置を特定するものである。
【０００３】
【特許文献１】
特開平０４−９６５８０号公報（第２頁第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術で説明した電子ビューファインダ−を覗き込んで、ＬＥＤを照射することで瞳孔の位置を検出して位置を特定するという手法では、ユーザは常に電子ビューファインダーを覗き込む行為が必要であり、近年のデジタルスチルカメラやビデオカメラで多い大画面の表示装置の利用ができなかったり、又、装置として電子ビューファインダーを必要とするため、小型化するうえで障害になっているという問題がある。
【０００５】
又、現在デジタルスチルカメラやビデオカメラにおいて、絞り制御は、自動、手動と可能であるが、自動の場合、被写体を向いたＣＣＤ部よりフロントエンド部でデジタル信号とされた画像情報を信号処理部に入力し、輝度を算出し、その結果を中央制御装置に通達し、最適な絞り値を計算後、実際の絞り制御情報を作成してアイリスドライバを制御するという方法が一般的であるが、この方法では、実際、極端に周りが明るいような状態で、撮影者がみている被写体の状態と実際の表示器上に投影される画が異なる状況になってしまうという問題もある。
【０００６】
従って、小型化する撮像装置、例えば、デジタルスチルカメラやビデオカメラにおいて、ユーザが所望する絞りの制御を瞳孔の開閉状態及び大きさで特定する手法に解決しなければならない課題を有する。
【０００７】
【課題を解決するための手段】
上記課題を達成するために、本発明に係る撮像装置は、次に示す構成にすることである。
【０００８】
（１）撮像装置は、被写体を撮像する第１の撮像手段と、前記第１の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、前記第１の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第２の撮像手段と、前記第２の撮像手段で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、前記瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り開状態値を算出する瞳孔状態算出手段と、を備え、
前記瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、該差分により前記第１の撮像手段の絞りを制御するようにしたことである。
（２）前記第１の撮像手段の絞りの変更が可能な状態のときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする（１）に記載の撮像装置。
（３）前記第１の撮像手段で撮影可能な状態でないときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする（１）に記載の撮像装置。
（４）前記第１の撮像手段で撮影可能な状態において、別操作により絞りの制御が行われているときは、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止し、絞りの制御が設定可能な状態になったときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を行うようにしたことを特徴とする（１）に記載の撮像装置。
（５）前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御は、手動で行う絞りの制御とで切り替える切替え手段を備えたことを特徴とする（１）に記載の撮像装置。
【０００９】
このように、被写体を撮像するときに撮影者の目を撮像して瞳孔の開閉状態及びその大きさを観察して、絞り機能を制御することで常に最適な絞り状態での撮影ができる。
【００１０】
【発明の実施の形態】
次に、本願発明に係る撮像装置の実施形態について図面を参照して説明する。
【００１１】
本願発明に係る撮像装置は、図１に示すように、大別して被写体を取り込む第１のレンズ部１１、第１のシャッタ１２、第１のアイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４と、結像された画像を電気信号に変換し、デジタル信号に変換する第１のフロントエンド部１５と、画像信号の信号処理を行うＤＳＰを備えた信号処理部１７と、ＣＰＵを備えた中央制御装置１８と、ＲＡＭ部１９と、ＲＯＭ部２０と、ＯＳＤ表示を制御するディスプレイコントロール部２１と、液晶画面である表示器に相当するＬＣＤ２２と、メモリーカード２３を制御するメモリーインターフェイス部２４と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像のクロックを生成するタイミングジェネレータ２５と、中央制御装置１８により制御され第１のＣＣＤ部１４で取り込む映像の同期を取る垂直ドライバー２６と、中央制御装置１８により制御され、第１のレンズ部１１と、第１のアイリス１３を制御するレンズ／アイリスドライバー２７と、電源制御部２８と、温度センサー２９と、釦及びスイッチからなる外部操作部３０と、第１のネットワークインターフェイス部３１と、第２のネットワークインターフェイス部３２と、を備え、加えて更に、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７と、からなり、第２のフロントエンド部３７で変換された信号は信号処理部１７に送られ、被写体に対する瞳孔の開閉状態及び大きさを検出する処理が行われる。
【００１２】
このうち、第１のレンズ部１１、第１のシャッタ１２、第１のアイリス１３を介して撮像素子に結像させるための第１のＣＣＤ部１４、第１のフロントエンド部１５が第１の撮像手段１６を形成し、撮影者の顔面を撮像する第２のレンズ部３３、第２のシャッタ３４、第２のアイリス３５を介して撮像素子に結像させるための第２のＣＣＤ部３６と、第２のＣＣＤ部３６に結像された画像をデジタル信号に変換する第２のフロントエンド部３７が第２の撮像手段３８を形成する。そして、中央制御装置１８、ＲＡＭ部１９、ＲＯＭ部２０、ディスプレイコントロール部２１、メモリーインターフェイス部２４、信号処理部１７、第１のネットワークインターフェイス部３１、第２のネットワークインターフェイス部３２がバスライン３９に接続され、中央制御装置１８により制御される構成になっている。
【００１３】
信号処理部１７は、第１の撮像手段１６及び第２の撮像手段３８からの映像信号を受領して演算処理するものであり、ＳＤＲＡＭコントローラ４０を備え、このＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１にデータを蓄積する。
【００１４】
中央制御装置１８は、レンズ／アイリスドライバー２７を制御して、第１の撮像手段１６で撮像する光の量を自動又は手動で変更可能な絞り機能手段を備え、更に、表示器であるＬＣＤ２２をみている撮影者の目を撮像する第２の撮像手段３８で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、この瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り状態値を算出する瞳孔状態算出手段とを備えている。そして、この瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、この差分により第１の撮像手段１６の絞りを制御する。
又、中央制御装置１８は、第２の撮像手段３８で撮像した撮影者の瞳孔による絞りの制御と、外部操作部３０に設けてある絞りの手動による操作とを切り替える切替え手段を備えており、これにより、手動による絞りの制御と、第２の撮影手段３８による絞りの制御を切替えるように制御できる。
更に、中央制御装置１８は、第１の撮像手段１６で撮影可能な状態でないとき、例えば、再生モードのときには、第２の撮像手段３８で撮像した撮影者の瞳孔による絞りの制御を停止すること、具体的には、第２の撮像手段３８への電源の供給を停止するか省電源モードにする。こうすることで、被写体を撮影していないとき、例えば再生モード等のときには第２の撮像手段への電源の供給を停止することで、無駄な電源消費を無くすことができる。
また、中央制御装置１８においては、第１の撮像手段１６で撮影可能な状態、即ち、記録モードのときに、別の操作で絞りの制御が行われているときには、この第２の撮像手段３８による絞りの制御を停止させるようにすることができる。こうすることで、別の操作に基づく絞りの制御を優先させることで、例えば手動による絞り制御を優先させることで違和感のない絞り制御を達成することができるのである。
また、中央制御装置１８は、第１の撮像手段１６の絞りの変更が可能な状態のとき、例えば、記録モードのときに手動で絞りを制御するときには、第２の撮像手段３８で撮像した撮影者の瞳孔による絞りの制御を停止させるように制御する。こうすることで、絞りの制御を優先させることで違和感のない絞り制御を達成することができるのである。
【００１５】
このような構成からなる撮像装置における動作について、以下、説明する。
先ず、実際に撮影者の目の瞳孔を検出して絞りを制御する手法について、図８に示すフローチャートを参照して、以下説明する。
先ず、ユーザが外部操作部３０の瞳孔機能スイッチをオンにする（ステップＳＴ１１）。その結果を中央制御装置１８が受理すると、第２のＣＣＤ部３６と第２のフロントエンド部３７に対して電源を供給し、結像を開始する（ステップＳＴ１２）。
【００１６】
被写体を向いている第１のＣＣＤ部１４より第１のフロントエンド部１５でデジタル信号とされた画像情報を信号処理部１７に送る。同時に、撮影者に向いた第２のＣＣＤ部３６は、撮影者の画像を結像し、そのアナログデータを第２のＣＣＤ部３６に直結した第２のフロントエンド部３７で、デジタル信号し、その情報を信号処理部１７に送る（ステップＳＴ１３）。
信号処理部１７では、第２のフロントエンド部３７より入力されたデジタル信号をＳＤＲＡＭコントローラ４０を介してＳＤＲＡＭメモリ４１に貼付け格納する（ステップＳＴ１４）。
【００１７】
貼り付けを通知された中央制御装置１８では、図２に示すように、ＳＤＲＡＭメモリ４１に格納された情報から先鋭度と肌色領域検出を行い、顔を特定し、その後、白情報のある領域を検出する（ステップＳＴ１５）。
そして、図３に示すように、検出された白情報の領域からその縦横の範囲を決定し、その範囲の最大最小点から伸ばした直線上で縦横が重なる部分の領域ＺをＳＤＲＡＭメモリ４１上の本画像から抜き出し、別のメモリエリアに格納する（ステップＳＴ１６、ＳＴ１７、ＳＴ１８）。
【００１８】
格納された領域から実際の瞳孔の大きさを認識する方法は、色差からと二値化からがあるが、今回は二値化の方法で説明する。
人間の目の領域は、白、虹彩、瞳孔で濃淡が異なる。中央制御装置１８では、この濃淡を正確に検知するため、格納された領域に対して、ステップ毎に二値化の閾値を変化させる（ステップＳＴ１９）。
【００１９】
閾値を変化させ、二値化を行った後、先鋭度を検出して、格納された領域内における最小の円周の先鋭度を算出し、その幅、最大の円周の先鋭度の白の部分Ａ１１、Ａ１２、その次の虹彩の部分の円周の幅Ａ２１、Ａ２２、瞳孔の外周の幅Ａ３１、Ａ３２を決定する（ステップＳＴ２０）。
上記の閾値では、Ａ１１〜Ａ３２までの情報が特定できない場合は、再度閾値をインクリメントかデクリメントし、再度、同様の処理を行う（ステップＳＴ２１）。
【００２０】
検出された、Ａ１１〜Ａ３２の情報から瞳孔の直径がわかり、この結果を中央制御装置１８では、ＲＯＭ部２０に保持した情報からキャリブレーションして検知した標準値からの差分値Ｘ１、即ち絞り状態値を計算する。
【００２１】
そして、瞳孔の外周の幅Ａ３１、Ａ３２の座標情報より、（Ａ３１＋Ａ３２）／２で、実際の瞳孔の注視点である中心点座標Ｐ１が求められる。
【００２２】
次に、中心点座標Ｐ１については、後述するキャリブレーションの結果を使用して位置補正が行われる（ステップＳＴ２２）。
【００２３】
キャリブレーションは、目の注視点とＬＣＤ２２の表示領域との関係を関連付けするもので、キャリブレーション時は、図５及び図６に示すように、中心に指標（Ｐｏ（１２７、１２７））とＬＣＤ２２の四隅に対してキャラクター（Ｐｙ（０、２５５）、Ｐｘ（２５５、０））を表示し、撮影者はそれを注目してもらうことで、画面中心時の瞳孔中心基準座標（Ｐｏ（０、０））と四隅の座標が求められる。
【００２４】
そして、中心点を（０．０）として、各四隅はそこからの規定のオフセット値として算出する。その結果は、中央制御装置１８内に保持する。記録情報は、ＥＥＰＲＯＭといったメモリに保存することも可能である。
【００２５】
このキャリブレーションによるデータイメージは、図７に示すように、センターの位置がＬＣＤ２２では（１２７、１２７）であるのに対してユーザの位置は（３０、３０）、レフトトップの位置がＬＣＤ２２では（０、２５５）であるのに対してユーザの位置は（２０、４０）、ライトトップの位置がＬＣＤ２２では（２５５、２５５）であるのに対して、ユーザの位置は（４０、４０）、レフトボトムの位置がＬＣＤ２２では（０、０）であるのに対して、ユーザの位置は（２０、２０）、ライトボトムの位置がＬＣＤ２２では（０、２５５）であるのに対して、ユーザの位置は（４０、２０）であるように対応付けできるのである。
【００２６】
被写体を向いた第１のＣＣＤ部１４より算出された輝度情報からは従来どおり絞り情報Ｘ２を作成する。
中央制御装置１８では、差分値Ｘ１、絞り情報Ｘ２に対して、差分をとり、絞り情報Ｘ２と差分値Ｘ１の差が閾値以上の場合は、撮影者が意図的に本装置を極端に暗い、又は明るい場所においていると判断し、実際のレンズ／アイリスドライバー２７の制御には、絞り情報Ｘ２の情報を利用し、閾値以下の場合は、被写体と撮影者は同輝度上にいると判断して、差分値Ｘ１でレンズ／アイリスドライバー２７を制御して、絞り制御を行う（ステップＳＴ２３、ＳＴ２４、ＳＴ２５）。
【００２７】
又、ユーザが、本装置の設定をオンにしていても、本装置で絞りをユーザが任意で設定可能な状態とした際は、本機能の再開は、ユーザからの操作部の情報から中央制御装置１８で判断できるまで、設定を自動的にオフにし、第２のＣＣＤ部３６と第２のフロントエンド部３７での結像処理を停止し、電源の供給を遮断する。
【００２８】
以上のように、本願発明の撮像装置は、被写体を撮像する第１の撮像手段１６の他に撮影者の顔、特に目を撮像する第２の撮像手段３８を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるのである。
【００２９】
又、近年、デジタルスチルカメラやビデオカメラにおいて、全てを装置内で自動的に判断し、最適な露出を判断し、撮影を行える機能が一般化しており、一部の熟練者以外では、絞りを手動で最適な状態にすることは困難であるが、本発明を利用すれば、常に最適で撮影者の見ている状態と同じ明るさやボカシ等を実現可能となる。
【００３０】
また、ユーザが撮影シーンにより、自分の意志により絞りを変更する場合には、自動的に本発明の機能を停止することで、ユーザに対して違和感を与えることなく、操作が可能な装置を提供できる。
【００３１】
更に、撮影中など、ユーザが任意に本発明を利用する必要がない場合には、一時的に本発明の機能を停止し、再開することで、ユーザに対して違和感のない操作性を実現することができる。
【００３２】
【発明の効果】
以上説明したように、本願発明の撮像装置は、被写体を撮像する第１の撮像手段の他に撮影者の顔、特に目を撮像する第２の撮像手段を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る撮像装置のブロック図である。
【図２】同、第２の撮像手段で撮像した撮影者の顔の部分を表示器の撮像画面上に表示した説明図である。
【図３】同、顔の部分のうち目の部分を抽出した様子を示した説明図である。
【図４】同、目の白の部分、虹彩、瞳孔の部分を抽出した様子を示した説明図である。
【図５】同、キャリブレーション時におけるＬＣＤでのエリアメージを示した説明図である。
【図６】同、キャリブレーション時における目のＬＣＤでのエリアイメージを示した説明図である。
【図７】同、キャリブレーション時におけるＬＣＤでの位置と目の位置との関係を示した表である。
【図８】同、視線による目の大きさを処理するフローチャートである。
【符号の説明】
１１；第１のレンズ部、１２；第１のシャッタ、１３；第１のアイリス、１４；第１のＣＣＤ部、１５；第１のフロントエンド部、１６；第１の撮像手段、１７；信号処理部、１８；中央制御装置、１９；ＲＡＭ部、２０；ＲＯＭ部、２１；ディスプレイコントロール部、２２；ＬＣＤ、２３；メモリーカード、２４；メモリーインターフェイス部、２５；タイミングジェネレータ、２６；垂直ドライバ、２７；レンズ／アイリスドライバ、２８；電源制御部、２９；温度センサー、３０；外部操作部、３１；第１のネットワークインターフェイス部、３２；第２のネットワークインターフェイス部、３３；第２のレンズ部、３４；第第２のシャッタ、３５；第２のアイリス、３６；第２のＣＣＤ部、３７；第２のフロントエンド部、３８；第２の撮像手段、３９；バスライン、４０；ＳＤＲＡＭコントローラ、４１；ＳＤＲＡＭメモリ。

Claims

被写体を撮像する第１の撮像手段と、前記第１の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、前記第１の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第２の撮像手段と、前記第２の撮像手段で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、前記瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り開状態値を算出する瞳孔状態算出手段と、を備え、前記瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、該差分により前記第１の撮像手段の絞りを制御するようにしたことを特徴とする撮像装置。
前記第１の撮像手段の絞りの変更が可能な状態のときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする請求項１に記載の撮像装置。
前記第１の撮像手段で撮影可能な状態でないときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする請求項１に記載の撮像装置。
前記第１の撮像手段で撮影可能な状態において、別操作により絞りの制御が行われているときは、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止し、絞りの制御が設定可能な状態になったときに、前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御を行うようにしたことを特徴とする請求項１に記載の撮像装置。
前記第２の撮像手段で撮像した撮影者の瞳孔による絞りの制御は、手動で行う絞りの制御とで切り替える切替え手段を備えたことを特徴とする請求項１に記載の撮像装置。