JP2004343317A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004343317A JP2004343317A JP2003135861A JP2003135861A JP2004343317A JP 2004343317 A JP2004343317 A JP 2004343317A JP 2003135861 A JP2003135861 A JP 2003135861A JP 2003135861 A JP2003135861 A JP 2003135861A JP 2004343317 A JP2004343317 A JP 2004343317A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- imaging
- aperture
- unit
- photographer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Diaphragms For Cameras (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写体を撮像する第1の撮像手段と、大画面を見る撮影者の目を撮像する第2の撮像手段を備え、第2の撮像手段で撮像した目の瞳孔を検出して、その大きさにより絞りを制御する撮像装置を提供する。
【解決手段】撮像装置は、被写体を撮像する第1の撮像手段と、この第1の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、この第1の撮像手段により撮像する画像を表示させる表示器と、この表示器をみている撮影者の目を撮像する第2の撮像手段と、この第2の撮像手段により撮像した目の情報から撮影者の目の瞳孔の位置と現在の大きさを認識する瞳孔認識手段と、この瞳孔認識手段により瞳孔の開閉状態値を算出する瞳孔開閉算出手段と、を備え、瞳孔開閉算出手段で算出された瞳孔開閉状態値と現在の絞り状態との差分を検出し、該差分により前記第1の撮像手段の絞りを制御する。
【選択図】 図1
【解決手段】撮像装置は、被写体を撮像する第1の撮像手段と、この第1の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、この第1の撮像手段により撮像する画像を表示させる表示器と、この表示器をみている撮影者の目を撮像する第2の撮像手段と、この第2の撮像手段により撮像した目の情報から撮影者の目の瞳孔の位置と現在の大きさを認識する瞳孔認識手段と、この瞳孔認識手段により瞳孔の開閉状態値を算出する瞳孔開閉算出手段と、を備え、瞳孔開閉算出手段で算出された瞳孔開閉状態値と現在の絞り状態との差分を検出し、該差分により前記第1の撮像手段の絞りを制御する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、撮像装置に関するものであり、詳しくは、被写体を撮影時に、同時に撮影者の目の部分を撮影し、その撮影した瞳孔の開閉状態と大きさを観察して、絞りの制御を行うようにした撮像装置に関する。
【0002】
【従来の技術】
従来技術における撮像装置、例えば、デジタルスチルカメラやビデオカメラでは、撮影や再生といった機能項目に対してユーザが設定を変更したり、実施したりする際、釦やスイッチといったものが必ず外装に取付けられ、それを入力デバイスとして操作させてきた。
しかし、近年デジタルスチルカメラやビデオカメラは小型化になってきており、その結果、釦やスイッチというものが極力排除される方向に進んでいる。
なくなった釦やスイッチの代用として、現在押圧式の表示装置の利用から、人間の視線や音声を利用して操作を補助する方法が採られてきている。
特に、視線を利用する方法は、釦やスイッチを殆ど使用することなく操作できる。又、音声を使用した撮影においては、被写体を自然な動きで追いながら、操作することができる。
又、現在の視線の入力では、一般的に使用者や電子ビューファインダーを覗き込み、覗き込んだ状態に対して、LEDを照射し、その反射から瞳孔の位置を検出して位置を特定するものである。
【0003】
【特許文献1】
特開平04−96580号公報 (第2頁 第1図)
【0004】
【発明が解決しようとする課題】
しかしながら、従来技術で説明した電子ビューファインダ−を覗き込んで、LEDを照射することで瞳孔の位置を検出して位置を特定するという手法では、ユーザは常に電子ビューファインダーを覗き込む行為が必要であり、近年のデジタルスチルカメラやビデオカメラで多い大画面の表示装置の利用ができなかったり、又、装置として電子ビューファインダーを必要とするため、小型化するうえで障害になっているという問題がある。
【0005】
又、現在デジタルスチルカメラやビデオカメラにおいて、絞り制御は、自動、手動と可能であるが、自動の場合、被写体を向いたCCD部よりフロントエンド部でデジタル信号とされた画像情報を信号処理部に入力し、輝度を算出し、その結果を中央制御装置に通達し、最適な絞り値を計算後、実際の絞り制御情報を作成してアイリスドライバを制御するという方法が一般的であるが、この方法では、実際、極端に周りが明るいような状態で、撮影者がみている被写体の状態と実際の表示器上に投影される画が異なる状況になってしまうという問題もある。
【0006】
従って、小型化する撮像装置、例えば、デジタルスチルカメラやビデオカメラにおいて、ユーザが所望する絞りの制御を瞳孔の開閉状態及び大きさで特定する手法に解決しなければならない課題を有する。
【0007】
【課題を解決するための手段】
上記課題を達成するために、本発明に係る撮像装置は、次に示す構成にすることである。
【0008】
(1)撮像装置は、被写体を撮像する第1の撮像手段と、前記第1の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、前記第1の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第2の撮像手段と、前記第2の撮像手段で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、前記瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り開状態値を算出する瞳孔状態算出手段と、を備え、
前記瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、該差分により前記第1の撮像手段の絞りを制御するようにしたことである。
(2)前記第1の撮像手段の絞りの変更が可能な状態のときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする(1)に記載の撮像装置。
(3)前記第1の撮像手段で撮影可能な状態でないときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする(1)に記載の撮像装置。
(4)前記第1の撮像手段で撮影可能な状態において、別操作により絞りの制御が行われているときは、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止し、絞りの制御が設定可能な状態になったときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を行うようにしたことを特徴とする(1)に記載の撮像装置。
(5)前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御は、手動で行う絞りの制御とで切り替える切替え手段を備えたことを特徴とする(1)に記載の撮像装置。
【0009】
このように、被写体を撮像するときに撮影者の目を撮像して瞳孔の開閉状態及びその大きさを観察して、絞り機能を制御することで常に最適な絞り状態での撮影ができる。
【0010】
【発明の実施の形態】
次に、本願発明に係る撮像装置の実施形態について図面を参照して説明する。
【0011】
本願発明に係る撮像装置は、図1に示すように、大別して被写体を取り込む第1のレンズ部11、第1のシャッタ12、第1のアイリス13を介して撮像素子に結像させるための第1のCCD部14と、結像された画像を電気信号に変換し、デジタル信号に変換する第1のフロントエンド部15と、画像信号の信号処理を行うDSPを備えた信号処理部17と、CPUを備えた中央制御装置18と、RAM部19と、ROM部20と、OSD表示を制御するディスプレイコントロール部21と、液晶画面である表示器に相当するLCD22と、メモリーカード23を制御するメモリーインターフェイス部24と、中央制御装置18により制御され第1のCCD部14で取り込む映像のクロックを生成するタイミングジェネレータ25と、中央制御装置18により制御され第1のCCD部14で取り込む映像の同期を取る垂直ドライバー26と、中央制御装置18により制御され、第1のレンズ部11と、第1のアイリス13を制御するレンズ/アイリスドライバー27と、電源制御部28と、温度センサー29と、釦及びスイッチからなる外部操作部30と、第1のネットワークインターフェイス部31と、第2のネットワークインターフェイス部32と、を備え、加えて更に、撮影者の顔面を撮像する第2のレンズ部33、第2のシャッタ34、第2のアイリス35を介して撮像素子に結像させるための第2のCCD部36と、第2のCCD部36に結像された画像をデジタル信号に変換する第2のフロントエンド部37と、からなり、第2のフロントエンド部37で変換された信号は信号処理部17に送られ、被写体に対する瞳孔の開閉状態及び大きさを検出する処理が行われる。
【0012】
このうち、第1のレンズ部11、第1のシャッタ12、第1のアイリス13を介して撮像素子に結像させるための第1のCCD部14、第1のフロントエンド部15が第1の撮像手段16を形成し、撮影者の顔面を撮像する第2のレンズ部33、第2のシャッタ34、第2のアイリス35を介して撮像素子に結像させるための第2のCCD部36と、第2のCCD部36に結像された画像をデジタル信号に変換する第2のフロントエンド部37が第2の撮像手段38を形成する。そして、中央制御装置18、RAM部19、ROM部20、ディスプレイコントロール部21、メモリーインターフェイス部24、信号処理部17、第1のネットワークインターフェイス部31、第2のネットワークインターフェイス部32がバスライン39に接続され、中央制御装置18により制御される構成になっている。
【0013】
信号処理部17は、第1の撮像手段16及び第2の撮像手段38からの映像信号を受領して演算処理するものであり、SDRAMコントローラ40を備え、このSDRAMコントローラ40を介してSDRAMメモリ41にデータを蓄積する。
【0014】
中央制御装置18は、レンズ/アイリスドライバー27を制御して、第1の撮像手段16で撮像する光の量を自動又は手動で変更可能な絞り機能手段を備え、更に、表示器であるLCD22をみている撮影者の目を撮像する第2の撮像手段38で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、この瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り状態値を算出する瞳孔状態算出手段とを備えている。そして、この瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、この差分により第1の撮像手段16の絞りを制御する。
又、中央制御装置18は、第2の撮像手段38で撮像した撮影者の瞳孔による絞りの制御と、外部操作部30に設けてある絞りの手動による操作とを切り替える切替え手段を備えており、これにより、手動による絞りの制御と、第2の撮影手段38による絞りの制御を切替えるように制御できる。
更に、中央制御装置18は、第1の撮像手段16で撮影可能な状態でないとき、例えば、再生モードのときには、第2の撮像手段38で撮像した撮影者の瞳孔による絞りの制御を停止すること、具体的には、第2の撮像手段38への電源の供給を停止するか省電源モードにする。こうすることで、被写体を撮影していないとき、例えば再生モード等のときには第2の撮像手段への電源の供給を停止することで、無駄な電源消費を無くすことができる。
また、中央制御装置18においては、第1の撮像手段16で撮影可能な状態、即ち、記録モードのときに、別の操作で絞りの制御が行われているときには、この第2の撮像手段38による絞りの制御を停止させるようにすることができる。こうすることで、別の操作に基づく絞りの制御を優先させることで、例えば手動による絞り制御を優先させることで違和感のない絞り制御を達成することができるのである。
また、中央制御装置18は、第1の撮像手段16の絞りの変更が可能な状態のとき、例えば、記録モードのときに手動で絞りを制御するときには、第2の撮像手段38で撮像した撮影者の瞳孔による絞りの制御を停止させるように制御する。こうすることで、絞りの制御を優先させることで違和感のない絞り制御を達成することができるのである。
【0015】
このような構成からなる撮像装置における動作について、以下、説明する。
先ず、実際に撮影者の目の瞳孔を検出して絞りを制御する手法について、図8に示すフローチャートを参照して、以下説明する。
先ず、ユーザが外部操作部30の瞳孔機能スイッチをオンにする(ステップST11)。その結果を中央制御装置18が受理すると、第2のCCD部36と第2のフロントエンド部37に対して電源を供給し、結像を開始する(ステップST12)。
【0016】
被写体を向いている第1のCCD部14より第1のフロントエンド部15でデジタル信号とされた画像情報を信号処理部17に送る。同時に、撮影者に向いた第2のCCD部36は、撮影者の画像を結像し、そのアナログデータを第2のCCD部36に直結した第2のフロントエンド部37で、デジタル信号し、その情報を信号処理部17に送る(ステップST13)。
信号処理部17では、第2のフロントエンド部37より入力されたデジタル信号をSDRAMコントローラ40を介してSDRAMメモリ41に貼付け格納する(ステップST14)。
【0017】
貼り付けを通知された中央制御装置18では、図2に示すように、SDRAMメモリ41に格納された情報から先鋭度と肌色領域検出を行い、顔を特定し、その後、白情報のある領域を検出する(ステップST15)。
そして、図3に示すように、検出された白情報の領域からその縦横の範囲を決定し、その範囲の最大最小点から伸ばした直線上で縦横が重なる部分の領域ZをSDRAMメモリ41上の本画像から抜き出し、別のメモリエリアに格納する(ステップST16、ST17、ST18)。
【0018】
格納された領域から実際の瞳孔の大きさを認識する方法は、色差からと二値化からがあるが、今回は二値化の方法で説明する。
人間の目の領域は、白、虹彩、瞳孔で濃淡が異なる。中央制御装置18では、この濃淡を正確に検知するため、格納された領域に対して、ステップ毎に二値化の閾値を変化させる(ステップST19)。
【0019】
閾値を変化させ、二値化を行った後、先鋭度を検出して、格納された領域内における最小の円周の先鋭度を算出し、その幅、最大の円周の先鋭度の白の部分A11、A12、その次の虹彩の部分の円周の幅A21、A22、瞳孔の外周の幅A31、A32を決定する(ステップST20)。
上記の閾値では、A11〜A32までの情報が特定できない場合は、再度閾値をインクリメントかデクリメントし、再度、同様の処理を行う(ステップST21)。
【0020】
検出された、A11〜A32の情報から瞳孔の直径がわかり、この結果を中央制御装置18では、ROM部20に保持した情報からキャリブレーションして検知した標準値からの差分値X1、即ち絞り状態値を計算する。
【0021】
そして、瞳孔の外周の幅A31、A32の座標情報より、(A31+A32)/2で、実際の瞳孔の注視点である中心点座標P1が求められる。
【0022】
次に、中心点座標P1については、後述するキャリブレーションの結果を使用して位置補正が行われる(ステップST22)。
【0023】
キャリブレーションは、目の注視点とLCD22の表示領域との関係を関連付けするもので、キャリブレーション時は、図5及び図6に示すように、中心に指標(Po(127、127))とLCD22の四隅に対してキャラクター(Py(0、255)、Px(255、0))を表示し、撮影者はそれを注目してもらうことで、画面中心時の瞳孔中心基準座標(Po(0、0))と四隅の座標が求められる。
【0024】
そして、中心点を(0.0)として、各四隅はそこからの規定のオフセット値として算出する。その結果は、中央制御装置18内に保持する。記録情報は、EEPROMといったメモリに保存することも可能である。
【0025】
このキャリブレーションによるデータイメージは、図7に示すように、センターの位置がLCD22では(127、127)であるのに対してユーザの位置は(30、30)、レフトトップの位置がLCD22では(0、255)であるのに対してユーザの位置は(20、40)、ライトトップの位置がLCD22では(255、255)であるのに対して、ユーザの位置は(40、40)、レフトボトムの位置がLCD22では(0、0)であるのに対して、ユーザの位置は(20、20)、ライトボトムの位置がLCD22では(0、255)であるのに対して、ユーザの位置は(40、20)であるように対応付けできるのである。
【0026】
被写体を向いた第1のCCD部14より算出された輝度情報からは従来どおり絞り情報X2を作成する。
中央制御装置18では、差分値X1、絞り情報X2に対して、差分をとり、絞り情報X2と差分値X1の差が閾値以上の場合は、撮影者が意図的に本装置を極端に暗い、又は明るい場所においていると判断し、実際のレンズ/アイリスドライバー27の制御には、絞り情報X2の情報を利用し、閾値以下の場合は、被写体と撮影者は同輝度上にいると判断して、差分値X1でレンズ/アイリスドライバー27を制御して、絞り制御を行う(ステップST23、ST24、ST25)。
【0027】
又、ユーザが、本装置の設定をオンにしていても、本装置で絞りをユーザが任意で設定可能な状態とした際は、本機能の再開は、ユーザからの操作部の情報から中央制御装置18で判断できるまで、設定を自動的にオフにし、第2のCCD部36と第2のフロントエンド部37での結像処理を停止し、電源の供給を遮断する。
【0028】
以上のように、本願発明の撮像装置は、被写体を撮像する第1の撮像手段16の他に撮影者の顔、特に目を撮像する第2の撮像手段38を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるのである。
【0029】
又、近年、デジタルスチルカメラやビデオカメラにおいて、全てを装置内で自動的に判断し、最適な露出を判断し、撮影を行える機能が一般化しており、一部の熟練者以外では、絞りを手動で最適な状態にすることは困難であるが、本発明を利用すれば、常に最適で撮影者の見ている状態と同じ明るさやボカシ等を実現可能となる。
【0030】
また、ユーザが撮影シーンにより、自分の意志により絞りを変更する場合には、自動的に本発明の機能を停止することで、ユーザに対して違和感を与えることなく、操作が可能な装置を提供できる。
【0031】
更に、撮影中など、ユーザが任意に本発明を利用する必要がない場合には、一時的に本発明の機能を停止し、再開することで、ユーザに対して違和感のない操作性を実現することができる。
【0032】
【発明の効果】
以上説明したように、本願発明の撮像装置は、被写体を撮像する第1の撮像手段の他に撮影者の顔、特に目を撮像する第2の撮像手段を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるという効果がある。
【図面の簡単な説明】
【図1】本発明に係る撮像装置のブロック図である。
【図2】同、第2の撮像手段で撮像した撮影者の顔の部分を表示器の撮像画面上に表示した説明図である。
【図3】同、顔の部分のうち目の部分を抽出した様子を示した説明図である。
【図4】同、目の白の部分、虹彩、瞳孔の部分を抽出した様子を示した説明図である。
【図5】同、キャリブレーション時におけるLCDでのエリアメージを示した説明図である。
【図6】同、キャリブレーション時における目のLCDでのエリアイメージを示した説明図である。
【図7】同、キャリブレーション時におけるLCDでの位置と目の位置との関係を示した表である。
【図8】同、視線による目の大きさを処理するフローチャートである。
【符号の説明】
11;第1のレンズ部、12;第1のシャッタ、13;第1のアイリス、14;第1のCCD部、15;第1のフロントエンド部、16;第1の撮像手段、17;信号処理部、18;中央制御装置、19;RAM部、20;ROM部、21;ディスプレイコントロール部、22;LCD、23;メモリーカード、24;メモリーインターフェイス部、25;タイミングジェネレータ、26;垂直ドライバ、27;レンズ/アイリスドライバ、28;電源制御部、29;温度センサー、30;外部操作部、31;第1のネットワークインターフェイス部、32;第2のネットワークインターフェイス部、33;第2のレンズ部、34;第第2のシャッタ、35;第2のアイリス、36;第2のCCD部、37;第2のフロントエンド部、38;第2の撮像手段、39;バスライン、40;SDRAMコントローラ、41;SDRAMメモリ。
【発明の属する技術分野】
本発明は、撮像装置に関するものであり、詳しくは、被写体を撮影時に、同時に撮影者の目の部分を撮影し、その撮影した瞳孔の開閉状態と大きさを観察して、絞りの制御を行うようにした撮像装置に関する。
【0002】
【従来の技術】
従来技術における撮像装置、例えば、デジタルスチルカメラやビデオカメラでは、撮影や再生といった機能項目に対してユーザが設定を変更したり、実施したりする際、釦やスイッチといったものが必ず外装に取付けられ、それを入力デバイスとして操作させてきた。
しかし、近年デジタルスチルカメラやビデオカメラは小型化になってきており、その結果、釦やスイッチというものが極力排除される方向に進んでいる。
なくなった釦やスイッチの代用として、現在押圧式の表示装置の利用から、人間の視線や音声を利用して操作を補助する方法が採られてきている。
特に、視線を利用する方法は、釦やスイッチを殆ど使用することなく操作できる。又、音声を使用した撮影においては、被写体を自然な動きで追いながら、操作することができる。
又、現在の視線の入力では、一般的に使用者や電子ビューファインダーを覗き込み、覗き込んだ状態に対して、LEDを照射し、その反射から瞳孔の位置を検出して位置を特定するものである。
【0003】
【特許文献1】
特開平04−96580号公報 (第2頁 第1図)
【0004】
【発明が解決しようとする課題】
しかしながら、従来技術で説明した電子ビューファインダ−を覗き込んで、LEDを照射することで瞳孔の位置を検出して位置を特定するという手法では、ユーザは常に電子ビューファインダーを覗き込む行為が必要であり、近年のデジタルスチルカメラやビデオカメラで多い大画面の表示装置の利用ができなかったり、又、装置として電子ビューファインダーを必要とするため、小型化するうえで障害になっているという問題がある。
【0005】
又、現在デジタルスチルカメラやビデオカメラにおいて、絞り制御は、自動、手動と可能であるが、自動の場合、被写体を向いたCCD部よりフロントエンド部でデジタル信号とされた画像情報を信号処理部に入力し、輝度を算出し、その結果を中央制御装置に通達し、最適な絞り値を計算後、実際の絞り制御情報を作成してアイリスドライバを制御するという方法が一般的であるが、この方法では、実際、極端に周りが明るいような状態で、撮影者がみている被写体の状態と実際の表示器上に投影される画が異なる状況になってしまうという問題もある。
【0006】
従って、小型化する撮像装置、例えば、デジタルスチルカメラやビデオカメラにおいて、ユーザが所望する絞りの制御を瞳孔の開閉状態及び大きさで特定する手法に解決しなければならない課題を有する。
【0007】
【課題を解決するための手段】
上記課題を達成するために、本発明に係る撮像装置は、次に示す構成にすることである。
【0008】
(1)撮像装置は、被写体を撮像する第1の撮像手段と、前記第1の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、前記第1の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第2の撮像手段と、前記第2の撮像手段で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、前記瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り開状態値を算出する瞳孔状態算出手段と、を備え、
前記瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、該差分により前記第1の撮像手段の絞りを制御するようにしたことである。
(2)前記第1の撮像手段の絞りの変更が可能な状態のときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする(1)に記載の撮像装置。
(3)前記第1の撮像手段で撮影可能な状態でないときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする(1)に記載の撮像装置。
(4)前記第1の撮像手段で撮影可能な状態において、別操作により絞りの制御が行われているときは、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止し、絞りの制御が設定可能な状態になったときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を行うようにしたことを特徴とする(1)に記載の撮像装置。
(5)前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御は、手動で行う絞りの制御とで切り替える切替え手段を備えたことを特徴とする(1)に記載の撮像装置。
【0009】
このように、被写体を撮像するときに撮影者の目を撮像して瞳孔の開閉状態及びその大きさを観察して、絞り機能を制御することで常に最適な絞り状態での撮影ができる。
【0010】
【発明の実施の形態】
次に、本願発明に係る撮像装置の実施形態について図面を参照して説明する。
【0011】
本願発明に係る撮像装置は、図1に示すように、大別して被写体を取り込む第1のレンズ部11、第1のシャッタ12、第1のアイリス13を介して撮像素子に結像させるための第1のCCD部14と、結像された画像を電気信号に変換し、デジタル信号に変換する第1のフロントエンド部15と、画像信号の信号処理を行うDSPを備えた信号処理部17と、CPUを備えた中央制御装置18と、RAM部19と、ROM部20と、OSD表示を制御するディスプレイコントロール部21と、液晶画面である表示器に相当するLCD22と、メモリーカード23を制御するメモリーインターフェイス部24と、中央制御装置18により制御され第1のCCD部14で取り込む映像のクロックを生成するタイミングジェネレータ25と、中央制御装置18により制御され第1のCCD部14で取り込む映像の同期を取る垂直ドライバー26と、中央制御装置18により制御され、第1のレンズ部11と、第1のアイリス13を制御するレンズ/アイリスドライバー27と、電源制御部28と、温度センサー29と、釦及びスイッチからなる外部操作部30と、第1のネットワークインターフェイス部31と、第2のネットワークインターフェイス部32と、を備え、加えて更に、撮影者の顔面を撮像する第2のレンズ部33、第2のシャッタ34、第2のアイリス35を介して撮像素子に結像させるための第2のCCD部36と、第2のCCD部36に結像された画像をデジタル信号に変換する第2のフロントエンド部37と、からなり、第2のフロントエンド部37で変換された信号は信号処理部17に送られ、被写体に対する瞳孔の開閉状態及び大きさを検出する処理が行われる。
【0012】
このうち、第1のレンズ部11、第1のシャッタ12、第1のアイリス13を介して撮像素子に結像させるための第1のCCD部14、第1のフロントエンド部15が第1の撮像手段16を形成し、撮影者の顔面を撮像する第2のレンズ部33、第2のシャッタ34、第2のアイリス35を介して撮像素子に結像させるための第2のCCD部36と、第2のCCD部36に結像された画像をデジタル信号に変換する第2のフロントエンド部37が第2の撮像手段38を形成する。そして、中央制御装置18、RAM部19、ROM部20、ディスプレイコントロール部21、メモリーインターフェイス部24、信号処理部17、第1のネットワークインターフェイス部31、第2のネットワークインターフェイス部32がバスライン39に接続され、中央制御装置18により制御される構成になっている。
【0013】
信号処理部17は、第1の撮像手段16及び第2の撮像手段38からの映像信号を受領して演算処理するものであり、SDRAMコントローラ40を備え、このSDRAMコントローラ40を介してSDRAMメモリ41にデータを蓄積する。
【0014】
中央制御装置18は、レンズ/アイリスドライバー27を制御して、第1の撮像手段16で撮像する光の量を自動又は手動で変更可能な絞り機能手段を備え、更に、表示器であるLCD22をみている撮影者の目を撮像する第2の撮像手段38で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、この瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り状態値を算出する瞳孔状態算出手段とを備えている。そして、この瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、この差分により第1の撮像手段16の絞りを制御する。
又、中央制御装置18は、第2の撮像手段38で撮像した撮影者の瞳孔による絞りの制御と、外部操作部30に設けてある絞りの手動による操作とを切り替える切替え手段を備えており、これにより、手動による絞りの制御と、第2の撮影手段38による絞りの制御を切替えるように制御できる。
更に、中央制御装置18は、第1の撮像手段16で撮影可能な状態でないとき、例えば、再生モードのときには、第2の撮像手段38で撮像した撮影者の瞳孔による絞りの制御を停止すること、具体的には、第2の撮像手段38への電源の供給を停止するか省電源モードにする。こうすることで、被写体を撮影していないとき、例えば再生モード等のときには第2の撮像手段への電源の供給を停止することで、無駄な電源消費を無くすことができる。
また、中央制御装置18においては、第1の撮像手段16で撮影可能な状態、即ち、記録モードのときに、別の操作で絞りの制御が行われているときには、この第2の撮像手段38による絞りの制御を停止させるようにすることができる。こうすることで、別の操作に基づく絞りの制御を優先させることで、例えば手動による絞り制御を優先させることで違和感のない絞り制御を達成することができるのである。
また、中央制御装置18は、第1の撮像手段16の絞りの変更が可能な状態のとき、例えば、記録モードのときに手動で絞りを制御するときには、第2の撮像手段38で撮像した撮影者の瞳孔による絞りの制御を停止させるように制御する。こうすることで、絞りの制御を優先させることで違和感のない絞り制御を達成することができるのである。
【0015】
このような構成からなる撮像装置における動作について、以下、説明する。
先ず、実際に撮影者の目の瞳孔を検出して絞りを制御する手法について、図8に示すフローチャートを参照して、以下説明する。
先ず、ユーザが外部操作部30の瞳孔機能スイッチをオンにする(ステップST11)。その結果を中央制御装置18が受理すると、第2のCCD部36と第2のフロントエンド部37に対して電源を供給し、結像を開始する(ステップST12)。
【0016】
被写体を向いている第1のCCD部14より第1のフロントエンド部15でデジタル信号とされた画像情報を信号処理部17に送る。同時に、撮影者に向いた第2のCCD部36は、撮影者の画像を結像し、そのアナログデータを第2のCCD部36に直結した第2のフロントエンド部37で、デジタル信号し、その情報を信号処理部17に送る(ステップST13)。
信号処理部17では、第2のフロントエンド部37より入力されたデジタル信号をSDRAMコントローラ40を介してSDRAMメモリ41に貼付け格納する(ステップST14)。
【0017】
貼り付けを通知された中央制御装置18では、図2に示すように、SDRAMメモリ41に格納された情報から先鋭度と肌色領域検出を行い、顔を特定し、その後、白情報のある領域を検出する(ステップST15)。
そして、図3に示すように、検出された白情報の領域からその縦横の範囲を決定し、その範囲の最大最小点から伸ばした直線上で縦横が重なる部分の領域ZをSDRAMメモリ41上の本画像から抜き出し、別のメモリエリアに格納する(ステップST16、ST17、ST18)。
【0018】
格納された領域から実際の瞳孔の大きさを認識する方法は、色差からと二値化からがあるが、今回は二値化の方法で説明する。
人間の目の領域は、白、虹彩、瞳孔で濃淡が異なる。中央制御装置18では、この濃淡を正確に検知するため、格納された領域に対して、ステップ毎に二値化の閾値を変化させる(ステップST19)。
【0019】
閾値を変化させ、二値化を行った後、先鋭度を検出して、格納された領域内における最小の円周の先鋭度を算出し、その幅、最大の円周の先鋭度の白の部分A11、A12、その次の虹彩の部分の円周の幅A21、A22、瞳孔の外周の幅A31、A32を決定する(ステップST20)。
上記の閾値では、A11〜A32までの情報が特定できない場合は、再度閾値をインクリメントかデクリメントし、再度、同様の処理を行う(ステップST21)。
【0020】
検出された、A11〜A32の情報から瞳孔の直径がわかり、この結果を中央制御装置18では、ROM部20に保持した情報からキャリブレーションして検知した標準値からの差分値X1、即ち絞り状態値を計算する。
【0021】
そして、瞳孔の外周の幅A31、A32の座標情報より、(A31+A32)/2で、実際の瞳孔の注視点である中心点座標P1が求められる。
【0022】
次に、中心点座標P1については、後述するキャリブレーションの結果を使用して位置補正が行われる(ステップST22)。
【0023】
キャリブレーションは、目の注視点とLCD22の表示領域との関係を関連付けするもので、キャリブレーション時は、図5及び図6に示すように、中心に指標(Po(127、127))とLCD22の四隅に対してキャラクター(Py(0、255)、Px(255、0))を表示し、撮影者はそれを注目してもらうことで、画面中心時の瞳孔中心基準座標(Po(0、0))と四隅の座標が求められる。
【0024】
そして、中心点を(0.0)として、各四隅はそこからの規定のオフセット値として算出する。その結果は、中央制御装置18内に保持する。記録情報は、EEPROMといったメモリに保存することも可能である。
【0025】
このキャリブレーションによるデータイメージは、図7に示すように、センターの位置がLCD22では(127、127)であるのに対してユーザの位置は(30、30)、レフトトップの位置がLCD22では(0、255)であるのに対してユーザの位置は(20、40)、ライトトップの位置がLCD22では(255、255)であるのに対して、ユーザの位置は(40、40)、レフトボトムの位置がLCD22では(0、0)であるのに対して、ユーザの位置は(20、20)、ライトボトムの位置がLCD22では(0、255)であるのに対して、ユーザの位置は(40、20)であるように対応付けできるのである。
【0026】
被写体を向いた第1のCCD部14より算出された輝度情報からは従来どおり絞り情報X2を作成する。
中央制御装置18では、差分値X1、絞り情報X2に対して、差分をとり、絞り情報X2と差分値X1の差が閾値以上の場合は、撮影者が意図的に本装置を極端に暗い、又は明るい場所においていると判断し、実際のレンズ/アイリスドライバー27の制御には、絞り情報X2の情報を利用し、閾値以下の場合は、被写体と撮影者は同輝度上にいると判断して、差分値X1でレンズ/アイリスドライバー27を制御して、絞り制御を行う(ステップST23、ST24、ST25)。
【0027】
又、ユーザが、本装置の設定をオンにしていても、本装置で絞りをユーザが任意で設定可能な状態とした際は、本機能の再開は、ユーザからの操作部の情報から中央制御装置18で判断できるまで、設定を自動的にオフにし、第2のCCD部36と第2のフロントエンド部37での結像処理を停止し、電源の供給を遮断する。
【0028】
以上のように、本願発明の撮像装置は、被写体を撮像する第1の撮像手段16の他に撮影者の顔、特に目を撮像する第2の撮像手段38を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるのである。
【0029】
又、近年、デジタルスチルカメラやビデオカメラにおいて、全てを装置内で自動的に判断し、最適な露出を判断し、撮影を行える機能が一般化しており、一部の熟練者以外では、絞りを手動で最適な状態にすることは困難であるが、本発明を利用すれば、常に最適で撮影者の見ている状態と同じ明るさやボカシ等を実現可能となる。
【0030】
また、ユーザが撮影シーンにより、自分の意志により絞りを変更する場合には、自動的に本発明の機能を停止することで、ユーザに対して違和感を与えることなく、操作が可能な装置を提供できる。
【0031】
更に、撮影中など、ユーザが任意に本発明を利用する必要がない場合には、一時的に本発明の機能を停止し、再開することで、ユーザに対して違和感のない操作性を実現することができる。
【0032】
【発明の効果】
以上説明したように、本願発明の撮像装置は、被写体を撮像する第1の撮像手段の他に撮影者の顔、特に目を撮像する第2の撮像手段を備え、そこより光電変換された信号から撮影者の顔情報より瞳孔の位置を検出し、その結果から通常の撮像素子からの輝度情報を使った絞り制御を行い、状況により切り替えることによって、ユーザに対して常に最適な絞り状態での撮影を提供できるという効果がある。
【図面の簡単な説明】
【図1】本発明に係る撮像装置のブロック図である。
【図2】同、第2の撮像手段で撮像した撮影者の顔の部分を表示器の撮像画面上に表示した説明図である。
【図3】同、顔の部分のうち目の部分を抽出した様子を示した説明図である。
【図4】同、目の白の部分、虹彩、瞳孔の部分を抽出した様子を示した説明図である。
【図5】同、キャリブレーション時におけるLCDでのエリアメージを示した説明図である。
【図6】同、キャリブレーション時における目のLCDでのエリアイメージを示した説明図である。
【図7】同、キャリブレーション時におけるLCDでの位置と目の位置との関係を示した表である。
【図8】同、視線による目の大きさを処理するフローチャートである。
【符号の説明】
11;第1のレンズ部、12;第1のシャッタ、13;第1のアイリス、14;第1のCCD部、15;第1のフロントエンド部、16;第1の撮像手段、17;信号処理部、18;中央制御装置、19;RAM部、20;ROM部、21;ディスプレイコントロール部、22;LCD、23;メモリーカード、24;メモリーインターフェイス部、25;タイミングジェネレータ、26;垂直ドライバ、27;レンズ/アイリスドライバ、28;電源制御部、29;温度センサー、30;外部操作部、31;第1のネットワークインターフェイス部、32;第2のネットワークインターフェイス部、33;第2のレンズ部、34;第第2のシャッタ、35;第2のアイリス、36;第2のCCD部、37;第2のフロントエンド部、38;第2の撮像手段、39;バスライン、40;SDRAMコントローラ、41;SDRAMメモリ。
Claims (5)
- 被写体を撮像する第1の撮像手段と、前記第1の撮像手段に投影される光の量を自動又は手動で変更可能な絞り機能手段と、前記第1の撮像手段で撮像する画像を表示させる表示器と、前記表示器をみている撮影者の目を撮像する第2の撮像手段と、前記第2の撮像手段で撮像した目の情報から瞳孔の大きさを認識する瞳孔認識手段と、前記瞳孔認識手段で認識した瞳孔の大きさから瞳孔の大きさに基づく絞り開状態値を算出する瞳孔状態算出手段と、を備え、前記瞳孔状態算出手段で算出された瞳孔の大きさに基づく絞り状態値と現在の絞り状態との差分を検出し、該差分により前記第1の撮像手段の絞りを制御するようにしたことを特徴とする撮像装置。
- 前記第1の撮像手段の絞りの変更が可能な状態のときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする請求項1に記載の撮像装置。
- 前記第1の撮像手段で撮影可能な状態でないときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止するようにしたことを特徴とする請求項1に記載の撮像装置。
- 前記第1の撮像手段で撮影可能な状態において、別操作により絞りの制御が行われているときは、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を停止し、絞りの制御が設定可能な状態になったときに、前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御を行うようにしたことを特徴とする請求項1に記載の撮像装置。
- 前記第2の撮像手段で撮像した撮影者の瞳孔による絞りの制御は、手動で行う絞りの制御とで切り替える切替え手段を備えたことを特徴とする請求項1に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003135861A JP2004343317A (ja) | 2003-05-14 | 2003-05-14 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003135861A JP2004343317A (ja) | 2003-05-14 | 2003-05-14 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004343317A true JP2004343317A (ja) | 2004-12-02 |
Family
ID=33525998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003135861A Pending JP2004343317A (ja) | 2003-05-14 | 2003-05-14 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004343317A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2422020A (en) * | 2005-01-05 | 2006-07-12 | Jian Zhang | Camera with blinking and mouth-open detection |
JP2007074033A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP2010530144A (ja) * | 2007-03-02 | 2010-09-02 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 携帯型電子機器での画像撮影ユニットの遠隔制御 |
US20160261792A1 (en) * | 2015-03-03 | 2016-09-08 | Xiaomi Inc. | Method and apparatus for adjusting photography parameters |
WO2020261423A1 (ja) | 2019-06-26 | 2020-12-30 | 日本電気株式会社 | 認証システム、認証方法、制御装置、コンピュータプログラム及び記録媒体 |
-
2003
- 2003-05-14 JP JP2003135861A patent/JP2004343317A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2422020A (en) * | 2005-01-05 | 2006-07-12 | Jian Zhang | Camera with blinking and mouth-open detection |
GB2422020B (en) * | 2005-01-05 | 2007-05-23 | Jian Zhang | Best shooting moment selectable digital camera apparatus |
JP2007074033A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP2010530144A (ja) * | 2007-03-02 | 2010-09-02 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 携帯型電子機器での画像撮影ユニットの遠隔制御 |
US20160261792A1 (en) * | 2015-03-03 | 2016-09-08 | Xiaomi Inc. | Method and apparatus for adjusting photography parameters |
JP2017519458A (ja) * | 2015-03-03 | 2017-07-13 | 小米科技有限責任公司Xiaomi Inc. | 撮影パラメータ調整方法、装置、プログラム及び記録媒体 |
KR101800101B1 (ko) * | 2015-03-03 | 2017-11-22 | 시아오미 아이엔씨. | 촬영 파라미터 조정 방법, 장치, 프로그램 및 기록매체 |
US9843716B2 (en) | 2015-03-03 | 2017-12-12 | Xiaomi Inc. | Method and apparatus for adjusting photography parameters |
RU2639739C1 (ru) * | 2015-03-03 | 2017-12-22 | Сяоми Инк. | Способ и устройство для регулировки параметров фотографирования |
WO2020261423A1 (ja) | 2019-06-26 | 2020-12-30 | 日本電気株式会社 | 認証システム、認証方法、制御装置、コンピュータプログラム及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7346654B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 | |
JP4904243B2 (ja) | 撮像装置及び撮像制御方法 | |
US20060034602A1 (en) | Image capture apparatus and control method therefor | |
WO2007129438A1 (ja) | 電子カメラ | |
JP2007279601A (ja) | カメラ | |
TW201102938A (en) | Image capturing apparatus, face area detecting method and program recording medium | |
JP2007221312A (ja) | 撮像装置 | |
JP5210841B2 (ja) | 撮像装置 | |
JP2010124120A (ja) | オートフォーカスシステム | |
JP4891674B2 (ja) | カメラ | |
JP2008252711A (ja) | ディジタルカメラ | |
US8405713B2 (en) | Image pickup apparatus and image combining method of image pickup apparatus | |
JP2003338955A (ja) | アドバイス機能付きカメラ | |
JP2004349750A (ja) | ディジタル・カメラおよびその制御方法 | |
JP3927802B2 (ja) | 画像処理装置 | |
JP4983643B2 (ja) | 撮像装置及び補正プログラム | |
JP2004343315A (ja) | 撮像装置 | |
JP2004343317A (ja) | 撮像装置 | |
JP2010085530A (ja) | オートフォーカスシステム | |
JP5448868B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP4038817B2 (ja) | 撮像装置 | |
JP2001311867A (ja) | 電子カメラ | |
JP2006128793A (ja) | 撮像装置、及びその制御方法 | |
JP4336186B2 (ja) | 画像修正装置および撮像装置 | |
US20100123793A1 (en) | Imager for determining a main subject |