JP4063583B2

JP4063583B2 - デジタルカメラ

Info

Publication number: JP4063583B2
Application number: JP2002143967A
Authority: JP
Inventors: 茂三木
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-05-20
Filing date: 2002-05-20
Publication date: 2008-03-19
Anticipated expiration: 2022-05-20
Also published as: JP2003338952A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ及びその画像処理方法に関する。
【０００２】
【従来の技術】
図８は、従来のデジタルカメラの斜視図であり、図９は、従来のデジタルカメラの内部構成を示すブロック図である(特開２００１−３１３６８０号参照)。カメラ本体(１)には、ストロボ(70)、シャッタ釦(10)が周知の如く設けられている。
カメラ本体(１)内には、ラック(31)を具えた対物レンズ(30)が設けられ、該ラック(31)はギア列(32)を介して、モータＭにより、被写体に接近離間可能に設けられている。対物レンズ(30)からの光は、ＣＣＤ(33)にて電気信号に変換され、Ａ／Ｄコンバータ(34)にてデジタル信号に変換され、信号処理回路(35)にて色補正やガンマ補正等の処理が行われた後に、制御回路(２)に入力される。制御回路(２)はモータＭに給電する。対物レンズ(30)、ＣＣＤ(33)、Ａ／Ｄコンバータ(34)、モータＭ、ギア列(32)とで、周知のオートフォーカス機構(３)を構成する。
【０００３】
シャッタ釦(10)を押し込む途中、又はシャッタ釦(10)が軽く押された半押し状態では、制御回路(２)は一旦モータＭに通電して、対物レンズ(30)を光軸Ｌに沿って少しずつ移動させる。ピントがあった状態から、対物レンズ(30)が僅かに動くと、ＣＣＤ(33)からの電気信号は図１０(a)のように起伏が激しい波形となり、ピントがあっていない状態で、対物レンズ(30)が動くとＣＣＤ(33)からの電気信号は図１０(b)のように起伏のなだらかな波形となることが知られている。制御回路(２)は最も電気信号の波形の起伏が激しい地点で、対物レンズ(30)を止め、ピントを合わせる。
この状態でシャッタ釦(10)が完全に押し込まれると、ストロボ(70)が発光し、被写体の画像が制御回路(２)を通って画像メモリ(４)内に格納される。
【０００４】
【発明が解決しようとする課題】
被写体が人の顔である場合は、撮影時にストロボ(70)が発光すると、人は反射的に目を閉じることが多い。即ち、目を閉じた写真が不用意に撮れてしまう。目が開いた写真を撮るには、連続して同じ顔を数枚撮り、撮影後に目が閉じていない写真を選ぶのが一般的であるが、手間がかかる。
この点に鑑みて、目を閉じていない写真を自動的に撮るカメラが、特開平７−２９５０６３号に開示されている。これは、ストロボ発光時に、被写体の目が赤く写る所謂赤目現象を利用して、被写体の目が赤く写った写真を残し、被写体の目が赤く写っていない写真を自動的にキャンセルする。
しかし、これではストロボを使用しないときには、被写体の目が閉じた写真が写ってしまう。また、目を閉じた写真は自動的にキャンセルされてしまうから、被写体である人が目を閉じた写真内に、他の被写体の決定的な瞬間が写っていた場合にもその写真はキャンセルされてしまい、却って使い勝手が悪かった。
本発明の目的は、目が開いた写真を撮影者が簡単に選択して撮ることができるカメラを提供することにある。
【０００５】
【課題を解決する為の手段】
カメラ本体(１)は、シャッタ釦(10)と、対物レンズ(30)から取り込まれた被写体のデジタル画像をフレーム毎に格納可能な画像メモリ(４)と、シャッタ釦(10)の操作に応じて、被写体のデジタル画像を画像メモリ(４)に格納させる制御回路(２)と、制御回路 ( ２ ) に繋がり被写体に向いた報知ランプ ( ７ ) と、画像メモリ(４)内の画像データを２値化処理するとともに、目の領域を探索する目位置検出回路(５)と、目位置検出回路(５)が検出した目の領域を、特定のフレーム数分だけ監視し続け、該目の領域に於ける瞳部分が小さくなると、その旨の信号を発するまばたき検出回路(50)とを具えている。
前記制御回路(２)は、まばたき検出回路(50)に繋がっており、まばたき検出回路(50)から瞳部分が小さくなった旨の信号を受けた際には、報知ランプ ( ７ ) を発光させて被写体の注意を引いた後に、被写体のデジタル画像を画像メモリ ( ４ ) に格納する。
【０００６】
【作用及び効果】
被写体が目を閉じる、即ち、まばたきすると、まばたき検出回路(50)は黒目部分を示す瞳部分が小さくなったことを検出する。制御回路(２)は、まばたき検出回路(50)から瞳部分が小さくなった旨の信号を受け、報知ランプ ( ７ ) を発光させて被写体の注意を引いた後に、被写体のデジタル画像を画像メモリ(４)に格納する。これにより、目が開いた被写体の画像を簡単に撮ることができる。
【０００７】
【発明の実施の形態】
以下、本発明の一例を図を用いて詳述する。
図１(a)は、カメラ本体(１)の斜視図、図１(b)は、図１(a)を背後から見た斜視図である。カメラ本体(１)上には、シャッタ釦(10)、ストロボ(70)の他に、２値化画像を処理すべきときに操作される切換スイッチ(ＳＷ)が設けられている。カメラ本体(１)には、デジタル画像を格納可能なメモリカード(９)が挿入される開口(11)が設けられている。撮った画像は、カメラ本体(１)の背面に設けられた液晶パネル(８)にて確認できる。カメラ本体(１)の前面には、３つの報知ランプ(７)が上下に３つ設けられているが、３つに限定されない。本例にあっては、被写体の目が開いた写真を撮影者が簡単に選択できる点に特徴がある。
【０００８】
図２は、本例のデジタルカメラの内部ブロック図である。従来と同様に、オートフォーカス機構(３)は、信号処理回路(35)を介して、制御回路(２)に繋がっている。制御回路(２)には、プログラムが格納されたＲＯＭ(20)、時間を計測するタイマー(６)、タイマー時間や液晶パネル(８)に表示する図形等が格納されるＲＡＭ(21)、デジタル画像が格納される画像メモリ(４)が接続されている。制御回路(２)には、またＤ／Ａコンバータ(80)を介して前記液晶パネル(８)、圧縮伸長回路(90)を介してメモリカード(９)が接続される。一般に制御回路(２)はマイクロコンピュータで構成されるから、タイマー(６)を該マイクロコンピュータ内のクロックを分周して形成してもよい。
画像メモリ(４)には、被写体の画像を２値化処理して被写体の目の位置を検出する目位置検出回路(５)、被写体の目の位置を監視し続けて２値化画像から目を閉じたことを検出するまばたき検出回路(50)が接続されている。
【０００９】
撮影者は、通常に撮影するときは、被写体にオートフォーカス機構(３)の対物レンズ(30)(図９参照)を向けてシャッタ釦(10)を押す。制御回路(２)は１フレームのデジタル画像を一旦画像メモリ(４)に格納するとともに、Ｄ／Ａコンバータ(80)にてアナログ変換された画像を液晶パネル(８)に表示する。これとともに、デジタル画像を圧縮伸長回路(90)にて圧縮してメモリカード(９)に格納する。メモリカード(９)に格納することにより、画像が保存される。
撮影者がメモリカード(９)内の画像の再生をカメラ本体(１)上の再生釦(図示せず)を操作して再生を指示すると、圧縮伸長回路(90)にてメモリカード(９)内の画像が伸長されてＤ／Ａコンバータ(80)を介して液晶パネル(８)に表示される。
撮影者は、被写体が目を開いた画像のみを撮るときは、切換スイッチ(ＳＷ)を操作して、目つぶり検出モードに設定する。
【００１０】
(目つぶり検出)
撮影者が切換スイッチ(ＳＷ)を操作して、目つぶり検出モードを選択したときは、制御回路(２)はＲＯＭ(20)から目つぶり検出モード用のプログラムを読み込む。カメラ本体(１)は、目を閉じた状態を検出すると撮影者に警告を発する。以下、目を閉じた状態を検出する手順を、図５のフローチャート及び図３、図４を用いて説明する。
先ず、撮影者は対物レンズ(30)を被写体に向けて、シャッタ釦(10)を押す(Ｓ2)。オートフォーカス機構(３)から、図３(a)に示す１フレーム分の被写体画像が制御回路(２)を通って、画像メモリ(４)に格納される。該画像は目位置検出回路(５)によって、ラスタ走査されて、ホワイトピークの部分を２５５、最も黒い部分を０とする２５６階調のデジタルデータに変換される。次に、特定のスレッショルドレベルで、画像を２値化し、周知のラベリング処理や、収縮・拡散による平滑化を行って、ノイズを除去する(Ｓ3)。スレッショルドレベルは、任意に定められるが、人の肌色を白とするレベルである。また、図３(a)では画素数は縦横各５００ピクセルとしているが、これに限定されない。
【００１１】
２値化画像から、顔を特定し、目の位置及びまばたき状態を検出する方法は、種々提案されているが、以下その一例を示す。これは鼻穴から目の位置を特定するものであるが、これは例示であって、この方法に限定されない。
２値化処理により、図３(b)に示すように、画素が繋がった一続きの線である被写体の頭の輪郭線ＡＴ、顔の輪郭線ＫＡ、髪の生え際の線であるＨを得る。線ＡＴと線ＫＡ、及び線Ｈと線ＫＡは画素が環状に繋がっているから、これらの線が輪郭線又は生え際の線であることが判る。勿論、眉毛や唇の画像も２値化処理されているが、図３(b)では便宜上、図示しない。ここまでの手順は特開平４−１７４３０９号に記載されている。
【００１２】
次に、２値化処理された画像にて、顔の輪郭線ＫＡ、及び髪の生え際の線であるＨで囲まれる部分の略中央部を探索する。図３(b)に一点鎖線で示す領域に、ほぼ水平に並ぶ２つの黒部分が抽出され、この２つの黒部分を鼻穴として検出する。この２つの黒部分が鼻穴であることを確認する為に、該黒部分が頭の輪郭線ＡＴ、及び顔の輪郭線ＫＡで囲まれる領域の中央部から下方にあることを検知する。
即ち、鼻穴の位置は個人差があるが、鼻穴は、顔の輪郭線ＫＡ及び髪の生え際の線であるＨで囲まれる領域の略中央部に位置している。また、鼻穴は、頭の輪郭線ＡＴ及び顔の輪郭線ＫＡで囲まれる領域の中央部から下方にあるから、上記工程によって、被写体の鼻穴が正確に検出される。尚、一般的な鼻穴の形状をテンプレートとして記憶しておき、２値化処理された顔画像のうちテンプレートと一致する部分を鼻穴として検出してもよい。
【００１３】
次に、該鼻穴の近傍にて、鼻穴の位置の斜め上方に、該鼻穴よりも間隔の広い２つの黒部分(図３(c)に一点鎖線で示す部分Ｒ)を検出する(Ｓ4)。両目は鼻の上方にあり、且つ両目の間隔は２つの鼻穴の間隔よりも広いから、検出された２つの黒部分が目、即ち瞳部分であることが判る。この場合、２つの鼻穴の間隔よりも広い黒部分として、眉毛があるが、目は眉毛よりも鼻側にあり、鼻より上の２つの黒部分としてまず両目が検出されるから、眉毛を誤検出することはない。尚、鼻穴の位置に基づいて、目の位置を検出する旨は、特開平１０−６３８５０号に記載されている。
目位置検出回路(５)は目の位置を探知する操作を終えるが、次々に画像メモリ(４)に取り込まれる１フレーム毎の画像を２値化処理する動作は続ける。瞳部分の検出により、目の位置が決定されると、まばたき検出回路(50)が作動する。
【００１４】
まばたき検出回路(50)は、２値化画像から該領域Ｒを一定時間、具体的には数百フレーム分監視し続ける(Ｓ5)。図４に示すように、被写体である人が目を閉じれば、瞳部分が瞼に覆われる。瞳部分は上下の瞼が合わさった線状の箇所となるから、瞳部分である黒部分の面積が小さくなる(Ｓ6)。まばたき検出回路(50)は被写体がまばたきをして、目を閉じたことを検出する。
制御回路(２)は、まばたき検出回路(50)から被写体が目を閉じた旨の信号を受信すると、液晶パネル(８)に表示された画像に、目を閉じた画像である旨の表示、例えばＲＡＭ(21)から読み込まれたバツ印を付して撮影者に警告する(Ｓ7)。撮影者は、目を閉じた画像を撮影したことが判り、シャッタ釦(10)をもう１回押すと、高い確率で目を開いた画像を撮ることができる。尚、制御回路(２)はまばたき検出回路(50)から被写体が目を閉じた旨の信号を受信した後に、自動的にもう１枚画像を画像メモリ(４)又はメモリカード(９)に格納してもよい。
撮影者は警告を受けた画像が不要であれば、該画像を消去すればよく、他の被写体の決定的な瞬間が写っている等、該画像が必要であれば、残しておけばよい。従って、かかる警告を受けることにより撮影者は目が開いた写真を簡単に選択して撮ることができる。また、ストロボを発光させなくとも、目を閉じたことを検出できる。
尚、目位置検出回路(５)が検出した目位置にて、当初目が閉じていても、まばたき検出回路(50)が領域Ｒを監視し続けることにより、瞳部分はその後大きくなるから、再び瞳部分が小さくなったことを検知すれば、まばたきがあったことが判る。
【００１５】
(第２実施例)
本例にあっては、図６のフローチャートに示すように、目つぶりを検出するまでの手順は、上記と同様である(Ｓ10、Ｓ11)。しかし、被写体の目が閉じていることを検出すると、警告は発せずに、報知ランプ(７)を発光させて、被写体である人の注意を引く(Ｓ12)。被写体は稍驚いて、目が開く。この後、撮像画像を画像メモリ(４)に格納する(Ｓ13)。報知ランプ(７)を発光させてから、撮像画像を画像メモリ(４)に格納するまでの時間は、予め制御回路(２)内に定められており、一般的な人のまばたき間隔よりも短く定められる。これにより、目が開いた被写体の画像を簡単に撮ることができる。報知ランプ(７)の発光時間は被写体の目を開かせ続けるには、１秒程度が適切と考えられる。
尚、暗い場所で撮影する場合には、報知ランプ(７)の代わりに、ストロボ(70)を２回発光させて、被写体である人の目を開かせてもよい。ストロボ(70)は、報知ランプ(７)よりも強い光であり、被写体は最初の発光で一瞬目を閉じるが、直ぐに目を開ける。このときに、再びストロボ(70)を発光させ、撮像画像を画像メモリ(４)に格納する。
【００１６】
最初の発光は、２回目の発光が失敗無く行われるかを確認するものである。従来のデジタルカメラでは、図１(a)に一点鎖線で示すように、カメラ本体(１)の前面にセンサ(12)を設け、ストロボ(70)を１回発光させ、ストロボ(70)からの光が被写体に反射される量をセンサ(12)にて感知する。この反射光量が十分なレベルに達すると、ストロボ(70)がそれ以上長く発光するのを阻止している。
然るに、出願人の提案するデジタルカメラでは、構成部品を削減すべくセンサ(12)を設けていない。その代わり、ストロボ(70)をまず１回発光させ、被写体に反射される光量を、オートフォーカス機構(３)のＣＣＤ(33)にて受ける。次に、制御回路(２)はストロボ(70)の発光量と反射光の光量を比較し、どれだけの光量で２回目に発光させれば、被写体がきれいに撮れるかを演算して、２回目の発光を行っている。
【００１７】
(第３実施例)
本実施例に於けるデジタルカメラでは、報知ランプ(７)等を発光させない代わりに、まばたきの間隔時間ｔを測定して、該間隔時間ｔ内に撮像画像を画像メモリ(４)に格納する。この場合、撮影者はシャッタ釦(10)を半押し、即ちオートフォーカス動作が働く程度に、シャッタ釦(10)を暫く軽く押してから、シャッタ釦(10)を押し込む。図７のフローチャートに手順を示す。
撮影者は、切換スイッチ(ＳＷ)を操作して(Ｓ20)、目つぶり検出モードを選択した後に、シャッタ釦(10)を半押しする。このとき、制御回路(２)は未だ撮像画像を画像メモリ(４)に格納しない。
まばたき検出回路(50)が被写体のまばたきを検出したときは(Ｓ21)、まばたき検出回路(50)は、タイマー(６)を作動させる(Ｓ22)。まばたき後は、黒目が露出して瞳部分が大きくなり、再びまばたきをすると、瞳部分が再び小さくなる。まばたき検出回路(50)は、前回のまばたきから今回のまばたきまでの時間ｔを、タイマー(６)にて計測して(Ｓ23、Ｓ24)、該計測データをＲＡＭ(21)に格納するとともに、今回のまばたきがあった旨を制御回路(２)に伝える。尚、まばたき検出回路(50)は、まばたきの時間間隔ｔを複数回測定し、平均値をＲＡＭ(21)に格納してもよい。
【００１８】
撮影者がシャッタ釦(10)を押し込むと、制御回路(２)は、ＲＡＭ(21)からまばたきの間隔時間ｔを読み込むとともに、まばたき検出回路(50)から伝えられた最新のまばたきから、時間ｔが経過しているかどうかを判断する(Ｓ25)。時間ｔが経過していなければ、オートフォーカス機構(３)から入力された撮像画像を画像メモリ(４)に格納する(Ｓ26)。時間ｔが経過していれば、まばたき検出回路(50)から次のまばたきがあった旨の情報を待って、該情報から時間ｔ内に撮像画像を画像メモリ(４)に格納する。これにより、目が開いた被写体の画像を簡単に撮ることができる。
【００１９】
オートフォーカス機構(３)は、一般に対物レンズ(30)の中心付近に焦点を合わせる。従って、目つぶり検出モードにて、画像内に多数の人が写っている場合は、画像の中心部に写っている人のまばたき状態を判断する。尚、画像内に複数の人がいる場合は、画像認識する領域を自動又は手動で制限し、中心部で顔が大きく写っている人を重点的に画像認識するようにしてもよい。
尚、オートフォーカス機構(３)を設けていなくとも、マニュアル操作にて、画像の中心部に焦点を合わせてもよい。また、本願の内容は、対物レンズ(30)の絞りを小さくして被写界深度を深くしたパンフォーカス機にも使用できる。
【００２０】
上記実施例では、目つぶり検出モードはカメラ本体(１)上の切換スイッチ(ＳＷ)を操作して選択されるとしたが、これに代えて液晶パネル(８)に表示されるメニューから選択してもよい。
また、切換スイッチ(ＳＷ)を設けずに、常に目つぶりを検出してもよい。この場合、被写体が人であるかどうかは、先ず被写体の色又はつやを検知し、被写体が肌色か否かで判断する。この肌色を検知することにより被写体が顔か否かを判断する技術は、特開平１１−２８１６６１号に開示されている。
【００２１】
上記実施例の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。又、本発明の各部構成は上記実施例に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】(a)は、カメラ本体の斜視図、(b)は、(a)を背後から見た斜視図である。
【図２】本例のデジタルカメラの内部ブロック図である。
【図３】(a)、(b)、(c)は、２値化処理を示す図である。
【図４】目を閉じた被写体の２値化処理を示す図である。
【図５】目を閉じた状態を検出する手順を示すフローチャートである。
【図６】別の実施例に於ける目を開いた画像を撮る手順である。
【図７】別の実施例に於ける目を開いた画像を撮る手順である。
【図８】従来のデジタルカメラの斜視図である。
【図９】従来のデジタルカメラの内部構成を示すブロック図である。
【図１０】(a)、(b)は、ＣＣＤからの電流波形を示す図である。
【符号の説明】
(２) 制御回路
(４) 画像メモリ
(５) 目位置検出回路
(６) タイマー
(10) シャッタ釦
(30) 対物レンズ
(50) まばたき検出回路

Claims

シャッタ釦(10)と、
対物レンズ(30)から取り込まれた被写体のデジタル画像をフレーム毎に格納可能な画像メモリ(４)と、
シャッタ釦(10)の操作に応じて、被写体のデジタル画像を画像メモリ(４)に格納させる制御回路(２)と、
制御回路(２)に繋がり被写体に向いた報知ランプ(７)と、
画像メモリ(４)内の画像データを２値化処理するとともに、目の領域を探索する目位置検出回路(５)と、
目位置検出回路(５)が検出した目の領域を、特定のフレーム数分だけ監視し続け、該目の領域に於ける瞳部分が小さくなると、その旨の信号を発するまばたき検出回路(50)とを具え、
前記制御回路(２)は、まばたき検出回路(50)に繋がっており、まばたき検出回路(50)から瞳部分が小さくなった旨の信号を受けた際には、報知ランプ(７)を発光させて被写体の注意を引いた後に、被写体のデジタル画像を画像メモリ(４)に格納することを特徴とするデジタルカメラ。
シャッタ釦(10)と、
撮影時に被写体に光を発するストロボ(70)と、
対物レンズ(30)から取り込まれた被写体のデジタル画像をフレーム毎に格納可能な画像メモリ(４)と、
シャッタ釦(10)の操作に応じて、被写体のデジタル画像を画像メモリ(４)に格納させる制御回路(２)と、
画像メモリ(４)内の画像データを２値化処理するとともに、目の領域を探索する目位置検出回路(５)と、
目位置検出回路(５)が検出した目の領域を、特定のフレーム数分だけ監視し続け、該目の領域に於ける瞳部分が小さくなると、その旨の信号を発するまばたき検出回路(50)とを具え、
前記制御回路(２)は、まばたき検出回路(50)に繋がっており、まばたき検出回路(50)から瞳部分が小さくなった旨の信号を受けた際には、ストロボ(70)を発光させて被写体の注意を引いた後に、再度ストロボ(70)を発光させて被写体のデジタル画像を画像メモリ(４)に格納することを特徴とするデジタルカメラ。