JP4208796B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4208796B2
JP4208796B2 JP2004247389A JP2004247389A JP4208796B2 JP 4208796 B2 JP4208796 B2 JP 4208796B2 JP 2004247389 A JP2004247389 A JP 2004247389A JP 2004247389 A JP2004247389 A JP 2004247389A JP 4208796 B2 JP4208796 B2 JP 4208796B2
Authority
JP
Japan
Prior art keywords
image
value
contrast
contrast value
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004247389A
Other languages
English (en)
Other versions
JP2006067249A (ja
Inventor
泰宏 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004247389A priority Critical patent/JP4208796B2/ja
Publication of JP2006067249A publication Critical patent/JP2006067249A/ja
Application granted granted Critical
Publication of JP4208796B2 publication Critical patent/JP4208796B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置に関し、より具体的には、撮像された画像がブレのない成功画像であるか否かを判定することができる撮像装置に関する。特に、連写撮影のように、一度の撮影で撮像された複数の画像の中から成功画像が自動的に抽出される撮像装置に関する。
近年、CCDセンサ、CMOSセンサなどの撮像素子を搭載したデジタルスチルカメラ、デジタルビデオカメラなどのデジタルカメラが普及している。デジタルカメラは、撮像素子によって光電変換されたアナログ形式の電気信号をAD変換器によってデジタル形式に変換し、変換した各画素の電気信号をデジタル画像として記憶媒体(半導体メモリ、磁気記憶メモリなど)に記憶する機能を有する。近年では、撮像素子の性能、並びに、記憶媒体の記憶容量及びアクセス速度が向上し、いわゆる銀塩カメラと同様、連写撮影及び動画撮影が可能なデジタルカメラが実用化されている。
ところで、曇天下での撮像又は室内での撮像など、十分な光量が得られない状況下においては、銀塩カメラと同様、一般的にアイリス(絞り)を開放し、かつシャッタ速度を下げることによって光量(露光量)を確保する。しかしながら、シャッタ速度を下げた場合、手ブレによる影響を受けやすく、十分な撮影技量のない利用者が撮像すると、撮像した画像の輪郭がぼけてしまい、結果として撮像に失敗してしまうという虞があった。
三脚のような固定器具をデジタルカメラに装着すれば、手ブレの発生を防止することができるが、デジタルカメラの利点の1つは手軽に撮像できることにあるため、固定器具を装着することに対して、利用者の強い抵抗感がある。また、デジタルカメラを予め固定器具に装着する必要があるため、咄嗟の撮像には不向きである。そこで、撮像した画像がブレのない画像(以下、成功画像という)であるか否かを検知することができるデジタルカメラが提案されている(例えば、特許文献1参照。)。
特許文献1に記載のデジタルカメラは、撮像された画像について画像周波数を解析して高周波成分を抽出し、抽出した高周波成分に基づいて、画像が成功画像であるか否かを判定する。
特開2004−120256号公報
しかしながら、特許文献1に記載のデジタルカメラは、処理能力が限定されるため、多大な処理量を有する高精細画像を連写撮影することは困難であった。詳述すれば、高精細画像の撮像が可能な撮像素子を搭載したデジタルカメラは、垂直同期期間内に全ての画素に係る信号を転送することができないことから、複数の期間に分割して転送するようにしてある。したがって、撮像した画像が成功画像であるか否かを判定するためには、先ず、分割して転送された信号から構成した画像について画像周波数を解析して高周波成分を抽出し、抽出した高周波成分に基づいて、画像が成功画像であるかか否かを判定しなければならない。このように、撮像素子が高画素化されるに伴って処理量が増大してしまうという問題があった。
また、専用の演算ハードウェアを搭載した場合は、まさしく演算ハードウェアが必要であり、構成の大嵩化及び高コスト化が避けられないという問題があった。
本発明は斯かる事情に鑑みてなされたものであり、画像を撮像する場合に、撮像する画像より画像サイズが小さい小画像を撮像し、撮像された小画像の鮮鋭度に係る情報を検出し、検出された鮮鋭度に係る情報に基づいて画像の適否を判定する構成とすることにより、処理負担が軽減され、また、従来より小型及び低コストの構成であっても、画像の適否を判定でき、画像が適であると判定された場合に、画像を記憶媒体に記憶することができる撮像装置の提供を目的とする。
また本発明は、画像の撮像前及び撮像後に、撮像する画像より画像サイズが小さい小画像を撮像し、撮像された各小画像のコントラスト値(第1コントラスト値及び第2コントラスト値)を検出し、検出したコントラスト値に基づいて画像の適否を判定する構成とすることにより、処理負担が軽減され、また、従来より小型及び低コストの構成であっても、画像の適否を判定でき、画像が適であると判定された場合に、画像を記憶媒体に記憶することができる撮像装置の提供を目的とする。
また本発明は、画像の撮像前に撮像された小画像の第1コントラスト値と画像の撮像後に撮像された小画像の第2コントラスト値との差分値の絶対値が所定値(第1所定値)より大きい場合に、画像が否であると判定する構成とすることにより、画像の撮像の前後でコントラスト値が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像の適否を判定できる撮像装置の提供を目的とする。
また本発明は、一連の撮像を受け付けた際に、上述した小画像とは異なる小画像を撮像し、撮像された小画像のコントラスト値(第3コントラスト値)を検出し、第3コントラスト値と第1コントラスト値との差分値、及び/又は第3コントラスト値と第2コントラスト値との差分値の絶対値が所定値(第2所定値)より大きい場合に、画像が否であると判定する構成とすることにより、一連の撮像を受け付けた際の第3コントラスト値が、画像の撮像前及び/又は撮像後におけるコントラスト値(第1コントラスト値及び/又は第2コントラスト値)と大きく異なる場合には、たとえ画像にブレが発生していないとしても、一連の撮像を受け付けた際の画像と異なっていると判断できることから、撮像された画像が一連の撮像を受け付けた際の画像ではないとの判定を行える撮像装置の提供を目的とする。
また本発明は、画像の撮像前及び撮像後に、撮像する画像より画像サイズが小さい小画像を撮像し、撮像された各小画像の複数の領域におけるコントラスト値(第1コントラスト値及び第2コントラスト値)を検出し、検出した各小画像の複数の領域におけるコントラスト値に基づいて画像の適否を判定する構成とすることにより、ブレが生じたとしても肖像写真のように画像全体のコントラスト値が変化しない場合であっても、画像の適否を判定することができ、判定精度を向上することができる撮像装置の提供を目的とする。
また本発明は、第1コントラスト値の総和である第1総コントラスト値と、第2コントラスト値の総和である第2総コントラスト値との差分値の絶対値が所定値(第1所定値)より大きい場合に、画像が否であると判定する構成とすることにより、画像の撮像の前後で総コントラスト値が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像の適否を判定できる撮像装置の提供を目的とする。
また本発明は、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より長い場合に、画像が否であると判定する構成とすることにより、被写体の撮像フレーム内における位置が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像の適否を判定できる撮像装置の提供を目的とする。
また本発明は、第1コントラスト値の総和である第1総コントラスト値と、第2コントラスト値の総和である第2総コントラスト値との差分値の絶対値が第1所定値より小さく、かつ、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より短い場合に、画像が適であると判定する構成とすることにより、品位の高い画像のみが適と判定される撮像装置の提供を目的とする。
また本発明は、一連の撮像を受け付けた際に、上述した小画像とは異なる小画像を撮像し、撮像された小画像の複数の領域におけるコントラスト値(第3コントラスト値)を検出し、第3コントラスト値の総和である第3総コントラスト値と第1総コントラスト値との差分値、及び/又は第3総コントラスト値と第2総コントラスト値との差分値の絶対値が所定値(第2所定値)より大きい場合に、画像が否であると判定する構成とすることにより、一連の撮像を受け付けた際の第3総コントラスト値が、画像の撮像前及び/又は撮像後における総コントラスト値(第1総コントラスト値及び/又は第2総コントラスト値)と大きく異なる場合には、たとえ画像にブレが発生していないとしても、一連の撮像を受け付けた際の画像と異なっていると判断できることから、撮像された画像が一連の撮像を受け付けた際の画像ではないとの判定を行える撮像装置の提供を目的とする。
また本発明は、第1総コントラスト値と第2総コントラスト値との差分値の絶対値が第1所定値より小さく、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より短く、かつ、第3総コントラスト値と第1総コントラスト値との差分値、及び/又は第3総コントラスト値と第2総コントラスト値との差分値の絶対値が第2所定値より小さい場合に、画像が適であると判定する構成とすることにより、さらに品位の高い画像のみが適と判定される撮像装置の提供を目的とする。
また本発明は、被写体を連続して撮像し、複数の画像の撮像を行う場合には、撮像された複数の画像のうちから、適と判定された画像を抽出する構成とすることにより、適と判定された画像が自動的に記憶媒体に記憶されることになり、利用者が、画像を選択して記憶媒体に記憶させるような操作が不要となる撮像装置の提供を目的とする。
また本発明は、画像の成功度合いに基づいて、画像の順位付けを行って表示する構成とすることにより、利用者が撮像された画像のうちのいずれの画像が最も成功度合いが高いかを認識することができる撮像装置の提供を目的とする。
また本発明は、判定結果を利用者に報知する構成とすることにより、利用者は、撮影が成功したか否かを認識することができ、撮影が成功しなかった場合には、利用者に撮影が成功するまで再撮影を促すことができる撮像装置の提供を目的とする。
また本発明は、所定数の適と判定された画像が抽出された場合に、所定数の画像が撮像されたことを利用者に報知する構成とすることにより、利用者が所定数の画像の撮影に成功したか否かを認識することができ、利用者に撮影が成功するまで再撮影を促すことができる撮像装置の提供を目的とする。
また本発明は、画像が否であると判定した場合、画像を記憶媒体に記憶しない構成とすることにより、否と判定された画像が記憶媒体に記憶されることによって記憶媒体の記憶容量が減少してしまう虞は全くなく、記憶媒体への記憶を効率的に行うことができる撮像装置の提供を目的とする。
本発明に係る撮像装置は、画像と、該画像より画像サイズが小さい小画像とを撮像する撮像素子を備え、該撮像素子にて撮像された所定の画像を記憶媒体に記憶する撮像装置であって、画像の撮像前及び撮像後に小画像の撮像を指示する手段と、画像の撮像前に撮像された小画像の第1コントラスト値を検出する第1コントラスト検出手段と、画像の撮像後に撮像された小画像の第2コントラスト値を検出する第2コントラスト検出手段と、前記第1コントラスト値及び前記第2コントラスト値に基づいて前記画像の適否を判定する判定手段とを備え、該判定手段にて前記画像が適であると判定された場合、前記画像を前記記憶媒体に記憶するようにしてあることを特徴とする。
本発明にあっては、先ず、画像の撮像前及び撮像後に、撮像する画像より画像サイズが小さい小画像の撮像を行って、撮像された各小画像のコントラスト値(第1コントラスト値及び第2コントラスト値)を検出する。そして、検出されたコントラスト値に基づいて画像の適否を判定し、画像が適であると判定された場合、画像を記憶媒体に記憶する。画像の撮像前及び撮像後に撮像された小画像のコントラスト値に基づいて、つまり、撮像する画像に関する情報以外の情報から画像の適否を判定することができる。
本発明に係る撮像装置は、前記第1コントラスト値と前記第2コントラスト値との差分値を算出する第1算出手段を備え、前記判定手段は、前記第1算出手段にて算出された差分値の絶対値が第1所定値より大きい場合に、前記画像が否であると判定するようにしてあることを特徴とする。
本発明にあっては、先ず、画像の撮像前の小画像に係る第1コントラスト値と画像の撮像後の小画像に係る第2コントラスト値との差分値を算出する。そして、算出された差分値の絶対値が第1所定値より大きい場合に、画像が否(失敗画像)であると判定する。画像の撮像の前後でコントラスト値が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像の適否を判定することができる。
本発明に係る撮像装置は、一連の撮像を受け付ける受付手段と、該受付手段によって一連の撮像を受け付けた際に、前記小画像とは異なる小画像の撮像を指示する手段と、前記小画像の第3コントラスト値を検出する第3コントラスト検出手段と、前記第3コントラスト値と前記第1コントラスト値との差分値、及び/又は前記第3コントラスト値と前記第2コントラスト値との差分値を算出する第2算出手段とを備え、前記判定手段は、前記第2算出手段にて算出された差分値に基づいて前記画像の適否をさらに判定するようにしてあり、前記差分値の絶対値が第2所定値より大きい場合に、前記画像が否であると判定するようにしてあることを特徴とする。
本発明にあっては、先ず、撮影ボタンのような受付手段にて一連の撮像を受け付けた際に、撮像する画像より画像サイズが小さい小画像(基準画像)の撮像を行って、撮像された基準画像の第3コントラスト値を検出する。次いで、検出した第3コントラスト値と画像の撮像前の小画像に係る第1コントラスト値との差分値、及び/又は、検出した第3コントラスト値と画像の撮像後の小画像に係る第2コントラスト値との差分値を算出する。そして、算出された差分値の絶対値が第2所定値より大きい場合に、画像が成功画像ではないと判定する。第3コントラスト値が、画像の撮像前及び/又は撮像後におけるコントラスト値と大きく異なる場合には、たとえ画像にブレが発生していないとしても、一連の撮像を受け付けた際の画像と異なっていると判断できることから、撮像された画像が一連の撮像を受け付けた際の画像ではないとの判定を行うことができる。
本発明に係る撮像装置は、画像と、該画像より画像サイズが小さい小画像とを撮像する撮像素子を備え、該撮像素子にて撮像された所定の画像を記憶媒体に記憶する撮像装置であって、画像の撮像前及び撮像後に小画像の撮像を指示する手段と、画像の撮像前に撮像された小画像の複数の領域における第1コントラスト値を検出する第1コントラスト検出手段と、画像の撮像後に撮像された小画像の複数の領域における第2コントラスト値を検出する第2コントラスト検出手段と、前記第1コントラスト値及び前記第2コントラスト値に基づいて前記画像の適否を判定する判定手段とを備え、該判定手段にて前記画像が適であると判定された場合、前記画像を前記記憶媒体に記憶するようにしてあることを特徴とする。
本発明にあっては、先ず、画像の撮像前及び撮像後に、撮像する画像より画像サイズが小さい小画像の撮像を行って、撮像された各小画像の複数の領域におけるコントラスト値(第1コントラスト値及び第2コントラスト値)を検出する。そして、検出されたコントラスト値に基づいて画像の適否を判定し、画像が適であると判定された場合、画像を記憶媒体に記憶する。ブレが生じた場合であっても、肖像写真のように画像全体のコントラスト値が変化しない虞がある。そこで、小画像の複数の領域におけるコントラスト値を判定に用いる。ブレが生じた場合、各領域におけるコントラスト値が変化することになるので、画像が成功画像であるか否かを判定することができ、判定精度を向上することができる。
本発明に係る撮像装置は、前記第1コントラスト値の総和である第1総コントラスト値を算出する手段と、前記第2コントラスト値の総和である第2総コントラスト値を算出する手段と、前記第1総コントラスト値と前記第2総コントラスト値との差分値を算出する第1算出手段とを備え、前記判定手段は、前記第1算出手段によって算出された差分値の絶対値が第1所定値より大きい場合に、前記画像が否であると判定するようにしてあることを特徴とする。
本発明にあっては、先ず、画像の撮像前の小画像の複数の領域における第1コントラスト値の総和である第1総コントラスト値と、画像の撮像後の小画像の複数の領域における第2コントラスト値の総和である第2総コントラスト値とを算出する。次いで、第1総コントラスト値と第2総コントラスト値との差分値を算出する。そして、算出された差分値の絶対値が第1所定値より大きい場合に、画像が成功画像ではないと判定する。画像の撮像の前後で総コントラスト値が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像が成功画像であるか否かの判定を行うことができる。
本発明に係る撮像装置は、前記第1コントラスト値のうちの最大のコントラスト値を有する領域を特定する第1特定手段と、前記第2コントラスト値のうちの最大のコントラスト値を有する領域を特定する第2特定手段と、前記第1特定手段が特定した領域と前記第2特定手段が特定した領域との離隔長を算出する第2算出手段とを備え、前記判定手段は、第2算出手段によって算出された離隔長が所定長より長い場合に、前記画像が否であると判定するようにしてあることを特徴とする。
本発明にあっては、先ず、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域を特定する。次いで、特定した2つの領域の離隔長を算出する。そして、算出された離隔長が所定長より大きい場合に、画像が成功画像ではないと判定する。被写体の撮像フレーム内における位置が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像が成功画像であるか否かの判定を行うことができる。例えば、撮像前の小画像に係る最大のコントラスト値を有する領域と撮像後の小画像最大のコントラスト値を有する領域とが同一の領域、又は隣り合う領域である場合、ブレが生じていないものとして成功画像と判定し、一方、そうでない場合は、撮像の前後で大きな画角変動が生じたためにブレが生じたとして失敗画像と判定することができる。
本発明に係る撮像装置は、前記判定手段は、前記第1算出手段によって算出された差分値の絶対値が前記第1所定値より小さく、かつ前記第2算出手段によって算出された離隔長が前記所定長より短い場合に、前記画像が適であると判定するようにしてあることを特徴とする。
本発明にあっては、第1総コントラスト値と第2総コントラスト値との差分値の絶対値が第1所定値より小さく、かつ、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より小さい場合に、画像が成功画像であると判定する。これにより、成功画像の判定を厳格に行うことで、品位の高い画像のみが成功画像と判定される。
本発明に係る撮像装置は、一連の撮像を受け付ける手段と、該手段によって一連の撮像を受け付けた際に、前記小画像とは異なる小画像の撮像を指示する手段と、前記小画像の複数の領域における第3コントラスト値を検出する第3コントラスト検出手段と、前記第3コントラスト値の総和である第3総コントラスト値を算出する手段と、前記第3総コントラスト値と前記第1総コントラスト値との差分値、及び/又は前記第3総コントラスト値と前記第2総コントラスト値との差分値を算出する第3算出手段とを備え、前記判定手段は、前記第3算出手段にて算出された差分値に基づいて前記画像の適否をさらに判定するようにしてあり、前記差分値の絶対値が第2所定値より大きい場合に、前記画像が否であると判定するようにしてあることを特徴とする。
本発明にあっては、先ず、撮影ボタンのような受付手段にて一連の撮像を受け付けた際に、撮像する画像より画像サイズが小さい小画像(基準画像)の撮像を行って、撮像された基準画像の複数の領域における第3コントラスト値を検出する。次いで、複数の領域における第3コントラスト値の総和である第3総コントラスト値を算出する。そして、算出された第3総コントラスト値と第1総コントラスト値との差分値、及び/又は第3総コントラスト値と第2総コントラスト値との差分値を算出する。そして、算出された差分値の絶対値が第2所定値より大きい場合に、画像が成功画像ではないと判定する。一連の撮像を受け付けた際の第3総コントラスト値が、画像の撮像前及び/又は撮像後における総コントラスト値と大きく異なる場合には、たとえ画像にブレが発生していないとしても、一連の撮像を受け付けた際の画像と異なっていると判断できることから、撮像された画像が一連の撮像を受け付けた際の画像ではないとの判定を行うことができる。
本発明に係る撮像装置は、前記判定手段は、前記第1算出手段にて算出された差分値の絶対値が前記第1所定値より小さく、前記第2算出手段にて算出された離隔長が前記所定長より短く、かつ前記第3算出手段にて算出された差分値の絶対値が前記第2所定値より小さい場合に、前記画像が適であると判定するようにしてあることを特徴とする。
本発明にあっては、第1総コントラスト値と第2総コントラスト値との差分値の絶対値が第1所定値より小さく、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より小さく、かつ、第3総コントラスト値と第1総コントラスト値との差分値、及び/又は第3総コントラスト値と第2総コントラスト値との差分値の絶対値が第2所定値より小さい場合に、画像が成功画像であると判定する。これにより、成功画像の判定をさらに厳格に行うことで、より品位の高い画像のみが成功画像と判定される。
本発明に係る撮像装置は、被写体を連続して撮像し、複数の画像の撮像を行えるようにしてあり、前記判定手段の判定結果に基づいて、撮像された複数の画像のうちから、適と判定された画像を抽出する抽出手段を備えることを特徴とする。
本発明にあっては、被写体を連続して撮像し、複数の画像の撮像を行う場合には、撮像された複数の画像のうちから成功画像を抽出し、抽出した成功画像を記憶媒体に記憶する。これにより、成功画像が自動的に記憶媒体に記憶されることになり、利用者が撮像した画像のうちから成功画像を選択して記憶媒体に記憶させるような操作をする必要はない。
本発明に係る撮像装置は、前記判定手段の判定結果に基づいて、画像の成功度合いを算出する手段と、該手段によって算出された成功度合いに基づいて、画像の順位付けを行って表示する表示手段とを備えることを特徴とする。
本発明にあっては、先ず、判定手段の判定結果に基づいて画像の成功度合いを算出する。そして、算出された成功度合いから、画像を順位付けして表示する。この場合、画像を表示するときに、順位の順に画像を表示するようにしてもよし、画像の順位を表示してもよい。成功画像の成功度合いとしては、例えば、撮像前後の小画像の最大のコントラスト値を有する領域が同一であるものを最優先として、各種のコントラスト値の乖離状態に応じて順位をつける。これにより、利用者は、撮像された成功画像のうち、いずれの画像が最も成功度合いが高いかを認識することができる。
本発明に係る撮像装置は、前記判定手段の判定結果を報知する報知手段を備えることを特徴とする。
本発明にあっては、報知手段が判定結果を利用者に報知することにより、利用者は、撮影が成功したか否かを認識することができる。したがって、撮影が成功しなかった場合には、利用者は撮影が成功するまで再撮影を行うことができる。
本発明に係る撮像装置は、前記抽出手段によって適と判定された所定数の画像が抽出された場合に、所定数の画像が撮像されたことを報知する報知手段を備えることを特徴とする。
本発明にあっては、抽出手段によって所定数の成功画像が抽出された場合に、成功画像が撮像されたことを利用者に報知することにより、利用者は、所定数の成功画像の撮影に成功したか否かを認識することができる。したがって、利用者は、所定数の成功画像の撮影に成功するまで再撮影を行うことができる。
本発明に係る撮像装置は、前記判定手段にて前記画像が否であると判定された場合、前記画像を前記記憶媒体に記憶しないようにしてあることを特徴とする。
本発明にあっては、画像が成功画像ではないと判定された場合、画像(失敗画像)を記憶媒体に記憶しないようにする。失敗画像は、利用者が意図した画像ではないことから、記憶媒体に記憶する必要はなく、失敗画像が記憶媒体に記憶されることによって記憶媒体の記憶容量が減少してしまう虞は全くない。したがって、記憶媒体への記憶を効率的に行うことができる。
本発明によれば、画像の撮像前及び撮像後に、撮像する画像より画像サイズが小さい小画像を撮像し、撮像された各小画像のコントラスト値(第1コントラスト値及び第2コントラスト値)を検出し、検出したコントラスト値に基づいて画像の適否を判定する構成としたので、処理負担が軽減され、また、従来より小型及び低コストの構成であっても、画像の適否を判定でき、画像が適であると判定された場合に、画像を記憶媒体に記憶することができる。
本発明によれば、画像の撮像前に撮像された小画像の第1コントラスト値と画像の撮像後に撮像された小画像の第2コントラスト値との差分値の絶対値が所定値(第1所定値)より大きい場合に、画像が否であると判定する構成としたので、画像の撮像の前後でコントラスト値が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像の適否を判定できる。
本発明によれば、一連の撮像を受け付けた際に、上述した小画像とは異なる小画像を撮像し、撮像された小画像のコントラスト値(第3コントラスト値)を検出し、第3コントラスト値と第1コントラスト値との差分値、及び/又は第3コントラスト値と第2コントラスト値との差分値の絶対値が所定値(第2所定値)より大きい場合に、画像が否であると判定する構成としたので、一連の撮像を受け付けた際の第3コントラスト値が、画像の撮像前及び/又は撮像後におけるコントラスト値(第1コントラスト値及び/又は第2コントラスト値)と大きく異なる場合には、たとえ画像にブレが発生していないとしても、一連の撮像を受け付けた際の画像と異なっていると判断できることから、撮像された画像が一連の撮像を受け付けた際の画像ではないとの判定を行える。
本発明によれば、画像の撮像前及び撮像後に、撮像する画像より画像サイズが小さい小画像を撮像し、撮像された各小画像の複数の領域におけるコントラスト値(第1コントラスト値及び第2コントラスト値)を検出し、検出した各小画像の複数の領域におけるコントラスト値に基づいて画像の適否を判定する構成としたので、ブレが生じたとしても肖像写真のように画像全体のコントラスト値が変化しない場合であっても、画像の適否を判定することができ、判定精度を向上することができる。
本発明によれば、第1コントラスト値の総和である第1総コントラスト値と、第2コントラスト値の総和である第2総コントラスト値との差分値の絶対値が所定値(第1所定値)より大きい場合に、画像が否であると判定する構成としたので、画像の撮像の前後で総コントラスト値が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像の適否を判定できる。
本発明によれば、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より長い場合に、画像が否であると判定する構成としたので、被写体の撮像フレーム内における位置が大きく変化した場合には、その間に画像がブレなどによって失敗画像となったと判断できることから、撮像する画像に関する情報以外の情報から画像の適否を判定できる。
本発明によれば、第1コントラスト値の総和である第1総コントラスト値と、第2コントラスト値の総和である第2総コントラスト値との差分値の絶対値が第1所定値より小さく、かつ、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より短い場合に、画像が適であると判定する構成としたので、品位の高い画像のみが適と判定される。
本発明によれば、一連の撮像を受け付けた際に、上述した小画像とは異なる小画像を撮像し、撮像された小画像の複数の領域におけるコントラスト値(第3コントラスト値)を検出し、第3コントラスト値の総和である第3総コントラスト値と第1総コントラスト値との差分値、及び/又は第3総コントラスト値と第2総コントラスト値との差分値の絶対値が所定値(第2所定値)より大きい場合に、画像が否であると判定する構成としたので、一連の撮像を受け付けた際の第3総コントラスト値が、画像の撮像前及び/又は撮像後における総コントラスト値(第1総コントラスト値及び/又は第2総コントラスト値)と大きく異なる場合には、たとえ画像にブレが発生していないとしても、一連の撮像を受け付けた際の画像と異なっていると判断できることから、撮像された画像が一連の撮像を受け付けた際の画像ではないとの判定を行える。
本発明によれば、第1総コントラスト値と第2総コントラスト値との差分値の絶対値が第1所定値より小さく、第1コントラスト値のうちの最大のコントラスト値を有する領域と、第2コントラスト値のうちの最大のコントラスト値を有する領域との離隔長が所定長より短く、かつ、第3総コントラスト値と第1総コントラスト値との差分値、及び/又は第3総コントラスト値と第2総コントラスト値との差分値の絶対値が第2所定値より小さい場合に、画像が適であると判定する構成としたので、さらに品位の高い画像のみが適と判定される。
本発明によれば、被写体を連続して撮像し、複数の画像の撮像を行う場合には、撮像された複数の画像のうちから、適と判定された画像を抽出する構成としたので、適と判定された画像が自動的に記憶媒体に記憶されることになり、利用者が、画像を選択して記憶媒体に記憶させるような操作が不要となる。
本発明によれば、画像の成功度合いに基づいて、画像の順位付けを行って表示する構成としたので、利用者が撮像された画像のうちのいずれの画像が最も成功度合いが高いかを認識することができる。
本発明によれば、判定結果を利用者に報知する構成としたので、利用者は、撮影が成功したか否かを認識することができ、撮影が成功しなかった場合には、利用者に撮影が成功するまで再撮影を促すことができる。
本発明によれば、所定数の適と判定された画像が抽出された場合に、所定数の画像が撮像されたことを利用者に報知する構成としたので、利用者が所定数の画像の撮影に成功したか否かを認識することができ、利用者に撮影が成功するまで再撮影を促すことができる。
本発明によれば、画像が否であると判定した場合、画像を記憶媒体に記憶しない構成としたので、否と判定された画像が記憶媒体に記憶されることによって記憶媒体の記憶容量が減少してしまう虞は全くなく、記憶媒体への記憶を効率的に行うことができる等、優れた効果を奏する。
先ず、本発明に係る撮像装置において、画像がブレのある画像であるか否かを判定する判定方法の原理について説明する。
[第1の判定方法]
図1は、本発明に係る撮像装置による第1の判定方法の原理を示す原理図である。
手ブレが発生した場合、図1(a)→図1(b)→図1(c)のような被写体像が撮像装置に取り込まれる。当然ながら各被写体像が異なるため、撮像された画像の鮮鋭度に係る情報(例えばコントラスト値)は、手ブレによって変動する虞がある(変動しない場合は後述する)。本発明に係る撮像装置は、この点に鑑みて、撮像する画像(本画像)の前後に、本画像より画像サイズが小さい小画像(例えば、間引き画像)を撮像し、撮像した小画像のコントラスト値に基づいて、本画像の適否(ブレの発生の有無)を判定する。
具体的には、図1に示すように、本発明に係る撮像装置は、本画像50(図1(b))の撮像前に、小画像51a(図1(a))を撮像して、撮像した小画像51aのコントラスト値(前側コントラスト値)CAを検出する。同様に、本画像50の撮像後に、小画像51b(図1(c))を撮像して、撮像した小画像51bのコントラスト値(後側コントラスト値)CBを検出する。そして、前側コントラスト値CAと後側コントラスト値CBとの差分値(CA−CB)を算出し、差分値の絶対値|CA−CB|が所定値(閾値)α以下であれば、本画像50が適(成功画像)であると判定し、一方、差分値の絶対値|CA−CB|が閾値αより大きければ、本画像50が否(失敗画像)であると判定する。
また、肖像写真のように、白壁などを背景にして被写体を撮像する場合、図2(a)→図2(b)→図2(c)のような被写体像が撮像装置に取り込まれる。この場合、手ブレが発生したとしても、画像全体のコントラスト値が変動しない虞があるため、以下に示す第2の判定方法により、本画像の適否を判定する。
[第2の判定方法]
図3及び図4は、本発明に係る撮像装置による第2の判定方法の原理を示す原理図である。
先ず、図3に示すように、本発明に係る撮像装置は、本画像50(図3(b))の撮像前に、小画像51a(図3(a))を撮像して、撮像した小画像51aを複数の領域60a,60a,…に分割し、分割した各領域60bのコントラスト値(前側コントラスト値)CAijを検出する。同様に、本画像の撮像後に、小画像51b(図3(c))を撮像して、撮像した小画像51bを複数の領域60b,60b,…に分割し、分割した各領域60bのコントラスト値(後側コントラスト値)CBijを検出する。
そして、図4に示すように、各領域60aの前側コントラスト値CAijの総和である前側総コントラスト値Σ(CAij)、前側コントラスト値CAijのうちの最大のコントラスト値を有する領域である前側最大コントラスト領域A(i,j)、及び前側最大コントラスト領域のコントラスト値である前側最大コントラスト値MAX(CAij)を求める(図4(a))。同様に、各領域60bの後側コントラスト値CBijから、後側総コントラスト値Σ(CBij)、後側最大コントラスト領域B(i,j)、及び後側最大コントラスト値MAX(CBij)を求める(図4(b))。なお、本明細書において、Σは各要素の総和を示す記号である。
本発明に係る撮像装置は、前側総コントラスト値Σ(CAij)と後側総コントラスト値Σ(CBij)の差分値の絶対値|Σ(CAij)−Σ(CBij)|が閾値αより大きければ、本画像が失敗画像であると判定する。また、差分値の絶対値|Σ(CAij)−Σ(CBij)|が閾値α以下である場合、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが同一の領域、又は隣り合う領域でないときは、本画像が失敗画像であると判定する。
さらに、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが同一の領域、又は隣り合う領域である場合、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)とが略同一でないときは、本画像が失敗画像であると判定する。一方、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)とが略同一であるときは、本画像が成功画像であると判定する。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図5は、本発明に係る撮像装置としてのデジタルカメラの構成を示すブロック図である。
デジタルカメラ1は、シャッタボタン(不図示)が利用者により押下されることによって画像の撮像を行うものであり、CPU10,レンズユニット11,メカニカルシャッタ12,撮像素子13,AD変換部14,コントラスト検出部15,タイミング制御部16,表示制御部18,表示装置19,音声制御部20,音声出力装置21,記憶制御部22,記憶媒体23,入力I/F24,入力装置25,外部記憶部26を備える。
CPU10は、ROM10a及びRAM10bなどを内蔵しており、ROM10aには、デジタルカメラ1の動作に必要な種々の制御プログラム及び各種データが格納されている。CPU10は、ROM10aに格納された制御プログラムに従って種々の機能を実行する。特に、CPU10は、接続された各種機器と連携して又は単独で本発明における各種の手段として機能する。また、RAM10bは、CPU10による制御プログラムの実行時に発生する一時的なデータを記憶する処理に使われる。
レンズユニット11は、ズームレンズ11a、フォーカスレンズ11b及び絞り(アイリス)11c、並びに、ズームレンズ11a、フォーカスレンズ11b、アイリス11cの状態を制御する各機構を駆動するモータを含んでおり、CPU10によってモータの駆動が制御され、入射した光の焦点距離が調整される。
メカニカルシャッタ12は、レンズユニット11に入射した光の撮像素子13への導光を制御し、露光時間を調整する。撮像素子13は、CCD又はCMOSなどから構成されており、レンズユニット11及びメカニカルシャッタ12を通じて入射される光を光電変換してアナログ形式の電気信号を生成し、AD変換部14へ出力する。AD変換部14は、撮像素子13から出力されたアナログ形式の電気信号をデジタル形式に変換する。以下、変換されたデジタル形式の電気信号を画像信号という。
タイミング制御部16は、CPU10に制御されてタイミング信号を生成し、生成したタイミング信号をメカニカルシャッタ12及び撮像素子13へ与えて、メカニカルシャッタ12及び撮像素子13の動作を制御する。
画像を撮像するに際して、本画像の撮像前及び撮像後に小画像を撮像し、コントラスト検出部15は、撮像したそれぞれの小画像の複数の領域におけるコントラスト値を検出する。CPU10は、本画像の撮像前の小画像の複数の領域におけるコントラスト値(前側コントラスト値)の総和である前側総コントラスト値と、本画像の撮像後の小画像の複数の領域におけるコントラスト値(後側コントラスト値)の総和である後側総コントラスト値とを算出し、さらに、前側総コントラスト値と後側総コントラスト値との差分値を算出する手段として機能する。
RAM10bには、前側総コントラスト値と後側総コントラスト値との乖離度を規定する閾値αが記憶されている。CPU10は、算出した差分値の絶対値が閾値α以下であるか否かを判定して、差分値の絶対値が閾値αより大きいと判定された場合には、本画像が失敗画像であると判断する。
また、CPU10は、上述した差分値の絶対値が閾値α以下であると判定された場合、前側コントラスト値のうちの最大のコントラスト値を有する領域である前側最大コントラスト領域A(i,j)と、後側コントラスト値のうちの最大のコントラスト値を有する領域である後側最大コントラスト領域B(i,j)とを特定する手段として機能する。そして、CPU10は、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが同一の領域、又は隣り合う領域であるか否かを判定して、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが同一の領域、又は隣り合う領域でないと判定された場合、本画像が失敗画像であると判断する。
この判定には、前側最大コントラスト領域A(i,j)及び後側最大コントラスト領域B(i,j)のサフィックス(i,j)を参照することにより、位置的に同一の領域又は隣り合う領域であるか否かを判定することが可能である。つまり、前側最大コントラスト領域A(i,j)及び後側最大コントラスト領域B(i,j)のサフィックス(i,j)から、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)との離隔長を算出する。そして、算出された離隔長が所定長より長い場合は、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが位置的に同一の領域又は隣り合う領域ではなく、本画像が失敗画像であると判断することができる。
さらに、CPU10は、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが同一の領域、又は隣り合う領域であると判定した場合、前側最大コントラスト領域のコントラスト値である前側最大コントラスト値MAX(CAij)と、後側最大コントラスト領域のコントラスト値である後側最大コントラスト値MAX(CBij)との差分値とを求める。
RAM10bには、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)との乖離度を規定する閾値βが記憶されている。CPU10は、求めた差分値の絶対値が閾値β以下であるか否かを判定して、差分値の絶対値が閾値βより大きいと判定された場合、本画像が失敗画像であると判断する。一方、CPU10は、差分値の絶対値が閾値β以下であると判定された場合、本画像が成功画像であると判断する。
CPU10は、記憶制御部22を通じて記憶媒体23と接続されており、撮像した画像を記憶媒体23に書き込んだり、記憶媒体23に記憶されている画像を読み出したりする。なお、画像が成功画像であると判定された場合に、成功画像を記憶媒体に記憶するようにしてあり、画像が失敗画像であると判定した場合は、失敗画像を記憶媒体に記憶しないようにしてあることが好ましい。
また、CPU10は、AD変換部14から出力された画像信号を、表示制御部18を通じて表示装置19に表示させる。表示制御部18は、ディスプレイ・ドライバ等を備えており、CPU10から受信した画像信号を表示装置19に表示できるように変換するとともに、表示装置19を制御する。表示装置19は、液晶ディスプレイのような薄型ディスプレイから構成されており、表示制御部18から受信した信号に基づいて画像を表示する。なお、本画像が成功画像であるか、又は失敗画像であるかを利用者が容易に認識できるように、表示装置19に判定結果を報知するようにすることが好ましい。
また、CPU10は、音声制御部20を通じて音声出力装置21と接続されており、動画像を撮像した場合、音声制御部20は、動画像に係る音声データを音声出力装置21から出力できるように変換するとともに、音声出力装置21を制御する。もちろん、撮像装置1の操作などの案内及びBGMなどが音声出力装置21から出力されるようにしてもよい。なお、本画像が成功画像であるか、又は失敗画像であるかを利用者が容易に認識できるように、音声出力装置21から判定結果が報知されるようにしてもよい。
入力I/F24は、接続された入力装置25に対して、データ送受信や制御等を行うものであり、入力装置25からの入力信号を所定形式のデータとしてCPU10へ伝送する。入力装置25は、入力I/F24を通じて接続されるコンピュータなどである。
図6は、本発明の実施の形態1に係る撮像装置としてのデジタルカメラの撮像タイミングを示すタイムチャートである。同図(a)はシャッタボタンのオン/オフを、同図(b)は垂直同期信号を、同図(c)はメカニカルシャッタの開閉を、同図(d)はCCD信号をそれぞれ示す。
デジタルカメラ1は、シャッタボタンがオンされると、所定のタイミング(垂直同期信号をカウントし、カウント値が所定値になったタイミング)で、小画像が撮像されて、小画像に係るCCD信号(以下、前側小画像信号という)が出力される。前側小画像信号は、コントラスト検出部15にてコントラスト値が検出され、前側コントラスト値としてRAM10bに記憶される。
次いで、メカニカルシャッタ12が閉口され、本画像に係るCCD信号(以下、本画像信号という)が分割して出力され、本画像信号に係る本画像がRAM10bに一時記憶される。
そして、メカニカルシャッタ12が開口され、小画像が撮像されて、小画像に係るCCD信号(以下、後側小画像信号という)が出力される。後側小画像信号は、コントラスト検出部15にてコントラスト値が検出され、後側コントラスト値としてRAM10bに記憶される。
次に、上述のように構成されたデジタルカメラの動作について説明する。
図7は、本発明の実施の形態1に係る撮像装置としてのデジタルカメラの動作フローを示すフローチャートである。
CPU10は、シャッタボタンが押下を監視(ステップS1)しており、シャッタボタンが押下されない場合(S1:NO)は、処理をS1に戻す。シャッタボタンが押下された場合(S1:YES)、CPU10は、レンズユニット11へ制御信号を与えてAE(自動露出)ロックとAF(オートフォーカス)ロックとを行う(ステップS2)。そして、CPU10は、タイミング制御部16を通じてメカニカルシャッタ12及び撮像素子13を制御する。先ず、撮像素子13にて小画像が撮像されて、前側小画像信号がAD変換部14を通じてコントラスト検出部15及びCPU10へ転送される(ステップS3)。小画像は、後述する本画像より画像サイズが小さく、前側小画像信号は、例えば所定の画素の信号が間引かれた間引き信号である。
コントラスト検出部15は、転送された前側小画像信号から各領域における前側コントラスト値CAijを検出し(ステップS4)、検出した各領域の前側コントラスト値から前側総コントラスト値Σ(CAij)、前側最大コントラスト領域A(i,j)及び前側最大コントラスト値MAX(CAij)を求めて、RAM10bに記憶する(ステップS5)。
そして、メカニカルシャッタ12が閉口され(ステップS6)、撮像素子13にて本画像が撮像されて、本画像信号がAD変換部14を通じてCPU10へ転送される(ステップS7)。そして、CPU10は、転送された本画像信号に係る本画像をRAM10bに一時記憶する(ステップS8)。この本画像信号が例えば複数フィールドに分割されて転送される場合、CPU10は、全フィールドを合成することにより本画像を取得することができる。
そして、メカニカルシャッタ12が開口され(ステップS9)、撮像素子13にて小画像が撮像されて、後側小画像信号がAD変換部14を通じてコントラスト検出部15及びCPU10へ転送される(ステップS10)。
コントラスト検出部15は、転送された後側小画像信号から各領域における後側コントラスト値CBijを検出し(ステップS11)、検出した各領域の後側コントラスト値から後側総コントラスト値Σ(CBij)、後側最大コントラスト領域B(i,j)及び後側最大コントラスト値MAX(CBij)を求めて、RAM10bに記憶する(ステップS12)。
そして、CPU10は、前側コントラスト値(前側総コントラスト値Σ(CAij)、前側最大コントラスト領域A(i,j)及び前側最大コントラスト値MAX(CAij))及び後側コントラスト値(後側総コントラスト値Σ(CBij)、後側最大コントラスト領域B(i,j)及び後側最大コントラスト値MAX(CBij))に基づいて、S8にて一時記憶した本画像の適否を判定する判定処理を行い(ステップS13)、判定結果に応じた画像を表示装置19に表示して利用者に報知する(ステップS14)。もちろん、判定結果に応じた音声を音声出力装置21から出力して利用者に報知するようにしてもよい。
図8は、本発明の実施の形態1に係る撮像装置としてのデジタルカメラの判定処理の動作フローを示すフローチャートである。
CPU10は、RAM10bに記憶されている前側総コントラスト値Σ(CAij),後側総コントラスト値Σ(CBij)、及び乖離度を規定する閾値αを読み出し、前側総コントラスト値Σ(CAij)と後側総コントラスト値Σ(CBij)との差分値の絶対値|Σ(CAij)−Σ(CBij)|、閾値α以下であるか否かを判定する(ステップS21)。
S21において、差分値の絶対値|Σ(CAij)−Σ(CBij)|が閾値αより大きいと判定された場合(S21:NO)、CPU10は、撮像された本画像が失敗画像であると判定する(ステップS22)。つまり、CPU10は、差分値の絶対値|Σ(CAij)−Σ(CBij)|が閾値αより大きい場合、手ブレによってコントラスト値が変動したものであると判断する。静止画像を撮像する場合、被写体の位置が移動しないように撮像することが重要である。被写体が移動することによってコントラスト値が変動した場合、被写体の位置が構図の中で移動している虞が大きく、静止画像としては不適であるからである。
一方、S21において、差分値の絶対値|Σ(CAij)−Σ(CBij)|が閾値α以下であると判定された場合(S21:YES)、CPU10は、前側最大コントラスト領域A(i,j)及び後側最大コントラスト領域B(i,j)を読み出し、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが、位置的に同一の領域であるか否かを判定する(ステップS23)。前側最大コントラスト領域A(i,j)及び後側最大コントラスト領域B(i,j)のサフィックス(i,j)を参照することにより、位置的に同一の領域であるか否かを判定することが可能である。
S23において、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが位置的に同一の領域であると判定された場合(S23:YES)、CPU10は、前側最大コントラスト値MAX(CAij)及び後側最大コントラスト値MAX(CBij)を読み出し、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)との差分値の絶対値|MAX(CAij)−MAX(CBij)|が、閾値β以下であるか否かを判定する(ステップS24)。
S24において、差分値の絶対値|MAX(CAij)−MAX(CBij)|が閾値βより大きいと判定された場合(S24:NO)、CPU10は、S22へ移行して、撮像された本画像が失敗画像であると判定する。
一方、S24において、差分値の絶対値|MAX(CAij)−MAX(CBij)|が閾値β以下であると判定された場合(S24:YES)、CPU10は、前側最大コントラスト値MAX(CAij)及び後側最大コントラスト値MAX(CBij)を読み出し、(MAX(CAij)+MAX(CBij))/2を算出し(ステップS25)、本画像が成功画像であると判定する(ステップS26)。そして、本画像を記憶媒体に記憶する(ステップS27)。S27での記憶の際には、S25にて算出した(MAX(CAij)+MAX(CBij))/2を本画像のタグに書き込むようにする。なお、失敗画像と判定された画像を自動的に記憶対象から外して、記憶媒体に記憶しないようにする。
一方、S23において、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが位置的に同一の領域でないと判定された場合(S23:NO)、CPU10は、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが隣接する領域であるか否かを判定する(ステップS28)。この場合も、前側最大コントラスト領域A(i,j)及び後側最大コントラスト領域B(i,j)のサフィックス(i,j)を参照することにより、隣接する領域であるか否かを判定することが可能である。
S28において、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが隣接する領域であると判定された場合(S28:YES)、CPU10は、前側最大コントラスト値MAX(CAij)及び後側最大コントラスト値MAX(CBij)を読み出し、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)との差分値の絶対値|MAX(CAij)−MAX(CBij)|が、閾値β以下であるか否かを判定する(ステップS29)。
S29において、差分値の絶対値|MAX(CAij)−MAX(CBij)|が閾値βより大きいと判定された場合(S29:NO)、CPU10は、S22へ移行して、撮像された本画像が失敗画像であると判定する。
一方、S29において、差分値の絶対値|MAX(CAij)−MAX(CBij)|が閾値β以下であると判定された場合(S29:YES)、CPU10は、前側最大コントラスト値MAX(CAij)及び後側最大コントラスト値MAX(CBij)を読み出し、(MAX(CAij)+MAX(CBij))/2×Zを算出し(ステップS30)、S26へ移行して、本画像が成功画像であると判定する。そして、S27へ移行して、本画像を記憶媒体に記憶する。S27での記憶の際には、S30にて算出した(MAX(CAij)+MAX(CBij))/2×Zを本画像のタグに書き込むようにする。
なお、Zは1未満の正数である。換言すれば、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが位置的に同一の領域である場合は、Z=1として、(MAX(CAij)+MAX(CBij))/2×Zを本画像のタグに書き込み、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが隣接する領域である場合は、0<Z<1として、(MAX(CAij)+MAX(CBij))/2×Zを本画像のタグに書き込む。従って、本画像のタグには、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)との平均値を最大とする正数の情報が書き込まれることになる。この情報は、コントラスト値と正の相関関係があることから、画像の成功度合いを表すものであるといえる。
一方、S28において、前側最大コントラスト領域A(i,j)と後側最大コントラスト領域B(i,j)とが隣接する領域でないと判定された場合(S28:NO)、S22へ移行して、本画像が失敗画像であると判定する。
以上の動作をさらに説明すれば、例えば、図9に示すように、前側最大コントラスト領域A(i,j)が(3,4)である場合(図9(a))、後側最大コントラスト領域B(i,j)が(2,4),(3,3),(3,4),(3,5),(4,4)であるときは、手ブレの影響がないと判定し、そうでないときは、手ブレの影響が生じたと判定する(図9(b))。もちろん、この場合、差分値の絶対値|MAX(CAij)−MAX(CBij)|が閾値β以下であると判定された場合に限定されることはいうまでもない。ただし、閾値βはデジタルカメラの光学系及び撮像素子などの構成に基づいて適宜設定される判定基準であり、予め設定されていてもよいし、利用者によって設定されるようにしてもよい。
したがって、本発明に係る撮像装置によれば、従来より小型及び低コストの構成であっても、画像が成功画像であるか否かの判定を行え、画像が成功画像であると判定された場合に、成功画像を記憶媒体に記憶することができる。本画像ではなく、本画像の撮像前後の小画像のコントラスト値に基づいて、本画像が成功画像であるか否か判定することにより、高精細画像の撮像が可能な撮像素子を用いた場合であっても、撮像素子の総画素数ではなく、所定の画素数の小画像から判定処理を行うことができるので、撮像素子が高画素化されるに伴って処理量が増大してしまうことはない。
なお、本実施の形態では、S24及びS29にて、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)との差分値の絶対値|MAX(CAij)−MAX(CBij)|が、閾値β以下であるか否かを判定するようにしたが、図8において、S24及びS29の処理を省略したような形態であってもよい。
(実施の形態2)
実施の形態1では、1回の撮影にて1つの本画像が撮像される場合について説明したが、1回の撮影にて複数の本画像が撮像される連写撮影のような場合についても、本発明の原理を適用することができ、このようにしたものが実施の形態2である。なお、本発明の実施の形態2に係る撮像装置としてのデジタルカメラの構成は、図5に示したものと略同様であるので図面及び説明を省略し、撮像タイミング及び動作フローによって、その主旨を明らかにする。
図10は、本発明の実施の形態2に係る撮像装置としてのデジタルカメラの撮像タイミングを示すタイムチャートである。同図(a)はシャッタボタンのオン/オフを、同図(b)は垂直同期信号を、同図(c)はメカニカルシャッタの開閉を、同図(d)はCCD信号をそれぞれ示す。
デジタルカメラ1は、一連の撮像を受け付ける受付手段であるシャッタボタンがオンされると、先ず、基準画像が撮像されて、基準画像に係るCCD信号(以下、基準画像信号という)が出力される。基準画像信号は、コントラスト検出部15にてコントラスト値が検出され、基準コントラスト値としてRAM10bに記憶される。
次いで、所定のタイミング(垂直同期信号をカウントし、カウント値が所定値になったタイミング)で、小画像が撮像されて、小画像に係るCCD信号(前側小画像信号)が出力される。前側小画像信号は、コントラスト検出部15にてコントラスト値が検出され、前側コントラスト値としてRAM10bに記憶される。
次いで、メカニカルシャッタ12が閉口され、本画像に係るCCD信号(本画像信号)が分割して出力され、本画像信号に係る本画像がRAM10bに一時記憶される。
そして、メカニカルシャッタ12が開口され、小画像が撮像されて、小画像に係るCCD信号(後側小画像信号という)が出力される。後側小画像信号は、コントラスト検出部15にてコントラスト値が検出され、後側コントラスト値としてRAM10bに記憶される。
以下、前側小画像信号、本画像信号及び後側小画像信号が順次出力される。つまり、特徴的な点は、シャッタボタンがオンされた場合にのみ基準画像信号が出力され、その後、前側小画像信号、本画像信号及び後側小画像信号の出力が繰り返される。
図11及び図12は、本発明の実施の形態2に係る撮像装置としてのデジタルカメラの動作フローを示すフローチャートである。
CPU10は、シャッタボタンが押下を監視(ステップS51)しており、シャッタボタンが押下されない場合(S51:NO)は、処理をS51に戻す。シャッタボタンが押下された場合(S51:YES)、CPU10は、レンズユニット11へ制御信号を与えてAEロックとAFロックとを行う(ステップS52)。そして、CPU10は、タイミング制御部16を通じてメカニカルシャッタ12及び撮像素子13を制御する。先ず、撮像素子13にて基準画像が撮像されて、基準画像信号がAD変換部14を通じてコントラスト検出部15及びCPU10へ転送される(ステップS53)。基準画像は、後述する本画像より画像サイズが小さく、基準画像信号は、例えば所定の画素の信号が間引かれた間引き信号である。
コントラスト検出部15は、転送された基準画像信号から各領域における基準コントラスト値CTijを検出し(ステップS54)、検出した各領域の基準コントラスト値CTijから、基準画像の複数の領域における基準コントラスト値CTijの総和である基準総コントラスト値Σ(CTij)を求めて、RAM10bに記憶する(ステップS55)。基準総コントラスト値Σ(CTij)は、シャッタボタンが押下された直後の画像から検出されたものであることから、ピントが合っている場合のコントラスト値と推定することができる。
次いで、撮像素子13にて小画像が撮像されて、前側小画像信号がAD変換部14を通じてコントラスト検出部15及びCPU10へ転送される(ステップS56)。コントラスト検出部15は、転送された前側小画像信号から各領域における前側コントラスト値CAijを検出し(ステップS57)、検出した各領域の前側コントラスト値から前側総コントラスト値Σ(CAij)、前側最大コントラスト領域A(i,j)及び前側最大コントラスト値MAX(CAij)を求めて、RAM10bに記憶する(ステップS58)。
そして、メカニカルシャッタ12が閉口され(ステップS59)、撮像素子13にて本画像が撮像されて、本画像信号がAD変換部14を通じてCPU10へ転送される(ステップS60)。そして、CPU10は、転送された本画像信号に係る本画像をRAM10bに一時記憶する(ステップS61)。
そして、メカニカルシャッタ12が開口され(ステップS62)、撮像素子13にて小画像が撮像されて、後側小画像信号がAD変換部14を通じてコントラスト検出部15及びCPU10へ転送される(ステップS63)。
コントラスト検出部15は、転送された後側小画像信号から各領域における後側コントラスト値CBijを検出し(ステップS64)、検出した各領域の後側コントラスト値から後側総コントラスト値Σ(CBij)、後側最大コントラスト領域B(i,j)及び後側最大コントラスト値MAX(CBij)を求めて、RAM10bに記憶する(ステップS65)。
そして、CPU10は、基準コントラスト値(基準総コントラスト値Σ(CTij))、前側コントラスト値(前側総コントラスト値Σ(CAij)、前側最大コントラスト領域A(i,j)及び前側最大コントラスト値MAX(CAij))及び後側コントラスト値(後側総コントラスト値Σ(CBij)、後側最大コントラスト領域B(i,j)及び後側最大コントラスト値MAX(CBij))に基づいて、S61にて一時記憶した本画像の適否を判定する判定処理を行う(ステップS66)。
そして、CPU10は、S66にて適と判定された本画像を抽出し、所定数の本画像が抽出されたか否かを判定し(ステップS67)、所定数の本画像が抽出されていないと判定された場合(S67:NO)、S56へ移行して次の本画像に対する処理を行う。一方、所定数の本画像が抽出されたと判定された場合(S67:YES)、判定結果に応じた画像を表示装置19に表示して利用者に報知する(ステップS68)。
図13は、本発明の実施の形態2に係る撮像装置としてのデジタルカメラの判定処理の動作フローを示すフローチャートである。
CPU10は、RAM10bに記憶されている前側総コントラスト値Σ(CAij),後側総コントラスト値Σ(CBij)、基準総コントラスト値Σ(CTij)、及び乖離度を規定する閾値γを読み出し、前側総コントラスト値Σ(CAij)と基準総コントラスト値Σ(CTij)との差分値の絶対値|Σ(CAij)−Σ(CTij)|が、閾値γ以下であるか否かを判定する(ステップS71)。
S71において、差分値の絶対値|Σ(CAij)−Σ(CTij)|が閾値γより大きいと判定された場合(S71:NO)、CPU10は、撮像された本画像が失敗画像であると判定する(ステップS73)。
一方、S71において、差分値の絶対値|Σ(CAij)−Σ(CTij)|が閾値γ以下であると判定された場合(S71:YES)、CPU10は、後側総コントラスト値Σ(CBij)と基準総コントラスト値Σ(CTij)との差分値の絶対値|Σ(CBij)−Σ(CTij)|が、閾値γ以下であるか否かを判定する(ステップS72)。
S72において、差分値の絶対値|Σ(CBij)−Σ(CTij)|が閾値γより大きいと判定された場合(S72:NO)、CPU10は、S73へ移行して、本画像が失敗画像であると判定する。
一方、S72において、差分値の絶対値|Σ(CBij)−Σ(CTij)|が閾値γ以下であると判定された場合(S72:YES)、CPU10は副判定処理を行う(ステップS80)。S80の副判定処理は、図8に示した判定処理のことであり、その説明を省略する。こうして、撮像された複数の画像のうちから成功画像を抽出することができる。なお、所定数の成功画像が抽出された場合に、S68にて、その旨を利用者に報知することにより、利用者は、所定数の成功画像の撮影に成功したか否かを認識することができる。このようにすれば、利用者は、所定数の成功画像の撮影に成功するまで再撮影を行うことができる。
上述したように、本画像のタグには、前側最大コントラスト値MAX(CAij)と後側最大コントラスト値MAX(CBij)との平均値を最大とする正数の情報((MAX(CAij)+MAX(CBij))/2×Z「0<Z≦1」)が書き込まれる。この情報は、コントラスト値と正の相関関係があることから、画像の成功度合いを表すものであるといえる。したがって、この情報に基づいて本画像を表示装置に表示することができる。例えば、この情報の大きさの順に画像を表示したり、画像の順位を表示するようにすれば、利用者は、撮像された成功画像のうち、いずれの画像が最も成功度合いが高いかを認識することができる。
なお、本実施の形態では、予め設定された所定数の本画像が抽出された場合に処理を終了するようにしたが、所定数を設定しない場合には、利用者がシャッタボタンを離す、又は記憶媒体の容量が限界に達するまで、撮像を終了しないようにしてもよい。
また、失敗画像と判定された画像を自動的に記憶対象から外して、記憶媒体に記憶しないようにしたが、利用者の要望に応じて、画像が失敗画像であることを利用者が識別できる識別子などを付加して、記憶媒体に記憶するようにしてもよい。この場合、画像を表示するときに明示的に利用者に分かるように報知することが好ましい。
以上、本発明に係る撮像装置としてのデジタルカメラについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上述した実施の形態に係る発明の構成及び機能に様々な変更又は改良を加えることが可能である。
本発明に係る撮像装置による第1の判定方法の原理を示す原理図である。 白壁を背景にして被写体を撮像する場合の撮像の様子を示す図である。 本発明に係る撮像装置による第2の判定方法の原理を示す原理図である。 本発明に係る撮像装置による第2の判定方法の原理を示す原理図である。 本発明に係る撮像装置としてのデジタルカメラの構成を示すブロック図である。 本発明の実施の形態1に係る撮像装置としてのデジタルカメラの撮像タイミングを示すタイムチャートである。 本発明の実施の形態1に係る撮像装置としてのデジタルカメラの動作フローを示すフローチャートである。 本発明の実施の形態1に係る撮像装置としてのデジタルカメラの判定処理の動作フローを示すフローチャートである。 前側最大コントラスト領域及び後側最大コントラスト領域に基づく判定処理の方法を示す図である。 本発明の実施の形態2に係る撮像装置としてのデジタルカメラの撮像タイミングを示すタイムチャートである。 本発明の実施の形態2に係る撮像装置としてのデジタルカメラの動作フローを示すフローチャートである。 本発明の実施の形態2に係る撮像装置としてのデジタルカメラの動作フローを示すフローチャートである。 本発明の実施の形態2に係る撮像装置としてのデジタルカメラの判定処理の動作フローを示すフローチャートである。
符号の説明
1 デジタルカメラ
10 CPU
11 レンズユニット
12 メカニカルシャッタ
13 撮像素子
14 AD変換部
15 コントラスト検出部
16 タイミング制御部
18 表示制御部
19 表示装置
20 音声制御部
21 音声出力装置
22 記憶制御部
23 記憶媒体
24 入力I/F
25 入力装置
26 外部記憶部

Claims (14)

  1. 画像と、該画像より画像サイズが小さい小画像とを撮像する撮像素子を備え、該撮像素子にて撮像された所定の画像を記憶媒体に記憶する撮像装置であって、
    画像の撮像前及び撮像後に小画像の撮像を指示する手段と、
    画像の撮像前に撮像された小画像の第1コントラスト値を検出する第1コントラスト検出手段と、
    画像の撮像後に撮像された小画像の第2コントラスト値を検出する第2コントラスト検出手段と、
    前記第1コントラスト値及び前記第2コントラスト値に基づいて前記画像の適否を判定する判定手段とを備え、
    該判定手段にて前記画像が適であると判定された場合、前記画像を前記記憶媒体に記憶するようにしてあること
    を特徴とする撮像装置。
  2. 前記第1コントラスト値と前記第2コントラスト値との差分値を算出する第1算出手段を備え、
    前記判定手段は、
    前記第1算出手段にて算出された差分値の絶対値が第1所定値より大きい場合に、前記画像が否であると判定するようにしてあること
    を特徴とする請求項に記載の撮像装置。
  3. 一連の撮像を受け付ける受付手段と、
    該受付手段によって一連の撮像を受け付けた際に、前記小画像とは異なる小画像の撮像を指示する手段と、
    前記小画像の第3コントラスト値を検出する第3コントラスト検出手段と、
    前記第3コントラスト値と前記第1コントラスト値との差分値、及び/又は前記第3コントラスト値と前記第2コントラスト値との差分値を算出する第2算出手段とを備え、
    前記判定手段は、
    前記第2算出手段にて算出された差分値に基づいて前記画像の適否をさらに判定するようにしてあり、
    前記差分値の絶対値が第2所定値より大きい場合に、前記画像が否であると判定するようにしてあること
    を特徴とする請求項又は請求項に記載の撮像装置。
  4. 画像と、該画像より画像サイズが小さい小画像とを撮像する撮像素子を備え、該撮像素子にて撮像された所定の画像を記憶媒体に記憶する撮像装置であって、
    画像の撮像前及び撮像後に小画像の撮像を指示する手段と、
    画像の撮像前に撮像された小画像の複数の領域における第1コントラスト値を検出する第1コントラスト検出手段と、
    画像の撮像後に撮像された小画像の複数の領域における第2コントラスト値を検出する第2コントラスト検出手段と、
    前記第1コントラスト値及び前記第2コントラスト値に基づいて前記画像の適否を判定する判定手段とを備え、
    該判定手段にて前記画像が適であると判定された場合、前記画像を前記記憶媒体に記憶するようにしてあること
    を特徴とする撮像装置。
  5. 前記第1コントラスト値の総和である第1総コントラスト値を算出する手段と、
    前記第2コントラスト値の総和である第2総コントラスト値を算出する手段と、
    前記第1総コントラスト値と前記第2総コントラスト値との差分値を算出する第1算出手段とを備え、
    前記判定手段は、
    前記第1算出手段によって算出された差分値の絶対値が第1所定値より大きい場合に、前記画像が否であると判定するようにしてあること
    を特徴とする請求項に記載の撮像装置。
  6. 前記第1コントラスト値のうちの最大のコントラスト値を有する領域を特定する第1特定手段と、
    前記第2コントラスト値のうちの最大のコントラスト値を有する領域を特定する第2特定手段と、
    前記第1特定手段が特定した領域と前記第2特定手段が特定した領域との離隔長を算出する第2算出手段とを備え、
    前記判定手段は、
    第2算出手段によって算出された離隔長が所定長より長い場合に、前記画像が否であると判定するようにしてあること
    を特徴とする請求項に記載の撮像装置。
  7. 前記判定手段は、
    前記第1算出手段によって算出された差分値の絶対値が前記第1所定値より小さく、かつ前記第2算出手段によって算出された離隔長が前記所定長より短い場合に、前記画像が適であると判定するようにしてあること
    を特徴とする請求項に記載の撮像装置。
  8. 一連の撮像を受け付ける手段と、
    該手段によって一連の撮像を受け付けた際に、前記小画像とは異なる小画像の撮像を指示する手段と、
    前記小画像の複数の領域における第3コントラスト値を検出する第3コントラスト検出手段と、
    前記第3コントラスト値の総和である第3総コントラスト値を算出する手段と、
    前記第3総コントラスト値と前記第1総コントラスト値との差分値、及び/又は前記第3総コントラスト値と前記第2総コントラスト値との差分値を算出する第3算出手段とを備え、
    前記判定手段は、
    前記第3算出手段にて算出された差分値に基づいて前記画像の適否をさらに判定するようにしてあり、
    前記差分値の絶対値が第2所定値より大きい場合に、前記画像が否であると判定するようにしてあること
    を特徴とする請求項に記載の撮像装置。
  9. 前記判定手段は、
    前記第1算出手段にて算出された差分値の絶対値が前記第1所定値より小さく、前記第2算出手段にて算出された離隔長が前記所定長より短く、かつ前記第3算出手段にて算出された差分値の絶対値が前記第2所定値より小さい場合に、前記画像が適であると判定するようにしてあること
    を特徴とする請求項に記載の撮像装置。
  10. 被写体を連続して撮像し、複数の画像の撮像を行えるようにしてあり、
    前記判定手段の判定結果に基づいて、撮像された複数の画像のうちから、適と判定された画像を抽出する抽出手段を備えること
    を特徴とする請求項1から請求項9のいずれか1つに記載の撮像装置。
  11. 前記判定手段の判定結果に基づいて、画像の成功度合いを算出する手段と、
    該手段によって算出された成功度合いに基づいて、画像の順位付けを行って表示する表示手段と
    を備えることを特徴とする請求項10に記載の撮像装置。
  12. 前記判定手段の判定結果を報知する報知手段を備えること
    を特徴とする請求項1から請求項11のいずれか1つに記載の撮像装置。
  13. 前記抽出手段によって適と判定された所定数の画像が抽出された場合に、所定数の画像が撮像されたことを報知する報知手段を備えること
    を特徴とする請求項10又は請求項11に記載の撮像装置。
  14. 前記判定手段にて前記画像が否であると判定された場合、前記画像を前記記憶媒体に記憶しないようにしてあること
    を特徴とする請求項1から請求項13のいずれか1つに記載の撮像装置。
JP2004247389A 2004-08-26 2004-08-26 撮像装置 Expired - Fee Related JP4208796B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004247389A JP4208796B2 (ja) 2004-08-26 2004-08-26 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004247389A JP4208796B2 (ja) 2004-08-26 2004-08-26 撮像装置

Publications (2)

Publication Number Publication Date
JP2006067249A JP2006067249A (ja) 2006-03-09
JP4208796B2 true JP4208796B2 (ja) 2009-01-14

Family

ID=36113325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004247389A Expired - Fee Related JP4208796B2 (ja) 2004-08-26 2004-08-26 撮像装置

Country Status (1)

Country Link
JP (1) JP4208796B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4996864B2 (ja) 2006-03-13 2012-08-08 トヨタ自動車株式会社 燃料電池用セパレータおよび燃料電池用セパレータの製造方法
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
JP2006067249A (ja) 2006-03-09

Similar Documents

Publication Publication Date Title
US8736689B2 (en) Imaging apparatus and image processing method
US8237803B2 (en) Digital single-lens reflex camera including control section that performs camera shake correction and motion detecting section that detects speed of subject
JP5144422B2 (ja) 撮影装置及び撮影方法
US7916182B2 (en) Imaging device and method which performs face recognition during a timer delay
EP2168005B1 (en) Focus control apparatus, image sensing apparatus, and control method therefor
JP4127491B2 (ja) オートフォーカス機能付きカメラ
JP5681871B2 (ja) 撮像装置、撮像方法及びプログラム
JP4657960B2 (ja) 撮像方法および装置
JP2005086499A (ja) 撮像装置
JP2008288975A (ja) 撮像装置、撮像方法および撮像プログラム
KR101728042B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2007318725A (ja) カメラ、カメラの撮影制御方法、プログラム、記録媒体
JP2006025238A (ja) 撮像装置
JP5267609B2 (ja) 撮像装置及びそのプログラム
JP4799366B2 (ja) 撮像装置及び画像再生装置
JP2003307669A (ja) カメラ
JP2010183559A (ja) 撮像装置及びその制御方法及びプログラム
JP2006067452A (ja) 映像記録装置、および電子カメラ
JP2011217103A (ja) 複眼撮影方法および装置
KR20120080376A (ko) 디지털 영상 촬영 장치 및 이의 제어 방법
JP2009212802A (ja) 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP2009017427A (ja) 撮像装置
JP4208796B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081021

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees