JPWO2006022229A1 - 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム - Google Patents

撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム Download PDF

Info

Publication number
JPWO2006022229A1
JPWO2006022229A1 JP2006515443A JP2006515443A JPWO2006022229A1 JP WO2006022229 A1 JPWO2006022229 A1 JP WO2006022229A1 JP 2006515443 A JP2006515443 A JP 2006515443A JP 2006515443 A JP2006515443 A JP 2006515443A JP WO2006022229 A1 JPWO2006022229 A1 JP WO2006022229A1
Authority
JP
Japan
Prior art keywords
image
image data
imaging optical
harmful
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006515443A
Other languages
English (en)
Inventor
恭一 宮崎
恭一 宮崎
本庄　謙一
謙一 本庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006022229A1 publication Critical patent/JPWO2006022229A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4097—Removing errors due external factors, e.g. dust, scratches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

撮像光学機器１２は、撮像光学系１と、撮像素子２と、撮像光学系１および撮像素子２の少なくともどちらか一方に作用して、撮像素子２に対する被写体像の位置を移動させる像ずらし部３と、複数の画像データを記憶する画像記憶部４と、複数の画像データの被写体像の位置を合わせる像ずらし演算部８と、被写体像の位置が合わされた画像データ同士を差分演算処理して、得られた複数の画像データに対する有害輝度画像データから有害輝度画像データを検出する差分像演算部９とを有する有害輝度画像検出部５と、有害輝度画像データを用いて、有害輝度画像データに対応する画像データを補正し、補正完画像を得る画像補正部６とを備えている。これにより、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することのできる撮像光学機器を提供することができる。

Description

本発明は、デジタル画像を撮像する撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。特に、本発明は、撮像画像を補正して画質を向上させることのできる撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。
近年、撮像光学機器、特に、デジタルスチルカメラ（以下「ＤＳＣ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）」という）やデジタルビデオカメラ（以下「ＤＶＣ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）」という）における撮像画像の品質の向上は目覚しい。例えば、レンズやＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）等を偏芯駆動制御することにより、撮像光学機器の振動に起因する被写体の動き（手振れ）を補正する装置が開発されている。そして、これにより、記録されるデジタル画像の画素数が８００万画素を超える撮像光学機器が商品化されている。また、撮像光学機器に用いられる撮像光学系の性能も向上しており、例えば、異常分散ガラス材料や非球面レンズなどを使用した高性能レンズが開発されている。
図１４〜図１６を用いて、従来の撮像光学機器について説明する。従来の撮像光学機器は、動き補正部を有する手振れ機能付きの撮像光学機器である。図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。また、図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。また、図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。
まず、従来の第１の撮像光学機器２１２について説明する。従来の第１の撮像光学機器２１２は、図１４に示す構成を備えている。複数のレンズを有する撮像光学系２０１に撮像光軸２１４に沿って被写体光が入射すると、撮像光学系２０１は、撮像素子２０２上に被写体像を結像させる。撮像素子２０２は、被写体像に基づいて、デジタル画像データを形成する。この画像データは、画像記憶部２０４に記憶される。
動き補正部２２３は、撮像光学系２０１に作用して、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることができる。具体的には、撮像光学系２０１の少なくとも１つのレンズを移動させることにより、撮像素子２０２における被写体像の位置を移動させる。撮像光学機器２１２は、当該撮像光学機器２１２の本体の動きを検出する動き検出部２０７を備えている。動き検出部２０７は、撮像光学機器２１２の本体の動き、例えば、移動方向および移動量を表す動きデータを検出する。手振れ等で撮像光学機器２１２の本体が動いた場合には、撮像素子２０２における被写体像の位置が移動する。そこで、この被写体像の位置の移動を補正するように、動き補正部２２３は、被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させて、被写体像の撮像素子２に対する位置が実際には移動しないようにする。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像されることとなり、手振れによる撮像画像の画質の低下を防止することができる。
次に、従来の第２の撮像光学機器３１２について、図１５を用いて説明する。なお、図１５において、図１４に示した部材と同様の機能を有する部材には同一の符号を付し、その説明は省略する。図１５に示すように、撮像光学機器３１２の動き補正部３２３は、撮像素子２０２の位置を、撮像光軸２１４に対して略垂直方向に移動させるためのものである。これにより、撮像素子２０２における被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第２の撮像光学機器３１２の動き補正部３２３は、手振れ等で被写体像の位置が撮像素子２０２に対して移動しないように、動き検出部２０７によって検出された動きデータをもとに、撮像素子２０２を、撮像光軸２１４に対して略垂直方向に移動させる。これにより、手振れ等で撮像光学機器３１２が動いても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。
次に、従来の第３の撮像光学機器４１２について、図１６を用いて説明する。なお、図１６において、図１４に示した部材と同様の機能を有する部材には同一の符号を付し、その説明は省略する。図１６に示すように、撮像光学機器４１２の動き補正部４２３は、撮像光学系２０１および撮像素子２０２を移動させることにより、動き補正を行う。具体的には、動き補正部４２３は、撮像光軸２１４に対して垂直な軸である回転軸４２２を中心として、撮像光学系２０１および撮像素子２０２を回転させる。これにより、撮像素子２０２における被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第３の撮像光学機器４１２の動き補正部４２３は、動き検出部２０７で検出された動きデータをもとに、被写体像の結像位置が撮像素子２０２に対して移動しないように、撮像光学系２０１および撮像素子２０２を回転軸４２２を中心として回転させる。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。
上述したように、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることにより、十分な手振れ補正が行われる。
一方、撮像素子の受光面近傍の光学系にゴミが混入あるいは付着したり、光学系に傷が生じたりすることにより、画質が低下するという問題もある。撮像光学系の像性能や撮像素子の高性能化による画像の高性能化および小型化が進むＤＳＣやＤＶＣ等の撮像光学機器においては、この問題は大きな課題である。これを防止するために、撮像光学系の製造工程において、十分な品質管理や品質検査を行い、問題となるゴミの混入や傷が生じないようにされているが、ミクロンオーダーのゴミや傷を管理する必要があり、製造上のコストが高くなるという問題があった。さらに、操作者が撮像光学系を交換することができる一眼レフ方式などのＤＳＣでは、撮像光学系の交換時にゴミが混入する可能性もある。そのため、面倒な清掃を頻繁に行う必要があり、煩わしいという問題があった。
そこで、撮像素子を高速に振動させることにより、撮像素子の光学面に付着したゴミを除去するＤＳＣが商品化されている（例えば、特許文献１、特許文献２および特許文献３参照）。
特開２００３−３１９２２２号公報 特開２００３−３４８４０１号公報 特開２００３−３４８４６２号公報
しかし、上述した、撮像素子を高速に振動させることでゴミを除去するＤＳＣには、その効果が撮像素子の光学面に限られるという問題がある。また、この方法では、傷や強く付着したゴミ等は除去することができないという問題がある。さらに、ゴミ除去専用の駆動装置を備える必要があるため、コストが高くなり、その上、大型化してしまうという問題もある。
本発明は、上記問題に鑑みてなされたものであり、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することのできる、撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムを提供することを目的とする。
前記目的を達成するため、本発明の撮像光学機器は、撮像光学系と、前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを有する有害輝度画像検出部とを備える。
また、本発明の撮像画像処理システムは、撮像光学系と、前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部とを有する撮像光学機器と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを含む有害輝度画像検出部と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部とを有する制御装置とを備える。
また、本発明の撮像画像処理プログラムは、被写体像の位置がそれぞれ異なる複数の画像データを入力する入力処理と、前記複数の画像データの被写体像の位置を合わせるように、前記複数の画像データを演算する像ずらし処理と、前記像ずらし処理された複数の画像データ同士を差分する差分処理と、前記差分処理により検出された、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する有害輝度画像データ検出処理と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正する画像補正処理とをコンピュータに実行させる。
本発明によれば、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。 図２Ａは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が撮像素子の所望の位置に結像している状態を示している。 図２Ｂは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が移動している状態を示している。 図３Ａは、本発明の実施の形態における、像ずらし部を駆動させて得た第１の画像を示す図である。 図３Ｂは、本発明の実施の形態における、像ずらし部を駆動させて得た第２の画像を示す図である。 図４は、本発明の実施の形態における、被写体像が一致するように画像を重ねた状態を示す図である。 図５は、本発明の実施の形態１における、それぞれの画像を差分演算処理した状態を示す図である。 図６は、本発明の実施の形態１の、有害輝度画像データの輝度信号強度とＹ方向における位置との関係を示すグラフである。 図７は、本発明の実施の形態１における、第１の画像に対応する有害輝度画像を有する画像を示す図である。 図８は本発明の実施の形態における補正完画像を示す図である。 図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。 図１０は本発明の実施の形態２における制御装置の動作を示すフローチャートである。 図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。 図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。 図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。 図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。 図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。 図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。
本発明の撮像光学機器によれば、有害輝度画像データの原因となる撮像光学系内のゴミや傷を取り除くことなく、有害輝度画像が取り除かれた撮像画像を得ることができる。その結果、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
また、本発明の撮像光学機器は、好ましくは、さらに、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部を備える。
また、本発明の撮像光学機器は、好ましくは、さらに、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。
また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。
また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。
また、本発明の撮像画像処理システムは、高い演算処理能力を有する制御装置を用いて構成することができる。そのため、撮像光学機器は、膨大な演算処理を行う必要がない。その結果、撮像光学機器の電源の長寿命化を図ることができる。
また、本発明の撮像画像処理システムは、好ましくは、前記撮像光学機器が、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。
また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。
また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。
また、本発明の撮像画像処理プログラムを実行することにより、容易に撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
以下、本発明の具体的な実施の形態について図面を用いて説明する。
（実施の形態１）
本発明の実施の形態１における撮像光学機器について図面を用いて説明する。図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。
図１に示すように、実施の形態１の撮像光学機器１２は、撮像光学系１と、撮像素子２と、像ずらし部３と、画像記憶部４と、有害輝度画像検出部５と、画像補正部６と、動き検出部７と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。
撮像光学機器１２の動作について説明する。
まず、撮像光軸１４に沿って撮像光学系１に被写体光が入射する。撮像光学系１は、レンズを有し、撮像素子２の受光面上に被写体像を結像させる。撮像素子２は、被写体像に基づいて、デジタル画像データを形成し、例えばメディアや内部メモリなどの画像記憶部４に、その画像データを記憶させる。画像データは、例えば輝度信号等を含んでいる。
像ずらし部３は、撮像光学系１に作用して、撮像素子２に結像されている被写体像を撮像光軸１４に対して略垂直な方向に移動させることができる。具体的には、撮像光学系１の少なくとも１つのレンズを撮像光学系１の撮像光軸１４に対して略垂直方向に偏芯駆動させることにより、被写体像を撮像素子２の受光面上で撮像光軸１４に対して略垂直方向に移動させることができる。
被写体を撮像する際に、撮像光学機器１２は、像ずらし部３により、被写体像を撮像光軸１４に対して略垂直方向に移動させた複数の画像データを得る。すなわち、撮像光学機器１２は、被写体像が撮像素子２の受光面に沿う方向にずれている複数の画像データを得る。図２は、像ずらし部３を駆動させることによる被写体像のずれを説明するための図であり、図２Ａは被写体像が撮像素子の所望の位置に結像している状態を示し、図２Ｂは被写体像が移動している状態を示している。図２Ａに示すように、撮像光学系１のレンズ１ａが基準位置に位置している場合には、被写体像は撮像素子２の中央部に結像する。しかし、図２Ｂに示すように、レンズ１ａが撮像光軸１４に対して略垂直方向（例えば、上方）に移動した場合には、撮像光軸１４が例えば上方に移動し、被写体像が撮像素子２の上方に結像される。
さらに、図３を用いて、被写体像を撮像素子２の受光面に沿って移動させた場合の画像について説明する。図３は、像ずらし部を駆動させて得た画像を示す図であり、図３Ａは第１の画像を示し、図３Ｂは第２の画像を示している。図３Ａに示している画像は、図２Ａの状態すなわち被写体像が撮像素子の所望の位置に結像している状態の画像データによる画像（第１の画像４１）である。また、図３Ｂに示している画像は、図２Ｂの状態すなわち被写体像が移動している状態の画像データによる画像（第２の画像４２）である。図３Ａに示した第１の画像４１に比べて、図３Ｂに示した第２の画像４２が下方にずれているのは、撮像光軸１４が上方にずれているからである。なお、被写体像は上下左右が反転した像を作るので、撮像光軸１４が上方に移動した場合には、画像は下方にずれる。
このようにして、撮像光軸１４に沿って撮像光学系１に入射する被写体光の進路を移動させて、それごとに画像を撮像する。具体的には、図２Ａに示す状態で、図３Ａに示す第１の画像４１の画像データを取り込む。次いで、図２Ｂに示す、撮像光軸１４に沿って撮像光学系１に入射する被写体光が上方にずれた状態で、図３Ｂに示す第２の画像４２の画像データを取り込む。これら２つの画像データを取り込むための撮像処理は、非常に短い時間で行うことができるため、通常の被写体においては、問題なく、２つの画像データの取り込みを容易に行うことができる。
図３Ａおよび図３Ｂに示すように、第１の画像４１と第２の画像４２とでは、被写体像の位置がずれている。しかし、撮像光学系１内のゴミや傷によって生じた有害輝度画像１５は、被写体像とは異なり、位置がずれることはない。有害輝度画像１５の原因となるゴミや傷などが、撮像素子２の近傍にあって、像ずらし部３により移動させられたレンズ１ａよりも撮像素子２側に位置する場合には、撮像素子２に対する有害輝度画像１５の位置は変化しない。そのため、被写体像に対する有害輝度画像１５の相対位置が、第１の画像４１と第２の画像４２とでは異なっている。
なお、有害輝度画像１５以外にも、暗電流等によるランダムノイズ成分、僅かな収差変化による成分および一方の画像にしか含まれない画角成分は、第１の画像４１と第２の画像４２とでは相対位置が異なる。
撮像素子２で形成された第１の画像４１の画像データ（以下「第１の画像データ」という）および第２の画像４２の画像データ（以下「第２の画像データ」という）は、画像記憶部４に記憶され、かつ、有害輝度画像検出部５に送られる。有害輝度画像検出部５は、第１の画像データおよび第２の画像データをもとに、有害輝度画像１５の画像データである有害輝度画像データを検出する。その検出方法について以下に説明する。
有害輝度画像検出部５は、第１の画像データと第２の画像データとにおける被写体像の位置を一致させるための像ずらし演算部８と、第１の画像データと第２の画像データとについて差分演算を行う差分像演算部９とを備えている。まず、像ずらし演算部８が、被写体像がずれて記憶された第１の画像データおよび第２の画像データに対して、それぞれの被写体像が略重なり一致するように演算処理を行う。具体的には、第２の画像４２の画素を上方にずらすように、第２の画像データを演算処理する。これにより、第１の画像データと第２の画像データのうち、同一でない画像データを抽出することが可能となる。次に、差分像演算部９により、第１の画像データと第２の画像データとについて差分演算を行う。これにより、第１の画像データと第２の画像データとに共通して存在する被写体像の成分は除去され、第１の画像データおよび第２の画像データの有害輝度画像データが検出される。これらそれぞれの画像の有害輝度画像データから、どちらか１つの画像データ（例えば、第１の画像データ）に対応する有害輝度画像データを検出する。
以上の処理を、画像を用いて具体的に説明する。図４は被写体像が一致するように画像を重ねた状態を示す図である。像ずらし演算部８で、被写体像の位置を揃えた第１の画像４１および第２の画像４２とを重ねると、画像４３が得られる。図４に示す画像４３においては、重ならずにそれぞれ異なる位置に有害輝度画像１５が形成される。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない。
図５はそれぞれの画像を差分演算処理した状態を示す図である。差分像演算部９を用いて、像ずらし演算処理後の第１の画像データと第２の画像データとについて差分演算を行うことにより、差分演算後画像４４が得られる。図５に示すように、差分演算後画像４４には、２つの有害輝度画像１５が含まれている。図５に示す、有害輝度画像１５の画像データ（有害輝度画像データ）の輝度信号強度を縦軸に、Ｙ方向を横軸にとり、それらの関係を示したグラフが図６である。なお、Ｙ方向は、図５に示しているように垂直方向とする。図６に示すように、有害輝度画像データの輝度信号は、正と負それぞれの強度を有し、２つに分かれている。そこで、これらを、１つにするために、例えばＬＰＦ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）等を含めた画像処理を行うことが好ましい。ＬＰＦ等を含めた画像処理を行うことにより、差分演算後画像４４の画像データに含まれている、上記暗電流等によるランダムノイズ成分および僅かな収差変化による成分も除去される。なお、次の工程である補正を行う際に、ランダムノイズ成分および収差変化による成分が除去されていない画像データを用いた場合には、ノイズの増大および画像結像性能の低下を引き起こしてしまう。
ＬＰＦ等を含めた画像処理を行うことにより、図７に示すように、第１の画像４１に対応する有害輝度画像１５を有する画像４５を得ることができる。このようにして、有害輝度画像１５の画像データを容易に抽出することができる。
次に、上記ＬＰＦ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を含めた画像処理により形成された有害輝度画像データを用いて、第１の画像データを補正する。具体的には、画像補正部６は、第１の画像データおよび有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去すればよい。これにより、有害輝度画像データが除去され、補正が完了した補正完画像の画像データが得られる。図８は補正完画像を示す図である。補正完画像４６は、有害輝度画像がなく、被写体像のみからなる。つまり、図３Ａに示した第１の画像４１から、図７に示した画像４５の有害輝度画像１５を除去することにより、図８に示している補正完画像４６を得ることができる。なお、補正される画像は、第１の画像４１でなく、第２の画像４２や、第１の画像４１および第２の画像４２の合成画像であってもよく、その場合には、それぞれに応じた有害輝度画像を用いればよい。しかし、レリーズタイムラグがより短い第１の画像４１を用いることが最も好ましい。ここで、レリーズタイムラグとは、撮像光学機器１２で被写体を撮像する際に、撮像操作（例えば、レリーズ釦を押す等）を行ってから、実際に撮像されるまでの時間であり、レリーズタイムラグが短い方がより良い撮像画像を得ることができる。
以上のように、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等による有害輝度画像１５が除去された画像を得ることができ、撮像画像の画質の向上を図ることができる。したがって、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等の、有害輝度画像１５の原因を取り除かなくても、補正により有害輝度画像１５を除去することができる。そのため、例えば撮像光学系１内にゴミが混入した場合でも、撮像光学系１内を清掃することなく撮像画像の画質の低下を防止することができるので、すぐに清掃する必要はなく、例えば操作者の手の空いたときに清掃すればよい。
また、有害輝度画像データは、有害輝度画像記憶部１１に記憶される。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができ、例えば、清掃後に有害輝度画像の改善がなされているか等を確認することができる。
また、実施の形態１の撮像光学機器１２は、当該撮像光学機器１２の本体の動きを検出する動き検出部７を有している。動き検出部７は、操作者が撮像光学機器１２を操作する際に発生する手振れ量を検知するためのものであり、撮像光学機器１２の移動方向や移動量等を検知することができる。動き検出部７は、例えばジャイロセンサーなどの角速度センサーであることが好ましい。動き検出部７で検出された動き情報に基づいて手振れ補正がなされる。この手振れ補正は、像ずらし部３を用いて行えばよく、手振れによる撮像素子２に対する被写体像の位置の移動を、像ずらし部３を用いて補正し、被写体像がぶれないようにすればよい。これにより、手振れを補正し、良好な画像を得ることができる。なお、動き検出部７としては、従来用いられていたものでよい。また、像ずらし部３としては、例えば、図１４〜図１６に示した従来の第１〜第３の撮像光学機器で用いられていた動き補正部を用いればよい。具体的には、像ずらし部３としては、撮像光学系または撮像素子の偏芯によるもの、あるいは、撮像光学系または撮像素子を回転させることにより、撮像光軸に対して略垂直方向に被写体像を移動させることができるものを用いればよい。実施の形態１においては、従来の撮像光学機器に備えられていた動き補正部を、像ずらし部３が兼用している。これにより、新たな機構を増やすことなく、手振れ補正および有害輝度画像の補正が可能な撮像光学機器１２を得ることができる。
また、撮像光学機器１２は警告部１０を有している。警告部１０は、有害輝度画像検出部５により検出された有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、それを操作者に知らせる。例えば、差分像演算部９は、検出した有害輝度画像の輝度信号強度データを評価し、その値が所定のレベル以上になっている場合に、警告部１０にそれを伝える。これにより、警告部１０は、操作者に分かるように警告を発する。警告部１０としては、例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｏｕｐｌｅｄ ｄｉｓｐｌａｙ）を用いて、警告を示す表示がなされるようにしたものを用いてもよく、また、ビューファインダーの表示部に視認しやすいように警告表示を行う構成としたものを用いてもよい。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系１内に多くのゴミなどが付着している場合には、操作者に撮像光学系１内の清掃を促すことができる。なお、警告は、補正完画像４６が得られる前に行われることが好ましい。
なお、実施の形態１においては、画像補正部６の動作を自動的に行っているが、画像補正部６の動作を行うに先立って、画像補正を行うか否かの判断をユーザに促し、ユーザの意思を反映させるようにしてもよい。また、画像補正部６に、画像補正を行うモードと、画像補正を行わないモードとを持たせて、ユーザが選択的に操作できるようにしてもよい。このような構成とすることにより、ユーザの利便性を向上させることができる。
また、有害輝度画像記憶部１１に記憶される有害輝度画像を、画像補正部６での処理を行う前の被写体像と関連付けて記憶させ、有害輝度画像記憶部１１から外部に出力可能な構成としてもよい。このような構成とすることにより、有害輝度画像の除去を、パーソナルコンピュータ（以下「パソコン」という）等を用いて後処理により行うことが可能となる。画像補正部６での処理を行う前の被写体像と関連付けられる有害輝度画像は、画像データそのものであってもよいが、有害輝度画像が占める範囲に対応する画素の位置データであってもよい。
また、実施の形態１においては、有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、警告部１０を動作させるようにしているが、警告部１０を動作させる代わりに、撮像光学系の被写体像の取り込み動作を禁止するようにしてもよい。このような構成とすることにより、有害輝度画像の輝度信号強度が高くて画像品質の低い画像データの生成を防止することができる。
（実施の形態２）
本発明の実施の形態２における撮像画像処理システムについて、図面を用いて説明する。図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。なお、図９において、図１に示した部材と同様の機能を有する部材には同一の符号を付し、その説明は省略する。
図９に示すように、実施の形態２における撮像画像処理システム３０は、撮像画像を取り込む撮像光学機器２２と、撮像光学機器２２で取り込んだ画像を画像素処理して、有害輝度画像を補正する制御装置１３とを備えている。撮像光学機器２２は、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４とを備えている。また、制御装置１３は、有害輝度画像検出部５と、画像補正部６と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。
制御装置１３としては、例えば、パソコンを用いればよい。その場合、制御装置１３における、有害輝度画像検出部５と画像補正部６の機能は、パソコンのＣＰＵが所定のプログラムを実行することによって実現される。そのために、具体的には、有害輝度画像検出部５と画像補正部６の機能を実現するためのプログラムを、任意のパソコンへインストールすればよい。例えば、ＣＤ−ＲＯＭ等の記憶媒体から任意のパソコンへインストールしてもよいし、あるいは、通信回線を介してダウンロード等することにより、任意のパソコンへインストールしてもよい。また、警告部１０としては、例えば、パソコンに接続されているスピーカ等の音声出力装置や、ディスプレイを含む表示装置を用いることができる。また、有害輝度画像記憶部１１としては、パソコンのハードディスクを用いればよい。
次に、実施の形態２の撮像画像処理システム３０の動作について、図１０をも用いて説明する。図１０は本発明の実施の形態２の制御装置１３の動作を示すフローチャートである。
撮像光学機器２２における、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４との各部材の動作は、実施の形態１の撮像光学機器１２の各部材の動作と同一であるので、その説明は省略する。撮像光学機器２２による撮像処理の際には、図３Ａおよび図３Ｂに示す第１の画像４１および第２の画像４２を取り込む。これらの、第１の画像４１および第２の画像４２の画像データである、第１の画像データおよび第２の画像データは、画像記憶部４に記憶されている。
これらの第１の画像データおよび第２の画像データが制御装置１３に送られ、これらのデータが有害輝度画像検出部５に入力される（ステップ１０１）。
次に、有害輝度画像検出部５における像ずらし演算部８は、第１の画像データおよび第２の画像データのそれぞれの被写体像が略重なり一致するようにそれぞれの画像データを演算処理する（ステップ１０２）。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない（図４参照）。
次に、差分像演算部９を用いて、ステップ１０２（像ずらし演算処理）後の第１の画像データと第２の画像データとを差分演算する（ステップ１０３）。これにより得られた有害輝度画像データは、第１の画像データおよび第２の画像データ両方のものであり、正負２つの輝度信号強度を有している。そこで、さらに、例えばＬＰＦ等を含めた画像処理を行う（ステップ１０４）。これにより、どちらか１つの画像データに対応する有害輝度画像データが得られる。ここでは、第１の画像データに対応する有害輝度画像データのみを得るような画像処理を行う。
次に、第１の画像データおよびそれに対応する、ステップ１０４で得た有害輝度画像データが画像補正部６に送られる。画像補正部６は、第１の画像データおよびそれに対応する有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去する（ステップ１０５）。これにより、有害輝度画像１５が除去された補正完画像４６（図８参照）が得られる。
なお、有害輝度画像検出部５では、ステップ１０４において得られた有害輝度画像データの輝度信号の強度を判定しており、その強度が所定のレベル以上になった場合には、そのことを伝えるための信号が警告部１０に送信される。警告部１０では、それに応じて警告が発せられる。例えば、警告部１０であるスピーカから警告音が発せられたり、警告部１０であるディスプレイに警告を示す表示がなされたりすればよい。なお、警告は、補正完画像４６が得られる前に行われることが好ましい。
また、有害輝度画像記憶部１１は、ステップ１０４において得られた有害輝度画像データを記憶する。これにより、撮像された画像に対してどの程度の有害輝度画像が発生しているかを確認することができる。
次に、実施の形態２の撮像光学機器２２の具体的な構成を図面を用いて説明する。図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。図１１では、撮像光学機器２２として、コンパクトタイプのＤＳＣの構成を示している。
図１１において、撮像光学機器２２は、撮像光学系１と、レリーズ釦１６と、ストロボ発光部１７と、光学式ビューファインダー１８と、本体１９と、デジタル画像データ出力用コネクタ２０とを備えている。
撮像光学系１は、被写体像を結像させるためのものである。レリーズ釦１６は、被写体像を撮影するときに操作者が押す釦である。レリーズ釦１６を押下することにより、被写体が撮像される。ストロボ発光部１７は、被写体の輝度が十分でない場合に光を発することができ、被写体光を照らし撮像するために十分な輝度を得ることができる。光学式ビューファインダー１８は、操作者が被写体の構図を確認するためのものである。本体１９は、操作者が撮像光学機器２２を保持するためのものである。データ出力用コネクタ２０は、撮像、記録された画像データを撮像光学機器２２の外部に出力するためのものである。
さらに、図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。なお、図１２において、図１１に示した部材と同様の機能を有する部材には同一の符号を付し、その説明は省略する。図１２に示す撮像光学機器２２は、レンズである撮像光学系１を本体１９から取り外して、交換できるように構成されている。図１２は、撮像光学系１を、本体１９から外した状態を示している。使用時には、レンズマウント２１に撮像光学系１が嵌り込んで固定される。なお、図１２においては、撮像光学機器３２の内部に設置された撮像素子２が図示されている。このように、図１２に示す撮像光学機器２２は、撮像光学系１が本体１９に着脱可能な構成となっている。これにより、上述したように、撮像光学系１内のゴミや傷により生じた有害輝度画像の画像データの輝度信号が大きすぎることが警告された場合等には、撮像光学系１を取り替えることにより、容易に有害輝度画像の原因を取り除くことができる。
次に、実施の形態２の撮像画像処理システム３０の具体的な構成を図面を用いて説明する。図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。
図１３に示すように、撮像画像処理システム３０は、図１１に示した撮像光学機器２２と、パソコンである制御装置１３とを備えている。なお、制御装置１３の本体３１には、入力装置であるキーボード３２および表示装置であるディスプレイ３３が接続されている。
制御装置１３には、図１０に示したフローチャートを実現するプログラムがインストールされている。撮像光学機器２２と制御装置１３とは、信号の入出力が可能なように、例えばケーブル３４で接続されており、これにより、撮像光学機器２２から制御装置１３へ画像データを送ることができるようにされている。具体的には、撮像光学機器２２のデータ出力用コネクタ２０と制御装置１３の本体３１に設けられたデータ入力用コネクタ３１ａとがケーブル３４を介して接続されている。
以上のように、実施の形態２の撮像画像処理システム３０によれば、撮像光学機器２２で取り込んだ画像データを制御装置１３で演算処理することができるので、撮像光学機器２２において膨大な演算処理行う必要がない。その結果、撮像光学機器２２の電源の長寿命化を図ることができる。
また、このような撮像画像処理システム３０の撮像光学機器２２を、ゴミ等の異物が撮像光学系１内に付着しやすい環境にある産業用生産設備等に用いた場合、撮像光学系１内が汚れていても、それを補正した画質の高い画像を得ることができる。また、ゴミ等の異物が撮像光学系１内に付着したことを容易に判別することができる。したがって、生産コストを大幅に削減することができる。
本発明の撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムは、ゴミなどによる有害輝度画像を補正した良好な画像を得ることのできるＤＶＣやＤＳＣあるいは携帯型モバイル機器の撮像ユニットを提供することができ、例えば、ゴミ等の異物が撮像光学系内に付着しやすい環境にある産業用生産設備等に用いる場合に特に有用である。
本発明は、デジタル画像を撮像する撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。特に、本発明は、撮像画像を補正して画質を向上させることのできる撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムに関する。
近年、撮像光学機器、特に、デジタルスチルカメラ（以下「ＤＳＣ（digital still camera）」という）やデジタルビデオカメラ（以下「ＤＶＣ（digital video camera）」という）における撮像画像の品質の向上は目覚しい。例えば、レンズやＣＣＤ（charge coupled device）等を偏芯駆動制御することにより、撮像光学機器の振動に起因する被写体の動き（手振れ）を補正する装置が開発されている。そして、これにより、記録されるデジタル画像の画素数が８００万画素を超える撮像光学機器が商品化されている。また、撮像光学機器に用いられる撮像光学系の性能も向上しており、例えば、異常分散ガラス材料や非球面レンズなどを使用した高性能レンズが開発されている。
図１４〜図１６を用いて、従来の撮像光学機器について説明する。従来の撮像光学機器は、動き補正部を有する手振れ機能付きの撮像光学機器である。図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。また、図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。また、図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。
まず、従来の第１の撮像光学機器２１２について説明する。従来の第１の撮像光学機器２１２は、図１４に示す構成を備えている。複数のレンズを有する撮像光学系２０１に撮像光軸２１４に沿って被写体光が入射すると、撮像光学系２０１は、撮像素子２０２上に被写体像を結像させる。撮像素子２０２は、被写体像に基づいて、デジタル画像データを形成する。この画像データは、画像記憶部２０４に記憶される。
動き補正部２２３は、撮像光学系２０１に作用して、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることができる。具体的には、撮像光学系２０１の少なくとも１つのレンズを移動させることにより、撮像素子２０２における被写体像の位置を移動させる。撮像光学機器２１２は、当該撮像光学機器２１２の本体の動きを検出する動き検出部２０７を備えている。動き検出部２０７は、撮像光学機器２１２の本体の動き、例えば、移動方向および移動量を表す動きデータを検出する。手振れ等で撮像光学機器２１２の本体が動いた場合には、撮像素子２０２における被写体像の位置が移動する。そこで、この被写体像の位置の移動を補正するように、動き補正部２２３は、被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させて、被写体像の撮像素子２に対する位置が実際には移動しないようにする。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像されることとなり、手振れによる撮像画像の画質の低下を防止することができる。
次に、従来の第２の撮像光学機器３１２について、図１５を用いて説明する。なお、図１５において、図１４に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。図１５に示すように、撮像光学機器３１２の動き補正部３２３は、撮像素子２０２の位置を、撮像光軸２１４に対して略垂直方向に移動させるためのものである。これにより、撮像素子２０２における被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第２の撮像光学機器３１２の動き補正部３２３は、手振れ等で被写体像の位置が撮像素子２０２に対して移動しないように、動き検出部２０７によって検出された動きデータをもとに、撮像素子２０２を、撮像光軸２１４に対して略垂直方向に移動させる。これにより、手振れ等で撮像光学機器３１２が動いても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。
次に、従来の第３の撮像光学機器４１２について、図１６を用いて説明する。なお、図１６において、図１４に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。図１６に示すように、撮像光学機器４１２の動き補正部４２３は、撮像光学系２０１および撮像素子２０２を移動させることにより、動き補正を行う。具体的には、動き補正部４２３は、撮像光軸２１４に対して垂直な軸である回転軸４２２を中心として、撮像光学系２０１および撮像素子２０２を回転させる。これにより、撮像素子２０２における被写体像の位置は、撮像光軸２１４に対して略垂直方向に移動する。従来の第３の撮像光学機器４１２の動き補正部４２３は、動き検出部２０７で検出された動きデータをもとに、被写体像の結像位置が撮像素子２０２に対して移動しないように、撮像光学系２０１および撮像素子２０２を回転軸４２２を中心として回転させる。これにより、手振れ等が生じても、被写体像は撮像素子２０２の同じ位置に結像される。したがって、手振れによる撮像画像の画質の低下を防止することができる。
上述したように、撮像素子２０２における被写体像の位置を、撮像光軸２１４に対して略垂直方向に移動させることにより、十分な手振れ補正が行われる。
一方、撮像素子の受光面近傍の光学系にゴミが混入あるいは付着したり、光学系に傷が生じたりすることにより、画質が低下するという問題もある。撮像光学系の像性能や撮像素子の高性能化による画像の高性能化および小型化が進むＤＳＣやＤＶＣ等の撮像光学機器においては、この問題は大きな課題である。これを防止するために、撮像光学系の製造工程において、十分な品質管理や品質検査を行い、問題となるゴミの混入や傷が生じないようにされているが、ミクロンオーダーのゴミや傷を管理する必要があり、製造上のコストが高くなるという問題があった。さらに、操作者が撮像光学系を交換することができる一眼レフ方式などのＤＳＣでは、撮像光学系の交換時にゴミが混入する可能性もある。そのため、面倒な清掃を頻繁に行う必要があり、煩わしいという問題があった。
そこで、撮像素子を高速に振動させることにより、撮像素子の光学面に付着したゴミを除去するＤＳＣが商品化されている（例えば、特許文献１、特許文献２および特許文献３参照）。
特開２００３−３１９２２２号公報 特開２００３−３４８４０１号公報 特開２００３−３４８４６２号公報
しかし、上述した、撮像素子を高速に振動させることによってゴミを除去するＤＳＣには、その効果が撮像素子の光学面に限られるという問題がある。また、この方法では、傷や強く付着したゴミ等は除去することができないという問題がある。さらに、ゴミ除去専用の駆動装置を備える必要があるため、コストが高くなり、その上、大型化してしまうという問題もある。
本発明は、上記問題に鑑みてなされたものであり、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することのできる、撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムを提供することを目的とする。
前記目的を達成するため、本発明の撮像光学機器は、撮像光学系と、前記撮像光学系によって結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部によって前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを有する有害輝度画像検出部とを備える。
また、本発明の撮像画像処理システムは、撮像光学系と、前記撮像光学系によって結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を移動させる像ずらし部と、前記像ずらし部によって前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部とを有する撮像光学機器と、前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを含む有害輝度画像検出部と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部とを有する制御装置とを備える。
また、本発明の撮像画像処理プログラムは、被写体像の位置がそれぞれ異なる複数の画像データを入力する入力処理と、前記複数の画像データの被写体像の位置を合わせるように、前記複数の画像データを演算する像ずらし処理と、前記像ずらし処理された複数の画像データ同士を差分する差分処理と、前記差分処理によって検出された、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する有害輝度画像データ検出処理と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正する画像補正処理とをコンピュータに実行させる。
本発明によれば、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
本発明の撮像光学機器によれば、有害輝度画像データの原因となる撮像光学系内のゴミや傷を取り除くことなく、有害輝度画像が取り除かれた撮像画像を得ることができる。その結果、撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
また、本発明の撮像光学機器は、好ましくは、さらに、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部を備える。
また、本発明の撮像光学機器は、好ましくは、さらに、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部によって補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。
また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。
また、本発明の撮像光学機器は、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。
また、本発明の撮像画像処理システムは、高い演算処理能力を有する制御装置を用いて構成することができる。そのため、撮像光学機器は、膨大な演算処理を行う必要がない。その結果、撮像光学機器の電源の長寿命化を図ることができる。
また、本発明の撮像画像処理システムは、好ましくは、前記撮像光学機器が、撮像光学機器本体の動きを検出する動き検出部を備え、前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部によって補正する。これにより、手振れ補正機能を有する撮像光学機器を提供することができる。
また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備える。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系内に多くのゴミなどが付着している場合には、操作者に撮像光学系内の清掃を促すことができる。
また、本発明の撮像画像処理システムは、好ましくは、さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備える。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができる。
また、本発明の撮像画像処理プログラムを実行することにより、容易に撮像光学系内のゴミや傷による撮像画像の画質の低下を防止することができる。
以下、本発明の具体的な実施の形態について、図面を用いて説明する。
（実施の形態１）
本発明の実施の形態１における撮像光学機器について図面を用いて説明する。図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。
図１に示すように、実施の形態１の撮像光学機器１２は、撮像光学系１と、撮像素子２と、像ずらし部３と、画像記憶部４と、有害輝度画像検出部５と、画像補正部６と、動き検出部７と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。
撮像光学機器１２の動作について説明する。
まず、撮像光軸１４に沿って撮像光学系１に被写体光が入射する。撮像光学系１は、レンズを有し、撮像素子２の受光面上に被写体像を結像させる。撮像素子２は、被写体像に基づいて、デジタル画像データを形成し、例えばメディアや内部メモリなどの画像記憶部４に、その画像データを記憶させる。画像データは、例えば輝度信号等を含んでいる。
像ずらし部３は、撮像光学系１に作用して、撮像素子２に結像されている被写体像を撮像光軸１４に対して略垂直な方向に移動させることができる。具体的には、撮像光学系１の少なくとも１つのレンズを撮像光学系１の撮像光軸１４に対して略垂直方向に偏芯駆動させることにより、被写体像を撮像素子２の受光面上で撮像光軸１４に対して略垂直方向に移動させることができる。
被写体を撮像する際に、撮像光学機器１２は、像ずらし部３により、被写体像を撮像光軸１４に対して略垂直方向に移動させた複数の画像データを得る。すなわち、撮像光学機器１２は、被写体像が撮像素子２の受光面に沿う方向にずれている複数の画像データを得る。図２は、像ずらし部３を駆動させることによる被写体像のずれを説明するための図であり、図２Ａは被写体像が撮像素子の所望の位置に結像している状態を示し、図２Ｂは被写体像が移動している状態を示している。図２Ａに示すように、撮像光学系１のレンズ１ａが基準位置に位置している場合には、被写体像は撮像素子２の中央部に結像する。しかし、図２Ｂに示すように、レンズ１ａが撮像光軸１４に対して略垂直方向（例えば、上方）に移動した場合には、撮像光軸１４が例えば上方に移動し、被写体像が撮像素子２の上方に結像される。
さらに、図３を用いて、被写体像を撮像素子２の受光面に沿って移動させた場合の画像について説明する。図３は、像ずらし部を駆動させて得た画像を示す図であり、図３Ａは第１の画像を示し、図３Ｂは第２の画像を示している。図３Ａに示している画像は、図２Ａの状態すなわち被写体像が撮像素子の所望の位置に結像している状態の画像データによる画像（第１の画像４１）である。また、図３Ｂに示している画像は、図２Ｂの状態すなわち被写体像が移動している状態の画像データによる画像（第２の画像４２）である。図３Ａに示した第１の画像４１に比べて、図３Ｂに示した第２の画像４２が下方にずれているのは、撮像光軸１４が上方にずれているからである。なお、被写体像は上下左右が反転した像を作るので、撮像光軸１４が上方に移動した場合には、画像は下方にずれる。
このようにして、撮像光軸１４に沿って撮像光学系１に入射する被写体光の進路を移動させて、それごとに画像を撮像する。具体的には、図２Ａに示す状態で、図３Ａに示す第１の画像４１の画像データを取り込む。次いで、図２Ｂに示す、撮像光軸１４に沿って撮像光学系１に入射する被写体光が上方にずれた状態で、図３Ｂに示す第２の画像４２の画像データを取り込む。これら２つの画像データを取り込むための撮像処理は、非常に短い時間で行うことができるため、通常の被写体においては、問題なく、２つの画像データの取り込みを容易に行うことができる。
図３Ａおよび図３Ｂに示すように、第１の画像４１と第２の画像４２とでは、被写体像の位置がずれている。しかし、撮像光学系１内のゴミや傷によって生じた有害輝度画像１５は、被写体像とは異なり、位置がずれることはない。有害輝度画像１５の原因となるゴミや傷などが、撮像素子２の近傍にあって、像ずらし部３によって移動させられたレンズ１ａよりも撮像素子２側に位置する場合には、撮像素子２に対する有害輝度画像１５の位置は変化しない。そのため、被写体像に対する有害輝度画像１５の相対位置が、第１の画像４１と第２の画像４２とでは異なっている。
なお、有害輝度画像１５以外にも、暗電流等によるランダムノイズ成分、僅かな収差変化による成分および一方の画像にしか含まれない画角成分は、第１の画像４１と第２の画像４２とでは相対位置が異なる。
撮像素子２で形成された第１の画像４１の画像データ（以下「第１の画像データ」という）および第２の画像４２の画像データ（以下「第２の画像データ」という）は、画像記憶部４に記憶され、かつ、有害輝度画像検出部５に送られる。有害輝度画像検出部５は、第１の画像データおよび第２の画像データをもとに、有害輝度画像１５の画像データである有害輝度画像データを検出する。以下、その検出方法について説明する。
有害輝度画像検出部５は、第１の画像データと第２の画像データとにおける被写体像の位置を一致させるための像ずらし演算部８と、第１の画像データと第２の画像データとについて差分演算を行う差分像演算部９とを備えている。まず、像ずらし演算部８が、被写体像がずれて記憶された第１の画像データおよび第２の画像データに対して、それぞれの被写体像が略重なり一致するように演算処理を行う。具体的には、第２の画像４２の画素を上方にずらすように、第２の画像データを演算処理する。これにより、第１の画像データと第２の画像データのうち、同一でない画像データを抽出することが可能となる。次に、差分像演算部９により、第１の画像データと第２の画像データとについて差分演算を行う。これにより、第１の画像データと第２の画像データとに共通して存在する被写体像の成分は除去され、第１の画像データおよび第２の画像データの有害輝度画像データが検出される。これらそれぞれの画像の有害輝度画像データから、どちらか１つの画像データ（例えば、第１の画像データ）に対応する有害輝度画像データを検出する。
以上の処理を、画像を用いて具体的に説明する。図４は被写体像が一致するように画像を重ねた状態を示す図である。像ずらし演算部８で、被写体像の位置を揃えた第１の画像４１および第２の画像４２とを重ねると、画像４３が得られる。図４に示す画像４３においては、重ならずにそれぞれ異なる位置に有害輝度画像１５が形成される。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない。
図５はそれぞれの画像を差分演算処理した状態を示す図である。差分像演算部９を用いて、像ずらし演算処理後の第１の画像データと第２の画像データとについて差分演算を行うことにより、差分演算後画像４４が得られる。図５に示すように、差分演算後画像４４には、２つの有害輝度画像１５が含まれている。図５に示す、有害輝度画像１５の画像データ（有害輝度画像データ）の輝度信号強度を縦軸に、Ｙ方向を横軸にとり、それらの関係を示したグラフが図６である。なお、Ｙ方向は、図５に示しているように垂直方向とする。図６に示すように、有害輝度画像データの輝度信号は、正と負それぞれの強度を有し、２つに分かれている。そこで、これらを、１つにするために、例えばＬＰＦ（low pass filter）等を含めた画像処理を行うのが好ましい。ＬＰＦ等を含めた画像処理を行うことにより、差分演算後画像４４の画像データに含まれている、上記暗電流等によるランダムノイズ成分および僅かな収差変化による成分も除去される。なお、次の工程である補正を行う際に、ランダムノイズ成分および収差変化による成分が除去されていない画像データを用いた場合には、ノイズの増大および画像結像性能の低下を引き起こしてしまう。
ＬＰＦ等を含めた画像処理を行うことにより、図７に示すように、第１の画像４１に対応する有害輝度画像１５を有する画像４５を得ることができる。このようにして、有害輝度画像１５の画像データを容易に抽出することができる。
次に、上記ＬＰＦ（low pass filter）を含めた画像処理によって形成された有害輝度画像データを用いて、第１の画像データを補正する。具体的には、画像補正部６は、第１の画像データおよび有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去すればよい。これにより、有害輝度画像データが除去され、補正が完了した補正完画像の画像データが得られる。図８は補正完画像を示す図である。補正完画像４６は、有害輝度画像がなく、被写体像のみからなる。つまり、図３Ａに示した第１の画像４１から、図７に示した画像４５の有害輝度画像１５を除去することにより、図８に示している補正完画像４６を得ることができる。なお、補正される画像は、第１の画像４１でなく、第２の画像４２や、第１の画像４１および第２の画像４２の合成画像であってもよく、その場合には、それぞれに応じた有害輝度画像を用いればよい。しかし、レリーズタイムラグがより短い第１の画像４１を用いるのが最も好ましい。ここで、レリーズタイムラグとは、撮像光学機器１２で被写体を撮像する際に、撮像操作（例えば、レリーズ釦を押す等）を行ってから、実際に撮像されるまでの時間であり、レリーズタイムラグが短い方がより良好な撮像画像を得ることができる。
以上のように、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等による有害輝度画像１５が除去された画像を得ることができ、撮像画像の画質の向上を図ることができる。したがって、実施の形態１の撮像光学機器１２によれば、撮像光学系１内のゴミや撮像光学系１の傷等の、有害輝度画像１５の原因を取り除かなくても、補正によって有害輝度画像１５を除去することができる。そのため、例えば撮像光学系１内にゴミが混入した場合でも、撮像光学系１内を清掃することなく撮像画像の画質の低下を防止することができるので、すぐに清掃する必要はなく、例えば操作者の手の空いたときに清掃すればよい。
また、有害輝度画像データは、有害輝度画像記憶部１１に記憶される。これにより、どの程度の有害輝度画像が補正されているのかを操作者が確認することができ、例えば、清掃後に有害輝度画像の改善がなされているか等を確認することができる。
また、実施の形態１の撮像光学機器１２は、当該撮像光学機器１２の本体の動きを検出する動き検出部７を有している。動き検出部７は、操作者が撮像光学機器１２を操作する際に発生する手振れ量を検知するためのものであり、撮像光学機器１２の移動方向や移動量等を検知することができる。動き検出部７は、例えばジャイロセンサーなどの角速度センサーであるのが好ましい。動き検出部７で検出された動き情報に基づいて手振れ補正がなされる。この手振れ補正は、像ずらし部３を用いて行えばよく、手振れによる撮像素子２に対する被写体像の位置の移動を、像ずらし部３を用いて補正し、被写体像がぶれないようにすればよい。これにより、手振れを補正し、良好な画像を得ることができる。なお、動き検出部７としては、従来用いられていたものでよい。また、像ずらし部３としては、例えば、図１４〜図１６に示した従来の第１〜第３の撮像光学機器で用いられていた動き補正部を用いればよい。具体的には、像ずらし部３としては、撮像光学系または撮像素子の偏芯によるもの、あるいは、撮像光学系または撮像素子を回転させることにより、撮像光軸に対して略垂直方向に被写体像を移動させることができるものを用いればよい。実施の形態１においては、従来の撮像光学機器に備えられていた動き補正部を、像ずらし部３が兼用している。これにより、新たな機構を増やすことなく、手振れ補正および有害輝度画像の補正が可能な撮像光学機器１２を得ることができる。
また、撮像光学機器１２は警告部１０を有している。警告部１０は、有害輝度画像検出部５によって検出された有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、それを操作者に知らせる。例えば、差分像演算部９は、検出した有害輝度画像の輝度信号強度データを評価し、その値が所定のレベル以上になっている場合に、警告部１０にそれを伝える。これにより、警告部１０は、操作者に分かるように警告を発する。警告部１０としては、例えば、ＬＣＤ（liquid coupled display）を用いて、警告を示す表示がなされるようにしたものを用いてもよく、また、ビューファインダーの表示部に視認しやすいように警告表示を行う構成としたものを用いてもよい。これにより、レンズ清掃などの必要性や時期を操作者が確認することができる。また、撮像光学系１内に多くのゴミなどが付着している場合には、操作者に撮像光学系１内の清掃を促すことができる。なお、警告は、補正完画像４６が得られる前に行われるのが好ましい。
なお、実施の形態１においては、画像補正部６の動作を自動的に行っているが、画像補正部６の動作を行うに先立って、画像補正を行うか否かの判断をユーザに促し、ユーザの意思を反映させるようにしてもよい。また、画像補正部６に、画像補正を行うモードと、画像補正を行わないモードとを持たせて、ユーザが選択的に操作できるようにしてもよい。このような構成とすることにより、ユーザの利便性を向上させることができる。
また、有害輝度画像記憶部１１に記憶される有害輝度画像を、画像補正部６での処理を行う前の被写体像と関連付けて記憶させ、有害輝度画像記憶部１１から外部に出力可能な構成としてもよい。このような構成とすることにより、有害輝度画像の除去を、パーソナルコンピュータ（以下「パソコン」という）等を用いて後処理によって行うことが可能となる。画像補正部６での処理を行う前の被写体像と関連付けられる有害輝度画像は、画像データそのものであってもよいが、有害輝度画像が占める範囲に対応する画素の位置データであってもよい。
また、実施の形態１においては、有害輝度画像の輝度信号強度が所定のレベル以上になっている場合に、警告部１０を動作させるようにしているが、警告部１０を動作させる代わりに、撮像光学系の被写体像の取り込み動作を禁止するようにしてもよい。このような構成とすることにより、有害輝度画像の輝度信号強度が高くて画像品質の低い画像データの生成を防止することができる。
（実施の形態２）
本発明の実施の形態２における撮像画像処理システムについて、図面を用いて説明する。図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。なお、図９において、図１に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。
図９に示すように、実施の形態２における撮像画像処理システム３０は、撮像画像を取り込む撮像光学機器２２と、撮像光学機器２２で取り込んだ画像を画像素処理して、有害輝度画像を補正する制御装置１３とを備えている。撮像光学機器２２は、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４とを備えている。また、制御装置１３は、有害輝度画像検出部５と、画像補正部６と、警告部１０と、有害輝度画像記憶部１１とを備えている。また、有害輝度画像検出部５は、像ずらし演算部８と、差分像演算部９とを備えている。
制御装置１３としては、例えば、パソコンを用いればよい。その場合、制御装置１３における、有害輝度画像検出部５と画像補正部６の機能は、パソコンのＣＰＵが所定のプログラムを実行することによって実現される。そのために、具体的には、有害輝度画像検出部５と画像補正部６の機能を実現するためのプログラムを、任意のパソコンへインストールすればよい。例えば、ＣＤ−ＲＯＭ等の記憶媒体から任意のパソコンへインストールしてもよいし、あるいは、通信回線を介してダウンロード等することにより、任意のパソコンへインストールしてもよい。また、警告部１０としては、例えば、パソコンに接続されているスピーカ等の音声出力装置や、ディスプレイを含む表示装置を用いることができる。また、有害輝度画像記憶部１１としては、パソコンのハードディスクを用いればよい。
次に、実施の形態２の撮像画像処理システム３０の動作について、図１０をも用いて説明する。図１０は本発明の実施の形態２の制御装置１３の動作を示すフローチャートである。
撮像光学機器２２における、撮像光学系１と、撮像素子２と、像ずらし部３と、動き検出部７と、画像記憶部４との各部材の動作は、実施の形態１の撮像光学機器１２の各部材の動作と同一であるので、その説明は省略する。撮像光学機器２２による撮像処理の際には、図３Ａおよび図３Ｂに示す第１の画像４１および第２の画像４２を取り込む。これらの、第１の画像４１および第２の画像４２の画像データである、第１の画像データおよび第２の画像データは、画像記憶部４に記憶されている。
これらの第１の画像データおよび第２の画像データが制御装置１３に送られ、これらのデータが有害輝度画像検出部５に入力される（ステップ１０１）。
次に、有害輝度画像検出部５における像ずらし演算部８は、第１の画像データおよび第２の画像データのそれぞれの被写体像が略重なり一致するようにそれぞれの画像データを演算処理する（ステップ１０２）。なお、両方の画像データには、重ねることが不可能な画角部分が存在する。具体的には、第１の画像４１の下端部分４１ａと第２の画像４２の上端部分４２ａが画角部分であり、これらの個所からは有害輝度画像データを得ることができないため、演算には用いない（図４参照）。
次に、差分像演算部９を用いて、ステップ１０２（像ずらし演算処理）後の第１の画像データと第２の画像データとを差分演算する（ステップ１０３）。これによって得られた有害輝度画像データは、第１の画像データおよび第２の画像データ両方のものであり、正負２つの輝度信号強度を有している。そこで、さらに、例えばＬＰＦ等を含めた画像処理を行う（ステップ１０４）。これにより、どちらか１つの画像データに対応する有害輝度画像データが得られる。ここでは、第１の画像データに対応する有害輝度画像データのみを得るような画像処理を行う。
次に、第１の画像データおよびそれに対応する、ステップ１０４で得た有害輝度画像データが画像補正部６に送られる。画像補正部６は、第１の画像データおよびそれに対応する有害輝度画像データを用いて、第１の画像データから有害輝度画像データを除去する（ステップ１０５）。これにより、有害輝度画像１５が除去された補正完画像４６（図８参照）が得られる。
なお、有害輝度画像検出部５では、ステップ１０４において得られた有害輝度画像データの輝度信号の強度を判定しており、その強度が所定のレベル以上になった場合には、そのことを伝えるための信号が警告部１０に送信される。警告部１０では、それに応じて警告が発せられる。例えば、警告部１０であるスピーカから警告音が発せられたり、警告部１０であるディスプレイに警告を示す表示がなされたりすればよい。なお、警告は、補正完画像４６が得られる前に行われるのが好ましい。
また、有害輝度画像記憶部１１は、ステップ１０４において得られた有害輝度画像データを記憶する。これにより、撮像された画像に対してどの程度の有害輝度画像が発生しているかを確認することができる。
次に、実施の形態２の撮像光学機器２２の具体的な構成について、図面を用いて説明する。図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。図１１においては、撮像光学機器２２として、コンパクトタイプのＤＳＣの構成を示している。
図１１において、撮像光学機器２２は、撮像光学系１と、レリーズ釦１６と、ストロボ発光部１７と、光学式ビューファインダー１８と、本体１９と、デジタル画像データ出力用コネクタ２０とを備えている。
撮像光学系１は、被写体像を結像させるためのものである。レリーズ釦１６は、被写体像を撮影するときに操作者が押す釦である。レリーズ釦１６を押下することにより、被写体が撮像される。ストロボ発光部１７は、被写体の輝度が十分でない場合に光を発することができ、被写体光を照らし撮像するために十分な輝度を得ることができる。光学式ビューファインダー１８は、操作者が被写体の構図を確認するためのものである。本体１９は、操作者が撮像光学機器２２を保持するためのものである。データ出力用コネクタ２０は、撮像、記録された画像データを撮像光学機器２２の外部に出力するためのものである。
さらに、図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。なお、図１２において、図１１に示した部材と同様の機能を有する部材には同一の参照符号を付し、その説明は省略する。図１２に示す撮像光学機器２２は、レンズである撮像光学系１を本体１９から取り外して、交換できるように構成されている。図１２は、撮像光学系１を、本体１９から外した状態を示している。使用時には、レンズマウント２１に撮像光学系１が嵌り込んで固定される。なお、図１２においては、撮像光学機器２２の内部に設置された撮像素子２が図示されている。このように、図１２に示す撮像光学機器２２は、撮像光学系１が本体１９に着脱可能な構成となっている。これにより、上述したように、撮像光学系１内のゴミや傷によって生じた有害輝度画像の画像データの輝度信号が大きすぎることが警告された場合等には、撮像光学系１を取り替えることにより、容易に有害輝度画像の原因を取り除くことができる。
次に、実施の形態２の撮像画像処理システム３０の具体的な構成について、図面を用いて説明する。図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。
図１３に示すように、撮像画像処理システム３０は、図１１に示した撮像光学機器２２と、パソコンである制御装置１３とを備えている。なお、制御装置１３の本体３１には、入力装置であるキーボード３２および表示装置であるディスプレイ３３が接続されている。
制御装置１３には、図１０に示したフローチャートを実現するプログラムがインストールされている。撮像光学機器２２と制御装置１３とは、信号の入出力が可能なように、例えばケーブル３４で接続されており、これにより、撮像光学機器２２から制御装置１３へ画像データを送ることができるようにされている。具体的には、撮像光学機器２２のデータ出力用コネクタ２０と制御装置１３の本体３１に設けられたデータ入力用コネクタ３１ａとがケーブル３４を介して接続されている。
以上のように、実施の形態２の撮像画像処理システム３０によれば、撮像光学機器２２で取り込んだ画像データを制御装置１３で演算処理することができるので、撮像光学機器２２において膨大な演算処理行う必要がない。その結果、撮像光学機器２２の電源の長寿命化を図ることができる。
また、このような撮像画像処理システム３０の撮像光学機器２２を、ゴミ等の異物が撮像光学系１内に付着しやすい環境にある産業用生産設備等に用いた場合、撮像光学系１内が汚れていても、それを補正した画質の高い画像を得ることができる。また、ゴミ等の異物が撮像光学系１内に付着したことを容易に判別することができる。したがって、生産コストを大幅に削減することができる。
本発明の撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラムは、ゴミなどによる有害輝度画像を補正した良好な画像を得ることのできるＤＶＣやＤＳＣあるいは携帯型モバイル機器の撮像ユニットを提供することができ、例えば、ゴミ等の異物が撮像光学系内に付着しやすい環境にある産業用生産設備等に用いる場合に特に有用である。
図１は本発明の実施の形態１における撮像光学機器の一構成例を示すブロック図である。 図２Ａは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が撮像素子の所望の位置に結像している状態を示している。 図２Ｂは、本発明の実施の形態１における、像ずらし部を駆動させることによる被写体像のずれを説明するための図であり、被写体像が移動している状態を示している。 図３Ａは、本発明の実施の形態における、像ずらし部を駆動させて得た第１の画像を示す図である。 図３Ｂは、本発明の実施の形態における、像ずらし部を駆動させて得た第２の画像を示す図である。 図４は、本発明の実施の形態における、被写体像が一致するように画像を重ねた状態を示す図である。 図５は、本発明の実施の形態１における、それぞれの画像を差分演算処理した状態を示す図である。 図６は、本発明の実施の形態１の、有害輝度画像データの輝度信号強度とＹ方向における位置との関係を示すグラフである。 図７は、本発明の実施の形態１における、第１の画像に対応する有害輝度画像を有する画像を示す図である。 図８は本発明の実施の形態における補正完画像を示す図である。 図９は本発明の実施の形態２における撮像画像処理システムの一構成例を示すブロック図である。 図１０は本発明の実施の形態２における制御装置の動作を示すフローチャートである。 図１１は本発明の実施の形態２における撮像光学機器の構成を示す斜視図である。 図１２は本発明の実施の形態２における他の撮像光学機器の構成を示す分解斜視図である。 図１３は本発明の実施の形態２における撮像画像処理システムの具体的な構成を示す斜視図である。 図１４は従来の第１の撮像光学機器の一構成例を示すブロック図である。 図１５は従来の第２の撮像光学機器の一構成例を示すブロック図である。 図１６は従来の第３の撮像光学機器の一構成例を示すブロック図である。
符号の説明
１ 撮像光学系
１ａ、１ｂ レンズ
２ 撮像素子
３ 像ずらし部
４ 画像記憶部
５ 有害輝度画像検出部
６ 画像補正部
７ 動き検出部
８ 像ずらし演算部
９ 差分像演算部
１０ 警告部
１１ 有害輝度画像記憶部
１２、２２ 撮像光学機器
１３ 制御装置
１４ 撮像光軸
１５ 有害輝度画像
１６ レリーズ釦
１７ ストロボ発光部
１８ 光学式ビューファインダー
１９ 本体
２０ データ出力用コネクタ
２１ レンズマウント
３０ 撮像画像処理システム
３１ 本体
３１ａ データ入力用コネクタ
３２ キーボード
３３ ディスプレイ
４１ 第１の画像
４１ａ 下端部分
４２ 第２の画像
４２ａ 上端部分
４３ 画像
４４ 差分演算後画像
４５ 画像
４６ 補正完画像

Claims (10)

  1. 撮像光学系と、
    前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、
    前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を、撮像光軸に対して略垂直方向に移動させる像ずらし部と、
    前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部と、
    前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを有する有害輝度画像検出部とを備えた撮像光学機器。
  2. さらに、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部を備えた請求項１に記載の撮像光学機器。
  3. さらに、撮像光学機器本体の動きを検出する動き検出部を備え、
    前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する請求項１に記載の撮像光学機器。
  4. さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備えた請求項１に記載の撮像光学機器。
  5. さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備えた請求項１に記載の撮像光学機器。
  6. 撮像光学系と、前記撮像光学系により結像された被写体像を画像データに変換する撮像素子と、前記撮像光学系および前記撮像素子の少なくともどちらか一方に作用して、前記撮像素子に対する前記被写体像の位置を、撮像光軸に対して略垂直方向に移動させる像ずらし部と、前記像ずらし部により前記被写体像の位置が移動させられて撮像された、前記被写体像の位置がそれぞれ異なる複数の画像データを記憶する画像記憶部とを有する撮像光学機器と、
    前記複数の画像データの前記被写体像の位置を合わせるように、前記複数の画像データを演算処理する像ずらし演算部と、前記被写体像の位置が合わされた画像データ同士を差分演算処理して、前記複数の画像データに対する有害輝度画像データを検出し、さらに、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する差分像演算部とを含む有害輝度画像検出部と、前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正し、補正完画像を得る画像補正部とを有する制御装置とを備えた撮像画像処理システム。
  7. 前記撮像光学機器は、撮像光学機器本体の動きを検出する動き検出部を備え、
    前記動き検出部からの動きデータに基づいて、前記撮像光学機器本体が動くことで生じる前記撮像素子に対する前記被写体像の位置の移動を、前記像ずらし部により補正する請求項６に記載の撮像画像処理システム。
  8. さらに、前記有害輝度画像データの強度に応じて警告を行う警告部を備えた請求項６に記載の撮像画像処理システム。
  9. さらに、前記有害輝度画像データを記憶する有害輝度画像記憶部を備えた請求項６に記載の撮像画像処理システム。
  10. 被写体像の位置がそれぞれ異なる複数の画像データを入力する入力処理と、
    前記複数の画像データの被写体像の位置を合わせるように、前記複数の画像データを演算する像ずらし処理と、
    前記像ずらし処理された複数の画像データ同士を差分する差分処理と、
    前記差分処理により検出された、前記複数の画像データに対する有害輝度画像データから、いずれか１つの画像データに対応する有害輝度画像データを検出する有害輝度画像データ検出処理と、
    前記いずれか１つの画像データに対応する有害輝度画像データを用いて、この有害輝度画像データに対応する前記画像データを補正する画像補正処理とをコンピュータに実行させる撮像画像処理プログラム。
JP2006515443A 2004-08-25 2005-08-22 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム Pending JPWO2006022229A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004245671 2004-08-25
JP2004245671 2004-08-25
PCT/JP2005/015217 WO2006022229A1 (ja) 2004-08-25 2005-08-22 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2006022229A1 true JPWO2006022229A1 (ja) 2008-05-08

Family

ID=35967441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006515443A Pending JPWO2006022229A1 (ja) 2004-08-25 2005-08-22 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム

Country Status (3)

Country Link
US (1) US20070268383A1 (ja)
JP (1) JPWO2006022229A1 (ja)
WO (1) WO2006022229A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP4968885B2 (ja) * 2006-06-05 2012-07-04 キヤノン株式会社 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム
JP4750630B2 (ja) * 2006-06-28 2011-08-17 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム及び記憶媒体及び撮像装置
JP2011221337A (ja) * 2010-04-12 2011-11-04 Sanyo Electric Co Ltd 電子カメラ
JP5778469B2 (ja) * 2011-04-28 2015-09-16 日本アビオニクス株式会社 撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240932A (ja) * 1994-02-28 1995-09-12 Canon Inc 撮像装置
DE69528915T2 (de) * 1994-02-28 2003-07-31 Canon Kk Bildaufnahmevorrichtung
JPH08256289A (ja) * 1995-03-15 1996-10-01 Canon Inc 撮像装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP3461482B2 (ja) * 1999-02-24 2003-10-27 オリンパス光学工業株式会社 デジタルカメラ及びデジタルカメラのゴミ位置検出方法
DE50004426D1 (de) * 1999-05-07 2003-12-18 Siemens Ag Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien
JP2001086411A (ja) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd 固体撮像装置
JP4511766B2 (ja) * 2000-07-10 2010-07-28 株式会社リコー 撮影装置および撮影装置における振れ補正方法
JP2003101827A (ja) * 2001-09-21 2003-04-04 Canon Inc 撮像装置及び撮像方法
US7379094B2 (en) * 2002-04-18 2008-05-27 Olympus Corporation Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range
US7324148B2 (en) * 2002-04-26 2008-01-29 Olympus Optical Co., Ltd. Camera and image pickup device unit used therefor having a sealing structure between a dust proofing member and an image pick up device
US7324149B2 (en) * 2002-05-20 2008-01-29 Olympus Optical Co., Ltd. Camera and image pick-up device unit having an optical member that is vibrated to remove dust
JP2003348462A (ja) * 2002-05-27 2003-12-05 Olympus Optical Co Ltd カメラ及び撮像素子ユニット
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置

Also Published As

Publication number Publication date
WO2006022229A1 (ja) 2006-03-02
US20070268383A1 (en) 2007-11-22

Similar Documents

Publication Publication Date Title
US7580071B2 (en) Electronic camera and control program of same for detecting foreign materials
CN109417593B (zh) 摄像装置、工作方法、图像处理装置以及图像处理方法
CN106027895B (zh) 摄影设备及其控制方法
CN1725811A (zh) 摄像装置和图像恢复方法
JP2006345338A (ja) 撮像装置および撮像方法
JP2009130628A (ja) 撮像装置及びそのプログラム
JPWO2006022229A1 (ja) 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム
JP5610106B1 (ja) 撮像装置の異物情報検出装置および異物情報検出方法
JP2004172820A (ja) 撮像装置
JP2003101862A (ja) 撮像装置および撮像方法
JP5617470B2 (ja) 塵埃処理装置、撮像装置、撮影レンズおよび塵埃処理プログラム
JP2009284117A (ja) 撮像装置および撮像装置の制御方法
JP6525139B2 (ja) 画像検出装置、画像検出方法及び撮影装置
JP6579369B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009206582A (ja) デジタルカメラ
JP2005318465A (ja) 撮像装置及びその画像データ処理方法
JP2009213094A (ja) 観察像を表示可能な撮像装置
JP2010104005A (ja) 撮像装置及びそのプログラム
JP2006229697A (ja) 撮像装置
JP2007147805A (ja) ぶれ量検出装置、撮影装置、これらの制御方法、制御プログラム及び記録媒体
JP2005159559A (ja) 携帯型電話装置
JP2009194643A (ja) 撮影装置
JP2007124006A (ja) 撮像ユニット、及び撮像装置
JP6501106B2 (ja) 画像検出装置、画像検出方法及び撮影装置
JP6548141B2 (ja) 画像検出装置、画像検出方法及び画像検出プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060405