JP3774983B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、二次元固体撮像素子を用いた撮像素子と撮影光学系との間に入射光の角度変位が可能な機構を設けた高解像度の画像入力装置に関するものである。
【０００２】
【従来の技術】
CCD等の二次元撮像素子を用いた画像入力装置においては、画像と撮像素子との相対位置を微小に変化させ変化させた毎に画像を入力した後各画像を合成し、見かけ上の画素数を増加させて解像度を上昇させるものが知られている。このような方法による解像度の向上に当たっては、従来特開平７−２３６０８６号公報に記載されるように、撮影光学系と二次元撮像素子との間に平板透明部材を平行に配置し、前記透明部材上に配置される直線上にない３点の傾斜手段の１点を支持部とし他の２点を該透明部材を作動させる作動部として用い、撮影光学系からの入射光を変位させることで撮像素子上の画像を微小変位させるものである。
【０００３】
図２２は、例えば特開平７−２３６０８６号公報に示された従来の光学的に画素数を増加させる画像入力装置のブロック図を、図２３は前記撮像部の機構を示す図である。図２２及び図２３において、1は画像を結像させるための撮像レンズ、3は画像を光電変換するための二次元に配列されたCCD等の撮像素子、103は撮像レンズ1と撮像素子3の間にほぼ平行に配置され、撮像レンズ１から撮像素子3への入射光の入射角度に微小変位をもたらす透明平板部材、104はレンズ１及び透明平板部材103を支持するベースユニット、105a、105b、105cは透明平板部材103をベースユニット104に固定すると共に２点を選択的に作動させて透明平板ユニットを傾斜させる圧縮ばね、106a、106b、106c、は対応する各圧縮ばね105a、105b、105cを各々押さえるばね押さえ板、107a、107b（図示せず）は透明平板部材103と圧縮ばね105a、105bを貫通するねじと共に設けられ駆動により透明平板部材103の近傍部位を光軸方向に変位させ、透明平板部材103に傾斜をもたらすモータ、108a、108bは透明平板部材103及び圧縮ばね105a、105b、ばね押さえ板106a、106bを含む第１及び第２作動部である。また、109は透明平板部材103及び圧縮ばね105c、ばね押さえ板106cを含む支持部であり作動部106a、106bの作動時に透明平板部材103を支持する。これらは図示しない筐体に一体的に固定されると共に、図２２に示されるように後段には光電変換された画像信号を処理するための所定の画像処理回路及び画像合成メモリ110、画像バッファメモリ7等が接続されている。
【０００４】
次に、動作について説明する。まず、２つの作動部106a、106bのいずれも作動させない状態で撮像を行い、後段の画像バッファメモリ7に画像を記憶する。次に、２つの作動部のうちひとつ106aを作動させると他の作動部106bと支持部を結ぶ線を回転軸として透明平板部材103が回転する。したがって、透明平板部材103を透過した画像はかかる透明平板部材103の傾斜によって移動されて撮像素子2上に結像し、画像バッファメモリ7にわずかにずれた画像を記憶する。更に同じひとつの作動部106aを作動させれば同一方向に順次画像が移動し、順次画像が撮像素子3に結像され記憶される。また、作動部106bを駆動させると、作動部106aと支持部109を結ぶ線を回転軸として透明平板部材103が傾斜し、前述とは異なる方向に画像の移動が行われる。
【０００５】
これら２方向の移動を適宜組み合わせることにより、任意の位置への２次元の画素ずらしを実施の後、画像バッファメモリ7に蓄積された複数の撮影画像を画素ずらしの実施方向を考慮して各対応画素毎に内挿することで光学的に画素数を増加させた画像が画像合成メモリ110に得られる。
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特開平７−２３６０８６号公報に示される発明は、光路を二次元的に変更するために透明平板部材を２つのモータにより機械的に駆動制御するため精度の高い画素ずらし量を実現することが困難であった。特に、近年の固体撮像素子の画素ピッチは、数ミクロンのものが主流となっており機械的にその数分の一の精度を得る為には、複雑な制御系が必要となる。
【０００７】
かかる複雑な制御系が必要となる問題を解決するために、本出願人は特開昭６２−２６９８４号公報等において撮像光学系を機械的に振動させることなく微小画素ずらしを行う方法を出願している。
【０００８】
しかし、光学的画素ずらしによって得られた複数の画像をそのまま画像バッファメモリに記憶しているため、大容量の記憶装置が必要であり、装置価格が上昇すると共に記憶装置の大型化に伴い装置全体が大型化する問題があった。
【０００９】
また、光学的画素ずらしによって得られた複数の画像を画像処理回路においてずらし位置に応じて単純に内挿し合成しているため、例えば図２４(a)に示すインパルス画像を水平方向及び垂直方向各々２段階ずらしで得られる図２４(c)、図２４(d)、図２４(e)と図２４(a)の４枚の画像として合成した場合、各撮像素子における光エネルギの積分効果によりの合成画像は図２４(b)に示すＭＴＦの劣化した結果が得られるため、画素数の増加量に対して十分に解像度が向上せず画像のエッジ成分の先鋭性が失われるという問題があった。
【００１０】
本発明においては、機械的画素ずらし機構を不要とすると共に小容量の記憶装置を用いた高解像度画像を実現することが可能な撮像装置を得ることを目的とする。
【００１１】
【課題を解決するための手段】
第１の発明にかかる撮像装置は、被撮像物からの反射光を撮像光学系により、二次元的に配置された複数の画素で構成された撮像素子に導き、この撮像素子により光電変換して画像信号を生成する撮像装置において、前記撮像光学系からの入射光の前記撮像素子への入射位置を微小画素分変位させる画素ずらし手段と、この画素ずらし手段の画素変位量を制御する撮像制御手段と、所定時間内に連続して撮影したN枚（N≧２、Ｎ：自然数）の画像のうち少なくともN−１枚目までを固定長符号に圧縮する画像圧縮手段と、この画像圧縮手段によって圧縮された画像を記憶する画像記憶手段と、前記N枚のうちM枚（N≧M≧２、M：自然数）の画像からM倍に画素数を増加させた画像を形成する画像合成手段と、この画像合成手段により形成された画像に所定の先鋭性向上処理を行なう画像補正手段を備えたものである。
【００１２】
第２の発明にかかる撮像装置は、前記画素ずらし手段は直線偏光を作る偏光子と、この偏光子と前記撮像素子との間に配設された磁気光学効果を有する第１の光学素子と、この第１の光学素子と前記撮像素子との間に配設された、光を独立した偏光成分に分割する第２の光学素子とを備え、前記撮像制御手段は前記第１の光学素子への磁界印加条件を変える構成にされ、前記画像補正手段は合成画像に所定のフィルタリングを行なう構成にされたものである。
【００１３】
第３の発明にかかる撮像装置は、前記画素ずらし手段は直線偏光を作る偏光子と、この偏光子と前記撮像光学系との間に配設された磁気光学効果を有する第１の光学素子と、この第１の光学素子と前記撮像光学系との間に配設された光を独立した偏光成分に分割する第２の光学素子とを備え、前記撮像制御手段は前記第１の光学素子への磁界印加条件を変更可能な構成にされ、前記画像補正手段は合成画像に所定のフィルタリングを行なう構成とされたものである。
【００１４】
第４の発明にかかる撮像装置は、前記画素ずらし手段は電界の強さに応じて透過光の屈折現象が変化する電気光学素子と偏光子とを備え、前記撮像制御手段は電気光学素子への電界印加条件を変更可能な構成にされ、前記画像補正手段は合成画像に所定のフィルタリングを行なう構成とされたものである。
【００１５】
第５の発明にかかる撮像装置は、前記画像補正手段は合成画像から注目画素を中心にしたK×L画素（K：自然数、L：自然数）からなる小領域を抽出する領域抽出手段と、小領域における中心画素がエッジ成分か否かを判定し線分方向ベクトルを検出するエッジベクトル検出手段と、エッジベクトル情報に従って所定のエッジ画素補正を行なう画素補正手段とを備えたものである。
【００１６】
【発明の実施の形態】
実施の形態１
以下、第１の発明の実施の形態１を図について説明する。図１は、本発明の実施の形態１を示す全体ブロック図であり、静止画像を撮影可能なディジタルスチルカメラとして実現した場合について説明している。図１において、1は画像を結像させるための撮像レンズ、3は画像を光電変換するための二次元に配列されたCCD等の撮像素子、2は撮像レンズ1と撮像素子3の間にほぼ平行に配置され、撮像レンズ1から撮像素子3への入射光の入射角度に微小変位をもたらす画素ずらし手段、4は画素ずらし手段2及び撮像素子3の動作を制御する撮像部制御回路、5はこれらレンズ１、画素ずらし手段2、撮像素子3及び撮像部制御回路4からなる撮像部である。
【００１７】
6は撮像素子3からのアナログ画像信号を逐次ディジタル信号に変換するA/D変換回路、7はA/D変換回路6からのディジタル信号を圧縮又は圧縮された符号化信号を伸長する画像圧縮伸長回路、8は画像圧縮伸長回路7で圧縮された符号化信号を記憶する画像メモリ、9は画像メモリ8から撮像素子3上の結像位置の微小にずれた複数の符号化信号を呼び出し画像圧縮伸長回路7で伸長した画像信号の内挿処理を行い高画素密度画像を形成する画像合成回路、10は画像合成回路9により形成された高画素密度画像を数ライン分を順次記憶する画像補正処理用メモリ、11は画像補正処理用メモリ10の内容について順次ＭＴＦ補正フィルタを施し、高解像度画像を生成する画像補正回路、12は画像圧縮伸長回路7、画像合成回路9、画像補正回路11及び撮像部制御回路4の動作を制御する画像処理制御回路、13は画像圧縮伸長回路7、画像メモリ8、画像合成回路9、画像補正処理用メモリ10、画像補正回路11及び画像処理制御回路12からなる画像処理部である。14は画像処理部13で生成された高解像度画像を次段の処理用に記憶する画像蓄積手段あるいは信号の性質を合せるインタフェース手段である。
【００１８】
図２は図１における撮像部5の詳細構成を示したものであり、画素ずらし手段として例えば本出願人により出願済みの特開昭６２ー２６９８４号公報に示される磁場によって異方性を示す磁気光学素子を用いた場合を例にとって説明する。15は磁界発生回路であり、16はそのコイルである。17は磁気光学効果を有する第１の光学素子として、コイル16により印加される磁界により偏向角を変化させることができるファラデー素子、18はこのファラデー素子17とレンズ１の間に設置された直線偏光を作る偏光素子、19はファラデー素子17と撮像素子3の間に設置された第２の光学素子としての、光を独立な偏向成分に分解する水晶板等の複屈折板である。
【００１９】
次に、動作について説明する。図１における画像処理部13のうち、画像圧縮伸長回路7は固定長ブロック符号法を用い、また、画像補正回路11として、例えば５×５のＭＴＦ補正フィルタを用いることとする。さらに、撮影は２枚の画像を連続して行い、２×２倍の画素密度を有する水平方向に対する高精細化画像を得る手順について説明する。
【００２０】
図１において、本発明に関わる高精細モードとして、水平方向２段階に1/2画素分の画素ずらしを行った２枚の撮影画像から高解像度の１枚の画像を形成する過程について説明する。高精細モードでの撮影が撮影者により設定され、図示しないレリーズスイッチの押し下げが行われ、同じく図示しないマンマシンインタフェースからカメラの全体制御を行う画像処理制御回路12に伝達されると、撮像部5では撮像部制御回路4が動作し磁界発生回路15における第１の磁界印加条件（例えば、印加磁界なし）での撮像動作を行う。
【００２１】
これにより撮影された画像は伝送路を経て撮像部5から画像処理部13へ伝送される。画像処理部13では、入力画像信号を逐次A/D変換回路6によってディジタル信号に変換する。画像圧縮伸長回路7では４×４画素からなるブロック単位に画像データを量子化し1/4の容量に圧縮し画像メモリ8に記憶させる。同様に磁界発生回路15における第２の磁界印加条件で水平方向に1/2画素分の画素ずらしをして撮影動作を行う。
【００２２】
次に、画像処理部13では画像メモリ8上に記憶されている第１及び第２の撮影画像の伸長を行い、画像合成回路9にて第２の印加磁界による撮像素子3上の結像ずれ位置、すなわち画素ずらし位置への内挿処理を行い、これにより形成された水平方向に対する高画素密度画像を画像補正処理用メモリ10に数ライン分を順次記憶させる。この時、画像のアスペクト比を保持する目的で画像補正処理用メモリ10には２ライン毎に同一ラインのデータの書き込みを行う。画像補正回路11では、画像補正処理用メモリ10の内容について順次ＭＴＦ補正フィルタを施し、これによって生成された高解像度画像を後段の画像蓄積あるいはインタフェース14へと順次転送する。
【００２３】
次に、図２の撮像部5の動作について図３をもとに詳細に説明する。図３中で、偏光子18、ファラデー素子17、複屈折板19を、それぞれＡ−Ａ線、Ｂ−Ｂ線、Ｃ−Ｃ線から見た図を各図４、図５、図６に示している。図３において、画像を結像させるためのレンズ1からの光が偏光子18に入射すると、図４に示す振幅方向Waの直線偏光が得られる。図３に示すHaはファラデー素子17に印加されている磁界の方向である。図４に示されている振動方向Waの直線偏光が、例えば鉛ガラスのようなファラデー素子17に入射すると、上記磁界の方向Haの印加磁界により上記直線偏光の偏光面が回転する。なお、ファラデー素子17に磁界の方向Haに進む直線偏光を入射させると、その透過光の偏光面が回転するが、その回転角θは次式により得られる。
【００２４】
θ＝ＲＩＨ ・・・・・・ 式 1
【００２５】
ここで、Iはファラデー素子17の厚さ、Hは磁界の強さ、Rはベルデ（Verdet）定数である。なお、上記数式１に関しては、例えば株式会社朝倉書店発行の「光学的測定ハンドブック」等に記載されている。図３において、回転角θが０度となる磁界の強さをHθ0とすると、H＝Hθの時には図４に示す振動方向Waの直線偏光が得られ、 H＝ Hθ0の時には、図５に示す振動方向Wθ0の直線偏光が得られる。図 ６に示すQは複屈折板19の光学軸である、図４に示す振動方向Waの直線偏光が複屈折板19に入射すると、図６に示す常光線Loが得られる。また、振動方向Wθ0の直線偏光が複屈折板19に入射すると、図６に示す異常光線LEが得られる。常光線Loと異常光線LEの距離をPとし、各図２及び図３に示す複屈折板19における上記Pを、P＝PH/2（PHは撮像素子3の水平画素ピッチを示す）に選ぶ。ファラデー素子17に印加される磁界の強さHの変化の位相は、図７(1)に示すフィールドシフトパルスに一致させる。
【００２６】
上述した動作により、この発明による撮像装置では、各Ａ、Ｂフィールドでの信号電荷蓄積を入射画像と撮像素子3の画素との相対的な位置に関して、PH/2だけ離れた位置で行うことができる。すなわち、ファラデー素子17に印加される磁界の強さHを時間的に変化させ、入射光学像と撮像素子3との相対的な位置関係を時間的に変化させることにより、空間サンプリング領域を増加できる。これに対応して図７(3)に示す信号読み出しパルスのタイミングも、上記PH/2に相当する時間Tだけずらしてある。その結果、図７(5)に示すように、この発明による撮像装置は各Ａ、Ｂフィールドを１フレームとした１周期で高画素密度化画像を得ることが可能になる。
【００２７】
本実施の形態では、説明の簡易化のため画素ずらし方向として水平方向すなわち一次元空間に対する座標について説明したが、同様な原理で画素ずらし位置を二次元的に行える。その際には、偏光子18、磁気光学効果を有する第１の光学素子、複屈折板19からなるｎ組の光学素子群を撮像系に配置しそれぞれの光学素子群の間に例えば、直線偏光を円偏光に変換する１／４波長板をｎ−１個挿入すればよい。上記ｎ組の光学素子群におけるｎ個の磁気光学効果を有する光学素子に印加する２値的な電圧をそれぞれ設定することにより２のｎ乗枚の画素ずらしした画像を得ることができる。
【００２８】
本撮像原理を用いて従来例と同様な対象画素を２ｘ２画素に高画素密度化した場合の高解像度化処理について、図を用いて詳細に説明する。すなわち、撮像部５は上記原理に基づいてｎ＝２となる構成をとり、これらの２組の光学素子群を各々排他的に第１の光学素子に印加磁界を与えた場合一方は図８における(x, y)=(1/2, 0)の○印への相対位置に画素ずらしを行い他方は(x, y)=(0, 1/2)の○印への相対位置に画素ずらしを行うように配置する。これにより上記排他的磁界印加の場合及び印加磁界なしの場合（(x, y)=(0, 0)の●印）及びいずれにも磁界を印加する場合（(x, y)=(1/2, 1/2)の○印）の４回の撮影動作によって２×２倍の高解像度化を前提とした撮影動作を実施できる。
【００２９】
これら４画面の撮影画像は、撮像部5からの転送データを順次A/D回路６においてA/D変換し図示しない色処理回路等を経て図示しない画素補間回路において各信号プレーン毎の画像として生成される。
【００３０】
画像圧縮伸長回路7では、これらの信号プレーン毎のデータを４ｘ４画素からなるブロックに分割し、固定長のブロック符号に変換し画像メモリ７に記憶する。
【００３１】
図９は、符号化アルゴリズムを示した図で、画像を図９(a)に示すような４×４のブロックに分割し符号化を実施する。図９(b)は符号化アルゴリズムを示したものである。図９(b)及び(c)より、原画像のブロック毎に内の各画素の信号レベルを代表させる代表信号レベルを指定するための基準レベルLAと、ブロック内の代表レベルの分布範囲を示す差分値LDを算出し、これらを元にブロック内の各画素の分解能成分を示す２段階の量子化値を求める。各画素に該当する量子化レベルを１ビットの符号で与えることにより、図９(d)に示す通り該当ブロックは入力データに比較して1/4固定のデータ容量に圧縮される。
【００３２】
こうして連続撮影した４画面目までの撮影画像を画像メモリ8に蓄積する。４画面目の画像データの符号化が終了すると、画像メモリ8に蓄積された４画面目までの画像を画像圧縮伸長回路7で伸長し読み出し、画像合成回路9上で図８の対応画素順に並べる。この時、画像圧縮伸長回路7では、図９(e)の復号アルゴリズムを用いることで伸長が実行される。
【００３３】
画像合成回路9で合成された高画素密度の画像は、画像補正回路11内で例えば図１０(a)に示されるＭＴＦ補正フィルタでＭＴＦ補正が行われる。図１０(b)は、図２４(a)のインパルス入力に対し本実施の形態の撮像装置で得られる出力値であり、機械的駆動部分あるいは大容量の画像メモリ8を設けることなく、また高価な高密度撮像素子3を用いることなく高画素密度かつ高解像度の撮像が可能になる。
【００３４】
また、本実施の形態においては、画像圧縮伸長回路7として固定長ブロック符号を用いたものを示したが、この限りでなく他の固定長の画像圧縮符号化方式を用いることでも同様の効果が得られる。
【００３５】
また、本実施の形態においては、画像補正回路11として、例えば図１０(a)に示す５×５画素からなるマトリクスのＭＴＦ補正フィルタを用いる例を示したが、撮像系の入力特性を考慮して係数及びマトリクスサイズを変更することが望ましい。
【００３６】
また、本実施の形態においては、静止画像を連続的に取り込み可能なディジタルスチルカメラでの構成例を示したが、動画像を取り込み可能なディジタルムービーにおける高精細静止画撮影モードとして構成可能であることは言うまでもない。
【００３７】
また、本実施の形態では、磁界発生回路15におけるｎ種類の印加磁界条件による撮影画像を全て固定長圧縮符号化し画像メモリ8に記憶するよう構成したが、第ｎの印加磁界条件による撮影及び画像処理部13への撮影データ転送に、画像メモリ8に蓄積された第ｎ―１回目までの圧縮された撮影データの画像圧縮伸長回路7による伸長処理を同期させ画像合成回路9に転送することにより、第ｎ回目の撮影画像を圧縮及び伸長しない構成及び制御にすることで、処理時間の短縮を図ることが可能である。
【００３８】
実施の形態２
以下、本発明の実施の形態２を図について説明する。実施の形態２の全体ブロック図は図１と同様であり、撮像部5については、実施の形態１と構成及び動作が同様である。また、画像処理部13のうち、画像圧縮伸長回路7における構成及び動作は実施の形態１と同様であるので省略する。
【００３９】
図１１は、図１の画像補正処理用メモリ10と画像補正回路11の詳細構成を示した図である。図１１において、21は画像合成回路9からＲＧＢの点順次データがラスタ走査順に入力される入力端子、10は３ライン分の画像データを蓄積する画像補正処理用メモリとしてのラインバッファで、ラインバッファ10a、ラインバッファ10b、ラインバッファ10cからなる。22は各画素について輝度値を算出する輝度抽出回路、23は輝度抽出回路22からの輝度データが入力され、ウィンドウ27内の平均輝度値を算出する平均値算出回路、24は輝度抽出回路22から輝度データが入力され最大輝度値Ｉmax及び最小輝度値Ｉminを算出する最大輝度差抽出回路、25はウィンドウ27と入力されたウィンドウ27内の平均輝度値をしきい値にして、ウィンドウ27を構成する各画素を２値化する２値化処理回路26とからなるエッジ検出回路、28は予めエッジパターンが記憶されているパターンメモリ、29は最大輝度差抽出回路24からウィンドウ27内の最大輝度差値が入力され、エッジ検出回路25からはウィンドウ27の中心画素が線分のエッジ成分に該当するか否かの判定結果が入力される。これらの情報と、ラインバッファ10から入力される元画素値から線分のエッジ成分を選択的に解像度補償する階調補間回路である。
【００４０】
次に、画像補正回路11の動作について説明する。図１における画像合成回路9から図１１の入力端子21にＲＧＢの点順次データがラスタ走査順に入力される。入力された画像データは最初の１ライン分のデータからラインバッファ10c、ラインバッファ10b、ラインバッファ10aに順次記憶され、３ライン分の画像データを蓄積する。この時、各ラインバッファ10はFIFOメモリの如き振る舞いをする。各ラインバッファ10からは主走査方向に各々３画素分のデータが出力し３×３画素からなるウィンドウ27を形成すると共に、輝度抽出回路22において各画素について輝度値を算出する。この時の算出方法は、例えば式２において簡易的に求められる。
【００４１】
Ｉ(x, y) ＝（Ｒ(x, y)＋２×Ｇ(x, y)＋Ｂ(x, y)）／４ ・・・ 式 2
【００４２】
ここで、 Ｒ(x, y)、Ｇ(x, y)、Ｂ(x, y)はウィンドウ27内の座標(x, y)におけるＲ成分、Ｇ成分、Ｂ成分の信号レベル値であり、Ｉ(x, y)は輝度値である。ここで算出した９画素分の輝度データは、一方で平均値算出回路23に入力され、ウィンドウ27内の平均輝度値が例えば式３に従って計算される。
【００４３】
Ｉav ＝（ΣＩ(i, j)）／９ ・・・・・ 式 3
【００４４】
ここで、Ｉavは平均輝度値、Σは｛(i, j) | ( i=0, 1, 2; j=0, 1, 2)}に亘るＩ(x, y)の和である。これら画素毎の輝度値とウィンドウ27内の平均輝度値はエッジ検出手段25に出力される。
【００４５】
また、輝度抽出回路22において算出した９画素分の輝度データは、他方で最大輝度差抽出回路24に入力され最大輝度値Ｉmax及び最小輝度値Ｉminが算出される。
【００４６】
次に、エッジ検出回路25について説明する。エッジ検出回路25では、入力されたウィンドウ27の平均輝度値をしきい値にして、ウィンドウ27を構成する各画素を２値化処理回路26において２値化する。２値化された信号は、パターンメモリ28に予め記憶されるエッジパターンに該当する複数のビットパターンと比較され、ウィンドウ27の中心画素がエッジであるか否かを判定される。図１１は、例えば右上方向に向かってエッジの方向ベクトルが存在する例を示しており、エッジパターンとはウィンドウ27内をエッジ領域が横断する場合を規定し、孤立点に該当するものは除いて定義する。このようにして、ウィンドウ27内のエッジを含む線分のみが検出できる。
【００４７】
次に、階調補間回路29について説明する。階調補間回路29では、最大輝度差抽出回路24からウィンドウ27内の最大輝度差値が入力される。また、エッジ検出回路25からはウィンドウ27の中心画素が線分のエッジ成分に該当するか否かの判定結果が入力される。これらの情報と、ラインバッファ10から入力される元画素値から線分のエッジ成分を選択的に解像度補償する。即ち、ウィンドウ27の中心画素が線分のエッジ成分であり、且つ最大輝度差値が式４を満たす場合、例えばに示す高周波強調フィルタリングを実施した結果がインタフェース14に出力される。逆にこれらの条件を満たさない場合、元画素値がそのままインタフェース14に出力される。
【００４８】
Ｉmax_ーmin ≧ TH1 ・・・・・ 式４ 但し、TH1は所定のしきい値
【００４９】
なお、本実施の形態では、入力データのＲ成分、Ｇ成分、Ｂ成分から算出される輝度値を線分のエッジ判定手段に用いたが、図１１のブロック図において輝度抽出回路22を外したものを3セット用意しておき、各色プレーン毎に個別に実施してもよい。また、線分のエッジ判定用にパターンメモリ28を使用しているが、これを用いる代わりにAND、ORによる論理回路で実現してもよい。また、本実施の形態では、３×３画素からなるウィンドウ27について高精細化処理を行っているが、ウィンドウサイズはこの限りではない。
【００５０】
実施の形態３
以下、本発明の実施の形態３を図について説明する。実施の形態３の全体ブロック図は図１と同様である。
【００５１】
実施の形態３では撮像部5の構成が実施の形態１と異なる。図１２は実施の形態３における撮像部5の詳細構成を示したものであり、15は磁界発生回路であり、16はそのコイルである。17は磁気光学効果を有する第１の光学素子として、コイル16により印加される磁界により偏向角を変化させることができるファラデー素子、18はこのファラデー素子17と撮像素子3の間に設置された直線偏光を作る偏光素子、19はファラデー素子17とレンズ１の間に設置された第２の光学素子としての、光を独立な偏向成分に分解する水晶板等の複屈折板である。即ち偏光素子18と複屈折板19の設置位置が実施の形態１とは逆になっている。
【００５２】
次に動作について説明する。撮像部5について説明する。図１３において、画像を結像させるためのレンズ1からの光が複屈折板19に入射すると、図１４に示すように入射光が常光線Loと異常光線LEに分割される。図１４中に常光線Loと異常光線LEの振動方向をそれぞれ矢印で示している。図１３及び図１４に示すQは複屈折板19の光学軸を示す。図１３に示すHaはファラデー素子17に印加される磁界の方向である。図１４に示す常光線Lo、異常光線LEが、例えば鉛ガラスのようなファラデー素子17に入射すると、上記磁界の方向の印加磁界により上記直線偏光の偏光面が回転する。なお、ファラデー素子17に磁界の方向Haに進む直線偏光を入射させると、その透過光の偏光面が回転するが、その回転角θは式１により得られる。
【００５３】
式１において、回転角θが０度となる磁界の強さをH０、９０度となる磁界の強さをH90とすると、H＝H０の時には、前述の常光線Lo、異常光線LEに対応した光軸の振動方向は、図１５に示すLo0、LE0のように矢印で表わされる。H＝H90の時には、前述のLo、LEに対応した光軸の振動方向は、図１５のLo90、LE90に示すように矢印で表される。
【００５４】
ここで、偏光子18として、図１６のWaに示す方向に振動する光の成分のみ透過させる偏光子18を用いると、H＝Hoの時はLE0で示す光線が透過され、H=H90の時にはLo90で示す光線が透過される。図１３に示す常光線Loと異常光線LEの距離をPとし、複屈折板19における上記PをP＝PH／2（PHは撮像素子3の水平画素ピッチを示す）に選ぶ。ファラデー素子17に印加される磁界の強さHの変化の位相は、図 ７(1)に示すフィールドシフトパルスに一致させる。上述した動作により、この発明による撮像装置では、各Ａ、Ｂフィールドでの信号電荷蓄積を入射画像と撮像素子3の画素との相対的な位置に関して、PH／2だけ離れた位置で行うことができる。すなわち、ファラデー素子17に印加される磁界の強さHを時間的に変化させ、入射光学像と撮像素子3との相対的な位置関係を時間的に変化させることにより、空間サンプリング領域を増加できる。これに対応して図７(3)に示す信号読み出しパルスのタイミングも、上記PH／2に相当する時間Tだけずらしてある。その結果、図７(5)に示すように、この発明による撮像装置は各Ａ、Ｂフィールドを１フレームとした１周期で高画素密度化画像を得ることが可能になる。
【００５５】
本実施の形態における撮像部５に関しては、実施の形態１と同様に水平方向への一次元的な画素ずらしによる高画素密度化について説明を行ったが、実施の形態１と同様に二次元的な拡張が可能である。その際には、偏光子18、磁気光学効果を有する第１の光学素子、複屈折板19からなるｎ組の光学素子群を撮像系に配置しそれぞれの光学素子群の間に例えば、直線偏光を円偏光に変換する１／４波長板をｎ−１個挿入すればよい。上記ｎ組の光学素子群におけるｎ個の磁気光学効果を有する光学素子に印加する２値的な電圧をそれぞれ設定することにより２のｎ乗枚の画素ずらしした画像を得ることができる。
【００５６】
実施の形態４
以下、本発明の実施の形態４を図について説明する。実施の形態４の全体ブロック図は図１と同様であり、撮像部5の構成が実施の形態１と異なる。図１７は実施の形態４における撮像部5の詳細構成を示したものである。この図において、レンズ１、撮像素子3、撮像部制御回路4、偏光子18は図１２に示す実施の形態３と同様のものである。30は電界を発生する電界発生回路、31は電界の強さに応じて透過光の屈折現象が変化する電気光学素子で、レンズ１と偏光子18の間に設置される。
【００５７】
次に動作について説明する。撮像部5について説明する。図１８中の電気光学素子31及び偏光子18をＡ−Ａ、Ｂ−Ｂ、Ｃ−Ｃの方向から見たものをそれぞれ図１９、図２０、図２１に示す。図１８において、画像を結像するためのレンズ１から電気光学素子31に入射する自然光は図１９に示すように互いに直交する２つの偏光成分LX、LYであらわすことができる。電気光学素子31に電界が印加されていない場合は、図２０のLX0、LY0に示す偏光成分が前記LX、LYが直進した位置に観測される。電気光学素子31に所定の電界E1が印加されると該電気光学素子31は複屈折現象を呈し、図２０のLX1、LY1に示す偏光成分が観測される。ここで、LX1は複屈折現象における常光線としてLXが直進した位置に、LY1は複屈折現象の異常光線としてLYが距離Pだけずれ対置に観測される。ただし、P＝PH／2（PHは撮像素子３の水平画素ピッチを示す）となるような電界E1を電界発生回路30により電気光学素子31に印加する。
【００５８】
図７は上記撮像装置における動作タイミング図である。図７(1)はフィールドシフトパルス、図７(2)は電気光学素子31に印加される電界Eの強さを示す図、図７(3)は信号読み出しパルス、図７(4)は撮像素子3の出力信号を示す図、図７ (5)はＡ、Ｂフィールドを１フレームとして見た場合の図である。電界Eの強さの変化の位相を図７(1)のフィールドシフトパルスに一致させる。
【００５９】
上述の動作により、この実施の形態の撮像装置は、 Ａ、Ｂフィールドでの信号電荷蓄積を入射画像と撮像素子3の画素との相対的な位置に関してPH／2だけ離れた位置で行うことができる。これに対応して図７(3)に示す信号読み出しパルスのタイミングもPH／2に相当する時間Tだけずらしてある。その結果、図７ (5)に示すようにこの撮像装置はＡ、Ｂフィールドを１フレームとした１周期で高画素密度化した画像を得ることができる。なお、画像処理部13の構成及び動作は実施の形態１と同様である。
【００６０】
また、本実施の形態における撮像部５に関しては、実施の形態１と同様に図20における異常光線LY1方向への一次元的な画素ずらしによる高画素密度化について説明を行ったが、実施の形態１と同様な考え方で二次元的な拡張が可能である。その際には、偏光子18、電気光学素子31からなるｎ組の光学素子群を撮像系に配置しそれぞれの光学素子群の間に例えば、直線偏光を円偏光に変換する１／４波長板をｎ−１個挿入すればよい。上記ｎ組の光学素子群におけるｎ個の電気光学素子に印加する２値的な電圧をそれぞれ設定することにより２のｎ乗枚の画素ずらしした画像を得ることができる。
【００６１】
【発明の効果】
請求項１記載の発明に係わる撮像装置よれば、画素ずらしによって得られた複数の画像を画像圧縮伸長手段で固定長符号に圧縮して画像記憶手段に記憶しているため、高画素密度化処理のための大容量の記憶装置が不要であり、低価格に構成できるという効果がある。
【００６２】
また、画像合成により生じるＭＴＦの低下に対して、画像補正手段で画像のエッジ成分の周波数特性改善処理を行うため、画素密度の増加に追従する高解像度化された高画質の撮影画像が得られるという効果がある。
【００６３】
以上のように、安価な低密度撮像素子を用いて高解像度の撮像装置を得ることができるという優れた効果を有するものである。
【００６４】
また、請求項２乃至請求項４記載の発明に係わる撮像装置よれば、画素ずらし手段としてモータ等による機械的駆動制御が不要なため小電力且つ簡易な装置構成で、ずらし精度の高い画素ずらし画像を入力できるという効果がある。
【００６５】
また、第５記載の発明においては、画素補正手段における補正処理を線分のエッジ成分のみを対象に選択的に行っているため、撮像部から混入する高周波ノイズを強調することなく解像度補正を行えるため、より高画質化できるという効果がある。
【図面の簡単な説明】
【図１】 実施の形態１に係る撮像装置の構成ブロック図である。
【図２】 実施の形態１に係る撮像部の構成図である。
【図３】 実施の形態１に係る撮像部の原理図である。
【図４】 実施の形態１に係る動作を示す図である。
【図５】 実施の形態１に係る動作を示す図である。
【図６】 実施の形態１に係る動作を示す図である。
【図７】 実施の形態１に係る撮像部の動作を示すタイミングチャートである。
【図８】 実施の形態１に係る撮像部の画素ずらし位置を示す図である。
【図９】 実施の形態１に係る固定長符号による画像圧縮アルゴリズムを示す図である。
【図１０】 実施の形態１に係るＭＴＦ補正フィルタリングの一例を示す図である。
【図１１】 実施の形態２に係る画像処理部の構成ブロック図である。
【図１２】 実施の形態３に係る撮像部の構成図である。
【図１３】 実施の形態３に係る撮像部の原理図である。
【図１４】 実施の形態３に係る動作を示す図である。
【図１５】 実施の形態３に係る動作を示す図である。
【図１６】 実施の形態３に係る動作を示す図である。
【図１７】 実施の形態４に係る撮像部の構成図である。
【図１８】 実施の形態４に係る撮像部の原理図である。
【図１９】 実施の形態４に係る動作を示す図である。
【図２０】 実施の形態４に係る動作を示す図である。
【図２１】 実施の形態４に係る動作を示す図である。
【図２２】 従来の撮像装置の構成ブロック図である。
【図２３】 従来の撮像装置の撮像部の構成図である。
【図２４】 従来の撮像装置で撮影した高画素密度化原理の説明図である。
【符号の説明】
1：レンズ 2：画素ずらし手段 3：撮像素子 4：撮像部制御回路
5：撮像部 7：画像圧縮伸長回路 8：画像メモリ 9：画像合成回路
10a：ラインバッファ１ 10b：ラインバッファ２ 10c：ラインバッファ３
11：画像補正回路 12：画像処理制御回路 13：画像処理部
14：インタフェース 15：磁界発生回路 16：コイル
17：磁気光学素子 18：偏光子 19：複屈折板 22：輝度抽出回路
23：平均値算出回路 24：最大輝度差抽出回路 25：エッジ検出手段
26：２値化処理回路 27：ウィンドウ 28：パターンメモリ
29：階調補間回路 30：電界発生回路 31：電気光学素子
103：透明平板部材 104：ベースユニット 105a：圧縮ばね
105b：圧縮ばね 105c：圧縮ばね 106a：ばね押さえ板
106b：ばね押さえ板 106c：ばね押さえ板 107a：モータ
107b：モータ 108：作動部 108a：第１作動部
108b：第２作動部 110：画像合成メモリ

Claims (5)

1. 被撮像物からの反射光を撮像光学系により、二次元的に配置された複数の画素で構成された撮像素子に導き、この撮像素子により光電変換して画像信号を生成する撮像装置において、前記撮像光学系からの入射光の前記撮像素子への入射位置を微小画素分変位させる画素ずらし手段と、この画素ずらし手段の画素変位量を制御する撮像制御手段と、所定時間内に連続して撮影したN枚（N≧２、Ｎ：自然数）の画像のうち少なくともN−１枚目までを固定長符号に圧縮する画像圧縮手段と、この画像圧縮手段によって圧縮された画像を記憶する画像記憶手段と、前記N枚のうちM枚（N≧M≧２、M：自然数）の画像からM倍に画素数を増加させた画像を形成する画像合成手段と、この画像合成手段により形成された画像に所定の先鋭性向上処理を行なう画像補正手段を備えたことを特徴とする撮像装置。
2. 前記画素ずらし手段は直線偏光を作る偏光子と、この偏光子と前記撮像素子との間に配設された磁気光学効果を有する第１の光学素子と、この第１の光学素子と前記撮像素子との間に配設された、光を独立した偏光成分に分割する第２の光学素子とを備え、前記撮像制御手段は前記第１の光学素子への磁界印加条件を変更可能な構成にされ、前記画像補正手段は合成画像に所定のフィルタリングを行なう構成とされたことを特徴とする請求項１記載の撮像装置。
3. 前記画素ずらし手段は直線偏光を作る偏光子と、この偏光子と前記撮像光学系との間に配設された磁気光学効果を有する第１の光学素子と、この第１の光学素子と前記撮像光学系との間に配設され、光を独立した偏光成分に分割する第２の光学素子とを備え、前記撮像制御手段は前記第１の光学素子への磁界印加条件を変更可能な構成にされ、前記画像補正手段は合成画像に所定のフィルタリングを行なう構成とされたことを特徴とする請求項１記載の撮像装置。
4. 前記画素ずらし手段は電界の強さに応じて透過光の屈折現象が変化する電気光学素子と偏光子とを備え、前記撮像制御手段は電気光学素子への電界印加条件を変更可能な構成にされ、前記画像補正手段は合成画像に所定のフィルタリングを行なう構成とされたことを特徴とする請求項１記載の撮像装置。
5. 前記画像補正手段は合成画像から注目画素を中心にしたK×L画素（K：自然数、L：自然数）からなる小領域を抽出する領域抽出手段と、小領域における中心画素がエッジ成分か否かを判定し線分方向ベクトルを検出するエッジベクトル検出手段と、エッジベクトル情報に従って所定のエッジ画素補正を行なう画素補正手段とを備えたことを特徴とする請求項１乃至請求項４の何れかに記載の撮像装置。

Images