JP3190220B2

JP3190220B2 - 撮像装置

Info

Publication number: JP3190220B2
Application number: JP31682594A
Authority: JP
Inventors: 栄二山田; 哲男岩木
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1994-12-20
Filing date: 1994-12-20
Publication date: 2001-07-23
Anticipated expiration: 2016-07-23
Also published as: US5754226A; JPH08172568A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像板の画素構成を超
える解像度を得ることができる撮像装置に関する。

【０００２】

【従来の技術】撮像板の画素構成を超える解像度を得る
ための撮像装置としては、図９に示すように、２枚の撮
像板２１，２２を用いるものが従来から提案されている
（特公昭５６−４０５４６号公報）。この撮像装置は、
撮像光Ｌをハーフミラー２３によって２分し、一方の撮
像光Ｌは一方の撮像板２１の受光面に結像させ、他方の
撮像光Ｌはミラー２４を介して他方の撮像板２２の受光
面に結像させるようになっている。これらの撮像板２
１，２２の受光面は、同一の画素構成を有し、同一倍率
で撮像光Ｌを結像させる。ただし、これらの受光面は、
撮像光Ｌが水平方向に０．５画素だけずれた位置に結像
されるように配置されている。また、撮像板２１，２２
は、駆動信号発生部２５から送られて来る位相が１８０
度ずれた駆動信号φ1，φ2にそれぞれ同期して動作す
る。そして、これらの撮像板２１，２２から出力される
画像を合成信号処理部２６で水平方向の１画素ごとに交
互に挿入することにより画像を合成する。

【０００３】上記合成信号処理部２６で合成された画像
は、水平方向の空間標本化間隔が１／２に狭まるので、
各撮像板２１，２２の本来の解像度に比べて２倍の水平
解像度を得ることができる。また、撮像光Ｌを垂直方向
に０．５画素だけずれた位置に結像させれば、垂直解像
度を２倍に向上させることができる。

【０００４】撮像板の画素構成を超える解像度を得るた
めの他の撮像装置としては、図１０に示すように、１枚
の撮像板３１を時分割で用いるものも従来から提案され
ている（特開昭６１−２５１３８０号公報）。この撮像
装置は、撮像光Ｌが光学系３２を介して撮像板３１の受
光面に結像する際に、結像位置変位部３３の作用により
光学系３２又は撮像板３１が変化して結像位置を変位さ
せることができるようになっている。そして、制御部３
４がこの結像位置変位部３３を制御する。即ち、この制
御部３４の制御により結像位置が基準位置に設定される
と、撮像板３１が１枚目の画像を撮像する。また、この
制御部３４の制御により結像位置が基準位置から水平方
向に０．５画素ずれ、次に結像位置が基準位置から垂直
方向に０．５画素ずれ、最後に結像位置が基準位置から
水平方向と垂直方向にそれぞれ０．５画素ずれると、各
結像位置ごとに撮像板３１が２枚目〜４枚目の各画像を
撮像する。このようにして撮像板３１が撮像した４枚の
画像は、Ａ／Ｄ変換部３５に送られて順次ディジタル信
号に変換されて画像メモリ３６に蓄積される。そして、
この画像メモリ３６に蓄積された４枚の画像から各画素
を交互に出力することにより１枚の画像に合成する。

【０００５】上記画像メモリ３６から出力された合成画
像は、水平方向と垂直方向の空間標本化間隔がそれぞれ
１／２に狭まるので、撮像板３１の本来の解像度に比べ
てそれぞれ２倍の水平解像度と垂直解像度を得ることが
できる。

【０００６】撮像板の画素構成を超える解像度を得るた
めのさらに他の撮像装置としては、図１１に示すよう
に、撮像板４１に自然に加わる変動を利用するものも従
来から提案されている（特開平４−１７２７７８号公
報）。この撮像装置は、撮像板４１で撮像した画像を順
次Ａ／Ｄ変換部４２に送ってディジタル信号に変換し画
像メモリ４３に蓄積させる。そして、所定枚数（４枚以
上）の画像がこの画像メモリ４３に蓄積されると、ここ
から１枚ずつ画像を選択し、それぞれ基準画像として補
間画像生成部４４に送る。補間画像生成部４４では、基
準画像が送られて来るたびに、この基準画像の各画素を
水平方向に０．５画素と垂直方向に０．５画素と水平方
向及び垂直方向に０．５画素ずつ変位させた３枚の補間
画像を生成し、それぞれ高相関画像検索部４５に送る。
高相関画像検索部４５では、補間画像が送られて来るた
びに、画像メモリ４３に蓄積された基準画像以外の全て
の画像のうちでこの補間画像と最も相関度の高い画像を
検索する。このようにして補間画像生成部４４に送られ
た１枚の基準画像と、この基準画像に基づいて高相関画
像検索部４５で検索された３枚の画像は、合成部４６に
送られる。そして、この合成部４６において、基準画像
の各画素間に３枚の画像の各画素がそれぞれ内挿される
ことにより１枚の画像が合成される。

【０００７】上記合成部４６で合成される画像も、水平
方向と垂直方向の空間標本化間隔がそれぞれ１／２に狭
まるので、撮像板４１の本来の解像度に比べてそれぞれ
２倍の水平解像度と垂直解像度を得ることができる。

【０００８】

【発明が解決しようとする課題】ところが、図９に示し
た従来の撮像装置は、解像度を２倍にするために本来の
２倍の数の撮像板２１，２２が必要となり、光学系にハ
ーフミラー２３なども必要となるため、装置が高価にな
ると共に小型軽量化も困難になるという問題があった。

【０００９】また、図１０に示した従来の撮像装置は、
結像位置変位部３３が結像位置を正確に０．５画素ずつ
変位させなければ、合成した画像に歪みが生じることに
なるので、結像位置変位部３３の機構を精度の高いもの
にする必要があり、装置が高価になるという問題があっ
た。また、この撮像装置では、１枚の撮像板３１を時分
割で用いるために、合成する各画像を撮像する間に被写
体が動いたり手振れなどによって撮像装置が動いたりす
ると、これらの画像にずれが生じる。そして、この手振
れなどによる画像のずれが生じた場合にも、合成画像に
歪みが生じることになり、しかも、このずれが大きくな
ると、合成時に画素の順序が入れ替わるおそれもあり異
常な合成画像になるという問題もあった。

【００１０】さらに、図１１に示した従来の撮像装置
は、撮像板４１に自然に加わる変動を利用するものであ
るため、所定枚数の画像の中から基準画像に対して水平
方向や垂直方向にそれぞれ０．５画素ずつずれた３枚の
画像が必ず得られるとは限らない。従って、このような
３枚の画像を高い確率で得ようとすると、画像メモリ４
３に蓄積する画像の枚数を増加しなければならず、この
画像メモリ４３の大容量化により装置が高価になるとい
う問題があった。しかも、撮像装置が完全に固定されて
いる場合には、この画像メモリ４３に蓄積する画像の枚
数を増加させても意味がなく、一般的な撮影の場合に
も、被写体が動いたり照明の照度変化などにより画像間
の相関度は時間の経過と共に低下するのが普通であるた
め、この画像メモリ４３に蓄積する画像の枚数を多くす
るほどより相関度の高い画像が得られるという保証はな
い。そして、このように画像メモリ４３に蓄積する画像
の枚数を多くすると、これらの画像を撮像する間に被写
体の一部が動く可能性も高くなり、このような画像を合
成すると、被写体が動いた部分で画素が入れ替わり異常
な合成画像になるという新たな問題も発生する。

【００１１】また、図１１に示した従来例では、撮像板
４１で撮像した各画像についての相関度を検索してい
る。しかし、このような合成前の画像には、撮像板４１
の各画素により空間標本化される際に生じる折り返し歪
みによるモアレなどが現れるので、相関度を正確に判定
することが困難になり、この相関度の誤検出によってか
えって解像度が低下する場合があるという問題も発生し
ていた。

【００１２】ここで、合成前の画像に折り返し歪みが発
生する原因について説明する。一般的に、撮像装置は、
撮像板の受光面で受光した受光像を各画素によって空間
標本化するので、この受光像の空間周波数の帯域を標本
化定理を考慮して予め制限しておく必要があり、このた
めに水晶ローパスフィルタのような光学フィルタを用い
ている。

【００１３】そこで、まず、解像度を向上させない通常
の撮像装置の場合について説明する。図１２は、図示左
側に撮像板の受光面における水平方向の位置に対する受
光像の輝度変化の波形図（空間領域）を示すと共に、図
示右側にこの輝度変化を空間周波数の周波数スペクトル
（周波数領域）として示している。また、この撮像板の
受光面における水平方向の画素間隔をＰHとする。この
場合、周波数スペクトルに示すように、水晶ローパスフ
ィルタなどが予め受光像における空間周波数１／２ＰH
以上の周波数成分を除去しているので、この受光像を空
間周波数１／２ＰHの２倍の標本化周波数１／ＰH（標本
化間隔ＰH）で空間標本化しても、図１３の周波数スペ
クトルに示すように、破線で示す折り返し成分Ａは、空
間周波数１／２ＰH以下の領域には現れず、折り返し歪
み（エイリアシング[aliasing]）は発生しない。なお、
このような画素による空間標本化の際には、この画素の
感光部にある程度の幅があるために、アパーチャ効果に
よる高域の減衰が発生する。

【００１４】これに対して、画像の合成により水平方向
の解像度を２倍に向上させようとする場合には、図１４
の周波数スペクトルに示すように、水晶ローパスフィル
タなどが受光像における空間周波数１／ＰH以上の周波
数成分のみを除去し、空間周波数１／２ＰH〜１／ＰHの
領域の信号成分を除去しない。なぜなら、水晶ローパス
フィルタなどが空間周波数１／２ＰH以上の周波数成分
を除去した受光像からは、標本化周波数を高めても標本
化間隔ＰH以上の解像度を得ることはできなくなるから
である。従って、空間周波数１／ＰH以上の周波数成分
のみを除去した受光像を標本化周波数１／ＰH（標本化
間隔ＰH）で空間標本化すると、図１５の周波数スペク
トルに示すように、破線で示す折り返し成分Ａが周波数
１／２ＰH以下の領域に現れ、ハッチング部分が折り返
し歪みＡNとなる。そして、この場合の実際の信号は、
実線部分にこのハッチング部分の折り返し歪みＡNを加
えたものとなる。また、受光像の結像位置を水平方向に
０．５画素（ＰH／２）ずらして空間標本化を行った場
合にも、図１６の周波数スペクトルに示すように、ハッ
チング部分に折り返し歪みＡNが発生する。なお、これ
らの場合にも、空間標本化の際にアパーチャ効果による
高域の減衰が発生している。

【００１５】ただし、図１５と図１６に示した空間標本
化された画像は、空間標本化の標本点が０．５画素（Ｐ
H／２）ずつずれているために、空間周波数２ｎ／ＰH
（ｎは整数）を中心とする信号成分は同位相になるが、
空間周波数（２ｎ＋１）／ＰHを中心とする信号成分は
位相が１８０度ずれる。即ち、空間周波数０を中心とす
る本来の信号成分は同位相であるが、空間周波数１／Ｐ
Hを中心とする折り返し成分Ａは、輝度の振幅が等しく
位相が１８０度ずれたものとなる。従って、図１７に示
すように、これらの画像の各画素を交互に配置して標本
化周波数が２／ＰH（標本化間隔ＰH／２）となる画像を
合成すると、双方の折り返し成分Ａが互いに相殺され
て、空間周波数１／ＰH以下の領域に折り返し歪みＡNが
現れない。なお、図１７の空間周波数１／ＰH以上の領
域に示す折り返し成分Ａは、空間周波数２／ＰHを中心
とする相殺されない信号成分である。

【００１６】この結果、高解像度化を図るために水晶ロ
ーパスフィルタなどによって除去する周波数成分を高域
に限定すると、合成された画像については問題はない
が、合成前の各画像には、折り返し歪みＡNが生じモア
レなどが現れることになる。従って、このような合成前
の各画像について上記のように相関度の判定を行うと、
折り返し歪みＡNの影響によって判定が不正確になるお
それが生じる。

【００１７】本発明は、上記従来の問題を解決するもの
で、安価な撮像板を結像位置を変位させながら時分割で
用いて、被写体の動きや手振れなどによる影響を受ける
ことなく、しかも結像位置を高精度で変位させなくても
解像度の高い画像を得ることができる撮像装置を提供す
ることを目的とする。

【００１８】

【課題を解決するための手段】本発明の撮像装置は、多
数の画素が水平方向にＰH間隔及び垂直方向にＰV間隔で
配列された受光面を有し、所定期間内に該受光面で受光
した受光像を１枚の画像として撮像する撮像板と、被写
体からの光を該撮像板の受光面に受光像として結像させ
る結像手段と、該結像手段が受光像を結像させる結像位
置を基準位置に対して水平方向にほぼＰH×ｉ／Ｈ（Ｈ
は１以上の所定の整数、ｉは０以上Ｈ未満の整数）及び
垂直方向にほぼＰV×ｊ／Ｖ（Ｖは１以上の所定の整
数、ｊは０以上Ｖ未満の整数）だけ変位させることがで
きる（ただし、ｉ＝ｊ＝０の場合を除く）結像位置変位
手段と、該撮像板がＮ（＝Ｈ×Ｖ、ただしＮは２以上の
整数）枚の画像を撮像する間において、該撮像板が１枚
の画像を撮像するたびに、該結像位置変位手段を制御し
て、次の画像の結像位置を前回までの結像位置とはｉと
ｊの組み合わせが異なる位置に順次変位させる結像位置
変位制御手段と、実画素には存在しない画素を補間処理
により求める手段を有し、該撮像板が撮像したＮ枚の画
像のうちのいずれか１枚を基準画像とし、該基準画像を
除くＮ−１枚の各画像について、基準画像に対する変位
を、実画素および補間処理によって求められた画素を利
用して、動きベクトルとして検出する動きベクトル検出
手段と、該撮像板が撮像した基準画像を除くＮ−１枚の
各画像について、該動きベクトル検出手段が検出した該
画像の動きベクトル分と、基準画像に対する該画像の結
像位置の変位分との合成分だけ各画素を変位させ、Ｎ−
１枚の全ての画像の該変位された画素を基準画像の各画
素間に内挿して１枚の画像を合成する画像合成手段とを
備えたものであり、そのことにより上記目的が達成され
る。

【００１９】また、本発明の撮像装置は、多数の画素が
水平方向にＰH間隔及び垂直方向にＰV間隔で配列された
受光面を有し、所定期間内に該受光面で受光した受光像
を１枚の画像として撮像する撮像板と、被写体からの光
を該撮像板の受光面に受光像として結像させる結像手段
と、該結像手段が受光像を結像させる結像位置を基準位
置に対して水平方向にほぼＰH×ｉ／Ｈ（Ｈは１以上の
所定の整数、ｉは０以上Ｈ未満の整数）及び垂直方向に
ほぼＰV×ｊ／Ｖ（Ｖは１以上の所定の整数、ｊは０以
上Ｖ未満の整数）だけ変位させることができる（ただ
し、ｉ＝ｊ＝０の場合を除く）結像位置変位手段と、該
撮像板がＮ（＝Ｈ×Ｖ、ただしＮは２以上の整数）枚の
画像を撮像する間において、該撮像板が１枚の画像を撮
像するたびに、該結像位置変位手段を制御して、次の画
像の結像位置を前回までの結像位置とはｉとｊの組み合
わせが異なる位置に順次変位させる結像位置変位制御手
段と、実画素には存在しない画素を補間処理により求め
る手段を有し、該撮像板が撮像したＮ枚の画像のうちの
いずれか１枚を基準画像とし、該基準画像を除くＮ−１
枚の各画像について、該画像の各画素を水平方向及び／
又は垂直方向に信号処理により変位させた変位画像のう
ちで基準画像に対する相関度が最も高い変位画像の変位
を、実画素および補間処理によって求められた画素を利
用して、動きベクトルとして検出する動きベクトル検出
手段と、該撮像板が撮像した基準画像を除くＮ−１枚の
各画像について、該動きベクトル検出手段が検出した該
画像の動きベクトル分と、基準画像に対する該画像の結
像位置の変位分との合成分だけ各画素を変位させ、Ｎ−
１枚の全ての画像の該変位された画素を基準画像の各画
素間に内挿して１枚の画像を合成する画像合成手段とを
備えたものであり、そのことにより上記目的が達成され
る。

【００２０】さらに、好ましくは、本発明の撮像装置に
おいて、動きベクトル検出手段が、Ｎ−１枚の各画像に
ついて、所定の複数位置の画素を水平方向及び／又は垂
直方向に変位させて該変位された画素のみからなる変位
画像を生成するものであり、かつ、水平方向と垂直方向
の変位の組み合わせが異なる複数枚の変位画像の各画素
と、基準画像において対応する所定位置の各画素との差
を積算した値が最も小さい変位画像の変位を動きベクト
ルとして検出するものである。

【００２１】さらに、好ましくは、本発明の撮像装置に
おいて、動きベクトル検出手段が、Ｎ−１枚の各画像に
ついて、それぞれ空間周波数における少なくとも高周波
成分を除去するフィルタを通してから動きベクトルを検
出するものである。

【００２２】

【作用】本発明においては、撮像板が撮像するＮ枚の画
像は、結像位置が水平方向及び垂直方向にそれぞれ１画
素以内でほぼＨ及びＶ等分された位置に変位したものと
なる。結像位置変位手段は、光学系に配置された透過板
の屈折率又は屈折角度を変化させたり反射板の反射角度
を変化させて光軸をずらせることにより結像位置を変位
させる他、撮像板自体を水平方向及び／又は垂直方向に
平行移動させることにより結像位置を変位させるもので
あってもよい。撮像板は、Ｎ枚の画像を撮像することに
よりスチル画像を得ることができる。また、Ｎ枚の画像
を連続して繰り返し撮像することによりビデオ映像を得
ることができる。

【００２３】動きベクトル検出手段は、基準画像を除く
Ｎ−１枚の各画像について、各画素を水平方向及び／又
は垂直方向に変位させた変位画像のうちで基準画像に対
する相関度が最も高い変位画像の変位を動きベクトルと
して検出する。なお、ここでいう変位画像には、実質的
に変位が行われないその画像自身を含むことができる。
基準画像と他のＮ−１枚の各画像は、もともと結像位置
が変位しているために、１画素未満の画像のずれが生じ
る。しかも、この画像のずれは、結像位置変位手段によ
る結像位置の変位が不正確であった場合には、実際の結
像位置と基準画像の結像位置とのずれとなる。また、Ｎ
−１枚の各画像は、基準画像に対して時間的に異なる期
間の受光像を撮像したものであるため、その間に被写体
が動いたり手振れなどにより撮像装置が動いた場合にも
画像にずれが生じる。この動きベクトル検出手段は、こ
れらの画像のずれに基づく動きベクトルを検出する。

【００２４】各画素の変位が水平方向にＰHの整数倍で
垂直方向にもＰVの整数倍となる場合には、各実画素を
シフトするだけで変位を行うことができる。しかし、通
常は、変位が画素の整数倍となることはないので、各画
素を変位させるために補間処理を行う。この補間処理
は、原理的には、変位位置の画素を標本点に含むように
画素間に濃度０の画素を内挿してオーバーサンプリング
し、元の標本化周波数の１／２を遮断周波数とするロー
パスフィルタを通した後に変位位置の画素のみを残して
間引きをすることにより実現できる。しかし、このよう
な処理はオーバーサンプリングによる高速処理とローパ
スフィルタでの膨大な演算を必要とするので、一般的に
は周囲４箇所の画素に基づく線形補間や周囲１６箇所の
画素に基づくキュービックコンボリューション[cubic c
onvolution]補間などを用いるのが適当である。また、
線形補間は、１次のラグランジュ型多項式補間に該当す
るものであり、これに代えて２次以上のラグランジュ型
多項式補間を用いてもよい。さらに、他の方式の補間処
理を用いることもできる。なお、画素の濃度とは、モノ
クロ画像の場合には各画素の輝度を意味し、カラー画像
の場合には、各画素のそれぞれの色の色調（階調）又は
各色を合成（モノクロ画像に変換）した輝度成分（Ｙ信
号成分）などを意味する。

【００２５】相関度は、例えば変位画像の各画素と基準
画素の各画素の濃度の差を積算した値によって求めるこ
とができ、この場合は積算値が最も小さい変位画像が最
も相関度が高くなる。ただし、基準画像の全画素につい
て各変位画像の各画素との差を計算すると計算量が膨大
なものとなるので、請求項３の発明では、所定の複数位
置の画素を代表点とし、これら代表点の画素についての
み計算を行う代表点マッチング法を採用している。な
お、基準画像と各画像の相関度は、相互相関関数によっ
て求めることも可能である。ただし、この場合には基準
画像と変位画像の各画素の濃度の積を積算することにな
るので、積算値が最も大きい場合が最も相関度が高くな
る。この相互相関関数によって計算を行う場合にも、変
位画像の変位の範囲を制限したり代表点のみの濃度の積
を積算するようにして計算量を減少させることができ
る。

【００２６】動きベクトル検出手段は、上記相関度が最
も高い変位画像の変位を動きベクトルとして検出する。
この動きベクトルは、変位の方向をベクトルの方向で示
すと共に変位の距離をベクトルの絶対値で示すものであ
り、水平方向の変位成分をｘとし垂直方向の変位成分を
ｙとするとベクトル（ｘ，ｙ）としてベクトル量（リス
ト又は配列）で表すことができる。なお、ここでいう変
位自体もベクトルである。

【００２７】画像合成手段は、基準画像を除くＮ−１枚
の各画像について、まずその画像の動きベクトル分とそ
の画像の結像位置の変位分との合成分だけ各画素を変位
させる。この場合の各画素も上記と同様の補間処理によ
り変位させる。上記動きベクトル検出手段が検出した動
きベクトルは、被写体や撮像装置が動かなかった場合に
も、結像位置の変位による画像のずれを示すようにな
る。従って、この場合には、各画像の動きベクトル分と
結像位置の変位分とがベクトルの合成により相殺される
ので、その画像の各画素は元の位置のまま変位させる必
要がない。

【００２８】これに対して、被写体や撮像装置が動いた
場合には、各画像の動きベクトル分から結像位置の変位
による部分のみが相殺されるので、ベクトルの合成によ
ってその画像における実際の動きベクトルを求めること
ができる。また、結像位置変位手段による結像位置の変
位が不正確であった場合には、これによる画像のずれが
予め設計値として与えられた結像位置の変位分によって
は完全に相殺されないため、被写体や撮像装置の動きと
同等に扱われることになる。即ち、その画像の実際の動
きベクトルには、このような結像位置の設計値とのずれ
の成分が含まれることになる。そして、Ｎ−１枚の各画
像について、この実際の動きベクトル分だけ各画素を変
位させれば、被写体や撮像装置の動きを除外し、結像位
置だけが設計値通りに変位した場合の画像を得ることが
できる。なお、結像位置変位手段による結像位置の変位
が正確であり、かつ、被写体や撮像装置が動かなかった
場合には、各画素について合成ベクトル（０，０）の変
位を行わせることになり、補間処理は不要となる。ま
た、その他の場合にも、変位が丁度画素間隔の整数倍で
あった場合には、実画素の位置をシフトさせるだけで、
実際の補間処理は不要となる。

【００２９】画像合成手段は、Ｎ−１枚の各画像につい
て上記画素の変位を行うと、基準画像の各画素間にこれ
らの変位された画素を内挿することにより１枚の画像を
合成する。従って、この合成画像は、画素数がＮ（＝Ｈ
×Ｖ）倍されるので、水平方向の空間標本化間隔がＰH
／Ｈとなり、垂直方向の空間標本化間隔がＰV／Ｖとな
る。

【００３０】この結果、本発明によれば、結像位置をず
らしてＮ枚の画像を撮像することにより、水平方向の解
像度をＨ倍とし垂直方向の解像度をＶ倍とした１枚の画
像を得ることができる。しかも、これらＮ枚の画像を撮
像する間に被写体が動いたり手振れなどにより撮像装置
が動いた場合にも、これらの動きによる画像のずれを補
正して高解像度の画像を得ることができる。また、結像
位置変位手段による結像位置の変位が不正確であった場
合にも、これによる画像のずれが被写体などの動きと同
様に補正される。

【００３１】なお、例えば被写体が変位画像の変位範囲
を超えるような動きを行うなどにより、動きベクトル検
出手段が十分に相関度の高い変位画像を得られなかった
場合には、その画像について画像合成手段が画像の合成
を行わないように処理することもできる。また、ビデオ
映像の場合、Ｎ枚の画像から１枚の合成画像のみを生成
するのでは、１フィールド期間内にＮ枚の画像の撮像を
行う必要がある。しかし、Ｎ枚の各画像を順次基準画像
として定めそれぞれの基準画像ごとに画像の合成を行え
ば、時間方向に並んだＮ枚の高解像度の合成画像を得る
ことができるので、Ｎ枚の各画像をそれぞれ１フィール
ド期間ごとに撮像することが可能となる。

【００３２】請求項２の発明は、基準画像を定めずに各
画像をそれぞれ対として、これら対の画像間の相対的な
動きベクトルを検出すると共に、これら対の画像同士を
順次合成することにより１枚の画像を得るようにした場
合を示す。ただし、この場合には、１枚の画像をルート
とした木構造状に各画像の対を定める必要があり、しか
も、各画素を変位させて合成した画像についてさらに各
画素を変位させる処理を繰り返す必要があるので、請求
項１の場合に比べ計算処理が増加する。また、相対的な
動きベクトルと相対的な結像位置の変位とをルートの画
像まで全てベクトルの合成を行った上で画像の合成をす
る場合には、実質的に請求項１と同じ構成となる。

【００３３】上記のように複数の画像を合成して水平方
向と垂直方向の解像度を高める場合には、各画像の受光
時にも、受光像に水平方向が空間周波数１／２ＰH以
上、垂直方向が空間周波数１／２ＰV以上の高周波数成
分を含ませておく必要がある。しかし、このような高周
波数成分を含む受光像を標本化周波数１／ＰH及び１／
ＰVで空間標本化すると折り返し歪みが現れ、これに基
づいて動きベクトルを検出すると、この折り返し歪みの
影響により正確な検出が困難になる。ただし、この折り
返し歪みは、水平方向の空間周波数１／ＰHと垂直方向
の空間周波数１／ＰVを中心とした折り返し成分による
ものであるため、高域ほどレベルが増大するのが一般的
である。そこで、請求項４の発明に示すように、Ｎ−１
枚の各画像について、それぞれ高周波成分を除去するフ
ィルタを通してから動きベクトルを検出すれば、このよ
うな折り返し歪みによる影響を少なくすることができ
る。なお、ここでフィルタが除去する高周波成分とは、
標本化周波数１／ＰH及び１／ＰVの画像に対するもので
あるため、空間周波数１／２ＰH及び１／２ＰV以下であ
ってこれらに近い周波数領域を示す。

【００３４】

【実施例】以下、本発明の実施例について説明する。

【００３５】図１〜図８は本発明の一実施例を示すもの
であって、図１は撮像装置の構成を示すブロック図、図
２は撮像板の画素構成と受光像との関係を示す平面図、
図３は４枚の画像の各画素の位置関係を示す平面図、図
４は動きベクトル検出部の構成を示すブロック図、図５
は受光像の波形図と周波数スペクトルを示す図、図６は
空間標本化され更にディジタルフィルタから出力された
画像の波形図と周波数スペクトルを示す図、図７は動き
ベクトルを検出する際の画素の線形補間処理を説明する
ための図、図８は画像を合成する際の画素の内挿処理を
説明するための図である。

【００３６】本実施例は、結像位置を０．５画素（ＰH
／２，ＰV／２）ずつずらして撮像した４枚の画像に基
づいて合成を行う撮像装置について説明する（Ｈ＝２、
Ｖ＝２、Ｎ＝Ｈ×Ｖ＝４）。この撮像装置は、図１に示
すように、被写体Ｓからの撮像光Ｌがレンズ１、水晶ロ
ーパスフィルタ２及び透明屈折板３を介して撮像板４に
照射されるようになっている。レンズ１は、撮像光Ｌを
撮像板４の受光面に結像させるための光学系である。水
晶ローパスフィルタ２は、この撮像光Ｌの空間周波数に
おける高周波成分のみを阻止する光学系であり、ここで
は水平方向の空間周波数１／ＰHと垂直方向の空間周波
数１／ＰVを遮断周波数として、これ以上の高周波成分
を除去するようになっている。また、元来、レンズ１の
ＭＴＦ（Modulation transfer function）や撮像板４の
アパーチャ効果などによって受光像の空間周波数成分は
広域になるほど減衰している。したがって、遮断周波数
以上の高周波成分が撮像に対して問題にならないぐらい
十分減衰している場合は水晶ローパスフィルタ２を省く
こともできる。透明屈折板３は、ある程度の厚さと屈折
率を有する透明な板状の光学系であり、撮像板４の受光
面における水平方向と垂直方向に対して傾斜するように
揺動可能に支持されている。撮像板４は、図２に示すよ
うに、多数の画素４ａが水平方向にＰH間隔及び垂直方
向にＰV間隔で配列された受光面を有するＣＣＤ撮像素
子や他の固体撮像素子である。従って、これらの画素４
ａは、受光像を水平方向に標本化周波数１／ＰH及び垂
直方向に標本化周波数１／ＰVで空間標本化することに
なる。そして、水晶ローパスフィルタ２の遮断周波数
は、これらの標本化周波数の１／２ではなく、これらの
標本化周波数に一致する。なお、各画素４ａの感光部
は、水平方向に幅ｄH（０＜ｄH≦ＰH）及び垂直方向に
幅ｄV（０＜ｄV≦ＰV）で開口しているために、これら
の開口幅によって空間サンプリングの際にアパーチャ効
果による高域の減衰が生じる。

【００３７】図１に示すように、上記透明屈折板３は、
アクチュエータ５によって揺動されるようになってい
る。即ち、例えば透明屈折板３の一部とアクチュエータ
５とがボイスコイルモータやソレノイドを構成し、この
アクチュエータ５への通電状態に応じて透明屈折板３の
傾斜角度を変化させることができるようになっている。
また、このアクチュエータ５を圧電素子で構成し、電圧
印加時に生じる歪みによる動きを直接透明屈折板３に伝
えたり、その他の機械構成による動きを透明屈折板３に
伝えることにより傾斜角度を変化させるようにしてもよ
い。このようにして透明屈折板３の傾斜角度が変化する
と、この傾斜角度に応じて撮像光Ｌが屈折し、撮像板４
の受光面に結像する受光像の結像位置にずれが生じる。
そして、アクチュエータ５は、この透明屈折板３の傾斜
角度を変化させることにより、図２に示すように、基準
位置に結像される基準受光像Ｋ00に対して、水平方向に
０．５画素（ＰH／２）ずれた受光像Ｋ10と、垂直方向
に０．５画素（ＰV／２）ずれた受光像Ｋ01と、水平方
向及び垂直方向に０．５画素（ＰH／２、ＰV／２）ずつ
ずれた受光像Ｋ11とをそれぞれ結像させるようになって
いる。

【００３８】図１に示すように、上記アクチュエータ５
と撮像板４は、制御部６からの制御信号によって制御さ
れるようになっている。即ち、まず基準位置に基準受光
像Ｋ00が結像されると、撮像板４がこれを受光して基準
画像Ｉ00を出力し、次に受光像Ｋ10が結像されると画像
Ｉ10を出力し、さらに受光像Ｋ01が結像されると画像Ｉ
01を出力し、最後に受光像Ｋ11が結像されると画像Ｉ11
を出力するように制御される。そして、被写体Ｓが動か
ず、かつ、撮像装置も手振れなどによる動きがなく、し
かも、各受光像Ｋ00〜Ｋ11が正確な位置に結像されたと
すると、これらの受光像Ｋ00〜Ｋ11を基準に４枚の画像
Ｉ00〜Ｉ11を重ね合わせたときの各画素位置は、図３に
示すように０．５画素間隔で交互に配置されることにな
り、これらを合成すれば水平方向と垂直方向の標本化周
波数がそれぞれ２倍になることが分かる。ここで、円形
は基準画像Ｉ00の画素位置を示し、四角形は画素Ｉ10の
画素位置を示し、菱形は画素Ｉ01の画素位置を示し、三
角形は画素Ｉ11の画素位置を示している。

【００３９】なお、このような結像位置変位手段として
は、本実施例のような透明屈折板３とアクチュエータ５
を用いる他に、例えば反射ミラーの傾斜角度を変化させ
たり、複屈折板と偏光板とを組み合わせることにより光
軸をずらせるようにすることもできる。また、撮像板４
自身を平行移動させることにより結像位置をずらせるよ
うにしてもよい。

【００４０】上記撮像板４から出力された画像は、図１
に示すように、Ａ／Ｄ変換部７を介して画像メモリ８に
送られるようになっている。Ａ／Ｄ変換部７は、撮像板
４によって空間標本化された画像の輝度データを画素ご
とに量子化してディジタル信号に変換する。また、画像
メモリ８は、このＡ／Ｄ変換部７でディジタル信号に変
換された４枚の画像Ｉ00〜Ｉ11を蓄積する。そして、こ
の画像メモリ８に蓄積された４枚の画像Ｉ00〜Ｉ11は、
動きベクトル検出部９と合成部１０に送られるようにな
っている。

【００４１】動きベクトル検出部９は、基準画像Ｉ00に
対する他の画像Ｉ10〜Ｉ11の動きベクトルを検出する。
また、合成部１０は、この動きベクトル検出部９で検出
された動きベクトルに基づいて４枚の画像Ｉ00〜Ｉ11を
合成する。そして、この合成部１０で合成された画像
は、出力端子１１から外部に出力され、ディジタルＶＴ
Ｒなどに記録されたり、Ｄ／Ａ変換されてディスプレイ
に表示されることになる。なお、上記制御部６は、これ
らＡ／Ｄ変換部７、画像メモリ８及び動きベクトル検出
部９にも図示しない制御信号を出力し、各部が同期して
動作するように制御している。

【００４２】上記動きベクトル検出部９の動作を説明す
る。この動きベクトル検出部９は、基準画像Ｉ00を除く
３枚の各画像Ｉ10〜Ｉ11について、この画像Ｉ10〜Ｉ11
の各画素を水平方向や垂直方向に適宜変位させた変位画
像を複数作成し、これらの変位画像のうちで基準画像Ｉ
00との相関度が最も高い変位画像の変位を動きベクトル
として検出するものである。ここで、各画像Ｉ00〜Ｉ11
は、水平方向にＮH個、垂直方向にＮV個の画素を有する
ものとする。また、ｉとｊを０又は１の値とし、画素Ｉ
ij（ｘ，ｙ）により画像Ｉijにおける座標（ｘ，ｙ）上
の画素の輝度を表すものとする。この際、ｘは１≦ｘ≦
ＮHの範囲の整数とし、ｙは１≦ｙ≦ＮVの範囲の整数と
するので、画素Ｉij（ｘ，ｙ）は標本点上の実画素とな
る。ｉ＝ｊ＝０を除く画像Ｉijの各画素をそれぞれベク
トル（ｐ，ｑ）だけ変位させた変位画像Ｉijと基準画像
Ｉ00との相関Ｒij（ｐ，ｑ）は、例えば（数１）によっ
て計算できる。

【００４３】

【数１】

【００４４】しかし、このように全ての画素についての
輝度の差を積算したのでは、計算量が膨大なものとな
る。そこで、本実施例の動きベクトル検出部９では、各
画像Ｉijから１００個の実画素Ｉij（ｘk，ｙk）を代表
点として選択し（ｋは１≦ｋ≦１００の整数）、（数
２）に示す代表点マッチング法により相関Ｒij（ｐ，
ｑ）を計算する。

【００４５】

【数２】

【００４６】このようにして、基準画像Ｉ00に対する各
画像Ｉijについて、所定範囲の全てのｐ，ｑの組み合わ
せごとに相関Ｒij（ｐ，ｑ）を求め、これらのうちで最
小となるものを調べる。そして、この最小の相関Ｒij
（ｐ，ｑ）を得たベクトル（ｐ，ｑ）をそれぞれ動きベ
クトルＶij（ＶXij，ＶYij）とすると、画像Ｉijは、各
画素が動きベトクルＶij（ＶXij，ＶYij）だけ変位した
ときに基準画像Ｉ00との相関度が最も高いものとなる。
従って、動きベクトル検出部９は、基準画像Ｉ00を除く
３枚の各画像Ｉ10〜Ｉ11について、それぞれこの動きベ
トクルＶij（ＶXij，ＶYij）を検出する。例えば、被写
体Ｓが動かず、かつ、撮像装置も手振れなどによる動き
がなく、しかも、結像位置が正確に変位していたとする
と、各画像Ｉ10〜Ｉ11の動きベクトルＶ10〜Ｖ11は、そ
れぞれＶ10（−０．５，０）、Ｖ01（０，−０．５）、
Ｖ11（−０．５，−０．５）となり、結像位置の変位分
のみの値となる。

【００４７】なお、上記代表点マッチング法における代
表点の数は１００に限定されるものではない。この代表
点を多くすれば、（数１）の演算に近づき画像のＳ／Ｎ
比（信号対雑音比）の影響も受け難くなるので、検出精
度を高めることができる。しかし、計算量はこれに比例
して多くなるので、これらの比較の上で適当な値を選択
する必要がある。また、上記相関度は、相互相関関数に
よって求めることも可能である。

【００４８】上記動きベクトル検出部９の具体的な構成
例を図４に基づいて説明する。画像メモリ８からの各画
像Ｉ00〜Ｉ11は、ディジタルフィルタ９ａを介してセレ
クタ９ｂに送られるようなっている。ディジタルフィル
タ９ａは、相関度の検出精度を向上させるために設けら
れた帯域通過フィルタである。即ち、各画像Ｉ00〜Ｉ11
の低域を除去することにより、フリッカやシェーディン
グの影響を排除することができる。また、高域を除去す
ることにより、ノイズの影響を減少させることができ
る。さらに、この高域を除去することにより、折り返し
歪みの影響も減少させることができる。即ち、このよう
な合成前の画像Ｉ00〜Ｉ11には、折り返し歪みが発生し
ている。しかし、この折り返し歪みは、一般に高域側ほ
ど振幅が大きくなるので、このディジタルフィルタ９ａ
によって高域を除去することにより、折り返し歪みの影
響も低減し、モアレなどにより相関度の検出精度が低下
するのを防止することができる。

【００４９】上記ディジタルフィルタ９ａに入力する画
像Ｉ00〜Ｉ11の波形図と周波数スペクトルを図５に示
す。ただし、ここでは水平方向についてのみ示す。これ
らの画像Ｉ00〜Ｉ11は、水晶ローパスフィルタ２が空間
周波数１／２ＰH〜１／ＰHの領域の信号成分を除去しな
い受光像Ｋ00〜Ｋ11について標本化周波数１／ＰHで空
間標本化を行ったものなので、この標本化周波数１／Ｐ
Hを中心とする折り返し成分Ａが空間周波数１／２ＰH以
下の領域に現れ折り返し歪みＡNを生じている。しか
し、ディジタルフィルタ９ａから出力される画像Ｉ00〜
Ｉ11は、図６に示すように、低域が除去されることによ
り輝度が０付近の値となると共に、高域が除去されるこ
とにより、この折り返し歪みＡNの振幅が減少される。
従って、このような画像Ｉ00〜Ｉ11に基づいて相関度を
計算すれば精度の高い検出を行うことが可能となる。

【００５０】上記ディジタルフィルタ９ａを通った各画
像Ｉ00〜Ｉ11は、図４に示すように、セレクタ９ｂで代
表点メモリ９ｃと補間処理部９ｄとに振り分けられる。
即ち、基準画像Ｉ00は、このセレクタ９ｂを通って代表
点メモリ９ｃに送られ、他の３枚の画像Ｉ10〜Ｉ11は、
このセレクタ９ｂを通って補間処理部９ｄに送られる。
代表点メモリ９ｃは、基準画像Ｉ00のうちから１００個
の画素Ｉ00（ｘk，ｙk）を代表点として選択し蓄積す
る。また、補間処理部９ｄは、各画像Ｉ10〜Ｉ11につい
て、それぞれ代表点となる１００個の画素Ｉij（ｘk，
ｙk）をベクトル（ｐ，ｑ）だけ変位させて画素Ｉij
（ｘk＋ｐ，ｙk＋ｑ）に変換する。このベクトル（ｐ，
ｑ）は、所定範囲内のｐとｑの全ての組み合わせが順次
補間処理部９ｄに入力されるようになっている。また、
画像メモリ８は、このベクトル（ｐ，ｑ）が切り替わる
たびにまず画像Ｉ10を繰り返し送り、このｐとｑの全て
の組み合わせが完了すると、次の画像Ｉ01及び最後の画
像Ｉ11を順次同様に繰り返し送るようになっている。

【００５１】ここで、本実施例における動きベクトル
は、発明者のこれまでの実験により、±０．０５画素以
下の検出精度を必要とすることが分かっている。従っ
て、上記ベクトル（ｐ，ｑ）は０．０５画素のピッチと
なり、画素Ｉij（ｘk＋ｐ，ｙk＋ｑ）は、ｘk＋ｐやｙk
＋ｑの値が小数点以下の数を含むために、実画素には存
在しない画素となる。そこで、この補間処理部９ｄで
は、補間処理によって画素Ｉij（ｘk＋ｐ，ｙk＋ｑ）を
予測し変位を行わせる。この補間処理は、原理的には、
画素Ｉij（ｘk＋ｐ，ｙk＋ｑ）を標本点に含むように実
画素の間に輝度０の画素を内挿してオーバーサンプリン
グし、水平方向の空間周波数１／２ＰH及び垂直方向の
空間周波数１／２ＰVを遮断周波数とするローパスフィ
ルタを通した後に画素Ｉij（ｘk＋ｐ，ｙk＋ｑ）のみを
残して間引き処理を行うディジタル−ディジタル変換に
よって実現できる。しかし、このような処理はオーバー
サンプリングによる高速処理とローパスフィルタでの膨
大な演算を必要とするので、本実施例の補間処理部９ｄ
では、線形補間又はキュービックコンボリューション補
間を用いる。

【００５２】線形補間は、画素Ｉijの周囲４箇所の画素
に基づいて、これらの間の画素を補間する方法である。
図７に示すように、画素間の水平方向と垂直方向の距離
をそれぞれ１とし、実画素Ｉij（ｘ，ｙ）に対してベク
トル（ＲX，ＲY）だけ変位した画素Ｉij（ｘ＋ＲX，ｙ
＋ＲY）を補間する場合、周囲４箇所の実画素Ｉij
（ｘ，ｙ）〜Ｉij（ｘ＋１，ｙ＋１）に基づいて（数
３）の計算を行うことにより画素Ｉij（ｘ＋ＲX，ｙ＋
ＲY）の輝度を予測することができる。

【００５３】

【数３】

【００５４】なお、この線形補間は、１次のラグランジ
ュ型多項式補間に該当する。従って、水平方向及び垂直
方向に隣接するｎ＋１画素ずつの画素に基づくｎ次のラ
グランジュ型多項式補間において、２次以上のものを用
いて補間処理を行ってもよい。

【００５５】キュービックコンボリューションは、周囲
１６箇所の画素に基づいて３次式により補間を行う方法
であり、上記オーバーサンプリングと間引き処理による
ディジタル−ディジタル変換の処理を簡易化したものと
考えることができる。また、この補間処理部９ｄでは、
他の補間方式を用いることも可能である。これらの補間
方式については、「電子通信学会論文誌,pp.1617-1623,
Vol.J69-D,No.11,Nov.(1986)」や「IEEE Transactions
on Medical Imaging,pp.31-39,Vol.MI-2,No.1,Mar.(198
3)」などに詳しい説明がある。

【００５６】上記補間処理部９ｄで代表点となる１００
個の画素Ｉij（ｘk＋ｐ，ｙk＋ｑ）の補間が行われる
と、これらの画素Ｉij（ｘk＋ｐ，ｙk＋ｑ）が順次減算
器９ｅに送られる。また、この減算器９ｅには、代表点
メモリ９ｃから基準画像Ｉ00の代表点となる１００個の
画素Ｉ00（ｘk，ｙk）が順次送られて来る。そして、こ
れらの各画素Ｉij（ｘk＋ｐ，ｙk＋ｑ）と各画素Ｉij
（ｘk，ｙk）の輝度の差が計算されて絶対値回路９ｆを
介しその絶対値が加算器９ｇに送られる。加算器９ｇ
は、相関メモリ９ｈから読み出した積算値にこの輝度の
差の絶対値を加算して、この計算結果を再び積算値とし
て保持する。また、この相関メモリ９ｈの積算値は、補
間処理部９ｄに入力されるベクトル（ｐ，ｑ）が切り替
わるたびに０クリアされる。従って、この相関メモリ９
ｈは、各ベクトル（ｐ，ｑ）ごとに１００個の画素Ｉij
（ｘk＋ｐ，ｙk＋ｑ）と１００個の画素Ｉ00（ｘk，ｙ
k）との輝度の差を積算する上記（数２）の演算を行っ
て、そのベクトル（ｐ，ｑ）における相関Ｒij（ｐ，
ｑ）を求めることになる。そして、積算が完了した各相
関Ｒij（ｐ，ｑ）の値は、最小検出部９ｉに送られる。
この最小検出部９ｉでは、相関メモリ９ｈから送られて
来る相関Ｒij（ｐ，ｑ）のうちで最小のものとそのベク
トル（ｐ，ｑ）だけを保持し、補間処理部９ｄに送られ
て来る画像Ｉ10〜Ｉ11が切り替わるたびにこれらを外部
に出力する。

【００５７】この結果、動きベクトル検出部９は、３枚
の各画像Ｉ10〜Ｉ11についてそれぞれの相関Ｒij（ｐ，
ｑ）が最小となる場合のベクトル（ｐ，ｑ）を得て、動
きベクトルＶ10〜Ｖ11として出力する。なお、この動き
ベクトル検出部９は、最小となる相関Ｒij（ｐ，ｑ）の
値が所定値よりも大きかった場合には、動きベクトルＶ
10〜Ｖ11に代えて十分な相関度が得られなかったとする
エラー値を出力することもできる。

【００５８】上記合成部１０の動作を説明する。この合
成部１０は、画像メモリ８から送られて来る４枚の画像
Ｉ00〜Ｉ11を動きベクトル検出部９から送られて来る動
きベクトルＶ01〜Ｖ11に基づいて合成して画像Ｉを得る
ようになっている。即ち、４枚の画像Ｉ00〜Ｉ11の各画
素を（数４）〜（数７）に基づいて座標変換することに
より画像Ｉの各画素を求める。

【００５９】

【数４】

【００６０】

【数５】

【００６１】

【数６】

【００６２】

【数７】

【００６３】この（数４）から明らかなように、画像Ｉ
00の各画素Ｉ00（ｘ，ｙ）は、座標変換を行うことなく
そのまま画像Ｉの各画素Ｉ（ｘ，ｙ）に割り当てられ
る。しかし、画像Ｉ10の各画素Ｉ10（ｘ，ｙ）は、（数
５）に示すように、動きベクトルＶ10（ＶX10，ＶY10）
に基づいて画素Ｉ10（ｘ＋ＶX10＋０．５，ｙ＋ＶY10）
に座標変換し、これを画像Ｉの各画素Ｉ（ｘ＋０．５，
ｙ）に割り当てる。そして、この場合、動きベクトルが
Ｖ10（−０．５，０）とならない限り、即ち被写体Ｓの
動きや手振れなどが生じたときには、画素Ｉ10（ｘ＋Ｖ
X10＋０．５，ｙ＋ＶY10）が画像Ｉ10上の実画素に一致
しないので、動きベクトル検出部９の補間処理部９ｄと
同様の補間処理によって画素の変位を行う必要がある。
また、画像Ｉ01，Ｉ11の各画素についても同様である。

【００６４】ここで、画像Ｉ10における各実画素Ｉ10
（ｘ，ｙ）を画像Ｉの各画素Ｉ（ｘ＋０．５，ｙ）に座
標変換する場合の処理を詳細に説明する。図８は、画像
Ｉを示したものである。基準画像Ｉ00はこの画像Ｉに一
致するので、この基準画像Ｉ00上の各画素Ｉ00（ｘ，
ｙ）は図８の各画素Ｉ（ｘ，ｙ）に対応する。また、被
写体Ｓの動きや手振れなどがない場合には、画像Ｉ10上
（図８上ではない）の各画素Ｉ10（ｘ，ｙ）が図８の画
素Ｉ（ｘ＋０．５，ｙ）に対応する。即ち、この場合に
は、動きベクトルＶ10（ＶX，ＶY）がＶ10（−０．５，
０）となるので、これを（数５）に代入すれば、各画素
Ｉ10（ｘ，ｙ）がそのまま画像Ｉの各画素Ｉ（ｘ＋０．
５，ｙ）に割り当てられることが分かる。そして、この
場合には、各画素Ｉ10（ｘ，ｙ）が実画素であるため、
補間処理の必要もない。

【００６５】しかし、図８では、画像Ｉ00の撮像から画
像Ｉ10の撮像までに要した時間に手振れなどにより画像
がベクトルＶｍ（ＲX，ＲY）だけ移動した場合を例示し
ている。このため、画像Ｉ10における画素Ｉ10（ｘ，
ｙ）の位置は、図８では、画像Ｉ00の座標で表すと水平
方向に０．５−ＲX、垂直方向に−ＲYだけ変位した座標
Ｉ10（ｘ＋０．５−ＲX，ｙ−ＲY）として表される。

【００６６】上記画素Ｉ10（ｘ，ｙ）の動きベクトルを
検出すると、水平方向に−０．５＋ＲX、垂直方向にＲY
だけ変位させた画素が画像Ｉ00の画素Ｉ00（ｘ，ｙ）に
対して最も相関が高くなるので、動きベクトルＶ10（Ｖ
X10，ＶY10）はＶ10（−０．５＋ＲX，ＲY）となる。ま
た、求める画素Ｉ（ｘ＋０．５，ｙ）は、この画素Ｉ00
（ｘ，ｙ）からベクトル（０．５，０）だけ変位したも
のであるため、動きベクトルＶ10（ＶX10，ＶY10）＝Ｖ
10（−０．５＋ＲX，ＲY）とこのベクトル（０．５，
０）とを合成してベクトル（ＶX10＋０．５，ＶY10）＝
（ＲX，ＲY）を得ることにより、画像の移動を示すベク
トルＶｍ（ＲX，ＲY）を動きベクトルＶ10（ＶX10，ＶY
10）で表したベクトルＶｍ（ＶX10＋０．５，ＶY10）を
得ることができる。そして、図８の画素Ｉ10（ｘ，ｙ）
に対してベクトルＶｍだけ変位した画素Ｉ（ｘ＋０．
５，ｙ）は、画像Ｉ10上においては、画素Ｉ10（ｘ，
ｙ）に対する画素Ｉ10（ｘ＋ＲX，ｙ＋ＲY）で表すこと
ができ、これを画素Ｉ10（ｘ＋ＶX10＋０．５，ｙ＋ＶY
10）と書き換えることができる。従って、画像Ｉ10の各
画素Ｉ10（ｘ，ｙ）に対して（数５）の座標変換を行え
ば、画像Ｉの各画素Ｉ（ｘ＋０．５，ｙ）を求め得るこ
とが分かる。

【００６７】また、上記画像Ｉ10上の各画素Ｉ10（ｘ＋
ＶX10＋０．５，ｙ＋ＶY10）は、画素Ｉ10（ｘ＋ＲX，
ｙ＋ＲY）におけるＲXの値をＶX10＋０．５としＲYの値
をＶY10とすることにより、周囲４箇所の実画素Ｉ10
（ｘ，ｙ）〜Ｉ10（ｘ＋１，ｙ＋１）に基づいて（数
３）の補間処理を行うことにより求めることができる。

【００６８】また、被写体Ｓの動きや手振れがなくて
も、透明屈折板３の傾斜角度が不正確なために結像位置
にずれが生じ、画像Ｉ10上の各画素Ｉ10（ｘ，ｙ）が図
８の画素Ｉ（ｘ＋０．５，ｙ）に正確に対応しなかった
場合には、動きベクトルＶ10（ＶX，ＶY）も丁度Ｖ10
（−０．５，０）とはならない。しかし、この場合に
は、このような結像位置の誤差を動きベクトルに吸収し
て検出することができるので、上記補間処理によって自
動的に補正することができる。

【００６９】従って、合成部１０によって合成される画
像Ｉは、基準画像Ｉ00の各画素を３枚の画像Ｉ10〜Ｉ11
に基づいて水平方向と垂直方向にそれぞれ２倍に増加さ
せたものとなり、水平方向及び垂直方向の解像度をそれ
ぞれ２倍に向上させることができる。なお、この合成部
１０は、上記動きベクトル検出部９が十分な相関度が得
られなかったとするエラー値を出力した場合には、その
エラーとなった画像10〜Ｉ11に基づく合成を行わず、例
えば基準画像Ｉ00の画素に基づく補間処理により画素を
補間するように処理すればよい。ただし、この場合に
は、エラーとなった画像10〜Ｉ11に基づく解像度の向上
は望めない。

【００７０】以上説明したように、本実施例の撮像装置
は、撮像板４に対する結像位置を水平方向と垂直方向に
０．５画素分ずつずらして得た４枚の画像Ｉ00〜Ｉ11を
合成することにより、水平方向及び垂直方向に２倍の解
像度を有する合成画像Ｉを得ることができる。しかも、
この際に各画像Ｉ00〜Ｉ11間の動きベクトルＶ10〜Ｖ11
を検出して、それぞれの３枚の画像Ｉ10〜Ｉ11をこの動
きベクトルＶ10〜Ｖ11に応じて合成するので、被写体Ｓ
が動いた場合や手振れなどが生じた場合にも、このずれ
を補正することができる。また、結像位置が不正確であ
った場合にも、この動きベクトルＶ10〜Ｖ11によって同
時に補正できる。

【００７１】さらに、動きベクトル検出部９での動きベ
クトルＶ10〜Ｖ11の検出においては、各画像Ｉ00〜Ｉ11
に現れる折り返し歪みＡNの大部分をディジタルフィル
タ９ａにより除去することができるので、モアレなどに
より検出精度が低下するのを防止できる。

【００７２】なお、本実施例では、結像位置を水平方向
に２分割（Ｈ＝２）及び垂直方向に２分割（Ｖ＝２）す
る場合を示したが、さらに多数に分割することもでき
る。また、ここでＶ＝１とした場合には、水平解像度の
みを向上させ、Ｈ＝１とした場合には、垂直解像度のみ
を向上させることになる。

【００７３】また、本実施例は、モノクロ画像を撮像す
る場合について説明したが、カラー画像を撮像するカラ
ー撮像装置についても同様に適用できる。カラー撮像装
置としては、１枚の撮像板の前に色フィルタアレイを設
けた単板方式や、撮像光を色分解プリズムなどでＲＧＢ
の３色に分解して３枚の撮像板にそれぞれ結像させる３
板方式などがある。この場合、上記説明では各画素の値
をスカラー量の輝度として取り扱ったが、これを例えば
ＲＧＢ３色のそれぞれの色調からなるベクトル量として
取り扱えば同様に処理することができる。ただし、動き
ベクトル検出部９で動きベクトルを検出する場合には、
カラー画像をモノクロ画像（Ｙ信号）に変換してから検
出すれば、回路規模や演算処理を簡易化することができ
る。

【００７４】

【発明の効果】以上のように本発明によれば、撮像板に
より時分割で撮像した互いに結像位置の異なる複数枚の
画像を合成することにより解像度の高い画像を得るの
で、安価な撮像板を用いることができる。しかも、複数
枚の画像を撮像する間に被写体が動いたり手振れなどに
より撮像装置が動いた場合にも、動きベクトルを検出す
ることによりこれを補正して画像を合成することができ
る。また、各画像の結像位置の変位が不正確であった場
合にも同様に補正することができるので、結像位置を変
位させるために高精度な機構を設ける必要がない。

【００７５】さらに、合成前の画像に生じる折り返し歪
みをフィルタによって減衰させてから動きベクトルの検
出を行えば、相関度を正確に判断することができるよう
になる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すものであって、撮像装
置の構成を示すブロック図である。

【図２】本発明の一実施例を示すものであって、撮像板
の画素構成と受光像との関係を示す平面図である。

【図３】本発明の一実施例を示すものであって、４枚の
画像の各画素の位置関係を示す平面図である。

【図４】本発明の一実施例を示すものであって、動きベ
クトル検出部の構成を示すブロック図である。

【図５】本発明の一実施例を示すものであって、受光像
の波形図と周波数スペクトルを示す図である。

【図６】本発明の一実施例を示すものであって、図５の
受光像を空間標本化した更にディジタルフィルタから出
力された画像の波形図と周波数スペクトルを示す図であ
る。

【図７】本発明の一実施例を示すものであって、動きベ
クトルを検出する際の画素の線形補間処理を説明するた
めの図である。

【図８】本発明の一実施例を示すものであって、画像を
合成する際の画素の内挿処理を説明するための図であ
る。

【図９】第１の従来例を示すものであって、撮像装置の
構成を示すブロック図である。

【図１０】第２の従来例を示すものであって、撮像装置
の構成を示すブロック図である。

【図１１】第３の従来例を示すものであって、撮像装置
の構成を示すブロック図である。

【図１２】通常の撮像装置における受光像の波形図と周
波数スペクトルを示す図である。

【図１３】図１２の受光像を空間標本化した画像の波形
図と周波数スペクトルを示す図である。

【図１４】水平解像度を２倍にする撮像装置における受
光像の波形図と周波数スペクトルを示す図である。

【図１５】図１４の受光像を空間標本化した画像の波形
図と周波数スペクトルを示す図である。

【図１６】図１４の受光像を０．５画素ずらして空間標
本化した画像の波形図と周波数スペクトルを示す図であ
る。

【図１７】図１５と図１６の画像を合成した画像の波形
図と周波数スペクトルを示す図である。

【符号の説明】

３透明屈折板４撮像板４ａ画素５アクチュエータ６制御部９動きベクトル検出部９ａディジタルフィルタ１０合成部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭61−251380（ＪＰ，Ａ) 特開平４−341076（ＪＰ，Ａ) 特開平２−31573（ＪＰ，Ａ) 特開平５−137048（ＪＰ，Ａ) 特開平５−75914（ＪＰ，Ａ) 特開平４−326680（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/257 H04N 5/335

Claims

(57)【特許請求の範囲】

【請求項１】多数の画素が水平方向にＰH間隔及び垂
直方向にＰV間隔で配列された受光面を有し、所定期間
内に該受光面で受光した受光像を１枚の画像として撮像
する撮像板と、被写体からの光を該撮像板の受光面に受光像として結像
させる結像手段と、該結像手段が受光像を結像させる結像位置を基準位置に
対して水平方向にほぼＰH×ｉ／Ｈ（Ｈは１以上の所定
の整数、ｉは０以上Ｈ未満の整数）及び垂直方向にほぼ
ＰV×ｊ／Ｖ（Ｖは１以上の所定の整数、ｊは０以上Ｖ
未満の整数）だけ変位させることができる（ただし、ｉ
＝ｊ＝０の場合を除く）結像位置変位手段と、該撮像板がＮ（＝Ｈ×Ｖ、ただしＮは２以上の整数）枚
の画像を撮像する間において、該撮像板が１枚の画像を
撮像するたびに、該結像位置変位手段を制御して、次の
画像の結像位置を前回までの結像位置とはｉとｊの組み
合わせが異なる位置に順次変位させる結像位置変位制御
手段と、実画素には存在しない画素を補間処理により求める手段
を有し、該撮像板が撮像したＮ枚の画像のうちのいずれ
か１枚を基準画像とし、該基準画像を除くＮ−１枚の各
画像について、基準画像に対する変位を、実画素および
補間処理によって求められた画素を利用して、動きベク
トルとして検出する動きベクトル検出手段と、該撮像板が撮像した基準画像を除くＮ−１枚の各画像に
ついて、該動きベクトル検出手段が検出した該画像の動
きベクトル分と、基準画像に対する該画像の結像位置の
変位分との合成分だけ各画素を変位させ、Ｎ−１枚の全
ての画像の該変位された画素を基準画像の各画素間に内
挿して１枚の画像を合成する画像合成手段とを備えた撮
像装置。
【請求項２】多数の画素が水平方向にＰH間隔及び垂
直方向にＰV間隔で配列された受光面を有し、所定期間
内に該受光面で受光した受光像を１枚の画像として撮像
する撮像板と、被写体からの光を該撮像板の受光面に受光像として結像
させる結像手段と、該結像手段が受光像を結像させる結
像位置を基準位置に対して水平方向にほぼＰH×ｉ／Ｈ
（Ｈは１以上の所定の整数、ｉは０以上Ｈ未満の整数）
及び垂直方向にほぼＰV×ｊ／Ｖ（Ｖは１以上の所定の
整数、ｊは０以上Ｖ未満の整数）だけ変位させることが
できる（ただし、ｉ＝ｊ＝０の場合を除く）結像位置変
位手段と、該撮像板がＮ（＝Ｈ×Ｖ、ただしＮは２以上の整数）枚
の画像を撮像する間において、該撮像板が１枚の画像を
撮像するたびに、該結像位置変位手段を制御して、次の
画像の結像位置を前回までの結像位置とはｉとｊの組み
合わせが異なる位置に順次変位させる結像位置変位制御
手段と、実画素には存在しない画素を補間処理により求める手段
を有し、該撮像板が撮像したＮ枚の画像のうちのいずれ
か１枚を基準画像とし、該基準画像を除くＮ−１枚の各
画像について、該画像の各画素を水平方向及び／又は垂
直方向に信号処理により変位させた変位画像のうちで基
準画像に対する相関度が最も高い変位画像の変位を、実
画素および補間処理によって求められた画素を利用し
て、動きベクトルとして検出する動きベクトル検出手段
と、該撮像板が撮像した基準画像を除くＮ−１枚の各画像に
ついて、該動きベクトル検出手段が検出した該画像の動
きベクトル分と、基準画像に対する該画像の結像位置の
変位分との合成分だけ各画素を変位させ、Ｎ−１枚の全
ての画像の該変位された画素を基準画像の各画素間に内
挿して１枚の画像を合成する画像合成手段とを備えた撮
像装置。
【請求項３】前記動きベクトル検出手段が、前記撮像
板が撮像したＮ枚の画像の各対について、一方の画像の
各画素を水平方向及び／又は垂直方向にそれぞれ変位さ
せた変位画像のうちで他方の画像に対する相関度が最も
高い変位画像の変位を示す動きベクトルを検出するもの
であり、前記画像合成手段が、該撮像板が撮像したＮ枚
の画像の各対について、該動きベクトル検出手段が検出
した他方の画像から一方の画像への動きベクトル分と、
該他方の画像に対する一方の画像の結像位置の変位分と
の合成分だけ一方の画像の各画素を変位させ、該一方の
画像の変位された画素を他方の画像の各画素間に内挿し
て合成する処理を繰り返し、最終的に１枚の画像を合成
する請求項１または２記載の撮像装置。
【請求項４】前記動きベクトル検出手段が、Ｎ−１枚
の各画像について、所定の複数位置の画素を水平方向及び／又は垂直方向に
変位させて該変位された画素のみからなる変位画像を生
成するものであり、かつ、水平方向と垂直方向の変位の
組み合わせが異なる複数枚の変位画像の各画素と、基準
画像において対応する所定位置の各画素との差を積算し
た値が最も小さい変位画像の変位を動きベクトルとして
検出する請求項１または２記載の撮像装置。
【請求項５】前記動きベクトル検出手段が、Ｎ−１枚
の各画像について、それぞれ空間周波数における少なく
とも高周波成分を除去するフィルタを通してから動きベ
クトルを検出する請求項１〜４のうちいずれかに記載の
撮像装置。