JP2899298B2 - 電子スチルカメラシステム - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は被写体像を電子的に撮像する固体撮像素子か
ら面順次に求められる２枚のフィールド画像間のずれを
補正してフリッカのないフレーム画像を求めることので
きる電子スチルカメラシステムに関する。

［従来の技術］ 近時、所謂銀塩フィルムを用いたスチルカメラに代わ
り、CCD等の固体撮像素子を用いて電子的に撮像された
電子スチル画像信号をフロッピーディスクやメモリカー
ド等に記録し、この記録画像をTVモニタ等による画像表
示に供するようにした固体撮像装置が電子スチルカメラ
と称されて注目されている。この種の電子スチルカメラ
（固体撮像装置）によれば、銀塩フィルムを用いたスチ
ル画像の記録と異なり、フィルム現像処理等を行なうこ
となしに簡易にその撮像画（スチル画像）をモニタする
ことができ、また報道機関等においてはそのまま画像デ
ータ通信に供することができる等の優れた特徴を有す
る。

ところで固体撮像素子を用いて被写体像を電子的に撮
像する方式として、TVモニタによる画像再生（表示）に
供せられる１枚のフレーム画像を上記固体撮像素子から
そのまま求める方式と、固体撮像素子から面順次で２枚
のフィールド画像（TVモニタによる画像再生に供せられ
る奇数フィールド画像と偶数フィールド画像）を求める
方式とがある。この面順次で２枚のフィールド画像を求
める方式は、固体撮像素子から直接的にフレーム画像を
求める場合に比較して、実質的にその画素数を２倍に拡
張して電子スチル画像（フレーム画像）を形成すること
になるので、固体撮像素子が持つ画素数を有効に活用し
て極細かい高品質な電子スチル画像を得ることができる
と云う優れた特徴を有する。

［発明が解決しようとする課題］ ところが固体撮像素子から面順次で２枚のフィールド
画像を求める場合、これらのフィールド画像の撮像タイ
ミングに若干ではあるが時間的なずれが生じることが否
めない。この時間的なずれは一般的には２枚のフィール
ド画像間での被写体像のずれの原因となり易い。特に被
写体が動きを伴っている場合、この画像のずれが顕著に
生じる。

このようなフィールド画像間でのずれは、ムービー画
像の場合には殆んど問題となることはないが、電子スチ
ル画像の場合にはこれらの２枚のフィールド画像を繰返
し交互に再生出力して画像表示することになるので、画
像のずれ部分がフリッカ（所謂ちらつき）となって現わ
れ易い。このようなフリッカはその表示画像を非常に見
難いものとすることのみならず、再生画像品質を低下さ
せる要因ともなる。

本発明はこのような事情を考慮してなされたもので、
その目的とするところは、固体撮像素子から面順次で求
められる２枚のフィールド画像からフリッカのない高画
質のフレーム画像を効果的に得ることのできる電子スチ
ルカメラシステムを提供することにある。

［課題を解決するための手段］ 本発明に係る電子スチルカメラシステムは、撮像光学
系を介して結像される被写体像を光電変換して該被写体
像の光量に応じた信号電荷を蓄積する固体撮像素子から
面順次で２枚のフィールド画像を得る電子スチルカメラ
システムにおいて、 この面順次で決められる２枚のフィールド画像をそれ
ぞれ独立にフィールド補間処理して仮のフレーム画像を
それぞれ求め、 これらの仮のフレーム画像間の相関から前記２枚のフ
ィールド画像間でのずれ量を求め、 そして、求められた画像のずれ量に従って前記２枚の
フィールド画像間での画像ずれを補正した後、 このずれ補正された２枚のフィールド画像を合成して
フレーム画像を求めるようにし、 これらを行なう手段を、記録媒体に前記フレーム画像
を記録する記録部、または、前記フレーム画像を画像モ
ニタに出力する再生部に具備したことを特徴とするもの
である。

また、特に、上記ずれ量を求める相関演算を、 フィールド画像を所定の大きさにブロック分割した領
域毎にそれぞれ行い、 各ブロック分割領域毎にそれぞれずれ補正を行なうよ
うにしたことを特徴とするものである。

［作 用］ このように構成された本発明に係る電スチルカメラシ
ステムによれば、固体撮像素子から面順次で求められる
２枚のフィールド画像間でのずれが、これらのフィール
ド画像をそれぞれフィールド補間処理した２枚の仮のフ
レーム画像間の相関から求められ、この相関から求めら
れるずれ量に従って前記２枚のフィールド画像間での画
像のずれが補正された後、このずれ補正された２枚のフ
ィールド画像を合成してフレーム画像が求められるの
で、時間的なずれに起因する画像のずれによるフリッカ
のない高画質なフレーム画像を求めることが可能とな
る。

また上記ずれ補正をフィールド画像を所定の大きさに
ブロック分割した領域毎にそれぞれ行なうことにより、
徒に画像全体に対してずれ補正を施すことなく、フリッ
カの目立つ画像部分に対してのみ効果的にずれ補正を施
すことが可能となる。

［実施例］ 以下、図面を参照して本発明の一実施例に係る電子ス
チルカメラシステムにつき説明する。

第１図は実施例システムにおける特徴的な処理機能を
持つ画像のずれ補正回路部の概略構成を示す図である。
この実施例システムは、例えば第２図にその全体的な概
略構成を示すように、CCD等の固体撮像素子を撮像部１
とし、この撮像部１にて撮像入力されて面順次に求めら
れる２枚のフィールド画像を所定の記録媒体としてのメ
モリ・カード２に記録し、このメモリカード２に記録さ
れた上記２枚のフィールド画像からなる電子スチル画像
をTV受像機等の画像モニタ３にて画像表示するように構
成される。

即ち、撮像部１から面順次に読出される２枚のフィー
ルド画像は、所謂インターレース走査による画像表示に
供する為の奇数フィールド画像および偶数フィールド画
像からなり、１組の画像データ（電子スチル画像）とし
て取扱われる。しかしてこれらの２枚のフィールド画像
は、信号処理部４にてガンマ補正等の所定の信号処理が
それぞれ施された後、A/D変換器５にて所定のビット数
のディジタル画像データに変換される。このA/D変換処
理は、基本的には撮像入力されたフィールド画像を構成
する画素毎にそれぞれ行なわれる。このようにしてディ
ジタル化された２枚のフィールド画像に対して、符号化
書込み回路６はブロック符号化等によるデータ圧縮を施
し、これをメモリカード２に記録するものとなってい
る。このメモリカード２への電子スチル画像の記録は、
例えば各フィールド画像に撮像コマ番号を付す等して、
その撮像画像を個々に管理しながら行なわれる。

一方、メモリカード２に記録された電子スチル画像は
読出し復号化回路７の制御を受けて上述した２枚のフィ
ールド画像を単位として選択的に読出され、読出し復号
化回路７にて復号される。この復号処理は、前述したよ
うにフィールド画像をブロック符号化等によりデータ圧
縮してメモリカード２への記録に供していることから、
これを元のフィールド画像データに戻す為に行なわれ
る。しかしてフィールド間動き検出部８および画像補正
部９は、第１図に示す画像のずれ補正回路部を構成する
もので、基本的にはフィールド間動き検出部８にて前記
２枚のフィールド画像間での画像のずれ量を検出し、こ
の検出されたずれ量に従って画像補正部９にてそのずれ
を検出するべく補正処理を施すように構成される。この
ようにしてずれ補正された２枚のフィールド画像がD/A
変換器10介して画像モニタ３に出力され、例えばNTSC方
式のTV画像信号に変換されて画像表示に供される。つま
りメモリカード２から読出される２枚のフィールド画像
（奇数フィールド画像と偶数フィールド画像）を用いて
インターレース走査して１枚のフレーム画像として画像
表示するに際し、本装置では上記２枚のフィールド画像
間のずれを求め、このずれをなくす為の補正処理を施し
た上で上述したインターレース走査による画像表示に供
するものとなっている。

次に上記フィールド間動き検出部８によるフィールド
画像間でのずれ検出と、画像補正部９による画像のずれ
補正処理について更に詳しく説明する。

このフィールド間動き検出部８と画像補正部９とを主
体とする画像のずれ補正回路部は、第１図に示すように
２枚のフィールド画像をそれぞれ格納する奇数フィール
ド画像メモリ11と偶数フィールド画像メモリ12とを備え
ている。電子スチルカメラにて撮像され、画像モニタ３
による画像表示に供せられる電子スチル画像の２枚のフ
ィールド画像はこれらの奇数フィールド画像メモリ11と
偶数フィールド画像メモリ12とにそれぞれ格納されるこ
とになる。

しかして補間処理部13,14は上記奇数フィールド画像
メモリ11および偶数フィールド画像メモリ12にそれぞれ
格納された奇数フィールド画像および偶数フィールド画
像に対してそれぞれ独立にフィールド補間処理を施し、
仮のフレーム画像を作成している。具体的には補間処理
部13は第３図（ａ）に示すように実線で示す奇数フィー
ルド画像信号からそのライン間の偶数フィールド画像信
号成分を所定の補間演算処理、例えばライン間での対応
画素位置における画素信号の荷重平均処理等により破線
で示すように求め、奇数フィールド画像をベースとする
仮のフレーム画像を求めている。同様にして補間処理部
14は第３図（ｂ）に示すように実線で示す偶数フィール
ド画像信号から奇数フィールド画像信号成分を所定の補
間演算処理により破線で示すように求め、偶数フィール
ド画像をベースとする仮のフレーム画像を求めている。

このようにしてそれぞれ求められた２次の仮のフレー
ム画像が相関演算部15に与えられて前記奇数フィールド
画像と偶数フィールド画像との間での画像のずれ検出に
供される。相関演算部15は、例えば第４図に示すように
一方の画像を基準としてその中に比較基準点Ａを設定
し、他方の画像における上記比較基準点Ａに対応する点
を囲むように比較参照領域Ｂを設定する。そしてこの比
較参照領域Ｂをスキャンして各スキャン点と前記比較基
準点Ａとの相関を調べ、相関値が一番高くなるスキャン
点を画像のずれ量を計測する為の比較点Ｃとする。この
比較点と前記比較基準点とのずれ量を求めることにより
画像のずれ量（図中矢印で示すベクトルＤ）が計測され
る。

尚、この画像のずれ量の計測は複数の比較基準点を設
定し、これらの各比較基準点についてそれぞれ行なうよ
うにすることも可能である。また上記比較基準点に代え
て所定の大きさの比較基準エリアを設定し、この比較基
準エリアを囲む比較参照エリアをスキャンニングして上
記比較基準エリアと最も相関が高くなるエリアを探し出
して画像のずれ量を求めるようにすることも可能であ
る。更には第５図に示すよにその画像領域を所定の大き
さにブロック分割しておき、これらの分割されたブロッ
ク領域毎に個々にその画像のずれを求めるようにするこ
とも可能である。

また上述した相関演算は、例えば奇数フィールド画像
の比較基準点として設定された画素のデータをf_(x),偶
数フィールド画像における上記比較基準点が距離ｔだけ
離れた点の画素データをg_(x+t)としたとき、 なる相関演算により、φ_(t)が最小となる点を探すよう
にすれば良い。

また或いは分散法を導入し、 V_(s)＝＜（f_(x)−g_(x+t) ²＞ −＜f_(x)−g_(x+t)＞^２ なる演算によりV_(s)が最小となる点をその相関が一番高
い対応点であるとして検出するようにすれば良い。但
し、上式における＜ ＞は なる平均値を表わす演算子である。

以上のようにして求められる仮のフレーム画像間での
ずれ量を前述した２枚のフィールド画像間でのずれ量と
して捕え、画像再構成部16にてその画像のずれ補正処理
を行なう。この実施例では奇数フィールド画像を基準と
して偶数フィールド画像のずれ量を求めていることか
ら、前記偶数フィールド画像メモリ12に格納されている
偶数フィールド画像を画像再構成部16に読出し、この画
像再構成部16の制御の下でフィールド画像メモリ17のず
れ補正された位置に上記偶数フィールド画像を書込むこ
とにより、その画像ずれの補正が行なわれる。

尚、この偶数フィールド画像の再構成によるずれ補正
については、代表点において求められた画像のずれ量に
従ってその画像全体を一括的にずれ補正しても良いが、
前述した如く複数の比較基準点毎にそのずれ量が求めら
れる場合や、第５図に示したようにブロック分割された
領域毎にそのずれ量が求められるような場合には、その
画像部分毎にそれぞれずれ補正するようにすることも可
能である。特にずれの大きい画像部分についてだけずれ
補正するように制御することも可能である。

このようにしてフィールド画像メモリ17にずれ補正
（再構成）して可能した偶数フィールド画像と、前記奇
数フィールド画像メモリ11に格納されている奇数フィー
ルド画像とを用いてインターレース走査による画像表示
を行なうことにより、画像のずれに起因するフリッカの
ないフレーム画像を得ることが可能となる。

かくして上述したフィールド画像間でのずれ補正回路
部を備えた本システムによれば、面順次で２枚のフィー
ルド画像を求めるが故に、その時間的なずれに起因する
画像のずれが生じ、この画像のずれがスチル画像再生時
のフリッカの要因となる場合であっても、このフリッカ
を効果的に除去することが可能となる。特に画像のずれ
が生じている画像部分だけを部分的にずれ補正するよう
にした場合には、一部の画像のずれによるフリッカの発
生を防止する為に、別の画像部分で新たなフリッカが生
じてしまうような不具合を招来することがない。つまり
被写体像の動きのある部分についてだけずれ補正するこ
とにより、その画像全体に悪影響を及ぼすことなくフリ
ッカの発生を防止することが可能となる。

尚、本発明は上述した実施例に限定されるものではな
い。ここではメモリカードに記録されている。フィール
ド画像に対してずれ補正を施す例について説明したが、
例えば固体撮像装置から面順次で得られたフィールド画
像自体に直接ずれ補正を施し、これをメモリカード等に
記録したり、或いは画像モニタによる表示に供給するよ
うにそのシステムを構築することも可能である。更には
相関演算による画像のずれ量の検出アルゴリズムや、検
出されたずれ量に基づく画像のずれ補正の手法はシステ
ム仕様に応じて定めれば良いものであり、要は本発明は
その要旨を逸脱しない範囲で種々変形して実施すること
ができる。

［発明の効果］ 以上説明したように本発明によればフィールド画像間
のずれ量をフィールド補間された仮のフレーム画像の相
関から求めて上記フィールド画像間のずれを補正するの
で、上記フィールド画像を用いて電子スチル画像を繰返
し再生する場合であってもフリッカのない良好な画像表
示を行ない得る等の実用上多大なる効果が奏せられる。

【図面の簡単な説明】

図は本発明の一実施例に係る電子スチルカメラシステム
を示すもので、第１図は実施例システムにおいて特徴的
な処理機能を呈する画像のずれ補正回路部の概略構成
図、第２図は実施例システムの全体的な構成例を示す
図、第３図はフィールド画像に対するフィールド補間処
理を説明する為の図、第４図および第５図はフィールド
画像間でのずれ検出を説明する為の図である。 １……撮像部、２……メモリカード、３……画像モニ
タ、８……フィールド間動き検出部、９……画像補正
部、11……奇数フィールド画像メモリ、12……偶数フィ
ールド画像メモリ、13,14……補間処理部、15……相関
演算部、16……画像再構成部、17……フィールド画像メ
モリ。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】撮像光学系を介して結像される被写体像を
   光電変換して該被写体像の光量に応じた信号電荷を蓄積
   する固体撮像素子から面順次で２枚のフィールド画像を
   得る電子スチルカメラシステムにおいて、 この面順次で決められる２枚のフィールド画像をそれぞ
   れ独立にフィールド補間処理して仮のフレーム画像をそ
   れぞれ求める手段と、 これらの仮のフレーム画像間の相関から前記２枚のフィ
   ールド画像間でのずれ量を求める相関演算部と、 この相関演算部で求められた画像のずれ量に従って前記
   ２枚のフィールド画像間での画像のずれを補正する手段
   と、 このずれ補正された２枚のフィールド画像を合成してフ
   レーム画像を求める手段と を記録媒体に前記フレーム画像を記録する記録部、また
   は、前記フレーム画像を画像モニタに出力する再生部に
   具備したことを特徴とする電子スチルカメラシステム。
2. 【請求項２】２枚の補間フィールド画像間の相関から前
   記２毎のフィールド画像間でのずれ量を求める相関演算
   部は、フィールド画像を所定の大きさにブロック分割し
   た領域毎にそれぞれ画像のずれ量を求めるものであっ
   て、 ２毎のフィールド画像間での画像のずれ量を補正する手
   段は、ずれ量が求められたブロック分割領域に対応する
   画像領域毎にそれぞれずれ補正するものである請求項第
   （１）記載の電子スチルカメラシステム。