JP3467780B2 - ビデオ信号処理装置及び方法 - Google Patents
ビデオ信号処理装置及び方法Info
- Publication number
- JP3467780B2 JP3467780B2 JP17489692A JP17489692A JP3467780B2 JP 3467780 B2 JP3467780 B2 JP 3467780B2 JP 17489692 A JP17489692 A JP 17489692A JP 17489692 A JP17489692 A JP 17489692A JP 3467780 B2 JP3467780 B2 JP 3467780B2
- Authority
- JP
- Japan
- Prior art keywords
- vertical
- horizontal
- camera shake
- lines
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Local Oxidation Of Silicon (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
れ補正を行うためのビデオ信号処理回路に関する。
み、ビデオカメラが非常に扱やすくなってきている。と
ころが、その反面、ビデオカメラの小型、軽量化にとも
ない、ビデオカメラが撮影中に容易に動いてしまい、手
振れによる影響が生じ易くなってきている。そこで、手
振れ補正機能が搭載されたビデオカメラが登場してきて
いる。
撮像素子からの撮像信号をフィールドメモリに蓄え、フ
ィールドメモリ内で画面を拡大補間し、カメラの揺れに
応じてフィールドメモリからの読出し位置を制御して、
手振れを補正するようにしたものが知られている。とこ
ろが、このように画面を拡大補間すると、解像度の劣化
が生じる。
設け、カメラの揺れに応じてプリズムを動かして入射光
の屈折を変化させて、手振れを補正するようにしたもの
が提案されている。このような手振れ補正機構では、画
面を拡大補間していないので、画質の劣化は生じない。
ところが、このような手振れ補正機構では、光軸可変プ
リズムを設置し、その光軸可変プリズムを機械的に動か
さなければならない。このため、小型、軽量化の障害に
なる。
数よりライン数の多い撮像素子を用い、標準のテレビジ
ョン方式のライン数より多くしたことにより生じる余裕
ラインを用いて画面を上下に移動させ、手振れ補正をす
るようにしたものが提案されている。
号を映出するのに、PAL方式のCCD撮像素子が用い
られる。PAL方式のCCD撮像素子を用いてNTSC
方式のビデオ信号を出力させるようにすると、PAL方
式のライン数はNTSC方式のライン数より多いので、
余裕のラインが生じる。垂直ブランキング期間にこの余
裕ラインに対応してCCD撮像素子が高速転送される。
この高速転送のライン数を映像期間の前後で変化させる
ことにより、画面を上下に移動できる。
手振れ補正を行うと、ブランキング期間で高速転送を行
うため、CCD撮像素子の水平転送レジスタには垂直転
送レジスタから相当に大きな電荷が流れ込むことにな
る。したがって、CCD撮像素子に強い光が当たると、
電荷量が水平転送レジスタの容量をオーバーし、垂直転
送レジスタ側に逆流するという問題が生じる。
画素が含まれる。そこで、従来より、欠陥画素の位置情
報をメモリに記憶し、この欠陥画素の位置で補間等の処
理を行い、欠陥画素に対処することが行われている。
ョン方式のライン数よりライン数の多い撮像素子を用
い、ライン数を標準のテレビジョン方式のライン数より
多くしたことにより生じる余裕ラインを用いて画面を上
下に移動させて手振れ補正を行うと、欠陥情報の方はC
CD撮像素子上のアドレスとして固定されているのに、
映像信号の方は手振れ補正により移動するので、欠陥画
素の位置と欠陥補正する位置とが対応しなくなる。
よりライン数の多い撮像素子を用いると、撮像画面が縦
長になる。そこで、撮像信号がラインメモリに取り込ま
れ、拡大率に応じて、時間軸変換される。このように時
間軸変換することにより、水平方向に画面が拡大され
る。したがって、この拡大された画面を水平方向の手振
れ量に応じてシフトすれば、水平方向の手振れ補正が行
なえる。
換を行う場合、書き込みクロックと読み出しクロックと
を同一とし、同一のデータを拡大率に応じて複数回読み
出した後、補間フィルタによりデータを補間することが
考えられる。ところが、このように補間フィルタを用い
ると、画質の劣化が生じる。
自動焦点制御のために、光学情報検出用のウィンドウが
設けられている。例えば、自動露光制御は、この光学情
報検出用のウィンドウ内の映像信号レベルを検出し、こ
の映像信号レベルに応じてアイリスの開度及びAGCの
ゲインを設定することにより行われる。上述のように、
撮像信号をラインメモリに取り込み、水平方向に画面を
拡大し、拡大された画面を水平方向の手振れ量に応じて
シフトして水平方向の手振れ補正を行うと、被写体の位
置に対してウィンドウの位置にずれが生じてくる。例え
ば、手振れによりウィンドウの位置が被写体上に合致し
たり離れたりすると、ウィンドウ内の光量は変化する
が、手振れ補正により撮影画面は静止している。このた
め、画面は静止しているのに明るさが変化するようなこ
とが生じる。
の実際の位置と欠陥補正する映像信号の位置とを対応さ
せることができるビデオ信号処理装置及び方法を提供す
ることにある。
ライン数が出力すべきテレビジョン方式のライン数より
多くされた撮像素子と、垂直方向のライン数を出力すべ
きテレビジョン方式のライン数より多くしたことにより
生じる余裕ラインを用いて画面を手振れ量に応じて画面
を手振れ量に応じて上下に移動させ、手振れを補正する
手段とを備えたビデオ信号処理装置において、撮像素子
に配列される各画素の欠陥位置情報を記憶するメモリ
と、欠陥位置情報を高速転送により垂直方向のライン数
を出力すべきテレビジョン方式のライン数より多くした
ことにより生じる余裕ラインの送り量に応じてシフトさ
せて欠陥補正を行う手段とを備えるようにしたビデオ信
号処理装置である。
べきテレビジョン方式のライン数より多くされた撮像素
子を配設し、垂直方向のライン数を出力すべきテレビジ
ョン方式のライン数より多くしたことにより生じる余裕
ラインを用いて画面を手振れ量に応じて上下に移動さ
せ、手振れを補正するようにしたビデオ信号処理方法に
おいて、撮像素子に配列される各画素の欠陥位置情報を
記憶するメモリを設け、欠陥位置情報を高速転送により
垂直方向のライン数を出力すべきテレビジョン方式のラ
イン数より多くしたことにより生じる余裕ラインの送り
量に応じてシフトさせて欠陥補正を行うようにしたビデ
オ信号処理方法である。
タにドレインを並設し、ブランキング期間で撮像素子を
高速転送したときの余分な電荷をドレインで吸収させる
ようにしている。
ライン毎に記憶するラインメモリを設け、ラインメモリ
の書き込み及び読み出しを制御して水平方向にラインを
拡大し、拡大されたラインを手振れ量に応じて水平方向
に移動させて水平方向の手振れ補正を行い、ラインメモ
リの書き込みクロックと読み出しクロックとをロックさ
せると共に、ラインの拡大率に応じて、書き込みクロッ
クと読み出しクロックとの周波数比を設定するようにし
ている。
フトしているので、欠陥の位置と補正する位置とを対応
させることができる。
並設されているので、撮像素子の垂直転送レジスタへの
電荷の逆流を防止することができる。
しているので、画質の劣化が生じない。
照して説明する。図1は、この発明が適用されたビデオ
カメラの一例を示すものである。図1において、レンズ
1を介されて被写体像光は、アイリス2を介して、CC
D撮像素子3の受光面に結像される。このビデオカメラ
はNTSC方式により記録を行なうものであるが、手振
れ補正を行なうために、CCD撮像素子3のライン数と
しては、NTSC方式のライン数に相当するものではな
く、PAL方式のライン数に相当するものが用いられて
いる。すなわち、CCD撮像素子3のライン数は、例え
ば有効ライン数が582ラインとされている。
回路5からのタイミング信号に基づき、ドライバ4によ
り駆動される。タイミング発生回路5には、シンク発生
回路6から同期信号が供給される。また、タイミング発
生回路5には手振れ補正コントローラ20の出力が供給
される。CCD撮像素子3には、カメラの垂直方向の揺
れに応じて、垂直ブランキング期間内で高速転送クロッ
クが供給される。
像素子3の欠陥補正が行なわれる。CCD撮像素子3の
欠陥情報は、欠陥位置記憶メモリ31に蓄えられてい
る。この欠陥位置記憶メモリ31の出力が欠陥補正パル
ス発生回路32に供給される。欠陥補正パルス発生回路
32の出力が信号処理回路10に供給される。欠陥画素
の位置では、CCD撮像素子3の出力が隣接画素のデー
タを補間して形成した画素データに置き換えられる。こ
れにより、欠陥補正がなされる。なお、この欠陥補正
は、後に説明するように、CCD撮像素子3上の欠陥位
置と映像信号上で欠陥補正を行う位置とが対応するよう
に、アドレスがシフトされる。
ルド回路7、AGC回路8を介してA/Dコンバータ9
に供給される。A/Dコンバータ9で、撮像信号がディ
ジタル化される。A/Dコンバータ9の出力が信号処理
回路10に供給されるとともに、オプティカルディテク
タ11に供給される。
理を行なって、CCD撮像素子3からの撮像信号からN
TSC方式に相当する輝度信号及びクロマ信号を形成す
るものである。信号処理回路10からの輝度信号及びク
ロマ信号が水平補正回路14に供給される。
御、フォーカス制御、ホワイトバランス制御等の光学的
な制御に必要な情報を得るためのものである。オプティ
カルディテクタ11でウィンドウが設定され、このウィ
ンドウ内の光量レベルが検出される。この光量レベルが
カメラコントローラ13に供給される。カメラコントロ
ーラ13は、この光量レベルに応じて、AGC回路8の
ゲイン、アイリス2の開度を制御する。これにより、自
動露光制御が行なわれる。また、オプティカルディテク
タ11でウィンドウが設定され、このウィンドウ内の撮
像信号のエッジ成分レベルが検出される。このエッジ成
分レベルがカメラコントローラ13に供給される。カメ
ラコントローラ13は、このエッジ成分レベルが最大と
なるようにレンズ1の位置を制御する(レンズ位置制御
機構は図示せず)。これにより、自動焦点制御が行なわ
れる。
ドウの位置は、ウィンドウ補正回路12により、移動可
能とされている。この発明の一実施例では、水平補正回
路14のラインメモリにより水平方向のラインを拡大
し、そのラインメモリの読み出し位置(又は書き込み位
置)をシフトすることにより、水平方向の手振れ補正を
行っている。ところが、このようにすると、出力される
画面の位置と、CCD撮像素子で撮影している画面の位
置とが合わなくなる。このため、手振れによりウィンド
ウの位置が被写体上に合致したり離れたりすると、ウィ
ンドウ内の光量は変化するが、手振れ補正により撮影画
面は静止しているので、画面は静止しているのに明るさ
が変化するようなことが生じる。そこで、この発明の一
実施例では、オプティカルディテクタ11のウィンンド
ウの位置が手振れ補正量に応じてシフトされる。
マ信号が水平補正回路14に供給される。水平補正回路
14は、1ラインの信号を拡大して、読み出し位置をシ
フトさせることにより、カメラの水平方向の手振れ補正
を行なうものである。この水平補正回路14は、ライン
メモリから構成されており、このラインメモリの読出し
及び書込みクロックを同期させるために、PLL15が
設けされる。また、水平補正回路14を構成するライン
メモリの読出し及び書込み位置は、手振れ補正コントロ
ーラ20により制御される。
マ信号は、D/Aコンバータ16A及び16Bに供給さ
れる。D/Aコンバータ16A及び16Bからは、アナ
ログ輝度信号及びクロマ信号が出力され、このアナログ
輝度信号及びクロマ信号が出力端子17A及び17Bか
ら出力される。
ンサ21A及び21Bにより検出される。すなわち、ピ
ッチ角速度センサ21Aにより垂直方向の揺れが検出さ
れる。このピッチ角速度センサ21Aの出力がアンプ2
2Aを介してA/Dコンバータ23Aに供給される。A
/Dコンバータ23Aの出力が手振れ補正コントローラ
20に供給される。ヨー角速度センサ21Bにより水平
方向の揺れが検出される。このヨー角度センサ21Bの
出力がアンプ22Bを介してA/Dコンバータ23Bに
供給される。A/Dコンバータ23Bの出力が手振れ補
正コントローラ20に供給される。
速度センサ21Aで検出された垂直方向の揺れに基づい
てCCD撮像素子3の高速転送を制御することにより、
垂直方向の手振れ補正を行なう。また、ヨー角速度セン
サ21Bで検出された水平方向の揺れに基づいて、水平
補正回路14を構成するラインメモリの読出し位置(又
は書き込み位置)をシフトすることにより、水平方向の
振れ補正を行なう。
一実施例では、CCD撮像素子3として、PAL方式の
ライン数、例えば有効ライン数が582のものが用いら
れている。これに対して、NTSC方式の有効ライン数
は494ラインである。したがって、CCD撮像素子3
の一画面の有効ライン数582のうち、利用されるのは
494ライン分であり、図2Aにおいてハッチングで示
すように、それ以外のラインの出力は利用されない。画
面は、開始位置STを変化させることにより、垂直方向
に動かすことができる。したがって、画面の垂直方向の
揺れを取り除くように開始位置STを動かせば、垂直方
向の手振れ補正を行なえる。
に、フィールド識別パルスFLD(図3A)、垂直同期
パルスVD(図3B)、水平同期パルスHD(図3C)
センサゲートパルスXG1及びXG2(図3D及び図3
E)、転送クロックCK(図3F)が供給される。
る。このセンサゲートパルスにより、CCD撮像素子3
の各画素から垂直転送レジスタに電荷が転送される。こ
の電荷は、図3Fに示す転送クロックにより転送され
る。なお、この時、垂直方向の2画素分が混合されて垂
直転送レジスタに送られ、センサゲートパルスXGS1
及びXGS2の組み合せにより、1/2ライン分読出し
位置をシフトさせることができる。
Nライン分高速で転送される。CCD撮像素子3がNラ
イン分高速で送られたら、時点t2 から、CCD撮像素
子3は通常の転送速度で送られる。そして、時点t3 か
ら、CCD撮像素子が高速転送される。時点t1 から時
点t4 までに転送されたライン数の総計がPAL方式の
ライン数に相当し、時点t2 から時点t3 のライン数が
NTSC方式のライン数に相当する。この高速転送され
るライン数Nにより、画面の垂直方向の位置を変化させ
ることができる。この垂直転送されるライン数Nを、ビ
デオカメラの垂直方向の揺れに応じて設定することで、
垂直方向の手振れ補正が行なわれる。
CCD撮像素子3のうちNTSC方式のライン数分を通
常の速度で電荷を転送し、残りのラインでは高速で電荷
を転送すると、図4に示すように、例えば円形の被写体
A1は、縦に延びた円形の像A2として写し出されてし
まう。
の信号SLがラインメモリに取り込まれ、図5Bに示す
ように、この信号が時間軸を変えて読み出される。これ
により、映出される像の縦横比が補正されるとともに、
水平方向に画面が拡大される。このラインメモリの読出
し位置を、水平方向のビデオカメラの揺れに応じてシフ
トすることで、水平方向の手振れ補正が行なえる。
上述のように、CCD撮像素子3では、垂直ブランキン
グ期間内に電荷を高速転送し、高速で掃き出しを行なっ
ている。このため、CCD撮像素子3の水平転送レジス
タには、垂直転送レジスタから相当に大きな電荷が流れ
込むことになる。したがって、CCD撮像素子3に強い
光が当たると、電荷量が水平転送レジスタの容量をオー
バーし、垂直転送レジスタ側に逆流しやすい。
D撮像素子の各画素には、光電変換素子31が二次元配
列される。各光電変換素子31で入射光が光電変換さ
れ、その電荷はフォトダイオード31から垂直転送レジ
スタ32に供給される。この電荷は、垂直転送レジスタ
32により矢印a1で示すように転送される。そして、
水平転送レジスタ33に送られる。水平転送レジスタ3
3により、電荷が矢印C1で示すように転送され、外部
に出力される。
量の電荷が水平転送レジスタ33に送られると、水平転
送レジスタ33の電荷が溢れ、矢印b1で示すように、
水平転送レジスタ33から垂直転送レジスタ32に電荷
が逆流してしまう。
示すように、水平転送レジスタ43と並んで、ドレイン
44が設けられる。すなわち、各画素の光電変換素子4
1からの電荷は、垂直転送レジスタ42に供給され、垂
直転送レジスタ42により矢印a2で示すように転送さ
れる。そして、水平転送レジスタ43に送られる。水平
転送レジスタ43により、電荷が矢印c2で示すように
転送され、外部に出力される。
量の電荷が水平転送レジスタ43に送られるとすると、
水平転送レジスタ43の電荷が溢れ出す。この溢れた電
荷は、図8に示すように、水平転送レジスタ43に並設
されたドレイン44に流れ込む。このため、水平転送レ
ジスタ33から垂直転送レジスタ32に電荷が逆流して
しまうことが防止できる。
したように、水平補正回路14により、水平方向の時間
軸を変え、水平方向の画面の拡大するようにしている。
このような時間軸の変換は、書込みクロック及び読出し
クロックは変えずに、ラインメモリから同一のデータを
繰返し読出し、その間のデータを内挿により補間するの
が、クロックの管理上容易である。ところが、このよう
にすると、データの内挿が必要なため、内挿フィルタに
よる画質劣化が生じる。
に時と読出し時とでクロックの周波数を変えることによ
り、時間軸の変換を行なうようにしている。
路14の一例である。図9において、入力端子51にビ
デオ信号(輝度信号又はクロマ信号)が供給される。こ
のビデオ信号がラインメモリ52に供給される。ライン
メモリ52の出力がスイッチ回路53の端子53Aに供
給される。
される。このクロックが書込みクロック発生回路55に
供給されるとともに、1/N分周回路56に供給され
る。1/N分周回路56の出力が位相比較回路57に供
給される。位相比較回路57の出力がローパスフィルタ
61を介してVXO58に供給される。
発生回路59及びシンク発生回路62に供給されるとと
もに、1/M分周回路60に供給される。1/M分周回
路60の出力が位相比較回路57に供給される。位相比
較回路57で、1/N分周された入力端子54からのク
ロックの位相と、1/M分周されたVXO58の出力の
位相が比較される。この位相比較出力に基づいて、VX
O58の発振周波数が制御される。
較回路57によりPLLが構成される。このPLLによ
り、周波数の異なる書込みクロック及び読出しクロック
を形成することができる。また、このようにPLLを構
成しているため、書込みクロック及び読出しクロック
は、ラインロックしている。
出しクロック発生回路59の出力がメモリコントローラ
64に供給される。また、水平方向のシフト量が入力端
子65からメモリコントローラ64に供給される。
ク発生回路55からの書込みクロック及び読出しクロッ
ク発生回路59からの読出しクロックにより、ラインメ
モリ52の書き込み及び読み出しを制御している。この
書き込みクロックと読み出しクロックの周波数比は、分
周回路56の分周比Nと分周回路60の分周比Mにより
決まる。このため、時間軸変換が実現される。これによ
り、水平方向のラインが拡大される。そして、この拡大
されたラインの読み出し位置(又は書き込み位置)は、
入力端子65からのシフト量に応じて変化される。これ
により、水平方向の手振れ補正がなされる。
53の端子53Bに供給される。スイッチ回路53は、
映像信号期間では端子53A側に切り替えられており、
同期信号のタイミングで、端子53A側から端子53B
側に切り替えられる。このスイッチ回路53の出力が出
力端子63から取り出される。
陥画素が含まれる。そこで、前述したように、欠陥画素
の位置情報を欠陥位置記憶メモリ31に蓄え、この欠陥
画素の位置で補間等の処理を行い、欠陥画素に対処する
ことが行われている。
ように、欠陥位置記憶メモリ31には、欠陥画素のアド
レスが蓄えられる。このアドレス(Hn,Vn)は、最
初の欠陥P1 については絶対アドレスとされ、それ以降
の欠陥P2 、P3 ついては水平方向については絶対アド
レスとされ、垂直方向については前の欠陥画素の位置か
らの相対アドレスとされている。
31からは、欠陥位置のアドレス(Hn,Vn)が出力
される。このアドレス(Hn,Vn)が欠陥補正パルス
発生回路32に供給される。また、欠陥補正パルス発生
回路32には、手振れ補正コントローラ20から、垂直
方向の手振れ量ΔVが供給される。欠陥補正パルス発生
回路32で、垂直アドレスVnに手振れ量ΔVが減算さ
れる。これにより、手振れ量に応じてシフトされたアド
レス(Hn,Vn−ΔV)が形成される。
で、欠陥補正パルスが発生される。この欠陥補正パルス
により、信号処理回路10内のスイッチ回路71が切り
替えられる。すなわち、正常な画素の場合には、スイッ
チ回路71が端子71A側に設定される。欠陥補正パル
スが発生されると、スイッチ回路71が端子71B側に
切り替えられ、遅延回路72により補間された画素がス
イッチ回路71から出力される。このように手振れ量に
応じて欠陥情報の位置をシフトすると、図10B及び図
10Cに示すように、手振れ補正を行っても、正しく欠
陥補正を行うことができる。
テクタ11のウィンドウの位置は、ウィンドウ補正回路
12により移動可能とされており、水平方向の画面のシ
フト量に対応して、オプティカルディテクタ11のウィ
ンンドウの位置をずらすようにしている。
1からロード信号発生回路82に水平同期パルスHD
(図13A)が供給される。水平同期パルスHDがロー
ド信号発生回路82に供給されると、図13Bに示すよ
うに、ロード信号発生回路82でカウンタ83のロード
信号が形成される。このロード信号かカウンタ83に供
給される。カウンタ83は、このロード信号により、値
Mをロードする。この値Mは、水平方向の手振れ量に応
じて設定される。カウンタ83で、この値Mがカウント
される。カウンタ83の出力がデコーダ84に供給され
る。デコーダ84で、カウンタ83の出力を基に、ウィ
ンドウWの位置が決定される。このウィンドウWの位置
は、図13A及び図13Bに示すように、カウンタ83
にロードされる値M、すなわち手振れ量に応じてシフト
される。
振れ量に応じてオプティカルディテクタ11のウィンド
ウの位置をシフトしているので、例えば、手振れにより
ウィンドウの位置が被写体上に合致したり離れたりし
て、画面は静止しているのに明るさが変化するようなこ
とが生じるとういう問題が改善される。
体QとウィンドウWDとが合致している状態から、手振
れが生じたとする。手振れが発生しても、手振れ補正に
より画面上の位置は補正される。この時、ウィンドウW
Dの位置をシフトさせないと、図14Bに示すように、
画面は手振れ補正により動かないが、ウィンドウWDの
位置と被写体Qの位置とが合わなくなる。このため、ウ
ィンドウ内の光量は変化するが、手振れ補正により撮影
画面は静止していることになり、全体の明るさが変化し
てくることになる。
図14Cに示すように、手振れ量に応じてウィンドウW
Dの位置をシフトしているので、被写体Qとウィンドウ
WDとが合致している状態が維持される。このため、全
体の明るさの変化が生じることはない。
式のライン数のCCD撮像素子を用いて、NTSC方式
の撮像信号を出力させるようにしているが、出力させる
べき撮像信号のライン数より多いライン数の撮像素子な
ら、どのような撮像素子を用いることもできる。また、
PAL方式の撮像信号を出力させるような場合には、例
えばライン数が697の特殊な撮像素子が用いられる。
信号のライン数より多いライン数の撮像素子を用い、そ
の余分なラインを使って画面をシフトさせて手振れ補正
を行っているので、画質の劣化が生じない。また、プリ
ズムを動かす等の機構を付加する必要が無いので、小
型、軽量化が図れる。
モリの位置を手振れ量に応じてシフトしているので、欠
陥画素の情報と補正を行う位置とを対応させることがで
きる。
転送レジスタにドレインが並設されているので、撮像素
子の垂直転送レジスタへの電荷の逆流を防止することが
できる。
用いずに水平方向の拡大をしているので、画質の劣化が
生じない。
ロック図である。
明に用いる略線図である。
明に用いる波形図である。
明に用いる略線図である。
明に用いる略線図である。
像素子の説明に用いる略線図である。
像素子の説明に用いる略線図である。
像素子の説明に用いる略線図である。
の手振れ補正の説明に用いるブロック図である。
正の説明に用いる略線図である。
正の説明に用いるブロック図である。
出用のウィンドウ設定の説明に用いるブロック図であ
る。
出用のウィンドウ設定の説明に用いる波形図である。
出用のウィンドウ設定の説明に用いる略線図である。
Claims (2)
- 【請求項1】 垂直方向のライン数が出力すべきテレビ
ジョン方式のライン数より多くされると共に、水平転送
レジスタにドレインが並設され、ブランキング期間で高
速転送したときの余分な電荷を上記ドレインで吸収させ
るようにした撮像素子と、垂直方向の手振れ量を検出する垂直方向手振れ量検出手
段と、 上記撮像素子を高速転送し、 上記垂直方向のライン数を
出力すべきテレビジョン方式のライン数より多くしたこ
とにより生じる余裕ラインを用い、上記垂直方向手振れ
量検出手段で検出された垂直方向の手振れ量に応じて画
面を上下に移動させ、垂直方向の手振れを補正を行う垂
直方向手振れ補正手段と、 上記撮像素子に配列される各画素のうち欠陥が発生して
いる画素の水平方向及び垂直方向の欠陥位置情報を記憶
する欠陥位置情報メモリと、 上記垂直方向手振れ量検出手段で検出された垂直方向の
手振れ量に応じて、上記欠陥位置情報メモリからの欠陥
位置情報のうちの垂直方向の位置情報をシフトさせ、上
記垂直方向の位置情報がシフトされた位置で上記撮像素
子の欠陥画素の補正を行う欠陥画素補正手段と、 水平方向の手振れ量を検出する水平方向手振れ量検出手
段と、 上記垂直方向の手振れ補正手段により垂直方向の手振れ
が補正され、上記欠陥画素補正手段により欠陥画素が補
正された上記撮像素子からの撮像信号をライン毎に記憶
するラインメモリと、 上記ラインメモリの書き込みクロックと読み出しクロッ
クとをロックさせると共に、上記ラインの拡大率に応じ
て、上記書き込みクロックと上記読み出しクロックとの
周波数比を設定し、上記ラインメモリの書き込み及び読
み出しを制御して水平方向にラインを拡大し、上記拡大
されたラインを、上記水平方向手振れ量検出手段で検出
された水平方向の手振れ量に応じて水平方向に移動させ
て水平方向の手振れ補正を行う水平方向手振れ補正手段
と を備えるようにしたビデオ信号処理装置。 - 【請求項2】 垂直方向のライン数が出力すべきテレビ
ジョン方式のライン数より多くされると共に、水平転送
レジスタにドレインが並設され、ブランキン グ期間で高
速転送したときの余分な電荷を上記ドレインで吸収させ
るようにした撮像素子と、垂直方向の手振れ量を検出す
る垂直方向手振れ量検出手段とを設け、 上記撮像素子を高速転送し、 上記垂直方向のライン数を
出力すべきテレビジョン方式のライン数より多くしたこ
とにより生じる余裕ラインを用い、上記垂直方向手振れ
量検出手段で検出された垂直方向の手振れ量に応じて画
面を上下に移動させ、垂直方向の手振れを補正を行うと
共に、 上記撮像素子に配列される各画素のうち欠陥が発生して
いる画素の水平方向及び垂直方向の欠陥位置情報を記憶
する欠陥位置情報メモリを設け、 上記垂直方向手振れ量検出手段で検出された垂直方向の
手振れ量に応じて、上記欠陥位置情報メモリからの欠陥
位置情報のうちの垂直方向の位置情報をシフトさせ、上
記垂直方向の位置情報がシフトされた位置で上記撮像素
子の欠陥画素の補正を行い、 水平方向の手振れ量を検出する水平方向手振れ量検出手
段と、上記垂直方向の手振れが補正され、上記欠陥画素
補正手段により欠陥画素が補正された上記撮像素子から
の撮像信号をライン毎に記憶するラインメモリとを設
け、 上記ラインメモリの書き込みクロックと読み出しクロッ
クとをロックさせると共に、上記ラインの拡大率に応じ
て、上記書き込みクロックと上記読み出しクロックとの
周波数比を設定し、上記ラインメモリの書き込み及び読
み出しを制御して水平方向にラインを拡大し、上記拡大
されたラインを、上記水平方向手振れ量検出手段で検出
された水平方向の手振れ量に応じて水平方向に移動させ
て水平方向の手振れ補正を行う ようにしたビデオ信号処
理方法。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019920009871A KR950008698B1 (ko) | 1992-06-09 | 1992-06-08 | 반도체소자의 필드산화막 형성방법 |
JP17489692A JP3467780B2 (ja) | 1992-06-09 | 1992-06-09 | ビデオ信号処理装置及び方法 |
KR1019930009871A KR100274413B1 (ko) | 1992-06-09 | 1993-06-02 | 비디오신호 처리장치 |
US08/070,957 US5396286A (en) | 1992-06-09 | 1993-06-04 | Video signal processing apparatus |
DE69302754T DE69302754T2 (de) | 1992-06-09 | 1993-06-08 | Bildstabilisator für Videokamera |
EP93304441A EP0574228B1 (en) | 1992-06-09 | 1993-06-08 | Image stabiliser for video camera |
CN93107047A CN1036233C (zh) | 1992-06-09 | 1993-06-09 | 视频信号处理设备 |
US08/395,900 US5497192A (en) | 1992-06-09 | 1995-02-28 | Video signal processing apparatus for correcting for camera vibrations using CCD imager with a number of lines greater than the NTSC standard |
CN97102684A CN1083208C (zh) | 1992-06-09 | 1997-02-26 | 视频信号处理设备 |
CN97102683A CN1089523C (zh) | 1992-06-09 | 1997-02-26 | 视频信号处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17489692A JP3467780B2 (ja) | 1992-06-09 | 1992-06-09 | ビデオ信号処理装置及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002023478A Division JP3551182B2 (ja) | 2002-01-31 | 2002-01-31 | ビデオ信号処理装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05344413A JPH05344413A (ja) | 1993-12-24 |
JP3467780B2 true JP3467780B2 (ja) | 2003-11-17 |
Family
ID=15986586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17489692A Expired - Lifetime JP3467780B2 (ja) | 1992-06-09 | 1992-06-09 | ビデオ信号処理装置及び方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US5396286A (ja) |
EP (1) | EP0574228B1 (ja) |
JP (1) | JP3467780B2 (ja) |
KR (2) | KR950008698B1 (ja) |
CN (3) | CN1036233C (ja) |
DE (1) | DE69302754T2 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5717611A (en) * | 1993-10-08 | 1998-02-10 | Nikon Corporation | Slight motion detecting device |
JPH07115579A (ja) * | 1993-10-15 | 1995-05-02 | Canon Inc | 自動焦点調節装置 |
EP0712237B1 (en) * | 1994-11-12 | 1999-03-17 | Sony Corporation | Method of driving a CCD solid state imaging device and video camera using the same |
SE504329C2 (sv) * | 1995-06-02 | 1997-01-13 | Saab Dynamics Ab | Anordning för stabiliserad bildåtergivning |
KR100216262B1 (ko) * | 1996-09-23 | 1999-08-16 | 구본준 | 반도체장치의 소자분리방법 |
US6573930B2 (en) * | 1996-11-15 | 2003-06-03 | Canon Kabushiki Kaisha | Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods |
JPH10257374A (ja) * | 1997-03-14 | 1998-09-25 | Canon Inc | カメラ制御システムおよびその制御方法および記憶媒体 |
US6786420B1 (en) | 1997-07-15 | 2004-09-07 | Silverbrook Research Pty. Ltd. | Data distribution mechanism in the form of ink dots on cards |
JP3785520B2 (ja) * | 1997-03-19 | 2006-06-14 | コニカミノルタホールディングス株式会社 | 電子カメラ |
US6618117B2 (en) | 1997-07-12 | 2003-09-09 | Silverbrook Research Pty Ltd | Image sensing apparatus including a microcontroller |
US6985207B2 (en) | 1997-07-15 | 2006-01-10 | Silverbrook Research Pty Ltd | Photographic prints having magnetically recordable media |
US6879341B1 (en) | 1997-07-15 | 2005-04-12 | Silverbrook Research Pty Ltd | Digital camera system containing a VLIW vector processor |
US6624848B1 (en) | 1997-07-15 | 2003-09-23 | Silverbrook Research Pty Ltd | Cascading image modification using multiple digital cameras incorporating image processing |
US6690419B1 (en) | 1997-07-15 | 2004-02-10 | Silverbrook Research Pty Ltd | Utilising eye detection methods for image processing in a digital image camera |
US7110024B1 (en) | 1997-07-15 | 2006-09-19 | Silverbrook Research Pty Ltd | Digital camera system having motion deblurring means |
AUPO850597A0 (en) * | 1997-08-11 | 1997-09-04 | Silverbrook Research Pty Ltd | Image processing method and apparatus (art01a) |
US20040119829A1 (en) | 1997-07-15 | 2004-06-24 | Silverbrook Research Pty Ltd | Printhead assembly for a print on demand digital camera system |
AUPO802797A0 (en) | 1997-07-15 | 1997-08-07 | Silverbrook Research Pty Ltd | Image processing method and apparatus (ART54) |
JPH11261944A (ja) * | 1998-01-26 | 1999-09-24 | Newcore Technol Inc | 画像撮影装置 |
US20040201707A1 (en) * | 1998-03-12 | 2004-10-14 | Kazuhiro Noguchi | Variable magnification lens having image stabilizing function |
DE19814951C2 (de) * | 1998-04-03 | 2000-08-31 | Zeiss Optronik Gmbh | Vorrichtung und Verfahren zur digitalen Bildstabilisierung |
AUPP702098A0 (en) | 1998-11-09 | 1998-12-03 | Silverbrook Research Pty Ltd | Image creation method and apparatus (ART73) |
US6593967B1 (en) | 1998-12-16 | 2003-07-15 | Eastman Kodak Company | Electronic camera having dual clocked line memory |
US6317114B1 (en) | 1999-01-29 | 2001-11-13 | International Business Machines Corporation | Method and apparatus for image stabilization in display device |
AUPQ056099A0 (en) | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (pprint01) |
JP4378804B2 (ja) * | 1999-09-10 | 2009-12-09 | ソニー株式会社 | 撮像装置 |
JP2001211292A (ja) * | 1999-11-18 | 2001-08-03 | Tohoku Ricoh Co Ltd | スキャナ制御方法、スキャナ装置、複写印刷装置、調停装置及び記憶媒体 |
JP3991543B2 (ja) | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
JP4389371B2 (ja) * | 2000-09-28 | 2009-12-24 | 株式会社ニコン | 画像修復装置および画像修復方法 |
US6778767B2 (en) * | 2002-01-25 | 2004-08-17 | Canon Kabushiki Kaisha | Shake correcting device, image pickup apparatus, shake correcting method, program for implementing the method, storage medium storing the program |
US20030185301A1 (en) * | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Video appliance |
US20030185302A1 (en) * | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Camera and/or camera converter |
US7212574B2 (en) * | 2002-04-02 | 2007-05-01 | Microsoft Corporation | Digital production services architecture |
JP3867680B2 (ja) * | 2003-04-01 | 2007-01-10 | ソニー株式会社 | 撮像装置および手振れ補正方法 |
JP3914216B2 (ja) * | 2003-05-15 | 2007-05-16 | 松下電器産業株式会社 | 画像欠陥補正装置、及び、画像欠陥補正方法 |
JP3991011B2 (ja) * | 2003-06-20 | 2007-10-17 | キヤノン株式会社 | 画像信号処理装置 |
JP3829843B2 (ja) * | 2003-12-08 | 2006-10-04 | ソニー株式会社 | 画像処理装置 |
JP4718196B2 (ja) * | 2005-02-01 | 2011-07-06 | 株式会社日立製作所 | 撮像装置 |
JP2007010908A (ja) * | 2005-06-29 | 2007-01-18 | Canon Inc | 焦点調節方法及び装置 |
JP4956009B2 (ja) * | 2006-02-02 | 2012-06-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP4305516B2 (ja) * | 2007-01-30 | 2009-07-29 | ソニー株式会社 | 固体撮像素子及び固体撮像装置 |
KR100903086B1 (ko) * | 2007-11-14 | 2009-06-16 | 주식회사 씨아이티 | 닥터 갭 유지장치 |
CN101674408B (zh) * | 2008-09-12 | 2011-07-27 | 高庄 | 摄影装置的振动补偿方法 |
CN101404725B (zh) * | 2008-11-24 | 2010-07-21 | 华为终端有限公司 | 摄像机、摄像机组、摄像机组的控制方法、装置及*** |
US8624999B2 (en) * | 2009-12-01 | 2014-01-07 | Ricoh Company, Ltd. | Imaging apparatus |
KR20140145785A (ko) | 2013-06-14 | 2014-12-24 | 삼성디스플레이 주식회사 | 박막 트랜지스터 표시판 및 그 제조 방법 |
CN114449192B (zh) * | 2020-11-04 | 2024-02-27 | 格科微电子(上海)有限公司 | 虚拟主动式图像采集设备及其数据传输方法、存储介质、终端 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60165183A (ja) * | 1984-02-06 | 1985-08-28 | Canon Inc | 撮像素子又は撮像装置 |
JP2526205B2 (ja) * | 1985-10-22 | 1996-08-21 | 松下電子工業株式会社 | 固体撮像装置の駆動方法 |
US4748507A (en) * | 1986-10-17 | 1988-05-31 | Kenneth Gural | Solid state imaging device having means to shift the image between scans and associated circuitry to improve the scanned image |
FR2608315B1 (fr) * | 1986-12-16 | 1989-02-17 | Thomson Csf | Dispositif anti-eblouissement pour capteur d'images a transfert de charges et capteur d'images comportant un tel dispositif |
US4761683A (en) * | 1986-12-18 | 1988-08-02 | Xerox Corporation | Charge transfer in multiple sensor row arrays |
US4980771A (en) * | 1988-02-18 | 1990-12-25 | Victor Company Of Japan, Ltd. | Imaging device and imaging apparatus including the imaging device |
JP2551629B2 (ja) * | 1988-06-21 | 1996-11-06 | 株式会社日立製作所 | 撮像装置 |
US4959725A (en) * | 1988-07-13 | 1990-09-25 | Sony Corporation | Method and apparatus for processing camera an image produced by a video camera to correct for undesired motion of the video camera |
KR910004009A (ko) * | 1989-07-27 | 1991-02-28 | 강진구 | 비디오 카메라의 자동촬영장치 |
KR950003569B1 (ko) * | 1990-04-19 | 1995-04-14 | 미쯔비시덴끼 가부시끼가이샤 | 촬상장치 및 이를 이용한 자동 초점맞춤 장치 |
US5253071A (en) * | 1991-12-20 | 1993-10-12 | Sony Corporation Of America | Method and apparatus for stabilizing an image produced in a video camera |
-
1992
- 1992-06-08 KR KR1019920009871A patent/KR950008698B1/ko not_active IP Right Cessation
- 1992-06-09 JP JP17489692A patent/JP3467780B2/ja not_active Expired - Lifetime
-
1993
- 1993-06-02 KR KR1019930009871A patent/KR100274413B1/ko not_active IP Right Cessation
- 1993-06-04 US US08/070,957 patent/US5396286A/en not_active Expired - Lifetime
- 1993-06-08 EP EP93304441A patent/EP0574228B1/en not_active Expired - Lifetime
- 1993-06-08 DE DE69302754T patent/DE69302754T2/de not_active Expired - Lifetime
- 1993-06-09 CN CN93107047A patent/CN1036233C/zh not_active Expired - Lifetime
-
1995
- 1995-02-28 US US08/395,900 patent/US5497192A/en not_active Expired - Lifetime
-
1997
- 1997-02-26 CN CN97102684A patent/CN1083208C/zh not_active Expired - Lifetime
- 1997-02-26 CN CN97102683A patent/CN1089523C/zh not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
CN1173779A (zh) | 1998-02-18 |
DE69302754T2 (de) | 1996-10-10 |
CN1036233C (zh) | 1997-10-22 |
KR950008698B1 (ko) | 1995-08-04 |
DE69302754D1 (de) | 1996-06-27 |
EP0574228B1 (en) | 1996-05-22 |
KR100274413B1 (ko) | 2000-12-15 |
EP0574228A1 (en) | 1993-12-15 |
US5497192A (en) | 1996-03-05 |
KR940001682A (ko) | 1994-01-11 |
CN1089523C (zh) | 2002-08-21 |
CN1083208C (zh) | 2002-04-17 |
CN1082292A (zh) | 1994-02-16 |
JPH05344413A (ja) | 1993-12-24 |
CN1173778A (zh) | 1998-02-18 |
US5396286A (en) | 1995-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3467780B2 (ja) | ビデオ信号処理装置及び方法 | |
JP3110797B2 (ja) | 撮像方法及び撮像画面合成装置 | |
JP3630905B2 (ja) | 撮像方法及び撮像装置 | |
KR100666290B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP2001086394A (ja) | 撮像装置 | |
JPH06133211A (ja) | 画像揺れ補正機能付光学装置 | |
JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
JP3551182B2 (ja) | ビデオ信号処理装置及び方法 | |
JP2000299810A (ja) | 撮像装置 | |
US10044963B2 (en) | Imaging apparatus | |
JP3216820B2 (ja) | 手ぶれ補正装置 | |
JPH0698227A (ja) | システムクロック可変形ディジタル電子スチルカメラ | |
JPH06189200A (ja) | 固体撮像装置 | |
JPH11187299A (ja) | 撮像装置 | |
EP0989746B1 (en) | Imaging apparatus having a high-speed imaging function with electronic zoom circuit | |
JPH0787372A (ja) | 撮像装置 | |
JP2618661B2 (ja) | 撮像装置 | |
JP2773404B2 (ja) | 動き検出回路及び手ぶれ補正装置 | |
KR100191459B1 (ko) | 움직임 보상 및 디지탈 줌 시스템 | |
JP3783284B2 (ja) | 撮像装置 | |
JP3312381B2 (ja) | 撮像装置および撮像方法 | |
JP2809937B2 (ja) | Ccd撮像装置 | |
JP2750951B2 (ja) | 撮像装置 | |
JPH11187306A (ja) | 撮像装置 | |
JPH07162874A (ja) | 単板式高感度カラーカメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |