JP2004222109A - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents
撮像装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP2004222109A JP2004222109A JP2003009127A JP2003009127A JP2004222109A JP 2004222109 A JP2004222109 A JP 2004222109A JP 2003009127 A JP2003009127 A JP 2003009127A JP 2003009127 A JP2003009127 A JP 2003009127A JP 2004222109 A JP2004222109 A JP 2004222109A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- circuit
- imaging
- timing signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【解決手段】タイミングジェネレータ31は、フィールド周期の垂直同期信号をさらに分周したパルスを発生し、そのタイミングで、撮像素子32は高速撮像を行う。フレーム処理回路33は、撮像素子32からのインターレース画像を、全ライン分の情報量を有するプログレッシブ画像に変換する。カメラ信号処理回路34は、フレーム処理回路33から入力された画像を輝度信号と色差信号に変換し、合成回路35に出力する。合成回路35には、フィールド周期にN枚の高速撮像された画像が入力される。合成回路35は、F回のフィールドに亘るN×F枚の画像を1枚の画像に合成し、フィールド周期で、記録再生回路41に出力する。本発明は、デジタルビデオカメラに適用できる。
【選択図】 図3
Description
【発明の属する技術分野】
本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、特に、高速撮像で得られた画像をS/N(Signal to Noise Ratio)の高い高S/N画像として出力すること等ができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
例えば、従来のデジタルビデオカメラでは、フィールド周期で画像が撮像され、そのフィールド周期の画像に所定の信号処理が施される。そして、その信号処理後の画像が、フィールド周期で出力される。
【0003】
また、従来のビデオカメラとしては、フィールド周期以上のレートで高速に撮像を行い、その高速撮像によって得られた画像を、順次、フィールド周期で出力するものがある。この場合、フィールド周期より高速で撮像された画像が、フィールド周期で再生されることになるため、その再生画像は、スロー再生されたものとなる。
【0004】
さらに、高速撮像を行うビデオカメラとしては、例えば、CCD(Charge CoupledDevice)固体撮像素子の撮像出力により形成されるn倍の時間軸圧縮画像信号に対し、通常の同期信号を付加することによって、通常のコンポジット信号と同一のビデオ信号を出力するものがある(例えば、特許文献1参照)。なお、特許文献1に記載のビデオカメラでは、高速撮像された複数枚の画像を1画面の異なる位置に配置した形の画像を構成するようになっている。
【0005】
【特許文献1】
特開昭64−51876号公報
【0006】
【発明が解決しようとする課題】
ところで近年、デジタルカメラの小型化と高精細化に伴い、デジタルカメラに搭載されるCCDやCMOS(Complementary Mental Oxide Semiconductor)等の撮像素子において、光電変換を行う受光部(セル)のセルサイズの小型化が進んでいる。
【0007】
しかしながら、セルサイズの小型化は、受光部の受光感度を低下させる。そのような撮像素子を用いて、フィールド周期で画像を撮像し、フィールド周期のまま信号処理を行って出力すると、出力された画像は、被写体やノイズの種類により、S/Nが悪い(低い)画像となってしまうことがある。
【0008】
S/N低下の原因であるノイズを信号処理によって抑制しようとしても、小型化による回路規模的な制約や、リダクションが難しい種類のノイズが存在し、信号処理によってS/Nを改善するには限界がある。
【0009】
一方、ビデオカメラによって、画像を撮像し、その画像から、動いている被写体の速度を信号処理によって抽出する場合、その速度抽出を、単にフィールド周期で撮像された画像を用いて行うときには、高速で移動する被写体については、精度良く速度抽出を行うのが困難である。
【0010】
即ち、図1Aに示されるように、被写体であるプレーヤが、ゴルフのスイングを行い、その画像をビデオカメラで撮像した場合を考える。なお、図1Aにおける画像1−1乃至画像1−9は、プレーヤの動きを説明するものであり、ビデオカメラにより撮像された、その撮像結果としての画像を示すものではない。すなわち、画像1−1乃至1−9は、スイング中のプレーヤの瞬時の姿勢を、時系列に表している。
【0011】
図1Bは、図1Aに示した画像1−1乃至1−9の一連の姿勢として表されるプレーヤの動作としてのスイングを、ビデオカメラによって、フィールド周期で撮像した場合に得られる画像2−1乃至画像2−3を示している。
【0012】
プレーヤは、フィールド周期よりも速い速度で動いているため、ビデオカメラにおいてフィールド周期で撮像される画像2−1乃至画像2−3は、動きのある部分がにじむように繋がり、ボケた状態のものとなる。
【0013】
この画像2−1乃至画像2−3を利用して、被写体の動作速度の抽出を行うと、時刻と被写体の位置関係を正確に認識することが困難なため、動作速度を精度良く判別することが困難であった。
【0014】
図2は、動作速度がさらに速い被写体をビデオカメラによりフィールド周期で撮像して得られる画像を示している。即ち、図2は、図1の画像1−5に示した姿勢をプレーヤがとったタイミング付近で、ゴルフクラブのヘッド部分をフィールド周期で撮像して得られる画像を示している。
【0015】
図2で示される画像11には、1つのクラブヘッド12が撮影されている。すなわち、クラブヘッド12Aとクラブヘッド12Bは、同一のクラブヘッド12(クラブヘッド12Aとクラブヘッド12Bを特別区別する必要がない場合は、クラブヘッド12と称する)である。クラブヘッド12は、クラブヘッド12Aからクラブヘッド12Bの方向に移動している。画像11では、説明のためにクラブヘッド12Aとクラブヘッド12Bの位置で、クラブヘッド12の像を強調して描いているが、クラブヘッド12の移動速度は、フィールド周期よりもはるかに速いため、実際には、画像11のクラブヘッド12の像は、一様に画像11の左端から右端までつながったものとなる。従って、画像11に表示されたクラブヘッド12の像からは、クラブヘッド12の変位の始点と終点を区別することが極めて困難である。
【0016】
従って、フィールド周期よりさらに速い動作速度の被写体をフィールド周期で撮像した場合には、その撮像により得られる画像から、被写体の速度を抽出することは、極めて困難である。
【0017】
本発明は、このような状況に鑑みてなされたものであり、例えばS/Nの高い高S/N画像や高精度な被写体の動作速度抽出を可能とする画像などの、ユーザが希望する画像を取得することができるようにするものである。
【0018】
【課題を解決するための手段】
本発明の撮像装置は、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成手段と、タイミング信号生成手段が生成するタイミング信号に従い、被写体の画像を撮像する撮像手段と、撮像手段が出力する複数枚の画像を合成し、1枚の画像を出力する合成手段とを備えることを特徴とする。
【0019】
合成手段は、撮像手段が出力する画像にフィルタ係数を乗算する乗算手段と、乗算手段の乗算結果を記憶する記憶手段と、乗算手段の出力と、記憶手段に記憶された乗算結果とを加算する加算手段とを有するができる。
【0020】
フィルタ係数を変更するフィルタ係数変更手段をさらに設けることができる。
【0021】
フィルタ係数の数であるタップ数を変更するタップ数変更手段をさらに設けることができる。
【0022】
撮像手段が、奇数フィールドと偶数フィールドの画像を交互に出力する場合において、奇数フィールドと偶数フィールドの画像とを加算し、全ライン分の画素情報を有するプログレッシブ画像を生成するプログレッシブ画像生成手段をさらに備え、合成手段は、複数枚のプログレッシブ画像を合成することができる。
【0023】
撮像手段が出力する画像の信号成分を変換する変換手段をさらに備え、合成手段は、変換手段の前段または後段に配置されるようにすることができる。
【0024】
合成手段は、垂直同期信号の周期で合成した画像を出力するようにすることができる。
【0025】
本発明の撮像方法は、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップの処理が生成するタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、1枚の画像を出力する合成ステップとを含むことを特徴とする。
【0026】
本発明の記録媒体のプログラムは、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップの処理が生成するタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、1枚の画像を出力する合成ステップとを含むことを特徴とする。
【0027】
本発明のプログラムは、垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、タイミング信号生成ステップの処理が生成するタイミング信号に従い、被写体の画像を撮像する撮像ステップと、撮像ステップの処理で得られる複数枚の画像を合成し、1枚の画像を出力する合成ステップとをコンピュータに実行させることを特徴とする。
【0028】
本発明においては、垂直同期信号の周期より短い周期のタイミング信号が生成され、生成されたタイミング信号に従い、被写体の画像が撮像される。そして、撮像された複数枚の画像が合成されて、1枚の画像が出力される。
【0029】
撮像装置は、独立した装置であっても良いし、1つの装置のデジタルカメラ信号処理を行うブロックであっても良い。
【0030】
【発明の実施の形態】
図3は、本発明を適用したデジタルビデオカメラ21の第1の実施の形態の構成例を示している。
【0031】
タイミングジェネレータ31には、所定の周波数の垂直同期信号が入力される。ここで、タイミングジェネレータ31に入力される垂直同期信号は、例えば、NTSC(National Television System Committee)方式におけるフィールド周期の垂直同期信号であるとする。従って、その周波数(垂直同期周波数)は、60Hzである。タイミングジェネレータ31は、入力された垂直同期信号を、1/nに分周し、これにより、NTSC方式の垂直同期信号よりも周期の短い垂直同期信号である短周期垂直同期信号を生成して、撮像素子32に出力する。さらに、タイミングジェネレータ31は、短周期垂直同期信号に同期した露光タイミング信号を生成し、撮像素子32に供給する。なお、タイミングジェネレータ31に入力される垂直同期信号は、NTSC方式の垂直同期信号である必要はなく、例えば、PAL(Phase Alternation by Line)方式やその他の方式の垂直同期信号であってもよい。ここで、PAL方式の垂直同期信号の周波数は、50Hzである。また、タイミングジェネレータ31で行われる垂直同期信号の分周の分周比を表すnは、1より大の値であり、ここでは説明を簡単にするため、nは、2以上の整数であるとする。
【0032】
撮像素子32には、タイミングジェネレータ31から出力される、NTSC方式の垂直同期信号の1/n倍の周期の短周期垂直同期信号と、露光時間(シャッタースピード)および露光のタイミングを表す露光タイミング信号が入力される。露光タイミング信号によって規定される露光のタイミングや露光時間は、ユーザが操作部44を操作することにより決定することができる。撮像素子32は、タイミングジェネレータ31が出力する露光タイミング信号に同期して、被写体からの光を、露光タイミング信号における露光時間の間だけ受光する。そして、撮像素子32は、その受光量を光電変換し、その結果得られる電気信号としての画像を、タイミングジェネレータ31が出力する短周期垂直同期信号に同期してフレーム処理回路33に出力する。ここで、撮像素子32は、CCDやCMOSイメージャなどで構成することができる。また、撮像素子32は、インターレース画像を出力するようにすることもできるし、プログレッシブ画像を出力するようにすることもできる。なお、撮像素子32がプログレッシブ画像を出力する場合は、デジタルビデオカメラ21は、後述するフレーム処理回路33を設けずに構成することができる。
【0033】
ここで、図4は、タイミングジェネレータ31に入力されるNTSC方式の垂直同期信号と、タイミングジェネレータ31から撮像素子32に入力される短周期垂直同期周波数(以下、タイミングジェネレータ出力信号とも称する)、および露光タイミング信号における露光時間との関係を示す図である。
【0034】
タイミングジェネレータ31に入力される垂直同期信号の周波数を、FVS[Hz]と表すとすると、図4Aに示されるように、その垂直同期信号は、1/FVS秒間隔のパルスとして表すことができる。タイミングジェネレータ31が、図4Aの垂直同期信号を分周比1/4で分周するとした場合、タイミングジェネレータ出力信号は、図4Bに示されるようになる。図4Cと図4Dは、露光時間が異なる露光タイミング信号を示している。露光タイミング信号は、タイミングジェネレータ出力信号に同期したパルス列となっており、そのローレベルの区間が露光時間を表す。図4Cの露光タイミング信号の露光時間は、時間T1となっており、この露光タイミング信号によれば、撮像素子32は、図4Cに示されるようにT1時間の間に受光した光量に対応する画像を出力する。図4Dの露光タイミング信号では、露光時間がT1時間より短いT2時間となっており、従って、図4Cの露光タイミング信号を用いる場合よりも、少量の光量が撮像素子32で受光される。
【0035】
撮像素子32において、図4Cの露光タイミング信号にしたがい、被写体を撮像したときには、露光時間T1が長いため、撮像素子32の図示せぬ画素(セル)が受光量に応じてチャージする電荷が飽和することがある。一方、撮像素子32において、図4Dの露光タイミング信号にしたがい、被写体を撮像したときには、露光時間T2が短いため、撮像素子32の画素(にチャージされる電荷)の飽和を避けることができる。しかしながら、図4Dの露光タイミング信号を用いて被写体を撮像した場合、被写体の暗い部分に対応する画素には、電荷がほとんどチャージされず、被写体の暗い部分については、一様に暗い画像が得られることになる。そこで、図3のデジタルビデオカメラ21では、被写体の明るい部分で、撮像素子32の画素が飽和しない程度の露光時間の露光タイミング信号によって、1フィールド周期に複数枚の画像を高速撮像する。さらに、デジタルビデオカメラ21では、後述する合成回路35において、高速撮像された複数枚の画像が、例えば、同一位置どうしの画素の画素値が加算されることにより合成される。画素値を加算すると、その加算結果としての画素値は、加算前の画素値よりも、ダイナミックレンジが大きいものとなる。したがって、上述のように、複数の画像を加算によって合成した場合には、S/Nの良い画像を得ることができる。
【0036】
図3に戻り、フレーム処理回路33は、撮像素子32から入力された画像が、インターレース画像である場合、即ち、撮像素子32が、奇数行(ODD側)の画像(奇数フィールドの画像)と偶数行(EVEN側)の画像(偶数フィールドの画像)を、交互に出力する場合、その奇数行と偶数行の画像から、全ライン分の画素情報を有するプログレッシブ画像(フレーム画像)を生成し、カメラ信号処理回路34に出力する。一方、撮像素子32が、プログレッシブ画像を出力する場合、フレーム処理回路33は、特に処理を行わず、撮像素子32が出力するプログレッシブ画像を、そのままカメラ信号処理回路34に出力する(スルー出力する)。したがって、この場合、上述したように、フレーム処理回路33は、設ける必要がない。
【0037】
いま、例えば、撮像素子32がフィールド周期あたり、n枚(フィールド)のインターレース画像を出力するとした場合、フレーム処理回路33が出力する画像の枚数(フレーム数)は、nの半分、つまりn/2枚となる。一方、撮像素子32が、フィールド周期あたり、n枚(フレーム)のプログレッシブ画像を出力するとした場合、フレーム処理回路33が出力する画像の枚数もn枚となる。なお、以下では、フレーム処理回路33は、フィールド周期あたり、N枚のプログレッシブ画像を出力するものとする。
【0038】
カメラ信号処理回路34は、フレーム処理回路33から入力された画像の画素値としてのRAWデータを、例えば、輝度信号(Y)と色差信号(Cr,Cb)に変換して、合成回路35(のフィルタ係数乗算回路37)に出力する。
【0039】
また、カメラ信号処理回路34は、フレーム処理回路33から入力される画像のサイズが、所定のビデオサイズ(例えば、水平720画素×垂直480画素など)より大の場合、必要に応じてフレーム処理回路33から入力された画像のサイズを所定のビデオサイズに変換する解像度変換(画素数変換)を行い、所定のビデオサイズの画素情報量をもつ画像として出力する。カメラ信号処理回路34に入力される画像のサイズが所定のビデオサイズより大となる場合としては、例えば、デジタルビデオカメラ21が静止画をキャプチャする機能を兼ね備えていて、動画を撮像する場合よりも高い解像度で静止画が撮像されて出力される場合がある。なお、カメラ信号処理回路34は、上述したような、画像のサイズが所定のビデオサイズより大となる画像の解像度変換を行わず、そのままの解像度で出力することもできるし、フレーム処理回路33から入力される画像を任意の画像のサイズに適応的に変換することもできる。
【0040】
合成回路35には、カメラ信号処理回路34から輝度信号と色差信号に変換された全ライン分の画素情報を有するN枚の画像(プログレッシブ画像)が、タイミングジェネレータ31がフィールド周期にN回発生するパルスであるタイミングジェネレータ出力信号に同期して入力される。従って、カメラ信号処理回路34から合成回路35には、フィールド周期あたり、N枚のプログレッシブ画像が入力される。合成回路35は、カメラ信号処理回路34から入力されたフィールド周期あたりN枚の画像を、予め設定された所定の数であるFのフィールド(Fフィールド)に亘って合成する。即ち、合成回路35は、N×F枚の画像を、1枚の画像に合成(フィルタリング)し、記録再生回路41に出力する。合成回路35では、カメラ信号処理回路34から入力されたN×F枚の画像が、1枚の画像となって出力されることから、入力された画像の枚数を減らすという意味で、合成回路35は、デシメーションフィルタであるということができる。なお、合成回路35において合成の対象とする画像のフィールド数を表すFは、例えば、ユーザが操作部44を操作することにより設定することができる。また、フィールド数Fとしては、あるデフォルトの値を、合成回路35に設定しておくことも可能である。
【0041】
例えば、タイミングジェネレータ31に入力されるフィールド周期の垂直同期周波数をFVSとすると、合成回路35は、F/FVS秒間に合成回路35に入力されるN×F枚の画像を、1枚の画像に合成して出力する(これを基本動作と称する)。合成回路35は、この基本動作を、フィールド周期(垂直同期信号の周期)である1/FVS秒間隔(画像N枚間隔)で開始することにより、フィールド周期の1/N倍の周期での高速撮像により得られた画像のうちのF回のフィールドに跨るN×F枚の画像から1/FVS秒毎に1枚の合成画像を生成して出力する。ここで、図5を参照して、F=2とした場合の合成回路35の動作についてさらに説明する。
【0042】
図5においては、フィールド周期(1/FVS秒間隔)の垂直同期信号に同期して、1フィールド周期あたりN枚の入力画像(プログレッシブ画像)Itが、合成回路35に入力される。すなわち、時刻t1乃至t2の間に、N枚の画像It1−1乃至画像It1−Nがカメラ信号処理回路34から合成回路35に入力される。その後、時刻t2乃至t3の間に、N枚の画像It2−1乃至画像It2−Nがカメラ信号処理回路34から合成回路35に入力される。以下、同様に、入力画像Itは、カメラ信号処理回路34から合成回路35に順次入力され、時刻t8乃至t9の間には、N枚の画像It8−1乃至画像It8−Nがカメラ信号処理回路34から合成回路35に入力される。つまり、時刻ti乃至t(i+1)の間に、画像Iti−1乃至画像Iti−Nがカメラ信号処理回路34から合成回路35に入力される(i=1,2,・・・)。なお、時刻tiから時刻t(i+1)までの時間間隔は、フィールド周期である。また、時刻tiは、図4Aに示した垂直同期信号(のローレベル)のタイミングに相当する。
【0043】
いま、F=2としているので、合成回路35は、図5のR1で示される時刻t1からt3までの2フィールド分の時間の間に得られる画像It1−1乃至画像It2−Nの2N枚の画像を合成し、その合成結果を画像IO1として出力する。なお、2N枚の画像It1−1乃至画像It2−Nのうちの最後の画像It2−Nが得られるのは、その最初の画像It1−1が得られる時刻t1から2フィールド分の時間だけ後の時刻t3であるから、合成回路35において、2N枚の画像It1−1乃至画像It2−Nの合成結果である画像IO1が得られるのは、早くても時刻t3である。従って、合成回路35は、時刻t3に画像IO1を出力する。
【0044】
ところで、合成回路35は、上述したように、高速撮像により得られた複数枚の画像を合成し、その結果得られる合成画像を、フィールド周期で出力する。そこで、合成回路35は、時刻t1から時刻t3までの2N枚の画像を合成した合成画像を出力したフィールドの、次のフィールドで出力する合成画像を時刻t1から1フィールド分だけ後の時刻t2から時刻t4までの2N枚の画像から生成する。即ち、合成回路35は、図5のR2で示される時刻t2から時刻t4までの2フィールド分の時間の間に得られる2N枚の画像を合成し、時刻t4に画像IO2として出力する。さらに、合成回路35は、時刻t2から時刻t4までの2N枚の画像を合成した合成画像を出力したフィールドの、次のフィールドで出力する合成画像を時刻t2から1フィールド分だけ後の時刻t3から時刻t5までの2N枚の画像から生成する。即ち、合成回路35は、図5のR3で示される時刻t3から時刻t5までの2フィールド分の時間の間に得られる2N枚の画像を合成し、時刻t5に画像IO3として出力する。合成回路35は、以下同様にして、合成対象とする2N枚の画像を、フィールド周期に対応する枚数Nずつずらしていきながら、2N枚の画像を合成し、その合成により得られるIOiを、フィールド周期で出力する。
【0045】
図3に戻り、合成回路35の内部の構成について説明する。
【0046】
フィルタ係数制御回路36は、フィルタ係数乗算回路37が画像に乗算するフィルタ係数を決定し、フィルタ係数乗算回路37に供給する。合成回路35において、F回のフィールドに跨りN×F枚の画像を合成(フィルタリング)する場合、そのタップ数は、N×Fとなり、フィルタ係数制御回路36では、N×F個のフィルタ係数が設定される。フィルタ係数乗算回路37は、カメラ信号処理回路34から入力された画像に、フィルタ係数制御回路36から供給されたフィルタ係数を乗算し、加算回路38に出力する。
【0047】
ユーザは、操作部44を操作することにより、フィルタ係数制御回路36がフィルタ係数乗算回路37に供給するフィルタ係数を任意の値に設定することができる。また、用途に合わせて、数種類のフィルタ係数の値のセットを、フィルタ係数制御回路36の内部のメモリ(不図示)に登録しておき、ユーザに、操作部44を操作してもらうことによって、用途またはフィルタ係数のセット自体を選択してもらうようにしてもよい。また、操作部44につまみを設け、そのつまみをユーザが操作した場合に、そのつまみの位置に相当する値をフィルタ係数制御回路36において生成し、フィルタ係数乗算回路37に供給するようにすることもできる。詳細は、後述するが、フィルタ係数乗算回路37で用いるフィルタ係数の値により、合成回路35では、S/Nの高い画像や、被写体の動作を高精度で速度抽出することができる画像などを得ることができる。
【0048】
加算回路38は、フィルタ係数乗算回路37から出力された画像と、フレームメモリ40から読み出された画像を加算し、フレームメモリ40に出力する。
【0049】
メモリ制御回路39は、フレームメモリ40を制御することにより、加算回路38から出力された画像をフレームメモリ40に書き込む。また、メモリ制御回路39は、フレームメモリ40を制御することにより、フレームメモリ40に記憶された画像を読み出し、加算回路38に供給する。また、メモリ制御回路39は、フレームメモリ40に記憶された画像を読み出し、記録再生回路41に出力させる。さらに、メモリ制御回路39は、フレームメモリ40をリセットする(記憶内容を消去する)。
【0050】
フレームメモリ40は、メモリ制御回路39の制御の下、加算回路38から供給される画像を記憶するとともに、その記憶した画像を読み出し、加算回路38または記録再生回路41に供給する。
【0051】
記録再生回路41は、合成回路35(のフレームメモリ40)から供給される画像を、表示回路42に供給する。また、記録再生回路41は、操作部44が操作されることにより、操作部44から記録媒体43への記録を行う旨の指令を受けると、合成回路35から供給される画像を、例えば、MPEG(Moving Picture Experts Group)方式や、DV(Digital Video)方式、JPEG(Joint Photographic Experts Group)方式等に従って符号化し、記録媒体43に供給して記録させる。さらに、記録再生回路41は、操作部44が操作されることにより、操作部44から記録媒体43を再生する指令を受けると、記録媒体43から画像の符号化データを読み出し、そのまま、あるいは復号して、表示回路42に供給して表示させる。
【0052】
表示回路42は、液晶ディスプレイ等で構成され、記録再生回路41から供給される画像を表示する。
【0053】
記録媒体43は、例えば、DVD(Digital Versatile Disk)や、磁気テープ、あるいはメモリスティック(商標)などの半導体メモリ等で構成され、そこには、記録再生回路41から供給される符号化データが書き込まれる。なお、記録媒体43は、デジタルビデオカメラ21に対して、着脱可能となされている。
【0054】
次に、図6のフローチャートを参照して、図3のデジタルビデオカメラ21の高速撮像画像合成処理について説明する。この処理は、例えば、デジタルビデオカメラ21の電源が投入されると同時に開始される。なお、この図6のフローチャートでは、説明を簡単にするため、F=1の場合の高速撮像画像合成処理について説明し、Fが2以上の場合の高速撮像画像合成処理については、図6のフローチャートの説明の後で、さらに説明する。
【0055】
初めに、ステップS1において、タイミングジェネレータ31は、入力されたフィールド周期の垂直同期信号から、周期がフィールド周期の1/n(n倍のレート)のパルスとしてのタイミングジェネレータ出力信号(図4B)を生成するとともに、そのタイミングジェネレータ出力信号に同期した露光タイミング信号(図4C,図4D)を生成し、撮像素子32への供給を開始して、ステップS2に進む。
【0056】
ステップS2において、撮像素子32は、タイミングジェネレータ31から供給される露光タイミング信号に同期して、被写体の高速撮像を開始するとともに、その撮像により得られる画像のフレーム処理回路33への出力を開始して、ステップS3に進む。なお、撮像素子32からフレーム処理回路33への画像の出力は、タイミングジェネレータ31が出力するタイミングジェネレータ出力信号に同期して行われる。
【0057】
ステップS3において、フレーム処理回路33は、撮像素子32から供給された画像(撮像素子32の出力)が、プログレッシブ画像であるか、またはインターレース画像であるかを判定する。プログレッシブ画像ではない(インターレース画像である)と判定された場合、ステップS4に進み、フレーム処理回路33は、撮像素子32から交互に入力される奇数行(ODD側)の画像と偶数行(EVEN側)の画像から、全ライン分の画素情報を有するプログレッシブ画像を生成し、カメラ信号処理回路34に出力する処理を開始する。
【0058】
一方、ステップS3において、撮像素子32から供給された画像(撮像素子32の出力)が、プログレッシブ画像であると判定された場合、ステップS5に進み、フレーム処理回路33は、撮像素子32から供給された画像をそのままカメラ信号処理回路34に出力する(スルー出力する)処理を開始する。
【0059】
ステップS4またはステップS5の処理の後、ステップS6に進み、カメラ信号処理回路34は、カメラ信号処理を開始する。すなわち、カメラ信号処理回路34は、フレーム処理回路33から出力される画像(RAWデータの画像)を、輝度信号(Y)と色差信号(Cr,Cb)の画像に変換して合成回路35(のフィルタ係数乗算回路37)に出力する処理を開始する。
【0060】
ステップS1乃至ステップS6で開始された処理は、図6の高速撮像画像合成処理が行われている間、すなわち、デジタルビデオカメラ21の電源が投入されている間、続行される。
【0061】
ステップS6の処理の後、ステップS7に進み、メモリ制御回路39は、内部に保持する、画像枚数を表す変数iに1を代入し、処理をステップS8に進める。
【0062】
ステップS8において、フィルタ係数乗算回路37は、カメラ信号処理回路34から高速撮像された画像が出力されるのを待って、その画像を受信する。さらに、フィルタ係数乗算回路37は、カメラ信号処理回路34から受信した画像の各画素に、i番目のフィルタ係数を乗算し、加算回路38に出力して、処理をステップS8からステップS9に進める。このときのフィルタ係数は、フィルタ係数制御回路36により予め設定されている。なお、フィルタ係数乗算回路37で使用するフィルタ係数の数は、合成結果としての1枚の画像を得るのに合成する画像の枚数に一致する。いまの場合、上述したように、F=1としているので、フィルタ係数の数は、フィールド周期の間に高速撮像される画像の枚数であるN個(Nタップ)である。そして、フィルタ係数乗算回路37は、カメラ信号処理回路37から供給されるi枚目の画像を構成する各画素(の画素値)に対して、N個のフィルタ係数のうちのi番目のフィルタ係数を乗算する。
【0063】
ステップS9において、メモリ制御回路39は、フレームメモリ40に書き込まれているデータ(画像)を読み出し、加算回路38に供給し、ステップS10に進む。なお、最初の読み出しの場合、フレームメモリ40は、電源投入と同時に初期リセットされるようになされており、従って、電源投入直後に、最初のステップS9においてフレームメモリ40から読み出されるデータは、ゼロである。
【0064】
ステップS10において、加算回路38は、メモリ制御回路39がフレームメモリ40から読み出して供給したデータ(画像)に、フィルタ係数乗算回路37が出力したデータ(画像)を加算し、フレームメモリ40に出力して、ステップS11に進む。
【0065】
ステップS11において、メモリ制御回路39は、加算回路38が出力したデータ(画像)を、フレームメモリ40に上書きする形で書き込み、これにより、フレームメモリ40に、高速撮像されたi枚の画像にフィルタ係数を乗算して加算することにより得られた画像を記憶させ、処理をステップS12に進める。
【0066】
ステップS12において、メモリ制御回路39は、画像枚数が、N×F枚目であるか、すなわち、画像枚数を表すiの値が、N×Fに等しいかどうかを判定する。なお、ここでは、上述したように、F=1としているので、ステップS12では、実質的には、変数iがNに等しいかどうかが判定される。ステップS12において、画像枚数iの値がN×Fに等しくないと判定された場合、メモリ制御回路39は、処理をステップS13に進め、画像枚数iを1つインクリメントし、処理をステップS8に戻す。そして、ステップS8乃至ステップS13の処理が繰り返される。
【0067】
一方、ステップS12において、画像枚数を表すiの値がN×Fに等しいと判定された場合、即ち、フレームメモリ40に、高速撮像されたN×F枚の画像を合成した合成画像、つまり、ここでは、そのN×F枚の画像にフィルタ係数を乗算し、加算して得られた画像が記憶された場合、メモリ制御回路39は、処理をステップS14に進め、そのN×F枚の画像が合成(加算)された画像を、フレームメモリ40から読み出し、記録再生回路41に出力して、処理をステップS15に進める。
【0068】
そして、ステップS15において、メモリ制御回路39は、フレームメモリ40をリセットし、処理をステップS16に進める。
【0069】
ステップS16において、記録再生回路41は、フレームメモリ40から供給された画像を、所定の方式で符号化して表示回路42に供給して表示させ、ステップS17に進む。
【0070】
ステップS17において、メモリ制御回路39は、カメラ信号処理回路34から合成回路35に画像が出力されているかどうかを判定する。ステップS17において、カメラ信号処理回路34から合成回路35に画像が出力されていると判定された場合、メモリ制御回路39は、処理をステップS7に戻し、それ以降の処理が繰り返される。
【0071】
一方、ステップS17において、カメラ信号処理回路34から合成回路35に画像が出力されていないと判定された場合、即ち、例えば、ユーザがデジタルビデオカメラ21の電源をオフするなどして、撮像素子32における画像の撮像が停止された場合、高速撮像画像合成処理は終了される。
【0072】
図7は、F=1の場合の合成回路35に入出力される画像を、時系列に沿って表した図である。
【0073】
合成回路35(のフィルタ係数乗算回路37)には、フィールド周期あたり、N枚の画像が入力される。即ち、最初のフィールド周期である時刻t1乃至t2の間に、画像It1−1乃至画像It1−NのN枚が入力される。そして、次のフィールド周期である時刻t2乃至t3の間に、画像It2−1乃至画像It2−NのN枚が入力される。つまり、時刻ti乃至t(i+1)の間に、画像Iti−1乃至画像Iti−NのN枚が順次入力される(i=1,2,3,・・・)。合成回路35では、図6のフローチャートで説明したように、高速撮像された画像にフィルタ係数が乗算され、フィルタ係数が乗算された画像(データ)と、フレームメモリ40の記憶値とが加算され、その加算結果としての画像がフレームメモリ40に上書きされる。
【0074】
初めに、フレームメモリ40は、画像It1−1乃至画像It1−NのN枚の画像を合成するまでの間、即ち、1枚目の画像It1−1が合成回路35に入力されてから、N枚目の画像It1−Nが合成回路35に入力され、フィルタ係数が乗算された画像It1−Nとフレームメモリ40の記憶値とが加算されるまでの間(図7のFM1で示される期間)、加算(合成)された画像を記憶するために占有される。そして、画像It1−1乃至画像It1−NのN枚の画像の合成結果としての画像IO−1が得られると、合成回路35は、その画像IO−1を記録再生回路41に出力し、その直後のタイミング、即ち、次のフィールド周期が開始する時刻t2のタイミングにおいて、メモリ制御回路39が、フレームメモリ40に記憶された、画像It1−1乃至画像It1−NのN枚の画像の合成結果としての画像のデータをリセットする。次に、フレームメモリ40は、画像It2−1乃至画像It2−NのN枚の画像を合成するまでの間、即ち、1枚目の画像It2−1が合成回路35に入力されてから、N枚目の画像It2−Nが合成回路35に入力され、フィルタ係数が乗算された画像It2−Nとフレームメモリ40の記憶値とが加算されるまでの間(図7のFM2で示される期間)、加算(合成)された画像を記憶するために占有される。そして、画像It2−1乃至画像It2−NのN枚の画像の合成結果としての画像IO−2が得られると、合成回路35は、その画像IO−2を記録再生回路41に出力し、その直後のタイミング、即ち、次のフィールド周期が開始する時刻t3のタイミングにおいて、メモリ制御回路39が、フレームメモリ40に記憶された、画像It2−1乃至画像It2−NのN枚の画像の合成結果としての画像のデータをリセットする。以下、同様にして、時刻t3以降についても、フィールド周期ごとに、N枚の合成結果としての画像IOが合成回路35から記録再生回路41に出力され、その直後のタイミングでフレームメモリ40がリセットされた後、次の合成(加算)が開始される。
【0075】
図8は、F=2の場合の、合成回路35に入出力される画像を、時系列に沿って表した図である。
【0076】
合成回路35には、図7の場合と同様に、フィールド周期あたり(1/FVS秒間)、N枚の高速撮像された画像が入力される。いまの場合、F=2であるから、合成回路35は、2フィールドに亘る2N枚の高速撮像された画像を合成し、その結果得られる合成画像をフィールド周期で出力する。従って、合成回路35は、2N枚の画像が供給されるまで、その2N枚の画像それぞれが入力されるごとに加算回路38で求められる合成画像の途中結果を記憶しておかなければならない。さらに、合成回路35は、合成画像をフィールド周期で出力するから、あるフィールド周期で出力する合成画像の合成を開始した後、1フィールド周期遅れで、次のフィールド周期に出力する合成画像の合成を開始する必要がある。そして、この合成においても、合成回路35は、合成回路35に2N枚の画像が供給されるまで、その2N枚の画像それぞれが入力されるごとに加算回路38で求められる合成画像の途中結果を記憶しておかなければならない。以上から、各フィールド周期では、次のフィールド周期に出力する合成画像の途中結果と、さらにその次のフィールド周期に出力する合成画像の途中結果を記憶しなければならず、そのために、合成回路35には、2枚のフレームメモリ40が必要となる。そこで、いま、2枚のフレームメモリを40−1と40−2と記述する。
【0077】
時刻t1から2フィールド周期分である時刻t3までの2N枚の画像I’t1−1乃至画像I’t2−(N−1)が合成(加算)される途中結果の画像、および最終的に時刻t1から2N枚目の画像I’t2−Nが合成された合成結果としての画像は、フレームメモリ40−1に記憶される。従って、図8のFM’1に示される期間、フレームメモリ40−1は、画像I’t1−1乃至画像I’t2−Nの2N枚の画像の合成画像とその途中結果を記憶するために占有される。フレームメモリ40−1に時刻t1乃至時刻t3の間に記憶された合成結果としての画像は、2N枚の画像の合成が終わったとき、すなわち、2N枚目の画像I’t2−Nにフィルタ係数が乗算され、フィルタ係数が乗算された画像I’t2−Nと、フレームメモリ40−1に記憶された途中結果としての合成画像との合成が終わったとき、画像I’O−1として合成回路35から記録再生回路41に出力される。そして、次のフィールド周期が開始する時刻t3のタイミングにおいて、メモリ制御回路39は、フレームメモリ40−1に記憶された画像It1−1乃至画像It2−Nの2N枚の画像の合成結果としての画像I’O−1のデータをリセットする。そして、合成回路35は、次の合成を開始して、合成画像とその途中結果をフレームメモリ40−1に記憶する。従って、次にフレームメモリ40−1は、図8のFM’3で示される間、すなわち、時刻t3乃至t5の間、画像It3−1乃至画像It4−Nの2N枚の画像の合成のために占有され、その2N枚の画像の合成が終わったとき、フレームメモリ40−1に記憶された合成結果としての画像は、画像I’O−3として記録再生回路41に出力される。そして、次のフィールド周期が開始する時刻t5のタイミングにおいて、メモリ制御回路39は、フレームメモリ40−1に記憶された画像It3−1乃至画像It4−Nの2N枚の画像の合成結果としての画像I’O−3のデータをリセットする。
【0078】
一方、時刻t1から1フィールド周期遅れの時刻t2から合成が開始される、2N枚の画像I’t2−1乃至画像I’t3−(N−1)の合成の途中結果の画像および合成結果としての画像は、他方のフレームメモリ40−2に記憶される。なぜなら、時刻t2乃至時刻t3の期間は、フレームメモリ40−1は、時刻t1から開始された画像I’t1−1乃至画像I’t2−Nの2N枚の画像の合成画像とその途中結果を記憶するために占有されているからである。
【0079】
フレームメモリ40−2では、初めに、時刻t2から2フィールド周期分である時刻t4までの2N枚の画像I’t2−1乃至画像I’t3−(N−1)が合成(加算)される途中結果の画像、および最終的に時刻t2から2N枚目の画像I’t3−Nが合成された合成結果としての画像が、記憶される。従って、図8のFM’2に示される期間、フレームメモリ40−2は、画像I’t2−1乃至画像I’t3−Nの2N枚の画像の合成画像とその途中結果を記憶するために占有される。フレームメモリ40−2に時刻t2乃至時刻t4の間に記憶された合成結果としての画像は、2N枚の画像の合成が終わったとき、すなわち、2N枚目の画像I’t3−Nにフィルタ係数が乗算され、フィルタ係数が乗算された画像I’t3−Nと、フレームメモリ40−2に記憶された途中結果としての合成画像との合成が終わったとき、画像I’O−2として合成回路35から記録再生回路41に出力される。そして、次のフィールド周期が開始する時刻t4のタイミングにおいて、メモリ制御回路39は、フレームメモリ40−2に記憶された画像It2−1乃至画像It3−Nの2N枚の画像の合成結果としての画像I’O−2のデータをリセットする。そして、合成回路35は、次の合成を開始して、合成画像とその途中結果をフレームメモリ40−2に記憶する。従って、次にフレームメモリ40−2は、図8のFM’4で示される間、すなわち、時刻t4乃至t6の間、画像It4−1乃至画像It5−Nの2N枚の画像の合成のために占有され、その2N枚の画像の合成が終わったとき、フレームメモリ40−2に記憶された合成結果としての画像は、画像I’O−4として記録再生回路41に出力される。そして、次のフィールド周期が開始する時刻t6のタイミングにおいて、メモリ制御回路39は、フレームメモリ40−2に記憶された画像It4−1乃至画像It5−Nの2N枚の画像の合成結果としての画像I’O−4のデータをリセットする。
【0080】
フレームメモリ40−1とフレームメモリ40−2それぞれに記憶された画像が、2フィールド周期ごとに、1フィールド周期だけずれたタイミングで交互に出力されることで、合成回路35から記録再生回路41に出力される画像I’Oは、1フィールド周期ごとに出力されることとなる。
【0081】
F回のフィールド周期に跨るN×F枚の画像を合成し、フィールド周期ごとに1枚の画像を出力するには、F枚のフレームメモリ40が必要となる。なぜなら、1枚のフレームメモリには、F回のフィールドに亘って合成される画像が記憶されるので、1枚のフレームメモリでは、Fフィールド周期ごとにしか合成画像を得ることができない。2枚のフレームメモリでは、図8で説明したように、合成結果としての画像を、Fフィールド周期で2つのフレームメモリそれぞれが、交互に出力することにより、F/2フィールド周期で出力することができる。従って、F枚のフレームメモリであれば、F/Fフィールド周期ごと、即ち、1フィールド周期で、合成結果としての画像を出力することができる。
【0082】
なお、高速撮像された1フィールドあたりN枚の画像が、F回のフィールドに亘って合成される場合、図6を参照して説明したフローチャートのステップS7乃至ステップS15の処理は、フィールド周期で出力される合成画像の途中結果を記憶するF枚のフレームメモリ40それぞれに関して並列に行われる。図9は、Fフィールドに亘るN×F枚の高速撮像された画像を合成し、フィールド周期で合成画像を出力する合成回路35の概略構成例を示している。
【0083】
図9の合成回路35は、F個のフィルタ部51−1乃至51−Fから構成され、各フィルタ部51−p(p=1,・・・,F)は、フィルタ係数乗算回路37、加算回路38、フレームメモリ40で構成されている。フィルタ部51−pは、p+kF番目のフィールド周期で出力する合成画像を、p+(k−1)F乃至p+kF−1番目のフィールド周期に亘って得られる高速撮像されたN×F枚の画像から生成して出力する(k=1,2,・・・)。なお、フィルタ部51−pを構成するフィルタ係数乗算回路37、加算回路38、フレームメモリ40の処理は、上述したとおりである。
【0084】
ここで、フィルタ部51−pは、N×F枚の高速撮像された画像の、ある位置に注目すれば、N×F枚の画像の、注目している位置のN×F個の画素それぞれにフィルタ係数を乗算し、そのN×F個の乗算結果を加算する。従って、フィルタ部51−pは、N×FタップのFIR(Finite Impulse Response)フィルタと等価であるから、フィルタ部51−pとしては、図10に示されるような、一般的なFIRフィルタの構成を採用することもできる。
【0085】
図10において、フレームメモリ61−1は、カメラ信号処理回路34から供給される高速撮像された画像を一時記憶する。そして、フレームメモリ61−j(j=2,3,・・・,N×F)は、その前段のフレームメモリ61−(j−1)に記憶された画像をタイミングジェネレータ出力信号の周期だけ遅延させて記憶する。これにより、フレームメモリ61−1乃至61−(N×F)には、高速撮像された、時系列のN×F枚の画像が記憶される。フィルタ係数乗算回路62−1乃至62−(N×F)のそれぞれは、フレームメモリ61−j(j=1,2,・・・,N×F)に記憶されたデータ(画像)に、j番目のフィルタ係数を乗算し、加算回路63に出力する。加算回路63は、フィルタ係数乗算回路62−1乃至62−(N×F)のそれぞれから出力されたN×F枚の画像の同一位置の画素どうしを加算し、これにより、合成画像を得て出力する。
【0086】
フィルタ部51−pとして、図10に示した通常のFIRフィルタを用いると、1つのフィルタ部51−p(p=1,・・・,F)にN×F枚のフレームメモリが必要になり、さらに、F個のフィールドに亘る合成を行うために、並列に処理を行うF個のフィルタ部51−1乃至51−Fが必要となるので、全部で、N×F×F個のフレームメモリが必要となる。
【0087】
一方、図9で示した構成によると、全部でF個のフレームメモリがあればよい。したがって、図9の構成による場合は、図10に示した通常のFIRフィルタを用いる場合より、1/(N×F)倍にフレームメモリの個数を削減することが可能である。
【0088】
なお、合成回路35としては、FIRフィルタの他、例えば、IIR(Infinite Impulse Response)フィルタを採用することもできる。
【0089】
次に、図1Aで示したプレーヤのゴルフスイングの動作を、図3のデジタルビデオカメラ21で撮影して得られる合成画像について説明する。
【0090】
図11は、図3のフィルタ係数乗算回路37におけるN×F個のタップのフィルタ係数として、正の値を採用した場合に、フィールド周期で得られる合成画像を示している。なお、図11Aは、図4Cに示した長い露光時間T1で撮像されたものであり、図11Bは、図4Dに示した短い露光時間T2で撮像されたものである。
【0091】
フィルタ係数乗算回路37のフィルタ係数に正の値を採用することにより、N×F枚の画像は、フィルタ係数を重みとして重み付け加算される。従って、N×F枚の画像におけるノイズ成分は積分され、合成画像のS/Nは、高速撮像された1枚の画像のS/Nと比較して向上する。すなわち、ノイズの少ない画像が得られ、画質を向上させることができる。さらに、合成画像は、上述したように、ダイナミックレンジの大きなものとなる。
【0092】
図11Aに示される画像81乃至画像83は、長い露光時間T1で高速撮像された画像を合成し、フィールド周期で得られるものであり、そのため、図1Bの画像2−1乃至画像2−3における場合と同様に、被写体が動いている部分で、ボケが生じるが、S/Nの高い高S/Nの画像となる。
【0093】
図11Bの画像91乃至画像93は、短い露光時間T2で高速撮像された画像を合成し、フィールド周期で得られるものであり、被写体の瞬時の姿勢がボケずに明瞭に表示されたものとなっている。即ち、画像91では、図1Aの画像1−1乃至画像1−3それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。また、画像92では、図1Aの画像1−4乃至画像1−6それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。画像93では、図1Aの画像1−7乃至画像1−9それぞれに示した被写体の瞬時の姿勢が比較的明瞭に表示されている。すなわち、図11Aでは、被写体の動きのある部分がにじんで(つながって)見えるのに対し、図11Bでは、露光時間を短くしたことにより、被写体の動きがさらに分解されていて、より細かい動作を表示することが可能となっている。
【0094】
以上のように、フィルタ係数乗算回路37のフィルタ係数に正の値を採用することにより、高速撮像された画像のノイズ成分が積分されて、S/Nを向上させた高S/Nの画像を、フィールド周期で得ることができる。さらに、画像のダイナミックレンジが拡大し、特に、明るい部分のレベル方向の解像度を向上させることができる。また、いわゆる動きボケを低減した画像を得ることが可能となる。なお、フィルタ係数を適切に設定することで、種々のノイズを除去することが可能となる。
【0095】
次に、図12を参照して、図3のフィルタ係数乗算回路37におけるN×F個のタップのフィルタ係数として、正と負の両方の値を採用した場合に得られる合成画像について説明する。
【0096】
フィルタ係数として正と負の両方の値を採用することにより、加算回路38では、実質的に、高速撮像された複数の画像の、同一位置の画素間の、減算処理が行われることとなる。この減算処理によれば、高速撮像された画像において、時間軸方向に動きの無い被写体の部分は相殺されるので、時間軸方向に動きのある被写体の部分のみを抽出することができる。
【0097】
即ち、図12Aと図12Bは、図3のデジタルビデオカメラ21で高速撮像された、時系列に連続した画像101と画像102をそれぞれ示している。
【0098】
画像101と画像102において、物体111および物体112は、静止している被写体であり、物体113Aおよび物体113Bは、同一の物体113で、この物体113は、画像101が撮像された時刻から画像102が撮像された時刻までの間に、画像101上の物体113Aの位置から画像102上の物体113Bの位置まで移動している。
【0099】
画像101と画像102を、正と負の両方の値を有する、例えば{1,−1}の2タップのフィルタ係数を用いて合成すると、画像101から画像102が減算され、図12Cに示される画像103が合成画像として得られる。なお、{1,−1}のフィルタ係数を、合成回路35で用いる場合、合成回路35は、ハイパスフィルタとして機能することになる。
【0100】
画像103では、画像101と画像102それぞれで静止している被写体である物体111と物体112の部分は、相殺されて表示されておらず、動きのあった物体113の部分である物体113Aと物体113Bの部分のみが表示されている。なお、ここでは、図12Aの画像101に正のフィルタ係数(1)を乗算するが、図12Bの画像102には、負のフィルタ係数(−1)を乗算しているので、その画素(画素値)の正負が反転する。このため、図12Cでは、その画素の正負が反転している物体113Bの部分を影を付して示してある。
【0101】
図12Cの画像103から、例えば、物体113Aを始点とし、物体113Bを終点として、動いている物体113の変位量Lを求めることができる。また、画像101が撮像された時刻から画像102が撮像された時刻までの時間は、1/(FVS×N)秒である。従って、被写体(物体113B)の速度は、FVS×N×Lと求めることができる。
【0102】
なお、上述の場合には、高速撮像された、時系列に連続する画像に対して、正と負の値のフィルタ係数を乗算する減算処理の例を示したが、減算処理を行う複数の画像は、時系列に連続している必要はなく、例えば、正の値のフィルタ係数が乗算される画像と、負の値のフィルタ係数が乗算される画像の周期は、タイミングジェネレータ出力信号の周期の所定数倍となるようにしてもよい。
【0103】
以上のように、フィールド周期に複数枚(N枚)の画像を高速撮像し、フィルタ係数として正と負の数を設定することにより、高精度な被写体の速度抽出を行うことができる。
【0104】
このような高精度の速度抽出は、例えば、動くものを検知して撮影する監視カメラや、物体の動きを検出し、その動きから物体の次の動作を予測して、その物体を掴むようなロボットなどに適用することができる。
【0105】
次に、上記のように、1/(FVS×N)秒の時間間隔で、被写体の変位を捉えることが出来ない場合、すなわち、被写体の動作(変位)が1/(FVS×N)秒間に、1枚の画像に収まらない程大きい場合を考える。
【0106】
例えば、図2で示されるクラブヘッドを撮像して得られる画像においては、被写体であるクラブヘッドの動きが非常に高速であるため、タイミングジェネレータ出力信号の周期である1/(FVS×N)秒間に被写体の変位の開始位置と終了位置が明確に表示されない。従って、被写体の変位量を精度良く検出することができず、被写体の速度抽出の精度が低下してしまう。
【0107】
この場合、ストロボを発光させ、これにより被写体に照明をあてることで、速度抽出の精度の低下を防止することができる。即ち、図13は、ストロボの発光を印加してクラブヘッドを高速撮像して得られる画像を示している。
【0108】
図13A乃至図13Dは、ストロボ発光時間を、例えば1/10000秒間程度として、ストロボを連続発光した場合の、各ストロボ発光時のクラブヘッド131の位置131A乃至位置131Dを示している。
【0109】
1/(FVS×N)秒間隔でクラブヘッド131を高速撮像すると、図13Eに示されるように、クラブヘッド131が、その移動軌跡に沿って、画枠の左端から右端までつながってはいるが、ストロボが発光した瞬間のクラブヘッド131の位置131A乃至位置131Dにおいて、クラブヘッド131の輝度信号レベルが非常に高い画像が得られる。図13Eに示される画像と、例えば、図13Eの画像を高速撮像したタイミングジェネレータ出力信号の周期の次の周期で高速撮像された画像を用いて、図12で説明した減算処理を行うことにより、輝度信号レベルが高いクラブヘッド131の位置131A乃至位置131Dのみを捉えることができ、例えば、位置131Aから位置131Bまでの移動距離を、ストロボ発光時間間隔で除算することにより、クラブヘッド131について、高精度な速度抽出を行うことができる。
【0110】
なお、現在のビデオカメラに搭載されているストロボとしては、発光時間が、例えば1/10000秒程度のものがあり、高速撮像の時間間隔(1/(FVS×N)秒)に対しては、この発光時間は、十分に短い時間と言える。即ち、FVSは、例えば、NTSC方式で60Hzであり、Nは現時点では技術的に一桁程度の値となる。従って、高速撮像の周期(タイミングジェネレータ出力信号の周期)は、短くとも1/600秒程度であり、ストロボの発光時間である1/10000は、1/600に比較して、十分短時間である。
【0111】
さて、これまで上述した例では、タップ数はN×F個であり、N×F個のフィルタ係数をN×F枚の画像それぞれに乗算したが、タップ数は、N×F個、即ち、1フィールド周期に得られる、高速撮像された画像の枚数Nの整数倍の数のみならず任意の数に設定することができる。
【0112】
図14は、N=5、即ち、フィールド周期に、5回の高速撮像を行って得られる画像ISに対して、タップ数が6個に設定され、6枚単位で高速撮像された画像が合成される場合を示している。
【0113】
図14において、垂直同期信号の周波数は、NTSC方式と同一の60Hzとなっている。したがって、撮像素子32では、1/60秒間隔に5枚の画像ISが高速撮像され、合成回路35に入力される。いまの場合、合成回路35は、タップ数を6個としているので、最初に、1フィールド目の5枚の高速撮像された画像と、2フィールド目の1枚目の高速撮像された画像の6枚、即ち、図14のR21で示される期間の画像を合成する。次に、合成回路35は、2フィールド目の5枚の高速撮像された画像と、3フィールド目の1枚目の高速撮像された画像の6枚、即ち、図14のR22で示される期間の画像を合成する。以下、同様に、合成回路35では、所定のフィールドの5枚の高速撮像された画像と、次のフィールドの1枚目の高速撮像された画像の合わせて6枚の画像が合成され、記録再生回路41に出力される。
【0114】
例えば、50Hzの電源で駆動される蛍光灯の下で撮像を行う場合、NTSC方式の垂直同期信号の周期である1/60秒間隔で撮像を行うと、20Hzのフリッカが発生する。一方、1/60秒間に5回の撮像が行われ、上述のように6枚の高速撮像された画像が1枚として出力されると、その画像の撮像周期は、実質的に、6×1/(60×5)=1/50秒周期となる。この周期は、蛍光灯を駆動する電源の周期に一致するので、合成によって得られる画像には、フリッカが生じない。
【0115】
フィルタ係数や、フィルタ係数の数(タップ数)は、上述したもの以外にも、任意に設定可能である。例えば、タップ数を3タップとして、その3タップのフィルタ係数を{−1,2,−1}というように設定することもできる。
【0116】
さらに、上述した例では、F個のフィールドに亘って高速撮像された画像を合成する場合、合成を開始する時間間隔(フレームメモリ40をリセットする時間間隔も同様)としてフィールド周期分の位相差を持たせることにより、画像を出力する周期を、フィールド周期とするようにしたが、画像を出力する周期は、任意の周期とすることができる。この合成された画像を出力する周期は、例えば、ユーザが操作部44を操作することにより設定することができる。
【0117】
図15を参照して、デジタルビデオカメラ21において、高速撮像され、合成された画像を、2フィールド周期(2/FVS秒間隔)で出力する場合について説明する。なお、図5と対応する部分については、同一の符号を付してあり、その説明は適宜省略する。
【0118】
図15では、F=3、即ち、3フィールドに亘る3N枚の高速撮像された画像が合成され、かつ、合成結果としての画像が2フィールド周期ごとに合成回路35から記録再生回路41に出力される。従って、合成回路35では、時刻t1乃至t4の間の3N枚の画像(R’1で示される区間の画像)が合成され、時刻t4のタイミングにおいて、その合成結果としての画像I’O1が記録再生回路41に出力される。次に、合成回路35では、時刻t3乃至t6の間の3N枚の画像(R’2で示される区間の画像)が合成され、時刻t6のタイミングにおいて、その合成結果としての画像I’O2が記録再生回路41に出力される。以下、同様に、合成回路35では、2フィールド間隔(2/FVS秒間隔)で、3N枚の画像を合成して得られる画像I’Oが出力される。
【0119】
また、デジタルビデオカメラ21では、動画に限らず、静止画を得るようにすることができる。その場合には、N×F枚の画像が高速撮像され、そのN×F枚の画像を合成したものが、1枚(回)だけ出力される。
【0120】
次に、図16は、本発明を適用したデジタルビデオカメラ21の第2の実施の形態の構成例を示している。なお、図中、図3における場合と対応する部分については、同一の符号を付しており、以下では、その説明は適宜省略する。
【0121】
すなわち、図3では、撮像素子32の後段にフレーム処理回路33が配置され、フレーム処理回路33の後段にカメラ信号処理回路34が配置されているのに対して、図16では、撮像素子32の後段にカメラ信号処理回路34が配置され、カメラ信号処理回路34の後段にフレーム処理回路33が配置されている。
【0122】
この場合、撮像素子32から出力された撮像画像が、カメラ信号処理回路34に入力される。カメラ信号処理回路34は、撮像素子32から入力された画像の画素値としてのRAWデータを有する画像を、輝度信号(Y)と色差信号(Cr,Cb)に変換して、フレーム処理回路33に出力する。そして、フレーム処理回路33は、カメラ信号処理回路34から入力されたフィールド周期あたりn枚の画像が、インターレース画像である場合、そのインターレース画像を構成する奇数行(ODD側)の画像と偶数行(EVEN側)の画像を順次加算し、全ライン分の画素情報を有する画像を生成し、合成回路35に出力する。一方、カメラ信号処理回路34から入力された画像が、プログレッシブ画像である場合、フレーム処理回路33は、処理を行わず、そのまま合成回路35に出力する(スルー出力する)。その他のブロックは、図3で示した第1の実施の形態と同様である。
【0123】
図17は、本発明を適用したデジタルビデオカメラ21の第3の実施の形態の構成例を示している。なお、図中、図3における場合と対応する部分については、同一の符号を付しており、以下では、その説明は適宜省略する。
【0124】
すなわち、図3では、フレーム処理回路33の後段にカメラ信号処理回路34が配置され、カメラ信号処理回路34の後段に合成回路35が配置されているのに対して、図17では、フレーム処理回路33の後段に合成回路35が配置され、合成回路35の後段にカメラ信号処理回路34が配置されている。
【0125】
この場合、合成回路35は、フレーム処理回路33から入力された全ライン分の画素情報(RAWデータ)を有する画像を、予め設定された所定の数のフィールド(F回のフィールド)に亘るN×F枚の画像ごとに合成して、1枚の画像としてフィールド周期でカメラ信号処理回路34に出力する。そして、カメラ信号処理回路34は、合成回路35から出力された、画像の画素値としてのRAWデータを有するN×F枚が合成された画像を、輝度信号(Y)と色差信号(Cr,Cb)に変換して、記録再生回路41に出力する。その他のブロックは、図3で示した第1の実施の形態と同様である。
【0126】
以上のように、合成回路35は、撮像素子32と記録再生回路41のブロックの間の任意の位置、即ち、カメラ信号処理回路34と記録再生回路41の間(図3に示される第1の実施の形態)、フレーム処理回路33と記録再生回路41の間(図16に示される第2の実施の形態)、または、フレーム処理回路33とカメラ信号処理回路34の間(図17に示される第3の実施の形態)などに置くことができる。
【0127】
また、合成回路35は、上述したように、デジタルビデオカメラ21を構成する1つのブロックとして構成してもよいし、独立の装置として構成してもよい。
【0128】
さらに、図3、図16、および図17においては、合成回路35には、全ライン(フレーム)分の画素情報を有する画像を処理させるようにしたが、インターレース画像(フィールド画像)を処理させるようにしてもよい。その場合、合成回路35の後段において、全ライン分の画素情報を有する画像の変換処理、すなわち、インターレース画像からプログレッシブ画像に変換する処理を行うようにすることができる。
【0129】
上述した一連の処理(図6のフローチャートで示した処理)は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、図6のフローチャートで示した処理を行う装置は、例えば、図18に示されるようなパーソナルコンピュータにより構成される。
【0130】
図18において、CPU(Central Processing Unit)301は、ROM(Read Only Memory)302に記憶されているプログラム、または記憶部308からRAM(Random Access Memory)303にロードされたプログラムに従って各種の処理を実行する。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0131】
CPU301、ROM302、およびRAM303は、バス304を介して相互に接続されている。このバス304にはまた、入出力インタフェース305も接続されている。
【0132】
入出力インタフェース305には、キーボード、マウスなどよりなる入力部306、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部307、ハードディスクなどより構成される記憶部308、モデム、ターミナルアダプタなどより構成される通信部309、CCDやCMOS等の撮像素子などより構成される撮像部331が接続されている。通信部309は、インターネットなどのネットワークを介しての通信処理を行う。撮像部331は、被写体を高速撮像し、その結果得られた画像データを入出力インタフェース305を介してCPU301等に供給する。CPU301は、図3の合成回路35等が行う処理を実行する。
【0133】
入出力インタフェース305にはまた、必要に応じてドライブ310が接続され、磁気ディスク321、光ディスク322、光磁気ディスク323、或いは半導体メモリ324などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部308にインストールされる。
【0134】
以上のように、高速撮像された複数枚の画像を合成するようにしたので、高S/Nの画像や、精度の良い速度抽出を行うことができる画像、その他のユーザが所望する画像を得ることが可能となる。
【0135】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0136】
【発明の効果】
以上のごとく本発明によれば、高速撮像で得られた画像をS/Nの高い高S/N画像として出力することができる。
【0137】
また、本発明によれば、高精度な速度抽出を行うことができる。
【図面の簡単な説明】
【図1】ゴルフプレーヤの動きを説明する図である。
【図2】ゴルフクラブのヘッド部分をフィールド周期で撮像して得られる画像を示す図である。
【図3】本発明を適用したデジタルビデオカメラの構成例を示すブロック図である。
【図4】図3のデジタルビデオカメラに使用される信号を説明する図である。
【図5】合成回路の動作について説明する図である。
【図6】図3のデジタルビデオカメラの高速撮像画像合成処理を説明するフローチャートである。
【図7】F=1の場合の合成回路の画像合成について説明する図である。
【図8】F=2の場合の合成回路の画像合成について説明する図である。
【図9】合成回路の概略構成を示した図である。
【図10】合成回路として一般的なFIRフィルタを用いた場合の概略構成を示した図である。
【図11】本発明のデジタルカメラにおいてフィルタ係数として正の値を採用した場合に得られる合成画像を説明する図である。
【図12】本発明のデジタルカメラにおいてフィルタ係数として正と負の値を採用した場合に得られる合成画像を説明する図である。
【図13】ストロボの発光を印加してクラブヘッドを高速撮像して得られる画像を示す図である。
【図14】N=5,タップ数を6個とした場合の高速撮像された画像の合成を説明する図である。
【図15】2フィールド周期で合成画像が出力される場合を説明する図である。
【図16】本発明を適用したデジタルビデオカメラの第2の実施の形態の構成例を示す図である。
【図17】本発明を適用したデジタルビデオカメラの第3の実施の形態の構成例を示す図である。
【図18】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
31 タイミングジェネレータ, 32 撮像素子, 33 フレーム処理回路, 34 カメラ信号処理回路, 35 合成回路, 36 フィルタ係数制御回路, 37 フィルタ係数乗算回路, 38 加算回路, 39 メモリ制御回路, 40 フレームメモリ, 41 記録再生回路, 42 表示回路,43 記録媒体, 44 操作部
Claims (10)
- 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成手段と、
前記タイミング信号生成手段が生成するタイミング信号に従い、被写体の画像を撮像する撮像手段と、
前記撮像手段が出力する複数枚の前記画像を合成し、1枚の画像を出力する合成手段と
を備えることを特徴とする撮像装置。 - 前記合成手段は、
前記撮像手段が出力する前記画像にフィルタ係数を乗算する乗算手段と、
前記乗算手段の乗算結果を記憶する記憶手段と、
前記乗算手段の出力と、前記記憶手段に記憶された前記乗算結果とを加算する加算手段と
を有することを特徴とする請求項1に記載の撮像装置。 - 前記フィルタ係数を変更するフィルタ係数変更手段をさらに備える
ことを特徴とする請求項2に記載の撮像装置。 - 前記フィルタ係数の数であるタップ数を変更するタップ数変更手段をさらに備える
ことを特徴とする請求項2に記載の撮像装置。 - 前記撮像手段が、奇数フィールドと偶数フィールドの画像を交互に出力する場合において、
前記奇数フィールドと偶数フィールドの画像とを加算し、全ライン分の画素情報を有するプログレッシブ画像を生成するプログレッシブ画像生成手段をさらに備え、
前記合成手段は、複数枚の前記プログレッシブ画像を合成する
ことを特徴とする請求項1に記載の撮像装置。 - 前記撮像手段が出力する前記画像の信号成分を変換する変換手段をさらに備え、
前記合成手段は、前記変換手段の前段または後段に配置される
ことを特徴とする請求項1に記載の撮像装置。 - 前記合成手段は、前記垂直同期信号の周期で、合成した前記画像を出力する
ことを特徴とする請求項1に記載の撮像装置。 - 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、
前記タイミング信号生成ステップの処理が生成するタイミング信号に従い、被写体の画像を撮像する撮像ステップと、
前記撮像ステップの処理で得られる複数枚の前記画像を合成し、1枚の画像を出力する合成ステップと
を含むことを特徴とする撮像方法。 - 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、
前記タイミング信号生成ステップの処理が生成するタイミング信号に従い、被写体の画像を撮像する撮像ステップと、
前記撮像ステップの処理で得られる複数枚の前記画像を合成し、1枚の画像を出力する合成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 垂直同期信号の周期より短い周期のタイミング信号を生成するタイミング信号生成ステップと、
前記タイミング信号生成ステップの処理が生成するタイミング信号に従い、被写体の画像を撮像する撮像ステップと、
前記撮像ステップの処理で得られる複数枚の前記画像を合成し、1枚の画像を出力する合成ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009127A JP4214781B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003009127A JP4214781B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置および方法、記録媒体、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004222109A true JP2004222109A (ja) | 2004-08-05 |
JP4214781B2 JP4214781B2 (ja) | 2009-01-28 |
Family
ID=32898708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003009127A Expired - Fee Related JP4214781B2 (ja) | 2003-01-17 | 2003-01-17 | 撮像装置および方法、記録媒体、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4214781B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007274210A (ja) * | 2006-03-30 | 2007-10-18 | Canon Inc | 撮像装置及び画像処理方法 |
JP2007281548A (ja) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
JP2007282134A (ja) * | 2006-04-11 | 2007-10-25 | Olympus Imaging Corp | 撮像装置 |
US7636111B2 (en) | 2004-10-28 | 2009-12-22 | Canon Kabushiki Kaisha | Image capturing device having a distortion-reduction unit configured to reduce geometrical distortion caused by an imaging lens in an image progressive signal |
JP2010035007A (ja) * | 2008-07-30 | 2010-02-12 | Nikon Corp | 画像再生装置および画像再生プログラム |
-
2003
- 2003-01-17 JP JP2003009127A patent/JP4214781B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636111B2 (en) | 2004-10-28 | 2009-12-22 | Canon Kabushiki Kaisha | Image capturing device having a distortion-reduction unit configured to reduce geometrical distortion caused by an imaging lens in an image progressive signal |
JP2007274210A (ja) * | 2006-03-30 | 2007-10-18 | Canon Inc | 撮像装置及び画像処理方法 |
JP2007281548A (ja) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
US7852401B2 (en) | 2006-04-03 | 2010-12-14 | Samsung Electronics Co., Ltd. | Photographing apparatus and photographing method for exposure control during continuous photographing mode |
JP2007282134A (ja) * | 2006-04-11 | 2007-10-25 | Olympus Imaging Corp | 撮像装置 |
JP2010035007A (ja) * | 2008-07-30 | 2010-02-12 | Nikon Corp | 画像再生装置および画像再生プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4214781B2 (ja) | 2009-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8638374B2 (en) | Image pickup apparatus, image pickup system, and image pickup method | |
JP3973408B2 (ja) | ディジタル・ムービ・カメラおよびその動作制御方法 | |
KR101222727B1 (ko) | 촬상 장치 | |
KR101108640B1 (ko) | 동영상을 기록하는 기록 장치, 기록 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
CN1701594A (zh) | 摄像设备 | |
JP2009194770A (ja) | 撮像装置、動画再生装置及びそのプログラム | |
JP2009111518A (ja) | 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造 | |
US9154758B2 (en) | Digital signal processor and digital image processing apparatus adopting the same with concurrent live view frame and picture image processing | |
JP2007104623A (ja) | 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法 | |
JP4214781B2 (ja) | 撮像装置および方法、記録媒体、並びにプログラム | |
JP2004336608A (ja) | 画像データの変換方法および変換回路と、電子カメラ | |
KR100943932B1 (ko) | 촬상장치 | |
KR100766074B1 (ko) | 주사변환이 가능한 감시카메라 및 주사변환방법 | |
JP2007166539A (ja) | 撮像装置、撮像方法、プログラムおよび記憶媒体 | |
JP4561452B2 (ja) | 撮像装置、映像出力方法および映像再生プログラム | |
TWI239773B (en) | Frame conversion method, frame conversion circuit, and electronic camera | |
JP5315093B2 (ja) | 撮像装置および撮像方法 | |
JPH11298783A (ja) | 撮像装置、及び撮像方法 | |
JPH07322114A (ja) | 撮像装置 | |
JP2006229552A (ja) | ビデオカメラ | |
JPH11313239A (ja) | 撮像装置 | |
JP3286349B2 (ja) | 画像信号出力制御装置 | |
JP3078024B2 (ja) | 映像信号記録再生処理装置 | |
JP3647494B2 (ja) | 電子スチルカメラを用いた検査システム | |
JP4956341B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4214781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |