JP3746540B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3746540B2 JP3746540B2 JP14083995A JP14083995A JP3746540B2 JP 3746540 B2 JP3746540 B2 JP 3746540B2 JP 14083995 A JP14083995 A JP 14083995A JP 14083995 A JP14083995 A JP 14083995A JP 3746540 B2 JP3746540 B2 JP 3746540B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- image
- image data
- recording
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/877—Regeneration of colour television signals by assembling picture element blocks in an intermediate memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、画像処理装置、詳しくは、フィールド画像データを取り込む画像処理装置に関する。
【０００２】
【従来の技術】
画像処理装置に関する周知の技術として、例えば、テレビジョン信号のフィールド画像信号を記録、あるいは、再生する画像再生装置としてのスチルビデオカメラ、スチルビデオ録画再生装置に関するものが知られている。
一般的な画像処理装置の１つである静止画像再生装置では、図１５のフローチャートに示すように記録された画像データがフレーム画像であるのかフィールド画像であるのかを判別する手段をを有しており、フレーム画像の場合はそのまま再生し、フィールド画像の場合には補間処理を行って、疑似フレーム画像データを生成してから再生する方式が採られている。このとき、フィールド，フレームの判別は画像データに付加されているファイルヘッダー等の属性情報により判別を行う。
【０００３】
また、従来の画像処理装置の代表的な静止画像再生装置として提案されている特開平４−１１１６９０号公報に開示された画像信号処理装置は、図１６のブロック構成図に示す構成を有している。
【０００４】
上記画像信号処理装置において、記録媒体５１に記録されている画像ファイルは、画像パラメータ等が記録されたファイルヘッダーと、画像データとから成り、該画像データは、フレームメモリ５２に読み込まれ、フレームメモリ５２に読み込まれた画像データは、補間処理装置５４により補間処理される。すなわち、フレームメモリ５２と補間処理装置５４は、メモリコントロール部５３により制御され、フレームメモリ５２に記録されているある走査ラインにおける画像データとその次の走査ラインにおける隣接画素のデータとの平均をとり、これを記憶されているフィールド信号の次のフィールドでインターレースされる画素データとしてフレームメモリ５２の空番地に順番に書き込み、疑似フレーム画像データを生成する。このメモリコントロール部５３での処理を図１７のフローチャートにより詳細に説明する。
【０００５】
このメモリコントロール部５３では、記録媒体５１から読み込まれた画像データを１走査ライン毎にフレームメモリ５２に書き込む。その際に、記録された画像データの１ライン目をフレームメモリ５２の１ライン目に書き込む（ステップＳ３１）。次に、記録された画像データの２ライン目をフレームメモリ５２の３ライン目に書き込む（ステップＳ３２）。
【０００６】
以下、同様の作業を繰り返し、記録された画像データの最終ラインであるｎライン目をフレームメモリ５２の（２ｎ−１）ライン目に書き込み（ステップＳ３４）、記録された画像データをフレームメモリ５２に書き込む作業を終了する。
次に、このフレームメモリ５２に書き込まれた画像データのライン間のラインを補間するために、フレームメモリ５２の１ライン目と３ライン目の画像データを補間処理装置５４に出力し、フレームメモリ５２の２ライン目に、補間処理装置５４での演算結果を書き込む（ステップＳ３５）。
【０００７】
以下、同様の作業を行い、フレームメモリ５２の（２ｎ−３）ライン目と（２ｎ−１）ライン目の画像データを補間処理装置５４に出力し、フレームメモリ５２の（２ｎ−２）ライン目に補間処理装置５４での演算結果を書き込む（ステップＳ３７）。以上の処理により、擬似フレーム画像データがフレームメモリ５２に書き込まれたことになる。
【０００８】
上述のようにフレームメモリ５２の物理アドレスには上から記録フィールド、被補間フィールドのデータが順番に記憶される。フレームメモリ５２の読み出しタイミングは、メモリコントロール部５３によって制御され、Ｄ／Ａ変換器５５に出力される（ステップＳ３８）。
そして、フレームメモリ５２から読み出された画像データは、Ｄ／Ａ変換器５５により再びアナログ信号となり、エンコーダ５６によりＴＶ信号（ビデオ信号）となる。なお、エンコーダ５６では、同期信号発生器５７から発生する同期信号がＤ／Ａ変換器５５の出力信号に付加される。
【０００９】
【発明が解決しようとする課題】
上述のような特開平４−１１１６９０号公報の静止画像再生装置にて同一画像にて撮影された奇数フィールド、および、偶数フィールドを各々フレーム画像信号として出力し、モニタ上に表示したときの様子を示す図１８，図１９、および、図２０を参照して、この静止画像再生装置における問題点を説明する。
図１８は、記録を行った場合の走査線の位置を示すもので、実線で示すラインは奇数フィールドを撮影したときの走査線を示し、点線で示すラインは、偶数フィールドを撮影したときの走査線の位置を示すものである。図１９は、奇数フィールドの画像データから補間処理を行って再生した場合の走査線を示したものであり、図２０は、偶数フィールドの画像データから補間処理を行って再生した場合の走査線の位置を示している。但し、図１９，２０にて実線で示すラインは、記録画像の走査線の位置を示し、点線で示すラインは補間処理された被補間画像データによるラインを示し、ライン番号Ｌn ′として示す。
【００１０】
図１８において、記録された奇数フィールド画像データは、走査線Ｌ1 ，Ｌ3 ，Ｌ5 ，…で示す画像データとなり、再生画像の走査線の位置を示す図１９のように、フレームメモリには最初にラインＬ1 の画像データが書き込まれ、次に１ライン分飛ばしたフレームメモリにＬ3 の画像データが書き込まれる。
以下、順番に奇数フィールド画像データがフレームメモリ５２に書き込まれる。
【００１１】
さらに、このフィールド画像データを再生するために、フレーム画像メモリに記録されているラインＬ1 の画素データとその次のラインＬ3 における隣接画素のデータとの平均をとる補間処理を行い、これを記憶されているフィールド信号の次のフィールドでインターレースされるラインＬ2 ′の画像データとしてＬ1 ，Ｌ3 ラインの間のフレーム画像メモリに書き込む。
以下、同様にしてＬ4 ′，Ｌ6 ′，…の画像データもフレームメモリ５２に順次書き込んでいく。
【００１２】
以上の処理は、メモリコントロール部５３で制御され、補間処理のなされた擬似フレーム画像が作成され、撮影時と同等の画角のフレーム画像が再生される。
【００１３】
図１８において、記録された偶数フィールド画像データは、走査線の点線で示されたようにラインＬ2 ，Ｌ4 ，Ｌ6 ，…のデータとなり、再生画像の走査線の位置を図２０に示すように、フレーム画像メモリには最初にラインＬ2 の画像データが書き込まれ、次に１ライン分飛ばしたメモリ領域にラインＬ4 の画像データが書き込まれる。
【００１４】
このラインＬ2 、および、ラインＬ4 が読み込まれたメモリ領域は、奇数フィールドを記録したときにおけるラインＬ1 とラインＬ3 が読み込まれたメモリ領域に相当する。
以下、順番に偶数フィールド画像データをフレーム画像メモリに読み込んでいき、さらに、このフィールド画像データを再生するために、フレーム画像メモリに記録されているラインＬ2 の画素データとその次のラインＬ4 における隣接画素のデータとの平均をとる補間処理を行う。
【００１５】
この補間処理で得られたデータを画像データが記憶されているメモリのフィールド信号の次のフィールドでインターレースされるラインＬ3 ′の画素データとしてラインＬ2 ，Ｌ4 の間のフレーム画像メモリに書き込む。
以下、同様にしてＬ5 ′，Ｌ7 ′，…の画像データもフレームメモリ５２に順次書き込まれ、補間処理のなされた擬似フレーム画像が作成される。
【００１６】
以上、説明した図１９、および、図２０から明らかなように、同一画角にて撮影されたにもかかわらず記録されたフィールド画像データが奇数フィールド、偶数フィールドの違いにより、補間されて出力される画像データは、１ラインずれたフレーム画像データとなり、そのデータがそのまま映像出力になってしまう。したがって、とりわけ画像間で精密な比較検討を行う際には、上記ラインずれが致命的な欠陥になるおそれがある。
【００１７】
一方、従来の静止画像記録再生装置においては、図７に示すようにＪＥＩＤＡ（日本電子工業振興協会）の規格に準拠したものが一般的である。
このような静止画像記録再生装置において、連写撮影を行う際、撮影される枚数／秒が多くすると、取り込まれる画像データ量が多くなり、撮影された画像データの一枚毎にファイルヘッダが設けられているため、そのファイルヘッダ部分によるデータ容量の増加も著しく、トータルのデータ量が膨大なものになってしまう。さらに、これによって、記録処理速度を高速化する上でも障害になるという不具合があった。
【００１８】
本発明は、上述の不具合を解決するためになされたものであり、連続撮影を行う場合、記録画像データの容量の増加を抑えることが可能であり、画像データ記録速度の高速化が可能な画像処理装置を提供することを目的とする。
【００１９】
【課題を解決するための手段および作用】
本発明による画像処理装置は、光学像に対応した電荷をフィールド単位で読み出して出力する固体撮像素子と、該固体撮像素子から出力されたフィールド画像信号を記録に適する形態に処理して適用された記録媒体に記録を行う記録手段と、撮影開始を指示する撮影トリガ操作部材と、該撮影トリガ操作部材が操作されている限り、上記記録手段による記録媒体への画像記録を所定の速度にて連続的に行うように制御する制御手段と、を備えた画像処理装置であって、上記制御手段は、上記記録手段による記録媒体へのフィールド画像の連続記録にあたり、これら連続記録画像の一つの共通の属性情報として、一連の連続撮影記録枚数情報、および、連続撮影記録速度の中から設定された１秒間の撮影コマ数と上記撮影トリガ操作部材による撮影開始のタイミングとに基づき決定される最初に記録されるフィールド画像が奇数フィールドまたは偶数フィールドであることを示す情報を記したビットおよび後続のフィールド画像が、偶数フィールドと奇数フィールドとが交互に変わるものであるか、もしくは最初に記録されたフィールド画像と同じフィールドのままであるかを示すビットで構成されたフィールド発生パターン情報を含むフィールド属性情報を記録するように制御する手段を含むことを特徴とし、上記固体撮像素子から出力されるフィールド画像信号が１秒間に６０フィールド、上記記録手段による記録媒体へのフィールド画像の連続記録におけるインターバルをｎ／６０秒とした場合、上記１秒間の撮影コマ数ｍは、６０／ｎ＝ｍ枚／秒（ｎ，ｍは、１以上の整数とする）で規定されることを特徴する。
【００２４】
上記画像処理装置においては、上記フィールド画像の連続記録にあたり、これら連続記録画像の一つの共通の属性情報として、一連の連続撮影記録枚数情報、および、連続撮影記録速度の中から設定された当該速度に基づくフィールド発生パターン情報とを含むフィールド属性情報を記録するように制御する。
【００２５】
【実施例】
以下、本発明の実施例について図を用いて説明する。
図１は、本発明の第１実施例の画像処理装置である静止画像再生装置のブロック構成図である。
静止画像再生装置においては、記録媒体に記録されたフィールド画像データに基づいて、擬似フレーム画像データが生成されるが、その静止画像再生装置の構成と処理動作について説明する。
【００２６】
上記静止画像再生装置においては、メモリカ−ドや磁気ディスクまたは光ディスク等の記録媒体１に記録された画像データはフレームメモリ２に読み込まれる。このとき、フレームメモリ２は、あらかじめ奇数フィールド、および、偶数フィールドの画像データを格納するメモリセルが決められており、画像データに一緒に記録されているフィールド属性情報であるＦＩＤコードを認識する手段を内蔵するＣＰＵ８ではこれを解読し、該ＣＰＵ８は、フレームメモリ２にフィールド画像を書き込む領域を、書き込み奇数乃至偶数ライン位置設定変更手段を内蔵するメモリコントロール部３に指示することにより、奇数フィールドデータ、および、偶数フィールドデータがフレームメモリ２の所定アドレスに読み込まれる。
【００２７】
なお、フレーム画像メモリ２から読み出された画像データは、補間手段としての補間処理装置４により補間処理が行われるが、ＣＰＵ８は、補間処理装置４に対してフレームメモリ２に書き込まれた画像データを元にしてもう一方のフィールドを補間するように指示を出す。補間処理装置４では、走査ラインの画素データとその次の走査ラインにおける隣接画素のデータとの平均をとり、この補間されたデータを、記憶されているフィールド信号の次のフィールドでインターレースされる画素データとしてフレームメモリ２の空番地に順番に書き込むことになる。
【００２８】
上記メモリコントロール部３におけるフィールド画像データの補間処理動作を図２のフローチャートにより詳細に説明すると、まず、記録された画像データと一緒に記載されているＦＩＤコードをＣＰＵ８にて解読し、ＦＩＤフラグ信号をメモリコントロール部３に入力する。このＦＩＤフラグ信号により記録されている画像データのフィールドが奇数フィールドであるか、または、偶数フィールドあるかの判別を行う（ステップＳ０）。
【００２９】
記録されている画像データが奇数フィールドの場合には、第１処理部のステップＳ１〜Ｓ７の処理を実行するが、この処理は、前述した図１７に示した従来のメモリコントロールにおける制御と同様の処理である。
また、記録されている画像データが偶数フィールドの場合、第２処理部のステップＳ１１〜Ｓ１７の処理を実行する。
【００３０】
すなわち、記録された画像データの１ライン目（Ｌ1 ）のデータをフレームメモリ２の２ライン目（Ｌ2 ）に書き込み（ステップＳ１１）、次に、記録されている画像データの２ライン目をフレームメモリ２の４ライン目に書き込む（ステップＳ１２）。
【００３１】
以下、同様の作業を繰り返し、さらに、記録されている画像データの最終ラインであるｎライン目（ｎは、１以上の所定の整数）のデータをフレームメモリ２の２×ｎライン目に書き込むことで（ステップＳ１４）、記録した画像データをフレームメモリ２に書き込む作業は終了する。
【００３２】
次に、上述のフレームメモリ２に書き込まれた画像データの走査ライン間を補間するために、フレームメモリ２の２ライン目と４ライン目の画像データを補間処理装置４に出力し、その補間処理により得られた画像データをフレームメモリ２の３ライン目に書き込む（ステップＳ１５）。
【００３３】
以下、同様の作業を行い、フレームメモリ２の（２×ｎ−２）ライン目の画像データと２×ｎライン目の画像データを補間処理装置４に出力し、フレームメモリ２の（２×ｎ−１）ライン目に上記補間処理装置４での演算結果を書き込む（ステップＳ１７）。
上記第１、または、第２処理部での処理により、擬似フレーム画像データがフレームメモリ２に書き込まれたことになる。
【００３４】
上述の処理によると記録された画像データが奇数フィールド、および、偶数フィールドのときの再生画像の走査線の位置はそれぞれ図３，図４に示され、画像データが奇数フィールドの場合、フレームメモリ２の物理アドレスには上から記録フィールド、被補間フィールドのデータが順番に記憶されることになる。一方、画像データが偶数フィールドの場合は、フレームメモリ２の物理アドレスの上から被補間フィールド、記録フィールドのデータが順番に記録されることになる。ただし、この偶数フィールドの場合、フレームメモリの１ライン目に書き込まれるデータには、２ライン目のデータと補間演算するべき対応データがないので、０レベルのデータとするか、あるいは、２ライン目のデータＬ2 の１／２の値を当てる等の処理を行う。
【００３５】
なお、フレームメモリ２の読み出しタイミングは、メモリコントロール３によって制御され、フレームメモリ２から読み出された画像データは、Ｄ／Ａ変換器５により再びアナログ信号となり、エンコーダ６によりビデオ信号として出力される。なお、エンコーダ６にて、Ｄ／Ａ変換器５からの出力信号に対して同期信号発生器７から出力される同期信号が付加される。
【００３６】
上述のように、本実施例の静止画像再生装置によると、ＣＰＵ８を設けて、記録データのＦＩＤコードを読み取りその情報に基づき、フレームメモリに書き込むメモリのアドレスを変化させることにより、記録されたフィールドが異なっていても従来例の装置で生じたような１ラインのずれのない疑似フレーム画像が再生できる。
【００３７】
次に、本発明の第２実施例の画像処理装置である静止画像再生装置における、記録媒体に記録されるフィールド画像データに関するファイル構成や該フィールド画像データに基づいて疑似フレーム画像データを生成する処理等について図５のブロック構成図等を参照しつつ説明する。
【００３８】
記録媒体としてのＩＣメモリカ−ド１０には画像データが記録されている。この画像データは、最も一般的であるＪＥＩＤＡ（日本電子工業振興協会）の規格に準拠したものであり、その画像個々のファイル構成は、図６に示すようにファイルヘッダーと画像データとから構成されている。
上記ファイルヘッダーは、フォーマット情報が記録されているフォーマットタプル、記録日時が記されている記録日時タプル、その他に画像パラメータの情報等が記録されているパラメータタプル等から構成されている。
【００３９】
その画像パラメータタプルには、図７に示すように、タプルＩＤ、次タプルポインタ、走査方式、ガンマ特性、画素数等の設定を記録する項目があり、そのうちの走査方式の設定部にて図８に示すようにフィールドの属性情報が記載されている。
【００４０】
上記ＩＣメモリカード１０が接続されるＩＣカードインターフェイス１２は、ＩＣメモリカード１０へのアクセスを管理する機能を有している。
また、前記ＩＣメモリカード１０に記録されている画像データは、ＪＰＥＧの規格に準拠した圧縮方式で圧縮されているため、伸長部１３にてハフマン復号化され、この復号化された画像データはＤＣＴ処理部１４に転送し、ＤＣＴ処理部１４にて逆ディスクリートコサイン変換によって８×８のブロック画像データが算出され、フレームメモリ１５に転送される。なお、ＩＣカードインターフェイス１２、伸長部１３、および、ＤＣＴ処理部１４は再生手段を内蔵するＣＰＵ１１により制御される。
また、このＣＰＵ１１では記録された画像データのファイルヘッダー部のパラメータタプルに記載されているフィールド属性情報の解読も行う。
【００４１】
フレームメモリ１５に転送された画像データは、ＣＰＵ１１が奇数、または、偶数フィールドを示すフィールド属性を識別して出力するＦＩＤフラグ信号をメモリコントロール部１７で読み込み、奇数フィールド画像データおよび偶数フィールド画像データによってＤＣＴ処理部１４から転送された画像データを書き込むためのラインのメモリアドレスを指定する。
【００４２】
本実施例の装置において、走査ラインの画像データを格納するアドレスは、図９に示すように、上の１ライン分のメモリから、００…００００，００…０００１，００…００１０，００…００１１，…となっている。そして、ＬＳＢ（最下位ビット）は、フィールド属性を示すビットとなっており、値０は、奇数フィールドの画像データの１ライン分が格納されているメモリを示し、値１は、偶数フィールドの画像データの１ライン分が格納されているメモリを示している。さらに、ＬＳＢを除くビットについては、各フィールドにおける上からのライン位置を表すものである。よって、このアドレスの法則に従ってＤＣＴ処理部１４から転送される画像データを所定のメモリ内アドレス位置に格納する。
【００４３】
次に、フレームメモリに格納されたフィールド画像データは補間処理装置１６により補間処理が施され擬似フレームデータになるが、この補間処理装置１６の構成を図１０に示す。
フレームメモリ１５に格納されている画像データを上述のライン対応のメモリから順番に取り込み、入力された画像データを１Ｈディレイラインメモリ１６ａに入力する。その１Ｈディレイラインメモリ１６ａの出力と１Ｈディレイラインメモリ入力前の画像データを入力信号とする平均化回路１６ｂにて２つの画像データの平均値を演算して出力し、記憶されているフィールド信号の次のフィールドでインターレースされる画素データとしてフレームメモリの所定のアドレスに順番に書き込み、画像データの擬似フレーム化が行われる。
なお、この疑似フレーム化処理は、前記第１実施例の静止画像再生装置の処理と同様の処理である。
【００４４】
次に、擬似フレーム化された画像信号は、Ｄ／Ａ変換部１８に転送され、Ｄ／Ａ変換部１８にてアナログ信号に変換された後にエンコーダ部１９にてビデオ信号として出力される。エンコーダ部１９では、同期信号発生器２０から発生する同期信号もＤ／Ａ変換部１８からの出力信号に付加される。
【００４５】
上述したように本実施例の静止画像再生装置では、ＩＣメモリカード１０に記録された画像ファイルのファイルヘッダーをＣＰＵ１１にて解読し、再生される画像データのフィールド奇偶数情報をメモリコントロール部１７へ出力することにより、記録画像データをフレームメモリに書き込む際に、上記フィールド奇偶数情報に基づいて所定のフレームメモリ領域に書き込むようにした。したがって、フィールド画像データの擬似フレーム化による奇数，偶数フィールドの違いによる１ラインのずれの発生がなくなる。
【００４６】
また、ＩＣメモリカ−ドから読み込まれた画像データの処理に限らず、例えば、フィールド駆動の撮像部から直接出力される画像データを処理することを考えた場合、毎秒６０コマのフィールド画像信号が出力されている。この撮像部から出力された画像信号を、例えば、毎秒４コマで記録するシステムにおいては、記録された画像データは必ず奇数フィールド、偶数フィールドの順番で記録されることになるが、本実施例の装置で再生した場合、上述のように記録された連続する２コマの画像データをモニタ上にて再生する際、１ライン分のずれが生じることがない。
【００４７】
なお、本実施例において再生された画像データをインターレース方式のモニタに出力するときに限らず、パソコン等のノンインターレース方式のモニタ上に再生する場合においても、フレームメモリに格納されている擬似フレームデータの出力を制御しているメモリコントロール部７の制御をノンインターレース方式で制御することにより、同等の効果を得ることができる。
【００４８】
また、本実施例では記録されたフィールド画像データを再生する際のメモリコントロール方法を示してあるが、電子スチルカメラ等の記録装置において撮像部からのフィールド画像出力を擬似フレーム画像として記録する際にも、同様のメモリコントロールを行って、記録することにより同等の効果が得られる。
【００４９】
以上説明したように、上述の第１，第２実施例の電子スチルカメラの画像再生装置によれば、同じ画角で撮影され、記録された画像データを再生する際、フィールド属性を考慮した擬似フレーム化を行うことで、フィールド属性の違いにより発生する再生画像の１ライン分のずれを生じることなくモニタ上にて観察することができる。
【００５０】
次に、本発明の第３実施例を示す画像処理装置としての電子スチルカメラについて説明する。本実施例のカメラは、フィールド画像データを記録する場合、連写撮影を行ったときに記録されるフィールド画像記録データが前記第１，２実施例の画像処理装置でラインのずれのない疑似フレーム画像データを生成するのに都合がよく、さらに、データファイルに付加される情報を極力減じることを可能とするものである。
【００５１】
上記カメラの構成は、図１１に示すような構成になっており、フィールド駆動の固体撮像素子であるＣＣＤ３１にて光電変換された映像信号は、撮像プロセス３２にてガンマ補正等の信号処理が施される。
続いて、上記映像信号は、Ａ／Ｄ変換部３３にてデジタルデータに変換され、フレームメモリ３４に書き込まれる。さらに、そのフレームメモリに記録された画像データを記録手段を介して記録媒体に記録する。すなわち、ＪＰＥＧ準拠の圧縮を行うため、ＤＣＴ変換部３７にてディスクリートコサイン変換し、圧縮部３８にて符号化された画像データを記録媒体であるＩＣメモリカード３９に記録する。また、本カメラにおいて、同期信号発生器４１とメモリコントロール部３６は同期して動作する。
なお、上記ＩＣメモリカ−ド３９に記録された画像ファイルは、通常の撮影記録モードではファイルヘッダーと画像データから構成されるものとする。
【００５２】
連写撮影を行う場合、ＣＣＤからのムービー出力であるフィールド画像データを利用して、その画像データを記録するのが一般的であるが、そうした場合に、ＣＣＤから出力されるフィールド画像データは１秒間に６０フィールド分となる。
このとき、撮影におけるインターバル時間を一定にしようとすると、１秒間の撮影コマ数ｍは、ｍ＝６０／ｎ（枚／秒）で与えられる。但し、ｎ，ｍは１以上の整数であり、連写におけるインターバルは、ｎ／６０（秒）で与えられる（図１２参照）。連写撮影を使用する上では、実用的には上記６０／ｎで示される枚数／秒で十分対応できる。
【００５３】
また、上記撮影コマ数におけるフィールド属性は、例えば、１秒間に６０コマ（ｎ＝１）においては、コマ数／秒と撮影される奇数，偶数フィールド画像データの順の関係を示す図１２の最上部分に示すように奇数フィールドＦａと偶数フィールドＦｂが順番に出力されている。この出力を記録する動画撮影モードにおいて、撮影記録の期間は、撮影トリガ操作部材である撮影トリガボタン４２が押されている間であって、最初に記録されるフィールドデータは撮影トリガボタン４２が押された瞬間の次のフィールドから開始されるものとすると、記録されるフィールドデータのフィールド属性の順番は奇数、偶数、奇数、偶数、…である場合と、偶数、奇数、偶数、奇数…である場合の２種類になる。上記図１２では前者の場合が示されている。
【００５４】
また、１秒間に２０コマ（ｎ＝３）、１２コマ（ｎ＝５）、４コマ（ｎ＝１５）では、１秒間６０コマと同様に奇数フィールドと偶数フィールドが順番に記録されることになり、最初に撮影されるコマによって２種類の記録の組み合わせになる。
【００５５】
さらに、上記以外のコマ数に関する、１秒間に３０コマ（ｎ＝２）、１５コマ（ｎ＝４）、１０コマ（ｎ＝６）、６コマ（ｎ＝１０）、５コマ（ｎ＝１２）、３コマ（ｎ＝２０）、２コマ（ｎ＝３０）、１コマ（ｎ＝６０）では奇数のみ、もしくは偶数フィールドの画像データのみになり、この奇数フィールドか偶数フィールドかは撮影が開始される撮影トリガボタン４２の押されるタイミングにより決定され、２種類の記録の組み合わせになる。
【００５６】
連写で撮影された複数コマのフィールド画像データに関して、１つの共通のファイルヘッダー内の画像パラメータタプルで、上述の画像データの記録情報を記載する。これらの処理の制御は、制御手段であるＣＰＵ４０により実行される。
すなわち、画像パラメータタプルに記載されている情報として、図１３に示すように、ＪＥＩＤＡ準拠の画像パラメータタプル（図７参照）に対してフィールド属性を設定する項目、および、連写による撮影コマ数が追加されたものとなっている。さらに、上記フィールド属性を設定する項目は、フィールド発生パターン情報として、図１４に示すように２ビットで構成されており、Ａのビットでは最初に記録されているフィールドデータの属性情報を記し、Ｂのビットではフィールド属性が交互に変わるか、もしくは同じままであるかを示し、４通りのフィールド属性を記録することができる。
【００５７】
この連写された画像データを上記第１、または、第２実施例の装置にて構成されている静止画像再生装置にて連続再生する場合、これら一連の画像データのファイルヘッダを制御手段であるＣＰＵにて解読し、連続撮影記録枚数、および、連続する画像データの４通りのフィールド属性をフィールド発生パターン情報を用いて判別することにより、再生される画像データによってＦＩＤフラグをメモリコントロール部に信号を出力することができ、容易に上記画像データのフィールド属性情報が得られ、走査ラインのずれの生じない疑似フレーム画像データを生成することができる。
【００５８】
また、本実施例のカメラでは、画像データの１つ１つにファイルヘッダを付加する必要がなくなり、これにより従来の連続画像データよりも記録容量が減少することになる。また同時に、画像データを再生する度に、再生される画像ファイルヘッダからフィールド属性を記録した画像パラメータタプルをＣＰＵにて解読する必要がなくなり、処理速度が速くなる。
【００５９】
【発明の効果】
本発明の請求項１記載の画像処理装置によれば、フィールド属性を判別して記録されたフィールド画像データを該フィールド属性に応じて画像メモリのそれぞれの対応したライン位置に書き込むことにより、擬似フレーム化する際にフィールド画像データに対して特にタイミング等を考慮せずにそのまま読み出して補間処理を行って奇数、偶数ラインの違いによる１ライン分のずれをなくした再生を行うことができる。
【００６０】
本発明の請求項２記載の画像処理装置によれば、フレームメモリにフィールド画像データをフィールド属性情報を参照して書き込み、書き込まれた画像データ間の補間ラインを補間処理により算出し、同メモリの対応するライン位置に書き込むことで、フィールド属性の違いにより生じる１ライン分のずれをなくした疑似フレーム画像データが、特に読み出しタイミング等を考慮せずに簡単に得られる。
【００６１】
以上説明したように本発明によれば、特に連写やムービー撮影を行うときに画像データ容量や記録速度の点で顕著な効果を有しており、連写等の場合、撮影画像データ枚数であるｍ枚／秒（ｍは１以上の整数）が多くなるが、従来の画像処理装置では画像データ１枚１枚にファイルヘッダーが設けられ、画像データファイルの容量が大きくなってしまい、しかも、画像データファイルを記録媒体に書き込む際に、画像データとは別にファイルヘッダーの書き込みを行う必要があって、記録処理速度を高速化する上で障害となっていた。しかし、本発明の画像処理装置によると、連写撮影時の一連の撮影記録画像に共通のフィールド属性情報を先頭の画像フィールドにのみ持たせ、このフィールド属性情報を再生時に利用し、処理速度の高速化と連続画像データファイルに付加される情報量の削減が実現できる。
【図面の簡単な説明】
【図１】本発明の第１実施例の画像処理装置である静止画像再生装置のブロック構成図。
【図２】図１の静止画像再生装置におけるフィールド画像データの補間処理動作のフローチャート。
【図３】図１の静止画像再生装置にて記録された画像データが奇数フィールドの場合の再生画像の走査線を示す図。
【図４】図１の静止画像再生装置にて記録された画像データが偶数フィールドの場合の再生画像の走査線を示す図。
【図５】本発明の第２実施例の画像処理装置である静止画像再生装置のブロック構成図。
【図６】図５の静止画像再生装置における画像データのファイル構成を示す図。
【図７】図５の静止画像再生装置における画像データのうち、ファイルヘッダ中の画像パラメータタプルの構成を示す図。
【図８】図５の静止画像再生装置における画像データの画像パラメータタプルのうち、フィールド属性を示す部分。
【図９】図５の静止画像再生装置における画像データの走査ライン上のデータを格納するメモリアドレスを示す図。
【図１０】図５の静止画像再生装置における補間処理装置の構成を示す図。
【図１１】本発明の第３実施例の画像処理装置である電子スチルカメラのブロック構成図。
【図１２】図１１の電子スチルカメラにおける連写撮影時の単位時間当たりの撮影コマ数に対する奇数フィールド、偶数フィールドの撮影画像データの記録順を示す図。
【図１３】図１１の電子スチルカメラにおける画像データのうち、ファイルヘッダ中の画像パラメータタプルの構成を示す図
【図１４】図１１の電子スチルカメラにおける画像パラメータタプルのファイル属性の設定コードを示す図。
【図１５】従来の一般的な画像処理装置の１つである静止画像再生装置における補間後再生する処理のフローチャート
【図１６】従来の画像処理装置の代表的な静止画像再生装置のブロック構成図。
【図１７】図１６の従来の静止画像再生装置における補間処理のフローチャート。
【図１８】図１６の従来の静止画像再生装置における奇数フィールド、および、偶数フィールドを各々フレーム画像信号として出力し、モニタ表示される走査線を示す図。
【図１９】図１６の従来の静止画像再生装置における奇数フィールドの画像データから補間処理を行って再生した場合の走査線を示した図。
【図２０】図１６の従来の静止画像再生装置における偶数フィールドの画像データから補間処理を行って再生した場合の走査線を示した図。
【符号の説明】
２，１５……フレームメモリ（画像メモリ）
３，１７……メモリコントロール部（メモリコントロール手段，ライン位置設定変更手段）
４，１６……補間処理装置（補間手段）
８，１１……ＣＰＵ（再生手段）
３１ ……ＣＣＤ（固体撮像素子）
３７ ……ＤＣＴ変換部（記録手段）
３８ ……圧縮部（記録手段）
４０ ……ＣＰＵ（制御手段）
４２ ……撮影トリガボタン（撮影トリガ操作部材）
【産業上の利用分野】
本発明は、画像処理装置、詳しくは、フィールド画像データを取り込む画像処理装置に関する。
【０００２】
【従来の技術】
画像処理装置に関する周知の技術として、例えば、テレビジョン信号のフィールド画像信号を記録、あるいは、再生する画像再生装置としてのスチルビデオカメラ、スチルビデオ録画再生装置に関するものが知られている。
一般的な画像処理装置の１つである静止画像再生装置では、図１５のフローチャートに示すように記録された画像データがフレーム画像であるのかフィールド画像であるのかを判別する手段をを有しており、フレーム画像の場合はそのまま再生し、フィールド画像の場合には補間処理を行って、疑似フレーム画像データを生成してから再生する方式が採られている。このとき、フィールド，フレームの判別は画像データに付加されているファイルヘッダー等の属性情報により判別を行う。
【０００３】
また、従来の画像処理装置の代表的な静止画像再生装置として提案されている特開平４−１１１６９０号公報に開示された画像信号処理装置は、図１６のブロック構成図に示す構成を有している。
【０００４】
上記画像信号処理装置において、記録媒体５１に記録されている画像ファイルは、画像パラメータ等が記録されたファイルヘッダーと、画像データとから成り、該画像データは、フレームメモリ５２に読み込まれ、フレームメモリ５２に読み込まれた画像データは、補間処理装置５４により補間処理される。すなわち、フレームメモリ５２と補間処理装置５４は、メモリコントロール部５３により制御され、フレームメモリ５２に記録されているある走査ラインにおける画像データとその次の走査ラインにおける隣接画素のデータとの平均をとり、これを記憶されているフィールド信号の次のフィールドでインターレースされる画素データとしてフレームメモリ５２の空番地に順番に書き込み、疑似フレーム画像データを生成する。このメモリコントロール部５３での処理を図１７のフローチャートにより詳細に説明する。
【０００５】
このメモリコントロール部５３では、記録媒体５１から読み込まれた画像データを１走査ライン毎にフレームメモリ５２に書き込む。その際に、記録された画像データの１ライン目をフレームメモリ５２の１ライン目に書き込む（ステップＳ３１）。次に、記録された画像データの２ライン目をフレームメモリ５２の３ライン目に書き込む（ステップＳ３２）。
【０００６】
以下、同様の作業を繰り返し、記録された画像データの最終ラインであるｎライン目をフレームメモリ５２の（２ｎ−１）ライン目に書き込み（ステップＳ３４）、記録された画像データをフレームメモリ５２に書き込む作業を終了する。
次に、このフレームメモリ５２に書き込まれた画像データのライン間のラインを補間するために、フレームメモリ５２の１ライン目と３ライン目の画像データを補間処理装置５４に出力し、フレームメモリ５２の２ライン目に、補間処理装置５４での演算結果を書き込む（ステップＳ３５）。
【０００７】
以下、同様の作業を行い、フレームメモリ５２の（２ｎ−３）ライン目と（２ｎ−１）ライン目の画像データを補間処理装置５４に出力し、フレームメモリ５２の（２ｎ−２）ライン目に補間処理装置５４での演算結果を書き込む（ステップＳ３７）。以上の処理により、擬似フレーム画像データがフレームメモリ５２に書き込まれたことになる。
【０００８】
上述のようにフレームメモリ５２の物理アドレスには上から記録フィールド、被補間フィールドのデータが順番に記憶される。フレームメモリ５２の読み出しタイミングは、メモリコントロール部５３によって制御され、Ｄ／Ａ変換器５５に出力される（ステップＳ３８）。
そして、フレームメモリ５２から読み出された画像データは、Ｄ／Ａ変換器５５により再びアナログ信号となり、エンコーダ５６によりＴＶ信号（ビデオ信号）となる。なお、エンコーダ５６では、同期信号発生器５７から発生する同期信号がＤ／Ａ変換器５５の出力信号に付加される。
【０００９】
【発明が解決しようとする課題】
上述のような特開平４−１１１６９０号公報の静止画像再生装置にて同一画像にて撮影された奇数フィールド、および、偶数フィールドを各々フレーム画像信号として出力し、モニタ上に表示したときの様子を示す図１８，図１９、および、図２０を参照して、この静止画像再生装置における問題点を説明する。
図１８は、記録を行った場合の走査線の位置を示すもので、実線で示すラインは奇数フィールドを撮影したときの走査線を示し、点線で示すラインは、偶数フィールドを撮影したときの走査線の位置を示すものである。図１９は、奇数フィールドの画像データから補間処理を行って再生した場合の走査線を示したものであり、図２０は、偶数フィールドの画像データから補間処理を行って再生した場合の走査線の位置を示している。但し、図１９，２０にて実線で示すラインは、記録画像の走査線の位置を示し、点線で示すラインは補間処理された被補間画像データによるラインを示し、ライン番号Ｌn ′として示す。
【００１０】
図１８において、記録された奇数フィールド画像データは、走査線Ｌ1 ，Ｌ3 ，Ｌ5 ，…で示す画像データとなり、再生画像の走査線の位置を示す図１９のように、フレームメモリには最初にラインＬ1 の画像データが書き込まれ、次に１ライン分飛ばしたフレームメモリにＬ3 の画像データが書き込まれる。
以下、順番に奇数フィールド画像データがフレームメモリ５２に書き込まれる。
【００１１】
さらに、このフィールド画像データを再生するために、フレーム画像メモリに記録されているラインＬ1 の画素データとその次のラインＬ3 における隣接画素のデータとの平均をとる補間処理を行い、これを記憶されているフィールド信号の次のフィールドでインターレースされるラインＬ2 ′の画像データとしてＬ1 ，Ｌ3 ラインの間のフレーム画像メモリに書き込む。
以下、同様にしてＬ4 ′，Ｌ6 ′，…の画像データもフレームメモリ５２に順次書き込んでいく。
【００１２】
以上の処理は、メモリコントロール部５３で制御され、補間処理のなされた擬似フレーム画像が作成され、撮影時と同等の画角のフレーム画像が再生される。
【００１３】
図１８において、記録された偶数フィールド画像データは、走査線の点線で示されたようにラインＬ2 ，Ｌ4 ，Ｌ6 ，…のデータとなり、再生画像の走査線の位置を図２０に示すように、フレーム画像メモリには最初にラインＬ2 の画像データが書き込まれ、次に１ライン分飛ばしたメモリ領域にラインＬ4 の画像データが書き込まれる。
【００１４】
このラインＬ2 、および、ラインＬ4 が読み込まれたメモリ領域は、奇数フィールドを記録したときにおけるラインＬ1 とラインＬ3 が読み込まれたメモリ領域に相当する。
以下、順番に偶数フィールド画像データをフレーム画像メモリに読み込んでいき、さらに、このフィールド画像データを再生するために、フレーム画像メモリに記録されているラインＬ2 の画素データとその次のラインＬ4 における隣接画素のデータとの平均をとる補間処理を行う。
【００１５】
この補間処理で得られたデータを画像データが記憶されているメモリのフィールド信号の次のフィールドでインターレースされるラインＬ3 ′の画素データとしてラインＬ2 ，Ｌ4 の間のフレーム画像メモリに書き込む。
以下、同様にしてＬ5 ′，Ｌ7 ′，…の画像データもフレームメモリ５２に順次書き込まれ、補間処理のなされた擬似フレーム画像が作成される。
【００１６】
以上、説明した図１９、および、図２０から明らかなように、同一画角にて撮影されたにもかかわらず記録されたフィールド画像データが奇数フィールド、偶数フィールドの違いにより、補間されて出力される画像データは、１ラインずれたフレーム画像データとなり、そのデータがそのまま映像出力になってしまう。したがって、とりわけ画像間で精密な比較検討を行う際には、上記ラインずれが致命的な欠陥になるおそれがある。
【００１７】
一方、従来の静止画像記録再生装置においては、図７に示すようにＪＥＩＤＡ（日本電子工業振興協会）の規格に準拠したものが一般的である。
このような静止画像記録再生装置において、連写撮影を行う際、撮影される枚数／秒が多くすると、取り込まれる画像データ量が多くなり、撮影された画像データの一枚毎にファイルヘッダが設けられているため、そのファイルヘッダ部分によるデータ容量の増加も著しく、トータルのデータ量が膨大なものになってしまう。さらに、これによって、記録処理速度を高速化する上でも障害になるという不具合があった。
【００１８】
本発明は、上述の不具合を解決するためになされたものであり、連続撮影を行う場合、記録画像データの容量の増加を抑えることが可能であり、画像データ記録速度の高速化が可能な画像処理装置を提供することを目的とする。
【００１９】
【課題を解決するための手段および作用】
本発明による画像処理装置は、光学像に対応した電荷をフィールド単位で読み出して出力する固体撮像素子と、該固体撮像素子から出力されたフィールド画像信号を記録に適する形態に処理して適用された記録媒体に記録を行う記録手段と、撮影開始を指示する撮影トリガ操作部材と、該撮影トリガ操作部材が操作されている限り、上記記録手段による記録媒体への画像記録を所定の速度にて連続的に行うように制御する制御手段と、を備えた画像処理装置であって、上記制御手段は、上記記録手段による記録媒体へのフィールド画像の連続記録にあたり、これら連続記録画像の一つの共通の属性情報として、一連の連続撮影記録枚数情報、および、連続撮影記録速度の中から設定された１秒間の撮影コマ数と上記撮影トリガ操作部材による撮影開始のタイミングとに基づき決定される最初に記録されるフィールド画像が奇数フィールドまたは偶数フィールドであることを示す情報を記したビットおよび後続のフィールド画像が、偶数フィールドと奇数フィールドとが交互に変わるものであるか、もしくは最初に記録されたフィールド画像と同じフィールドのままであるかを示すビットで構成されたフィールド発生パターン情報を含むフィールド属性情報を記録するように制御する手段を含むことを特徴とし、上記固体撮像素子から出力されるフィールド画像信号が１秒間に６０フィールド、上記記録手段による記録媒体へのフィールド画像の連続記録におけるインターバルをｎ／６０秒とした場合、上記１秒間の撮影コマ数ｍは、６０／ｎ＝ｍ枚／秒（ｎ，ｍは、１以上の整数とする）で規定されることを特徴する。
【００２４】
上記画像処理装置においては、上記フィールド画像の連続記録にあたり、これら連続記録画像の一つの共通の属性情報として、一連の連続撮影記録枚数情報、および、連続撮影記録速度の中から設定された当該速度に基づくフィールド発生パターン情報とを含むフィールド属性情報を記録するように制御する。
【００２５】
【実施例】
以下、本発明の実施例について図を用いて説明する。
図１は、本発明の第１実施例の画像処理装置である静止画像再生装置のブロック構成図である。
静止画像再生装置においては、記録媒体に記録されたフィールド画像データに基づいて、擬似フレーム画像データが生成されるが、その静止画像再生装置の構成と処理動作について説明する。
【００２６】
上記静止画像再生装置においては、メモリカ−ドや磁気ディスクまたは光ディスク等の記録媒体１に記録された画像データはフレームメモリ２に読み込まれる。このとき、フレームメモリ２は、あらかじめ奇数フィールド、および、偶数フィールドの画像データを格納するメモリセルが決められており、画像データに一緒に記録されているフィールド属性情報であるＦＩＤコードを認識する手段を内蔵するＣＰＵ８ではこれを解読し、該ＣＰＵ８は、フレームメモリ２にフィールド画像を書き込む領域を、書き込み奇数乃至偶数ライン位置設定変更手段を内蔵するメモリコントロール部３に指示することにより、奇数フィールドデータ、および、偶数フィールドデータがフレームメモリ２の所定アドレスに読み込まれる。
【００２７】
なお、フレーム画像メモリ２から読み出された画像データは、補間手段としての補間処理装置４により補間処理が行われるが、ＣＰＵ８は、補間処理装置４に対してフレームメモリ２に書き込まれた画像データを元にしてもう一方のフィールドを補間するように指示を出す。補間処理装置４では、走査ラインの画素データとその次の走査ラインにおける隣接画素のデータとの平均をとり、この補間されたデータを、記憶されているフィールド信号の次のフィールドでインターレースされる画素データとしてフレームメモリ２の空番地に順番に書き込むことになる。
【００２８】
上記メモリコントロール部３におけるフィールド画像データの補間処理動作を図２のフローチャートにより詳細に説明すると、まず、記録された画像データと一緒に記載されているＦＩＤコードをＣＰＵ８にて解読し、ＦＩＤフラグ信号をメモリコントロール部３に入力する。このＦＩＤフラグ信号により記録されている画像データのフィールドが奇数フィールドであるか、または、偶数フィールドあるかの判別を行う（ステップＳ０）。
【００２９】
記録されている画像データが奇数フィールドの場合には、第１処理部のステップＳ１〜Ｓ７の処理を実行するが、この処理は、前述した図１７に示した従来のメモリコントロールにおける制御と同様の処理である。
また、記録されている画像データが偶数フィールドの場合、第２処理部のステップＳ１１〜Ｓ１７の処理を実行する。
【００３０】
すなわち、記録された画像データの１ライン目（Ｌ1 ）のデータをフレームメモリ２の２ライン目（Ｌ2 ）に書き込み（ステップＳ１１）、次に、記録されている画像データの２ライン目をフレームメモリ２の４ライン目に書き込む（ステップＳ１２）。
【００３１】
以下、同様の作業を繰り返し、さらに、記録されている画像データの最終ラインであるｎライン目（ｎは、１以上の所定の整数）のデータをフレームメモリ２の２×ｎライン目に書き込むことで（ステップＳ１４）、記録した画像データをフレームメモリ２に書き込む作業は終了する。
【００３２】
次に、上述のフレームメモリ２に書き込まれた画像データの走査ライン間を補間するために、フレームメモリ２の２ライン目と４ライン目の画像データを補間処理装置４に出力し、その補間処理により得られた画像データをフレームメモリ２の３ライン目に書き込む（ステップＳ１５）。
【００３３】
以下、同様の作業を行い、フレームメモリ２の（２×ｎ−２）ライン目の画像データと２×ｎライン目の画像データを補間処理装置４に出力し、フレームメモリ２の（２×ｎ−１）ライン目に上記補間処理装置４での演算結果を書き込む（ステップＳ１７）。
上記第１、または、第２処理部での処理により、擬似フレーム画像データがフレームメモリ２に書き込まれたことになる。
【００３４】
上述の処理によると記録された画像データが奇数フィールド、および、偶数フィールドのときの再生画像の走査線の位置はそれぞれ図３，図４に示され、画像データが奇数フィールドの場合、フレームメモリ２の物理アドレスには上から記録フィールド、被補間フィールドのデータが順番に記憶されることになる。一方、画像データが偶数フィールドの場合は、フレームメモリ２の物理アドレスの上から被補間フィールド、記録フィールドのデータが順番に記録されることになる。ただし、この偶数フィールドの場合、フレームメモリの１ライン目に書き込まれるデータには、２ライン目のデータと補間演算するべき対応データがないので、０レベルのデータとするか、あるいは、２ライン目のデータＬ2 の１／２の値を当てる等の処理を行う。
【００３５】
なお、フレームメモリ２の読み出しタイミングは、メモリコントロール３によって制御され、フレームメモリ２から読み出された画像データは、Ｄ／Ａ変換器５により再びアナログ信号となり、エンコーダ６によりビデオ信号として出力される。なお、エンコーダ６にて、Ｄ／Ａ変換器５からの出力信号に対して同期信号発生器７から出力される同期信号が付加される。
【００３６】
上述のように、本実施例の静止画像再生装置によると、ＣＰＵ８を設けて、記録データのＦＩＤコードを読み取りその情報に基づき、フレームメモリに書き込むメモリのアドレスを変化させることにより、記録されたフィールドが異なっていても従来例の装置で生じたような１ラインのずれのない疑似フレーム画像が再生できる。
【００３７】
次に、本発明の第２実施例の画像処理装置である静止画像再生装置における、記録媒体に記録されるフィールド画像データに関するファイル構成や該フィールド画像データに基づいて疑似フレーム画像データを生成する処理等について図５のブロック構成図等を参照しつつ説明する。
【００３８】
記録媒体としてのＩＣメモリカ−ド１０には画像データが記録されている。この画像データは、最も一般的であるＪＥＩＤＡ（日本電子工業振興協会）の規格に準拠したものであり、その画像個々のファイル構成は、図６に示すようにファイルヘッダーと画像データとから構成されている。
上記ファイルヘッダーは、フォーマット情報が記録されているフォーマットタプル、記録日時が記されている記録日時タプル、その他に画像パラメータの情報等が記録されているパラメータタプル等から構成されている。
【００３９】
その画像パラメータタプルには、図７に示すように、タプルＩＤ、次タプルポインタ、走査方式、ガンマ特性、画素数等の設定を記録する項目があり、そのうちの走査方式の設定部にて図８に示すようにフィールドの属性情報が記載されている。
【００４０】
上記ＩＣメモリカード１０が接続されるＩＣカードインターフェイス１２は、ＩＣメモリカード１０へのアクセスを管理する機能を有している。
また、前記ＩＣメモリカード１０に記録されている画像データは、ＪＰＥＧの規格に準拠した圧縮方式で圧縮されているため、伸長部１３にてハフマン復号化され、この復号化された画像データはＤＣＴ処理部１４に転送し、ＤＣＴ処理部１４にて逆ディスクリートコサイン変換によって８×８のブロック画像データが算出され、フレームメモリ１５に転送される。なお、ＩＣカードインターフェイス１２、伸長部１３、および、ＤＣＴ処理部１４は再生手段を内蔵するＣＰＵ１１により制御される。
また、このＣＰＵ１１では記録された画像データのファイルヘッダー部のパラメータタプルに記載されているフィールド属性情報の解読も行う。
【００４１】
フレームメモリ１５に転送された画像データは、ＣＰＵ１１が奇数、または、偶数フィールドを示すフィールド属性を識別して出力するＦＩＤフラグ信号をメモリコントロール部１７で読み込み、奇数フィールド画像データおよび偶数フィールド画像データによってＤＣＴ処理部１４から転送された画像データを書き込むためのラインのメモリアドレスを指定する。
【００４２】
本実施例の装置において、走査ラインの画像データを格納するアドレスは、図９に示すように、上の１ライン分のメモリから、００…００００，００…０００１，００…００１０，００…００１１，…となっている。そして、ＬＳＢ（最下位ビット）は、フィールド属性を示すビットとなっており、値０は、奇数フィールドの画像データの１ライン分が格納されているメモリを示し、値１は、偶数フィールドの画像データの１ライン分が格納されているメモリを示している。さらに、ＬＳＢを除くビットについては、各フィールドにおける上からのライン位置を表すものである。よって、このアドレスの法則に従ってＤＣＴ処理部１４から転送される画像データを所定のメモリ内アドレス位置に格納する。
【００４３】
次に、フレームメモリに格納されたフィールド画像データは補間処理装置１６により補間処理が施され擬似フレームデータになるが、この補間処理装置１６の構成を図１０に示す。
フレームメモリ１５に格納されている画像データを上述のライン対応のメモリから順番に取り込み、入力された画像データを１Ｈディレイラインメモリ１６ａに入力する。その１Ｈディレイラインメモリ１６ａの出力と１Ｈディレイラインメモリ入力前の画像データを入力信号とする平均化回路１６ｂにて２つの画像データの平均値を演算して出力し、記憶されているフィールド信号の次のフィールドでインターレースされる画素データとしてフレームメモリの所定のアドレスに順番に書き込み、画像データの擬似フレーム化が行われる。
なお、この疑似フレーム化処理は、前記第１実施例の静止画像再生装置の処理と同様の処理である。
【００４４】
次に、擬似フレーム化された画像信号は、Ｄ／Ａ変換部１８に転送され、Ｄ／Ａ変換部１８にてアナログ信号に変換された後にエンコーダ部１９にてビデオ信号として出力される。エンコーダ部１９では、同期信号発生器２０から発生する同期信号もＤ／Ａ変換部１８からの出力信号に付加される。
【００４５】
上述したように本実施例の静止画像再生装置では、ＩＣメモリカード１０に記録された画像ファイルのファイルヘッダーをＣＰＵ１１にて解読し、再生される画像データのフィールド奇偶数情報をメモリコントロール部１７へ出力することにより、記録画像データをフレームメモリに書き込む際に、上記フィールド奇偶数情報に基づいて所定のフレームメモリ領域に書き込むようにした。したがって、フィールド画像データの擬似フレーム化による奇数，偶数フィールドの違いによる１ラインのずれの発生がなくなる。
【００４６】
また、ＩＣメモリカ−ドから読み込まれた画像データの処理に限らず、例えば、フィールド駆動の撮像部から直接出力される画像データを処理することを考えた場合、毎秒６０コマのフィールド画像信号が出力されている。この撮像部から出力された画像信号を、例えば、毎秒４コマで記録するシステムにおいては、記録された画像データは必ず奇数フィールド、偶数フィールドの順番で記録されることになるが、本実施例の装置で再生した場合、上述のように記録された連続する２コマの画像データをモニタ上にて再生する際、１ライン分のずれが生じることがない。
【００４７】
なお、本実施例において再生された画像データをインターレース方式のモニタに出力するときに限らず、パソコン等のノンインターレース方式のモニタ上に再生する場合においても、フレームメモリに格納されている擬似フレームデータの出力を制御しているメモリコントロール部７の制御をノンインターレース方式で制御することにより、同等の効果を得ることができる。
【００４８】
また、本実施例では記録されたフィールド画像データを再生する際のメモリコントロール方法を示してあるが、電子スチルカメラ等の記録装置において撮像部からのフィールド画像出力を擬似フレーム画像として記録する際にも、同様のメモリコントロールを行って、記録することにより同等の効果が得られる。
【００４９】
以上説明したように、上述の第１，第２実施例の電子スチルカメラの画像再生装置によれば、同じ画角で撮影され、記録された画像データを再生する際、フィールド属性を考慮した擬似フレーム化を行うことで、フィールド属性の違いにより発生する再生画像の１ライン分のずれを生じることなくモニタ上にて観察することができる。
【００５０】
次に、本発明の第３実施例を示す画像処理装置としての電子スチルカメラについて説明する。本実施例のカメラは、フィールド画像データを記録する場合、連写撮影を行ったときに記録されるフィールド画像記録データが前記第１，２実施例の画像処理装置でラインのずれのない疑似フレーム画像データを生成するのに都合がよく、さらに、データファイルに付加される情報を極力減じることを可能とするものである。
【００５１】
上記カメラの構成は、図１１に示すような構成になっており、フィールド駆動の固体撮像素子であるＣＣＤ３１にて光電変換された映像信号は、撮像プロセス３２にてガンマ補正等の信号処理が施される。
続いて、上記映像信号は、Ａ／Ｄ変換部３３にてデジタルデータに変換され、フレームメモリ３４に書き込まれる。さらに、そのフレームメモリに記録された画像データを記録手段を介して記録媒体に記録する。すなわち、ＪＰＥＧ準拠の圧縮を行うため、ＤＣＴ変換部３７にてディスクリートコサイン変換し、圧縮部３８にて符号化された画像データを記録媒体であるＩＣメモリカード３９に記録する。また、本カメラにおいて、同期信号発生器４１とメモリコントロール部３６は同期して動作する。
なお、上記ＩＣメモリカ−ド３９に記録された画像ファイルは、通常の撮影記録モードではファイルヘッダーと画像データから構成されるものとする。
【００５２】
連写撮影を行う場合、ＣＣＤからのムービー出力であるフィールド画像データを利用して、その画像データを記録するのが一般的であるが、そうした場合に、ＣＣＤから出力されるフィールド画像データは１秒間に６０フィールド分となる。
このとき、撮影におけるインターバル時間を一定にしようとすると、１秒間の撮影コマ数ｍは、ｍ＝６０／ｎ（枚／秒）で与えられる。但し、ｎ，ｍは１以上の整数であり、連写におけるインターバルは、ｎ／６０（秒）で与えられる（図１２参照）。連写撮影を使用する上では、実用的には上記６０／ｎで示される枚数／秒で十分対応できる。
【００５３】
また、上記撮影コマ数におけるフィールド属性は、例えば、１秒間に６０コマ（ｎ＝１）においては、コマ数／秒と撮影される奇数，偶数フィールド画像データの順の関係を示す図１２の最上部分に示すように奇数フィールドＦａと偶数フィールドＦｂが順番に出力されている。この出力を記録する動画撮影モードにおいて、撮影記録の期間は、撮影トリガ操作部材である撮影トリガボタン４２が押されている間であって、最初に記録されるフィールドデータは撮影トリガボタン４２が押された瞬間の次のフィールドから開始されるものとすると、記録されるフィールドデータのフィールド属性の順番は奇数、偶数、奇数、偶数、…である場合と、偶数、奇数、偶数、奇数…である場合の２種類になる。上記図１２では前者の場合が示されている。
【００５４】
また、１秒間に２０コマ（ｎ＝３）、１２コマ（ｎ＝５）、４コマ（ｎ＝１５）では、１秒間６０コマと同様に奇数フィールドと偶数フィールドが順番に記録されることになり、最初に撮影されるコマによって２種類の記録の組み合わせになる。
【００５５】
さらに、上記以外のコマ数に関する、１秒間に３０コマ（ｎ＝２）、１５コマ（ｎ＝４）、１０コマ（ｎ＝６）、６コマ（ｎ＝１０）、５コマ（ｎ＝１２）、３コマ（ｎ＝２０）、２コマ（ｎ＝３０）、１コマ（ｎ＝６０）では奇数のみ、もしくは偶数フィールドの画像データのみになり、この奇数フィールドか偶数フィールドかは撮影が開始される撮影トリガボタン４２の押されるタイミングにより決定され、２種類の記録の組み合わせになる。
【００５６】
連写で撮影された複数コマのフィールド画像データに関して、１つの共通のファイルヘッダー内の画像パラメータタプルで、上述の画像データの記録情報を記載する。これらの処理の制御は、制御手段であるＣＰＵ４０により実行される。
すなわち、画像パラメータタプルに記載されている情報として、図１３に示すように、ＪＥＩＤＡ準拠の画像パラメータタプル（図７参照）に対してフィールド属性を設定する項目、および、連写による撮影コマ数が追加されたものとなっている。さらに、上記フィールド属性を設定する項目は、フィールド発生パターン情報として、図１４に示すように２ビットで構成されており、Ａのビットでは最初に記録されているフィールドデータの属性情報を記し、Ｂのビットではフィールド属性が交互に変わるか、もしくは同じままであるかを示し、４通りのフィールド属性を記録することができる。
【００５７】
この連写された画像データを上記第１、または、第２実施例の装置にて構成されている静止画像再生装置にて連続再生する場合、これら一連の画像データのファイルヘッダを制御手段であるＣＰＵにて解読し、連続撮影記録枚数、および、連続する画像データの４通りのフィールド属性をフィールド発生パターン情報を用いて判別することにより、再生される画像データによってＦＩＤフラグをメモリコントロール部に信号を出力することができ、容易に上記画像データのフィールド属性情報が得られ、走査ラインのずれの生じない疑似フレーム画像データを生成することができる。
【００５８】
また、本実施例のカメラでは、画像データの１つ１つにファイルヘッダを付加する必要がなくなり、これにより従来の連続画像データよりも記録容量が減少することになる。また同時に、画像データを再生する度に、再生される画像ファイルヘッダからフィールド属性を記録した画像パラメータタプルをＣＰＵにて解読する必要がなくなり、処理速度が速くなる。
【００５９】
【発明の効果】
本発明の請求項１記載の画像処理装置によれば、フィールド属性を判別して記録されたフィールド画像データを該フィールド属性に応じて画像メモリのそれぞれの対応したライン位置に書き込むことにより、擬似フレーム化する際にフィールド画像データに対して特にタイミング等を考慮せずにそのまま読み出して補間処理を行って奇数、偶数ラインの違いによる１ライン分のずれをなくした再生を行うことができる。
【００６０】
本発明の請求項２記載の画像処理装置によれば、フレームメモリにフィールド画像データをフィールド属性情報を参照して書き込み、書き込まれた画像データ間の補間ラインを補間処理により算出し、同メモリの対応するライン位置に書き込むことで、フィールド属性の違いにより生じる１ライン分のずれをなくした疑似フレーム画像データが、特に読み出しタイミング等を考慮せずに簡単に得られる。
【００６１】
以上説明したように本発明によれば、特に連写やムービー撮影を行うときに画像データ容量や記録速度の点で顕著な効果を有しており、連写等の場合、撮影画像データ枚数であるｍ枚／秒（ｍは１以上の整数）が多くなるが、従来の画像処理装置では画像データ１枚１枚にファイルヘッダーが設けられ、画像データファイルの容量が大きくなってしまい、しかも、画像データファイルを記録媒体に書き込む際に、画像データとは別にファイルヘッダーの書き込みを行う必要があって、記録処理速度を高速化する上で障害となっていた。しかし、本発明の画像処理装置によると、連写撮影時の一連の撮影記録画像に共通のフィールド属性情報を先頭の画像フィールドにのみ持たせ、このフィールド属性情報を再生時に利用し、処理速度の高速化と連続画像データファイルに付加される情報量の削減が実現できる。
【図面の簡単な説明】
【図１】本発明の第１実施例の画像処理装置である静止画像再生装置のブロック構成図。
【図２】図１の静止画像再生装置におけるフィールド画像データの補間処理動作のフローチャート。
【図３】図１の静止画像再生装置にて記録された画像データが奇数フィールドの場合の再生画像の走査線を示す図。
【図４】図１の静止画像再生装置にて記録された画像データが偶数フィールドの場合の再生画像の走査線を示す図。
【図５】本発明の第２実施例の画像処理装置である静止画像再生装置のブロック構成図。
【図６】図５の静止画像再生装置における画像データのファイル構成を示す図。
【図７】図５の静止画像再生装置における画像データのうち、ファイルヘッダ中の画像パラメータタプルの構成を示す図。
【図８】図５の静止画像再生装置における画像データの画像パラメータタプルのうち、フィールド属性を示す部分。
【図９】図５の静止画像再生装置における画像データの走査ライン上のデータを格納するメモリアドレスを示す図。
【図１０】図５の静止画像再生装置における補間処理装置の構成を示す図。
【図１１】本発明の第３実施例の画像処理装置である電子スチルカメラのブロック構成図。
【図１２】図１１の電子スチルカメラにおける連写撮影時の単位時間当たりの撮影コマ数に対する奇数フィールド、偶数フィールドの撮影画像データの記録順を示す図。
【図１３】図１１の電子スチルカメラにおける画像データのうち、ファイルヘッダ中の画像パラメータタプルの構成を示す図
【図１４】図１１の電子スチルカメラにおける画像パラメータタプルのファイル属性の設定コードを示す図。
【図１５】従来の一般的な画像処理装置の１つである静止画像再生装置における補間後再生する処理のフローチャート
【図１６】従来の画像処理装置の代表的な静止画像再生装置のブロック構成図。
【図１７】図１６の従来の静止画像再生装置における補間処理のフローチャート。
【図１８】図１６の従来の静止画像再生装置における奇数フィールド、および、偶数フィールドを各々フレーム画像信号として出力し、モニタ表示される走査線を示す図。
【図１９】図１６の従来の静止画像再生装置における奇数フィールドの画像データから補間処理を行って再生した場合の走査線を示した図。
【図２０】図１６の従来の静止画像再生装置における偶数フィールドの画像データから補間処理を行って再生した場合の走査線を示した図。
【符号の説明】
２，１５……フレームメモリ（画像メモリ）
３，１７……メモリコントロール部（メモリコントロール手段，ライン位置設定変更手段）
４，１６……補間処理装置（補間手段）
８，１１……ＣＰＵ（再生手段）
３１ ……ＣＣＤ（固体撮像素子）
３７ ……ＤＣＴ変換部（記録手段）
３８ ……圧縮部（記録手段）
４０ ……ＣＰＵ（制御手段）
４２ ……撮影トリガボタン（撮影トリガ操作部材）
Claims (2)
- 光学像に対応した電荷をフィールド単位で読み出して出力する固体撮像素子と、
該固体撮像素子から出力されたフィールド画像信号を記録に適する形態に処理して適用された記録媒体に記録を行う記録手段と、
撮影開始を指示する撮影トリガ操作部材と、
該撮影トリガ操作部材が操作されている限り、上記記録手段による記録媒体への画像記録を所定の速度にて連続的に行うように制御する制御手段と、
を備えた画像処理装置であって、
上記制御手段は、上記記録手段による記録媒体へのフィールド画像の連続記録にあたり、これら連続記録画像の一つの共通の属性情報として、一連の連続撮影記録枚数情報、および、連続撮影記録速度の中から設定された１秒間の撮影コマ数と上記撮影トリガ操作部材による撮影開始のタイミングとに基づき決定される最初に記録されるフィールド画像が奇数フィールドまたは偶数フィールドであることを示す情報を記したビットおよび後続のフィールド画像が、偶数フィールドと奇数フィールドとが交互に変わるものであるか、もしくは最初に記録されたフィールド画像と同じフィールドのままであるかを示すビットで構成されたフィールド発生パターン情報を含むフィールド属性情報を記録するように制御する手段を含むことを特徴とする画像処理装置。 - 上記固体撮像素子から出力されるフィールド画像信号が１秒間に６０フィールド、上記記録手段による記録媒体へのフィールド画像の連続記録におけるインターバルをｎ／６０秒とした場合、上記１秒間の撮影コマ数ｍは、６０／ｎ＝ｍ枚／秒（ｎ，ｍは、１以上の整数とする）で規定されることを特徴とする請求項１に記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14083995A JP3746540B2 (ja) | 1995-06-07 | 1995-06-07 | 画像処理装置 |
| US08/658,406 US5751886A (en) | 1995-06-07 | 1996-06-05 | Video image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14083995A JP3746540B2 (ja) | 1995-06-07 | 1995-06-07 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08336113A JPH08336113A (ja) | 1996-12-17 |
| JP3746540B2 true JP3746540B2 (ja) | 2006-02-15 |
Family
ID=15277922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14083995A Expired - Fee Related JP3746540B2 (ja) | 1995-06-07 | 1995-06-07 | 画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5751886A (ja) |
| JP (1) | JP3746540B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09326193A (ja) * | 1996-06-04 | 1997-12-16 | Citizen Watch Co Ltd | Ｉｃメモリカード |
| US20040161039A1 (en) * | 2003-02-14 | 2004-08-19 | Patrik Grundstrom | Methods, systems and computer program products for encoding video data including conversion from a first to a second format |
| KR100771299B1 (ko) * | 2003-06-26 | 2007-10-29 | 삼성전기주식회사 | 색 보간용 라인 버퍼 및 라인 데이터 제공 방법 |
| US20050094003A1 (en) * | 2003-11-05 | 2005-05-05 | Per Thorell | Methods of processing digital image and/or video data including luminance filtering based on chrominance data and related systems and computer program products |
| WO2007056373A2 (en) * | 2005-11-04 | 2007-05-18 | Eyetracking, Inc. | Characterizing dynamic regions of digital media data |
| JP5502706B2 (ja) | 2010-11-18 | 2014-05-28 | ルネサスエレクトロニクス株式会社 | 映像処理装置及び映像処理方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5086345A (en) * | 1988-04-07 | 1992-02-04 | Fuji Photo Film Co., Ltd. | Method of operation in a still video camera system for transferring track information from a playback device to the still video camera |
| JP3240132B2 (ja) * | 1990-08-31 | 2001-12-17 | キヤノン株式会社 | 画像信号処理装置 |
-
1995
- 1995-06-07 JP JP14083995A patent/JP3746540B2/ja not_active Expired - Fee Related
-
1996
- 1996-06-05 US US08/658,406 patent/US5751886A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5751886A (en) | 1998-05-12 |
| JPH08336113A (ja) | 1996-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3097014B2 (ja) | 電子スチルカメラ | |
| JP4958758B2 (ja) | 記録装置、再生装置、記録方法、再生方法及びプログラム | |
| JP3746540B2 (ja) | 画像処理装置 | |
| JP3604732B2 (ja) | 映像システム | |
| EP1182869B1 (en) | Image-signal processing apparatus and method | |
| JP2000069418A (ja) | 画素数変換装置およびディジタルカメラ装置 | |
| JP4387264B2 (ja) | 撮像装置およびその画像生成方法 | |
| JP3276675B2 (ja) | 映像記録装置 | |
| JP3606634B2 (ja) | 画像データ記録装置およびディジタル画像データの記録方法ならびにディジタル画像データの再生装置および方法 | |
| JP2003018532A (ja) | 撮像装置 | |
| JP3601330B2 (ja) | 映像信号再生装置 | |
| US6680747B1 (en) | Image processing apparatus and image processing method | |
| US20080279527A1 (en) | Method of high speed video playback and video playback apparatus using the same | |
| JP3647102B2 (ja) | 撮像装置 | |
| US6778758B1 (en) | Image processing apparatus | |
| JP3204708B2 (ja) | 映像記録再生装置 | |
| JP2841098B2 (ja) | 画像処理方法 | |
| JP3365613B2 (ja) | デジタル信号再生装置 | |
| JP3445869B2 (ja) | ディジタル・ビデオ・テープ・レコーダおよびディジタル画像データの記録方法 | |
| JP3886068B2 (ja) | ディジタル撮像記録装置 | |
| JP3706408B2 (ja) | ディジタル画像データの記録装置および方法 | |
| JP3189854B2 (ja) | 映像信号出力装置 | |
| JP4072222B2 (ja) | 記録再生装置 | |
| JPH09130728A (ja) | 撮像装置 | |
| JP2003284007A (ja) | 映像撮像装置、映像変換装置及び映像編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051124 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081202 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |