JP3700196B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3700196B2 JP3700196B2 JP5921695A JP5921695A JP3700196B2 JP 3700196 B2 JP3700196 B2 JP 3700196B2 JP 5921695 A JP5921695 A JP 5921695A JP 5921695 A JP5921695 A JP 5921695A JP 3700196 B2 JP3700196 B2 JP 3700196B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- field
- frame
- video signal
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B15/00—Driving, starting or stopping record carriers of filamentary or web form; Driving both such record carriers and heads; Guiding such record carriers or containers therefor; Control thereof; Control of operating function
- G11B15/02—Control of operating function, e.g. switching from recording to reproducing
- G11B15/05—Control of operating function, e.g. switching from recording to reproducing by sensing features present on or derived from record carrier or container
- G11B15/087—Control of operating function, e.g. switching from recording to reproducing by sensing features present on or derived from record carrier or container by sensing recorded signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B15/00—Driving, starting or stopping record carriers of filamentary or web form; Driving both such record carriers and heads; Guiding such record carriers or containers therefor; Control thereof; Control of operating function
- G11B15/02—Control of operating function, e.g. switching from recording to reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B15/00—Driving, starting or stopping record carriers of filamentary or web form; Driving both such record carriers and heads; Guiding such record carriers or containers therefor; Control thereof; Control of operating function
- G11B15/18—Driving; Starting; Stopping; Arrangements for control or regulation thereof
- G11B15/1808—Driving of both record carrier and head
- G11B15/1875—Driving of both record carrier and head adaptations for special effects or editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/90—Tape-like record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
- H04N5/067—Arrangements or circuits at the transmitter end
- H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
- H04N5/9264—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、例えば、画像処理装置に関する。詳しくは、直流映像信号成分および交流映像信号成分の比率に基づいて画像の動き量を検出することによって、画像の挿入・抜去のフィールド処理とフレーム処理を切り替えるようにしたものである。
【０００２】
【従来の技術】
従来、テープ上に記録された映像信号を通常再生におけるテープ走行速度に対して、プラスマイナス十数パーセントの範囲でテープ走行速度を変化させて、全体的な再生速度を変化させるプログラムプレイにＶＴＲを用いる場合において、映像信号が記録されたテープを再生ヘッドにより再生して、再生された映像信号に対して画像の挿入および抜去を行う画像処理技術があった。この画像処理技術における画像の挿入および抜去は、例えば、ＰＡＬ方式の映像信号をＮＴＳＣ方式に変換する場合等に用いる、いわゆるフレームシンクロナイザによって行われる。
【０００３】
この従来の画像処理技術を用いる画像処理装置においては、フレームシンクロナイザはメモリ及びメモリコントローラで構成され、メモリのライトデータおよびリードデータを変更することにより画像の挿入および抜去を行っていた。ここで、画像の挿入および抜去はフィールド単位でのみ行われていた。
【０００４】
また、画像の挿入および抜去をフィールド単位でのみ行う理由は、画像の挿入および抜去をフレーム単位で行うと、画像に動きがあるときは、フレーム単位の粗い処理となり、視聴者に画像上の動きがなめらかでなくなり、その結果画像の動きが不自然に見えてしまうからである。従って、画像の挿入および抜去の度に奇数フィールドと偶数フィールドの連続性が保たれなかった。
【０００５】
このように、奇数フィールドが連続したり、偶数フィールドが連続して、奇数フィールドと偶数フィールドの連続性が保たれないため、再生画像の画面が上下にシフトするというフリッカ現象が起きることがあった。
【０００６】
このような画面のシフトを無くすために、テレビジョン信号における時間軸方向の相関を利用した”Ｙ／Ｃ Ａｄｄ”という手法を用いることがあった。しかし、このような手法を用いた場合には、解像度が著しく劣化してしまうことがあった。特に、画面上で斜め方向に延びる線において、この解像度の劣化が著しく発生する。
【０００７】
【発明が解決しようとする課題】
このように、従来の画像処理装置においては、画像の挿入および抜去はフィールド単位で行われていたので、画像の挿入および抜去の度に奇数フィールドと偶数フィールドの連続性が保たれず、再生画像の質が著しく劣化するという不都合があった。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、画像の動きの不自然さと画像劣化を最小限に抑えて画像の挿入および抜去を行う画像処理装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、映像信号を離散コサイン変換して直流成分と交流成分を生成する離散コサイン変換手段と、離散コサイン変換手段によって生成された上記直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、映像信号の第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と上記一致検出レベルとを比較して、この比較結果に基づいて、映像信号中の画像に動きがあることを示す動画であるかまたは映像信号中の画像に動きのない静止画であるかを検出する動き検出手段と、動き検出手段によって動画を示すと検出された場合には、画像信号に対してフィールド単位で画像の挿入または抜去を行い、動き検出手段によって静止画を示すと検出された場合には、画像信号に対してフレーム単位で画像の挿入または抜去を行う画像挿入抜去手段と、を有するものである。
また、本発明の画像処理方法は、映像信号を離散コサイン変換して直流成分と交流成分を生成する離散コサイン変換工程と、離散コサイン変換工程によって生成された直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、映像信号の第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と一致検出レベルとを比較して、この比較結果に基づいて、映像信号中の画像に動きがあることを示す動画であるかまたは映像信号中の画像に動きのない静止画であるかを検出する動き検出工程と、動き検出工程において動画を示すと検出された場合には、画像信号に対してフィールド単位で画像の挿入または抜去を行い、動き検出工程において静止画を示すと検出された場合には、画像信号に対してフレーム単位で画像の挿入または抜去を行う画像挿入抜去工程と、を有するものである。
【００１０】
【作用】
本発明によれば、離散コサイン変換手段は画像データを離散コサイン変換して直流成分と交流成分を生成するように作用し、これに加えて、動き検出手段は直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、画像データの第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と一致検出レベルとを比較して、この差分が一致検出レベルよりも大きいか小さいかの比較結果に基づいて、画像データが動画を示すのか静止画を示すのかを検出するように作用し、画像挿入抜去手段は動き検出手段の検出結果に基づいて、フィールド単位またはフレーム単位で、画像データに対し、画像の挿入または抜去を行うように作用する。
【００１１】
【実施例】
図１は、本発明による画像処理装置の一実施例の構成を示すブロック図である。この例では、ディジタルビデオ信号再生装置でプログラムプレイを行った場合を示す。プログラムプレイとは、既に述べたように、テープ上に記録された映像信号または音声信号を通常再生におけるテープ走行速度に対して、例えばプラスマイナス十数パーセントの範囲でテープ走行速度を変化させて、全体的な再生速度を変化させる再生のことである。
【００１２】
図１において、テープ１に記録されている映像信号データは、再生ヘッド２により再生され、ヘッドアンプ３により所定増幅率で増幅され、ロータリトランス４に供給される。
【００１３】
ロータリトランス４に供給されたデータは、等化器５により、ノイズ成分の除去および符号間干渉の除去の処理が行われる。等化器５で処理されたデータは、波形整形回路６およびクロック再生回路７に供給される。波形整形回路６により波形整形されたデータと、クロック再生回路７により再生されたクロックが用いられて、チャンネルコーディングデコーダ８において、「１」、「０」の判定が行われる。
【００１４】
このチャンネルデコーダ８においては、例えば、Ｍ2 （Ｍｉｌｌｅｒ ｓｑｕａｒｅｄ）コードが使用される。この場合の規則を以下に簡単に説明する。「１」はビットの中央での変化を表す。「０」はビットの境界での変化を表す。ただし、「１」のすぐ後の「０」については変化しないことを表す。
【００１５】
チャンネルデコーディングされた後のデータは、デシャフリング回路９でデシャフリングされ、エラーコレクション回路１０でリードソロモン積符号によりエラー訂正される。エラーコレクション回路１０でエラー訂正されたデータは、この後メモリ１１を介してＤ／Ａ変換器１２に供給され、このＤ／Ａ変換器１２によりアナログ信号に変換され、アナログ映像信号として端子１３を介して出力される。
【００１６】
ここで、通常再生時のテープ走行速度においては、メモリコントロール回路１７に供給されるＶＴＲのシステムリファレンス信号により、メモリ１１においてデータの書き込みおよび読み出しが行われ、これによって、この信号にロックしたクロックレートで各段における信号処理が行われるよう制御される。
【００１７】
これに対して、プログラムプレイ時のテープ走行速度において、プログラムプレイリファレンスジェネレータ１８から供給されるプログラムプレイリファレンス信号により、図示しないテープ走行系のドラムおよびキャプスタンの回転数が通常の回転数からプラスマイナス十数パーセントの範囲で変化される。
【００１８】
従って、上述した再生ヘッド２からエラーコレクション回路１０までのクロックレートおよびデータレートも通常再生時に対して変化する。しかしながら、端子１３から出力される映像信号のデータレートは、予め規格により規定されている。従って、再生映像信号を出力する前にクロックレートおよびデータレートを変更する必要性がある。
【００１９】
この際、データレートを変更するため、フィールド単位あるいはフレーム単位でデータの書き込みおよび読み出しのタイミングなどを変更することにより画像の挿入または抜去を行う、いわゆるフレームシンクロナイザとしての機能をメモリ１１及びメモリコントロール回路１７に持たせることが必要になる。ここで、フィールド単位及びフレーム単位でのデータの抜去について説明する。
【００２０】
いま、プログラムプレイにおけるテープ走行速度において、図示しないテープ走行系のドラムおよびキャプスタンの回転数が通常の回転数からプラス１０パーセントアップした場合を考える。この場合、１秒間にテープ１から再生される情報量は、ＰＡＬの場合は５５フィールド、ＮＴＳＣの場合は約６６フィールド分のデータとなるのに対し、実際に出力されるフィールド数はＰＡＬの場合で５０フィールド、ＮＴＳＣの場合で約６０フィールド分となる。
【００２１】
このフィールド単位のデータ抜去の動作を図２を用いて説明する。図２Ａは、メモリ１１に入力されるメモリライトデータ２０の流れを示し、各フィールドに番号をふってある。図２Ｂは、メモリ１１から出力されるメモリリードデータ２１を示し、各フィールドに番号をふってある。矢印はメモリライトデータ２０のどのフィールドがメモリリードデータ２１のどのフィールドに対応するのかを示している。例えば、メモリライトデータ２０のフィールド「２」はメモリリードデータ２１のフィールド「１’」としてメモリ１１から出力される。
【００２２】
ここでは１１フィールド毎に１フィールド分のデータを抜去する必要があるので、メモリライトデータ２０のフィールド「９」のデータを抜去すると、メモリリードデータ２１のフィールド「７’」およびフィールド「８’」の間で偶数フィールドと奇数フィールドの連続性が保持されず、画面上下方向のシフトや解像度劣化が発生する。
【００２３】
しかし、１１フィールド毎に１フィールド分のデータを抜去するということは、２２フィールド毎に２フィールド（＝１フレーム）分のデータを抜去するということと等価である。従って、抜去の単位を２２フィールド毎に２フィールド分とすれば、例えば奇数フィールド・偶数フィールド・奇数フィールド・偶数フィールド・・・から奇数フィールド・偶数フィールドと２フィールド分抜去したときに奇数フィールド・偶数フィールド・・・となり、連続性を保つことができる。
【００２４】
このフレーム単位のデータの抜去について図３を用いて説明する。図３Ａは、メモリ１１に入力されるメモリライトデータ３０の流れを示し、各フィールドに番号をふってある。図３Ｂは、メモリ１１から出力されるメモリリードデータ３１を示し、各フィールドに番号をふってある。矢印はメモリライトデータ３０のどのフィールドがメモリリードデータ３１のどのフィールドに対応するのかを示している。例えば、メモリライトデータ３０のフィールド「１」はメモリリードデータ３１のフィールド「１’」としてメモリ１１から出力される。
【００２５】
この図に示すようにメモリライトデータ３０のフィールド「１７」およびフィールド「１８」を抜去して、メモリリードデータ３１のフィールド「１６’」およびフィールド「１７’」との間でも偶数フィールドと奇数フィールドの連続性は保たれる。従って、画面上下方向のシフトや解像度劣化を生じることはない。
【００２６】
また、逆に、画像の挿入の場合は、図２に示したフィールド単位の処理では、メモリライトデータ２０のフィールド「９」のデータを挿入し、図３に示したフレーム単位の処理では、メモリライトデータ３０のフィールド「１７」およびフィールド「１８」をデータを挿入するようにすればよい。
このように、メモリ１１におけるデータの書き込み及び読み出しによる画像の抜去または挿入を、フィールド単位のみではなくフレーム単位でも行うことができるように、メモリコントロール回路１７に設けられたフレーム処理部４０およびフィールド処理部４１を制御することにより、画面上下方向のシフトや解像度劣化を防ぐことができる。
【００２７】
しかし、図３に示したようなフレーム単位での処理を行った場合には、メモリライトデータ３０のフィールド「１７」およびフィールド「１８」の連続した２フィールド分の画像情報、即ち、１フレーム分の画像情報が欠落するので、動き検出回路１６により映像信号の画像に動きがあった場合に、この画像情報の欠落が見えてしまい、視覚的に非常に不自然な映像となってしまう。
【００２８】
そこで、本実施例では、画像の動きの度合いに応じて、画像の挿入・抜去のフィールド処理とフレーム処理を切り換えるようにする。即ち、動きのある画像の場合には、フィールド処理を行って、画像の挿入・抜去による画像の動きの不自然さを目立たなくさせる。また、画像のシーンチェンジがあった場合、及び画像にほとんど動きがない静止画の場合には、フレーム処理を行っても画像の動きには不自然さは現れないので、フレーム処理を行い、偶数フィールドと奇数フィールドの連続性を保つようにする。
【００２９】
具体的には、図１において、エラーコレクション回路１０でエラー訂正され、ＤＣＴ１４で離散コサイン変換されて得られた直流成分データ（Ｄ．Ｃ）と交流成分データ（Ａ．Ｃ）１５をシーンチェンジ検出及び動き検出回路１６に供給し、このシーンチェンジ検出及び動き検出回路１６において、入力された直流成分データと交流成分データに基づいて、画像にシーンチェンジがあったかまたは動きがあるかまたは静止画であるかを検出し、この検出結果に応じた制御を行う。
【００３０】
メモリコントロール回路１７はシーンチェンジ検出及び動き検出回路１６から入力されたこの検出結果に基づき、画像の挿入・抜去のフレーム処理部４０とフィールド処理部４１とを切り換えて、メモリ１１を制御する。即ち、メモリコントロール回路１７は、入力された検出結果が画像に動きがあることを示している場合には、フィールド処理部４１を選択し、検出結果が画像のシーンチェンジまたは静止画であることを示している場合には、フレーム処理部４０を選択する。
【００３１】
シーンチェンジ検出及び動き検出回路１６の具体的な構成、及びシーチェンジ検出及び動き検出の動作について図４を用いて詳述する。
【００３２】
シーンチェンジ検出及び動き検出回路１６は、一致判定部５１、エネルギー比算出部５２、検出レベルα算出部５３、アキュムレータ５４及び動き判定部５５から成る。一致判定部５１には、ＤＣＴブロック１４から、画像信号のフィールドｉを構成する複数の各マクロブロックの直流成分と、このフィールドｉに１フレーム離れて連続するフィールドｊを構成する複数の各マクロブロックの直流成分とが供給される。一致判定部５１は、フィールドｉを構成する各マクロブロックの直流成分の上位８ビットとこれに対応するフィールドｊの各マクロブロックの直流成分の上位８ビットのそれぞれの差分を算出し、この差分の絶対値が検出レベルαよりも小さいか否か１フィールドを構成する全マクロブロックのそれぞれについて判定する。
【００３３】
そして、この一致検出部５１は、この差分の絶対値が検出レベルαよりも小さい場合には、そのフィールドｉのマクロブロックとフィールドｊの対応マクロブロックとが一致しているとみなし、一致信号をアキュムレータ５４に供給する。アキュムレータ５４は、一致判定部５１からの一致信号を１フィールドを構成するマクロブロック分積算し、積算値を動き判定部５５に供給する。動き判定部５５は、アキュムレータ５４からの積算値に基づいて、画像に動きがあるか、またはシーンチェンジかまたは静止画かを検出する。
【００３４】
ここで、動き判定部５５の動作を具体的に説明する。１フィールドを構成するマクロブロックの数は、ＮＴＳＣ方式の場合で１１５２０個、ＰＡＬ方式の場合で１３６８０個である。一致判定部５１で一致すると判断され、アキュムレータ５４で１フィールド分積算されたマクロブロックの数が、この１フィールド内のマクロブロックの総数の例えば９７．２％以上、即ち、ＮＴＳＣ方式の場合１１１９８個、ＰＡＬ方式の場合１３２９７個以上だった場合には、動き判定部５５は、その画像が静止画であると判断する。
【００３５】
また、アキュムレータ５４で積算されたマクロブロックの数が５０００個以下であった場合には、動き判定部５５は、シーンチェンジがあったと判断する。また、アキュムレータ５４で積算されたマクロブロックの数が、この間の数であった場合には、動き判定部５５は動画と判断する。そして、動き判定部５５は、動画と判断した場合はローレベルの信号を、静止画またはシーンチェンジと判断した場合にはハイレベルの信号を出力する。
【００３６】
また、一致判定部５１でマクロブロックの一致判定に用いられる検出レベルαは、検出レベルα算出部５３において、エネルギー比算出部５２で算出された直流成分と交流成分のエネルギー比率に基づいて算出される。
【００３７】
エネルギー比率算出部５２は、ＤＣＴブロック１４から供給された画像信号のフィールドｊの直流成分と交流成分とのエネルギー比率を求める。画像が比較的単純な絵柄の場合には、画像データの直流成分のエネルギー比率が比較的大きくなる。一方、画像が比較的複雑な絵柄の場合には、画像データの直流成分のエネルギー比率は比較的小さくなる。
【００３８】
従って、ＤＣＴブロック１４では直流成分のエネルギー比率が比較的大きい場合には、直流成分に割り当てるビット数を多くし、直流成分のエネルギーが比較的小さい場合には、直流成分に割り当てるビット数を少なくしている。本実施例では、ＤＣＴブロック１４で直流成分に割り当てるビット数を、直流成分の大きさに合わせて即ち画像の単純さに合わせて１０ビットから１４ビットの範囲で変化させている。従って、本実施例では、エネルギー比算出部５２は、ＤＣＴブロック１４から供給された画像の直流成分と交流成分とのエネルギー比率（直流成分値と交流成分値との比）を単純に求めても良いし、直流成分の割当ビット数を検出しても良い。
【００３９】
このエネルギー比算出部５２の検出結果に基づいて、検出レベルα算出部５３では検出レベルαを算出する。エネルギー比算出部５２で直流成分の割当ビット数を検出した場合について説明する。検出レベルα算出部５３は、直流成分の割当ビット数が１０ビットのとき検出レベルαの値を２とし、直流成分の割当ビット数が１１ビットのとき検出レベルαの値を３とし、直流成分の割当ビット数が１２ビットのとき検出レベルαの値を３とし、直流成分の割当ビット数が１３ビットのとき検出レベルαの値を４とし、直流成分の割当ビット数が１４ビットのとき検出レベルαの値を４と設定する。
【００４０】
つまり、マクロブロックの一致検出の基準を複雑な絵柄の画像に対しては厳しくし、単純な絵柄の画像に対しては緩やかにしている。これは、以下の理由による。通常、画像データの高域成分は視覚上認識されにくく、低域成分が重要視されるが、これとは逆に、動きがあったか否かの認識のしやすさでいえば、低域成分が多く高域成分が少ない画像、即ち単純な絵柄の画像の動きは気付かれにくく、また、低域成分が少なく高域成分が多い画像即ち複雑な絵柄の画像は気付きやすいからである。これは、単純な絵柄は大雑把に認識されやすく、複雑な絵柄は細部まで認識されるからである。この特性は、経験から得られたものであり、上記検出レベルαの値もやはり経験上求められた値である。
【００４１】
このように、直流成分と交流成分とのエネルギー比に基づいてマクロブロックの一致検出をする際の基準となる検出レベルを変化させることにより、単純な絵柄のような動きが目につきにくい画像の場合には、多少動きがあっても静止画と検出されるようにし、逆に、複雑な絵柄のような動きが目につきやすい画像の場合には、少しの動きでも動画と検出されるようにするので、視覚的に最も違和感のない動き検出を行うことができる。
【００４２】
また、上述した実施例では、画像信号の直流成分を得るために、エラーコレクション回路１０の出力を離散コサイン変換するＤＣＴブロック１４を設けたが、テープ１に記録されているデータが既に離散コサイン変換されていれば、このＤＣＴブロック１４は不要である。最近では、離散コサイン変換後可変長符号化して画像データを圧縮し、この圧縮されたデータを記録媒体に記録することが行われることもある。このような場合には、記録媒体に、離散コサイン変換時の直流成分の割当ビット数を示すデータが記録されるので、エネルギー比算出部５２は、この直流成分の割当ビット数を示すデータを検出すれば良い。ただし、このように、既に離散コサイン変換されたデータがテープ１に記録されている場合には、メモリ１１の出力を逆離散コサイン変換する回路が必要となることはいうまでもない。
【００４３】
また、上述した実施例では、シーンチェンジ及び動き検出回路１６にけおる動き検出はフィールド単位で行うようにしたが、動き検出はフレーム単位で行っても良い。
【００４４】
ところで、端子１３から出力される画像の使用目的やオペレータの好み等によって、画像の動きの度合いにかかわらず、偶数フィールドと奇数フィールドの連続性を非常に重視する場合があり、また逆に画像の動きの滑らかさを非常に重視する場合がある。そこで、本実施例では、画像の動きの度合いにかかわらず、画像の挿入・抜去のフィールド処理またはフレーム処理のいずれか一方に固定するモード、いわゆるスタティックコントロールモードを設けている。また、上述した、画像の動きを検出し、この検出結果に基づいて、フィールド処理とフレーム処理を適応的に切り換えるモード、いわゆるダイナミックコントロールモードを設ける。また、このダイナミックコントロールモードとスタティックコントロールモードを操作者が切り換えられるようにする。
【００４５】
このダイナミックコントロールモードとスタティックコントロールモードの切り換え動作について図５を用いて説明する。
【００４６】
図５において、メモリコントロール回路１７にフレーム処理部４０、フィールド処理部４１、スイッチ４２、スイッチ４３を設ける。ここで、オペレーターが画像処理装置の図示しないコントロールパネルに設けられたボタンを押すことにより、モードコントロール信号としてハイレベルまたはローレベルの信号がスイッチ４３に供給される。モードコントロール信号がハイレベルだった場合ダイナミックコントロールモードに、またローレベルだった場合スタティックコントロールモードにスイッチ４３により切り替えられる。
【００４７】
スイッチ４３の上段に示される端子には、オペレーターが画像処理装置の図示しないコントロールパネルに設けられたボタンを押すことにより、ハイレベルまたはローレベルの信号が供給される。この信号はフレーム処理またはフィールド処理のうちいずれか一方の信号処理を固定的にメモリコントロール回路１７に行わせるスタティックコントロール信号である。このスタティックコントロール信号がハイレベル”Ｈ”の場合はフレーム処理、ローレベル”Ｌ”の場合はフィールド処理となる。
【００４８】
スイッチ４３の下段に示される端子には、シーンチェンジ検出及び動き検出回路１６からハイレベルまたはローレベルの信号が供給される。この信号はフレーム処理またはフィールド処理により変化のある信号処理をメモリコントロール回路１７に行わせるダイナミックコントロール信号である。このダイナミックコントロール信号がローレベル”Ｌ”の場合はフィールド処理、ハイレベル”Ｈ”の場合はフレーム処理となる。
【００４９】
まず第１に、オペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押されることにより、スイッチ４３においてダイナミックコントロールモードが選択されている場合において、シーンチェンジ検出及び動き検出回路１６からローレベル”Ｌ”のダイナミックコントロール信号が供給された場合には、スイッチ４２においてフィールド処理部４１が選択される。
【００５０】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフィールド処理するように制御する。
【００５１】
第２に、ダイナミックコントロールモードが選択されている場合において、シーンチェンジ検出及び動き検出回路１６からハイレベルのダイナミックコントロール信号が供給された場合には、スイッチ４２においてフレーム処理部４０が選択される。
【００５２】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフレーム処理するように制御する。
【００５３】
第３に、オペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押されることにより、スイッチ４３においてスタティックコントロールモードが選択されている場合において、さらにオペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押され、これによってフィールド処理を示すローレベルのスタティックコントロール信号がスイッチ４２に供給されているときは、スイッチ４２においてフィールド処理部４１が選択される。
【００５４】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフィールド処理するように制御する。ここで、ローレベルのスタティックコントロール信号は、フィールド処理により信号処理をメモリコントロール回路１７に行わせる信号である。
【００５５】
第４に、オペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押され、スイッチ４３においてスタティックコントロールが選択されている場合において、さらにオペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押され、フレーム処理を示すハイレベル”Ｈ”のスタティックコントロール信号がスイッチ４２に供給されているときは、スイッチ４２においてフレーム処理部４０が選択される。
【００５６】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフレーム処理するように制御する。ここで、ハイレベルのスタティックコントロール信号は、フレーム処理により信号処理をメモリコントロール回路１７に行わせるための信号である。
【００５７】
上例によれば、画像挿入抜去制御手段としてのメモリコントロール回路１７は上記画像の挿入または抜去をフィールド単位またはフレーム単位のどちらか一方に固定して行う固定モードに切り換える切換え手段４８を有するので、偶数フィールドと奇数フィールドの連続性を非常に重視する場合には、画像の動きの度合いにかかわらず、固定的にフィールド処理を行うことができ、また、画像の動きの滑らかさを非常に重視する場合には、画像の動きにかかわらず固定的にフレーム処理を行うことができ、画像の使用目的やオペレータの好みに合わせることができる。
【００５８】
【発明の効果】
本発明によれば、動き検出手段は、離散コサイン変換手段によって生成された直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、画像データの第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と一致検出レベルとを比較して画像データが動画を示すのか静止画を示すのかを検出し、画像挿入抜去手段は、動き検出手段で画像データが動画を示すと検出された場合には、フィールド単位で画像の挿入または抜去を行い、画像データが静止画を示すと検出された場合には、フレーム単位で画像の挿入または抜去を行うようにしたので、動きが目につきやすい画像の場合には少しの動きがあれば動画と判断されてフィールド処理が行われ画像の挿入・抜去による画像の動きの不自然さを目立たなくすることができ、また、動きが目につきにくい画像の場合には多少の動きがあっても静止画と判断されてフレーム処理が行われ、偶数フィールドと奇数フィールドの連続性をできるだけ保つことができるので、画像の動きの度合いに応じた、画像の挿入・抜去のフィールド処理とフレーム処理との切り換えの最適化を図ることができ、これにより再生画像の質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施例の構成を示すブロック図である。
【図２】本発明の画像処理装置の一実施例のフィールド単位の動作を示す図である。
【図３】本発明の画像処理装置の一実施例のフレーム単位の動作を示す図である。
【図４】本発明の画像処理装置の一実施例の構成を示すブロック図である。
【図５】本発明の画像処理装置の一実施例のメモリコントロール回路の詳細なブロック図である。
【符号の説明】
１ テープ
２ 再生ヘッド
３ ヘッドアンプ
４ ロータリトランス
５ 等化器
６ 波形整形回路
７ クロック再生回路
８ チャンネルコーディングデコーダ
９ デシャフリング回路
１０ エラーコレクション回路
１１ メモリ
１２ Ｄ／Ａ変換器
１３ 端子
１４ ＤＣＴ
１５ 直流成分データ（Ｄ．Ｃ）および交流成分データ（Ａ．Ｃ）
１６ シーンチェンジ検出及び動き検出回路
１７ メモリコントロール回路
１８ プログラムプレイリファレンスジェネレータ
２０ メモリライトデータ
２１ メモリリードデータ
３０ メモリライトデータ
３１ メモリリードデータ
４０ フレーム処理回路
４１ フィールド処理回路
４２ スイッチ
４３ スイッチ
５１ 一致判定部
５２ エネルギー比算出部
５３ 検出レベルα算出部
５４ アキュムレーター
５５ 動き判定部
【産業上の利用分野】
本発明は、例えば、画像処理装置に関する。詳しくは、直流映像信号成分および交流映像信号成分の比率に基づいて画像の動き量を検出することによって、画像の挿入・抜去のフィールド処理とフレーム処理を切り替えるようにしたものである。
【０００２】
【従来の技術】
従来、テープ上に記録された映像信号を通常再生におけるテープ走行速度に対して、プラスマイナス十数パーセントの範囲でテープ走行速度を変化させて、全体的な再生速度を変化させるプログラムプレイにＶＴＲを用いる場合において、映像信号が記録されたテープを再生ヘッドにより再生して、再生された映像信号に対して画像の挿入および抜去を行う画像処理技術があった。この画像処理技術における画像の挿入および抜去は、例えば、ＰＡＬ方式の映像信号をＮＴＳＣ方式に変換する場合等に用いる、いわゆるフレームシンクロナイザによって行われる。
【０００３】
この従来の画像処理技術を用いる画像処理装置においては、フレームシンクロナイザはメモリ及びメモリコントローラで構成され、メモリのライトデータおよびリードデータを変更することにより画像の挿入および抜去を行っていた。ここで、画像の挿入および抜去はフィールド単位でのみ行われていた。
【０００４】
また、画像の挿入および抜去をフィールド単位でのみ行う理由は、画像の挿入および抜去をフレーム単位で行うと、画像に動きがあるときは、フレーム単位の粗い処理となり、視聴者に画像上の動きがなめらかでなくなり、その結果画像の動きが不自然に見えてしまうからである。従って、画像の挿入および抜去の度に奇数フィールドと偶数フィールドの連続性が保たれなかった。
【０００５】
このように、奇数フィールドが連続したり、偶数フィールドが連続して、奇数フィールドと偶数フィールドの連続性が保たれないため、再生画像の画面が上下にシフトするというフリッカ現象が起きることがあった。
【０００６】
このような画面のシフトを無くすために、テレビジョン信号における時間軸方向の相関を利用した”Ｙ／Ｃ Ａｄｄ”という手法を用いることがあった。しかし、このような手法を用いた場合には、解像度が著しく劣化してしまうことがあった。特に、画面上で斜め方向に延びる線において、この解像度の劣化が著しく発生する。
【０００７】
【発明が解決しようとする課題】
このように、従来の画像処理装置においては、画像の挿入および抜去はフィールド単位で行われていたので、画像の挿入および抜去の度に奇数フィールドと偶数フィールドの連続性が保たれず、再生画像の質が著しく劣化するという不都合があった。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、画像の動きの不自然さと画像劣化を最小限に抑えて画像の挿入および抜去を行う画像処理装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、映像信号を離散コサイン変換して直流成分と交流成分を生成する離散コサイン変換手段と、離散コサイン変換手段によって生成された上記直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、映像信号の第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と上記一致検出レベルとを比較して、この比較結果に基づいて、映像信号中の画像に動きがあることを示す動画であるかまたは映像信号中の画像に動きのない静止画であるかを検出する動き検出手段と、動き検出手段によって動画を示すと検出された場合には、画像信号に対してフィールド単位で画像の挿入または抜去を行い、動き検出手段によって静止画を示すと検出された場合には、画像信号に対してフレーム単位で画像の挿入または抜去を行う画像挿入抜去手段と、を有するものである。
また、本発明の画像処理方法は、映像信号を離散コサイン変換して直流成分と交流成分を生成する離散コサイン変換工程と、離散コサイン変換工程によって生成された直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、映像信号の第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と一致検出レベルとを比較して、この比較結果に基づいて、映像信号中の画像に動きがあることを示す動画であるかまたは映像信号中の画像に動きのない静止画であるかを検出する動き検出工程と、動き検出工程において動画を示すと検出された場合には、画像信号に対してフィールド単位で画像の挿入または抜去を行い、動き検出工程において静止画を示すと検出された場合には、画像信号に対してフレーム単位で画像の挿入または抜去を行う画像挿入抜去工程と、を有するものである。
【００１０】
【作用】
本発明によれば、離散コサイン変換手段は画像データを離散コサイン変換して直流成分と交流成分を生成するように作用し、これに加えて、動き検出手段は直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、画像データの第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と一致検出レベルとを比較して、この差分が一致検出レベルよりも大きいか小さいかの比較結果に基づいて、画像データが動画を示すのか静止画を示すのかを検出するように作用し、画像挿入抜去手段は動き検出手段の検出結果に基づいて、フィールド単位またはフレーム単位で、画像データに対し、画像の挿入または抜去を行うように作用する。
【００１１】
【実施例】
図１は、本発明による画像処理装置の一実施例の構成を示すブロック図である。この例では、ディジタルビデオ信号再生装置でプログラムプレイを行った場合を示す。プログラムプレイとは、既に述べたように、テープ上に記録された映像信号または音声信号を通常再生におけるテープ走行速度に対して、例えばプラスマイナス十数パーセントの範囲でテープ走行速度を変化させて、全体的な再生速度を変化させる再生のことである。
【００１２】
図１において、テープ１に記録されている映像信号データは、再生ヘッド２により再生され、ヘッドアンプ３により所定増幅率で増幅され、ロータリトランス４に供給される。
【００１３】
ロータリトランス４に供給されたデータは、等化器５により、ノイズ成分の除去および符号間干渉の除去の処理が行われる。等化器５で処理されたデータは、波形整形回路６およびクロック再生回路７に供給される。波形整形回路６により波形整形されたデータと、クロック再生回路７により再生されたクロックが用いられて、チャンネルコーディングデコーダ８において、「１」、「０」の判定が行われる。
【００１４】
このチャンネルデコーダ８においては、例えば、Ｍ2 （Ｍｉｌｌｅｒ ｓｑｕａｒｅｄ）コードが使用される。この場合の規則を以下に簡単に説明する。「１」はビットの中央での変化を表す。「０」はビットの境界での変化を表す。ただし、「１」のすぐ後の「０」については変化しないことを表す。
【００１５】
チャンネルデコーディングされた後のデータは、デシャフリング回路９でデシャフリングされ、エラーコレクション回路１０でリードソロモン積符号によりエラー訂正される。エラーコレクション回路１０でエラー訂正されたデータは、この後メモリ１１を介してＤ／Ａ変換器１２に供給され、このＤ／Ａ変換器１２によりアナログ信号に変換され、アナログ映像信号として端子１３を介して出力される。
【００１６】
ここで、通常再生時のテープ走行速度においては、メモリコントロール回路１７に供給されるＶＴＲのシステムリファレンス信号により、メモリ１１においてデータの書き込みおよび読み出しが行われ、これによって、この信号にロックしたクロックレートで各段における信号処理が行われるよう制御される。
【００１７】
これに対して、プログラムプレイ時のテープ走行速度において、プログラムプレイリファレンスジェネレータ１８から供給されるプログラムプレイリファレンス信号により、図示しないテープ走行系のドラムおよびキャプスタンの回転数が通常の回転数からプラスマイナス十数パーセントの範囲で変化される。
【００１８】
従って、上述した再生ヘッド２からエラーコレクション回路１０までのクロックレートおよびデータレートも通常再生時に対して変化する。しかしながら、端子１３から出力される映像信号のデータレートは、予め規格により規定されている。従って、再生映像信号を出力する前にクロックレートおよびデータレートを変更する必要性がある。
【００１９】
この際、データレートを変更するため、フィールド単位あるいはフレーム単位でデータの書き込みおよび読み出しのタイミングなどを変更することにより画像の挿入または抜去を行う、いわゆるフレームシンクロナイザとしての機能をメモリ１１及びメモリコントロール回路１７に持たせることが必要になる。ここで、フィールド単位及びフレーム単位でのデータの抜去について説明する。
【００２０】
いま、プログラムプレイにおけるテープ走行速度において、図示しないテープ走行系のドラムおよびキャプスタンの回転数が通常の回転数からプラス１０パーセントアップした場合を考える。この場合、１秒間にテープ１から再生される情報量は、ＰＡＬの場合は５５フィールド、ＮＴＳＣの場合は約６６フィールド分のデータとなるのに対し、実際に出力されるフィールド数はＰＡＬの場合で５０フィールド、ＮＴＳＣの場合で約６０フィールド分となる。
【００２１】
このフィールド単位のデータ抜去の動作を図２を用いて説明する。図２Ａは、メモリ１１に入力されるメモリライトデータ２０の流れを示し、各フィールドに番号をふってある。図２Ｂは、メモリ１１から出力されるメモリリードデータ２１を示し、各フィールドに番号をふってある。矢印はメモリライトデータ２０のどのフィールドがメモリリードデータ２１のどのフィールドに対応するのかを示している。例えば、メモリライトデータ２０のフィールド「２」はメモリリードデータ２１のフィールド「１’」としてメモリ１１から出力される。
【００２２】
ここでは１１フィールド毎に１フィールド分のデータを抜去する必要があるので、メモリライトデータ２０のフィールド「９」のデータを抜去すると、メモリリードデータ２１のフィールド「７’」およびフィールド「８’」の間で偶数フィールドと奇数フィールドの連続性が保持されず、画面上下方向のシフトや解像度劣化が発生する。
【００２３】
しかし、１１フィールド毎に１フィールド分のデータを抜去するということは、２２フィールド毎に２フィールド（＝１フレーム）分のデータを抜去するということと等価である。従って、抜去の単位を２２フィールド毎に２フィールド分とすれば、例えば奇数フィールド・偶数フィールド・奇数フィールド・偶数フィールド・・・から奇数フィールド・偶数フィールドと２フィールド分抜去したときに奇数フィールド・偶数フィールド・・・となり、連続性を保つことができる。
【００２４】
このフレーム単位のデータの抜去について図３を用いて説明する。図３Ａは、メモリ１１に入力されるメモリライトデータ３０の流れを示し、各フィールドに番号をふってある。図３Ｂは、メモリ１１から出力されるメモリリードデータ３１を示し、各フィールドに番号をふってある。矢印はメモリライトデータ３０のどのフィールドがメモリリードデータ３１のどのフィールドに対応するのかを示している。例えば、メモリライトデータ３０のフィールド「１」はメモリリードデータ３１のフィールド「１’」としてメモリ１１から出力される。
【００２５】
この図に示すようにメモリライトデータ３０のフィールド「１７」およびフィールド「１８」を抜去して、メモリリードデータ３１のフィールド「１６’」およびフィールド「１７’」との間でも偶数フィールドと奇数フィールドの連続性は保たれる。従って、画面上下方向のシフトや解像度劣化を生じることはない。
【００２６】
また、逆に、画像の挿入の場合は、図２に示したフィールド単位の処理では、メモリライトデータ２０のフィールド「９」のデータを挿入し、図３に示したフレーム単位の処理では、メモリライトデータ３０のフィールド「１７」およびフィールド「１８」をデータを挿入するようにすればよい。
このように、メモリ１１におけるデータの書き込み及び読み出しによる画像の抜去または挿入を、フィールド単位のみではなくフレーム単位でも行うことができるように、メモリコントロール回路１７に設けられたフレーム処理部４０およびフィールド処理部４１を制御することにより、画面上下方向のシフトや解像度劣化を防ぐことができる。
【００２７】
しかし、図３に示したようなフレーム単位での処理を行った場合には、メモリライトデータ３０のフィールド「１７」およびフィールド「１８」の連続した２フィールド分の画像情報、即ち、１フレーム分の画像情報が欠落するので、動き検出回路１６により映像信号の画像に動きがあった場合に、この画像情報の欠落が見えてしまい、視覚的に非常に不自然な映像となってしまう。
【００２８】
そこで、本実施例では、画像の動きの度合いに応じて、画像の挿入・抜去のフィールド処理とフレーム処理を切り換えるようにする。即ち、動きのある画像の場合には、フィールド処理を行って、画像の挿入・抜去による画像の動きの不自然さを目立たなくさせる。また、画像のシーンチェンジがあった場合、及び画像にほとんど動きがない静止画の場合には、フレーム処理を行っても画像の動きには不自然さは現れないので、フレーム処理を行い、偶数フィールドと奇数フィールドの連続性を保つようにする。
【００２９】
具体的には、図１において、エラーコレクション回路１０でエラー訂正され、ＤＣＴ１４で離散コサイン変換されて得られた直流成分データ（Ｄ．Ｃ）と交流成分データ（Ａ．Ｃ）１５をシーンチェンジ検出及び動き検出回路１６に供給し、このシーンチェンジ検出及び動き検出回路１６において、入力された直流成分データと交流成分データに基づいて、画像にシーンチェンジがあったかまたは動きがあるかまたは静止画であるかを検出し、この検出結果に応じた制御を行う。
【００３０】
メモリコントロール回路１７はシーンチェンジ検出及び動き検出回路１６から入力されたこの検出結果に基づき、画像の挿入・抜去のフレーム処理部４０とフィールド処理部４１とを切り換えて、メモリ１１を制御する。即ち、メモリコントロール回路１７は、入力された検出結果が画像に動きがあることを示している場合には、フィールド処理部４１を選択し、検出結果が画像のシーンチェンジまたは静止画であることを示している場合には、フレーム処理部４０を選択する。
【００３１】
シーンチェンジ検出及び動き検出回路１６の具体的な構成、及びシーチェンジ検出及び動き検出の動作について図４を用いて詳述する。
【００３２】
シーンチェンジ検出及び動き検出回路１６は、一致判定部５１、エネルギー比算出部５２、検出レベルα算出部５３、アキュムレータ５４及び動き判定部５５から成る。一致判定部５１には、ＤＣＴブロック１４から、画像信号のフィールドｉを構成する複数の各マクロブロックの直流成分と、このフィールドｉに１フレーム離れて連続するフィールドｊを構成する複数の各マクロブロックの直流成分とが供給される。一致判定部５１は、フィールドｉを構成する各マクロブロックの直流成分の上位８ビットとこれに対応するフィールドｊの各マクロブロックの直流成分の上位８ビットのそれぞれの差分を算出し、この差分の絶対値が検出レベルαよりも小さいか否か１フィールドを構成する全マクロブロックのそれぞれについて判定する。
【００３３】
そして、この一致検出部５１は、この差分の絶対値が検出レベルαよりも小さい場合には、そのフィールドｉのマクロブロックとフィールドｊの対応マクロブロックとが一致しているとみなし、一致信号をアキュムレータ５４に供給する。アキュムレータ５４は、一致判定部５１からの一致信号を１フィールドを構成するマクロブロック分積算し、積算値を動き判定部５５に供給する。動き判定部５５は、アキュムレータ５４からの積算値に基づいて、画像に動きがあるか、またはシーンチェンジかまたは静止画かを検出する。
【００３４】
ここで、動き判定部５５の動作を具体的に説明する。１フィールドを構成するマクロブロックの数は、ＮＴＳＣ方式の場合で１１５２０個、ＰＡＬ方式の場合で１３６８０個である。一致判定部５１で一致すると判断され、アキュムレータ５４で１フィールド分積算されたマクロブロックの数が、この１フィールド内のマクロブロックの総数の例えば９７．２％以上、即ち、ＮＴＳＣ方式の場合１１１９８個、ＰＡＬ方式の場合１３２９７個以上だった場合には、動き判定部５５は、その画像が静止画であると判断する。
【００３５】
また、アキュムレータ５４で積算されたマクロブロックの数が５０００個以下であった場合には、動き判定部５５は、シーンチェンジがあったと判断する。また、アキュムレータ５４で積算されたマクロブロックの数が、この間の数であった場合には、動き判定部５５は動画と判断する。そして、動き判定部５５は、動画と判断した場合はローレベルの信号を、静止画またはシーンチェンジと判断した場合にはハイレベルの信号を出力する。
【００３６】
また、一致判定部５１でマクロブロックの一致判定に用いられる検出レベルαは、検出レベルα算出部５３において、エネルギー比算出部５２で算出された直流成分と交流成分のエネルギー比率に基づいて算出される。
【００３７】
エネルギー比率算出部５２は、ＤＣＴブロック１４から供給された画像信号のフィールドｊの直流成分と交流成分とのエネルギー比率を求める。画像が比較的単純な絵柄の場合には、画像データの直流成分のエネルギー比率が比較的大きくなる。一方、画像が比較的複雑な絵柄の場合には、画像データの直流成分のエネルギー比率は比較的小さくなる。
【００３８】
従って、ＤＣＴブロック１４では直流成分のエネルギー比率が比較的大きい場合には、直流成分に割り当てるビット数を多くし、直流成分のエネルギーが比較的小さい場合には、直流成分に割り当てるビット数を少なくしている。本実施例では、ＤＣＴブロック１４で直流成分に割り当てるビット数を、直流成分の大きさに合わせて即ち画像の単純さに合わせて１０ビットから１４ビットの範囲で変化させている。従って、本実施例では、エネルギー比算出部５２は、ＤＣＴブロック１４から供給された画像の直流成分と交流成分とのエネルギー比率（直流成分値と交流成分値との比）を単純に求めても良いし、直流成分の割当ビット数を検出しても良い。
【００３９】
このエネルギー比算出部５２の検出結果に基づいて、検出レベルα算出部５３では検出レベルαを算出する。エネルギー比算出部５２で直流成分の割当ビット数を検出した場合について説明する。検出レベルα算出部５３は、直流成分の割当ビット数が１０ビットのとき検出レベルαの値を２とし、直流成分の割当ビット数が１１ビットのとき検出レベルαの値を３とし、直流成分の割当ビット数が１２ビットのとき検出レベルαの値を３とし、直流成分の割当ビット数が１３ビットのとき検出レベルαの値を４とし、直流成分の割当ビット数が１４ビットのとき検出レベルαの値を４と設定する。
【００４０】
つまり、マクロブロックの一致検出の基準を複雑な絵柄の画像に対しては厳しくし、単純な絵柄の画像に対しては緩やかにしている。これは、以下の理由による。通常、画像データの高域成分は視覚上認識されにくく、低域成分が重要視されるが、これとは逆に、動きがあったか否かの認識のしやすさでいえば、低域成分が多く高域成分が少ない画像、即ち単純な絵柄の画像の動きは気付かれにくく、また、低域成分が少なく高域成分が多い画像即ち複雑な絵柄の画像は気付きやすいからである。これは、単純な絵柄は大雑把に認識されやすく、複雑な絵柄は細部まで認識されるからである。この特性は、経験から得られたものであり、上記検出レベルαの値もやはり経験上求められた値である。
【００４１】
このように、直流成分と交流成分とのエネルギー比に基づいてマクロブロックの一致検出をする際の基準となる検出レベルを変化させることにより、単純な絵柄のような動きが目につきにくい画像の場合には、多少動きがあっても静止画と検出されるようにし、逆に、複雑な絵柄のような動きが目につきやすい画像の場合には、少しの動きでも動画と検出されるようにするので、視覚的に最も違和感のない動き検出を行うことができる。
【００４２】
また、上述した実施例では、画像信号の直流成分を得るために、エラーコレクション回路１０の出力を離散コサイン変換するＤＣＴブロック１４を設けたが、テープ１に記録されているデータが既に離散コサイン変換されていれば、このＤＣＴブロック１４は不要である。最近では、離散コサイン変換後可変長符号化して画像データを圧縮し、この圧縮されたデータを記録媒体に記録することが行われることもある。このような場合には、記録媒体に、離散コサイン変換時の直流成分の割当ビット数を示すデータが記録されるので、エネルギー比算出部５２は、この直流成分の割当ビット数を示すデータを検出すれば良い。ただし、このように、既に離散コサイン変換されたデータがテープ１に記録されている場合には、メモリ１１の出力を逆離散コサイン変換する回路が必要となることはいうまでもない。
【００４３】
また、上述した実施例では、シーンチェンジ及び動き検出回路１６にけおる動き検出はフィールド単位で行うようにしたが、動き検出はフレーム単位で行っても良い。
【００４４】
ところで、端子１３から出力される画像の使用目的やオペレータの好み等によって、画像の動きの度合いにかかわらず、偶数フィールドと奇数フィールドの連続性を非常に重視する場合があり、また逆に画像の動きの滑らかさを非常に重視する場合がある。そこで、本実施例では、画像の動きの度合いにかかわらず、画像の挿入・抜去のフィールド処理またはフレーム処理のいずれか一方に固定するモード、いわゆるスタティックコントロールモードを設けている。また、上述した、画像の動きを検出し、この検出結果に基づいて、フィールド処理とフレーム処理を適応的に切り換えるモード、いわゆるダイナミックコントロールモードを設ける。また、このダイナミックコントロールモードとスタティックコントロールモードを操作者が切り換えられるようにする。
【００４５】
このダイナミックコントロールモードとスタティックコントロールモードの切り換え動作について図５を用いて説明する。
【００４６】
図５において、メモリコントロール回路１７にフレーム処理部４０、フィールド処理部４１、スイッチ４２、スイッチ４３を設ける。ここで、オペレーターが画像処理装置の図示しないコントロールパネルに設けられたボタンを押すことにより、モードコントロール信号としてハイレベルまたはローレベルの信号がスイッチ４３に供給される。モードコントロール信号がハイレベルだった場合ダイナミックコントロールモードに、またローレベルだった場合スタティックコントロールモードにスイッチ４３により切り替えられる。
【００４７】
スイッチ４３の上段に示される端子には、オペレーターが画像処理装置の図示しないコントロールパネルに設けられたボタンを押すことにより、ハイレベルまたはローレベルの信号が供給される。この信号はフレーム処理またはフィールド処理のうちいずれか一方の信号処理を固定的にメモリコントロール回路１７に行わせるスタティックコントロール信号である。このスタティックコントロール信号がハイレベル”Ｈ”の場合はフレーム処理、ローレベル”Ｌ”の場合はフィールド処理となる。
【００４８】
スイッチ４３の下段に示される端子には、シーンチェンジ検出及び動き検出回路１６からハイレベルまたはローレベルの信号が供給される。この信号はフレーム処理またはフィールド処理により変化のある信号処理をメモリコントロール回路１７に行わせるダイナミックコントロール信号である。このダイナミックコントロール信号がローレベル”Ｌ”の場合はフィールド処理、ハイレベル”Ｈ”の場合はフレーム処理となる。
【００４９】
まず第１に、オペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押されることにより、スイッチ４３においてダイナミックコントロールモードが選択されている場合において、シーンチェンジ検出及び動き検出回路１６からローレベル”Ｌ”のダイナミックコントロール信号が供給された場合には、スイッチ４２においてフィールド処理部４１が選択される。
【００５０】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフィールド処理するように制御する。
【００５１】
第２に、ダイナミックコントロールモードが選択されている場合において、シーンチェンジ検出及び動き検出回路１６からハイレベルのダイナミックコントロール信号が供給された場合には、スイッチ４２においてフレーム処理部４０が選択される。
【００５２】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフレーム処理するように制御する。
【００５３】
第３に、オペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押されることにより、スイッチ４３においてスタティックコントロールモードが選択されている場合において、さらにオペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押され、これによってフィールド処理を示すローレベルのスタティックコントロール信号がスイッチ４２に供給されているときは、スイッチ４２においてフィールド処理部４１が選択される。
【００５４】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフィールド処理するように制御する。ここで、ローレベルのスタティックコントロール信号は、フィールド処理により信号処理をメモリコントロール回路１７に行わせる信号である。
【００５５】
第４に、オペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押され、スイッチ４３においてスタティックコントロールが選択されている場合において、さらにオペレーターにより画像処理装置の図示しないコントロールパネルに設けられたボタンが押され、フレーム処理を示すハイレベル”Ｈ”のスタティックコントロール信号がスイッチ４２に供給されているときは、スイッチ４２においてフレーム処理部４０が選択される。
【００５６】
このときメモリコントロール回路１７は、プログラムリファレンスジェネレータ１８によるプログラムリファレンス信号に基づいてメモリ１１をフレーム処理するように制御する。ここで、ハイレベルのスタティックコントロール信号は、フレーム処理により信号処理をメモリコントロール回路１７に行わせるための信号である。
【００５７】
上例によれば、画像挿入抜去制御手段としてのメモリコントロール回路１７は上記画像の挿入または抜去をフィールド単位またはフレーム単位のどちらか一方に固定して行う固定モードに切り換える切換え手段４８を有するので、偶数フィールドと奇数フィールドの連続性を非常に重視する場合には、画像の動きの度合いにかかわらず、固定的にフィールド処理を行うことができ、また、画像の動きの滑らかさを非常に重視する場合には、画像の動きにかかわらず固定的にフレーム処理を行うことができ、画像の使用目的やオペレータの好みに合わせることができる。
【００５８】
【発明の効果】
本発明によれば、動き検出手段は、離散コサイン変換手段によって生成された直流成分と交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、画像データの第一のフィールドまたはフレームの直流成分と第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と一致検出レベルとを比較して画像データが動画を示すのか静止画を示すのかを検出し、画像挿入抜去手段は、動き検出手段で画像データが動画を示すと検出された場合には、フィールド単位で画像の挿入または抜去を行い、画像データが静止画を示すと検出された場合には、フレーム単位で画像の挿入または抜去を行うようにしたので、動きが目につきやすい画像の場合には少しの動きがあれば動画と判断されてフィールド処理が行われ画像の挿入・抜去による画像の動きの不自然さを目立たなくすることができ、また、動きが目につきにくい画像の場合には多少の動きがあっても静止画と判断されてフレーム処理が行われ、偶数フィールドと奇数フィールドの連続性をできるだけ保つことができるので、画像の動きの度合いに応じた、画像の挿入・抜去のフィールド処理とフレーム処理との切り換えの最適化を図ることができ、これにより再生画像の質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施例の構成を示すブロック図である。
【図２】本発明の画像処理装置の一実施例のフィールド単位の動作を示す図である。
【図３】本発明の画像処理装置の一実施例のフレーム単位の動作を示す図である。
【図４】本発明の画像処理装置の一実施例の構成を示すブロック図である。
【図５】本発明の画像処理装置の一実施例のメモリコントロール回路の詳細なブロック図である。
【符号の説明】
１ テープ
２ 再生ヘッド
３ ヘッドアンプ
４ ロータリトランス
５ 等化器
６ 波形整形回路
７ クロック再生回路
８ チャンネルコーディングデコーダ
９ デシャフリング回路
１０ エラーコレクション回路
１１ メモリ
１２ Ｄ／Ａ変換器
１３ 端子
１４ ＤＣＴ
１５ 直流成分データ（Ｄ．Ｃ）および交流成分データ（Ａ．Ｃ）
１６ シーンチェンジ検出及び動き検出回路
１７ メモリコントロール回路
１８ プログラムプレイリファレンスジェネレータ
２０ メモリライトデータ
２１ メモリリードデータ
３０ メモリライトデータ
３１ メモリリードデータ
４０ フレーム処理回路
４１ フィールド処理回路
４２ スイッチ
４３ スイッチ
５１ 一致判定部
５２ エネルギー比算出部
５３ 検出レベルα算出部
５４ アキュムレーター
５５ 動き判定部
Claims (7)
- 映像信号を離散コサイン変換して直流成分と交流成分を生成する離散コサイン変換手段と、
上記離散コサイン変換手段によって生成された上記直流成分と上記交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、上記映像信号の第一のフィールドまたはフレームの直流成分と上記第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と上記一致検出レベルとを比較して、この比較結果に基づいて、上記映像信号中の画像に動きがあることを示す動画であるかまたは上記映像信号中の画像に動きのない静止画であるかを検出する動き検出手段と、
上記動き検出手段によって動画を示すと検出された場合には、上記画像信号に対してフィールド単位で画像の挿入または抜去を行い、上記動き検出手段によって静止画を示すと検出された場合には、上記画像信号に対してフレーム単位で画像の挿入または抜去を行う画像挿入抜去手段と、
を有する画像処理装置。 - 上記離散コサイン変換手段は、上記映像信号のフィールドまたはフレームを構成する複数のブロックの各ブロック毎に離散コサイン変換を行い、
上記動き検出手段は、上記第一のフィールドまたはフレームを構成する各ブロックの各直流成分とこれに対応する上記第二のフィールドまたはフレームを構成する各ブロックの直流成分とのそれぞれの差分と上記一致検出レベルとをそれぞれ比較する比較手段と、
上記各差分が上記一致検出レベルよりも小さいブロックの数を積算する積算手段とを有し、
上記積算手段で１フィールドまたは１フレーム分積算された値が所定値よりも大きい場合には上記映像信号中の画像が静止画を示していると検出し、上記積算値が上記所定値よりも小さい場合には上記映像信号中の画像が動画を示していると検出する、
請求項１記載の画像処理装置。 - 上記動き検出手段は、上記映像信号中の画像がシーンチェンジであるかを検出する、
請求項１または２記載の画像処理装置。 - 上記動き検出手段は、上記積算値が上記所定値よりも小さい第二の所定値よりも小さい場合には、上記映像信号中の画像がシーンチェンジを表していると検出する、
請求項３記載の画像処理装置。 - 上記動き検出手段は、上記一致検出レベルを上記直流成分に割り当てられたビット数に基づいて生成する、
請求項１記載の画像処理装置。 - 上記画像挿入抜去手段は、上記動き検出手段の検出結果にかかわらず、上記画像の挿入または抜去をフィールド単位またはフレーム単位のどちらか一方に固定して行う固定モードに切り換える切換え手段を有する、
請求項１記載の画像処理装置。 - 映像信号を離散コサイン変換して直流成分と交流成分を生成する離散コサイン変換工程と、
上記離散コサイン変換工程によって生成された上記直流成分と上記交流成分とのエネルギー比率に基づいて一致検出レベルを生成し、上記映像信号の第一のフィールドまたはフレームの直流成分と上記第一のフィールドまたはフレームに連続する第二のフィールドまたはフレームの直流成分との差分と上記一致検出レベルとを比較して、この比較結果に基づいて、上記映像信号中の画像に動きがあることを示す動画であるかまたは上記映像信号中の画像に動きのない静止画であるかを検出する動き検出工程と、
上記動き検出工程において動画を示すと検出された場合には、上記画像信号に対してフィールド単位で画像の挿入または抜去を行い、上記動き検出工程において静止画を示すと検出された場合には、上記画像信号に対してフレーム単位で画像の挿入または抜去を行う 画像挿入抜去工程と、
を有する画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5921695A JP3700196B2 (ja) | 1994-03-29 | 1995-03-17 | 画像処理装置及び画像処理方法 |
| US08/410,895 US5638124A (en) | 1994-03-29 | 1995-03-27 | Video signal processing apparatus having an image inserting and extracting circuit for inserting an image into or extracting an image from video signal based on a detected result of a motion detecting circuit |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5910394 | 1994-03-29 | ||
| JP6-59103 | 1994-03-29 | ||
| JP5921695A JP3700196B2 (ja) | 1994-03-29 | 1995-03-17 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07322209A JPH07322209A (ja) | 1995-12-08 |
| JP3700196B2 true JP3700196B2 (ja) | 2005-09-28 |
Family
ID=26400137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5921695A Expired - Fee Related JP3700196B2 (ja) | 1994-03-29 | 1995-03-17 | 画像処理装置及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5638124A (ja) |
| JP (1) | JP3700196B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3785711B2 (ja) * | 1996-12-24 | 2006-06-14 | ソニー株式会社 | 画像再生装置及び画像再生方法 |
| JP3721867B2 (ja) * | 1999-07-07 | 2005-11-30 | 日本電気株式会社 | 映像表示装置及び表示方法 |
| US7031385B1 (en) * | 1999-10-01 | 2006-04-18 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for detecting scene change of a compressed moving-picture, and program recording medium therefor |
| JP3775168B2 (ja) * | 2000-04-20 | 2006-05-17 | 株式会社日立製作所 | 送信装置及び受信装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3338460B2 (ja) * | 1991-05-09 | 2002-10-28 | ソニー株式会社 | 映像信号符号化装置及び映像信号符号化方法 |
| KR0141824B1 (ko) * | 1991-12-23 | 1998-07-15 | 구자홍 | 가변길이의 적응 영상 압축 방법 및 장치 |
| JP2518503B2 (ja) * | 1993-03-08 | 1996-07-24 | 日本電気株式会社 | 画面切り替え検出方法 |
-
1995
- 1995-03-17 JP JP5921695A patent/JP3700196B2/ja not_active Expired - Fee Related
- 1995-03-27 US US08/410,895 patent/US5638124A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07322209A (ja) | 1995-12-08 |
| US5638124A (en) | 1997-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7536089B2 (en) | Image signal reproduction apparatus | |
| JPH0614294A (ja) | 信号処理装置 | |
| JP3312074B2 (ja) | 映像信号のディジタル記録及び再生装置 | |
| US6463182B1 (en) | Image processing apparatus and method for removing noise near an edge of an image | |
| JP3700196B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR940013199A (ko) | 영상신호의 기록포맷과 심층기록/재생장치 및 그 방법 | |
| JP3253530B2 (ja) | 動画像記録装置 | |
| EP0763935B1 (en) | Apparatus and method for reproducing video segment for digital video cassette recorder | |
| EP0772366B1 (en) | A digital recording/reproducing apparatus | |
| JP3775525B2 (ja) | 復号化装置および復号化方法 | |
| KR100286413B1 (ko) | 비디오 신호 처리 장치 | |
| JP3161229B2 (ja) | 映像信号処理方法および映像信号処理装置 | |
| JP2982232B2 (ja) | ディジタル画像信号の記録・再生装置及び記録・再生方法 | |
| EP0844794A2 (en) | Digital video signal recording apparatus and digital video signal reproducing apparatus | |
| JP3158730B2 (ja) | フレーム化装置 | |
| KR940005206B1 (ko) | 디지탈 브리티알의 가변속 재생을 용이하게 하는 방법 및 장치 | |
| JP3519846B2 (ja) | 静止画生成回路 | |
| JP3035984B2 (ja) | ディジタルビデオ信号記録装置 | |
| JP2821125B2 (ja) | ビデオ信号伝送システム | |
| JP3284679B2 (ja) | ディジタルビデオ信号処理装置 | |
| JPH1032788A (ja) | デジタル画像情報の記録再生装置 | |
| JPH06195896A (ja) | 記録再生装置、記録装置及び再生装置 | |
| JPH06284399A (ja) | 動き検出装置 | |
| JPH07184162A (ja) | 画像処理装置 | |
| JP3787906B2 (ja) | ディジタル画像信号記録装置及び画像信号記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080722 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100722 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100722 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110722 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110722 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130722 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |