JP2003116109A - インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置 - Google Patents

インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置

Info

Publication number
JP2003116109A
JP2003116109A JP2001307240A JP2001307240A JP2003116109A JP 2003116109 A JP2003116109 A JP 2003116109A JP 2001307240 A JP2001307240 A JP 2001307240A JP 2001307240 A JP2001307240 A JP 2001307240A JP 2003116109 A JP2003116109 A JP 2003116109A
Authority
JP
Japan
Prior art keywords
field
motion
output
inter
motion detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001307240A
Other languages
English (en)
Other versions
JP4055109B2 (ja
Inventor
Hideki Aiba
英樹 相羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2001307240A priority Critical patent/JP4055109B2/ja
Publication of JP2003116109A publication Critical patent/JP2003116109A/ja
Application granted granted Critical
Publication of JP4055109B2 publication Critical patent/JP4055109B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】 プルダウン変換されたインターレース映像信
号に部分的または一時的な規則パターン外れがある場合
でも、誤補間なく良好に順次走査変換することができる
順次走査変換装置を提供する。 【解決手段】 パターン検出回路4は、後フィールドに
振り分けられたプルダウン(状態1)か、前フィールド
に振り分けられたプルダウン(状態2)かを検出する。
動き検出回路5は、状態1と状態2とプルダウンではな
い状態3に応じて動き検出方法を切り換えて動き検出す
る。選択回路6は、状態1のとき後フィールドf0を選
択し、状態2のとき前フィールドf2を選択する。混合
回路7は、動き検出信号Kに応じて、動画補間信号Mと
静止画補間信号Sとを混合する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、フレームレートの
低い信号源から2−3プルダウンまたは2−2プルダウ
ン等のプルダウンによってインターレースに変換された
インターレース映像信号の動きを検出するのに好適な動
き検出装置及びこれを用いた順次走査変換装置に関す
る。
【0002】
【従来の技術】NTSC信号やHDTV信号等の標準的
なテレビジョン信号はインターレース(飛び越し走査)
信号である。インターレース信号は画像の垂直方向に高
い周波線分が多くなるとラインフリッカ等のインターレ
ース妨害を引き起こす。そこで、インターレースで間引
かれている部分の走査線を周辺の走査線で補間し、順次
走査信号(ノンインターレース信号あるいはプログレッ
シブ信号とも呼ばれる)に変換することによって、イン
ターレース妨害を除去する処理方法がある。このような
処理装置は、順次走査変換装置と称される。
【0003】ここで、順次走査変換のための走査線補間
の概略について説明する。図5は走査線構造を示す図で
あり、(a)はインターレース信号、(b)は走査線補
間によってインターレース信号を順次走査信号に変換し
た信号を示している。図5中の○は伝送されてくる走査
線を示し、×は補間された走査線を示している。図5及
び後述する図6のVは垂直方向、tは時間方向である。
【0004】最も一般的な順次走査変換のための走査線
補間は、画像の動き検出の結果に応じて補間方法を異な
らせる動き適応処理で行われる。即ち、図6に示すよう
に、画像が静止している場合は、後フィールドの画素F
01,前フィールドの画素F21の平均値またはどちら
か一方を×で示す新しい画素Yとして、新しい走査線を
生成する。これは、フィールド間補間あるいは静止画補
間と称される。画像が動いている場合に静止画と同じ補
間方法をすると、画像が多重像になってしまう。そこ
で、画像が動いている場合は、上下の画素F10,F1
2の平均値を×で示す新しい画素Yとして、新しい走査
線を生成する。これは、フィールド内補間もしくはライ
ン補間あるいは動画補間と称される。
【0005】このとき、画像が静止している場合は折り
返し歪みが少なく解像度も高い良好な変換画質が得られ
るが、画像が動いている場合は折り返し歪みが多く解像
度も低い劣化した変換画質となる。また、画像が動いて
いるか静止しているかどうかを検出する動き検出回路を
誤検出のない回路に設計することは一般的に難しい。
【0006】ところで、順次走査信号に変換すべき入力
信号が、フレームレートが24フレーム/秒である映写
フィルムから例えば2−3プルダウンによってインター
レースに変換された信号の場合は、上述した動き適応処
理とは異なる方法を採用することによって、画像が動い
た場合でも良好な変換画質を得ることができる。
【0007】2−3プルダウンとは、図7に示すような
フレームレート変換のことである。具体的には、図7
(A)に示す24フレーム/秒の映画等のフィルム映像
信号A,B,C,…を、図7(B)に示す60フィール
ド/秒のインターレース信号a,a’,b,b’,b,
c’,c…に変換するための方法として用いられる。な
お、a’,b’…の符号「’」を付したものは偶数フィ
ールドを示しており、符号「’」を付していないものは
奇数フィールドを示している。2−3プルダウンの他
に、フレームレートが30フレーム/秒の信号の場合に
用いる2−2プルダウンもあるが、本明細書では代表し
て2−3プルダウンについて説明する。
【0008】図7に示すように、2−3プルダウンは、
元々1フレームであった画像が2もしくは3フィールド
に振り分けられている。図7(B)において、例えばフ
ィールドaとフィールドa’は互いの走査線がずれた状
態ではあるものの、同一の映像である。従って、この変
換の規則パターンさえ分かれば、隣接フィールドから走
査線を補間(フィールド間補間)して順次走査に変換す
ることができる。60フィールド/秒のインターレース
信号を順次走査に変換すると、図7(C)に示す60フ
レーム/秒の順次走査信号A,A,B,B,B,C,C
…となる。
【0009】図6で説明したように、フィールド間補間
は、前フィールドの画素F21または後フィールドの画
素F01を新しい画素Yとすることによって新しい走査
線を生成するので、折り返し歪みが少なく解像度も高い
良好な変換画質が得られる。2−3プルダウンの規則パ
ターンを得る方法は、例えば、どのように振り分けて変
換したかをコードで伝送する方法や、画像のフィールド
間またはフレーム間の差分を統計的に処理することによ
って、自動的に規則パターンを推測する方法等がある。
【0010】
【発明が解決しようとする課題】しかしながら、上記の
プルダウンの規則パターンを利用して順次走査に変換す
る方法では、次のような場合に不具合を生じる。
【0011】(1)プルダウンした規則性を有する映像
に字幕等の付加信号が編集によってスーパーインポーズ
され、部分的にプルダウンの規則パターンから外れた映
像を有する場合。 (2)プルダウンした規則性を有する映像にピクチャ・
イン・ピクチャ(PIP)によって通常のインターレー
ス信号やプルダウンの規則パターンから外れた映像がは
め込まれ、部分的にプルダウンの規則パターンから外れ
た映像を有する場合。 (3)つなぎ編集によって、プルダウンした映像の規則
パターンが一時的に乱れる場合。
【0012】上記(1),(2)の場合は、プルダウン
した映像の規則パターンをコードで伝送する場合でも、
規則パターンを統計的処理によって検出する場合でも大
きな問題となる。また、上記(3)は、プルダウンした
映像の規則パターンをコードで伝送する場合には問題と
なりにくいが、規則パターンを統計的処理によって検出
する場合には、規則パターンの検出結果を修正するまで
の間、誤った補間による順次走査変換となってしまうの
で問題となる。
【0013】本発明はこのような問題点に鑑みなされた
ものであり、プルダウンによってインターレースに変換
されたインターレース映像信号に部分的または一時的な
規則パターン外れがある場合に、適切な動き検出信号を
出力することができる動き検出装置を提供し、プルダウ
ンによってインターレースに変換されたインターレース
映像信号に部分的または一時的な規則パターン外れがあ
る場合でも、誤補間なく良好に順次走査変換することが
できる順次走査変換装置を提供することを目的とする。
【0014】
【課題を解決するための手段】本発明は、上述した従来
の技術の課題を解決するため、(a)インターレース映
像信号の動きを検出する動き検出装置において、前記イ
ンターレース映像信号が所定のフレームレートを有する
フレーム画像からプルダウンによってインターレースに
変換されたインターレース映像信号であるか否かを検出
するプルダウン検出手段(4)と、前記プルダウン検出
手段により前記インターレース映像信号がプルダウンに
よってインターレースに変換されたインターレース映像
信号であると検出されたとき、注目フィールドとこの注
目フィールドの1フィールド後のフィールドである後フ
ィールドとが共通のフレーム画像となっている第1の状
態であるか、前記注目フィールドと前記注目フィールド
の1フィールド前のフィールドである前フィールドとが
共通のフレーム画像となっている第2の状態であるかを
判定する判定手段(4)と、前記注目フィールドと前記
後フィールドと前記前フィールドそれぞれの信号が入力
され、前記第1の状態と、前記第2の状態と、前記プル
ダウン検出手段によって前記インターレース映像信号が
プルダウンによってインターレースに変換されたインタ
ーレース映像信号ではないと検出された第3の状態とに
応じて、動き検出方法を切り換えて動き検出する動き検
出回路(5)とを備えて構成したことを特徴とする動き
検出装置を提供し、(b)インターレース映像信号を順
次走査の映像信号に変換する順次走査変換装置におい
て、前記インターレース映像信号が所定のフレームレー
トを有するフレーム画像からプルダウンによってインタ
ーレースに変換されたインターレース映像信号であるか
否かを検出するプルダウン検出手段(4)と、前記プル
ダウン検出手段により前記インターレース映像信号がプ
ルダウンによってインターレースに変換されたインター
レース映像信号であると検出されたとき、注目フィール
ドとこの注目フィールドの1フィールド後のフィールド
である後フィールドとが共通のフレーム画像となってい
る第1の状態であるか、前記注目フィールドと前記注目
フィールドの1フィールド前のフィールドである前フィ
ールドとが共通のフレーム画像となっている第2の状態
であるかを判定する判定手段(4)と、前記注目フィー
ルドの信号を用いてフィールド内補間信号を生成するフ
ィールド内補間手段(3)と、前記第1の状態のとき、
前記注目フィールドに対する前記後フィールドの信号を
用いて、第1のフィールド間補間信号を生成し、前記第
2の状態のとき、前記注目フィールドに対する前記前フ
ィールドの信号を用いて、第2のフィールド間補間信号
を生成するフィールド間補間手段(6)と、前記注目フ
ィールドと前記後フィールドと前記前フィールドそれぞ
れの信号が入力され、前記第1の状態と、前記第2の状
態と、前記プルダウン検出手段によって前記インターレ
ース映像信号がプルダウンによってインターレースに変
換されたインターレース映像信号ではないと検出された
第3の状態とに応じて、動き検出方法を切り換えて動き
検出し、動き検出信号を出力する動き検出回路(5)
と、前記フィールド内補間回路の出力と前記フィールド
間補間回路の出力とを前記動き検出信号に応じて混合ま
たは切り換えて出力する補間信号出力手段(7)とを備
えて構成したことを特徴とする順次走査変換装置を提供
するものである。
【0015】
【発明の実施の形態】以下、本発明のインターレース映
像信号の動き検出装置及びこれを用いた順次走査変換装
置について、添付図面を参照して説明する。図1は本発
明のインターレース映像信号の動き検出装置及びこれを
用いた順次走査変換装置の一実施形態を示すブロック
図、図2は図1中の動き検出回路5の具体的構成例を示
すブロック図、図3は図1中の動き検出回路5の他の具
体的構成例を示すブロック図、図4は図2の動作を説明
するための波形図である。
【0016】図1において、入力端子1より入力された
インターレース映像信号は、フィールドメモリ21,2
2によって順次遅延される。入力端子1より入力された
インターレース映像信号をフィールドf0、フィールド
メモリ21の出力をフィールドf1、フィールドメモリ
22の出力をフィールドf2とする。なお、この図1の
構成では、フィールドf0を1フィールド遅延したフィ
ールドf1を基準のフィールドとして扱うため、フィー
ルドf1を注目フィールド、フィールドf0を後フィー
ルド、フィールドf2を前フィールドと称することとす
る。
【0017】動画補間回路3には、注目フィールドf1
が入力される。動画補間回路3は注目フィールドf1の
信号を用いて動画補間信号Mを生成する。動画補間回路
3による動画補間信号Mの生成方法は特に限定されない
が、図6で説明したように、上下に位置する走査線の平
均値をとる方法が一般的である。
【0018】パターン検出回路4には、注目フィールド
f1と後フィールドf0とが入力される。パターン検出
回路4は2−3プルダウンの規則パターンを検出し、パ
ターン検出信号Pを出力する。パターン検出回路4は、
入力された注目フィールドf1と後フィールドf0の差
分の積算値を数〜数十フィールドに渡って統計的に計算
することにより、2−3プルダウンの規則パターンを検
出する。プルダウンの規則パターンを統計的処理によっ
て検出する回路構成自体は公知であるので、パターン検
出回路4の具体的構成については省略する。規則パター
ンの検出方法は、これに限定されるものではない。
【0019】パターン検出回路4より出力されるパター
ン検出信号Pは、少なくとも次の3つの状態を有してい
る。 (状態1)入力された映像信号がプルダウン変換された
もので、かつ、元のフレームが後フィールドに振り分け
られ、注目フィールドと後フィールドとが共通のフレー
ム画像であると判定された状態。 (状態2)入力された映像信号がプルダウン変換された
もので、かつ、元のフレームが前フィールドに振り分け
られ、注目フィールドと前フィールドとが共通のフレー
ム画像であると判定された状態。 (状態3)入力された映像信号がプルダウン変換された
ものではないと判定された状態。
【0020】なお、2−3プルダウンの場合、元のフレ
ームが後フィールドと前フィールドの両方に振り分けら
れている状態が存在するが、ここでは(状態2)として
扱うこととする。勿論、(状態1)として扱っても問題
ない。
【0021】動き検出回路5には、後フィールドf0と
注目フィールドf1と前フィールドf2とが入力され
る。動き検出回路5には、また、パターン検出信号Pが
入力される。動き検出回路5は、パターン検出信号Pに
応じて、即ち、上述した(状態1)〜(状態3)の3つ
の状態に応じて、動き検出方法を切り換える。動き検出
回路5は、動き検出の結果、動き検出信号Kを出力す
る。動き検出回路5の具体的構成及び動き検出方法を切
り換え動作については後述する。
【0022】選択回路6には、後フィールドf0と前フ
ィールドf2とが入力される。選択回路6はパターン検
出信号Pに応じて後フィールドf0と前フィールドf2
との一方を選択し、選択した信号を静止画補間信号Sと
して出力する。選択回路6は、パターン検出信号Pが上
記の(状態1)を表すとき、後フィールドf0を選択
し、(状態2)を表すとき、前フィールドf2を選択す
る。(状態3)を表すときは後フィールドf0と前フィ
ールドf2とのいずれを選択してもよいが、ここでは前
フィールドf2を選択することとする。
【0023】図1に破線で囲んで示すように、動き検出
回路5と選択回路6とは本発明の動き検出装置を構成し
ている。
【0024】混合回路7には、動画補間信号Mと静止画
補間信号Sと動き検出信号Kが入力される。混合回路7
は、動画補間信号Mと静止画補間信号Sとを、動き検出
信号Kに応じて適応的に混合し、補間信号Hを出力す
る。動き検出回路5で完全に静止画と判定された場合は
K=0、完全に動画と判定された場合はK=1、中間的
な場合は0<K<1とすると、 H=S×(1−K)+M×K …(1) となる。
【0025】なお、混合回路7の代わりに選択回路を設
け、動き検出信号Kに応じて、動画補間信号Mと静止画
補間信号Sとを択一的に切り換えてもよい。但し、混合
回路7の方が好ましい。
【0026】倍速処理回路81には、非補間信号である
注目フィールドf1が入力され、倍速処理回路81は注
目フィールドf1の信号を倍速化して出力する。倍速処
理回路82には、混合回路7より出力された補間信号H
が入力され、倍速処理回路82は補間信号Hを倍速化し
て出力する。そして、選択回路9は、倍速処理回路81
の出力と倍速処理回路82の出力とを交互に選択して、
順次走査信号を出力する。順次走査信号は出力端子10
より出力される。
【0027】本発明の特徴の1つは、動き検出回路5
が、プルダウンの規則パターンに従って、少なくとも3
つの動作モード(動き検出方法)を有していることであ
る。従来においては、プルダウンの規則パターンが検出
されると、動き検出を完全に禁止し、動画補間を完全に
不動作としていたが、本発明では、プルダウンの規則パ
ターンが検出された場合、動き検出を完全に禁止するの
ではなく、動き検出を部分的に働かせて、動画補間を部
分的に動作させるようにする。
【0028】ここで、図2を用いて動き検出回路5の具
体的構成例について説明する。図2において、フレーム
差分検出回路51には、後フィールドf0と前フィール
ドf2とが入力される。フレーム差分検出回路51は、
後フィールドf0と前フィールドf2との差分を検出し
て、フレーム差分検出信号D1を出力する。フレーム差
分検出信号D1は、後フィールドf0と前フィールドf
2との差分の絶対値であり、 D1=|f2−f0| …(2) となる。フレーム差分検出回路51は、後フィールドf
0と前フィールドf2とに基づいて2フィールド(1フ
レーム)間の動きを検出するフレーム間動き検出部であ
る。
【0029】フィールド差分検出回路50には、後フィ
ールドf0と注目フィールドf1とが入力される。フィ
ールド差分検出回路50は、後フィールドf0と注目フ
ィールドf1との差分を検出して、フィールド差分検出
信号d0を出力する。フィールド差分検出信号d0は、
後フィールドf0と注目フィールドf1との差分の絶対
値であり、 d0=|f1−f0| …(3) となる。フィールド差分検出回路50は、後フィールド
f0と注目フィールドf1に基づいて1フィールド間の
動きを検出するフィールド間動き検出部である。
【0030】フィールド差分検出回路52には、前フィ
ールドf2と注目フィールドf1とが入力される。フィ
ールド差分検出回路52は、前フィールドf2と注目フ
ィールドf1との差分を検出して、フィールド差分検出
信号d2を出力する。フィールド差分検出信号d2は、
前フィールドf2と注目フィールドf1との差分の絶対
値であり、 d2=|f1−f2| …(3) となる。フィールド差分検出回路52は、前フィールド
f2と注目フィールドf1に基づいて1フィールド間の
動きを検出するフィールド間動き検出部である。なお、
フィールド差分検出回路52を設ける代わりに、フィー
ルド差分検出信号d0を1フィールド遅延させて、フィ
ールド差分検出信号d2とすることも可能である。
【0031】2つのフィールド差分検出信号d0,d2
は、減算回路53,54に入力される。減算回路53は
d0−d2を求め、減算回路54はd2−d0を求め
る。減算回路53,54の出力はそれぞれリミッタ5
5,56に入力される。リミッタ55,56は入力が負
になった(アンダーフローした)場合に、0に制限する
ためのものである。即ち、減算回路53,54の出力が
負になると、リミッタ55,56の出力は0になる。
【0032】フレーム差分検出回路51の出力であるフ
レーム差分検出信号D1と、リミッタ55の出力信号D
0と、リミッタ56の出力信号D2は、選択回路57に
入力される。選択回路57には、上述したパターン検出
信号Pが入力され、選択回路57はパターン検出信号P
に応じていずれかの入力信号を選択し、最終的な動き検
出信号Kを得る。選択回路57は、パターン検出信号P
が上記の(状態1)を表すときはD0を選択し、(状態
2)を表すときはD2を選択し、(状態3)を表すとき
はD1を選択する。選択回路57は、動き検出信号出力
部となっている。
【0033】図2は、基本的構成のみを示している。画
像のエッジ部分での誤検出を避ける目的で、例えば、フ
レーム差分検出回路51及びフィールド差分検出回路5
0,52の後段にフィルタを設けて、フレーム差分検出
回路51及びフィールド差分検出回路50,52の出力
に各種のフィルタ処理を施したり、さらに後段で感度
(ゲイン)制御を行うこともある。また、フィールド間
差分検出の場合に、走査線位相を一致させ、かつ、垂直
高域成分による誤検出を避ける目的で、フィールド差分
検出回路50,52の入力信号に対して垂直フィルタ処
理を施すこともある。
【0034】次に、図2のように構成して、上記のよう
に動作させる理由について説明する。まず、(状態3)
の場合には、プルダウンの規則パターンが検出されてい
ないので、フレーム差分検出回路51の出力であるフレ
ーム差分検出信号D1を選択することにより、順次走査
変換回路の動き検出として一般的に用いられるフレーム
差分検出を用いている。
【0035】そして、(状態1)の場合には、プルダウ
ンで振り分けた組み合わせが後フィールドの場合である
ので、本来、後フィールドf0と注目フィールドf1と
の差分d0は現れないはずである。ところが、従来の問
題点として説明したように、字幕等が後から編集で加え
られた場合には規則パターンから局所的に外れているこ
とがある。このような場合には、後フィールドf0と注
目フィールドf1との差分d0が局所的に出力される。
字幕は連続的に動いているわけではないので、字幕部分
では逆に前フィールドf2と注目フィールドf1との差
分d2は現れない。
【0036】本発明は、この性質を利用して、減算回路
53とリミッタ55によってフィールド差分検出信号d
0とフィールド差分検出信号d2とを比較し、フィール
ド差分検出信号d0がフィールド差分検出信号d2より
大きい部分、即ち、プルダウンの規則パターンから外れ
た特異的な部分だけ、動き判定させることができる。な
お、局所的とか特異的な部分と表現したが、つなぎ編集
等で規則パターンが画面全体で乱れることもあり、この
場合は、当然ながら、画面全体が動き判定される。
【0037】一方、(状態2)の場合には、(状態1)
とは逆の動作により、減算回路54とリミッタ56によ
ってフィールド差分検出信号d0とフィールド差分検出
信号d2とを比較し、フィールド差分検出信号d2がフ
ィールド差分検出信号d0より大きい部分だけ、動き判
定させることができる。
【0038】さらに、プルダウンされた映像に字幕が重
畳されて、部分的に規則パターンから外れた場合の動作
について、図4の波形図を用いて説明する。図4は、フ
レームレートが24フレーム/秒の画像(24フレーム
画像)を2−3プルダウンによってインターレース映像
信号に変換した状態を示している。なお、図4におい
て、元のフレームが2フィールドに振り分けられた部分
と3フィールドに振り分けられた部分とを理解しやすい
よう、2フィールドに振り分けられた部分と3フィール
ドに振り分けられた部分との間に破線を付している。
【0039】図4において、tは時間方向であり、24
フレーム画像は(A)から(H)へと変化していく。図
4(A)〜(D)に示すように、24フレーム画像の一
部に編集によって字幕が重畳されている。字幕は、図4
(E)のフィールドでは消滅している。前フィールドf
2と注目フィールドf1と後フィールドf0が、それぞ
れ、図4(D)〜(F)の状態であるとする。図4の例
は、プルダウンの組み合わせが前フィールドf2と注目
フィールドf1になっているので、上述した(状態2)
に相当する。このとき、図1における選択回路6は前フ
ィールドf2を選択し、動き検出回路5の選択回路57
はリミッタ56の出力信号D2を選択している。
【0040】図4(I)には、フィールド差分検出信号
d2(=|f1−f2|)を示しており、図4(J)に
は、フィールド差分検出信号d0(=|f1−f0|)
を示している。フィールド差分検出信号d0とフィール
ド差分検出信号d2とを比較すれば分かるように、字幕
部分以外の24フレーム画像では、フィールド差分検出
信号d0の方がフィールド差分検出信号d2より大きく
なっている。しかしながら、字幕部分では、フィールド
差分検出信号d2の方がフィールド差分検出信号d0よ
り大きくなっている。このとき、減算回路54の出力は
リミッタ56によってリミットされないので、出力信号
D2が出力され、字幕部分のみ動き判定されることにな
る。
【0041】次に、図3を用いて、動き検出回路5の他
の構成例について説明する。図3において、図2と同一
部分には同一符号を付し、その説明を適宜省略する。図
3が図2と異なるのは、選択回路57の出力とフレーム
差分検出信号D1との最小値を計算するための最小値演
算回路58を設けた点である。最小値演算回路58は、
選択回路57の選択結果とフレーム差分検出信号D1と
のいずれがより小さいかを計算し、より小さい方を最終
的な動き検出信号Kとして出力する。
【0042】図3の例では、まず、選択回路57によっ
て、フレーム差分検出信号D1とリミッタ55の出力信
号D0とリミッタ56の出力信号D2の内から1つを選
択し、そして、最小値演算回路58によって、選択回路
57の選択結果とフレーム差分検出信号D1との内の小
さい方を選択するようにしているが、次のように構成し
てもよい。リミッタ55の出力信号D0とリミッタ56
の出力信号D2それぞれに対し、フレーム差分検出信号
D1との最小値をとり、その後に、(状態1)〜(状態
3)に応じていずれかの信号を選択してもよい。
【0043】即ち、(状態1)のときには、フィールド
差分検出回路50の出力であるフィールド差分検出信号
d0がフィールド差分検出回路52の出力であるフィー
ルド差分検出信号d2より大なるときのフィールド差分
検出信号d0とフィールド差分検出信号d2との差分
と、フレーム差分検出回路51の出力であるフレーム差
分検出信号D1との小なる方を動き検出信号として出力
すればよい。
【0044】また、(状態2)のときには、フィールド
差分検出回路52の出力であるフィールド差分検出信号
d2がフィールド差分検出回路50の出力であるフィー
ルド差分検出信号d0より大なるときのフィールド差分
検出信号d2とフィールド差分検出信号d0との差分
と、フレーム差分検出回路51の出力であるフレーム差
分検出信号D1との小なる方を動き検出信号として出力
すればよい。さらに、(状態3)のときには、フレーム
差分検出回路51の出力であるフレーム差分検出信号D
1を動き検出信号として出力すればよい。図3の構成で
は、選択回路57及び最小値演算回路58が、動き検出
信号出力部となっている。
【0045】この図3のように構成する狙いは、フィー
ルド差分検出回路50,52が垂直高域成分を多く含ん
だ部分で誤検出しやすいので、その誤検出を避けること
である。フィールド差分検出は、本来静止している画像
でも垂直高域成分を多く含んだ部分では動き判定してし
まう。これを防ぐために垂直方向のローパスフィルタ
(垂直LPF)を用いることが多いが、完全に抑えるこ
とはできない。本発明では、字幕部分を検出することを
1つの目的としており、垂直LPFによって垂直高域成
分を除去し過ぎると、字幕部分が動き検出されにくくな
り、本発明の効果が薄れてしまうことになる。
【0046】これに対し、フレーム差分検出回路51に
よるフレーム差分検出にはフィールド差分検出のような
不具合はないので、フィールド差分検出であるリミッタ
55,56の出力信号D0,D2のいずれかが選択され
た場合でも、最小値演算回路58によって、フレーム差
分検出信号D1との最小値を求めれば、誤った動き検出
信号Kを出力することはない。図3の構成では、垂直高
域成分を除去するための垂直LPFの特性を緩やかにす
ることが可能である。よって、コストダウンも可能であ
る。以上の点から、動き検出回路5としては、図2の構
成よりも図3の構成の方が好ましい。
【0047】以上のようにして、本発明の動き検出装置
においては、プルダウンの規則パターンを検出したとき
でも、その規則パターンから外れた部分では動き検出を
動作させ、動き検出信号を発生させる。よって、そのよ
うな部分では適切な動き検出信号を出力することができ
る。本発明の動き検出装置を用いた本発明の順次走査変
換装置においては、規則パターンから外れた部分を有す
る場合でも、誤補間なく良好に順次走査変換することが
できる。
【0048】なお、規則パターンから外れた部分では動
画処理され、図6の上下ラインの画素F10,F12か
ら補間信号を得るため、フリッカ妨害や垂直解像度の低
下をもたらすが、1フィールド分(60フレーム/秒に
対して1枚の画像)しかその妨害を受けないので、全く
問題となることはない。
【0049】以上の基本的構成を基にして次のような変
形例とすることができる。図1において、選択回路6が
後フィールドf0と前フィールドf2のいずれを選択し
てもよい場合、即ち、(状態3)のようにプルダウン変
換されたものではないと判定された場合や元のフレーム
が後フィールドと前フィールドの両方に振り分けられて
いる場合には、選択回路6の選択肢として、後フィール
ドf0と前フィールドf2との平均値を追加してもよ
い。
【0050】また、動き検出回路5の構成においても基
本的な部分だけを示したが、動き検出の精度を上げる技
術を盛り込んでもよい。例えば、(状態3)の場合であ
るプルダウン変換されたものではない通常の60フィー
ルド/秒の映像に対しては、フレーム差分検出信号D1
しか動き検出信号として用いていないが、フレーム差分
検出信号D1に加えて、フィールド差分検出信号d0,
d2を複合的に用いて、動き検出信号を生成してもよ
い。
【0051】プルダウンの規則パターンを検出する手段
は任意であり、後フィールドf0と前フィールドf2の
フレーム差分が5フィールド周期になっていることを検
出する方法や送信側からコード化されて伝送されたもの
をデコードする方法でもよい。また、プルダウンは2−
3プルダウンに限定されることはなく、2−2プルダウ
ンであってもよい。本発明によれば、規則パターンがず
れた場合でも大きな問題とはならないので、規則パター
ンを検出するための精度をさほどあげる必要がない。よ
って、コストダウンが可能となる。
【0052】
【発明の効果】以上詳細に説明したように、本発明のイ
ンターレース映像信号の動き検出装置は、インターレー
ス映像信号が所定のフレームレートを有するフレーム画
像からプルダウンによってインターレースに変換された
インターレース映像信号であるか否かを検出するプルダ
ウン検出手段と、このプルダウン検出手段によりインタ
ーレース映像信号がプルダウンによってインターレース
に変換されたインターレース映像信号であると検出され
たとき、注目フィールドとこの注目フィールドの1フィ
ールド後のフィールドである後フィールドとが共通のフ
レーム画像となっている第1の状態であるか、注目フィ
ールドと注目フィールドの1フィールド前のフィールド
である前フィールドとが共通のフレーム画像となってい
る第2の状態であるかを判定する判定手段と、注目フィ
ールドと後フィールドと前フィールドそれぞれの信号が
入力され、第1の状態と、第2の状態と、プルダウン検
出手段によって前記インターレース映像信号がプルダウ
ンによってインターレースに変換されたインターレース
映像信号ではないと検出された第3の状態とに応じて、
動き検出方法を切り換えて動き検出する動き検出回路と
を備えて構成したので、プルダウンによってインターレ
ースに変換されたインターレース映像信号に部分的また
は一時的な規則パターン外れがある場合に、適切な動き
検出信号を出力することができる。
【0053】また、本発明の順次走査変換装置は、イン
ターレース映像信号が所定のフレームレートを有するフ
レーム画像からプルダウンによってインターレースに変
換されたインターレース映像信号であるか否かを検出す
るプルダウン検出手段と、このプルダウン検出手段によ
りインターレース映像信号がプルダウンによってインタ
ーレースに変換されたインターレース映像信号であると
検出されたとき、注目フィールドとこの注目フィールド
の1フィールド後のフィールドである後フィールドとが
共通のフレーム画像となっている第1の状態であるか、
注目フィールドと前記注目フィールドの1フィールド前
のフィールドである前フィールドとが共通のフレーム画
像となっている第2の状態であるかを判定する判定手段
と、注目フィールドの信号を用いてフィールド内補間信
号を生成するフィールド内補間手段と、第1の状態のと
き、注目フィールドに対する後フィールドの信号を用い
て、第1のフィールド間補間信号を生成し、第2の状態
のとき、注目フィールドに対する前フィールドの信号を
用いて、第2のフィールド間補間信号を生成するフィー
ルド間補間手段と、注目フィールドと後フィールドと前
フィールドそれぞれの信号が入力され、第1の状態と、
第2の状態と、プルダウン検出手段によってインターレ
ース映像信号がプルダウンによってインターレースに変
換されたインターレース映像信号ではないと検出された
第3の状態とに応じて、動き検出方法を切り換えて動き
検出し、動き検出信号を出力する動き検出回路と、フィ
ールド内補間回路の出力とフィールド間補間回路の出力
とを動き検出信号に応じて混合または切り換えて出力す
る補間信号出力手段とを備えて構成したので、プルダウ
ンによってインターレースに変換されたインターレース
映像信号に部分的または一時的な規則パターン外れがあ
る場合でも、誤補間なく良好に順次走査変換することが
できる。
【図面の簡単な説明】
【図1】本発明の一実施形態を示すブロック図である。
【図2】図1中の動き検出回路5の具体的構成例を示す
ブロック図である。
【図3】図1中の動き検出回路5の他の具体的構成例を
示すブロック図である。
【図4】図2の動作を説明するための波形図である。
【図5】順次走査変換のための走査線補間の概略を説明
するための図である。
【図6】走査線補間の具体的方法を説明するための図で
ある。
【図7】2−3プルダウンとその場合の順次走査変換を
説明するための図である。
【符号の説明】
3 動画補間回路(フィールド内補間手段) 4 パターン検出回路(プルダウン検出手段,判定手
段) 5 動き検出回路 6 選択回路(フィールド間補間手段) 7 混合回路(補間信号出力手段) 9,57 選択回路 21,22 フィールドメモリ 50,52 フィールド差分検出回路(フィールド間動
き検出部) 51 フレーム差分検出回路(フレーム間動き検出部) 57 選択回路(動き検出信号出力部) 58 最小値演算回路(動き検出信号出力部) 81,82 倍速処理回路

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】インターレース映像信号の動きを検出する
    動き検出装置において、 前記インターレース映像信号が所定のフレームレートを
    有するフレーム画像からプルダウンによってインターレ
    ースに変換されたインターレース映像信号であるか否か
    を検出するプルダウン検出手段と、 前記プルダウン検出手段により前記インターレース映像
    信号がプルダウンによってインターレースに変換された
    インターレース映像信号であると検出されたとき、注目
    フィールドとこの注目フィールドの1フィールド後のフ
    ィールドである後フィールドとが共通のフレーム画像と
    なっている第1の状態であるか、前記注目フィールドと
    前記注目フィールドの1フィールド前のフィールドであ
    る前フィールドとが共通のフレーム画像となっている第
    2の状態であるかを判定する判定手段と、 前記注目フィールドと前記後フィールドと前記前フィー
    ルドそれぞれの信号が入力され、前記第1の状態と、前
    記第2の状態と、前記プルダウン検出手段によって前記
    インターレース映像信号がプルダウンによってインター
    レースに変換されたインターレース映像信号ではないと
    検出された第3の状態とに応じて、動き検出方法を切り
    換えて動き検出する動き検出回路とを備えて構成したこ
    とを特徴とする動き検出装置。
  2. 【請求項2】前記動き検出回路は、 前記注目フィールドと前記後フィールドとの差分に基づ
    いて動き検出する第1のフィールド間動き検出部と、 前記注目フィールドと前記前フィールドとの差分に基づ
    いて動き検出する第2のフィールド間動き検出部と、 前記前フィールドと前記後フィールドとの差分に基づい
    て動き検出するフレーム間動き検出部と、 前記第1の状態のとき、前記第1のフィールド間動き検
    出部の出力が前記第2のフィールド間動き検出部の出力
    より大であれば、前記第1のフィールド間動き検出部の
    出力と前記第2のフィールド間動き検出部の出力との差
    分を動き検出信号として出力し、前記第2の状態のと
    き、前記第2のフィールド間動き検出部の出力が前記第
    1のフィールド間動き検出部の出力より大であれば、前
    記第2のフィールド間動き検出部の出力と前記第1のフ
    ィールド間動き検出部の出力との差分を動き検出信号と
    して出力し、前記第3の状態のとき、前記フレーム間動
    き検出部の出力を動き検出信号として出力する動き検出
    信号出力部とを有することを特徴とする請求項1記載の
    動き検出装置。
  3. 【請求項3】前記動き検出回路は、 前記注目フィールドと前記後フィールドとの差分に基づ
    いて動き検出する第1のフィールド間動き検出部と、 前記注目フィールドと前記前フィールドとの差分に基づ
    いて動き検出する第2のフィールド間動き検出部と、 前記前フィールドと前記後フィールドとの差分に基づい
    て動き検出するフレーム間動き検出部と、 前記第1の状態のとき、前記第1のフィールド間動き検
    出部の出力が前記第2のフィールド間動き検出部の出力
    より大なるときの前記第1のフィールド間動き検出部の
    出力と前記第2のフィールド間動き検出部の出力との差
    分と、前記フレーム間動き検出部の出力との小なる方を
    動き検出信号として出力し、前記第2の状態のとき、前
    記第2のフィールド間動き検出部の出力が前記第1のフ
    ィールド間動き検出部の出力より大なるときの前記第2
    のフィールド間動き検出部の出力と前記第1のフィール
    ド間動き検出部の出力との差分と、前記フレーム間動き
    検出部の出力との小なる方を動き検出信号として出力
    し、前記第3の状態のとき、前記フレーム間動き検出部
    の出力を動き検出信号として出力する動き検出信号出力
    部とを有することを特徴とする請求項1記載の動き検出
    装置。
  4. 【請求項4】インターレース映像信号を順次走査の映像
    信号に変換する順次走査変換装置において、 前記インターレース映像信号が所定のフレームレートを
    有するフレーム画像からプルダウンによってインターレ
    ースに変換されたインターレース映像信号であるか否か
    を検出するプルダウン検出手段と、 前記プルダウン検出手段により前記インターレース映像
    信号がプルダウンによってインターレースに変換された
    インターレース映像信号であると検出されたとき、注目
    フィールドとこの注目フィールドの1フィールド後のフ
    ィールドである後フィールドとが共通のフレーム画像と
    なっている第1の状態であるか、前記注目フィールドと
    前記注目フィールドの1フィールド前のフィールドであ
    る前フィールドとが共通のフレーム画像となっている第
    2の状態であるかを判定する判定手段と、 前記注目フィールドの信号を用いてフィールド内補間信
    号を生成するフィールド内補間手段と、 前記第1の状態のとき、前記注目フィールドに対する前
    記後フィールドの信号を用いて、第1のフィールド間補
    間信号を生成し、前記第2の状態のとき、前記注目フィ
    ールドに対する前記前フィールドの信号を用いて、第2
    のフィールド間補間信号を生成するフィールド間補間手
    段と、 前記注目フィールドと前記後フィールドと前記前フィー
    ルドそれぞれの信号が入力され、前記第1の状態と、前
    記第2の状態と、前記プルダウン検出手段によって前記
    インターレース映像信号がプルダウンによってインター
    レースに変換されたインターレース映像信号ではないと
    検出された第3の状態とに応じて、動き検出方法を切り
    換えて動き検出し、動き検出信号を出力する動き検出回
    路と、 前記フィールド内補間回路の出力と前記フィールド間補
    間回路の出力とを前記動き検出信号に応じて混合または
    切り換えて出力する補間信号出力手段とを備えて構成し
    たことを特徴とする順次走査変換装置。
  5. 【請求項5】前記動き検出回路は、 前記注目フィールドと前記後フィールドとの差分に基づ
    いて動き検出する第1のフィールド間動き検出部と、 前記注目フィールドと前記前フィールドとの差分に基づ
    いて動き検出する第2のフィールド間動き検出部と、 前記前フィールドと前記後フィールドとの差分に基づい
    て動き検出するフレーム間動き検出部と、 前記第1の状態のとき、前記第1のフィールド間動き検
    出部の出力が前記第2のフィールド間動き検出部の出力
    より大であれば、前記第1のフィールド間動き検出部の
    出力と前記第2のフィールド間動き検出部の出力との差
    分を動き検出信号として出力し、前記第2の状態のと
    き、前記第2のフィールド間動き検出部の出力が前記第
    1のフィールド間動き検出部の出力より大であれば、前
    記第2のフィールド間動き検出部の出力と前記第1のフ
    ィールド間動き検出部の出力との差分を動き検出信号と
    して出力し、前記第3の状態のとき、前記フレーム間動
    き検出部の出力を動き検出信号として出力する動き検出
    信号出力部とを有することを特徴とする請求項4記載の
    順次走査変換装置。
  6. 【請求項6】前記動き検出回路は、 前記注目フィールドと前記後フィールドとの差分に基づ
    いて動き検出する第1のフィールド間動き検出部と、 前記注目フィールドと前記前フィールドとの差分に基づ
    いて動き検出する第2のフィールド間動き検出部と、 前記前フィールドと前記後フィールドとの差分に基づい
    て動き検出するフレーム間動き検出部と、 前記第1の状態のとき、前記第1のフィールド間動き検
    出部の出力が前記第2のフィールド間動き検出部の出力
    より大なるときの前記第1のフィールド間動き検出部の
    出力と前記第2のフィールド間動き検出部の出力との差
    分と、前記フレーム間動き検出部の出力との小なる方を
    動き検出信号として出力し、前記第2の状態のとき、前
    記第2のフィールド間動き検出部の出力が前記第1のフ
    ィールド間動き検出部の出力より大なるときの前記第2
    のフィールド間動き検出部の出力と前記第1のフィール
    ド間動き検出部の出力との差分と、前記フレーム間動き
    検出部の出力との小なる方を動き検出信号として出力
    し、前記第3の状態のとき、前記フレーム間動き検出部
    の出力を動き検出信号として出力する動き検出信号出力
    部とを有することを特徴とする請求項4記載の順次走査
    変換装置。
JP2001307240A 2001-10-03 2001-10-03 インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置 Expired - Fee Related JP4055109B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001307240A JP4055109B2 (ja) 2001-10-03 2001-10-03 インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001307240A JP4055109B2 (ja) 2001-10-03 2001-10-03 インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置

Publications (2)

Publication Number Publication Date
JP2003116109A true JP2003116109A (ja) 2003-04-18
JP4055109B2 JP4055109B2 (ja) 2008-03-05

Family

ID=19126737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001307240A Expired - Fee Related JP4055109B2 (ja) 2001-10-03 2001-10-03 インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置

Country Status (1)

Country Link
JP (1) JP4055109B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494469A2 (en) * 2003-06-30 2005-01-05 Kabushiki Kaisha Toshiba Television receiver and control method thereof
EP1599042A2 (en) * 2004-05-18 2005-11-23 Sony Corporation Image processing device and image processing method
KR100594780B1 (ko) 2004-10-09 2006-06-30 삼성전자주식회사 영상변환 장치 및 그 방법
WO2008120273A1 (ja) * 2007-03-29 2008-10-09 Fujitsu Limited 合成映像検出装置及び合成映像検出方法
US7499102B2 (en) 2004-10-08 2009-03-03 Samsung Electronics Co., Ltd. Image processing apparatus using judder-map and method thereof
JP2010509845A (ja) * 2006-11-08 2010-03-25 マーベル ワールド トレード リミテッド 高解像度ビデオおよび標準解像度ビデオ用の高機能デインターレーサ
US7705914B2 (en) 2005-05-31 2010-04-27 Kabushiki Kaisha Toshiba Pull-down signal detection apparatus, pull-down signal detection method and progressive-scan conversion apparatus
US8013935B2 (en) 2006-02-28 2011-09-06 Kabushiki Kaisha Toshiba Picture processing circuit and picture processing method
KR101331709B1 (ko) * 2006-12-29 2013-11-20 포항공과대학교 산학협력단 액정 표시장치의 구동 회로

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7268828B2 (en) 2003-06-30 2007-09-11 Kabushiki Kaisha Toshiba Television receiver and control method thereof for displaying video signals based on different television modes
EP1494469A2 (en) * 2003-06-30 2005-01-05 Kabushiki Kaisha Toshiba Television receiver and control method thereof
EP1494469A3 (en) * 2003-06-30 2007-09-19 Kabushiki Kaisha Toshiba Television receiver and control method thereof
US7379120B2 (en) 2004-05-18 2008-05-27 Sony Corporation Image processing device and image processing method
EP1599042A3 (en) * 2004-05-18 2007-11-07 Sony Corporation Image processing device and image processing method
EP1599042A2 (en) * 2004-05-18 2005-11-23 Sony Corporation Image processing device and image processing method
US7499102B2 (en) 2004-10-08 2009-03-03 Samsung Electronics Co., Ltd. Image processing apparatus using judder-map and method thereof
KR100594780B1 (ko) 2004-10-09 2006-06-30 삼성전자주식회사 영상변환 장치 및 그 방법
US7705914B2 (en) 2005-05-31 2010-04-27 Kabushiki Kaisha Toshiba Pull-down signal detection apparatus, pull-down signal detection method and progressive-scan conversion apparatus
US8013935B2 (en) 2006-02-28 2011-09-06 Kabushiki Kaisha Toshiba Picture processing circuit and picture processing method
JP2010509845A (ja) * 2006-11-08 2010-03-25 マーベル ワールド トレード リミテッド 高解像度ビデオおよび標準解像度ビデオ用の高機能デインターレーサ
KR101331709B1 (ko) * 2006-12-29 2013-11-20 포항공과대학교 산학협력단 액정 표시장치의 구동 회로
WO2008120273A1 (ja) * 2007-03-29 2008-10-09 Fujitsu Limited 合成映像検出装置及び合成映像検出方法

Also Published As

Publication number Publication date
JP4055109B2 (ja) 2008-03-05

Similar Documents

Publication Publication Date Title
JP4253327B2 (ja) 字幕検出装置及び字幕検出方法ならびにプルダウン信号検出装置
KR101462455B1 (ko) 소스 적응식 영상 디인터레이서
US8174614B2 (en) Video signal processing apparatus, video signal processing method, and video signal display apparatus
JP4703267B2 (ja) プルダウン信号検出装置、プルダウン信号検出方法、及び順次走査変換装置
JP2002125201A (ja) インターレース−プログレッシブスキャン変換用動き適応メディアンフィルタ
US20060209207A1 (en) Technique for Determining the Slope of a Field Pixel
JP4772562B2 (ja) プルダウン信号検出装置およびプルダウン信号検出方法並びに順次走査変換装置および順次走査変換方法
US20050018767A1 (en) Apparatus and method for detecting film mode
JP4001110B2 (ja) 走査変換装置
JP2001169252A (ja) 順次走査変換装置及び方法
JP4055109B2 (ja) インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置
US20050018086A1 (en) Image signal detecting apparatus and method thereof capable of removing comb by bad-edit
US7319491B2 (en) Method and apparatus for processing motion information
JP4936857B2 (ja) プルダウン信号検出装置、プルダウン信号検出方法及び順次走査変換装置
US20060033839A1 (en) De-interlacing method
JP4074306B2 (ja) 2−2プルダウン信号検出装置及び2−2プルダウン信号検出方法
US8164687B2 (en) Color difference signal IP conversion method
JP2007074439A (ja) 映像処理装置
JP4236233B2 (ja) 映像信号処理回路
JP3389984B2 (ja) 順次走査変換装置及び方法
JPH07288780A (ja) テレビジョン信号処理方法
JP2002209191A (ja) 映像信号変換装置
JP4175863B2 (ja) 飛び越し走査の動き検出回路及び映像信号処理装置
JP4230903B2 (ja) 映像信号処理装置及び映像信号処理方法
KR0155709B1 (ko) 메디언 필터를 이용한 더블 스캐닝 방법 및 회로

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees