JP3850921B2 - 所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法および装置 - Google Patents

所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法および装置 Download PDF

Info

Publication number
JP3850921B2
JP3850921B2 JP16995296A JP16995296A JP3850921B2 JP 3850921 B2 JP3850921 B2 JP 3850921B2 JP 16995296 A JP16995296 A JP 16995296A JP 16995296 A JP16995296 A JP 16995296A JP 3850921 B2 JP3850921 B2 JP 3850921B2
Authority
JP
Japan
Prior art keywords
color
image signal
signal
foreground image
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16995296A
Other languages
English (en)
Other versions
JPH0918890A (ja
Inventor
ゲールマン ライナー
Original Assignee
ベーテーエス ホールディング インターナショナル ベー ヴィ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベーテーエス ホールディング インターナショナル ベー ヴィ filed Critical ベーテーエス ホールディング インターナショナル ベー ヴィ
Publication of JPH0918890A publication Critical patent/JPH0918890A/ja
Application granted granted Critical
Publication of JP3850921B2 publication Critical patent/JP3850921B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法およびこの方法を実施するための装置に関する。この場合、制御信号に依存して過渡領域における各画像信号間でフェーディング操作が行われ、過渡領域で前景画像信号中に現れている中間色が、前景画像信号の色から背景画像信号の色への移行を成す新たな中間色へ変換され、前記制御信号は、キーカラーの領域では第1の値を有し過渡境界において第2の値に達し、C/C色中心面における過渡境界は、選択度を表す2つの原点通過直線により形成され、該直線はキーカラーのベクトルとそれぞれ1つの角度を成すように構成されている。
【0002】
【従来の技術】
この種の方法は、たとえばドイツ連邦共和国特許出願公開第4229377号公報により公知である。この方法は、混合画像信号のキー領域に現れているキーカラーならびに、前景画像信号とキーカラーとの間に現れている過渡色を分離し、必要に応じてそれらの領域を背景画像信号で置き換えるために用いることができる。その際に問題となるのはとりわけ、過渡色をそのようなものとして適切に識別し、それに応じて抑圧することである。混合画像信号からキーカラーないし過渡色の成分が分離される範囲は、2つの原点通過直線である過渡境界によって形成される。これらの原点通過直線とキーカラーの色位置KCとの間におけるすべての色位置は、キーカラーまたは過渡色とみなされる。キーカラーと過渡色境界との間の領域を除いて、前景画像信号を生成するための混合画像信号からキーカラーの成分が除去される。前記の原点通過直線は、キーカラーKCのベクトルに対しC/C色中心面の角度αを伴って配置されている。その際、このベクトルは、C/C色中心面の原点からキーカラーの色位置KCへと延びている。この場合、ありのままのキーイング結果を得るために重要であるのは、キーカラーKC自体だけでなく、青色へのカラー遷移の際に生じる混合色も適切にキーイングすることでもあり、つまりこの画像領域における混合色からもそれらのキーカラー成分を除去することである。
【0003】
たとえばある画像において赤い前景物体が青い壁の前にあると深紅色の混合色が生じ、これを適切にキーイングする必要があり、つまり新たな背景のために別の過渡色へ変換しなければならない。しかしながらこれと同時に、同じ深紅色が画像中に単なる前景色として存在しているならば、その際にはそれらをキーイングすべきではない。
【0004】
ドイツ連邦共和国特許出願公開第4303348号公報により、混合画像信号から前景画像信号を分離するための方法がすでに知られている。この場合、ただ1つのパラメータつまり角度を用いることで、感度ないし選択度を表す境界直線によって境界色度全体が規定される。これはキーカラーKCにほとんど制約されないものとされており、それらの過渡色に関して捕捉することができる。そしてこのことで色中心面C/Cのすべての色位置に関するキー特性を著しく迅速に(ピクセルごとに)変えることができ、これは色中心面全体に関するキーテーブル算出のためのビルトアップ時間を必要とすることなく行われる。
【0005】
【発明が解決しようとする課題】
本発明の課題は、冒頭で述べた形式の方法および装置において、カラーキーイングに際して前景画像信号の特定の色が、キーカラーへの過渡領域における画像信号の同じ色とは別個に処理されるように構成することにある。
【0006】
【課題を解決するための手段および利点】
本発明によればこの課題は、制御信号(k)に依存して過渡領域における各画像信号間でフェーディング操作が行われ、過渡領域で前景画像信号中に現れている中間色が、前景画像信号の色から背景画像信号の色への移行を成す新たな中間色へ変換され、前記制御信号(k)は、キーカラーの領域では第1の値を有し過渡境界において第2の値に達し、C /C 色中心面における過渡境界は、選択度を表す2つの原点通過直線により形成され、該直線はキーカラー(KC)のベクトルとそれぞれ1つの角度(α ないしα )を成すように構成されている、所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法において、選択度を表す前記2つの原点通過直線(SEL およびSEL )は、1つのフレーム期間内で前記の角度(α およびα )を変えることで、前記前景画像内の異なる領域でまたは前記背景画像内の異なる領域で切り換え可能であり、選択度の切り換えは、1つのフレーム期間内で前記前景画像内の異なる領域でまたは前記背景画像内の異なる領域で切り換え可能なマスク信号により制御されることにより解決される。
【0007】
本発明による方法および装置の有する利点は、画像信号のキーイングないしキーカラーの除去が画像領域に応じてそれぞれ異なる感度ないし選択度によって行われることであり、このような感度ないし選択度はクロマ角度αで簡単に記述できる。
【0008】
本発明による方法および装置によれば、感度ないし選択度を表す原点通過直線の調整ないし位置替えは、1つのフレーム期間中にマスク信号を用いて角度αおよびαを切り換えることで簡単にかつ有利に行われる。
【0009】
従属請求項に記載の構成により、主請求項に記載の本発明の有利な実施形態が可能である。
【0010】
次に、図面を参照しながら本発明の実施例について詳細に説明する。
【0011】
【発明の実施の形態】
図1による再生画像の場合、1つの赤色の物体と1つの深紅色の物体が青色の壁の前にそれぞれ青色への過渡色を伴って同時に存在しているものとする。人物の髪における深紅色の赤遷移が適切にキーイングされるようにし、かつ服における同じ深紅色には影響が及ぼされないようにするためにはたとえば、過渡色を有するすべてのピクセルを含む赤い物体(髪)の周囲の領域に対し角度αROTの選択度を割り当てる必要がある。このことで、赤い色はもはやキーイングされなくなるが、深紅色の過渡色は著しく良好にキーイングされるようになる。これに応じて、深紅色の物体(服)周囲の領域に対し選択角度αPRPを割り当てる必要があり、その結果、ここでは深紅色がキーイング過程から除かれ、青色への深紅色遷移だけが考慮されるようになる(図2参照)。
【0012】
選択角度αは常に、隣接する純粋な前景色のクロマ角度である。選択度の選定は実質的に、過渡色に対してのみ重要である。原点通過直線を越えて位置する前景色はいかなる場合でもキーイングされない。生じるすべての純粋な前景色は原点通過直線を越えて位置するという前提条件のもとで、前景物体内における選択度の切り換えは目立たないままである。同様に、切り換えプロセスに近い該当するすべての色が実際にキーカラー直線上つまりR軸上にあるかぎり、純粋なキーカラー領域内の選択度の切り換えも目立たないままである。この直線上の色位置から原点通過直線へのベクトル距離測定はすべて、この特別な事例の場合には原点に対して行われ、したがって原点通過直線の旋回角度とは無関係のままである。1つのフレームないし1つのフレーム期間中の選択度をダイナミックに切り換えることで、両方の色遷移に最適な処理が保証される。
【0013】
図3ではこれら両方のことが想定されており、選択度を表す原点通過直線SELとSEL、ならびにC/C色中心面におけるキーカラーKCに対するそれらの個々の角度αおよびαが書き込まれている。通常の場合には当然、右旋回の角度αも常に負の半平面に規定されていなければならないが、ここでは見やすくするためそれについては省略した。
【0014】
図4に示されているC/C成分の色中心面は新たな座標系R/Sへと旋回されており、この場合、R軸はキーカラーKCのベクトルの方向を指している。
【0015】
このRS座標系は、ベクトルKC距離Dを求めるのにとりわけ適している。正の半平面における任意の点Pから選択度直線SELへの絶対的なベクトルKC距離Dは、図2にしたがって以下のようにして記述される。
【0016】
距離Dは点PのR座標Rであり、点PのS値Sにおいて選択度直線SELのR座標RSELだけ短くなっている。したがってRSELは角度Wのタンジェントにより得られる(ここでW=90゜−αL):
=R−RSEL=R−S*tan(W) (1)
制御信号kは点Pの相対的な距離として規定されており、つまりDもキーカラーの最大距離DKC自体に対して相対化する必要がある:
k=D/DKC=(R−S*tan(W))/DKC (2)
したがってkの算出は比較的簡単である。すなわち、1つのピクセルPにおけるダイナミックな座標R,Sとの依存性ならびにDKCとのスタティックな依存性のほかには、上記で規定された角度のタンジェントtan(W)による選択度との可変ないし切り換え可能な依存性しかない。この関連で、1つの色点が負の切換平面にあるならば、角度WをパラメータWと置き換える必要がある(ここでWR=−90゜−α)。
【0017】
このように、制御信号kはスムースな移行を伴って値1と0の間をとる。DのベクトルがベクトルDKCと同じ値をとれば、制御信号kは値1になる。これは、色空間における任意のピクセルが過渡境界に対しキーカラーKCと同じベクトル距離を有する場合である。このピクセルは前景画像信号の分離に際して完全に抑圧される。それというのは、このピクセルはおそらくキーカラーKCに割り当てられることになるからである。同じことは、C/C色中心面の原点からキーカラーKCまでの直線上にある色位置のすべてのピクセルについてもあてはまる。
【0018】
この直線から離れた色位置をとるピクセルからもたしかにそれらのKC成分が除かれるが、過渡境界上に位置する残りの色成分はそのまま保持される。この種のピクセルを過渡境界SELないしSELKへ近似させることにより、値DはベクトルDKCよりもますます小さくなるので、制御信号kもいちだんといっそう小さい値をとることになり、これは最終的に境界SELないしSELのところで値0に達する。したがってこの過渡領域において、キーカラーKCにおけるますます小さくなる成分がいちだんと抑圧され、その結果、最終的に境界SELないしSELのところでは、ないしはこれらの境界を越えたところでは、色成分KCの抑圧はもはや行われない。
【0019】
図5には上述の式の計算を実行する回路が示されている。座標変換回路1へ前景クロマ信号CとCが供給されてR/Sによる座標の旋回が行われ、その結果、キーカラーKCはそれに応じてR座標上に配置されることになる。次に、座標変換回路1で生成された座標RないしSは一方ではそのまま、あるいは乗算器2を介して加算器3の入力側へ導かれ、その際、乗算器2においてS信号が角度Wの負のタンジェント値と乗算される。そして加算器3の出力側からピクセルPの距離信号Dを取り出すことができる。この信号は次に別の乗算器4においてキーカラーDKCの逆数と乗算され、その結果、乗算器4の出力側5から上述の式(2)による制御信号kを取り出すことができる。
【0020】
図6に示されている本発明による方法を実施するための回路は、図5による回路の主となる信号処理については基本的に同じであり、この場合、同じ素子には同じ参照符号が付されている。本質的な相違点は、タンジェント角度信号WおよびWをマスク信号SEL−MASKを用いて処理することであって、つまり左側の選択度直線と右側の選択度直線または原点通過直線との間における選択度および切換特性のマスクが可能な点である。慣用のキーマスキングの場合に通例行われているようにして、選択度マスク信号が生成され選定される。しかしここでは1bitの信号で十分であり、この信号の0の状態はたとえば選択値0に対応し(SELL0およびSELR0)、1の状態は選択値1に対応する(SELL1およびSELR1)。これら両方の値はまずはじめに手動でまたは自動的に調整され、たとえばディジタル信号プロセッサ6によりタンジェント角度に換算されて、その出力側から供給される。次にこれらの信号がメモリブロック7,7′および8,8′から呼び出され、その際、上記の両方の値のうち目下の時点ではいずれが有効であるかについて、マスク信号SEL−MASKの状態によって最終的に判定される。この目的で、マスク信号はスイッチ9の制御入力側へ導かれ、これによってそれぞれブロック7,8ないしブロック7′,8′の出力側がスイッチ9の出力側と接続される。これらの出力側は別のスイッチ10と接続されており、このスイッチはS座標の極性符号信号によって切り換えられる。その際、ピクセルP(S)のS値の極性符号から、まえもって選定された選択値において左旋回している選択直線SELを用いるのか右旋回している選択直線SELを用いるのかについて判定される。つまり、ピクセルが正の半平面にあるのか負の半平面にあるのかについて判定される。
【図面の簡単な説明】
【図1】それぞれ異なるキー領域を説明するためにテレビジョンスクリーンの画像を示した図である。
【図2】それぞれ異なるキー領域を説明するためにテレビジョンスクリーンの画像を示した図である。
【図3】キー領域を説明するためにそれに関連するC/C色中心面を相応の原点通過直線とともに示す図である。
【図4】C/C色中心面を旋回された座標系R/Sで示した図である。
【図5】本発明による方法にしたがって制御信号kを生成するための1つの実施例のブロック回路図である。
【図6】本発明による方法にしたがって制御信号kを生成するための別の実施例のブロック回路図である。
【符号の説明】
1 座標変換回路
2,4 乗算器
7,7′,8,8′ メモリブロック
9,10 スイッチ

Claims (7)

  1. 所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法であって、
    制御信号(k)に依存して過渡領域における各画像信号間でフェーディング操作が行われ、
    過渡領域で前景画像信号中に現れている中間色が、前景画像信号の色から背景画像信号の色への移行を成す新たな中間色へ変換され、
    前記制御信号(k)は、キーカラーの領域では第1の値を有し過渡境界において第2の値に達し、
    /C色中心面における過渡境界は、選択度を表す2つの原点通過直線により形成され、該直線はキーカラー(KC)のベクトルとそれぞれ1つの角度(αないしα)を成すように構成されている、
    所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法において、
    選択度を表す前記2つの原点通過直線(SELおよびSEL)は、1つのフレーム期間内で前記の角度(αおよびα)を変えることで、前記前景画像内の異なる領域でまたは前記背景画像内の異なる領域で切り換え可能であり、
    選択度の切り換えは、1つのフレーム期間内で前記前景画像内の異なる領域でまたは前記背景画像内の異なる領域で切り換え可能なマスク信号により制御されることを特徴とする、
    所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法。
  2. 前記マスク信号は1bitの信号である、請求項1記載の方法。
  3. 前記角度(αおよびα)の代わりに、原点通過直線と変換された座標軸(R,S)との間における前記角度の余角(W,W)が、式W=90゜−αおよびW=−90゜−αにしたがって切り換えのために用いられる、請求項1記載の方法。
  4. 処理すべきピクセルがR/S座標系における正の半平面にあれば、角度(W)を有する選択度原点通過直線(SEL)が用いられ、処理すべきピクセルがR/S座標系の負の半平面にあれば、角度(W)を有する選択度原点通過直線(SEL)が用いられる、請求項3記載の方法。
  5. 前記制御信号(k)は一般式
    k=D/DKC=(R−S*tan(W))/DKC
    にしたがって生成され、ここでW=WまたはWである、請求項3記載の方法。
  6. 所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する回路装置であって、
    制御信号(k)に依存して過渡領域における各画像信号間でフェーディング操作が行われ、
    過渡領域で前景画像信号中に現れている中間色が、前景画像信号の色から背景画像信号の色への移行を成す新たな中間色へ変換され、
    前記制御信号(k)は、キーカラーの領域では第1の値を有し過渡境界において第2の値に達し、
    /C色中心面における過渡境界は、選択度を表す2つの原点通過直線により形成され、該直線はキーカラー(KC)のベクトルとそれぞれ1つの角度(αないしα)を成し、
    選択度を表す前記原点通過直線(SELおよびSEL)は、1つのフレーム期間内で前記の角度(αおよびα)を変えることで、前記前景画像内の領域間でまたは前記背景画像内の領域間で切り換え可能であり、
    選択度の切り換えは、1つのフレーム期間内で前記前景画像内の異なる領域でまたは前記背景画像内の異なる領域で切り換え可能なマスク信号により制御されるように構成されている、
    所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する回路装置において、
    座標変換回路(1)が設けられており、該座標変換回路(1)は色信号(C,C)を受信し、該座標変換回路(1)は変換された座標信号(R,S)を出力側から送出し、キーカラー(KC)の色位置はR軸上に位置し、
    加算器(3)が設けられており、該加算器(3)は前記座標信号(R)と、角度(WR/L)の負のタンジェント値により乗算された座標信号とを受信し、
    前記加算器(3)の出力側は乗算器(4)の一方の入力側と接続されており、該乗算器(4)の他方の入力側へキーカラーベクトル(DKC)の値の逆数が加えられ、
    前記乗算器(4)の出力側(5)から制御信号(k)が取り出され、
    角度(WおよびW)の負のタンジェント値は、信号プロセッサ(6)により生成され、マスク信号を用いることで1つのフレーム期間内でスイッチ(9)により前記前景画像内の異なる領域でまたは前記背景画像内の異なる領域で切り換えられることを特徴とする、
    所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する回路装置。
  7. 別のスイッチ(10)が設けられており、該スイッチは座標信号(S)の極性符号により制御され、C/C色中心面における処理すべきピクセルの配置に応じて、角度Wのタンジェントまたは角度Wのタンジェントと乗算器(2)の別の入力側との結合が行われる、請求項6記載の装置。
JP16995296A 1995-06-28 1996-06-28 所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法および装置 Expired - Fee Related JP3850921B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19523438.3 1995-06-28
DE19523438A DE19523438B4 (de) 1995-06-28 1995-06-28 Verfahren zur Einblendung eines Hintergrund-Bildsignals in Teile eines Vordergrund-Bildsignals und Schaltung zur Durchführung dieses Verfahrens

Publications (2)

Publication Number Publication Date
JPH0918890A JPH0918890A (ja) 1997-01-17
JP3850921B2 true JP3850921B2 (ja) 2006-11-29

Family

ID=7765426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16995296A Expired - Fee Related JP3850921B2 (ja) 1995-06-28 1996-06-28 所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法および装置

Country Status (4)

Country Link
US (1) US5708479A (ja)
JP (1) JP3850921B2 (ja)
DE (1) DE19523438B4 (ja)
GB (1) GB2302774B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19639355B4 (de) * 1996-09-25 2006-05-04 Bts Holding International Bv Verfahren und Anordnung zum Farbstanzen
US5937104A (en) * 1997-09-19 1999-08-10 Eastman Kodak Company Combining a first digital image and a second background digital image using a key color control signal and a spatial control signal
JP3057055B2 (ja) * 1998-07-21 2000-06-26 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ、オーバーレイ処理装置、及びオーバーレイ処理実施方法
GB2405067B (en) * 2003-08-01 2008-03-12 Caladrius Ltd Blending a digital image cut from a source image into a target image
US7508455B2 (en) * 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
GB0508073D0 (en) * 2005-04-21 2005-06-01 Bourbay Ltd Automated batch generation of image masks for compositing
GB0510792D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Assisted selections with automatic indication of blending areas
GB0510793D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Segmentation of digital images
US20090003698A1 (en) * 2007-04-26 2009-01-01 Heligon Limited Segmentaton of digital images
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4229377B4 (de) * 1992-09-03 2006-03-23 Bts Holding International Bv Farbstanzverfahren für Bildsignale
DE4303348B4 (de) * 1993-02-05 2006-03-30 Bts Holding International Bv Verfahren zur Abtrennung eines Vordergrund-Bildsignals aus einem Misch-Bildsignal sowie Anordnung zur Durchführung des Verfahrens

Also Published As

Publication number Publication date
US5708479A (en) 1998-01-13
JPH0918890A (ja) 1997-01-17
DE19523438B4 (de) 2006-03-30
GB9613232D0 (en) 1996-08-28
GB2302774A (en) 1997-01-29
GB2302774B (en) 2000-02-09
DE19523438A1 (de) 1997-01-02

Similar Documents

Publication Publication Date Title
JP3850921B2 (ja) 所定のキーカラーにより定められた前景画像信号の一部分へ背景画像信号を挿入する方法および装置
US6026179A (en) Digital video processing
US5850471A (en) High-definition digital video processing system
JP3456818B2 (ja) 色調補正装置
JP3450022B2 (ja) 背景信号を前景信号の部分にはめ込む制御信号を取出す方法及び装置
US7098962B2 (en) Special effect image generating apparatus
US6075887A (en) High definition color modification
JP2001128186A (ja) 画像処理装置
JPH1023267A (ja) 画像のシャープネス処理装置
JP3616680B2 (ja) クロマキー方法およびキーイング関数を求める回路装置
US5382980A (en) Method of and arrangement for inserting a background signal into parts of a foreground signal fixed by a predetermined key color
JP3564333B2 (ja) 色補正装置
US5574513A (en) Color selection aperture correction circuit
JP3698448B2 (ja) 色検出回路、色検出回路を具えたカメラおよび所望の色を自動的に選択する方法
GB2283384A (en) High definition colour correction for use in telecine
JPH08191458A (ja) クロマキャンセルキー発生回路
JPH02253380A (ja) 画像処理装置
JPH0148715B2 (ja)
JPH0417474A (ja) 画像処理装置
JP2000354252A (ja) 色相判別回路
GB2168564A (en) Improvements in or relating to keying of video signals
KR19980040687A (ko) 컬러 원도우를 이용한 색도 키잉 장치
JPH0448033B2 (ja)
JP2002027244A (ja) 画像処理装置および画像処理方法
JPH0746626A (ja) 前景信号の一部に背景信号を挿入する方法及びその装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050713

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051007

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060605

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060831

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees