JP4578326B2 - 地上波デジタル放送受信機 - Google Patents

地上波デジタル放送受信機 Download PDF

Info

Publication number
JP4578326B2
JP4578326B2 JP2005160318A JP2005160318A JP4578326B2 JP 4578326 B2 JP4578326 B2 JP 4578326B2 JP 2005160318 A JP2005160318 A JP 2005160318A JP 2005160318 A JP2005160318 A JP 2005160318A JP 4578326 B2 JP4578326 B2 JP 4578326B2
Authority
JP
Japan
Prior art keywords
picture
idr picture
decoding
received
idr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005160318A
Other languages
English (en)
Other versions
JP2006339880A (ja
Inventor
利博 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2005160318A priority Critical patent/JP4578326B2/ja
Publication of JP2006339880A publication Critical patent/JP2006339880A/ja
Application granted granted Critical
Publication of JP4578326B2 publication Critical patent/JP4578326B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

この発明は、地上波デジタル放送受信機に関する。
地上波デジタル放送受信機においては、放送波の受信状況が悪い場合には、ノイズを多く含んだ見るに耐えない映像が表示されたり、コマ飛びを起こしてしまう可能性がある。これは、受信したTS(放送データ)にノイズが含まれている、若しくはTSを受信できないことに起因している。
ノイズを含んだTSを用いてデコードを行なうと、崩れたフレームが作成される。また、TSを受信できなければ、映像のデコードを行なうことができない。そこで、本発明者は、受信状況が悪化し、TSを適切に受信できない場合に、過去に受信したTSの一部を用いて、映像をデコードする方法を提案する。
特開平10−336674号公報 特開2004−112654号公報
この発明は、参照ピクチャを受信できなかった場合にも、デコードが可能となる地上波デジタル放送受信機を提供することを目的とする。
請求項1に記載の発明は、単独でデコード可能なIDRピクチャと、IDRピクチャを含めた複数のピクチャを用いてデコードされるnon_IDRピクチャとからなる映像データが送られてくる地上波デジタル放送受信機において、non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのIDRピクチャが受信されなかった場合には、最新に受信されたIDRピクチャを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成するデコード手段を備えていることを特徴とする。
請求項2に記載の発明は、単独でデコード可能なIDRピクチャと、IDRピクチャを含めた複数のピクチャを用いてデコードされるnon_IDRピクチャとからなる映像データが送られてくる地上波デジタル放送受信機において、non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのIDRピクチャが受信されなかった場合には、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であるか否かを判別する判別手段、判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であると判別された場合には、最新に受信されたIDRピクチャを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第1のデコード手段、ならびに判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間より長いと判別された場合には、最新のデコード処理によって得られたフレームデータを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第2のデコード手段を備えていることを特徴とする。
請求項3に記載の発明は、単独でデコード可能なIDRピクチャと、IDRピクチャを含めた複数のピクチャを用いてデコードされるnon_IDRピクチャとからなる映像データが送られてくる地上波デジタル放送受信機において、non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのnon_IDRピクチャが受信されなかった場合には、受信されなかったnon_IDRピクチャより時間的に前に受信されたnon_IDRピクチャのうち最新に受信されたnon_IDRピクチャを、受信されなかったnon_IDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第1のデコード手段、non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのIDRピクチャが受信されなかった場合には、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であるか否かを判別する判別手段、判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であると判別された場合には、最新に受信されたIDRピクチャを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第2のデコード手段、ならびに判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間より長いと判別された場合には、最新のデコード処理によって得られたフレームデータを、受信されなかったIDR ピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第3のデコード手段を備えていることを特徴とする。
請求項4に記載の発明は、請求項1〜3のうちのいずれかに記載の発明において、上記参照ピクチャ欠落時用のフレームデータと、当該参照ピクチャ欠落時用のフレームデータの1つ前に表示されるフレームデータとの差分を算出し、算出した差分値が所定の閾値以下であるか否かを判別する手段、および差分値が所定の閾値以下である場合には、当該参照ピクチャ欠落時用のフレームデータを表示させると判定し、差分値が所定の閾値以上である場合には、当該参照ピクチャ欠落時用のフレームデータを表示させないと判定する手段を備えていることを特徴とする。
請求項5に記載の発明は、請求項〜4のうちのいずれかに記載の発明において、non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、2以上の参照ピクチャが受信されなかった場合には、デコード対象がデコードされないことを特徴とする。
この発明によれば、参照ピクチャを受信できなかった場合にも、デコードが可能となる。
以下、図面を参照して、この発明の実施例について説明する。
〔1〕映像の符号化方式についての説明
移動体端末のための地上波デジタル放送では、映像の圧縮方式にH.264/AVC(MPEG4 part10)(以下、H.264 という) 方式が用いられている。H.264 方式は、MPEG方式の映像圧縮技術の1つである。MPEG方式では、映像は、フレームの連続表示により実現されている。ただし、映像を構成する全フレームを無圧縮で送信しようとすると、送信すべきデータの容量が非常に大きくなるという問題が生じる。もちろん放送の帯域は限られており、無圧縮での送信は非現実的である。
そこで、地上波デジタル放送では、各フレームを圧縮して送信するMPEG方式が採用されている。その中でもH.264 方式は、高圧縮な符号化が可能な方式である。H.264 方式で用いられるピクチャは、図1に示すように、IDR ピクチャとnon _IDR ピクチャとの2つに分類される。図1においては、P1〜P4、P6〜P9がnon _IDR ピクチャであり、P5がIDR ピクチャである。IDR ピクチャは、単独でデコード可能なピクチャである。地上波デジタル放送の運用では、IDR の送信間隔は2秒〜5秒と定められている。non _IDR ピクチャは単独でデコードすることはできず、IDR ピクチャを含めた複数のピクチャ(参照ピクチャ)を用いてデコードされる。
〔2〕本発明の考え方についての説明
(1)参照するnon _IDR ピクチャが取得できなかった場合
図2に示すように、non _IDR ピクチャP9をデコードする際に用いるべき参照ピクチャのうち、non _IDR ピクチャP7を取得できなかった場合を想定する。この場合には、取得できなかったnon _IDR ピクチャP7より時間的に前に取得しているnon _IDR ピクチャのうち、最新に取得したnon _IDR ピクチャP6を、取得できなかったnon _IDR ピクチャP7の代わりに用いて、non _IDR ピクチャP9をデコードする。
(2)参照するIDR ピクチャが取得できなかった場合(その1)
図3に示すように、non _IDR ピクチャP19 をデコードする際に用いるべき参照ピクチャのうち、IDR ピクチャP17 を取得できなかった場合を想定する。この場合には、最新に取得したIDR ピクチャP12 を、取得できなかったIDR ピクチャP17 の代わりに用いて、non _IDR ピクチャP19 をデコードする。ただし、IDR ピクチャP12 を取得してから現在までの経過時間が所定時間より大きい場合には、後述する(3)の方法によりデコードを行なう。
(3)参照するIDR ピクチャが取得できなかった場合(その2)
図4に示すように、non _IDR ピクチャP25 をデコードする際に用いるべき参照ピクチャのうち、IDR ピクチャP23 を取得できなかった場合を想定する。この場合には、原則的には、最新に取得したIDR ピクチャP12 を、取得できなかったIDR ピクチャP23 の代わりに用いる。
しかしながら、IDR ピクチャP12 を取得してから現在までの経過時間が所定時間より大きい場合には、取得できなかったIDR ピクチャP23 と最新に取得したIDR ピクチャP12 との相関が低いことが予測される。
そこで、このような場合には、以前に取得したIDR ピクチャP12 を参照ピクチャとして用いるのではなく、直前にデコードされたフレームデータF をIDR ピクチャP23 の代わりに用いて、non _IDR ピクチャP25 をデコードする。
上記(1)、(2)または(3)によってデコードが行なわれた場合には、デコードによって得られたフレームデータは、本来のフレームデータでないため、採用するか否か(表示するか否か)の判定を行なった後、採用する(表示する)と判定した場合のみ、そのフレームデータを表示する。
この判定は、上述のデコード処理によって作成されたフレームと、そのフレームの前に表示されるフレームとの差分(フレーム間差分)を算出し、算出結果が所定の閾値より小さい場合には、採用する(表示する)と判定し、算出結果が所定の閾値以上の場合には、採用しない(表示しない)と判定する。フレーム間差分としては、例えば、対応する全てのピクセル間のRGB値の各差分の絶対値の総和が用いられる。
〔3〕地上波デジタル受信機の構成についての説明
図5は、地上波デジタル受信機の構成を示している。
地上波デジタル受信機は、チューナモジュール1、デマックス(DEMUX)2、デコーダ3、参照ピクチャバッファ4、フレームバッファ5、ディスプレイ6およびCPU7を備えている。
チューナモジュール1によってTS(トランスポートストリーム)と呼ばれる放送データを得る。そして、デマックス2により、TSからES( エレメンタリーストリーム) と呼ばれるデータとセクションデータを取り出す。ここで、ESとは、符号化された映像(H.264方式の映像) 、音声、文字のいずれかのデータであり、1 つのTSには複数のESが含まれている。
参照ピクチャバッファ4には、受信した過去所定枚数分のピクチャが保存される。デコーダ3では、デマックス2によって得られた映像をデコードされる。デコーダ3によって得られたフレームデータは、フレームバッファ5に一時的に格納された後、ディスプレイ6に表示される。
CPU7は、各部を制御する。また、CPU7は、デコードの際に用いるべき参照ピクチャを取得できない場合には、それに代わる参照ピクチャ(またはフレームデータ)の取得や、上記(1)、(2)、(3)によってデコードが行なわれた場合の表示/非表示判定等も行なう。
〔4〕 non _IDR ピクチャに対するデコード処理についての説明
図6は、non _IDR ピクチャに対するデコード処理手順を示している。
この処理は、non _IDR ピクチャをデコードしようとする際に実行される。
まず、参照ピクチャが存在しないか否かを判別する(ステップS1)。参照ピクチャが存在する場合には、通常のデコードを行う(ステップS2)。参照ピクチャが存在しない場合(参照ピクチャのうち1の参照ピクチャのみ受信されなかった場合)には、存在しない参照ピクチャがIDR ピクチャであるかnon _IDR ピクチャであるかを判別する(ステップS3)。なお、デコード対象ピクチャのデコードに用いられる複数の参照ピクチャのうち2以上の参照ピクチャが受信されなかった場合には、当該デコード対象ピクチャに対するデコード処理は行なわれない。
存在しない参照ピクチャがnon _IDR ピクチャである場合には、存在しない参照ピクチャより時間的に前に取得したnon _IDR ピクチャであって最も最新に取得したnon _IDR ピクチャを参照ピクチャバッファ4から取得し(ステップS4)、取得したnon _IDR ピクチャを存在しない参照ピクチャ(non _IDR ピクチャ)の代わりに用いて、デコード処理を行なう(ステップS5)。そして、得られたフレームと、そのフレームの前に表示されるフレームとの差分(フレーム間差分)を算出し(ステップS6)、算出結果が所定の閾値より小さいか否かを判別する(ステップS7)。
算出結果が所定の閾値より小さい場合には、デコードによって得られたフレームを表示すると判定する(ステップS8)。そして、今回の処理を終了する。算出結果が所定の閾値以上である場合には、デコードによって得られたフレームを表示しないと判定する(ステップS9)。そして、今回の処理を終了する。
上記ステップS3において、存在しない参照ピクチャがIDR ピクチャであると判別した場合には、最新にIDR ピクチャを受信してからの経過時間(TIME) が所定時間Toより小さいか否かを判別する(ステップS10)。TIME<Toである場合には、最新に受信したIDR ピクチャを参照ピクチャバッファ4から取得し(ステップS11)、取得したIDR ピクチャを存在しない参照ピクチャ(IDR ピクチャ)の代わりに用いて、デコード処理を行なう(ステップS12)。そして、ステップS15に進む。
上記ステップS10において、TIME≧Toであると判別した場合には、最新のデコード処理によって得られたフレームデータをフレームバッファ5から取得し(ステップS13)、取得したフレームデータを存在しない参照ピクチャ(IDR ピクチャ)の代わりに用いて、デコード処理を行なう(ステップS14)。そして、ステップS15に進む。
ステップS15では、ステップS12またはステップS14のデコード処理にって得られたフレームと、そのフレームの前に表示されるフレームとの差分(フレーム間差分を算出する。そして、算出結果が所定の閾値より小さいか否かを判別する(ステップS16)。
算出結果が所定の閾値より小さい場合には、デコードによって得られたフレームを表示すると判定する(ステップS17)。そして、今回の処理を終了する。算出結果が所定の閾値以上である場合には、デコードによって得られたフレームを表示しないと判定する(ステップS18)。そして、今回の処理を終了する。
H.264 方式で用いられるピクチャを示す模式図である。 参照するnon _IDR ピクチャが取得できなかった場合を説明するための模式図である。 参照するIDR ピクチャが取得できなかった場合を説明するための模式図である。 参照するIDR ピクチャが取得できなかった場合を説明するための模式図である。 地上波デジタル受信機の構成を示すブロック図である。 non _IDR ピクチャに対するデコード処理手順を示すフローチャートである。
符号の説明
1 チューナモジュール
2 デマックス(DEMUX)
3 デコーダ
4 参照ピクチャバッファ
5 フレームバッファ
6 ディスプレイ
7 CPU

Claims (5)

  1. 単独でデコード可能なIDRピクチャと、IDRピクチャを含めた複数のピクチャを用いてデコードされるnon_IDRピクチャとからなる映像データが送られてくる地上波デジタル放送受信機において、
    non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのIDRピクチャが受信されなかった場合には、最新に受信されたIDRピクチャを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成するデコード手段を備えていることを特徴とする地上波デジタル放送受信機。
  2. 単独でデコード可能なIDRピクチャと、IDRピクチャを含めた複数のピクチャを用いてデコードされるnon_IDRピクチャとからなる映像データが送られてくる地上波デジタル放送受信機において、
    non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのIDRピクチャが受信されなかった場合には、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であるか否かを判別する判別手段、
    判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であると判別された場合には、最新に受信されたIDRピクチャを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第1のデコード手段、ならびに
    判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間より長いと判別された場合には、最新のデコード処理によって得られたフレームデータを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第2のデコード手段、
    を備えていることを特徴とする地上波デジタル放送受信機。
  3. 単独でデコード可能なIDRピクチャと、IDRピクチャを含めた複数のピクチャを用いてデコードされるnon_IDRピクチャとからなる映像データが送られてくる地上波デジタル放送受信機において、
    non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのnon_IDRピクチャが受信されなかった場合には、受信されなかったnon_IDRピクチャより時間的に前に受信されたnon_IDRピクチャのうち最新に受信されたnon_IDRピクチャを、受信されなかったnon_IDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第1のデコード手段、
    non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、1つのIDRピクチャが受信されなかった場合には、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であるか否かを判別する判別手段、
    判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間以内であると判別された場合には、最新に受信されたIDRピクチャを、受信されなかったIDRピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第2のデコード手段、ならびに
    判別手段により、最新に受信されたIDRピクチャの受信時点から現在までの経過時間が所定時間より長いと判別された場合には、最新のデコード処理によって得られたフレームデータを、受信されなかったIDR ピクチャの代わりに用いて、デコード対象をデコードすることにより、参照ピクチャ欠落時用のフレームデータを作成する第3のデコード手段、
    を備えていることを特徴とする地上波デジタル放送受信機。
  4. 上記参照ピクチャ欠落時用のフレームデータと、当該参照ピクチャ欠落時用のフレームデータの1つ前に表示されるフレームデータとの差分を算出し、算出した差分値が所定の閾値以下であるか否かを判別する手段、および
    差分値が所定の閾値以下である場合には、当該参照ピクチャ欠落時用のフレームデータを表示させると判定し、差分値が所定の閾値以上である場合には、当該参照ピクチャ欠落時用のフレームデータを表示させないと判定する手段、
    を備えていることを特徴とする請求項1〜3のうちのいずれかに記載の地上波デジタル放送受信機。
  5. non_IDRピクチャ(デコード対象ピクチャ)のデコードに用いられる参照ピクチャのうち、2以上の参照ピクチャが受信されなかった場合には、デコード対象がデコードされない、請求項1〜4のうちのいずれかに記載の地上波デジタル放送受信機。
JP2005160318A 2005-05-31 2005-05-31 地上波デジタル放送受信機 Expired - Fee Related JP4578326B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005160318A JP4578326B2 (ja) 2005-05-31 2005-05-31 地上波デジタル放送受信機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005160318A JP4578326B2 (ja) 2005-05-31 2005-05-31 地上波デジタル放送受信機

Publications (2)

Publication Number Publication Date
JP2006339880A JP2006339880A (ja) 2006-12-14
JP4578326B2 true JP4578326B2 (ja) 2010-11-10

Family

ID=37560060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005160318A Expired - Fee Related JP4578326B2 (ja) 2005-05-31 2005-05-31 地上波デジタル放送受信機

Country Status (1)

Country Link
JP (1) JP4578326B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
US9398293B2 (en) * 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799651A (ja) * 1993-09-28 1995-04-11 Canon Inc 画像信号再生装置
JPH1023435A (ja) * 1996-06-27 1998-01-23 Sanyo Electric Co Ltd エラー処理装置及び復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799651A (ja) * 1993-09-28 1995-04-11 Canon Inc 画像信号再生装置
JPH1023435A (ja) * 1996-06-27 1998-01-23 Sanyo Electric Co Ltd エラー処理装置及び復号装置

Also Published As

Publication number Publication date
JP2006339880A (ja) 2006-12-14

Similar Documents

Publication Publication Date Title
KR100768058B1 (ko) 부호화 스트림 재생 장치
US8135076B2 (en) Error concealment apparatus and method
US20090175344A1 (en) Method and Apparatus for Detection and Concealment of Reference and Non-Reference Video Frames
JP2006295568A (ja) 動画像復号装置及びピクチャ境界判定方法
US8811483B2 (en) Video processing apparatus and method
US20100040153A1 (en) Decoding apparatus and decoding method
JP4714039B2 (ja) 映像再生装置及び映像再生方法
EP2485501A1 (en) Fast channel change companion stream solution with bandwidth optimization
US20100061451A1 (en) Dynamic image decoding device
JP2005311603A (ja) 動画像復号装置及び動画像復号方法
JP4578326B2 (ja) 地上波デジタル放送受信機
JP2006203598A (ja) ディジタル画像復号装置及び方法
JP2002027483A (ja) 画像符号化装置、画像復号化装置および記憶媒体
CA2474931A1 (en) Video processing
US20090316787A1 (en) Moving image encoder and decoder, and moving image encoding method and decoding method
JP2004112654A (ja) デジタル放送受信装置
JP2008311784A (ja) 動画像復号装置および動画像復号方法
US20020136309A1 (en) Image data decoder and image data decoding method
JP4723486B2 (ja) グループオブピクチャへのランダム・アクセスを提供するためのグループオブピクチャの再構造化方法
JP4703522B2 (ja) 動画像復号装置
JP2006060335A (ja) 画像処理装置
JP2005101860A (ja) メディア情報処理方法
US9723309B2 (en) Method and apparatus for detecting gradual transition picture in video bitstream
JP2007295421A (ja) データ受信装置およびデータ受信方法
JP2008283253A (ja) 画像伝送システム、画像符号化装置、画像復号装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20080530

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080801

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4578326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees