JP5018976B2 - データ記録方法および記録媒体、再生装置 - Google Patents

データ記録方法および記録媒体、再生装置 Download PDF

Info

Publication number
JP5018976B2
JP5018976B2 JP2011023468A JP2011023468A JP5018976B2 JP 5018976 B2 JP5018976 B2 JP 5018976B2 JP 2011023468 A JP2011023468 A JP 2011023468A JP 2011023468 A JP2011023468 A JP 2011023468A JP 5018976 B2 JP5018976 B2 JP 5018976B2
Authority
JP
Japan
Prior art keywords
start time
display start
data
stream
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2011023468A
Other languages
English (en)
Other versions
JP2011146118A (ja
Inventor
直純 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011023468A priority Critical patent/JP5018976B2/ja
Publication of JP2011146118A publication Critical patent/JP2011146118A/ja
Application granted granted Critical
Publication of JP5018976B2 publication Critical patent/JP5018976B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、可変長のデータを記録するデータの記録方法に関するものであり、特に字幕情報として文字列を記録媒体上に記録し再生するためのデータ記録方法、およびそのデータ記録方法により記録された記録媒体を再生する再生装置に関するものである。
DVD(Digital Versatile Disc)に代表される再生装置が広く普及している。DVDでは、本体のコンテンツの他に、字幕情報も同時に記録し、必要に応じて字幕を映像に合成して表示することができる。これら再生装置では、字幕の表示にはグラフィック形式のデータが用いられていた。しかしながら、グラフィック形式の字幕情報では、データ量が多くなると言う欠点があった。
一方、文字放送やディジタル放送などでは、字幕情報をテキスト形式で送信する方法が考えられている。テキスト形式のデータを使用すれば、データ量を少なく抑えることができる。
ところで、特許文献1ならびに非特許文献1に記載されているように、映像データや音声データをMEPGパケット形式で記録する方法が提案されている。MEPGパケット形式は、ディジタル放送のデータ伝送にも使用されており、ディジタル放送とともに普及することが考えられる。
特開2003−123389号公報
日経エレクトロニクス2003年7月21日号133ページ(日経BP社)
従来の再生装置では、テキスト形式の字幕を使用することは考慮されていなかった。したがって、テキスト形式の字幕情報の記録方法については何ら開示されていない。
パケット形式で記録する場合、MPEGパケットと同様に取り扱うことができるが、無駄なデータを記録する必要があり、かつ、パケットからデータを取り出すための処理が必要となるので効率が悪い。
本発明の目的は、テキスト形式のデータを記録する際に、効率よく記録でき、かつ従来のパケット形式のデータとも親和性のあるデータ記録方式を提供することにある。
上記問題を解決するために、本発明は、一例として特許請求の範囲記載の構成を用いる
本発明によれば、記録データが所定バイト数の整数倍になるように記録されているので
、テキスト形式のデータもパケット形式のデータと同様に扱うことが出来る。また、実際にパケット形式として記録する場合と比べ、不要なデータを記録する必要がなく、効率のよいデータ記録を行うことができる。
字幕データのデータ構造を示す図 再生装置のブロック図 光ディスク上のファイル構造を示す図 クリップ情報ファイルのデータ構造を示す図
以下、本発明を適用した実施例として、テキスト形式の字幕データの記録方法を示す。
図1は、テキスト形式の字幕データのデータ構造を示す図である。
図1中、PTS101は表示開始時刻を示す表示開始時刻情報、DUR102は表示期間を示す表示期間情報、LEN103は字幕文字列の長さを表す字幕文字列長さ情報、text104は字幕文字列、null105は無効データである。
各字幕データ先頭には、表示開始時刻を示す表示開始時刻情報としてPTS101が記録されている。字幕表示時には、このPTS101にしたがって、字幕文字列であるtext104の表示が行われる。また、各字幕データ中には、表示期間を示す表示期間情報としてDUR102も記録されている。DUR102は、text104の表示が開始されてから、表示が終了するまでの時間を示しており、この表示期間が過ぎると、字幕は消去される。
次に、字幕文字列長さ情報としてLEN103が記録されており、その後ろにtext104が記録されている。このtext104が、所定の形式で画面上に表示される。
text104の後ろには、無効データとしてnull105が記録される。このnull105は、スタッフィングデータであり、各字幕データのデータ長が192バイトの倍数になるように、隙間を埋めるものである。このスタッフィングデータの内容は、具体的には、データが何もないことを示す00hの値などで埋めればよい。
図2に、本実施例の再生装置のブロック図を示す。
図2中、201はディスク装置、202は出力制御部、203は音声デコーダ、204は音声出力端子、205は映像デコーダ、206は映像合成部、207は映像出力端子、208は字幕表示部、209はシステム制御部、210はリモコン受信部である。
以下、再生時の動作を説明する。
まず、ユーザーは、再生装置の電源を投入し、光ディスク(図示せず)をディスク装置201内にセットする。ディスク装置201は、光ディスクの挿入を検知し、システム制御部209に通知する。システム制御部209は、光ディスクがセットされたことを認識し、光ディスク中のファイル管理情報を読み出す。ここで、ファイル管理情報は、例えばUDF(Universal Disk Format)に代表されるファイル管理システムに準拠して、光ディ
スク上の所定の位置に記録されている。ファイル管理情報は、光ディスク上に記録されている各情報をファイルとして管理する。具体的には、各ファイルのファイル識別子(ファイル名)、記録開始セクター番号、ファイル長、付加情報などが記録されている。
ファイル管理情報が読み出された後、システム制御部209は、光ディスクの再生に必要なファイルを読み出し、順次解析を行う。
再生を行う光ディスク上には、図3に示すようなファイルが記録されている。
図3中、301はDVRディレクトリ中のプレイリストの数やファイル名などの情報が書かれたinfo.dvrファイル、302はメニュー表示を行うプログラムを記録したmenu.tidxファイル(menu.javaファイルであってもよい)、303は
映像の再生位置や順序およびマーク位置などの情報が記録されたプレイリストファイル、304はストリームファイル上の再生開始点とそのパケット位置などの情報を記録したクリップ情報ファイル、305は映像や音声などの情報パケットが記録されたストリームファイル、306は字幕情報を記録した字幕情報ファイルである。
ここで、ストリームファイル305について説明する。
映像情報は、画像情報圧縮技術の一つであるMPEG(Moving Picture Experts Group)2方式でデータ量が削減され、トランスポートストリーム形式に変換されて記録される。MPEG2は、NTSC形式の画像やハイビジョンに代表される高画質のHD画像に対しても優れたデータ量削減を行うことが出来、原画像に対して1/10〜1/50程度にデータ量を削減することが出来る。例えば、NTSC形式の画像では6Mbps程度、HD画像でも20Mbps程度のデータ量で十分な画質を得ることが出来る。MPEG2による画像圧縮は、DVDをはじめとする画像蓄積や、ディジタル放送などにも広く用いられている。ここでは、MPEG2形式を例にとって説明するが、もちろん他の画像圧縮方法を用いてデータを符号化しても差し支えない。
映像と同様に、音声情報に関しても、音声圧縮技術を用いてデータ量圧縮を行なう。音声圧縮技術には、MPEG1オーディオやBSデジタル放送で用いられるAAC形式など様々な圧縮技術がある。また、音声情報は映像情報に比べてデータ量が少ないため、圧縮を行わないリニアPCM形式でデータを記録することも可能である。
上記のように符号化された映像情報および音声情報は、伝送や蓄積が容易なように、トランスポートストリームとして多重化し、一つのファイルとして記録する。具体的には、各情報は188バイトのパケットに変換する。その際、各パケットにはパケット識別のためのPID(パケットID)を付加する。一連の情報には単一のPIDを付加することにより、再生時に容易にパケットの分別を行うことが出来る。
トランスポートストリームには、映像・音声のほか、字幕情報や図形情報、制御コマンドなどの各種情報パケットを多重化する事が出来る。さらに、各PIDの関係を表したPMT(Program Map Table)やPAT(Program Allocation Table)、時刻情報を表すPCR(Program Clock Reference)などのパケットも多重化する。このようにして情報の多重化
を行ったトランスポートストリームは、トランスポートストリームファイルとして光ディスク上に記録しておく。
次に、クリップ情報ファイル304について説明する。
クリップ情報ファイル304のデータ構造を図4に示す。
図4中、PTS401は表示開始時刻情報、SPN402はパケット記録位置情報である。前述のように、映像情報はMPEG2形式の画像圧縮を行った上で記録をしている。MPEG2形式では、連続した画像の相関性を用いてデータ量削減を行っている。具体的には、連続した画像間で変化のない部分の情報は再送せずに、直前の画像のデータをそのまま使用するような処理を行っている。そのため、変化分のみが符号化された画像データでは、そのデータから全画素の情報を復号できないという欠点がある。したがって、早送りやスキップ操作などで再生を開始できる画像は、全画素が符号化された画像のみである
一般的に、MPEG2形式での画像圧縮は、15枚程度の画像を組にして圧縮を行うことが多い。この画像の組をGOP(Group Of Pictures)と呼ぶ。このGOPの先頭から再
生を行えば、即座に画像の再生を行うことが出来る。
クリップ情報ファイル304には、このGOP先端のパケット記録位置401を、その画像の表示開始時刻402(Presentation Time Stampの値に対応)ととも記録しておく
。これにより、サーチやスキップで再生を開始する位置が容易に検索できる。
クリップ情報ファイル304は、トランスポートストリームファイルと一対一に対応している。01000.m2tsというトランスポートストリームファイルに対応して、01000.clpiというクリップ情報ファイルを記録しておけば、ファイル間の対応が容易に識別できる。また、字幕情報に対しても、一対一に対応させて記録しておく。
次に、プレイリストファイル303について説明する。
プレイリストファイル303は、トランスポートストリームファイルの再生順序を規定する情報が記録されたファイルである。プレイリストファイル303には、再生を行うストリームファイルのファイル識別子、再生開始時刻、再生終了時刻などの情報の組がプレイアイテム情報として一組ないし複数組記録されている。再生時には、指定されたプレイリストファイル中のプレイアイテム情報にしたがい、ストリームファイルが順次再生される。また、プレイリストファイル中には、ストリームファイルと平行して再生を行うサブプレイアイテムが記録されている。サブプレイアイテムは、例えば、メインのストリームとは別に記録されている字幕情報や、吹き替え音声ストリームなどが含まれる。さらに、プレイリストファイル中には、スキップ位置を示すマーク情報も含まれている。マーク情報を用いることにより、次のチャプターの再生開始時刻を容易に知ることができ、ユーザーによるチャプタースキップを実現することが可能である。
再生開始時にはシステム制御部209は、まず、menu.tidxファイル302を読み出し、メニューの表示を行う。すなわち、光ディスク中に記録されているプレイリストファイルの一覧を提示し、ユーザーにプレイリストの選択を要求する。ユーザーはリモコンを使用して、提示されたプレイリストから、所望のプレイリストを選択する。
プレイリストが一つ選択されると、システム制御部209は、選択されたプレイリストに対応したプレイリストファイルを光ディスク上からダウンロードして、プレイリストファイル中に含まれるプレイアイテムおよびサブプレイアイテムなどの内容を解析する。
ここでは、説明の簡略化のために、プレイリストファイル中には、プレイアイテムとして“01000.m2ts”、サブプレイアイテムとして“01100.sttl”のみ
を含むものとして説明する。もちろん、複数のプレイアイテムが含まれる場合にも、同様の動作により実現が可能である。
プレイリスト先頭から再生を行う場合には、再生時刻を0秒として再生を開始する。まず、プレイアイテムである“01000.m2ts”の時刻0秒のパケットからデータの再生を開始する。このとき、時刻情報からパケット位置を求めるためにクリップ情報ファイルである“01000.clpi”を利用して、プレイアイテムの再生開始パケット位置を求める。再生開始パケット位置とファイル管理情報から、再生を行う“01000.m2ts”ファイルの光ディスク上のセクター番号が計算される。
具体的には、パケット番号に192を掛けてバイト数を求め、2048で割ることによりセクター番号を求めることができる。また、2048で割った余りにより、セクター中のデータ開始バイト位置を求めることができる。
上記の計算によって求めた光ディスク上のセクター番号から“01000.m2ts”のストリームデータの読み出しを開始する。具体的には、光ディスク上から読み出されたデータがディスク装置201内の信号処理回路(図示せず)により所定のセクターデータとして読み出され、出力制御部202によりMPEG2ストリームのパケットとして映像デコーダおよび音声デコーダに入力される。
MPEG2ストリームの映像パケットは、映像デコーダ205によりデコードされ、映像信号として映像合成部206に入力される。音声パケットは、音声デコーダ203によりデコードされ、音声信号として音声出力端子204に出力される。
一方、プレイリストファイル中に含まれるサブプレイアイテムの処理も、メインのプレイアイテムの再生に平行して行われる。ここでは、サブプレイアイテムとして、字幕情報“01100.sttl”が含まれている。
サブプレイアイテムも、サブプレイアイテムに対応したクリップ情報ファイル“01100.clpi”を利用して、再生開始位置を求める。サブプレイアイテム中の字幕文字列情報は、MPEG2ストリームのパケットの長さと同じ192バイトに合わせてあるので、パケット番号からセクター番号を求めるのと同じ計算により、セクター番号およびセクター中のデータ位置を求めることができる。
次いで、システム制御部209は、再生開始位置より1回に表示する字幕の情報を読み込み、処理を行う。字幕データは、図1に示したように、1回に表示する字幕ごとに分割して記録されており、各データは、PTS101、DUR102、LEN103、text104、およびnull105からなる。読み出した字幕データ中のtext104は
、所定のデコード処理によりグラフィックデータに変換され、PTS101およびDUR102の情報とともに字幕表示部208に入力される。
字幕表示部208では、字幕データ中のPTS101とDUR102にしたがい、前述のグラフィックデータを指定期間だけ映像信号として表示する。
字幕表示部から出力された映像信号は、映像合成部206で、映像デコーダ203から出力される映像信号と合成され、映像出力端子207に出力される。
なお、1回分の字幕のデコード処理が完了すると、後続する字幕情報のデコード処理を順次行っていく。これにより、字幕表示が連続して行われる。
以上のような処理により、光ディスク上に記録された映像に所定の字幕が合成され出力される。
再生中に、ユーザーによりスキップ動作が指示されたり、ストリームの途中から再生を行う場合には、再生時刻として、ストリーム先頭ではなく、ストリーム途中の値が指定される。しかしながら、この場合にも、前述の動作と同じく、プレイアイテムおよびサブプレイアイテムにおいて、クリップ情報ファイル304を用いてデータの再生開始位置を求めることができるので、指定された時刻からのデータ再生が可能である。
なおここで、字幕データは、表示間隔が長く、通常数秒程度の表示期間を持つ。したがって、再生開始時刻が、字幕の表示期間外に対応したり、字幕の表示期間の途中に対応する場合もある。この場合、次の字幕表示期間が来るまで字幕の表示処理は行わない。すなわち、指定された再生開始時刻と同じかそれ以降の表示開始時刻を持つ字幕情報をデコードし、表示を行うように制御すればよい。
なお、図1に示した字幕データでは、文字のみを記録しており、文字の表示位置や大きさ、色などの情報が含まれていなかった。したがって、文字は画面上の予め決められた場所に、決められた大きさで表示される。しかしながら、各字幕文字を自由な位置に自由な大きさで表示したいという要求も当然ながら出てくる。その場合、文字列データ中に、例えば、<size=20>の如く特殊な文字列として文字修飾の情報を含めておけばよい
。もちろん、通常使用されない特殊な文字コードを用いて、文字修飾情報の存在を示すようにしてもよい。例えば、ESCコード(27h)などが使用可能である。
本実施例のデータ記録方法は、文字列のみを記録だけでなく、上記のような特殊な文字コードが含まれている場合、さらには、文字列以外のデータを記録する場合にも応用が可能である。
また、上記実施例では、図1に示したように、各文字列データの長さを192バイトの倍数にするように制御していたが、これは限定されるものではない。例えば、ディスク上のセクター長は2048バイトなので、128バイトや256バイトのように2048バイトの約数にすることで、パケット番号からセクター番号への変換が容易になる。例えば
、1つの字幕文字列の長さを128バイトとすれば、パケット番号を16で割ることによりセクター番号を求めることができる。
なお、上記実施例では、再生装置内のシステム制御部209に記憶されているプログラムによって字幕表示の動作が行われていたが、例えば、光ディスク上に字幕表示のためのプログラムを記録しておき、これを再生時にシステム制御部内にダウンロードし、実行を行うように制御してもよい。
また、上記実施例では、光ディスク上にデータが記録されている例を挙げて説明したが
、これは限定されるものではない。例えば、ハードディスク装置のような機器や、半導体メモリなどに記録する場合も含んでいる。さらには、これらに記録されたデータをネットワークや放送電波を介して伝送し、表示する装置にも応用が可能であり、様々な変形も可能である。
101 表示開始時刻情報(PTS)
102 表示期間情報(DUR)
103 文字列長さ情報(LEN)
104 字幕文字列(text)
105 無効データ(null)
201 ディスク装置
202 出力制御部
203 音声デコーダ
204 音声出力端子
205 映像デコーダ
206 映像合成部
207 映像出力端子
208 字幕表示部
209 システム制御部
210 リモコン受信部
301 ディスク情報ファイル
302 メニュー情報ファイル
303 プレイリストファイル
304 クリップ情報ファイル
305 ストリームファイル
306 字幕情報ファイル
401 表示時刻情報
402 パケット番号

Claims (4)

  1. 映像音声データと可変長の文字列データとを含むストリームを記録媒体に記録する記録方法であって、
    前記ストリームは、
    表示開始時刻を示す表示開始時刻情報を備えた映像データと、
    表示開始時刻を示す表示開始時刻情報を備えた音声データと、
    表示開始時刻を示す表示開始時刻情報と文字の表示位置に関する情報を備えた文字列データで構成された固定長パケットのストリームであり、
    前記表示開始時刻情報と前記固定長パケットのパケット記録位置を示すパケット番号との対応を保持したリストを、
    前記ストリームとともに前記記録媒体に記録することを特徴とする記録方法。
  2. 映像音声データと可変長の文字列データを含むストリームを記録媒体から再生する再生方法であって、
    前記記録媒体には、
    表示開始時刻を示す表示開始時刻情報を備えた映像データと、
    表示開始時刻を示す表示開始時刻情報を備えた音声データと、
    表示開始時刻を示す表示開始時刻情報と文字の表示位置に関する情報を備えた文字列データで構成された固定長パケットのストリームと、
    前記表示開始時刻情報と前記固定長パケットのパケット記録位置を示すパケット番号との対応を保持したリストが記録されており、
    前記ストリームと前記リストとを再生し、
    前記リストを参照して前記ストリームの出力を制御することを特徴とする再生方法。
  3. 映像音声データと可変長の文字列データを含むストリームが記録された記録媒体であって、
    前記ストリームは、
    表示開始時刻を示す表示開始時刻情報を備えた映像データと、
    表示開始時刻を示す表示開始時刻情報を備えた音声データと、
    表示開始時刻を示す表示開始時刻情報と文字の表示位置に関する情報を備えた文字列データで構成された固定長パケットのストリームであり、
    前記表示開始時刻情報と前記固定長パケットのパケット記録位置を示すパケット番号との対応を保持したリストが、
    前記ストリームとともに記録されていることを特徴とする記録媒体。
  4. 映像音声データと可変長の文字列データを含むストリームを記録媒体から再生する再生装置であって、
    前記記録媒体には、
    表示開始時刻を示す表示開始時刻情報を備えた映像データと、
    表示開始時刻を示す表示開始時刻情報を備えた音声データと、
    表示開始時刻を示す表示開始時刻情報と文字の表示位置に関する情報を備えた文字列データで構成された固定長パケットのストリームと、
    前記表示開始時刻情報と前記固定長パケットのパケット記録位置を示すパケット番号との対応を保持したリストが記録されており、
    前記ストリームと前記リストを再生する再生手段と、
    前記リストを参照して前記ストリームの出力を行う出力手段とを有することを特徴とする再生装置。
JP2011023468A 2011-02-07 2011-02-07 データ記録方法および記録媒体、再生装置 Expired - Lifetime JP5018976B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011023468A JP5018976B2 (ja) 2011-02-07 2011-02-07 データ記録方法および記録媒体、再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011023468A JP5018976B2 (ja) 2011-02-07 2011-02-07 データ記録方法および記録媒体、再生装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008282691A Division JP4770910B2 (ja) 2008-11-04 2008-11-04 データ記録方法および記録媒体、再生装置

Publications (2)

Publication Number Publication Date
JP2011146118A JP2011146118A (ja) 2011-07-28
JP5018976B2 true JP5018976B2 (ja) 2012-09-05

Family

ID=44460831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011023468A Expired - Lifetime JP5018976B2 (ja) 2011-02-07 2011-02-07 データ記録方法および記録媒体、再生装置

Country Status (1)

Country Link
JP (1) JP5018976B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9199959B2 (en) 2011-10-25 2015-12-01 Shionogi & Co., Ltd. HIV replication inhibitor

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11224463A (ja) * 1998-02-06 1999-08-17 Sony Corp 記録装置、再生装置
JP2001135066A (ja) * 1999-11-09 2001-05-18 Nippon Columbia Co Ltd 光情報記録媒体及び再生装置
JP4253139B2 (ja) * 2000-06-30 2009-04-08 株式会社東芝 フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体
JP2003018505A (ja) * 2001-06-29 2003-01-17 Toshiba Corp 情報再生装置および会話シーン検出方法
JP2004013276A (ja) * 2002-06-04 2004-01-15 Victor Co Of Japan Ltd ファイルシステム及び記録媒体

Also Published As

Publication number Publication date
JP2011146118A (ja) 2011-07-28

Similar Documents

Publication Publication Date Title
JP3815458B2 (ja) 情報処理装置、情報処理方法及びプログラム
US7599606B2 (en) Recording medium and method for reproducing information therefrom
JP4534501B2 (ja) 映像再生装置および記録媒体
JP4779981B2 (ja) デジタル映像情報データ生成装置、デジタル映像情報記録装置、デジタル映像情報再生装置、及びデジタル映像情報データ生成方法
JP5018976B2 (ja) データ記録方法および記録媒体、再生装置
JP4293006B2 (ja) データ記録方法および記録媒体、再生装置
JP4770910B2 (ja) データ記録方法および記録媒体、再生装置
JP2006245744A (ja) 映像信号記録装置、情報記録媒体および映像信号再生装置
JP4254842B2 (ja) 記録媒体および再生方法
JP5240326B2 (ja) 映像再生装置および記録媒体
JP4941567B2 (ja) 映像再生装置および記録媒体
JP2006079712A (ja) 記録媒体、再生装置及び記録装置
JP4706730B2 (ja) 記録媒体および再生方法
JP4807469B2 (ja) 記録媒体および再生方法
JP5229373B2 (ja) 再生装置
JP2006054629A (ja) データ記録再生方法および記録再生装置
JP2006067142A (ja) 復号装置
JP2011175729A (ja) 記録媒体および再生方法
JP2010050981A (ja) 再生装置
JP2006262501A (ja) 記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120528

R151 Written notification of patent or utility model registration

Ref document number: 5018976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term