JP5903924B2 - 受信装置および字幕処理方法 - Google Patents
受信装置および字幕処理方法 Download PDFInfo
- Publication number
- JP5903924B2 JP5903924B2 JP2012033007A JP2012033007A JP5903924B2 JP 5903924 B2 JP5903924 B2 JP 5903924B2 JP 2012033007 A JP2012033007 A JP 2012033007A JP 2012033007 A JP2012033007 A JP 2012033007A JP 5903924 B2 JP5903924 B2 JP 5903924B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- stc
- program
- caption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
現行の地上デジタルテレビジョン放送において字幕は映像および音声とともに、トランスポートストリームに多重化して伝送される。放送より伝送される字幕の言語の種類が限られる場合、インターネット上のサーバに様々な言語の字幕データのファイルを配置しておき、受信装置がそのファイルを取得して放送番組と同期をとりながら表示させるというシステムが想定される。
放送局10は、AV制作システム20によって事前に収録された番組データをAV蓄積装置11に蓄積する。AV蓄積装置11に蓄積された番組データは、AVエンコーダ12によって符号化され、放送送出部13によって放送媒体1に送出される。一方、AV制作システム20によって制作された放送用の番組データは字幕制作システム30にも提供される。字幕制作システム30は、番組の字幕データを作成して字幕配信サーバ40に提供する。字幕配信サーバ40は、受信装置50からのリスエストに対して該当する放送番組用の字幕データをインターネットなどのネットワーク2を通じて配信するサービスを行う。字幕データには放送番組との同期をとるための時間情報が付加されている。この時間情報は字幕の表示時刻を指定する情報(以降「表示指定時刻」と呼ぶ。)である。
放送局10Aは、図示しない撮影システムより取得したライブAVソース11AをAVエンコーダ12にてリアルタイムでエンコードし、放送送出部13によって番組データを放送媒体1に送出する。字幕制作・配信システム30Aは、放送されたライブ番組を受信して再生し、ライブ番組を視聴しながら字幕データを作成し、作成された字幕データをインターネットを通じて受信装置50に配信する。したがって、この仕組みでは、字幕の本来表示されるべき時刻よりも、少なくとも字幕制作・配信システム30Aでの処理時間分は遅れたタイミングで伝送される。このため、受信装置50において放送番組と字幕とを同期して表示させることは困難である。
本実施形態の受信装置は、字幕の表示指定時刻が受信装置の時計の時刻(現在時刻)を過ぎている場合、放送による番組を少なくとも字幕の表示指定時刻と現在時刻との時間差分遅れて再生することによって、放送による番組と字幕とを同期させる。
1.受信装置は、字幕取得開始したタイミングで、最初の字幕データに関して以下の計算処理を行う。
Taを字幕の表示指定時刻、Trを受信装置の時計の時刻(放送に多重して伝送されてくるTOT(Time Offset Table)に基づく時刻)とすると、受信装置は、まずオフセット時間(Toffset)を次式により算出する。
Tr−Ta+Tm=Toffset ・・・(1)
ここで、Tmはゼロを含む所定のマージン時間。またこれらの単位としてミリ秒を想定する。
STC−Toffset×90=STC´ ・・・(2)
Toffsetに90を掛けるのは、ミリ秒単位のToffsetをSTCと同じ90KHzのカウンタ値にマッピングするためである。
Ta+Toffset=Ta´ ・・・(3)
次に、本実施形態の受信装置の構成を説明する。
図4は、本実施形態の受信装置150の構成を示すブロック図である。
チューナ151(番組受信部に相当)は、所定のチャネルのデジタル放送信号を受信して、そのデジタル放送信号からトランスポートストリーム(TS:Transport Stream)を生成してDeMUX152に送出する。
ビデオデコーダ154は、ビデオバッファ153に保持されたビデオストリームから必要なデータを取り出してビデオ信号を復号する。
オーディオバッファ155は、DeMUX152により分離されたオーディオストリームをバッファリングする。
オーディオデコーダ156は、オーディオバッファ155に保持されたオーディオストリームから必要なデータを取り出してオーディオ信号を復号する。
ここで、ビデオデコーダ154およびオーディオデコーダ156は番組再生部に相当する。
RAMにロードされたプログラムは、ホストコントローラ160を、時計161、STC生成部162、STC調整部164、字幕データバッファ165、字幕再生部166として動作させる。ここで、STC生成部162、STC調整部164は再生時刻シフト部に相当する。
次に、本実施形態の受信装置150による放送番組と字幕の表示処理を説明する。
受信装置150は、HTMLブラウザ167により、放送と連動するアプリケーションを構成するHTML5などのHTML文書をインターネット上のサーバから取得する。
このHTML文書60には、字幕の表示のオンとオフを切り換えるためのボタンの表示に関する情報61、WebVTT(Video Text Tracks)などのフォーマットの字幕ファイルとこれに対応する番組を特定する情報62、ボタンの操作に対する動作に関する情報63などが記述されている。
HTMLブラウザ167は、放送による番組の映像70の上に、HTML文書に記述された情報61に従い、字幕の表示のオンとオフを切り換えるためのボタン71,72を重畳して表示する。視聴者によるボタン71の操作によって字幕の表示のオンが指定されると、HTMLブラウザ167は、当該HTML文書に記述された情報63に従い字幕表示プラグイン168を起動させる。字幕表示プラグイン168は、当該HTML文書に記述された情報63に従い字幕データ(字幕ファイル)を字幕配信サーバ40より取得するようにホストコントローラ160を動作させる。この後、字幕表示プラグイン168は、取得した字幕データに指定された時刻(表示指定時刻)に、当該映像に対応する字幕73を表示するようにホストコントローラ160を動作させる。
字幕ファイル80には、表示指定時刻81と字幕データ本体82とのペアにより構成される字幕データ83が時系列順に並べて記述される。表示指定時刻81は字幕の表示開始時刻から表示終了時刻までの値で与えられる。表示指定時刻81は、例えば、放送番組のトランスポートストリームに挿入されたTOT(Time Offset Table)を基準として字幕制作システム30で作成された時刻である。
次に、受信装置150において、字幕データの伝送が放送番組より遅れた場合に放送番組と字幕とを同期して再生する処理を説明する。
受信装置150において、STCがSTC´に更新されることによってビデオストリームのデコードの開始時刻がT1からT1´にずらされる。T1からT1´までの間、映像はフリーズ状態で表示される。そしてT1´の時刻からビデオストリームのデコードが再開される。その後、字幕データが終了するまで、時刻をずらした状態のままデコードが行われる。字幕データが終了すると、STC´がSTCに戻され、タイムスタンプ(PTS)がSTCに一致するアクセスユニットにジャンプしてデコードが行われる。
上記の実施形態では、字幕の表示指定時刻Taをこれにオフセット時間(Toffset)を加えた時間Ta´に更新することによって、更新されたSTC´の時間軸に合わせることとした。しかし、マージン時間Tmとして、シーンと字幕とがずれる程大きな値が設定されない場合などには、字幕の表示指定時刻Taを更新しなくてもかまわない。すなわち、本技術においては、字幕の表示指定時刻Taをオフセット時間(Toffset)で更新することは必須ではない。
STCをオフセット時間でSTC´に更新した後も、STC調整部164による字幕データの更新された表示指定時刻Ta´と時計161の時刻(現在時刻)との比較によるオフセット時間(Toffset)の計算を行うようにしてもよい。更新された表示指定時刻Ta´が時計161の時刻(現在時刻)から遅れている場合、STC調整部164によって正の値のオフセット時間(Toffset)が再度求められ、STC生成部162にて、STC´からオフセット時間(Toffset)を差し引いた値が新たな更新値であるSTC´´として再度求められる。以後、伝送される字幕データが無くなるまで同様のSTCの更新処理が行われる。
(1)放送による番組データを受信する番組受信部と、
前記受信した番組データを再生する番組再生部と、
時刻を計時する時計と、
前記番組データに対応する字幕データであって、予め表示時刻が指定された字幕データをネットワークを通じて取得する字幕データ取得部と、
前記取得された字幕データの前記表示時刻が前記時計の時刻より遅れている場合、前記番組再生部による前記番組データの再生の時刻を、少なくとも前記字幕データの表示時刻と前記時計の時刻との時間差分遅らせる再生時刻シフト部と
を具備する受信装置。
前記再生時刻シフト部は、前記字幕データの表示時刻と前記時計の時刻との時間差に所定のマージンを加えたオフセット時間分、前記番組再生部による前記番組データの再生の時刻を遅らせる
受信装置。
前記取得された字幕データに予め指定された前記表示時刻を、これに前記オフセット時間を加えた時刻に更新し、更新された表示時刻に前記字幕データを表示させる字幕再生部をさらに具備する受信装置。
前記再生時刻シフト部は、前記字幕データの表示時刻と前記時計の時刻との時間差に所定のマージンを加えたオフセット時間分を90KHzカウンタ値に変換した上で、STC(System Time Clock)を遅らせる
受信装置。
前記再生時刻シフト部は、前記番組データまたは前記字幕データの終了に伴い、前記STCをもとの値に復帰させる
受信装置。
前記再生時刻シフト部は、前記オフセット時間を算出するSTC調整部と、前記放送による番組データに挿入して伝送されるPCR(Program Clock Reference)を基準に前記STCを生成し、前記STC調整部より与えられた前記オフセット時間で前記STCを更新するSTC生成部とを有する
受信装置。
10…放送局
30A…字幕制作・配信システム
150…受信装置
151…チューナ
152…DeMUX
153…ビデオバッファ
154…ビデオデコーダ
155…オーディオバッファ
156…オーディオデコーダ
157…字幕データ取得部
158…合成部
160…ホストコントローラ
161…時計
162…STC生成部
164…STC調整部
165…字幕データバッファ
166…字幕再生部
167…HTMLブラウザ
168…字幕表示プラグイン
Claims (4)
- 放送による番組データを受信する番組受信部と、
前記受信した番組データを再生する番組再生部と、
時刻を計時する時計と、
前記番組データに対応する字幕データであって、予め表示時刻が指定された字幕データをネットワークを通じて取得する字幕データ取得部と、
前記取得された字幕データの前記表示時刻が前記時計の時刻より遅れている場合、前記番組再生部による前記番組データの再生の時刻を、少なくとも前記字幕データの表示時刻と前記時計の時刻との時間差分遅らせる再生時刻シフト部と
を具備し、
前記再生時刻シフト部は、前記字幕データの表示時刻と前記時計の時刻との時間差に所定のマージンを加えたオフセット時間分を90KHzカウンタ値に変換した上で、STC(System Time Clock)を遅らせる
受信装置。 - 請求項1に記載の受信装置であって、
前記再生時刻シフト部は、前記番組データまたは前記字幕データの終了に伴い、前記STCをもとの値に復帰させる
受信装置。 - 請求項1に記載の受信装置であって、
前記再生時刻シフト部は、
前記オフセット時間を算出するSTC調整部と、
前記放送による番組データに挿入して伝送されるPCR(Program Clock Reference)を基準に前記STCを生成し、前記STC調整部より与えられた前記オフセット時間で前記STCを更新するSTC生成部とを有する
受信装置。 - 放送による番組データを受信するとともに、字幕データ取得部が、前記番組データに対応する字幕データであって、予め表示時刻が指定された字幕データをネットワークを通じて取得し、
再生時刻シフト部は、前記取得された字幕データの前記表示時刻が時計の時刻より遅れている場合、前記番組データの再生の時刻を、少なくとも前記字幕データの表示時刻と前記時計の時刻との時間差分遅らせるために、前記字幕データの表示時刻と前記時計の時刻との時間差に所定のマージンを加えたオフセット時間分を90KHzカウンタ値に変換した上で、STC(System Time Clock)を遅らせる
字幕処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012033007A JP5903924B2 (ja) | 2012-02-17 | 2012-02-17 | 受信装置および字幕処理方法 |
US13/710,989 US8931024B2 (en) | 2012-02-17 | 2012-12-11 | Receiving apparatus and subtitle processing method |
CN201310040723XA CN103260075A (zh) | 2012-02-17 | 2013-02-01 | 接收设备和字幕处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012033007A JP5903924B2 (ja) | 2012-02-17 | 2012-02-17 | 受信装置および字幕処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013172181A JP2013172181A (ja) | 2013-09-02 |
JP5903924B2 true JP5903924B2 (ja) | 2016-04-13 |
Family
ID=48963731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012033007A Active JP5903924B2 (ja) | 2012-02-17 | 2012-02-17 | 受信装置および字幕処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8931024B2 (ja) |
JP (1) | JP5903924B2 (ja) |
CN (1) | CN103260075A (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112014013976A2 (pt) | 2011-12-16 | 2017-06-13 | Sony Corp | dispositivos de recepção e de distribuição, programa, método para distribuição realizado por um dispositivo de distribuição, e, sistema de distribuição |
CN102752541B (zh) * | 2012-02-28 | 2018-05-04 | 新奥特(北京)视频技术有限公司 | 一种比赛现场字幕的生成方法 |
WO2013190789A1 (ja) | 2012-06-22 | 2013-12-27 | ソニー株式会社 | 受信装置およびその同期処理方法 |
KR101840203B1 (ko) * | 2013-09-03 | 2018-03-20 | 엘지전자 주식회사 | 방송 신호 전송 장치, 방송 신호 수신 장치, 방송 신호 전송 방법, 및 방송 신호 수신 방법 |
WO2015032928A1 (en) * | 2013-09-09 | 2015-03-12 | Thomson Licensing | Method for determining a time stamp relating to synchronization and associated device |
JP2015159365A (ja) * | 2014-02-21 | 2015-09-03 | 日本放送協会 | 受信機及びプログラム |
JP2015159366A (ja) * | 2014-02-21 | 2015-09-03 | 日本放送協会 | 受信機 |
JP6399686B2 (ja) * | 2014-02-21 | 2018-10-03 | 日本放送協会 | 受信機 |
MX2017002474A (es) * | 2014-09-05 | 2017-05-19 | Sony Corp | Dispositivo de recepcion, metodo de recepcion, dispositivo de transmision y metodo de transmision. |
CN105100869B (zh) * | 2015-07-13 | 2018-09-04 | 腾讯科技(深圳)有限公司 | 弹幕显示方法及装置 |
KR101789221B1 (ko) * | 2015-07-16 | 2017-10-23 | 네이버 주식회사 | 동영상 제공 장치, 동영상 제공 방법, 및 컴퓨터 프로그램 |
GB2556612B (en) * | 2016-04-18 | 2022-03-09 | Grass Valley Ltd | Monitoring audio-visual content with captions |
WO2018182313A1 (ko) | 2017-03-29 | 2018-10-04 | 삼성전자 주식회사 | 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법 |
CN112995735B (zh) * | 2017-04-26 | 2023-09-22 | 威盛电子股份有限公司 | 分布式视频显示***、控制装置及控制方法 |
JP2019186732A (ja) * | 2018-04-09 | 2019-10-24 | パナソニックIpマネジメント株式会社 | レコーダおよび録画情報の再生方法 |
CN108419113B (zh) * | 2018-05-24 | 2021-01-08 | 广州酷狗计算机科技有限公司 | 字幕显示方法及装置 |
US10951923B2 (en) * | 2018-08-21 | 2021-03-16 | At&T Intellectual Property I, L.P. | Method and apparatus for provisioning secondary content based on primary content |
CN110850825B (zh) * | 2019-11-13 | 2021-06-08 | 武汉恒力华振科技有限公司 | 基于事件时间的工业过程数据处理方法 |
CN111147887A (zh) * | 2020-01-06 | 2020-05-12 | 网易(杭州)网络有限公司 | 直播业务控制方法、装置、计算机可读介质及电子设备 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100367675B1 (ko) * | 2000-04-27 | 2003-01-15 | 엘지전자 주식회사 | 티브이 문자정보 번역 시스템 및 그 제어방법 |
JP2002262246A (ja) * | 2001-03-05 | 2002-09-13 | Mitsubishi Electric Corp | 出力情報制御装置及び出力情報制御方法 |
KR100778470B1 (ko) * | 2001-03-30 | 2007-11-21 | 엘지전자 주식회사 | 디지털 티브이의 캡션 자동 선택 장치 |
EP1491053A1 (en) * | 2002-03-21 | 2004-12-29 | Koninklijke Philips Electronics N.V. | Multi-lingual closed-captioning |
US7054804B2 (en) * | 2002-05-20 | 2006-05-30 | International Buisness Machines Corporation | Method and apparatus for performing real-time subtitles translation |
DE10226030A1 (de) * | 2002-06-12 | 2003-12-24 | Bosch Gmbh Robert | Verfahren zur Generierung eines Systemaktes einer Empfangseinrichtung und Empfangseinrichtung hierzu |
KR100939711B1 (ko) * | 2002-12-12 | 2010-02-01 | 엘지전자 주식회사 | 텍스트 기반의 서브타이틀 재생장치 및 방법 |
JP4448477B2 (ja) * | 2004-12-28 | 2010-04-07 | 株式会社テレビ朝日データビジョン | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム |
KR100782835B1 (ko) * | 2005-01-29 | 2007-12-06 | 삼성전자주식회사 | 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치 |
JP2006324779A (ja) * | 2005-05-17 | 2006-11-30 | Sony Corp | 字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法 |
US8566887B2 (en) * | 2005-12-09 | 2013-10-22 | Time Warner Cable Enterprises Llc | Caption data delivery apparatus and methods |
JP2007324872A (ja) * | 2006-05-31 | 2007-12-13 | Tv Asahi Data Vision Corp | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム |
US8045054B2 (en) * | 2006-09-13 | 2011-10-25 | Nortel Networks Limited | Closed captioning language translation |
JP2008199117A (ja) * | 2007-02-08 | 2008-08-28 | Sharp Corp | デジタル放送受信機 |
WO2009157078A1 (ja) * | 2008-06-26 | 2009-12-30 | 富士通マイクロエレクトロニクス株式会社 | 映像音声データ出力装置および映像音声データ出力方法 |
JP5274179B2 (ja) * | 2008-09-25 | 2013-08-28 | 日本テレビ放送網株式会社 | 字幕放送システム及び字幕放送方法 |
CN102356619B (zh) * | 2009-03-16 | 2016-11-09 | 皇家Kpn公司 | 已修改流同步 |
-
2012
- 2012-02-17 JP JP2012033007A patent/JP5903924B2/ja active Active
- 2012-12-11 US US13/710,989 patent/US8931024B2/en active Active
-
2013
- 2013-02-01 CN CN201310040723XA patent/CN103260075A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US8931024B2 (en) | 2015-01-06 |
CN103260075A (zh) | 2013-08-21 |
US20130219444A1 (en) | 2013-08-22 |
JP2013172181A (ja) | 2013-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5903924B2 (ja) | 受信装置および字幕処理方法 | |
JP6610555B2 (ja) | 受信装置、送信装置、およびデータ処理方法 | |
US11265606B2 (en) | Reception apparatus, reception method, and program | |
KR100782835B1 (ko) | 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치 | |
KR100513290B1 (ko) | 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법 | |
JP6313704B2 (ja) | 受信装置およびその同期処理方法 | |
CN101809965B (zh) | 将接收的流与发送至另外装置的流同步的通信技术 | |
JP6333173B2 (ja) | 受信装置および受信方法 | |
WO2012028851A1 (en) | Method and system for additional service synchronisation | |
JP2004297628A (ja) | ストリーム切替装置およびその装置にコンテンツを提供する装置 | |
JP2021061596A (ja) | 放送サービス再送信システムおよび視聴用携帯端末 | |
JP7477116B2 (ja) | 放送サービス通信ネットワーク配信装置および方法 | |
KR20130103931A (ko) | 메타데이터 우선제공 증강방송 장치 및 방법 | |
EP2723067B1 (en) | Information-providing system, reception device, and information management server | |
JP4197078B2 (ja) | 蓄積型デジタル放送における映像音声の部分再生方法及び受信装置 | |
JP6836971B2 (ja) | 受信装置、受信方法及びプログラム | |
JP6953238B2 (ja) | 受信装置、受信方法及びプログラム | |
JP4242525B2 (ja) | デジタル放送における映像音声の部分再生方法及び受信装置 | |
JP6596363B2 (ja) | 時刻マッピング情報生成装置、同期再生システム、時刻マッピング情報生成方法及び時刻マッピング情報生成プログラム | |
JP2024096838A (ja) | 放送サービス通信ネットワーク配信装置および方法 | |
JP2019186732A (ja) | レコーダおよび録画情報の再生方法 | |
JP2012216974A (ja) | 放送信号受信装置、放送信号受信方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160229 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |