JP5346338B2 - ビデオを索引化する方法及びビデオを索引化する装置 - Google Patents
ビデオを索引化する方法及びビデオを索引化する装置 Download PDFInfo
- Publication number
- JP5346338B2 JP5346338B2 JP2010513897A JP2010513897A JP5346338B2 JP 5346338 B2 JP5346338 B2 JP 5346338B2 JP 2010513897 A JP2010513897 A JP 2010513897A JP 2010513897 A JP2010513897 A JP 2010513897A JP 5346338 B2 JP5346338 B2 JP 5346338B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- region
- data stream
- video data
- indexing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 49
- 230000000153 supplemental effect Effects 0.000 claims 4
- 230000000747 cardiac effect Effects 0.000 claims 1
- 238000013139 quantization Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000001824 photoionisation detection Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
符号化ビデオ・ストリームを受信する工程と、
記録サポート上に符号化ビデオ・ストリームする工程と、
関心領域の位置情報を復号化する工程と、
ピクチャ毎に関心領域を選択する工程と、
ビデオ・データを復号化する工程と、
ピクチャ毎に選択された関心領域からビデオ・データ・ストリームの所定数の関心領域を選択する工程と、
選択された関心領域を記録する工程と
を含む。
選択され、復号化されるにつれ、選択された関心領域が一時メモリに記録され、
選択された関心領域が全て、一時メモリに記録されると、選択された関心領域が永続的メモリ・サポート(503)に転送される。
各ピクチャにおける関心領域の数と、
ピクチャの寸法毎の関心領域毎の座標と、
関心領域毎の表面と、
ピクチャの他の関心領域に対する関心領域の重要度に対する重みと、
関心領域毎のコンテンツに関する情報と、
前述の情報の何れかの組合せ
から選ばれる情報を含む。
符号化ビデオ・ストリームを受信する手段と、
記録サポート上に符号化ビデオ・ストリームを記録する手段と、
関心領域の位置情報を復号化する手段と、
ビデオ・データを復号化する手段と、
ピクチャ毎に関心領域を選択する手段と、
ピクチャ毎に選択された関心領域からビデオ・データ・ストリームの所定数の関心領域を選択する手段と、
選択された関心領域を記録する手段
とを備える。
)には、顕著性マップを作成する効果的な方法が開示されている。
通常、この場合、
payloadSize=17(バイト)、よって、UUIDは16であり、固有データは1である。
roi_x_16:16個の画素の倍数での、関心領域のピクチャにおけるXの位置
roi_y_16:16個の画素の倍数で、関心領域のピクチャにおけるYの位置
roi_w_16:関心領域のピクチャ内の幅(16画素の倍数)
roi_h_16:関心領域のピクチャ内の高さ(16画素の倍数)
semantic_information:関心領域を特徴付ける題名
相対的重み:基本的に最も関心の高い関心領域が分かるようにピクチャの関心領域毎の重みを表す。
モジュール113は、SEIメッセージをデータ・ストリームに挿入し、そうして符号化されたビデオ・ストリームを伝送ネットワークに送出する。
表示したい関心領域の最大数、
画面上に種々の関心領域を表示したい態様(例えば、モザイクの形式)、
関心領域に対して望まれるズームの度合いを選択することが可能であり、
キーワードを使用して、「意味情報」フィールドがキーワードを含む関心領域
を選択することが可能である。この場合、ピクチャ毎に、キーワードを含むピクチャ毎に単一の関心領域(この場合、顕著度が最大の関心領域)を表示することが必要であるか、又はキーワードを含むいくつかの関心領域を表示することが必要であるかを規定することも可能である。
通常、この場合、
payloadSize=17(バイト)。よって、UUIDは16であり、固有データは1である。
Claims (14)
- パーソナル・レコーダ装置が符号化ビデオ・データ・ストリームを索引化する方法であって、前記ビデオ・データ・ストリームは、各ピクチャの関心領域の位置に関する情報を含み、前記方法は、
前記パーソナル・レコーダ装置が復号化器用の符号化ビデオ・データ・ストリームを受信する工程と、
記録サポートが前記記録サポート上に前記符号化ビデオ・データ・ストリームを記録する工程と、
復号化器が関心領域の位置情報を復号化する工程と、
ビデオ索引化モジュールがピクチャ毎に関心領域を選択する工程と、
前記復号化器が符号化ビデオ・データ・ストリームを復号化する工程と、
前記ビデオ索引化モジュールがピクチャ毎に前記選択された関心領域から前記ビデオ・データ・ストリームの所定数の関心領域を選択する工程と、
前記記録サポートが前記記録サポート上に前記ビデオ・データ・ストリームの前記選択された関心領域を記録する工程と
を含む、索引化する方法。 - 請求項1記載の索引化する方法であって、前記記録サポートが前記ビデオ・データ・ストリームの前記選択された関心領域を記録する工程中に、
前記ビデオ・データ・ストリームが復号化され、前記ビデオ・データ・ストリームの前記関心領域が選択されるにつれ、前記ビデオ・データ・ストリームの前記選択された関心領域が一時メモリに記録され、
前記ビデオ・データ・ストリームの前記選択された関心領域が前記一時メモリに記録されると、前記ビデオ・データ・ストリームの前記選択された関心領域が記録サポートに転送される、索引化する方法。 - 請求項1又は2の何れか一項に記載の索引化する方法であって、前記方法は、
前記ビデオ索引化モジュールが前記ビデオ・データ・ストリームの所定数の関心領域を選択する工程と、前記記録サポートが前記ビデオ・データ・ストリームの前記選択された関心領域を記録する工程との間に、前記ビデオ・データ・ストリームの前記選択された関心領域の一様なサイズを得るために前記ビデオ・データ・ストリームの前記選択された関心領域を前記パーソナル・レコーダ装置がズーミングする工程を含む、索引化する方法。 - 請求項1乃至3の何れか一項に記載の索引化する方法であって、暗号化鍵により、前記関心領域の位置情報を前記パーソナル・レコーダ装置が暗号化する工程を含む、索引化する方法。
- 請求項4記載の索引化する方法であって、ユーザによる支払いにより、復号鍵を前記パーソナル・レコーダ装置が得る工程を含む、索引化する方法。
- 請求項1乃至5のうちの何れか一項に記載の索引化する方法であって、前記ビデオ・データ・ストリームはH.264/AVC符号化標準に応じて符号化され、前記位置情報は付加拡張情報(SEI)タイプ・メッセージに含まれる、索引化する方法。
- 請求項5又は6に記載の索引化する方法であって、付加拡張情報(SEI)タイプ・メッセージはリアルタイム・プロトコル・パケット(RTP)にカプセル化され、前記RTPパケットは暗号化される、索引化する方法。
- 請求項5乃至6の何れか一項に記載の索引化する方法であって、関心領域位置情報に関する付加拡張情報(SEI)タイプ・メッセージは、前記付加拡張情報タイプ・メッセージが参照するピクチャそれぞれの前又は後の符号化ビデオ・データ・ストリームに挿入される、索引化する方法。
- 請求項1乃至8のうちの何れか一項に記載の索引化する方法であって、前記位置情報は、
各ピクチャにおける関心領域の数、
ピクチャ幅及びピクチャ高さに応じた、関心領域それぞれの座標、
関心領域それぞれの前記幅及び前記高さ、
前記ピクチャの他の領域に対する前記関心領域の相対的重み、
関心領域それぞれの内容に関する情報、及び
情報の何れかの組合せ
から選ばれる情報を含む、索引化する方法。 - 請求項1乃至9のうちの何れか一項に記載の索引化する方法であって、前記ビデオ索引化モジュールが前記ピクチャ毎に関心領域を選択する工程は、前記ビデオ索引化モジュールが前記関心領域の前記相対的重みに応じて関心領域を選択する、索引化する方法。
- 請求項6乃至10のうちの何れか一項に記載の索引化する方法であって、
ビデオ符号化標準は、柔軟なマクロブロック配列を使用し、前記関心領域は、他のピクチャ・データと無関係にスライス群に符号化され、前記関心領域の位置情報は、前記関心領域が符号化されたスライス群番号を含む、索引化する方法。 - 請求項11記載の索引化する方法であって、付加拡張情報(SEI)タイプ・メッセージは、一関心領域に関係している場合、スライス群それぞれについて示す識別子を含む、索引化する方法。
- 請求項12記載の索引化する方法であって、前記パーソナル・レコーダ装置が前記付加拡張情報(SEI)タイプ・メッセージを読み出す更なる工程を含み、前記復号化器が前記符号化ビデオ・データ・ストリームを復号化する工程は、スライス群が一関心領域に関係する旨を識別子が示すスライス群のみを前記復号化器が復号化する、索引化する方法。
- 符号化ビデオ・データ・ストリームを索引化する装置であって、前記ビデオ・データ・ストリームは、各ピクチャの関心領域の位置に関する情報を含み、前記装置は、
符号化ビデオ・データ・ストリームを受信する手段と、
記録サポート上に前記符号化ビデオ・データ・ストリームを記録する手段と、
前記関心領域の位置情報を復号化する手段と、
ビデオ・データ・ストリームを復号化する手段と、
ピクチャ毎に関心領域を選択する手段と、
ピクチャ毎に選択された関心領域から前記ビデオ・データ・ストリームの所定数の関心領域を選択する手段と、
前記ビデオ・データ・ストリームの前記選択された関心領域を記録する手段と
を備える、索引化する装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0756181 | 2007-06-29 | ||
FR0756181 | 2007-06-29 | ||
PCT/EP2008/058050 WO2009003885A2 (en) | 2007-06-29 | 2008-06-25 | Video indexing method, and video indexing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010532121A JP2010532121A (ja) | 2010-09-30 |
JP5346338B2 true JP5346338B2 (ja) | 2013-11-20 |
Family
ID=39204994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010513897A Expired - Fee Related JP5346338B2 (ja) | 2007-06-29 | 2008-06-25 | ビデオを索引化する方法及びビデオを索引化する装置 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP2174500A2 (ja) |
JP (1) | JP5346338B2 (ja) |
KR (1) | KR101488548B1 (ja) |
CN (1) | CN101690228B (ja) |
WO (1) | WO2009003885A2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5305451B2 (ja) * | 2009-06-03 | 2013-10-02 | 独立行政法人情報通信研究機構 | ホログラム符号化装置およびホログラム復号化装置、ならびに、ホログラム符号化プログラムおよびホログラム復号化プログラム |
JP2011009949A (ja) | 2009-06-24 | 2011-01-13 | Toshiba Corp | 映像処理装置及び映像処理方法 |
CN103096049A (zh) | 2011-11-02 | 2013-05-08 | 华为技术有限公司 | 一种视频处理方法及***、相关设备 |
WO2013077236A1 (en) | 2011-11-21 | 2013-05-30 | Canon Kabushiki Kaisha | Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium |
CN103246658B (zh) * | 2012-02-03 | 2017-02-08 | 展讯通信(上海)有限公司 | 建立索引表方法和编码方法 |
PL2842313T3 (pl) | 2012-04-13 | 2017-06-30 | Ge Video Compression, Llc | Skalowalny strumień danych i obiekt sieciowy |
EP2868103B1 (en) * | 2012-06-29 | 2016-12-07 | GE Video Compression, LLC | Video data stream concept |
US9247225B2 (en) * | 2012-09-25 | 2016-01-26 | Intel Corporation | Video indexing with viewer reaction estimation and visual cue detection |
CN105075271A (zh) * | 2013-04-08 | 2015-11-18 | 索尼公司 | 利用shvc的关注区域可伸缩性 |
WO2015014773A1 (en) * | 2013-07-29 | 2015-02-05 | Koninklijke Kpn N.V. | Providing tile video streams to a client |
US9532086B2 (en) | 2013-11-20 | 2016-12-27 | At&T Intellectual Property I, L.P. | System and method for product placement amplification |
US20150237351A1 (en) * | 2014-02-18 | 2015-08-20 | Penne Lee | Techniques for inclusion of region of interest indications in compressed video data |
WO2015197815A1 (en) | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
WO2015197818A1 (en) | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
US10715843B2 (en) | 2015-08-20 | 2020-07-14 | Koninklijke Kpn N.V. | Forming one or more tile streams on the basis of one or more video streams |
EP3360330B1 (en) | 2015-10-08 | 2021-03-24 | Koninklijke KPN N.V. | Enhancing a region of interest in video frames of a video stream |
US10582201B2 (en) * | 2016-05-19 | 2020-03-03 | Qualcomm Incorporated | Most-interested region in an image |
JP7040448B2 (ja) * | 2016-08-30 | 2022-03-23 | ソニーグループ株式会社 | 送信装置、送信方法、受信装置および受信方法 |
US10887572B2 (en) | 2016-11-17 | 2021-01-05 | Intel Corporation | Suggested viewport indication for panoramic video |
CN108810600B (zh) * | 2017-04-28 | 2020-12-22 | 华为技术有限公司 | 一种视频场景的切换方法、客户端及服务器 |
US10771163B2 (en) * | 2017-10-24 | 2020-09-08 | Mediatek Inc. | Apparatus and method for decoding ROI regions in image |
US11523185B2 (en) | 2019-06-19 | 2022-12-06 | Koninklijke Kpn N.V. | Rendering video stream in sub-area of visible display area |
CN111510752B (zh) * | 2020-06-18 | 2021-04-23 | 平安国际智慧城市科技股份有限公司 | 数据传输方法、装置、服务器及存储介质 |
CN113747151B (zh) * | 2021-07-30 | 2024-04-12 | 咪咕文化科技有限公司 | 视频编解码方法、装置、设备及计算机可读存储介质 |
CN116074585B (zh) * | 2023-03-03 | 2023-06-23 | 乔品科技(深圳)有限公司 | 基于ai和注意力机制的超高清视频编解码方法和装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07148155A (ja) * | 1993-11-26 | 1995-06-13 | Toshiba Corp | コンピュータ断層撮影装置 |
US20020044696A1 (en) * | 1999-11-24 | 2002-04-18 | Sirohey Saad A. | Region of interest high resolution reconstruction for display purposes and a novel bookmarking capability |
US6549674B1 (en) * | 2000-10-12 | 2003-04-15 | Picsurf, Inc. | Image compression based on tiled wavelet-like transform using edge and non-edge filters |
US6909745B1 (en) * | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
FR2833132B1 (fr) * | 2001-11-30 | 2004-02-13 | Eastman Kodak Co | Procede pour selectionner et enregistrer un sujet d'interet dans une image numerique fixe |
JP3966461B2 (ja) * | 2002-08-09 | 2007-08-29 | 株式会社リコー | 電子カメラ装置 |
JP2005110145A (ja) * | 2003-10-02 | 2005-04-21 | Ricoh Co Ltd | 符号列変換装置、符号列変換方法、撮影システム、画像表示システム、監視システム、プログラム、及び、情報記録媒体 |
US20060045381A1 (en) * | 2004-08-31 | 2006-03-02 | Sanyo Electric Co., Ltd. | Image processing apparatus, shooting apparatus and image display apparatus |
US7598977B2 (en) * | 2005-04-28 | 2009-10-06 | Mitsubishi Electric Research Laboratories, Inc. | Spatio-temporal graphical user interface for querying videos |
EP1748385A3 (en) * | 2005-07-28 | 2009-12-09 | THOMSON Licensing | Method and device for generating a sequence of images of reduced size |
US8024768B2 (en) * | 2005-09-15 | 2011-09-20 | Penthera Partners, Inc. | Broadcasting video content to devices having different video presentation capabilities |
KR101255226B1 (ko) * | 2005-09-26 | 2013-04-16 | 한국과학기술원 | 스케일러블 비디오 코딩에서 다중 roi 설정, 복원을위한 장치 및 방법 |
-
2008
- 2008-06-25 KR KR1020107002047A patent/KR101488548B1/ko not_active IP Right Cessation
- 2008-06-25 EP EP08761351A patent/EP2174500A2/en not_active Ceased
- 2008-06-25 CN CN200880022001.9A patent/CN101690228B/zh not_active Expired - Fee Related
- 2008-06-25 WO PCT/EP2008/058050 patent/WO2009003885A2/en active Application Filing
- 2008-06-25 JP JP2010513897A patent/JP5346338B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2009003885A2 (en) | 2009-01-08 |
JP2010532121A (ja) | 2010-09-30 |
WO2009003885A3 (en) | 2009-03-26 |
KR101488548B1 (ko) | 2015-02-02 |
CN101690228A (zh) | 2010-03-31 |
CN101690228B (zh) | 2012-08-08 |
EP2174500A2 (en) | 2010-04-14 |
KR20100042632A (ko) | 2010-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5346338B2 (ja) | ビデオを索引化する方法及びビデオを索引化する装置 | |
US10911786B2 (en) | Image processing device and method | |
US9918108B2 (en) | Image processing device and method | |
US20180176468A1 (en) | Preferred rendering of signalled regions-of-interest or viewports in virtual reality video | |
US11297354B2 (en) | Encoding apparatus, decoding apparatus and transmission control method | |
EP1878260B1 (en) | Method for scalably encoding and decoding video signal | |
EP2384002B1 (en) | Moving picture decoding method using additional quantization matrices | |
US8509434B2 (en) | Method and apparatus for protecting scalable video coding contents | |
WO2013129618A1 (ja) | 画像処理装置および方法 | |
CA3022221A1 (en) | Apparatus and method for image processing for suppressing a reduction of coding efficiency | |
US20060062299A1 (en) | Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks | |
WO2015194394A1 (ja) | 画像符号化装置および方法、並びに画像復号装置および方法 | |
KR100630983B1 (ko) | 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치 | |
EP1879388A1 (en) | Video information recording device, video information recording method, video information recording program, and recording medium containing the video information recording program | |
JPWO2013031315A1 (ja) | 画像処理装置及び画像処理方法 | |
JP7345051B2 (ja) | サブピクチャ、スライス、およびタイルをサポートするビデオ符号化 | |
WO2016157924A1 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2006311079A (ja) | 画像ビットストリーム変換装置 | |
WO2022050166A1 (ja) | 再生装置、送信装置、再生方法、及び、送信方法 | |
JP5387520B2 (ja) | 情報処理装置と情報処理方法 | |
JP2017216749A (ja) | 画像処理装置及び画像処理方法 | |
RU2809689C2 (ru) | Устройство и способ кодирования изображения для управления контурной фильтрацией | |
JP2006109060A (ja) | 画像符号化情報を利用した手ぶれ補正方法及び装置 | |
RU2628198C1 (ru) | Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения | |
JP2021197733A (ja) | 符号化装置、復号装置、符号化方法、および復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121106 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5346338 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |