JP2014522181A - オーディオ信号処理方法及びそれによるオーディオ信号処理装置 - Google Patents
オーディオ信号処理方法及びそれによるオーディオ信号処理装置 Download PDFInfo
- Publication number
- JP2014522181A JP2014522181A JP2014523837A JP2014523837A JP2014522181A JP 2014522181 A JP2014522181 A JP 2014522181A JP 2014523837 A JP2014523837 A JP 2014523837A JP 2014523837 A JP2014523837 A JP 2014523837A JP 2014522181 A JP2014522181 A JP 2014522181A
- Authority
- JP
- Japan
- Prior art keywords
- information
- audio signal
- audio
- video
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 158
- 238000003672 processing method Methods 0.000 title claims description 19
- 230000000694 effects Effects 0.000 claims abstract description 133
- 238000009877 rendering Methods 0.000 claims abstract description 25
- 230000003068 static effect Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 7
- 238000004091 panning Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Stereophonic System (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Claims (25)
- 三次元映像情報を入力され、前記三次元映像情報に基づいて、オーディオ・オブジェクトに、左右方向、上下方向及び前後方向のうち少なくとも1つの方向に立体感を付与するための情報であるインデックス情報を生成するインデックス予測部と、
前記インデックス情報に基づいて、前記オーディオ・オブジェクトに、左右方向、上下方向及び前後方向のうち少なくとも1つの方向における立体感を付与するレンダリング部と、を含むことを特徴とするオーディオ信号処理装置。 - 前記インデックス予測部は、
前記左右方向における音響拡張感情報、前記前後方向におけるデプス情報、及び前記上下方向における高度感情報のうち少なくとも一つを含む前記インデックス情報を生成することを特徴とする請求項1に記載のオーディオ信号処理装置。 - 前記三次元映像情報は、
映像フレーム別に、最大ディスパリティ値、最小ディスパリティ値、及び前記最大ディスパリティまたは最小ディスパリティを有する映像オブジェクトの位置情報のうち少なくとも一つを含むことを特徴とする請求項1に記載のオーディオ信号処理装置。 - 前記映像オブジェクトの位置情報は、
前記三次元映像情報が、前記映像フレーム別に入力される場合、前記1フレームに対応する1つの映像画面を、少なくとも一つに分割したサブフレームに係わる情報を含むことを特徴とする請求項3に記載のオーディオ信号処理装置。 - 前記音響拡張感情報は、
前記最大ディスパリティ値及び前記位置情報を利用して、前記オーディオ・オブジェクトの前記左右方向における位置を推定し、前記推定された位置に基づいて算出されることを特徴とする請求項4に記載のオーディオ信号処理装置。 - 前記デプス情報は、
前記最大ディスパリティまたは最小ディスパリティ値を利用して、前記オーディオ・オブジェクトの前記前後方向におけるデプス値を推定し、前記推定されたデプス値に基づいて算出されることを特徴とする請求項4に記載のオーディオ信号処理装置。 - 前記高度感情報は、
前記最大ディスパリティ値及び前記位置情報を利用して、前記オーディオ・オブジェクトの前記上下方向における位置を推定し、前記推定された位置に基づいて算出されることを特徴とする請求項4に記載のオーディオ信号処理装置。 - 前記インデックス予測部は、
前記オーディオ・オブジェクトと、映像オブジェクトとが不一致である場合、及び前記オーディオ・オブジェクトが非効果音である場合のうち少なくとも1つの場合、前記オーディオ・オブジェクトの立体感が低下するように、前記インデックス情報を生成することを特徴とする請求項1に記載のオーディオ信号処理装置。 - ステレオオーディオ信号を入力され、前記ステレオオーディオ信号で、左/右信号及びセンターチャネル信号を抽出し、前記抽出された信号を、前記レンダリング部に伝送する信号抽出部をさらに含むことを特徴とする請求項1に記載のオーディオ信号処理装置。
- 前記インデックス予測部は、
前記ステレオオーディオ信号、前記左/右信号及びセンターチャネル信号のうち少なくとも一つを、オーディオ信号として入力され、前記入力されたオーディオ信号の方向角及び周波数帯域別エネルギーのうち少なくとも一つを分析し、前記分析結果に基づいて、効果音と非効果音とを区別する音源感知部と、
前記オーディオ・オブジェクトと、映像オブジェクトとが一致するか否かを判断する比較部と、
前記オーディオ・オブジェクトと、前記映像オブジェクトとが不一致である場合、及び前記オーディオ・オブジェクトが前記非効果音である場合のうち少なくとも1つの場合、前記オーディオ・オブジェクトの立体感が低下するように、前記インデックス情報を生成するインデックス生成部と、を含むことを特徴とする請求項9に記載のオーディオ信号処理装置。 - 前記音源感知部は、
前記ステレオオーディオ信号、前記左/右信号及びセンターチャネル信号のうち少なくとも一つを入力され、前記ステレオオーディオ信号に含まれるオーディオ・オブジェクトの方向角を追跡し、前記追跡結果に基づいて、効果音と前記非効果音とを区別することを特徴とする請求項10に記載のオーディオ信号処理装置。 - 前記音源感知部は、
追跡された前記方向角の変化量が、所定値より大きいか、あるいはそれと同じである場合、あるいは追跡された前記方向角が左右方向に收斂される場合、前記オーディオ・オブジェクトが、前記効果音であると判断することを特徴とする請求項11に記載のオーディオ信号処理装置。 - 前記音源感知部は、
追跡された前記方向角の変化量が、所定値より小さいか、あるいはそれと同じである場合、あるいは前記方向角が中心地点に収斂される場合、前記オーディオ・オブジェクトが静的音源であると判断することを特徴とする請求項11に記載のオーディオ信号処理装置。 - 前記音源感知部は、
前記左/右信号と、前記センターチャネル信号との高周波数領域のエネルギーの比率を分析し、前記左/右信号のエネルギーの比率が、前記センターチャネル信号のエネルギーの比率より低い場合、前記オーディオ・オブジェクトが前記非効果音であると判断することを特徴とする請求項10に記載のオーディオ信号処理装置。 - 前記音源感知部は、
前記センターチャネル信号において、音声帯域周波数区間と、非音声帯域周波数区間とのエネルギーの比率を分析し、前記分析結果に基づいて、前記オーディオ・オブジェクトが前記非効果音である音声信号であるか否かを判断することを特徴とする請求項10に記載のオーディオ信号処理装置。 - 前記三次元映像情報は、
1映像フレーム内に存在する映像オブジェクト別に、ディスパリティ値、前記映像オブジェクトの位置情報及び映像のデプスマップのうち少なくとも一つを含むことを特徴とする請求項1に記載のオーディオ信号処理装置。 - 少なくとも1つのオーディオ・オブジェクトを含むオーディオ信号及び三次元映像情報を入力される段階と、
前記三次元映像情報に基づいて、前記オーディオ・オブジェクトに、左右方向、上下方向及び前後方向のうち少なくとも1つの方向における立体感を付与するための情報であるインデックス情報を生成する段階と、
前記インデックス情報に基づいて、前記オーディオ・オブジェクトに、左右方向、上下方向及び前後方向のうち少なくとも1つの方向に立体感を付与する段階と、を含むことを特徴とするオーディオ信号処理方法。 - 前記インデックス情報を生成する段階は、
前記左右方向における音響拡張感情報、前記前後方向におけるデプス情報、及び前記上下方向における高度感情報のうち少なくとも一つを含む前記インデックス情報を生成する段階を含むことを特徴とする請求項17に記載のオーディオ信号処理方法。 - 前記インデックス情報を生成する段階は、
前記最大ディスパリティ値及び前記位置情報を利用して、前記オーディオ・オブジェクトの前記左右方向における位置を推定し、前記推定された位置に基づいて、前記左右方向におけるインデックス情報を生成する段階と、
前記最大ディスパリティ値及び最小ディスパリティ値を利用して、前記オーディオ・オブジェクトの前記前後方向におけるデプス値を推定し、前記推定されたデプス値に基づいて、前記前後方向におけるインデックス情報を生成する段階と、
前記最大ディスパリティ値及び前記位置情報を利用して、前記オーディオ・オブジェクトの前記上下方向における位置を推定し、前記推定された位置に基づいて、前記上下方向におけるインデックス情報を生成する段階と、を含むことを特徴とする請求項18に記載のオーディオ信号処理方法。 - 前記オーディオ・オブジェクトと、映像オブジェクトとが一致するか否かということを判断する段階をさらに含み、
前記インデックス情報を生成する段階は、
前記オーディオ・オブジェクトと、前記映像オブジェクトとが不一致である場合、前記オーディオ・オブジェクトの立体感が低下するように、前記インデックス情報を生成する段階を含むことを特徴とする請求項17に記載のオーディオ信号処理方法。 - 前記オーディオ・オブジェクトが非効果音であるか否かということを判断する段階をさらに含み、
前記インデックス情報を生成する段階は、
前記オーディオ・オブジェクトが前記非効果音である場合、前記オーディオ・オブジェクトの立体感が低下するように、前記インデックス情報を生成する段階を含むことを特徴とする請求項17に記載のオーディオ信号処理方法。 - 三次元映像に対応するオーディオ信号を入力される段階と、
前記三次元映像のための立体感情報に基づいて、前記オーディオ信号に立体感を付与する段階と、を含むオーディオ信号処理方法。 - 前記立体感情報は、
前記三次元映像に係わる深度情報及び位置情報のうち少なくとも一つを含むことを特徴とする請求項22に記載のオーディオ信号処理方法。 - 前記オーディオ信号に立体感を付与する段階は、
再生時に、前記三次元映像に含まれたオブジェクトの動きに相応するように、音源の位置が移動するように感じられるように、前記オーディオ信号を処理する段階を含むことを特徴とする請求項22に記載のオーディオ信号処理方法。 - 前記オーディオ信号に立体感を付与する段階は、
前記三次元映像の深度、左右拡張感及び高度感のうち少なくとも一つを知らせるインデックス情報を基に、前記オーディオ信号を、複数個の方向にレンダリングする段階を含むことを特徴とする請求項22に記載のオーディオ信号処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110076148A KR101901908B1 (ko) | 2011-07-29 | 2011-07-29 | 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치 |
KR10-2011-0076148 | 2011-07-29 | ||
PCT/KR2012/005955 WO2013019022A2 (en) | 2011-07-29 | 2012-07-26 | Method and apparatus for processing audio signal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014522181A true JP2014522181A (ja) | 2014-08-28 |
JP5890523B2 JP5890523B2 (ja) | 2016-03-22 |
Family
ID=47597241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014523837A Active JP5890523B2 (ja) | 2011-07-29 | 2012-07-26 | オーディオ信号処理装置及びオーディオ信号処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9554227B2 (ja) |
EP (1) | EP2737727B1 (ja) |
JP (1) | JP5890523B2 (ja) |
KR (1) | KR101901908B1 (ja) |
CN (1) | CN103858447B (ja) |
WO (1) | WO2013019022A2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101717787B1 (ko) * | 2010-04-29 | 2017-03-17 | 엘지전자 주식회사 | 디스플레이장치 및 그의 음성신호 출력 방법 |
US9892743B2 (en) * | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
US10203839B2 (en) | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
AU2014244722C1 (en) * | 2013-03-29 | 2017-03-02 | Samsung Electronics Co., Ltd. | Audio apparatus and audio providing method thereof |
KR102148217B1 (ko) * | 2013-04-27 | 2020-08-26 | 인텔렉추얼디스커버리 주식회사 | 위치기반 오디오 신호처리 방법 |
US20140328505A1 (en) * | 2013-05-02 | 2014-11-06 | Microsoft Corporation | Sound field adaptation based upon user tracking |
EP2879047A3 (en) * | 2013-11-28 | 2015-12-16 | LG Electronics Inc. | Mobile terminal and controlling method thereof |
WO2016114432A1 (ko) * | 2015-01-16 | 2016-07-21 | 삼성전자 주식회사 | 영상 정보에 기초하여 음향을 처리하는 방법, 및 그에 따른 디바이스 |
US10176644B2 (en) * | 2015-06-07 | 2019-01-08 | Apple Inc. | Automatic rendering of 3D sound |
CN106657178B (zh) * | 2015-10-29 | 2019-08-06 | 中国科学院声学研究所 | 一种基于http服务器的三维音效在线处理方法 |
KR20170106063A (ko) * | 2016-03-11 | 2017-09-20 | 가우디오디오랩 주식회사 | 오디오 신호 처리 방법 및 장치 |
CN106162447A (zh) * | 2016-06-24 | 2016-11-23 | 维沃移动通信有限公司 | 一种音频播放的方法和终端 |
CN106803910A (zh) * | 2017-02-28 | 2017-06-06 | 努比亚技术有限公司 | 一种音频处理装置及方法 |
CN108777832B (zh) * | 2018-06-13 | 2021-02-09 | 上海艺瓣文化传播有限公司 | 一种基于视频对象追踪的实时3d声场构建和混音*** |
CN109168125B (zh) * | 2018-09-16 | 2020-10-30 | 东阳市鑫联工业设计有限公司 | 一种3d音效*** |
US11356791B2 (en) | 2018-12-27 | 2022-06-07 | Gilberto Torres Ayala | Vector audio panning and playback system |
KR102217262B1 (ko) | 2020-07-20 | 2021-02-18 | 주식회사 파파플랜트 | 라이브커머스 서비스 제공 시스템 및 방법 |
KR20230006181A (ko) | 2021-07-02 | 2023-01-10 | 블링크코퍼레이션 주식회사 | 지자체 소상공인을 위한 라이브 서비스 제공 시스템 및 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006128816A (ja) * | 2004-10-26 | 2006-05-18 | Victor Co Of Japan Ltd | 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア |
JP2009278381A (ja) * | 2008-05-14 | 2009-11-26 | Nippon Hoso Kyokai <Nhk> | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1063470A (ja) * | 1996-06-12 | 1998-03-06 | Nintendo Co Ltd | 画像表示に連動する音響発生装置 |
US6829018B2 (en) * | 2001-09-17 | 2004-12-07 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
AU2003269551A1 (en) * | 2002-10-15 | 2004-05-04 | Electronics And Telecommunications Research Institute | Method for generating and consuming 3d audio scene with extended spatiality of sound source |
JP2004151229A (ja) * | 2002-10-29 | 2004-05-27 | Matsushita Electric Ind Co Ltd | 音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置 |
US7907167B2 (en) * | 2005-05-09 | 2011-03-15 | Infinite Z, Inc. | Three dimensional horizontal perspective workstation |
EP1784020A1 (en) * | 2005-11-08 | 2007-05-09 | TCL & Alcatel Mobile Phones Limited | Method and communication apparatus for reproducing a moving picture, and use in a videoconference system |
EP2154911A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
CN101350931B (zh) * | 2008-08-27 | 2011-09-14 | 华为终端有限公司 | 音频信号的生成、播放方法及装置、处理*** |
KR101235832B1 (ko) * | 2008-12-08 | 2013-02-21 | 한국전자통신연구원 | 실감 멀티미디어 서비스 제공 방법 및 장치 |
JP5345025B2 (ja) * | 2009-08-28 | 2013-11-20 | 富士フイルム株式会社 | 画像記録装置及び方法 |
US20110116665A1 (en) * | 2009-11-17 | 2011-05-19 | King Bennett M | System and method of providing three-dimensional sound at a portable computing device |
KR101690252B1 (ko) | 2009-12-23 | 2016-12-27 | 삼성전자주식회사 | 신호 처리 방법 및 장치 |
KR101844511B1 (ko) | 2010-03-19 | 2018-05-18 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
KR20120004909A (ko) | 2010-07-07 | 2012-01-13 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
CA3151342A1 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3d audio authoring and rendering |
-
2011
- 2011-07-29 KR KR1020110076148A patent/KR101901908B1/ko active IP Right Grant
-
2012
- 2012-07-26 EP EP12819640.9A patent/EP2737727B1/en active Active
- 2012-07-26 WO PCT/KR2012/005955 patent/WO2013019022A2/en active Application Filing
- 2012-07-26 CN CN201280048236.1A patent/CN103858447B/zh active Active
- 2012-07-26 JP JP2014523837A patent/JP5890523B2/ja active Active
- 2012-07-30 US US13/561,645 patent/US9554227B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006128816A (ja) * | 2004-10-26 | 2006-05-18 | Victor Co Of Japan Ltd | 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア |
JP2009278381A (ja) * | 2008-05-14 | 2009-11-26 | Nippon Hoso Kyokai <Nhk> | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2737727B1 (en) | 2017-01-04 |
EP2737727A4 (en) | 2015-07-22 |
US9554227B2 (en) | 2017-01-24 |
WO2013019022A2 (en) | 2013-02-07 |
CN103858447B (zh) | 2016-12-07 |
KR20130014187A (ko) | 2013-02-07 |
JP5890523B2 (ja) | 2016-03-22 |
US20130028424A1 (en) | 2013-01-31 |
WO2013019022A3 (en) | 2013-04-04 |
EP2737727A2 (en) | 2014-06-04 |
KR101901908B1 (ko) | 2018-11-05 |
CN103858447A (zh) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5890523B2 (ja) | オーディオ信号処理装置及びオーディオ信号処理方法 | |
JP7275227B2 (ja) | 複合現実デバイスにおける仮想および実オブジェクトの記録 | |
KR101844511B1 (ko) | 입체 음향 재생 방법 및 장치 | |
CN116156411A (zh) | 用于交互式音频环境的空间音频 | |
US10924875B2 (en) | Augmented reality platform for navigable, immersive audio experience | |
KR101764175B1 (ko) | 입체 음향 재생 방법 및 장치 | |
CN109314832A (zh) | 音频信号处理方法和设备 | |
US10547962B2 (en) | Speaker arranged position presenting apparatus | |
WO2021249157A1 (zh) | 发声装置、显示装置、发声控制方法及装置 | |
TW201412092A (zh) | 多媒體處理系統及音訊信號處理方法 | |
KR20200087130A (ko) | 신호 처리 장치 및 방법, 그리고 프로그램 | |
Brinkmann et al. | Audio quality assessment for virtual reality | |
JP2011234177A (ja) | 立体音響再生装置及び再生方法 | |
JP6296072B2 (ja) | 音響再生装置及びプログラム | |
CA3044260A1 (en) | Augmented reality platform for navigable, immersive audio experience | |
US11252528B2 (en) | Low-frequency interchannel coherence control | |
US10812927B2 (en) | Spatial sound generation device, spatial sound generation system, spatial sound generation method, and spatial sound generation program | |
WO2023173285A1 (zh) | 音频处理方法、装置、电子设备及计算机可读存储介质 | |
Churnside et al. | The Virtual Maestro-The Creation of an Immersive, Interactive Orchestral Experience |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151217 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20151225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5890523 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |