JP7192786B2 - 信号処理装置および方法、並びにプログラム - Google Patents
信号処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP7192786B2 JP7192786B2 JP2019553801A JP2019553801A JP7192786B2 JP 7192786 B2 JP7192786 B2 JP 7192786B2 JP 2019553801 A JP2019553801 A JP 2019553801A JP 2019553801 A JP2019553801 A JP 2019553801A JP 7192786 B2 JP7192786 B2 JP 7192786B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- listening
- localization
- information
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 34
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000004807 localization Effects 0.000 claims description 231
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 23
- 240000004050 Pentaglottis sempervirens Species 0.000 description 19
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 19
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 101100365087 Arabidopsis thaliana SCRA gene Proteins 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 101100438139 Vulpes vulpes CABYR gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Description
〈本技術について〉
本技術は、聴取位置からの視点ショット(Point of View Shot)(以下、単にPOVと称する)によりコンテンツを再生する聴取空間をシミュレートしたGUI(Graphical User Interface)上で音像の定位位置を指定することで、音像の定位位置を容易に決定することができるようにするものである。
次に、以上において説明した本技術を適用した信号処理装置について説明する。
続いて、信号処理装置11の動作について説明する。
〈POV画像の表示について〉
ところで、第1の実施の形態では、コンテンツのオーディオ(音)が左右の2チャンネルの出力である例について説明した。しかし、本技術は、これに限らず、3次元空間の任意の位置に音像を定位させるオブジェクトベースオーディオにも適用可能である。
次に、図6乃至図10を参照して説明したように、本技術をオブジェクトベースオーディオに適用した場合における信号処理装置11の動作について説明する。すなわち、以下、図11のフローチャートを参照して、信号処理装置11による定位位置決定処理について説明する。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
聴取位置から見た聴取空間が表示されている状態で指定された前記聴取空間内のオーディオオブジェクトの音像の定位位置に関する情報を取得する取得部と、
前記定位位置に関する情報に基づいてビットストリームを生成する生成部と
を備える信号処理装置。
(2)
前記生成部は、前記定位位置に関する情報を前記オーディオオブジェクトのメタ情報として前記ビットストリームを生成する
(1)に記載の信号処理装置。
(3)
前記ビットストリームには、前記オーディオオブジェクトのオーディオデータおよび前記メタ情報が含まれている
(2)に記載の信号処理装置。
(4)
前記定位位置に関する情報は、前記聴取空間における前記定位位置を示す位置情報である
(1)乃至(3)の何れか一項に記載の信号処理装置。
(5)
前記位置情報には、前記聴取位置から前記定位位置までの距離を示す情報が含まれている
(4)に記載の信号処理装置。
(6)
前記定位位置は、前記聴取空間に配置された映像を表示するスクリーン上の位置である
(4)または(5)に記載の信号処理装置。
(7)
前記取得部は、第1の時刻における前記位置情報と、第2の時刻における前記位置情報とに基づいて、前記第1の時刻と前記第2の時刻との間の第3の時刻における前記位置情報を補間処理により求める
(4)乃至(6)の何れか一項に記載の信号処理装置。
(8)
前記聴取位置または前記聴取位置近傍の位置から見た前記聴取空間の画像の表示を制御する表示制御部をさらに備える
(1)乃至(7)の何れか一項に記載の信号処理装置。
(9)
前記表示制御部は、前記画像上に所定のチャンネル構成のスピーカシステムの各スピーカを、前記所定のチャンネル構成のスピーカレイアウトで表示させる
(8)に記載の信号処理装置。
(10)
前記表示制御部は、前記画像上に前記定位位置を示す定位位置マークを表示させる
(8)または(9)に記載の信号処理装置。
(11)
前記表示制御部は、入力操作に応じて、前記定位位置マークの表示位置を移動させる
(10)に記載の信号処理装置。
(12)
前記表示制御部は、前記聴取空間に配置された、前記オーディオオブジェクトに対応する被写体を含む映像が表示されたスクリーンを前記画像上に表示させる
(8)乃至(11)の何れか一項に記載の信号処理装置。
(13)
前記画像はPOV画像である
(8)乃至(12)の何れか一項に記載の信号処理装置。
(14)
信号処理装置が、
聴取位置から見た聴取空間が表示されている状態で指定された前記聴取空間内のオーディオオブジェクトの音像の定位位置に関する情報を取得し、
前記定位位置に関する情報に基づいてビットストリームを生成する
信号処理方法。
(15)
聴取位置から見た聴取空間が表示されている状態で指定された前記聴取空間内のオーディオオブジェクトの音像の定位位置に関する情報を取得し、
前記定位位置に関する情報に基づいてビットストリームを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
Claims (13)
- 聴取位置または前記聴取位置近傍の位置から見た聴取空間の画像の表示を制御し、前記聴取空間に配置された、オーディオオブジェクトに対応する被写体を含む映像が表示されたスクリーンを前記画像上に表示させる表示制御部と、
前記聴取位置から見た前記聴取空間が表示されている状態で指定された前記聴取空間内の前記オーディオオブジェクトの音像の定位位置に関する情報を取得する取得部と、
前記定位位置に関する情報に基づいてビットストリームを生成する生成部と
を備える信号処理装置。 - 前記生成部は、前記定位位置に関する情報を前記オーディオオブジェクトのメタ情報として前記ビットストリームを生成する
請求項1に記載の信号処理装置。 - 前記ビットストリームには、前記オーディオオブジェクトのオーディオデータおよび前記メタ情報が含まれている
請求項2に記載の信号処理装置。 - 前記定位位置に関する情報は、前記聴取空間における前記定位位置を示す位置情報である
請求項1に記載の信号処理装置。 - 前記位置情報には、前記聴取位置から前記定位位置までの距離を示す情報が含まれている
請求項4に記載の信号処理装置。 - 前記定位位置は、前記聴取空間に配置された前記スクリーン上の位置である
請求項4に記載の信号処理装置。 - 前記取得部は、第1の時刻における前記位置情報と、第2の時刻における前記位置情報とに基づいて、前記第1の時刻と前記第2の時刻との間の第3の時刻における前記位置情報を補間処理により求める
請求項4に記載の信号処理装置。 - 前記表示制御部は、前記画像上に所定のチャンネル構成のスピーカシステムの各スピーカを、前記所定のチャンネル構成のスピーカレイアウトで表示させる
請求項1に記載の信号処理装置。 - 前記表示制御部は、前記画像上に前記定位位置を示す定位位置マークを表示させる
請求項1に記載の信号処理装置。 - 前記表示制御部は、入力操作に応じて、前記定位位置マークの表示位置を移動させる
請求項9に記載の信号処理装置。 - 前記画像はPOV画像である
請求項1に記載の信号処理装置。 - 信号処理装置が、
聴取位置または前記聴取位置近傍の位置から見た聴取空間の画像の表示を制御し、前記聴取空間に配置された、オーディオオブジェクトに対応する被写体を含む映像が表示されたスクリーンを前記画像上に表示させ、
前記聴取位置から見た前記聴取空間が表示されている状態で指定された前記聴取空間内の前記オーディオオブジェクトの音像の定位位置に関する情報を取得し、
前記定位位置に関する情報に基づいてビットストリームを生成する
信号処理方法。 - 聴取位置または前記聴取位置近傍の位置から見た聴取空間の画像の表示を制御し、前記聴取空間に配置された、オーディオオブジェクトに対応する被写体を含む映像が表示されたスクリーンを前記画像上に表示させ、
前記聴取位置から見た前記聴取空間が表示されている状態で指定された前記聴取空間内の前記オーディオオブジェクトの音像の定位位置に関する情報を取得し、
前記定位位置に関する情報に基づいてビットストリームを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017219450 | 2017-11-14 | ||
JP2017219450 | 2017-11-14 | ||
PCT/JP2018/040425 WO2019098022A1 (ja) | 2017-11-14 | 2018-10-31 | 信号処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019098022A1 JPWO2019098022A1 (ja) | 2020-11-19 |
JP7192786B2 true JP7192786B2 (ja) | 2022-12-20 |
Family
ID=66540230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019553801A Active JP7192786B2 (ja) | 2017-11-14 | 2018-10-31 | 信号処理装置および方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (2) | US11722832B2 (ja) |
EP (1) | EP3713255A4 (ja) |
JP (1) | JP7192786B2 (ja) |
KR (1) | KR102548644B1 (ja) |
CN (2) | CN111316671B (ja) |
RU (1) | RU2020114250A (ja) |
WO (1) | WO2019098022A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11366879B2 (en) * | 2019-07-08 | 2022-06-21 | Microsoft Technology Licensing, Llc | Server-side audio rendering licensing |
US11895466B2 (en) | 2020-12-28 | 2024-02-06 | Hansong (Nanjing) Technology Ltd. | Methods and systems for determining parameters of audio devices |
CN113194384A (zh) * | 2020-12-28 | 2021-07-30 | 汉桑(南京)科技有限公司 | 一种音响参数确定方法和*** |
US20240163634A1 (en) * | 2021-03-29 | 2024-05-16 | Sony Group Corporation | Information processing apparatus, information processing system, information processing method, and program |
US20220400352A1 (en) * | 2021-06-11 | 2022-12-15 | Sound Particles S.A. | System and method for 3d sound placement |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278381A (ja) | 2008-05-14 | 2009-11-26 | Nippon Hoso Kyokai <Nhk> | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
JP2014011509A (ja) | 2012-06-27 | 2014-01-20 | Sharp Corp | 音声出力制御装置、音声出力制御方法、プログラム及び記録媒体 |
JP2016096420A (ja) | 2014-11-13 | 2016-05-26 | ヤマハ株式会社 | 音像定位制御装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812688A (en) * | 1992-04-27 | 1998-09-22 | Gibson; David A. | Method and apparatus for using visual images to mix sound |
JPH08181962A (ja) | 1994-12-22 | 1996-07-12 | Hitachi Ltd | 音像定位方法および音像定位制御装置およびテレビ会議システム |
US6829018B2 (en) | 2001-09-17 | 2004-12-07 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
JP2005286903A (ja) * | 2004-03-30 | 2005-10-13 | Pioneer Electronic Corp | 音響再生装置、音響再生システム、音響再生方法及び制御プログラム並びにこのプログラムを記録した情報記録媒体 |
EP1791394B1 (en) | 2004-09-16 | 2011-11-09 | Panasonic Corporation | Sound image localization apparatus |
CN101689370B (zh) * | 2007-07-09 | 2012-08-22 | 日本电气株式会社 | 音频分组接收器、音频分组接收方法 |
JP2010182287A (ja) * | 2008-07-17 | 2010-08-19 | Steven C Kays | 適応型インテリジェント・デザイン |
RU2525109C2 (ru) | 2009-06-05 | 2014-08-10 | Конинклейке Филипс Электроникс Н.В. | Система объемного звука и способ для нее |
KR101844511B1 (ko) | 2010-03-19 | 2018-05-18 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
US8665321B2 (en) * | 2010-06-08 | 2014-03-04 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
US8774955B2 (en) * | 2011-04-13 | 2014-07-08 | Google Inc. | Audio control of multimedia objects |
US10652640B2 (en) | 2012-11-29 | 2020-05-12 | Soundsight Ip, Llc | Video headphones, system, platform, methods, apparatuses and media |
AU2014241011B2 (en) | 2013-03-28 | 2016-01-28 | Dolby International Ab | Rendering of audio objects with apparent size to arbitrary loudspeaker layouts |
TWI634798B (zh) * | 2013-05-31 | 2018-09-01 | 新力股份有限公司 | Audio signal output device and method, encoding device and method, decoding device and method, and program |
KR102427495B1 (ko) * | 2014-01-16 | 2022-08-01 | 소니그룹주식회사 | 음성 처리 장치 및 방법, 그리고 프로그램 |
DK3406088T3 (da) * | 2016-01-19 | 2022-04-25 | Sphereo Sound Ltd | Syntese af signaler til immersiv lydgengivelse |
CN110249297B (zh) * | 2017-02-09 | 2023-07-21 | 索尼公司 | 信息处理设备和信息处理方法 |
-
2018
- 2018-10-31 CN CN201880071368.3A patent/CN111316671B/zh active Active
- 2018-10-31 RU RU2020114250A patent/RU2020114250A/ru unknown
- 2018-10-31 KR KR1020207011318A patent/KR102548644B1/ko active IP Right Grant
- 2018-10-31 CN CN202111146300.7A patent/CN113891233B/zh active Active
- 2018-10-31 EP EP18879892.0A patent/EP3713255A4/en active Pending
- 2018-10-31 US US16/762,304 patent/US11722832B2/en active Active
- 2018-10-31 WO PCT/JP2018/040425 patent/WO2019098022A1/ja unknown
- 2018-10-31 JP JP2019553801A patent/JP7192786B2/ja active Active
-
2023
- 2023-06-26 US US18/341,143 patent/US20230336935A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278381A (ja) | 2008-05-14 | 2009-11-26 | Nippon Hoso Kyokai <Nhk> | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
JP2014011509A (ja) | 2012-06-27 | 2014-01-20 | Sharp Corp | 音声出力制御装置、音声出力制御方法、プログラム及び記録媒体 |
JP2016096420A (ja) | 2014-11-13 | 2016-05-26 | ヤマハ株式会社 | 音像定位制御装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210176581A1 (en) | 2021-06-10 |
RU2020114250A3 (ja) | 2022-03-14 |
JPWO2019098022A1 (ja) | 2020-11-19 |
EP3713255A4 (en) | 2021-01-20 |
CN111316671B (zh) | 2021-10-22 |
KR20200087130A (ko) | 2020-07-20 |
KR102548644B1 (ko) | 2023-06-28 |
CN113891233A (zh) | 2022-01-04 |
US20230336935A1 (en) | 2023-10-19 |
RU2020114250A (ru) | 2021-10-21 |
CN113891233B (zh) | 2024-04-09 |
US11722832B2 (en) | 2023-08-08 |
CN111316671A (zh) | 2020-06-19 |
WO2019098022A1 (ja) | 2019-05-23 |
EP3713255A1 (en) | 2020-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7192786B2 (ja) | 信号処理装置および方法、並びにプログラム | |
JP7014176B2 (ja) | 再生装置、再生方法、およびプログラム | |
CN109891503B (zh) | 声学场景回放方法和装置 | |
US9967693B1 (en) | Advanced binaural sound imaging | |
BR112021011170A2 (pt) | Aparelho e método para reproduzir uma fonte sonora espacialmente estendida ou aparelho e método para gerar um fluxo de bits a partir de uma fonte sonora espacialmente estendida | |
RU2735095C2 (ru) | Устройство и способ аудиообработки, и программа | |
US20220386062A1 (en) | Stereophonic audio rearrangement based on decomposed tracks | |
US20240073639A1 (en) | Information processing apparatus and method, and program | |
CN111512648A (zh) | 启用空间音频内容的渲染以用于由用户消费 | |
US10708679B2 (en) | Distributed audio capture and mixing | |
KR102058228B1 (ko) | 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션 | |
US10499178B2 (en) | Systems and methods for achieving multi-dimensional audio fidelity | |
KR20190081163A (ko) | 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션 | |
US10966041B2 (en) | Audio triangular system based on the structure of the stereophonic panning | |
Mušanovic et al. | 3D sound for digital cultural heritage | |
KR20190082056A (ko) | 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션 | |
Barberis et al. | Ormé, a tool for automated spatialization of fixed-media music based on spectrum contents annotation | |
KR20190081160A (ko) | 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션 | |
KR20190082055A (ko) | 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7192786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |