JP6998831B2 - 角度制御装置、及び、角度制御プログラム - Google Patents

角度制御装置、及び、角度制御プログラム Download PDF

Info

Publication number
JP6998831B2
JP6998831B2 JP2018098114A JP2018098114A JP6998831B2 JP 6998831 B2 JP6998831 B2 JP 6998831B2 JP 2018098114 A JP2018098114 A JP 2018098114A JP 2018098114 A JP2018098114 A JP 2018098114A JP 6998831 B2 JP6998831 B2 JP 6998831B2
Authority
JP
Japan
Prior art keywords
angle
head
speaker
mirror
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018098114A
Other languages
English (en)
Other versions
JP2019205040A (ja
Inventor
誠浩 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018098114A priority Critical patent/JP6998831B2/ja
Publication of JP2019205040A publication Critical patent/JP2019205040A/ja
Application granted granted Critical
Publication of JP6998831B2 publication Critical patent/JP6998831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

この発明は、角度制御装置、及び、角度制御プログラムに関するものである。
車載用スピーカの向きを調整するための技術が知られている。
例えば、特許文献1には、超音波を放射する音波放射面と第1の面を有する超指向性スピーカと、第1の面に対向する第2の面を有する取り付け部と、を有し、超指向性スピーカの音波放射面の少なくとも一部は鏡面を有し、第1の面は凸面を有し、第2の面は凸面と接触し得る凹面を有し、凸面の曲率を凹面の曲率よりも大きくし、凸面が凹面を移動することにより音波放射面の傾きを変化させて超指向性スピーカの音波を放射する方向を調整することができる音響再生装置が開示されている。
特願2012-536158号公報
しかしながら、特許文献1には、ドアミラーやフェンダーミラーを電動調整するだけで、超指向性スピーカの音波の放射方向を自動的に調整することが可能となると記載されているものの、その具体的な方法に関しては一切の開示も示唆もなく、自動的に調整することを実現できるものではなかった。
この発明は、上述の問題点を解決するためのもので、超指向性スピーカの音波の放射方向を自動的に調整する角度制御装置を提供することを目的としている。
この発明に係る角度制御装置は、車両に搭載されたバックミラーの位置及び角度と、運転者用座席における左右方向の位置と、に基づいて、運転者の頭部位置を推定する頭部推定部と、頭部推定部が推定した頭部位置と、スピーカの位置と、に基づいてスピーカの角度を決定する角度決定部と、角度決定部が決定したスピーカの角度に基づいて、スピーカの角度を調整するための制御情報を生成する制御情報生成部と、を備え、角度決定部は、第1のバックミラーの位置及び角度に基づいて頭部推定部が推定した第1頭部位置と、第2のバックミラーの位置及び角度に基づいて頭部推定部が推定した第2頭部位置と、スピーカの位置と、に基づいてスピーカの角度を決定することを特徴とするものである。
この発明によれば、超指向性スピーカの音波の放射方向を自動的に調整できる。
図1は、実施の形態1に係る角度制御装置が適用された音響システムの構成を示すブロック図である。 図2A、図2Bは実施の形態1に係る角度制御装置のハードウェア構成の一例を示す図である。 図3は、バックミラー、運転者用座席、頭部、及び、スピーカの位置関係を示した図である。 図4は、実施の形態1に係る角度制御装置の処理を説明するフローチャートである。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
実施の形態1に係る角度制御装置1は、一例として、車両に搭載された音響システム3に適用されるものとして、以下説明する。
図1は、実施の形態1に係る角度制御装置1が適用された音響システム3の構成を示すブロック図である。
音響システム3は、角度制御装置1、スピーカ雲台31、スピーカ32、及び、音響装置33を備える。
音響装置33は、音源となるデータを再生して音声信号をスピーカ32に出力する。
スピーカ32は、音響装置33が出力した音声信号に基づいて振動板を振動させ、音声を出力する。
角度制御装置1は、ミラー角度取得部11、頭部推定部12、角度決定部13、及び、制御情報生成部14を備える。
ミラー角度取得部11は、ミラー角度調整装置21からバックミラー22が向く方向を示すミラー角度情報を取得する。ここで、ミラー角度調整装置21は、例えば、運転者が車内に備えられたミラー角度調整用のボタンを操作することで、バックミラー22が向く方向を変更するための装置である。また、バックミラー22は、ルームミラー、ドアミラー、フェンダーミラー等の運転者が後方を見るための鏡である。ミラー角度情報の詳細については、後述する。
頭部推定部12は、バックミラー22の位置及び角度と、運転者用座席における左右方向の位置と、に基づいて、運転者の頭部位置を推定する。バックミラー22の位置は、スピーカ32の位置に対するバックミラー22の相対位置であり、予め決められた値であるものとする。バックミラー22の角度は、上述のミラー角度情報により示されるバックミラー22が向く方向である。運転者用座席における左右方向の位置は、運転者用が運転時に座る座席が設置されている車両が直進する方向に直交する水平方向における車内における位置である。運転者用座席における左右方向の位置は、スピーカ32の位置に対する運転者用座席における左右方向の相対位置であり、予め決められた値であるものとする。運転者の頭部位置は、スピーカ32の位置に対する運転者の頭部の相対位置である。運転者の頭部位置を推定する方法については、後述する。
角度決定部13は、頭部推定部12が推定した頭部位置と、スピーカ32の位置と、に基づいてスピーカ32の角度を決定する。角度決定部13が決定するスピーカ32の角度は、例えば、スピーカ32が出力する音声が最も伝達する方向が、スピーカ32から頭部位置に向かう方向になるようなスピーカ32の角度である。スピーカ32の角度を決定する方法については、後述する。
制御情報生成部14は、角度決定部13が決定したスピーカ32の角度に基づいて、スピーカ32の角度を調整するための制御情報を生成し、スピーカ雲台31に出力する。
スピーカ雲台31は、制御情報生成部14が出力した制御情報に基づいて、スピーカ32の角度を調整する。
図2A及び図2Bは、実施の形態1に係る角度制御装置1のハードウェア構成の一例を示す図である。
実施の形態1において、ミラー角度取得部11、頭部推定部12、角度決定部13、及び、制御情報生成部14の各機能は、処理回路201により実現される。すなわち、角度制御装置1は、ミラー角度取得部11で取得したミラー角度情報に基づいて、制御情報生成部14で生成された制御情報をスピーカ雲台31に送信するための処理回路201を備える。
処理回路201は、図2Aに示すように専用のハードウェアであっても、図2Bに示すようにメモリ205に格納されるプログラムを実行するCPU(Central Processing Unit)206であっても良い。
処理回路201が専用のハードウェアである場合、処理回路201は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又はこれらを組み合わせたものが該当する。
処理回路201がCPU206の場合、ミラー角度取得部11、頭部推定部12、角度決定部13、及び、制御情報生成部14の各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、ミラー角度取得部11、頭部推定部12、角度決定部13、及び、制御情報生成部14は、HDD(Hard Disk Drive)202、メモリ205等に記憶されたプログラムを実行するCPU206、又はシステムLSI(Large-Scale Integration)等の処理回路により実現される。また、HDD202、又はメモリ205等に記憶されたプログラムは、ミラー角度取得部11、頭部推定部12、角度決定部13、及び、制御情報生成部14における各機能、すなわち、ミラー角度取得機能、頭部推定機能、角度決定機能、及び、制御情報生成機能をコンピュータに実行させるものであるとも言える。ここで、メモリ205とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はDVD(Digital Versatile Disc)等が該当する。
なお、ミラー角度取得部11、頭部推定部12、角度決定部13、及び、制御情報生成部14の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしても良い。例えば、ミラー角度取得部11、及び、頭部推定部12については、専用のハードウェアとしての処理回路201でその機能を実現し、角度決定部13、及び、制御情報生成部14については、処理回路がメモリ205に格納されたプログラムを読み出して実行することによってその機能を実現することができる。
また、角度制御装置1は、ミラー角度調整装置21、スピーカ雲台31等との通信を行うための、入力インタフェース装置203及び出力インタフェース装置204を有する。
なお、以上の説明では、角度制御装置1のハードウェア構成について、図2Bに示すように、HDD202を使用するものとして説明したが、HDD202に代えて、SSD(Solid State Drive)を使用するものであっても良い。
ミラー角度情報、運転者の頭部位置を推定する方法、及び、スピーカ32の角度を決定する方法について、説明する。
図3は、車両におけるバックミラー22、運転者用座席23、頭部、及び、スピーカ32の位置関係を示した図である。
図3において、バックミラー22、運転者用座席23、頭部、及び、スピーカ32の位置をそれぞれミラー位置M、座席位置D、頭部位置H、及び、スピーカ32位置Sとする。図3において、スピーカ32の位置を原点、車両の左右方向をX方向、車両の前後方向をY方向とそれぞれ定義する。X方向において、図3における左方向、すなわち、車両が前進する方向に向かって左方向を正方向、反対方向を負方向とする。Y方向において、図3における下方向、すなわち、車両が後退する方向を正方向、反対方向を負方向とする。図3において、ミラー位置M、座席位置D、頭部位置H、及び、スピーカ32位置Sは、XY平面における二次元座標を用いて、それぞれ、位置M(Xm,Ym)、位置D(Xd,Yd)、頭部H(Xh,Yh)、及び、位置S(0,0)と表現する。
ミラー位置MのXm及びYmは、上述のとおり、スピーカ32位置Sに対する相対位置が予め決められているため、固定値となる。
座席位置DのXdは、上述のとおり、スピーカ32位置Sに対するX方向の相対位置が予め決められているため、固定値となる。
頭部位置HのXhは、運転者用座席23に運転者が座った際の運転者の頭部の位置であり、運転者が運転者用座席23における左右方向の中央に座るものと仮定すると、Xdと同値となり、固定値となる。
ミラー角度情報は、例えば、Y方向における正方向と、バックミラー22の鏡面に直交する方向とが成す角度である。
バックミラー22は、運転者の後方、すなわち、Y方向における正方向を見るための鏡であることから、XY平面においてミラー角度情報における角度α/2である場合、Y方向における正方向と、ミラー位置Mと頭部位置Hとを結ぶ直線とが成す角度は、XY平面において角度αとなる。
頭部位置HのYhは、角度αを用いて、例えば、次の計算式により推定できる。
Figure 0006998831000001
このようにして、頭部推定部12は、バックミラー22の位置及び角度と、運転者用座席23における左右方向の位置とに基づいて、運転者の頭部位置を推定することができる。
スピーカ32の角度は、例えば、Y方向における正方向と、スピーカ32が出力する音声が最も伝達する方向とが成す角度である。
XY平面におけるスピーカ32の角度βは、頭部位置Hを用いて、例えば、次の計算式により決定できる。
Figure 0006998831000002
このようにして、頭部推定部12は、頭部位置とスピーカ32の位置とに基づいて、スピーカ32の角度を決定することができる。
これまで、図3において、XY平面における二次元座標を用いて、水平方向におけるスピーカ32の角度βを決定する方法を説明したが、この後、同様の方法を用いて垂直方向におけるスピーカ32の角度を決定することが可能である。運転者の頭部位置を推定する方法、及び、スピーカ32の角度を決定する方法については、上述と同様であるため、説明を省略する。
動作について説明する。
図4は、実施の形態1に係る角度制御装置1の処理を説明するフローチャートである。角度制御装置1は、バックミラー22の向く方向が変更された際に、図4に示したフローチャートに示した処理を実行する。
以下、実施の形態1に係る角度制御装置1の処理を、当該フローチャートを用いて説明する。
まず、ミラー角度取得部11が、ミラー角度情報を取得する(ステップST1)。
次に、頭部推定部12が、上述のとおり、運転者の頭部位置を推定する(ステップST2)。
次に、角度決定部13が、上述のとおり、スピーカ32の角度を決定する(ステップST3)。
次に、制御情報生成部14が、スピーカ32の角度を調整するための制御情報を生成する(ステップST4)。
最後に、制御情報生成部14が、スピーカ雲台31に生成した制御情報を出力して(ステップST5)、角度制御装置1は処理を終了する。
以上のように、角度制御装置1は、車両に搭載されたバックミラー22の位置及び角度と、運転者用座席23における左右方向の位置と、に基づいて、運転者の頭部位置を推定する頭部推定部12と、頭部推定部12が推定した頭部位置と、スピーカ32の位置と、に基づいてスピーカ32の角度を決定する角度決定部13と、角度決定部13が決定したスピーカ32の角度に基づいて、スピーカ32の角度を調整するための制御情報を生成する制御情報生成部14と、を備えた。
このように構成することで、超指向性スピーカの音波の放射方向を自動的に調整できる。
この実施の形態では、頭部推定部12は、運転用座席側のドアミラーの位置及び角度と、運転者用座席23における左右方向の位置とに基づいて、運転者の頭部位置を推定する形態を示したが、この限りではない。例えば、運転用座席側のドアミラーに替えて、助手席側のドアミラー又はルームミラーの位置及び角度と、運転者用座席23における左右方向の位置とに基づいて、運転者の頭部位置を推定する形態であってもよい。
実施の形態1の変形例について説明する。
実施の形態1の変形例に係る角度制御装置1は、第1のバックミラーの位置及び角度に基づいて推定した第1頭部位置と、第2のバックミラーの位置及び角度に基づいて推定した第2頭部位置と、スピーカ32の位置と、に基づいてスピーカ32の角度を決定するものである。
実施の形態1の変形例に係る頭部推定部12は、車両に搭載された第1のバックミラーの位置及び角度と、運転者用座席における左右方向の位置と、に基づいて、運転者の第1頭部位置を推定する。第1のバックミラーは、例えば、車両の左右両側に設置されたドアミラーのうちいずれか一方の側のドアミラーである。また、実施の形態1の変形例に係る頭部推定部12は、車両に搭載された第1のバックミラーとは異なる第2のバックミラーの位置及び角度と、運転者用座席における左右方向の位置と、に基づいて、運転者の第2頭部位置を推定する。第2のバックミラーは、例えば、第1のバックミラーとは異なるもう一方の側のドアミラーである。第1のバックミラー及び第2のバックミラーのうちいずれか一方がルームミラーであっても構わない。さらに、実施の形態1の変形例に係る頭部推定部12は、第1頭部位置と第2頭部位置と基づいて頭部位置を推定する。
実施の形態1の変形例に係る角度決定部13は、第1頭部位置と第2頭部位置とに基づいて推定された頭部位置とスピーカ32の位置と基づいてスピーカ32の角度を決定する。
頭部推定部12は、例えば、第1頭部位置と第2頭部位置との間の中間位置を頭部位置と推定する。頭部推定部12が頭部位置と推定する方法はこの限りではない。例えば、頭部推定部12は、第1のバックミラー及び第2のバックミラーの角度のそれぞれの信頼度に基づいて、第1頭部位置と第2頭部位置との当該信頼度による加重平均を算出することにより頭部位置を推定してもよい。第1頭部位置と第2頭部位置との当該信頼度による加重平均の具体例としては、例えば、第1のバックミラー又は第2のバックミラーのいずれかががルームミラーの場合である。ルームミラーは、車両後方のガラス窓を通して後方確認を行うものであるため、ルームミラーの角度は、運転者の趣向、車両の走行状況等によらず運転者の位置のより決定され、ルームミラーの角度の誤差が小さく、バックミラー22の角度の信頼度が高い場合が多い。そのため、例えば、第1頭部位置が、ルームミラーの位置及び角度と、運転者用座席における左右方向の位置と、に基づいて推定されたものある場合、頭部推定部12は、第1頭部位置と第2頭部位置との間の中間位置より、第1頭部位置に近い位置を頭部位置として推定するようにしてもよい。
このように構成することで、実施の形態1に係る角度制御装置1と比較して、超指向性スピーカの音波の放射方向を自動的により的確に調整できる。
実施の形態1の変形例では、頭部推定部12が第1のバックミラー及び第2のバックミラーの位置及び角度と、運転者用座席における左右方向の位置とに基づいて、それぞれのバックミラー22に対応した第1頭部位置及び第2頭部位置を推定し、さらに、頭部推定部12が第1頭部位置及び第2頭部位置に基づいて頭部位置を推定する形態を示したが、この限りではない。例えば、頭部推定部12が第1のバックミラー及び第2のバックミラーとは異なる第3のバックミラーの位置及び角度と、運転者用座席における左右方向の位置とに基づいて、第3頭部位置を推定し、さらに、頭部推定部12が第1頭部位置と第2頭部位置と第3頭部位置とに基づいて頭部位置を推定する形態であってもよい。この場合、例えば、頭部推定部12は、第1頭部位置と第2頭部位置と第3頭部位置との重心、外心、内心等の位置を頭部位置としてもよい。また、例えば、頭部推定部12は、第1のバックミラー、第2のバックミラー及び第3のバックミラーの角度のそれぞれの信頼度に基づいて、第1頭部位置、第2頭部位置及び第3頭部位置の当該信頼度による加重平均を算出することにより頭部位置を推定してもよい。
なお、この発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態において任意の構成要素の省略ができる。
1 角度制御装置、3 音響システム、11 ミラー角度取得部、12 頭部推定部、13 角度決定部、14 制御情報生成部、21 ミラー角度調整装置、22 バックミラー、23 運転者用座席、31 スピーカ雲台、32 スピーカ、33 音響装置、201 処理回路、202 HDD、203 入力インタフェース装置、204 出力インタフェース装置、205 メモリ、206 CPU。

Claims (1)

  1. 車両に搭載されたバックミラーの位置及び角度と、運転者用座席における左右方向の位置と、に基づいて、運転者の頭部位置を推定する頭部推定部と、
    前記頭部推定部が推定した前記頭部位置と、スピーカの位置と、に基づいて前記スピーカの角度を決定する角度決定部と、
    前記角度決定部が決定した前記スピーカの角度に基づいて、前記スピーカの角度を調整するための制御情報を生成する制御情報生成部と、を備え、
    前記角度決定部は、第1の前記バックミラーの位置及び角度に基づいて前記頭部推定部が推定した第1頭部位置と、第2の前記バックミラーの位置及び角度に基づいて前記頭部推定部が推定した第2頭部位置と、前記スピーカの位置と、に基づいて前記スピーカの角度を決定すること
    を特徴とする角度制御装置。
JP2018098114A 2018-05-22 2018-05-22 角度制御装置、及び、角度制御プログラム Active JP6998831B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018098114A JP6998831B2 (ja) 2018-05-22 2018-05-22 角度制御装置、及び、角度制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018098114A JP6998831B2 (ja) 2018-05-22 2018-05-22 角度制御装置、及び、角度制御プログラム

Publications (2)

Publication Number Publication Date
JP2019205040A JP2019205040A (ja) 2019-11-28
JP6998831B2 true JP6998831B2 (ja) 2022-01-18

Family

ID=68727367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018098114A Active JP6998831B2 (ja) 2018-05-22 2018-05-22 角度制御装置、及び、角度制御プログラム

Country Status (1)

Country Link
JP (1) JP6998831B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004314915A (ja) 2003-04-21 2004-11-11 Alpine Electronics Inc 聴取点位置測定装置
JP2005035384A (ja) 2003-07-14 2005-02-10 Nissan Motor Co Ltd 車両用自動遮光装置
JP2010011132A (ja) 2008-06-27 2010-01-14 Fujitsu Ten Ltd スピーカシステム
JP2016107978A (ja) 2014-12-08 2016-06-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド 顔認識を使用した調整スピーカ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193900A (ja) * 1993-12-24 1995-07-28 Aqueous Res:Kk 立体音場形成用頭部位置検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004314915A (ja) 2003-04-21 2004-11-11 Alpine Electronics Inc 聴取点位置測定装置
JP2005035384A (ja) 2003-07-14 2005-02-10 Nissan Motor Co Ltd 車両用自動遮光装置
JP2010011132A (ja) 2008-06-27 2010-01-14 Fujitsu Ten Ltd スピーカシステム
JP2016107978A (ja) 2014-12-08 2016-06-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド 顔認識を使用した調整スピーカ

Also Published As

Publication number Publication date
JP2019205040A (ja) 2019-11-28

Similar Documents

Publication Publication Date Title
US9595251B2 (en) Sound placement of comfort zones
JP6216096B2 (ja) 雑音減衰のためのマイクロホン配置のシステムおよび方法
US20180270571A1 (en) Techniques for amplifying sound based on directions of interest
KR101854253B1 (ko) 차량 미러 조절
JP6352259B2 (ja) 制御装置、及び、制御方法
JP2019500602A (ja) 画像ベースの車両位置特定のためのシステム及び方法
JP4533936B2 (ja) 画像処理装置、及びこれを備えた車両検知装置
US20200130580A1 (en) Vehicle obstacle informing device
CN111665513B (zh) 面部特征部检测装置、面部特征部检测方法
JP2021524940A (ja) リモートマイクロフォン技術のための近接補償システム
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
JP4706740B2 (ja) 車両用運転支援装置
JP7050827B2 (ja) 運転支援装置および映像表示方法
JP6998831B2 (ja) 角度制御装置、及び、角度制御プログラム
CN109427324B (zh) 用于控制源自车辆外部来源的噪声的方法和***
JP7213116B2 (ja) 記録装置及び記録方法
JP7275956B2 (ja) 顔向き推定装置
US20180157459A1 (en) Ear monitoring audio
JP7023131B2 (ja) 音声出力制御装置、及び音声出力制御プログラム
KR102612066B1 (ko) 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법
US11778369B2 (en) Notification apparatus, notification method, and program
KR102563729B1 (ko) 차량의 룸미러 조정장치 및 그 제어방법
JP7359084B2 (ja) 感情推定装置、感情推定方法及びプログラム
CN111795641B (zh) 用于定位车辆中的传感器的方法和装置
WO2023243348A1 (ja) 物***置解析装置、および物***置解析方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200706

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211110

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211124

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211221

R150 Certificate of patent or registration of utility model

Ref document number: 6998831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150