JP6658887B2 - 楽器を用いた車内用音響システム、楽器を用いた車内用音響方法、車内用音響機器、及び車内用音響システム。 - Google Patents

楽器を用いた車内用音響システム、楽器を用いた車内用音響方法、車内用音響機器、及び車内用音響システム。 Download PDF

Info

Publication number
JP6658887B2
JP6658887B2 JP2018527663A JP2018527663A JP6658887B2 JP 6658887 B2 JP6658887 B2 JP 6658887B2 JP 2018527663 A JP2018527663 A JP 2018527663A JP 2018527663 A JP2018527663 A JP 2018527663A JP 6658887 B2 JP6658887 B2 JP 6658887B2
Authority
JP
Japan
Prior art keywords
sound
vehicle
speaker
musical instrument
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018527663A
Other languages
English (en)
Other versions
JPWO2018012589A1 (ja
Inventor
旭 保彦
保彦 旭
功紀 早渕
功紀 早渕
高橋 裕史
裕史 高橋
賢一 芝
賢一 芝
旬 臼井
旬 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of JPWO2018012589A1 publication Critical patent/JPWO2018012589A1/ja
Application granted granted Critical
Publication of JP6658887B2 publication Critical patent/JP6658887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明の一実施形態は、車内における音響空間に出力する音を調整する技術に関する。
従来より、車両を含む室内で音楽を再生するオーディオシステムが提案されている。
自動車の室内に関しては、例えば、特開2006−109479号公報には、a)音声信号を生成する音源と、b)音源に結合される制御器と、c)制御器に結合される第1の複数の変換器と、d)制御器に結合される第2の複数の変換器とを備え、前記制御器は、ユーザ入力に応じて、第1及び第2の信号処理動作の1つで音声信号を変更し、前記第1の信号処理動作は、乗り物内部で聴取するために音声信号を構成し、前記第2の信号処理動作は、乗り物外部で聴取するために音声信号を構成し、前記第1の複数の変換器は、第1信号処理動作によって乗り物内部で聴取するように構成された音声信号によって駆動され、前記第2の複数の変換器は、第2信号処理動作によって乗り物外部で聴取するように構成された音声信号によって駆動されることを特徴とする自動車のオーディオシステムが記載されている。
特開2006−109479号公報
しかし、車内の聴取者は、運転者だけの場合もあれば、運転者以外の同乗者がいる場合もある。また、オーディオソースは、CDプレーヤ等の予め自動車に搭載されている機器に限らない。聴取者は、例えば、楽器、マイク、スマートフォン、ゲーム機器、又は玩具等の多種多様な機器を用いて、車内で音を聴く場合がある。
したがって、車内において、音を聴く環境は様々であり、車内の環境に応じて適切に音の調整を行うことが望まれる。
そこで、本発明の一実施形態は、車内の環境に応じて適切に音の調整を行なうことを目的とする。
本発明の一実施形態に係る音響機器は、検出部と、信号処理部と、を備えている。検出部は、車内空間の聴取者の位置を検出する。信号処理部は、前記検出部で検出した前記聴取者の位置に応じて、前記車内空間に存在するスピーカに出力する信号の処理を行なう。
音響システムは、車内の環境に応じて適切に音の調整を行なうことができる。
楽器の一例である電子鍵盤楽器の斜視図である。 第1実施形態に係る車内の模式的な平面図である。 第2実施形態に係る車内の模式的な平面図である。 第1実施形態に係る音響システムの構成を示すブロック図である。 音響システムの動作を示すフローチャートである。 第1実施形態に係る車内の模式的な平面図である。 ヘッドユニット10の構成を示すブロック図である。 第3実施形態に係る音響システムにおける、車内の模式的な平面図である。 第3実施形態に係る音響システムの動作を示すフローチャートである。 変形例1に係る音響システムにおける、車内の模式的な平面図である。 変形例1に係る音響システムにおける、DSP17の機能的構成を示すブロック図である。 変形例1に係る音響システムの動作を示すフローチャートである。 変形例2に係る音響システムにおける、DSP17の機能的構成を示すブロック図である。 変形例2に係る音響システムの動作を示すフローチャートである。 変形例4に係る音響システムにおける、車内の模式的な平面図である。 変形例5に係る音響システムにおける、車内の模式的な平面図である。
先ず、第1実施形態に係る音響システムについて、図1、図2、及び図4に基づき説明する。
本発明に係る音響システムは、図1、図2、及び図4に示すように、基本的には、楽器100、入力端子5、スピーカ1、ヘッドユニット10(AVアンプ等)、及びモニタ20等から構成されている。
楽器100は、図1で図示するような、筐体101をコンパクトにすることによって持ち運びが可能な電子鍵盤楽器であることが望ましい。この楽器100の背面102等には、信号、又は音響データ等を出力するための出力端子(不図示)が備えられている。この出力端子は、フォーンプラグ(フォーン端子等)を挿入することができるフォーンジャックの他、USB(登録商標。以下、USBについて登録商標という付記を省略する)ケーブルを挿入することができるUSB端子であってもよい。USB端子である場合、利用者は、USBケーブルを介して楽器100に給電を行いつつ、楽器100を演奏することができて便利である。
入力端子5及びスピーカ1は、音響空間(室内)の複数個所に設置される。音響空間とは、図2及び図3で図示しているように、車両50の音響空間、すなわち、車両50の室内である。運転者及び運転者以外の同乗者は、ドライブ等において、目的地によっては、車両50の室内で長時間を過ごす必要がある。運転者は運転に集中しなければいけない一方で、運転者以外の同乗者は移動中の時間を有効に活用したいと考えるのが通常である。また、近年は自動車の自動運転技術に関する研究開発が進展しており、運転者が運転から解放される日も遠い将来のことではない。目的地までの移動中の時間の有効活用は運転者及び同乗者にとっての関心事である。この時間の有効活用として、また、移動中の車両50内での充実した時間の過ごし方として、車両50内において楽器100の演奏を行うことが考えられる。
スピーカ1は、図2及び図3で図示したように、例えば、運転席51側、助手席52側の各ドアの内側に設置することが望ましい。また、二列目シート53にあっては、右後部座席側、左後部座席側の各ドアの内側に設置するのが望ましい。また、三列目シート54にあっては、左右後方に設置する例も挙げられる。その他、例えば、各座席付近の天井面に天吊りタイプのサテライトスピーカを設置してもよいし、また、天井面にスピーカ1を埋め込んでもよい。
スピーカ1は、どのような種類であってもよい。例えば、全てのスピーカ1が全帯域用のフルレンジスピーカであってもよいし、各スピーカ1が特定範囲の周波数に特化したような、超低音域用のサブウーファー、低音域用のウーファー、中低音域用のミッドバス、中音域用のスコーカー、高音域用のツイーター、又は超高音域用のスーパーツイーターであってもよい。また、スピーカ1の数は、1つであっても、複数であってもよい。図2及び図3ではスピーカ1の数は6個であるが、これ以上であってもこれ以下であってもよい。
上述したように、本発明の一実施形態は、音響空間(室内)として車両50の室内を想定しているため、車載用音響装置について説明する。
車載用音響装置として、本実施形態では、ヘッドユニット10を示す。ヘッドユニット10は、自動車等の乗り物に搭載される音響機器の1種である。図7は、ヘッドユニット10の構成を示すブロック図である。
ヘッドユニット10は、通信部12、MIDI_I/F13、CPU14、ROM115、RAM16、DSP17、入力I/F18、音源19、バス200、ミキサ21、および出力I/F22を備えている。
通信部12、MIDI_I/F13、CPU14、ROM115、RAM16、DSP17、入力I/F18、音源19、ミキサ21、および出力I/F22は、バス200を介して接続される。また、入力I/F18には、入力端子5が接続される。出力I/F22には、モニタ20及びスピーカ1が接続される。
CPU14は、記憶媒体であるROM115に記憶されているプログラムをRAM16に読み出し、ヘッドユニット10を統括的に制御する。
例えば、CPU14は、音源19から出力されるオーディオ信号をミキサ21に入力する。また、CPU14は、入力I/F18から入力したオーディオ信号をミキサ21に入力する。ミキサ21は、音源19から出力されるオーディオ信号と入力I/F18から入力したオーディオ信号とをミキシングする。CPU14は、ミキサ21でミキシングされたオーディオ信号をDSP17に入力する。DSP17は、入力したオーディオ信号の音量又は音質を調整する。音質調整は、例えば周波数特性の調整である。DSP17は、音質調整をした後のオーディオ信号を増幅し、出力I/F22に出力する。CPU14は、DSP17および出力I/F22を制御して、複数のスピーカ1に供給する、複数のオーディオ信号の音量及び音質を個別に制御する。
音源19は、複数のオーディオソースを有している。音源19は、オーディオソースとして、例えば、FMチューナ、AMチューナ、CDプレーヤ、MDプレーヤ、磁気カセットデッキ、AUX端子、DVDプレーヤ、ハードディスクドライブ、又はTVチューナなどを有する。
ヘッドユニット(AVアンプ)10には、複数のオーディオソースに対応する複数のチャンネルを備えており、ミキサ21によってこれら複数のチャンネルをミキシングすることができる。したがって、例えば、CDプレーヤで音楽を再生し、その音楽に合わせて楽器100を演奏することができる。また、複数人で電子鍵盤楽器等の楽器100を演奏する際、音程をユニゾンさせて楽しむことができる。また、CDプレーヤで音楽を再生し、その音楽に合わせて歌唱を行ない、カラオケを楽しむこともできる。
図2及び図3で図示したように、モニタ20は、二列目シート53側に向けて配設されている。モニタ20は、各スピーカ1の音量バランス又はEQ調整等に関する情報を表示する。ユーザは、モニタ20に内蔵されたタッチパネル(不図示)またはその他のユーザインタフェースを介して各スピーカ1の音量バランス又はEQ調整等を行うこともできる。この場合、ヘッドユニット10は、各スピーカ1の音量バランス又はEQ調整等を受け付ける調整受付部として機能する。
入力端子5は、図2で示したように、運転席51側及び助手席52側の各ドアに設置されたスピーカ1の近傍に設置することが望ましい。また、入力端子5は、二列目シート53においては、右後部座席側及び左後部座席側の各ドアに設置されたスピーカ1の近傍に設置することが望ましい。あるいは、入力端子5は、スピーカ1の筐体(不図示)の一部に配置されていてもよい。スピーカ1の筐体に配置する場合、音響空間において入力端子5を配置するための加工が不要となるため、加工を最小限に抑えることができる。換言すると、ユーザは、通常のスピーカ1を入力端子5付きのスピーカ1に取り替えるだけで入力端子5と楽器100を接続して演奏することができるため、音響空間への入力端子5の設置の容易化を図ることができる。ただし、入力端子5は、スピーカ1が設置された箇所とは全く別の箇所に配置されていてもよい。
入力端子5は、楽器100に備えられた出力端子と有線接続による有線通信を行なう。したがって、ユーザが、楽器100に備えられた出力端子と車両50の室内に設置した入力端子5とをアナログオーディオケーブルで接続すると、楽器100およびヘッドユニット10は、アナログ通信が可能となる。また、ユーザが、楽器100に備えられた出力端子と車両50の室内に設置した入力端子5とをUSBケーブルで接続した場合は、楽器100およびヘッドユニット10は、デジタル通信が可能となる。
また、図6に示すように、音響システムは、入力端子5にセンサ付きの蓋70を有してもよい。ヘッドユニット10は、蓋70の状態に応じて入力をミュートする。例えば、ヘッドユニット10は、蓋70が動いたことをセンサで検出し、入力をミュートする。また、ヘッドユニット10は、静電容量センサを用いる事で蓋70又は入力端子5を指で触れたことを検出し、入力をミュートしてもよい。また、ヘッドユニット10は、演奏開始時に音が途切れる等の誤動作防止のため、ある程度の音量の音が入力されている状態では、ミュートしない、又はミュートを解除してもよい。このような構成とすることによって、入力端子5からフォーンプラグ等を抜き差しする際の不快な音の発生を解消することができる。蓋70は、例えば、入力端子5の入口付近、入力端子5内等に設けられる。
また、図6に示すように、音響システムは、入力端子5の近傍にスイッチ80を備えていてもよい。スイッチ80は、ユーザから、演奏者の着座している位置の指定を受け付ける。スイッチ80は、例えば、コンソールボックスに設置される。ユーザは、例えば後部座席(二列目シート53)に着座して楽器100を演奏する場合、左側、中程、及び右側等着座する位置を指定することができる。ヘッドユニット10は、指定された位置に応じて音の調整を行なう。
楽器100、ヘッドユニット10、又は後述するタブレット端末15等のうちいずれか一以上は、音源を備える。また、MIDI(Musical Instruments Digital Interface 登録商標。以下、MIDIについて登録商標という付記を省略する)データを発生させて出力するMIDIデータ発生器、又はMIDIデータに基づいてデジタルオーディオ信号を生成して出力する音源回路等を備えた音源ボックス(不図示)が音源となる場合もある。ユーザは、音源ボックスを各種音響装置と接続することによって、オーディオ信号を発生させてヘッドユニット10に送信させることができる。なお、音源ボックスは、ミキサに搭載されてもよい。
入力端子5及びヘッドユニット10(AVアンプ)は、各種ケーブル等によって有線接続される。また、スピーカ1及びヘッドユニット10は、各種ケーブル等によって有線接続される。
以上のように、楽器100に備えられた出力端子と車両50の室内に設置した入力端子5とが有線接続され、この入力端子5とヘッドユニット10とが有線接続される。また、スピーカ1とヘッドユニット10とが有線接続される。さらに、モニタ20とヘッドユニット10とが接続される。ただし、モニタ20とヘッドユニット10との間は有線通信である。
次に、車両50の室内における音響空間において最適な音の設定となるように、ヘッドユニット10が行なう、各スピーカ1の音量バランス又はEQ調整の例について説明する。
例えば、演奏者が右側後部座席に着座して演奏する場合を説明する。この場合、右側後部座席側のスピーカ1は演奏者の近傍にあるため、音が小さいほうが望ましい。一方、反対側の左側後部座席側のスピーカ1は演奏者から離れているので、演奏者が音を聴きやすくするために、右側後部座席側のスピーカ1の音量よりも大きくすることが好ましい。また、運転席51側及び助手席52側のスピーカ1に関しては、演奏者が着座するところから離れているため、特に大きくする必要はない場合もある。
ヘッドユニット10は、搭載したDSP等の信号処理機能によりEQ(イコライザー)を実現することによって、周波数特性を補正することができる。すなわち、ヘッドユニット10は、各スピーカ毎に演奏者の好みの音となるように調整して設定することができる。
例えば、運転席51及び助手席52は、自動車のエンジンに近い。そのため、ヘッドユニット10は、エンジン音の周波数特性に応じて、演奏音がエンジン音にマスキングされないように、演奏音の周波数特性を調整する。例えば、高音領域(例えば4kHz以上)においてエンジン音のレベルが高い場合、ヘッドユニット10は、エンジン音により高音がマスキングされないようにするため、演奏音の高音のレベルを高くする。また、二列目シート53及び三列目シート54は、エンジン音は目立たないが、ロードノイズ等の外乱音が目立つ場合がある。そのため、ヘッドユニット10は、ロードノイズ等の外乱音の周波数特性に応じて、演奏音が外乱音にマスキングされないように、演奏音の周波数特性を調整する。例えば、中音領域(例えば500〜4kHz以上)において外乱音のレベルが高い場合、ヘッドユニット10は、外乱音により中音がマスキングされないようにするため、演奏音の中音のレベルを高くする。
エンジン音及び外乱音等の周波数特性は、予め運転席51及び助手席52において測定しておいてもよいし、各座席に設置されたマイクで実際の音を取得することで周波数特性を取得してもよい。また、ヘッドユニット10は、エンジン回転数又は車速に応じて、周波数特性を推定してもよい。この場合、ヘッドユニット10は、車両のOBD(On-board diagnostics)コネクタに接続され、エンジン回転数又は車速の情報を取得する。そして、ヘッドユニット10は、予めエンジン回転数又は車速の情報に、ノイズ音の周波数特性を対応付けて、ROM115等の記憶媒体に記憶しておく。ヘッドユニット10は、取得した現在のエンジン回転数又は車速の情報で、ノイズ音の周波数特性を読み出して、オーディオ信号の周波数特性を調整する。
また、ヘッドユニット10は、さらに、利用者が車両50の窓又はドアを開けた場合、エンジンを停止した場合、またはエンジンを起動した場合、等に応じて、自動的に入力音の音量を下げたり、ミュートしたりすることを入力端子5毎に異なった設定で行う構成とすることも可能である。
次に、第2実施形態のタブレット端末15を利用する一例について説明する。このタブレット端末15は、公知の携帯型情報処理装置である。
図3に示す第2実施形態の例は、第1実施形態の例とは異なり、楽器100の出力端子と室内の入力端子5とを各種ケーブル等で接続する構成ではなく、楽器100とヘッドユニット10(またはタブレット端末15)とを無線通信で接続する構成である。タブレット端末15とヘッドユニット10との間は、無線通信でもよいし、有線通信でもよい。図3の例では、タブレット端末15とヘッドユニット10は、HDMI(High-Definition Multimedia Interface:登録商標)ケーブルで有線で接続されている。
第2実施形態は、音響空間に入力端子5が配置されていない。したがって、第2実施形態は、演奏者の位置情報を測定する。例えば、楽器100は、GPS(Global Positioning System 登録商標)によって楽器100の位置を測定する測位機能を有する。
また、位置情報は、例えば、マイクおよびスピーカ1を用いることでも測定することができる。ヘッドユニット10は、各スピーカ1から測定音を出力する。ヘッドユニット10は、測定音を出力した時刻を記録する。楽器100は、マイクを備える。楽器100は、当該マイクにより測定音を取得する。楽器100は、測定音を取得した時刻を記録する。楽器100は、測定音を取得した時刻情報を、ヘッドユニット10に送信する。ヘッドユニット10は、測定音を出力してからマイクで該測定音が取得されるまでの時間差から、スピーカ1と楽器100との距離を測定する。ヘッドユニット10は、複数のスピーカ1で測定を繰り返すことで、複数のスピーカ1と楽器100との距離を測定する。ヘッドユニット10は、3つのスピーカ1で測定を行なうと、楽器100の位置を一意に求めることができる。ヘッドユニット10は、車内の各スピーカ1の配置を例えばヘッドユニット10を原点とする直交座標系にプロットすることで、楽器100の車内の位置(座標)を測定することができる。あるいは、ヘッドユニット10は、座席毎に領域を設定することで、
なお、同様の動作で、ヘッドユニット10は、タブレット端末15の位置情報を測定することも可能である。
ヘッドユニット10は、位置情報を受信すると、該位置情報に基づいて、スピーカ1の音量バランス又はEQ調整を行なう。例えば、ヘッドユニット10は、運転席51に楽器100が存在する旨の位置情報を受信した場合、運転席51の近傍右側のスピーカの音量を小さくして、左側のスピーカの音量を大きくすることで、左右から均一な音量の音が運転手に到達するように調整する。また、運転席51は、自動車のエンジンに近いため、演奏音がエンジン音にマスキングされないように、演奏音の周波数特性を調整する。
なお楽器100からヘッドユニット10またはタブレット端末15には、オーディオ信号を送信してもよいが、第2実施形態では、楽器100は、ヘッドユニット10またはタブレット端末15に、例えば、MIDI形式のデータ(以下「MIDIデータ」という)を送信する。MIDIデータは、オーディオ信号よりもデータ量が少ないため、無線通信には好適である。楽器100は、MIDI機器であり、演奏者の演奏操作に応じてMIDI形式で記述されたデータ(以下「MIDIデータ」)を生成する。MIDI機器は、MIDIデータを出力するためのMIDI出力端子のジャック(不図示)を備えており、このジャックに接続された外部機器に対して生成したMIDIデータを出力する。例えば、楽器100は、ヘッドユニット10のMIDI_I/F13に接続され、ヘッドユニット10にMIDIデータを送信する。
ヘッドユニット10は、入力したMIDIデータに基づいて、音源19におけるMIDI音源を駆動して、オーディオ信号を発生する。また、タブレット端末15にMIDI_I/Fがある場合には、タブレット端末15が、内蔵音源を駆動して、オーディオ信号を発生してもよい。この場合、タブレット端末15は、発生したオーディオ信号をヘッドユニット10に送信する。
この例では、楽器100が演奏データ送信装置となる。ヘッドユニット10またはタブレット端末15は、演奏データ受信装置となる。
なお、無線通信に関しては、無線LAN、赤外線通信、又はブルートゥース(登録商標。以下、ブルートゥースについて登録商標という付記を省略する)等の種々の規格が用いられる。
次に、図5は、楽器を用いた音響方法の動作を示すフローチャートである。
第一出力ステップでは、楽器100に備えた出力端子(不図示)から音響空間の複数適所に設置された入力端子5に信号を出力する。このステップによって、楽器100は、データ信号を入力端子5に送信する(S1)。
第一受信ステップでは、入力端子5で楽器100からのデータ信号を受信する(S2)。
第二出力ステップでは、入力端子5からヘッドユニット10(AVアンプ)に信号を出力する(S3)。
第二受信ステップでは、ヘッドユニット10(AVアンプ)で信号を受信する(S4)。
ヘッドユニット10(AVアンプ)で各スピーカ1の音量バランス、EQ調整を行う(S5)。ただし、ステップS5は、ステップS1の前に行なってもよい。
第三出力ステップでは、ヘッドユニット10(AVアンプ)から音響空間の複数適所に設置されたスピーカ1に信号を出力する(S6)。
そして、これらのステップを経て、ヘッドユニット10(AVアンプ)は、接続された入力端子5に応じて、入力端子5に対応する位置において最適な音の設定となるように各スピーカ1の音量バランス又はEQ調整が行われた音をスピーカ1から出力する(S7)。
尚、本発明は、上記説明した各実施形態1及び実施形態2により限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
電子鍵盤楽器は楽器100の一例であり、その他の電子楽器であっても、室内で演奏するのに適していれば本発明の範疇となる。
音響空間である車両50の室内は一例であり、車両50の室内他の、例えば、リビングルーム、会議室、音響ルーム、スタジオ、音楽教室、又は音楽室等のような室内であってもよい。
楽器100の出力端子と音響空間に設置した入力端子5との間は有線接続による有線通信としているが、これは一例であり、ブルートゥース等の無線接続による無線通信でも可能である。
入力端子5とヘッドユニット10(AVアンプ)との間は有線接続による有線通信としているが、これは一例であり、ブルートゥース等の無線接続による無線通信でも可能である。
スピーカ1とヘッドユニット10との間は、有線接続による有線通信としているが、これは一例であり、ブルートゥース等の無線接続による無線通信も可能である。
モニタ20とヘッドユニット10との間は、有線接続により有線通信としているが、これは一例であり、ブルートゥース等の無線接続による無線通信であってもよい。
楽器100とタブレット端末15との間は、無線接続による無線通信としているが、これは一例であり、有線接続による有線通信であってもよい。
タブレット端末15とヘッドユニット10との間は有線接続による有線通信としているが、これは一例であり、無線接続による無線通信であってもよい。
利用者が、タッチパネルを内蔵したモニタ20を用いてスピーカ1の音量バランス設定又はEQ調整を行うのは一例であり、ヘッドユニット10の操作パネル又はタッチパネルを内蔵した表示部を用いてスピーカ1の音量バランス設定又はEQ調整を行なってもよい。また、利用者は、タブレット端末15の操作パネル又はタッチパネルを内蔵した表示部においてもスピーカ1の音量バランス設定又はEQ調整を行なってもよい。
なお、イコライザ又は音源ボックスは、ヘッドユニット10に内蔵されるタイプであってもよいし、外付けタイプのものであってもよい。
次に、図8は、第3実施形態に係る音響システムにおける、車内の模式的な平面図である。図2と共通する構成については同一の符号を付し、同一の符号を付した構成は、説明を省略する。図9は、第3実施形態に係る音響システムの動作を示すフローチャートである。
この実施形態では、音響システムは、楽器100はなく、代わりに、2つのマイク105を備える。ただし、マイク105の数は、一例であり、音響システムは、1つまたはさらに多数のマイクを備えていてもよい。この例では、ユーザは、CDプレーヤ等で音楽を再生させ、マイク105を用いて歌唱を行なうことで、車内でカラオケを楽しむ。ユーザは、二列目シート53の左後部座席側及び三列目シート54の左後部座席側にいる。
ヘッドユニット10のCPU14は、車内空間の聴取者の位置を検出する(S11)。例えば、図8の例では、二列目シート53の左後部座席側の入力端子5及び三列目シート54の左後部座席側の入力端子5に、それぞれマイク105が接続されている。したがって、CPU14は、二列目シート53の左後部座席側及び三列目シート54の左後部座席側に聴取者の位置を検出する。これにより、CPU14は、聴取者の位置を検出する検出部として機能する。
CPU14は、DSP17に各種の信号処理をさせることにより、当該DSP17とともに、信号処理部を実現する。例えば、CPU14は、検出した聴取者の位置に応じて、車内空間に存在するスピーカ1に出力するオーディオ信号の音量調整を行なう(S12)。CPU14は、DSP17および出力I/F22を制御して、二列目シート53の左後部座席側のスピーカ1及び三列目シート54の左後部座席側のスピーカ1に対して、マイク105で取得された歌唱音に係るオーディオ信号を出力する。ヘッドユニット10は、左側のスピーカの音量を小さくして、右側のスピーカの音量を大きくすることで、左右から均一な音量の音がユーザに到達するように調整する。ヘッドユニット10は、運転席51および助手席52の近傍に設置されたスピーカについては、歌唱音に係るオーディオ信号のレベルを低くする。ただし、ヘッドユニット10は、CDプレーヤ等の音源から出力されるオーディオ信号については全てのスピーカ1に出力し、運転手には、音楽だけを聴かせることもできる。このように、CPU14は、ミキサ21における複数のチャンネルのオーディオ信号の音量バランスを調整する。
また、CPU14は、検出した聴取者の位置に応じて、車内空間に存在するスピーカ1に出力するオーディオ信号の音質調整を行なう(S13)。例えば、三列目のシート54のユーザは、自動車の後部扉に近く、ロードノイズ等の外乱音が目立つ可能性があるため、ヘッドユニット10は、ノイズ音の周波数特性に基づいて、音楽および歌唱音の周波数特性を調整する。ヘッドユニット10は、例えば、中音領域(例えば500〜4kHz以上)レベルを高くする。外乱音等の周波数特性は、予め測定しておいてもよいし、マイク105で歌唱音が入力されていない時に実際の音を取得することで取得してもよい。このように、ヘッドユニット10のCPU14は、マイクなどを用いて聴取者の位置における音響環境を取得する音響環境取得部として機能する。また、この場合、CPU14は、音響環境取得部で取得した前記音響環境に応じて、車内空間に存在するスピーカに出力するオーディオ信号の処理を行なう。
ヘッドユニット10は、音量調整及び音質調整を行なった後のオーディオ信号を、複数のスピーカ1に出力する(S14)。
これにより、車内のユーザは、着座する位置に応じて最適な音量又は音質で、音楽および歌唱音を聴くことができる。
なお、図8の例では、車内空間の所定箇所に設置された複数の入力端子5を備え、検出部(CPU14)は、複数の入力端子5のうち、マイク等の機器が接続された入力端子5に対応する位置において、聴取者を検出する構成である。しかし、ヘッドユニット10が、各スピーカ1から測定音を出力して、マイク105において当該測定音を取得するまでの時間差から、マイク105の位置を検出し、聴取者の位置を検出することも可能である。この場合、入力端子5は必須ではない。
また、図8の例では、マイク105を用いてカラオケを楽しむ例であるが、本実施形態の音響システムは、他の車内エンターテイメントに適用することが可能である。
例えば、音響システムは、マイク105に替えて、上述のタブレット端末15、スマートフォン等の情報処理装置、携帯型のゲーム機、またはオーディオ信号出力端子を備えた知育玩具(タブレット型の玩具)等を備えていてもよい。この場合も、ヘッドユニット10は、複数の入力端子5のうち、マイク等の機器が接続された入力端子5に対応する位置において、聴取者を検出する。あるいは、ヘッドユニット10は、各スピーカ1から測定音を出力して、各機器のマイク(不図示)において当該測定音を取得するまでの時間差から、各機器の位置を検出し、聴取者の位置を検出することが可能である。この場合、複数の入力端子5は、必須ではない。タブレット端末15、スマートフォン等の情報処理装置、携帯型のゲーム機、またはオーディオ信号出力端子を備えた知育玩具(タブレット型の玩具)等の音響機器は、ヘッドユニット10に無線接続されてもよい。
次に、図10は、変形例1に係る音響システムにおける、車内の模式的な平面図である。図11は、変形例1に係る音響システムにおける、DSP17の機能的構成を示すブロック図である。図12は、変形例1に係る音響システムの動作を示すフローチャートである。
変形例1に係る音響システムは、オーディオ信号の処理の他の例として、指向性を形成する(S131)。図11に示すように、DSP17は、機能的に、指向性形成部171を備えている。指向性形成部171は、入力された各チャンネルのオーディオ信号を複数のスピーカ1に分配する。指向性形成部171は、複数のスピーカ1に供給するオーディオ信号の遅延量を制御することで、スピーカ1から出力される音に所定の指向性を形成させる。例えば、指向性形成部171は、図10に示すように、複数のスピーカ1に供給されるオーディオ信号を、聴取者の位置(例えば二列目シート53の左後部座席側)と各スピーカ1との距離に応じて遅延させる。これにより、指向性形成部171は、聴取者の位置からスピーカ1までの距離を仮想的に変更する。各スピーカ1から出力された音は、聴取者の位置において同じタイミングで到達するため、高レベルの音として聴取される。各スピーカ1のオーディオ信号の音量が低い場合でも、聴取者の位置の聴取者は、ある程度の音量として聴くことができ、他の位置の聴取者は、低レベルの音量として聴こえる(あるいはほとんど聴こえない)。
よって、変形例1に係る音響システムでは、車内にいる各ユーザは、他のユーザに音を聴かせることなく、自身の所望する音だけを高レベルで聴くことができる。これにより、例えば、カラオケを行なうユーザは、自身の歌唱音を他の者に聴かせることなく、自身だけ聴くことができる。また、例えば、スマートフォン等の音声通話装置を用いて、外部(例えば自宅)と通話を行なう場合に、外部からの発言内容を自身だけが聞くことができる。
次に、図13は、変形例2に係る音響システムにおける、DSP17の機能的構成を示すブロック図である。図14は、変形例2に係る音響システムの動作を示すフローチャートである。
変形例2に係る音響システムは、オーディオ信号の処理の他の例として、エコーキャンセル処理を行なう(S150)。図13に示すように、DSP17は、機能的に、エコー除去部172を備えている。
エコー除去部172は、スピーカ1に出力するオーディオ信号を入力する。エコー除去部172は、例えば、適応型フィルタによるエコー除去処理を行なう。エコー除去部172は、スピーカ1から出力された音が、車内の音響空間を経てマイク105に至る帰還成分を推定する。エコー除去部172は、車内の音響空間におけるインパルス応答を模擬したFIRフィルタでスピーカ1に出力するオーディオ信号を処理することにより、帰還成分を推定する。エコー除去部172は、推定した帰還成分をマイク105の取得した信号から除去する。エコー除去部172は、LMSまたはRLS等の適応アルゴリズムを用いて上記FIRフィルタのフィルタ係数を更新する。
なお、エコーキャンセル処理は、指向性形成処理の前に行なってもよいが、例えば各スピーカ1に出力するオーディオ信号を用いて、個別にエコー除去処理を行なってもよい。
この場合、ヘッドユニット10は、外部から受信した、通話先の音声だけでなく、CDプレーヤの再生音等の、音源からの音もキャンセルすることができる。よって、聴取者がCDプレーヤの再生音を聴きながら外部と通話を行なっても、外部には、CDプレーヤ等の再生音が送信されない。したがって、外部の通話者は、聴取者の発した声だけを明瞭に聴くことができる。
なお、本実施形態では、車内の空間に音を発するスピーカ1を設置する態様を示したが、聴取者は、他のスピーカの一例として、ヘッドフォンを用いてもよい。この場合、聴取者は、自身が聴きたい音だけを選択的に聴くことができる。例えば、図8の例において、ヘッドユニット10は、二列目シート53の左後部座席側の聴取者に対して、CDプレーヤ等の再生音と、マイク105で取得した歌唱音と、をスピーカ1から出力させる。一方で、ヘッドユニット10は、三列目シート54の左後部座席側が利用するヘッドフォン(不図示)に対して、通話先からの音声に係るオーディオ信号を出力する。これにより、二列目シート53の左後部座席側の聴取者は、カラオケを楽しみながら、三列目シート54の左後部座席側の聴取者は、通話を行なうことができる。なお、ヘッドフォンの利用の有無は、利用者からの手動入力で判断する。
また、ヘッドフォンを利用する場合には、ノイズキャンセル処理が好適である。ヘッドユニット10は、例えば、三列目シート54の左後部座席側の聴取者がヘッドフォンを利用している場合に、三列目シート54の左後部座席側のマイク105で取得したノイズ音を用いて、ノイズキャンセル処理を行なう。
変形例3
変形例3に係る音響システムは、サウンドマスキングに関する。ヘッドユニット10は、車内の特定のユーザ(例えば運転者)に対して、マスカ音を出力する。例えば、二列目シート53または三列目シート54にユーザがいる場合に、運転席51側のスピーカ1から、内容を理解できないようにするマスカ音を出力する。マスカ音は、マスキング対象となる音声を撹乱する撹乱音と、連続的に発生する背景音と、断続的に発生する演出音と、からなることが好ましい。撹乱音は、例えば、人の音声を時間軸上あるいは周波数軸上で改変し、語彙的に何ら意味をなさない(内容が理解できない)ようにしたものである。背景音は、例えば小川のせせらぎや木々のざわめき等、聴取者が注目し難く、不快感のない音である。演出音は、断続的に発生する楽音等の演出性の高い音である。演出音は、聴取者の注意を向けさせ、聴覚心理的に撹乱音の違和感を目立たなくする。これらの撹乱音、背景音、および演出音を組み合わせたマスカ音を運転者に聴取させることで、後部座席のユーザの会話内容をマスクしつつ、運転者の不快感を低減することが可能となる。
図15は、変形例4に係る音響システムにおける、車内の模式的な平面図である。変形例4に係る音響システムは、オーディオ信号の処理の他の例として、聴取者の周囲の所定の位置に音像を仮想定位させる。仮想定位は、頭部伝達関数(HRTF:Head-Related Transfer Function)により行なう。頭部伝達関数は、音源位置と聴者の耳との間の伝達関数を示す。頭部伝達関数は、ある位置に設置した仮想スピーカからそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性等を表現したインパルス応答である。ヘッドユニット10は、利用者が映画のコンテンツを視聴している場合において、センタチャンネルのオーディオ信号に、モニタ20の位置から左右の耳に至る頭部伝達関数を付与する。頭部伝達関数による仮想定位は、ユーザがヘッドフォンを用いる場合に好適である。あるいは、頭部伝達関数による仮想定位は、ヘッドレスト等のユーザの直近にスピーカ1が設置されている場合も好適である。
図15に示すように、モニタ20に位置に、センタチャンネルの音像が仮想定位することで、ユーザが
図16は、変形例5に係る音響システムにおける、車内の模式的な平面図である。変形例5に係る音響システムは、コンサートホール等の音響空間で発生する反射音を模擬した擬似反射音501を再生することで、車内にいながらにして実際のコンサートホール等の別の空間に居るような臨場感を聴取者に体感させるものである。
ヘッドユニット10は、ユーザが選択した音響空間(例えばコンサートホール)に対応するインパルス応答をオーディオ信号に畳み込む。ヘッドユニット10は、各スピーカ1に供給する信号のゲイン比率および遅延量を変化させることで、図16に示すように、複数の位置に擬似反射音501を生成する。これにより、ユーザは、変形例5に係る処理も、ユーザがヘッドフォンを用いる場合、またはヘッドレスト等のユーザの直近にスピーカ1が設置されている場合に好適である。
1…スピーカ
5…入力端子
10…ヘッドユニット
12…通信部
13…MIDI_I/F
14…CPU
15…タブレット端末
16…RAM
17…DSP
18…入力I/F
19…音源
20…モニタ
21…ミキサ
22…出力I/F
50…車両
51…運転席
52…助手席
53…二列目シート
54…三列目シート
70…蓋
80…スイッチ
100…楽器
101…筐体
102…背面
105…マイク
115…ROM
171…指向性形成部
172…エコー除去部
200…バス
501…擬似反射音

Claims (16)

  1. 出力端子を備えた楽器と、
    音響空間の複数適所に設置された、複数の入力端子と、
    音響空間の複数適所に設置された、複数のスピーカと、
    前記複数の入力端子及び前記複数のスピーカと接続され、複数のチャンネルをミキシングし、前記複数の入力端子のうち、前記出力端子が接続される前記入力端子の位置に応じて前記複数のスピーカのそれぞれの音量バランス又はEQ調整を行う、アンプと、
    を備えた、楽器を用いた車内用音響システム。
  2. 前記複数の入力端子のうち少なくとも1つの前記入力端子はUSB端子であることを特徴とする請求項1に記載の楽器を用いた車内用音響システム。
  3. 前記複数の入力端子のうち少なくとも1つの前記入力端子にセンサー付きの蓋を備え、
    前記アンプは、前記蓋の状態に応じて前記入力端子からの入力をミュートすることを特徴とする請求項1又は請求項2に記載の楽器を用いた車内用音響システム。
  4. 前記楽器又は前記アンプのいずれか一以上に音源を備えたことを特徴とする請求項1乃至請求項3のうちいずれか一に記載の楽器を用いた車内用音響システム。
  5. 前記スピーカの音量バランス設定又はEQ調整を、ユーザから受け付ける調整受付部を備えた、請求項1乃至請求項4のうちいずれか一に記載の楽器を用いた車内用音響システム。
  6. 前記複数の入力端子のうち少なくとも1つの前記入力端子に、前記位置の指定を受け付けるスイッチを備えた、請求項1乃至請求項5のうちいずれか一に記載の楽器を用いた車内用音響システム。
  7. 楽器に備えた出力端子から音響空間の複数適所に設置された複数の入力端子に信号を出力し、
    前記複数の入力端子で信号を受信し、
    前記複数の入力端子からアンプに信号を出力し、
    前記アンプで信号を受信し、
    前記アンプにおいて、複数のチャンネルをミキシングし、前記複数の入力端子のうち前記出力端子と接続された前記入力端子の位置に応じて複数のスピーカのそれぞれの音量バランス又はEQ調整を行い、
    前記アンプから音響空間の複数適所に設置された複数のスピーカに信号を出力する、
    楽器を用いた車内用音響方法。
  8. 車内空間の聴取者の位置を検出する検出部と、
    前記検出部で検出した前記聴取者の位置に応じて、前記車内空間に存在するスピーカに出力するオーディオ信号の音量又は周波数特性の調整を行なう、信号処理部と、
    前記車内空間の所定箇所に設置され、楽器に備えた出力端子から信号を入力する複数の入力端子と、
    前記複数の入力端子及び前記スピーカに接続され、複数のチャンネルのオーディオ信号をミキシングして、前記スピーカに出力するミキサと、を備え、
    前記検出部は、前記複数の入力端子のうち、機器が接続された前記入力端子に対応する位置において、前記聴取者を検出し、
    前記信号処理部は、前記ミキサにおける前記複数のチャンネルのオーディオ信号の音量バランスを調整する、
    車内用音響機器。
  9. 前記信号処理部は、前記スピーカから出力される音が前記聴取者の位置に至るように、指向性を制御する、請求項に記載の車内用音響機器。
  10. 前記聴取者の位置における音響環境を取得する音響環境取得部を備え、
    前記信号処理部は、前記音響環境取得部で取得した前記音響環境に応じて、前記車内空間に存在するスピーカに出力するオーディオ信号の処理を行なう、請求項8または請求項9に記載の車内用音響機器。
  11. 前記信号処理部は、前記聴取者の位置における音量を他の位置の音量よりも大きくする、
    請求項8乃至請求項10のいずれか一項に記載の車内用音響機器。
  12. 前記スピーカは、前記車内空間の特定の利用者に対してマスカ音を出力する、
    請求項8乃至請求項11のいずれか一項に記載の車内用音響機器。
  13. 前記信号処理部は、前記聴取者の周囲の所定の位置に音像を仮想定位させる処理を行う、
    請求項8乃至請求項12のいずれか一項に記載の車内用音響機器。
  14. 前記仮想定位させる処理は、頭部伝達関数により行われる、
    請求項13に記載の車内用音響機器。
  15. 請求項8乃至請求項14のうちいずれか一に記載の車内用音響機器と、
    ッドユニットに接続されるスピーカと、
    を備えた車内用音響システム。
  16. 前記スピーカは、ヘッドフォンを含む、請求項15に記載の車内用音響システム。
JP2018527663A 2016-07-13 2017-07-13 楽器を用いた車内用音響システム、楽器を用いた車内用音響方法、車内用音響機器、及び車内用音響システム。 Active JP6658887B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016138381 2016-07-13
JP2016138381 2016-07-13
PCT/JP2017/025546 WO2018012589A1 (ja) 2016-07-13 2017-07-13 楽器を用いた音響システム、楽器を用いた音響方法、音響機器、及び音響システム

Publications (2)

Publication Number Publication Date
JPWO2018012589A1 JPWO2018012589A1 (ja) 2019-05-23
JP6658887B2 true JP6658887B2 (ja) 2020-03-04

Family

ID=60952091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018527663A Active JP6658887B2 (ja) 2016-07-13 2017-07-13 楽器を用いた車内用音響システム、楽器を用いた車内用音響方法、車内用音響機器、及び車内用音響システム。

Country Status (2)

Country Link
JP (1) JP6658887B2 (ja)
WO (1) WO2018012589A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331882B1 (ko) * 2020-05-28 2021-11-29 주식회사대성엘텍 음성 인식 기반의 차량 제어 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021124894A1 (ja) * 2019-12-20 2021-06-24 テイ・エス テック株式会社 シートシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2928693B2 (ja) * 1992-12-25 1999-08-03 株式会社ケンウッド カラオケ装置
JPH06301392A (ja) * 1993-04-09 1994-10-28 Yamaha Corp カラオケシステム
JPH0684500U (ja) * 1993-05-12 1994-12-02 富士通テン株式会社 カラオケ装置
JPH11313389A (ja) * 1998-04-28 1999-11-09 Teac Corp スピ−カを接続するためのオ−ディオ装置
EP1803114A2 (en) * 2004-10-01 2007-07-04 Audiobrax Indústria E Comércio De Produtos Eletrônicos S.A. Rhythmic device for the production, playing, accompaniment and evaluation of sounds
JP4779748B2 (ja) * 2006-03-27 2011-09-28 株式会社デンソー 車両用音声入出力装置および音声入出力装置用プログラム
JP2008233321A (ja) * 2007-03-19 2008-10-02 Daiichikosho Co Ltd 歌唱補助機能を備える車載用カラオケシステム
JP6098829B2 (ja) * 2014-02-27 2017-03-22 ブラザー工業株式会社 カラオケ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331882B1 (ko) * 2020-05-28 2021-11-29 주식회사대성엘텍 음성 인식 기반의 차량 제어 방법 및 장치

Also Published As

Publication number Publication date
JPWO2018012589A1 (ja) 2019-05-23
WO2018012589A1 (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
US8787602B2 (en) Device for and a method of processing audio data
JP4189918B2 (ja) 車載用立体音場再生・消音装置
US8705753B2 (en) System for processing sound signals in a vehicle multimedia system
CN106464299B (zh) 管理车辆音频平台中的电话和娱乐音频
JP4697553B2 (ja) ハンズフリー通話機能付き音響再生装置
US20050213786A1 (en) Acoustic system for vehicle and corresponding device
US20050281421A1 (en) First person acoustic environment system and method
JP2007019980A (ja) オーディオ静音化装置
US9111523B2 (en) Device for and a method of processing a signal
JP2001057699A (ja) オーディオ装置
JP2010164970A (ja) オーディオシステム及びその出力制御方法
JP7149261B2 (ja) リスニングルーム用に仮想会場を生成するための装置及び方法
JP4887290B2 (ja) 音像定位制御装置
KR20180103476A (ko) 차량 내부의 소음 제어 시스템 및 그 제어 방법
JP6658887B2 (ja) 楽器を用いた車内用音響システム、楽器を用いた車内用音響方法、車内用音響機器、及び車内用音響システム。
CN110677750B (zh) 一种汽车虚拟场馆音响***及其实现方法
JP2005252597A (ja) 複数音声再生装置
JP4023036B2 (ja) 車載用音響システム
WO2019038915A1 (ja) ヘッドレスト用スピーカ
JPH0662486A (ja) 音響再生装置
JP2022013239A (ja) 再生装置、設定方法、及び車載スピーカシステム
JP2002101499A (ja) 音響再生装置
Clark Stereo in automobiles
JP2022006537A (ja) 再生装置、設定方法、及び車載スピーカシステム
JPH03139100A (ja) 車載音響再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R151 Written notification of patent or utility model registration

Ref document number: 6658887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151