JP7211013B2 - 車両用音入出力装置 - Google Patents

車両用音入出力装置 Download PDF

Info

Publication number
JP7211013B2
JP7211013B2 JP2018205671A JP2018205671A JP7211013B2 JP 7211013 B2 JP7211013 B2 JP 7211013B2 JP 2018205671 A JP2018205671 A JP 2018205671A JP 2018205671 A JP2018205671 A JP 2018205671A JP 7211013 B2 JP7211013 B2 JP 7211013B2
Authority
JP
Japan
Prior art keywords
vehicle
output
sound
unit
sound input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018205671A
Other languages
English (en)
Other versions
JP2020072393A (ja
Inventor
寛 平岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018205671A priority Critical patent/JP7211013B2/ja
Priority to CN201911017476.5A priority patent/CN111114477B/zh
Priority to US16/666,777 priority patent/US10922048B2/en
Publication of JP2020072393A publication Critical patent/JP2020072393A/ja
Application granted granted Critical
Publication of JP7211013B2 publication Critical patent/JP7211013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、車両用音入出力装置に関する。
特許文献１には、マイクロフォン又はスピーカに切替可能な放集音素子を備えた車内会話補助装置が開示されている。
特開２００６－９４３８９号公報
特許文献１の技術では、必要に応じて放集音素子をマイクロフォン又はスピーカに切り替えることで車内での会話を補助している。ところで、乗員が車両又は車両周辺の情報を得るために、車両に搭載されたシステムと対話を行う場面が想定される。このような場合、睡眠中の乗員など覚醒度の低い乗員の妨げになる可能性がある。
本発明は上記事実を考慮し、乗員の快適性を確保することができる車両用音入出力装置を得ることを目的とする。
請求項１に記載の車両用音入出力装置は、車室内に設けられ乗員の音声を集音する集音部と、車室内に設けられ、各座席に対して音又は映像を出力する出力部と、乗員の覚醒度を検知する覚醒度検知部と、前記集音部で集音された音声に基づいて、車両又は車両周辺に関する内容が発話されたと判断した場合に、前記覚醒度検知部で検知された覚醒度が所定値よりも高い乗員にのみ車両又は車両周辺に関する情報を前記出力部から出力させる出力制御部と、を有し、前記出力制御部は、覚醒度が所定値よりも高い乗員に対して、車両又は車両周辺に関する情報を前記出力部から音声で出力させると共に、覚醒度が所定値よりも低い乗員に対して、前記出力部から逆位相音を出力させる。
請求項１に記載の車両用音入出力装置では、集音部と出力部とが車室内に設けられており、集音部によって乗員の音声が集音され、出力部によって各座席に対して音又は映像が出力される。また、覚醒度検知部によって乗員の覚醒度が検知される。さらに、出力制御部は、車両又は車両周辺に関する内容が発話されたと判断した場合に、出力部から乗員に車両又は車両周辺に関する情報が出力される。これにより、乗員が特別な操作を行わなくても発話するだけで車両又は車両周辺の情報を得ることができる。
また、出力制御部は、覚醒度検知部で検知された覚醒度が所定値よりも高い乗員にのみ情報を出力させる。これにより、睡眠中の乗員など覚醒度の低い乗員の妨げになるのを抑制することができる。このとき、覚醒度が所定値よりも高い乗員が着座している座席に対応する出力部のみから情報が出力されるため、他の乗員には音が聞こえないようにできる。
請求項２に記載の車両用音入出力装置は、請求項１において、前記車両周辺に関する情報には、車両が走行している位置についての情報が含まれている。
請求項２に記載の車両用音入出力装置では、乗員が集音部に向かって発話することで、出力部から乗員に対して車両が走行している位置についての情報が出力される。
請求項３に記載の車両用音入出力装置は、請求項１において、前記車両周辺に関する情報には、車両が走行している位置の周辺における地形又は建造物についての情報が含まれている。
請求項３に記載の車両用音入出力装置では、乗員が集音部に向かって発話することで、出力部から乗員に対して車両周辺の地形又は建造物についての情報が出力される。
以上説明したように、請求項１に係る車両用音入出力装置によれば、乗員の快適性を確保することができる。
また、情報を得たい乗員のみに効果的に情報を伝えることができる。
請求項２に係る車両用音入出力装置によれば、乗員が迅速に現在位置を把握することができる。
請求項３に係る車両用音入出力装置によれば、乗員が簡単に車両周辺の地形又は建造物についての情報を得ることができる。
実施形態に係る車両用音入出力装置が搭載された車両の車室内を概略的に示す斜視図である。 実施形態に係る車両用音入出力装置が搭載された車両の車室内を概略的に示す側面図である。 実施形態に係る車両用音入出力装置が搭載された車両の車室内を概略的に示す平面図である。 実施形態に係る車両用音入出力装置のハードウェア構成を示すブロック図である。 ＥＣＵのハードウェア構成を示すブロック図である。 車両用音入出力装置の機能構成を示すブロック図である。 音声入出力処理の流れの一例を示すフローチャートである。
実施形態に係る車両用音入出力装置１０について図面を参照して説明する。なお、図面の寸法比率は、説明の便宜上、誇張されており、実際の寸法比率とは異なる場合がある。また、各図に適宜示す矢印ＦＲ、矢印ＵＰ及び矢印ＲＨは、車両の前方向、上方向及び幅方向の右側をそれぞれ示している。以下、単に、前後、上下、左右の方向を用いて説明する場合は、特に断わりのない限り、車両前後方向の前後、車両上下方向の上下、車両前方向を向いた場合の左右を示すものとする。
図１に示されるように、本実施形態の車両用音入出力装置１０は、車両１２に搭載されている。車両１２は、乗員Ｐが操縦することなく自動走行可能な所謂自動運転車両であり、センサ類によって周囲の状況を把握して自動運転することが可能になっている。なお、本実施形態の車両１２は、乗員Ｐが運転する手動運転モードと、自動走行する自動運転モードとの間で切り替え可能に構成されている。
車両１２の車室内には、複数の座席１４が配置されている。図１及び図３に示されるように、本実施形態では一例として、座席１４Ａ、座席１４Ｂ、座席１４Ｃ及び座席１４Ｄの４つの座席１４が配置されている。
ここで、車両１２の天井部には、複数の音入出力部１８が設けられている。本実施形態では、４つの音入出力部１８Ａ、音入出力部１８Ｂ、音入出力部１８Ｃ及び音入出力部１８Ｄが設けられており、それぞれ指向性を備えた集音部としてのマイク３２と、指向性を備えた出力部としてのスピーカ３４とを含んで構成されている（図４参照）。
音入出力部１８Ａ及び音入出力部１８Ｂは、座席１４Ａ及び座席１４Ｂの前斜め上方のオーバーヘッドコンソール１６に設けられている。そして、音入出力部１８Ａは、座席１４Ａへ向けられている。すなわち、音入出力部１８Ａのマイク３２Ａは、座席１４Ａに着座した乗員Ｐ１が発話した音声を集音可能に構成されている。また、音入出力部１８Ａのスピーカ３４Ａは、乗員Ｐ１へのみ音を出力可能に構成されている。
音入出力部１８Ｂは、座席１４Ｂへ向けられている。すなわち音入出力部１８Ｂのマイク３２Ｂは、座席１４Ｂに着座した乗員Ｐ２が発話した音声を集音可能に構成されている。また、音入出力部１８Ｂのスピーカ３４Ｂは、乗員Ｐ２へのみ音を出力可能に構成されている。
音入出力部１８Ｃ及び音入出力部１８Ｄは、座席１４Ｃ及び座席１４Ｄの前斜め上方に設けられており、音入出力部１８Ｃは、座席１４Ｃへ向けられている。すなわち、音入出力部１８Ｃのマイク３２Ｃは、座席１４Ｃに着座した乗員Ｐ３が発話した音声を集音可能に構成されている。また、音入出力部１８Ｃのスピーカ３４Ｃは、乗員Ｐ３へのみ音を出力可能に構成されている。
音入出力部１８Ｄは、座席１４Ｄへ向けられている。すなわち、音入出力部１８Ｄのマイク３２Ｄは、座席１４Ｄに着座した乗員Ｐ４が発話した音声を集音可能に構成されている。また、音入出力部１８Ｄのスピーカ３４Ｄは、乗員Ｐ４へのみ音を出力可能に構成されている。
オーバーヘッドコンソール１６には、音入出力部１８Ａ及び音入出力部１８Ｂの他に、車室内カメラ２０が設けられている。車室内カメラ２０は車室内に向けられており、乗員Ｐ１～乗員Ｐ４の顔を撮像できるように構成されている。
車両１２の前部には、ＥＣＵ（Electronic Control Unit）２２が設けられている。そして、車両用音入出力装置１０は、音入出力部１８、車室内カメラ２０及びＥＣＵ２２を含んで構成されている。また、ＥＣＵ２２は、図２に示されるようにネットワークを介してサーバ２４と接続できるよう構成されている。また、座席１４Ａのシートバッグの内部には、乗員Ｐ１の心拍数を検知するための心拍数検知部３０が設けられている。同様に、座席１４Ｃのシートバッグの内部には、乗員Ｐ３の心拍数を検知するための心拍数検知部３０が設けられている。なお、図示はしないが、座席１４Ｂ及び座席１４Ｄにもそれぞれ、心拍数検知部３０が設けられている。
図４は、車両用音入出力装置１０のハードウェア構成を示すブロック図である。この図４に示されるように、車両用音入出力装置１０は、ＥＣＵ２２、マイクアンプ２６、スピーカアンプ２８、４つのマイク３２（マイク３２Ａ、マイク３２Ｂ、マイク３２Ｃ、マイク３２Ｄ）、４つのモニタ３５（モニタ３５Ａ、モニタ３５Ｂ、モニタ３５Ｃ、モニタ３５Ｄ）、４つのスピーカ３４（スピーカ３４Ａ、スピーカ３４Ｂ、スピーカ３４Ｃ、スピーカ３４Ｄ）、サーバ２４、車室内カメラ２０及び心拍数検知部３０を含んで構成されている。
マイク３２Ａは、音入出力部１８Ａを構成するマイクであり、マイクアンプ２６を介してＥＣＵ２２と電気的に接続されている。同様に、マイク３２Ｂ、マイク３２Ｃ及びマイク３２Ｄはそれぞれ、音入出力部１８Ｂ、音入出力部１８Ｃ及び音入出力部１８Ｄを構成するマイクであり、マイクアンプ２６を介してＥＣＵ２２と電気的に接続されている。
スピーカ３４Ａは、音入出力部１８Ａを構成するスピーカであり、スピーカアンプ２８を介してＥＣＵ２２と電気的に接続されている。同様にスピーカ３４Ｂ、スピーカ３４Ｃ及びスピーカ３４Ｄはそれぞれ、音入出力部１８Ｂ、音入出力部１８Ｃ及び音入出力部１８Ｄを構成するスピーカであり、スピーカアンプ２８を介してＥＣＵ２２と電気的に接続されている。
モニタ３５Ａは、ＥＣＵ２２から出力された映像を表示するためのモニタである。また、モニタ３５Ａは、座席１４Ａの周辺に配置されており、乗員Ｐ１に対して映像を表示させるように構成されている。同様に、モニタ３５Ｂは、座席１４Ｂの周辺に配置されており、乗員Ｐ２に対して映像を表示させるように構成されている。
モニタ３５Ｃは、座席１４Ｃの周辺に配置されており、乗員Ｐ３に対して映像を表示させるように構成されている。モニタ３５Ｄは、座席１４Ｄの周辺に配置されており、乗員Ｐ４に対して映像を表示させるように構成されている。
心拍数検知部３０は、座席１４に着座した乗員Ｐの心拍数を検知する装置であり、上述したように、各座席１４のシートバッグに内蔵されている。
図５は、ＥＣＵ２２のハードウェア構成を示すブロック図である。この図５に示されるように、ＥＣＵ２２は、ＣＰＵ（Central Processing Unit：プロセッサ）３６、ＲＯＭ（Read Only Memory）３８、ＲＡＭ（Random Access Memory）４０、ストレージ４２及び通信インタフェース４４を含んで構成されている。また、各構成は、バス４５を介して相互に通信可能に接続されている。
ＣＰＵ３６は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３６は、ＲＯＭ３８又はストレージ４２からプログラムを読み出し、ＲＡＭ４０を作業領域としてプログラムを実行する。ＣＰＵ３６は、ＲＯＭ３８又はストレージ４２に記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
ＲＯＭ３８は、各種プログラム及び各種データを格納する。ＲＡＭ４０は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ４２は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
通信インタフェース４４は、ＥＣＵ２２がサーバ２４及び他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。
車両用音入出力装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。車両用音入出力装置１０が実現する機能構成について図６を参照して説明する。
図６に示されるように、車両用音入出力装置１０は、機能構成として、音声記録部４６、音声抽出部４８、覚醒度検知部５０、出力位置特定部５２、逆位相音生成部５４及び出力制御部５６を含んで構成されている。各機能構成は、ＣＰＵ３６がＲＯＭ３８又はストレージ４２に記録されたプログラムを読み出し、実行することにより実現される。
音声記録部４６は、マイク３２で集音された音声を記録する。また、音声抽出部４８は、音声記録部４６で記録された音声から特定の言葉を抽出する。音声抽出部４８が抽出する言葉としては、例えば、燃料の残量や車両１２の運行状況など、車両１２に関する質問を含む言葉、又は車両１２が走行している位置の周辺における地形や建造物に関する質問を含む言葉を抽出する。
覚醒度検知部５０は、乗員Ｐの覚醒度を検知する。具体的には、覚醒度検知部５０は、車室内カメラ２０及び心拍数検知部３０の少なくとも一方からの信号に基づいて乗員Ｐの覚醒状態を検知する。ここで、覚醒度が低い場合、乗員Ｐが入眠傾向にあることを指している。
出力位置特定部５２は、情報を出力する位置を特定する。具体的には、出力位置特定部５２は、座席１４Ａ～座席１４Ｄのうち情報を出力する座席１４を特定する。
逆位相音生成部５４は、マイク３２で集音された音声から逆位相音を生成する。出力制御部５６は、出力位置特定部５２で特定された座席１４と対応するスピーカ３４から音声を出力させる、又は、出力位置特定部５２で特定された座席１４と対応するモニタ３５に映像を出力させる。なお、スピーカ３４から音声を出力させるとともに、モニタ３５に映像を出力させるようにしてもよい。
次に、車両用音入出力装置１０による音声入出力処理の流れの一例について、図７のフローチャートを参照して説明する。ＣＰＵ３６がＲＯＭ３８またはストレージ４２からプログラムを読み出して、ＲＡＭ４０に展開して実行することによって音声入出力処理が行われる。
図７に示されるように、ステップＳ１０２では、ＣＰＵ３６は、音声記録部４６の機能により音声を記録する。ここでは、マイク３２Ａ～マイク３２Ｄによって乗員Ｐが発話した内容が集音された場合に音声が記録される。
ステップＳ１０４では、ＣＰＵ３６は、車両１２又は車両１２の周辺に関する情報が発話されたか否かについて判断する。具体的には、ＣＰＵ３６は、音声抽出部４８の機能により、音声記録部４６で記録された音声から車両１２に関する情報または車両１２の周辺に関する情報が抽出された場合はステップＳ１０６に移行する。またＣＰＵ３６は、車両１２または車両１２の周辺に関する情報が抽出されなかった場合には、これらの情報が抽出されるまでステップＳ１０４の処理を繰り返す。
ステップＳ１０６では、ＣＰＵ３６は、覚醒度が所定値よりも低い乗員Ｐがいるか否かについて判断する。具体的には、ＣＰＵ３６は、覚醒度検知部５０の機能により、車室内カメラ２０及び心拍数検知部３０の少なくとも一方からの情報に基づいて、覚醒度が所定値よりも低い乗員がいると判断した場合は、ステップＳ１０８の処理へ移行する。また覚醒度が所定値よりも低い乗員がいないと判断した場合は、ステップＳ１１０の処理へ移行する。
ステップＳ１０８では、ＣＰＵ３６は、特定の乗員Ｐが着座している座席１４に対応するスピーカ３４及びモニタ３５を情報の出力先から除外する。具体的には、ステップＳ１０６で覚醒度が低いと判断された乗員Ｐが着座している座席１４に対応するスピーカ３４及びモニタ３５を情報の出力先から除外する。例えば、図１において乗員Ｐ３の覚醒度が低いと判断された場合、座席１４Ｃに対応するスピーカ３４Ｃからの音声の出力を行わないようにさせる。また、座席１４Ｃに対応するモニタ３５Ｃへの映像の出力を行わないようにさせる。
ステップＳ１１０では、ＣＰＵ３６は、出力先の座席１４に対して音声及び映像の少なくとも一方を出力させる。具体的には、ＣＰＵ３６は、出力制御部５６の機能により、出力先として設定された座席１４に対応するスピーカ３４から音声を出力させる。このとき出力先として設定された座席１４に対応するモニタ３５から映像を出力させるようにしてもよい。
以上のように、本実施形態では、覚醒度検知部５０で検知された覚醒度が所定値よりも高い乗員Ｐにのみ車両１２または車両１２の周辺に関する情報を出力させるようになっている。
（作用）
次に、本実施形態の作用を説明する。
本実施形態の車両用音入出力装置１０では、出力制御部５６は、音声抽出部４８によって抽出された車両１２または車両１２の周辺に関する情報をスピーカ３４及びモニタ３５の少なくとも一方から出力させる。これにより、乗員Ｐが特別な操作を行わなくても発話するだけで車両１２または車両１２の周辺に関する情報を得ることができる。例えば、乗員Ｐが車両１２の運行状況について発話した場合、音声抽出部４８の機能により運行状況に関する音声が抽出される。そして、ＣＰＵ３６は、スピーカ３４及びモニタ３５の少なくとも一方から車両１２の運行状況についての情報を出力させる。
また、本実施形態では、覚醒度検知部５０で検知された覚醒度が所定値よりも低い乗員Ｐには情報が出力されないようになっている。すなわち、覚醒度検知部５０で検知された覚醒度が所定値よりも高い乗員Ｐにのみ情報が出力される。これにより、睡眠中の乗員Ｐなど覚醒度の低い乗員Ｐの妨げになるのを抑制することができる。この結果、他の乗員Ｐの快適性を確保することができる。
以上、実施形態について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることはもちろんである。例えば、上記実施形態では、図６の覚醒度検知部５０によって覚醒度が所定値よりも低いと判断された乗員Ｐに対して情報の出力を行わないようにしたがこれに限定されない。出力制御部５６は、覚醒度検知部５０によって覚醒度が所定値よりも低い乗員Ｐに対して逆位相音を出力するようにしてもよい。
一例として、逆位相音生成部５４の機能により逆位相音を生成させるようにし、出力制御部５６は、覚醒度が低い乗員Ｐが着座している座席１４に対応するスピーカ３４から逆位相音を出力させるようにしてもよい。このようにすれば、覚醒度が低い乗員Ｐには音が聞こえないようにできる。これにより、情報を得たい乗員Ｐのみに効果的に情報を伝えることができる。
また、上記実施形態でＣＰＵ３６がソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ３６以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
さらに、上記各実施形態では、ストレージストレージ４２を記録部としたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体を記録部としてもよい。
１０ 車両用音入出力装置
１２ 車両
１４Ａ 運転席（座席）
１４Ｂ 助手席（座席）
１４Ｃ 後席（座席）
１４Ｄ 後席（座席）
３２Ａ マイク（集音部）
３２Ｂ マイク（集音部）
３２Ｃ マイク（集音部）
３２Ｄ マイク（集音部）
３４Ａ スピーカ（出力部）
３４Ｂ スピーカ（出力部）
３４Ｃ スピーカ（出力部）
３４Ｄ スピーカ（出力部）
３５Ａ モニタ（出力部）
３５Ｂ モニタ（出力部）
３５Ｃ モニタ（出力部）
３５Ｄ モニタ（出力部）
５０ 覚醒状態判定部
５６ 出力制御部
Ｐ１ 乗員
Ｐ２ 乗員
Ｐ３ 乗員
Ｐ４ 乗員

Claims (3)

  1. 車室内に設けられ乗員の音声を集音する集音部と、
    車室内に設けられ、各座席に対して音又は映像を出力する出力部と、
    乗員の覚醒度を検知する覚醒度検知部と、
    前記集音部で集音された音声に基づいて、車両又は車両周辺に関する内容が発話されたと判断した場合に、前記覚醒度検知部で検知された覚醒度が所定値よりも高い乗員にのみ車両又は車両周辺に関する情報を前記出力部から出力させる出力制御部と、
    を有し、
    前記出力制御部は、覚醒度が所定値よりも高い乗員に対して、車両又は車両周辺に関する情報を前記出力部から音声で出力させると共に、覚醒度が所定値よりも低い乗員に対して、前記出力部から逆位相音を出力させる車両用音入出力装置。
  2. 前記車両周辺に関する情報には、車両が走行している位置についての情報が含まれている請求項１に記載の車両用音入出力装置。
  3. 前記車両周辺に関する情報には、車両が走行している位置の周辺における地形又は建造物についての情報が含まれている請求項１に記載の車両用音入出力装置。
JP2018205671A 2018-10-31 2018-10-31 車両用音入出力装置 Active JP7211013B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018205671A JP7211013B2 (ja) 2018-10-31 2018-10-31 車両用音入出力装置
CN201911017476.5A CN111114477B (zh) 2018-10-31 2019-10-24 车辆用声音输入输出装置
US16/666,777 US10922048B2 (en) 2018-10-31 2019-10-29 Sound input/output device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018205671A JP7211013B2 (ja) 2018-10-31 2018-10-31 車両用音入出力装置

Publications (2)

Publication Number Publication Date
JP2020072393A JP2020072393A (ja) 2020-05-07
JP7211013B2 true JP7211013B2 (ja) 2023-01-24

Family

ID=70325370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018205671A Active JP7211013B2 (ja) 2018-10-31 2018-10-31 車両用音入出力装置

Country Status (3)

Country Link
US (1) US10922048B2 (ja)
JP (1) JP7211013B2 (ja)
CN (1) CN111114477B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112078498B (zh) * 2020-09-11 2022-03-18 广州小鹏汽车科技有限公司 一种车辆智能座舱的声音输出控制方法和智能座舱
US20240236567A9 (en) * 2022-10-19 2024-07-11 Qualcomm Incorporated Adaptive audio system for occupant aware vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006226872A (ja) 2005-02-18 2006-08-31 Denso Corp ナビゲーション装置およびプログラム
WO2009054039A1 (ja) 2007-10-22 2009-04-30 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体
WO2016129276A1 (ja) 2015-02-12 2016-08-18 パナソニックＩｐマネジメント株式会社 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
US20180167044A1 (en) 2016-12-09 2018-06-14 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Automatic vehicle occupant audio control

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087107A (ja) * 2000-09-14 2002-03-26 Denso Corp 走行状態検出装置、覚醒度検出装置、覚醒度対応制御装置、及び記録媒体
US7653203B2 (en) * 2004-01-13 2010-01-26 Bose Corporation Vehicle audio system surround modes
JP2006094389A (ja) 2004-09-27 2006-04-06 Yamaha Corp 車内会話補助装置
US20060153398A1 (en) * 2005-01-13 2006-07-13 Deetz Kenneth L In-vehicle entertainment system
JP2010124435A (ja) * 2008-11-21 2010-06-03 Panasonic Corp 車内会話補助装置
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US20150249886A1 (en) * 2014-03-03 2015-09-03 Cvg Management Corporation Noise mitigation seating
JP2016133989A (ja) 2015-01-20 2016-07-25 パナソニックＩｐマネジメント株式会社 コミュニケーション装置と、それを搭載した自動車及びコミュニケーション方法
JP6358212B2 (ja) * 2015-09-17 2018-07-18 トヨタ自動車株式会社 車両用覚醒制御システム
DE102016205996A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren zum Ausgeben einer Schläfrigkeitswarnung und Steuergerät
JP6365554B2 (ja) * 2016-01-14 2018-08-01 マツダ株式会社 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006226872A (ja) 2005-02-18 2006-08-31 Denso Corp ナビゲーション装置およびプログラム
WO2009054039A1 (ja) 2007-10-22 2009-04-30 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体
WO2016129276A1 (ja) 2015-02-12 2016-08-18 パナソニックＩｐマネジメント株式会社 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
US20180167044A1 (en) 2016-12-09 2018-06-14 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Automatic vehicle occupant audio control

Also Published As

Publication number Publication date
JP2020072393A (ja) 2020-05-07
CN111114477B (zh) 2023-02-17
US20200133626A1 (en) 2020-04-30
CN111114477A (zh) 2020-05-08
US10922048B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN106998518B (zh) 用于在车辆音频区域中个性化声音隔离的车辆、装置和方法
US10805730B2 (en) Sound input/output device for vehicle
JP7211013B2 (ja) 車両用音入出力装置
JP2017071240A (ja) 車両接近通報装置
JP2020067979A (ja) 車両用障害物報知装置
WO2018099677A1 (en) Improvements relating to hearing assistance in vehicles
US11393444B2 (en) Noise suppressor for a vehicle and noise suppressing method for a vehicle
JP2009025715A (ja) 車載装置および音声認識方法
JP2019016971A (ja) 音出力装置
US20070274546A1 (en) Music Contents Reproducing Apparatus
JP7287301B2 (ja) 死角情報取得装置、死角情報取得方法、車両及びプログラム
JP2003025911A (ja) 車載用映像表示装置
JP2001037000A (ja) 車載用オーディオ再生システム及びオーディオ再生方法
JP7228996B2 (ja) コンテンツ再生装置
JP5211747B2 (ja) 音響制御装置及び音響制御プログラム
JP2010245950A (ja) 車載用画像制御装置
JP2008137514A (ja) 車載オーディオシステムおよび車載用マイク付きツイータスピーカユニット
JP7456490B2 (ja) 音データ処理装置および音データ処理方法
JP7013514B2 (ja) 車両
GB2555088A (en) Interface apparatus and method
JP2022148823A (ja) エージェント装置
JP2017007548A (ja) 後席状況表示制御装置
GB2557177A (en) Improvements relating to hearing assistance in vehicles
JP2022165339A (ja) エージェント装置
KR20060030296A (ko) 차량용 오디오시스템의 자동 음향 조절 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R151 Written notification of patent or utility model registration

Ref document number: 7211013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151