JP6862797B2 - Conversation assist device - Google Patents
Conversation assist device Download PDFInfo
- Publication number
- JP6862797B2 JP6862797B2 JP2016231609A JP2016231609A JP6862797B2 JP 6862797 B2 JP6862797 B2 JP 6862797B2 JP 2016231609 A JP2016231609 A JP 2016231609A JP 2016231609 A JP2016231609 A JP 2016231609A JP 6862797 B2 JP6862797 B2 JP 6862797B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- sound
- delay time
- vehicle
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001934 delay Effects 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 description 32
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 9
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、会話をアシストする技術に関する。 The present invention relates to a technique for assisting conversation.
特許文献1には、発話者が発した音をマイクで集音し、その音を一定時間(5〜20ms)遅延させてスピーカから出力する車内会話支援システムが記載されている。この車内会話支援システムによれば、受話者は、スピーカから音(マイクが集音した音)が出力されない場合に比べて、発話者の発言を聞き取りやすくなる。
特許文献1に記載の車内会話支援システムでは、マイクが集音した音に付加する遅延時間は一定である。ここで、大音量のノイズ音が発話者の発した音とスピーカからの音との両方と時間的に重なる程度の長さであると、受話者は発話者の発した音とスピーカからの音とのいずれも聴き取り難くなるおそれがある。そこで、この一定の遅延時間を長くすると、車両の状態に応じてノイズ音の音量が小さくなる場合、受話者は、発話者の発した音よりもかなり遅れてスピーカからの音を聞くことになり、スピーカからの音に違和感を覚えるおそれが生じる。また、発話者も、声を発した時点よりもかなり遅れてスピーカからの自分の音を聞くため、スピーカからの音に違和感を覚えやすくなる。
In the in-vehicle conversation support system described in
本発明は上述した事情に鑑みてなされたものであり、車室において発話者の発言を聞き取りやすくしつつ受話者もしくは発話者がスピーカからの音に違和感を覚え難くできる技術を提供することを解決課題とする。 The present invention has been made in view of the above circumstances, and has solved the problem of providing a technique that makes it easier for the speaker or the speaker to feel a sense of discomfort in the sound from the speaker while making it easier to hear the speaker's remarks in the passenger compartment. Make it an issue.
本発明の会話アシスト装置の一態様は、車室内のマイクが集音した音を遅延させて前記車室内のスピーカにて放音させる音処理部と、前記車室を有する車両の状態に応じて、前記遅延の時間を制御する制御部と、を含むことを特徴とする。 One aspect of the conversation assist device of the present invention depends on the state of the sound processing unit that delays the sound collected by the microphone in the vehicle interior and emits the sound by the speaker in the vehicle interior, and the state of the vehicle having the vehicle interior. , A control unit that controls the delay time, and the like.
以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the drawings, the dimensions and scale of each part are appropriately different from the actual ones. Moreover, the embodiment described below is a preferable specific example of the present invention. For this reason, the present embodiment is provided with various technically preferable limitations. However, the scope of the present invention is not limited to these forms unless it is stated in the following description that the present invention is particularly limited.
<第1実施形態>
図1は、本発明の第1実施形態に係る会話アシスト装置100を含む会話アシストシステム1を示した図である。会話アシストシステム1は車両Cで使用される。
車両Cの車室Rには、会話アシスト装置100の他に、矩形に配置された4つの座席51〜54と、天井6と、フロントライトドア71と、フロントレフトドア72と、リアライトドア73と、リアレフトドア74が配置されている。座席51は運転席である。座席52は助手席である。座席53は後部右座席である。座席54は後部左座席である。座席51〜54の各々は、布または革を素材とする材質であり吸音性を有する。座席51〜54は、共通の方向を向いている。
<First Embodiment>
FIG. 1 is a diagram showing a
In the passenger compartment R of the vehicle C, in addition to the
会話アシストシステム1は、マイク11〜14および81と、スピーカ21〜24と、会話アシスト装置100とを含んで構成されている。
マイク11〜14および81の各々は、集音した音に応じた出力信号を出力する。マイク11は座席51に対して配置されている。図1に示した例では、マイク11は、天井6のうち座席51と対向する領域61に配置されている。マイク12は、座席52に対して配置されている。図1に示した例では、マイク12は、天井6のうち座席52と対向する領域62に配置されている。マイク13は座席53に対して配置されている。図1に示した例では、マイク13は、天井6のうち座席53と対向する領域63に配置されている。マイク14は座席54に対して配置されている。図1に示した例では、マイク14は、天井6のうち座席54と対向する領域64に配置されている。マイク81は、車室Rで音を集音し、集音した音に応じた出力信号M8を出力する。出力信号M8は、車室R内のノイズ音量を特定するために使用される。ノイズとは、車の走行時におけるエンジン音やタイヤノイズ、風切り音、車室内の空調機の音、あるいは、車外からの環境音などである。
The
Each of the
スピーカ21は座席51に対して配置されている。図1に示した例では、スピーカ21は、座席51と対向するフロントライトドア71に配置されている。スピーカ22は座席52に対して配置されている。図1に示した例では、スピーカ22は、座席52と対向するフロントレフトドア72に配置されている。スピーカ23は座席53に対して配置されている。図1に示した例では、スピーカ23は、座席53と対向するリアライトドア73に配置されている。スピーカ24は座席54に対して配置されている。図1に示した例では、スピーカ24は、座席54と対向するリアレフトドア74に配置されている。
The
会話アシスト装置100は、音処理部31〜34と、供給部4と、記憶部82と、制御部83とを含んで構成されている。
音処理部31は、マイク11の出力信号M1に遅延を付加して音信号A1を生成する。出力信号M1に遅延を付加する処理は、例えば、出力信号M1に応じたデジタル信号を音処理部31の内在するメモリに記憶し、その記憶時点から遅延時間が経過したらメモリからそのデジタル信号を読み出して出力する処理である。この場合、出力信号M1に応じたデジタル信号のデータ量以上の容量を有するメモリが用いられればよい。音処理部32は、マイク12の出力信号M2に遅延を付加して音信号A2を生成する。音処理部33は、マイク13の出力信号M3に遅延を付加して音信号A3を生成する。音処理部34は、マイク14の出力信号M4に遅延を付加して音信号A4を生成する。音処理部32〜34において出力信号に遅延を付加する処理は、音処理部31が出力信号に遅延を付加する処理に準じた処理である。出力信号M1〜M4に付加される遅延の時間は、車両Cの状態(例えば、車室R内のノイズ音量)に応じて制御される。
The
The
供給部4は、音信号A1を、座席51と対角の位置にある座席(対角座席)54に対して配置されたスピーカ24に供給する。また、供給部4は、音信号A2をスピーカ23に供給し、音信号A3をスピーカ22に供給し、音信号A4をスピーカ21に供給する。
図2は、供給部4の一例を示した図である。図2に示した供給部4は、音処理部31とスピーカ24とを電気的に接続する配線41と、音処理部32とスピーカ23とを電気的に接続する配線42と、音処理部33とスピーカ22とを電気的に接続する配線43と、音処理部34とスピーカ21とを電気的に接続する配線44と、を含む。
The
FIG. 2 is a diagram showing an example of the
記憶部82は、例えば、半導体記録媒体、磁気式記録媒体または光学式記録媒体等の公知の任意の形式の記録媒体、または、これらの記録媒体が組み合わされた記録媒体である。なお、本明細書中において、「非一過性」の記録媒体は、一過性の伝搬信号(transitory, propagating signal)を一時的に記憶する伝送線等の記録媒体を除く全てのコンピュータ読み取り可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。記憶部82は、制御部83の動作を規定するプログラムと、ノイズ音量と遅延時間との対応関係を示すノイズ関係情報と、を記憶する。ノイズ関係情報は、ノイズ音量と遅延時間とが互いに関連づけられているテーブルでもよいし、ノイズ音量を独立変数とし遅延時間を従属変数とする数式でもよい。
図3は、ノイズ関係情報が示すノイズ音量と遅延時間との対応関係の一例を示した図である。図3に示したノイズ関係情報では、ノイズ音量が大きいほど遅延時間が長くなる。遅延時間には上限値Tref(例えば50ms)が設定されている。遅延時間が長くなり、スピーカからの音が発話者の生声の次のモーラ(mora)と重なると、前後のモーラの区別ができなくなり、聴き取りが困難になる。上限値Trefは、その点を考慮して音声の認識が困難になる遅延時間よりも短い時間に設定する。なお、上限値Trefは、50msに限らず適宜変更可能である。
The
FIG. 3 is a diagram showing an example of the correspondence relationship between the noise volume and the delay time indicated by the noise-related information. In the noise-related information shown in FIG. 3, the larger the noise volume, the longer the delay time. An upper limit value Tref (for example, 50 ms) is set for the delay time. If the delay time becomes long and the sound from the speaker overlaps with the mora next to the speaker's live voice, the front and rear mora cannot be distinguished, making it difficult to hear. The upper limit value Tref is set to a time shorter than the delay time at which voice recognition becomes difficult in consideration of this point. The upper limit value Tref is not limited to 50 ms and can be changed as appropriate.
制御部83は、CPU(Central Processing Unit)等のコンピュータである。制御部83は、記憶部82に記憶されたプログラムを読み取り実行することによって例えば以下のように動作する。
制御部83は、出力信号M1〜M4に付加される遅延の時間を、車両Cの状態(例えば、車室R内のノイズ音量)に応じて制御する。例えば、制御部83は、マイク81の出力信号M8を用いて車室R内のノイズ音量を特定する。車室R内のノイズ音量は、車室R内での会話以外の音(例えば、車両Cの走行音および環境音)の音量である。制御部83は、記憶部82のノイズ関係情報を用いて、車室R内のノイズ音量に対応する遅延時間を決定する。制御部83は、音処理部31〜34で付加される遅延の時間を、ノイズ関係情報を用いて決定した遅延時間に設定する。
The
The
次に、動作を説明する。図4は、会話アシスト装置100の動作を説明するためのフローチャートである。
制御部83は、まず、車室R内のノイズ音量を特定する(ステップS1)。ステップS1では、制御部83は、出力信号M8から出力信号M1〜M4を差し引くことで、車室R内のノイズを示す音信号を抽出し、その音信号に基づいてノイズ音量を特定する。制御部83は、例えば、出力信号M1を音処理部31から受け取り、出力信号M2を音処理部32から受け取り、出力信号M3を音処理部33から受け取り、出力信号M4を音処理部34から受け取る。
Next, the operation will be described. FIG. 4 is a flowchart for explaining the operation of the conversation assist
The
続いて、制御部83は、出力信号M1〜M4に付加される遅延の時間を、車室R内のノイズ音量に応じて制御する(ステップS2)。ステップS2では、制御部83は、記憶部82のノイズ関係情報を用いて、車室R内のノイズ音量に対応する遅延時間を決定する。記憶部82のノイズ関係情報では、ノイズ音量が大きいほど遅延時間が長くなるため、制御部83は、車室R内のノイズ音量が大きいほど遅延時間を長くすることになる。続いて、制御部83は、決定した遅延時間を示す遅延時間情報を音処理部31〜34に出力する。音処理部31は、遅延時間情報に示された遅延時間を出力信号M1に付加して音信号A1を生成し、音処理部32は、該遅延時間を出力信号M2に付加して音信号A2を生成し、音処理部33は、該遅延時間を出力信号M3に付加して音信号A3を生成し、音処理部34は、該遅延時間を出力信号M4に付加して音信号A4を生成する。
Subsequently, the
続いて、供給部4は、音信号A1をスピーカ24に供給し、音信号A2をスピーカ23に供給し、音信号A3をスピーカ22に供給し、音信号A4をスピーカ21に供給する。スピーカ24は音信号A1に応じた音を出力し、スピーカ23は音信号A2に応じた音を出力し、スピーカ22は音信号A3に応じた音を出力し、スピーカ21は音信号A4に応じた音を出力する(ステップS3)。
Subsequently, the
本実施形態によれば、車室R内のノイズ音量に応じてマイクの出力信号の遅延時間が制御される。このため、受話者が発話者の発言を聞き取りやすく、かつ、受話者または発話者がスピーカからの音に違和感を覚え難くなるように、車室R内のノイズ音量に応じて遅延時間を制御することが可能になる。
例えば、車室Rでのノイズ音量が大きいほど遅延時間を長くすれば、発話者が発した音とスピーカが出力した音との両方が突発的な大音量のノイズ音と時間的に重なり難くなり、受話者が発話者の発言を聞き取りやすくなる。また、車室Rでのノイズ音量が小さいほど、発話者が発した音とスピーカからの音との時間差が短くなり、スピーカからの音について受話者もしくは発話者が違和感を覚え難くなる。
According to this embodiment, the delay time of the output signal of the microphone is controlled according to the noise volume in the vehicle interior R. Therefore, the delay time is controlled according to the noise volume in the passenger compartment R so that the speaker can easily hear the speaker's speech and the speaker or the speaker does not feel uncomfortable with the sound from the speaker. Will be possible.
For example, if the delay time is lengthened as the noise volume in the passenger compartment R is increased, both the sound emitted by the speaker and the sound output by the speaker are less likely to overlap with the sudden loud noise sound in time. , Makes it easier for the receiver to hear the speaker's remarks. Further, the smaller the noise volume in the passenger compartment R, the shorter the time difference between the sound emitted by the speaker and the sound from the speaker, and the speaker or the speaker is less likely to feel discomfort with respect to the sound from the speaker.
<第2実施形態>
車室Rでのノイズの音量は、車両Cの速度と強い相関があると考えられる。例えば、車両Cの速度が速くなるほど、車室Rでのノイズ音量が大きくなる傾向がある。そこで、本発明の第2実施形態は、車両Cの速度に応じて、マイクの出力信号についての遅延時間を制御する。
<Second Embodiment>
It is considered that the volume of noise in the passenger compartment R has a strong correlation with the speed of the vehicle C. For example, as the speed of the vehicle C increases, the noise volume in the vehicle interior R tends to increase. Therefore, in the second embodiment of the present invention, the delay time for the output signal of the microphone is controlled according to the speed of the vehicle C.
図5は、第2実施形態の会話アシスト装置100Aを示した図である。会話アシスト装置100Aは、記憶部82がノイズ関係情報の代わりに速度と遅延時間との対応関係を示す速度関係情報を記憶し、制御部83の代わりに制御部83aを有し、制御部83aが車両制御装置9から車両Cの速度を示す速度情報を受け取る点において、第1実施形態の会話アシスト装置100と相違する。また、第1実施形態で車室Rに存在していたマイク81が、第2実施形態では省略されている。以下、上述した相違点を中心に会話アシスト装置100Aについて説明する。
FIG. 5 is a diagram showing the conversation assist
車両制御装置9は、車両Cの状態(例えば、車両Cの速度)を制御し、また速度情報を制御部83aに出力する。
記憶部82は、図6に示したような速度関係情報を記憶する。速度関係情報は、速度と遅延時間とが互いに関連づけられているテーブルでもよいし、速度を独立変数とし遅延時間を従属変数とする数式でもよい。図6に示した速度関係情報では、速度が速いほど遅延時間が長くなる。遅延時間には上述した上限値Tref(例えば50ms)が設定されている。
制御部83aは、出力信号M1〜M4に付加される遅延の時間を、車両Cの速度に応じて制御する。具体的には、制御部83aは、記憶部82の速度関係情報を用いて、速度情報が示す速度に対応する遅延時間を決定する。記憶部82の速度関係情報では、速度が速いほど遅延時間が長くなるため、制御部83aは、車両Cの速度が速いほど遅延時間を長くする。続いて、制御部83aは、決定した遅延時間を示す遅延時間情報を音処理部31〜34に出力する。
The vehicle control device 9 controls the state of the vehicle C (for example, the speed of the vehicle C), and outputs speed information to the
The
The
本実施形態によれば、車室R内のノイズ音量との相関が強い車両Cの速度に応じてマイクの出力信号の遅延時間が制御される。このため、受話者が発話者の発言を聞き取りやすく、かつ、受話者または発話者がスピーカからの音に違和感を覚え難くなるように、車両Cの速度に応じて遅延時間を制御することが可能になる。
例えば、車両Cの速度が速いほど(つまり、車室Rでのノイズ音量が大きいほど)遅延時間を長くすれば、発話者が発した音とスピーカが出力した音との両方が突発的な大音量のノイズ音と時間的に重なり難くなり、受話者が発話者の発言を聞き取りやすくなる。また、車両Cの速度が遅いほど(つまり、車室Rでのノイズ音量が小さいほど)、発話者が発した音とスピーカからの音との時間差が短くなり、スピーカからの音について受話者もしくは発話者が違和感を覚え難くなる。
According to this embodiment, the delay time of the output signal of the microphone is controlled according to the speed of the vehicle C, which has a strong correlation with the noise volume in the vehicle interior R. Therefore, it is possible to control the delay time according to the speed of the vehicle C so that the speaker can easily hear the speaker's speech and the speaker or the speaker does not feel uncomfortable with the sound from the speaker. become.
For example, the faster the speed of vehicle C (that is, the louder the noise volume in the passenger compartment R), the longer the delay time, the suddenly large both the sound emitted by the speaker and the sound output by the speaker. It becomes difficult for the speaker to overlap with the noise sound of the volume in terms of time, and it becomes easier for the receiver to hear the speaker's remarks. Further, the slower the speed of the vehicle C (that is, the smaller the noise volume in the passenger compartment R), the shorter the time difference between the sound emitted by the speaker and the sound from the speaker, and the sound from the speaker becomes shorter. It becomes difficult for the speaker to feel a sense of discomfort.
<変形例>
以上の各実施態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は相矛盾しない限り適宜に併合され得る。
<Modification example>
Each of the above embodiments can be modified in various ways. A specific mode of modification is illustrated below. Two or more embodiments arbitrarily selected from the following examples can be appropriately merged as long as they do not conflict with each other.
<変形例1>
音信号A1を増幅する増幅部と、音信号A2を増幅する増幅部と、音信号A3を増幅する増幅部と、音信号A4を増幅する増幅部が追加されてもよい。なお、これらの増幅部を追加せずに、音処理部31が音信号A1を増幅し、音処理部32が音信号A2を増幅し、音処理部33が音信号A3を増幅し、音処理部34が音信号A4を増幅してもよい。
<Modification example 1>
An amplification unit that amplifies the sound signal A1, an amplification unit that amplifies the sound signal A2, an amplification unit that amplifies the sound signal A3, and an amplification unit that amplifies the sound signal A4 may be added. Without adding these amplification units, the
<変形例2>
ノイズ関係情報は適宜変更可能である。例えば、図7または図8に示すようなノイズ音量と遅延時間との関係を表すノイズ関係情報が用いられてもよい。図7に示すノイズ関係情報では、ノイズ音量が所定範囲Nrに含まれる場合、ノイズ音量が大きいほど遅延時間が長くなる。図8に示すノイズ関係情報では、ノイズ音量が大きくなるほど遅延時間が段階的に長くなる。
また、速度関係情報も適宜変更可能である。例えば、図9または図10に示すような速度と遅延時間との関係を表す速度関係情報が用いられてもよい。図9に示す速度関係情報では、速度が所定範囲Vrに含まれる場合、速度が速いほど遅延時間が長くなる。図10に示す速度関係情報では、速度が速くなるほど遅延時間が段階的に長くなる。
ここで、所定範囲NrおよびVrは車両Cごとに設定されてもよい。この場合、車両Cの音の伝達特性に応じてノイズ関係情報および速度関係情報を設定することができる。
また、図8および図10に示したように、ノイズ音量または速度に応じて遅延時間が段階的に変化する場合、ノイズ音量または速度に応じて遅延時間がリニアに変化する場合に比べて、遅延時間を変更する処理の頻度を少なくでき、処理の簡略化を図ることができる。
<Modification 2>
Noise-related information can be changed as appropriate. For example, noise-related information indicating the relationship between the noise volume and the delay time as shown in FIG. 7 or FIG. 8 may be used. In the noise-related information shown in FIG. 7, when the noise volume is included in the predetermined range Nr, the larger the noise volume, the longer the delay time. In the noise-related information shown in FIG. 8, the delay time increases stepwise as the noise volume increases.
In addition, the speed-related information can be changed as appropriate. For example, speed-related information indicating the relationship between the speed and the delay time as shown in FIG. 9 or FIG. 10 may be used. In the speed-related information shown in FIG. 9, when the speed is included in the predetermined range Vr, the higher the speed, the longer the delay time. In the speed-related information shown in FIG. 10, the higher the speed, the longer the delay time becomes stepwise.
Here, the predetermined ranges Nr and Vr may be set for each vehicle C. In this case, noise-related information and speed-related information can be set according to the sound transmission characteristics of the vehicle C.
Further, as shown in FIGS. 8 and 10, when the delay time changes stepwise according to the noise volume or speed, the delay time is delayed as compared with the case where the delay time changes linearly according to the noise volume or speed. The frequency of the process of changing the time can be reduced, and the process can be simplified.
<変形例3>
供給部4は、音信号A1〜A4の各々の供給先(スピーカ)を適宜変更してもよい。例えば、供給部4は、1つのスピーカに複数の音信号を供給してもよい。
<Modification example 3>
The
<変形例4>
座席51と座席53との間に1以上の座席が配置されてもよい。また、座席52と座席54との間に1以上の座席が配置されてもよい。また、座席53と座席54とが一体に形成されてもよい。また、座席53と座席54との間に1以上の座席が配置されてもよい。この場合、座席53と座席54との間の座席と、座席53と、座席54とが、一体に形成されてもよい。
<Modification example 4>
One or more seats may be arranged between the
<変形例5>
制御部83および83aの少なくとも一方は、音処理部31〜34を介さずに、マイク11から出力信号M1を受け取り、マイク12から出力信号M2を受け取り、マイク13から出力信号M3を受け取り、マイク14から出力信号M4を受け取ってもよい。
<Modification 5>
At least one of the
<変形例6>
制御部83および83aの少なくとも一方は、スピーカごとに遅延時間を変更してもよい。
<Modification 6>
At least one of the
<変形例7>
遅延時間の制御のオンオフを設定するための操作部(例えば、操作スイッチ)が設けられ、使用者がその操作部を操作して遅延時間の制御をオンに設定した場合に、制御部83および83aは遅延時間の制御を実行してもよい。
<Modification 7>
An operation unit (for example, an operation switch) for setting the on / off of the control of the delay time is provided, and when the user operates the operation unit to set the control of the delay time to on, the
<変形例8>
第1実施形態では、出力信号M8から出力信号M1〜M4を差し引くことで、車室R内のノイズ音量が特定されたが、それに代わり、出力信号M8をフィルターに通してノイズに相当する周波数の信号のみを取り出し、その周波数の信号に基づいて車室R内のノイズ音量が特定されてもよい。
<Modification 8>
In the first embodiment, the noise volume in the passenger compartment R is specified by subtracting the output signals M1 to M4 from the output signal M8, but instead, the output signal M8 is passed through a filter to have a frequency corresponding to the noise. Only the signal may be taken out, and the noise volume in the passenger compartment R may be specified based on the signal of the frequency.
<変形例9>
車室Rでのノイズの音量は、車両Cのエンジンの回転数および車両Cの空調機のファンの回転数と強い相関があると考えられる。例えば、車両Cのエンジンの回転数または車両Cの空調機のファンの回転数が大きくなるほど、車室Rでのノイズ音量が大きくなる傾向がある。そこで第2実施形態において、車両Cの状態として、車両Cの速度の代わりに、車両Cのエンジンの回転数または車両Cの空調機のファンの回転数が用いられてもよい。この場合、制御部83aは、車両制御装置9から車両Cのエンジンの回転数の情報または車両Cの空調機のファンの回転数の情報を受け取り、車両Cのエンジンの回転数が大きいほど、または車両Cの空調機のファンの回転数が大きいほど、遅延時間を長くする。この際、制御部83aは、車両Cのエンジンの回転数が大きいほど遅延時間が長くなることを示すエンジン回転数関係情報や、車両Cの空調機のファンの回転数が大きいほど遅延時間が長くなることを示すファン回転数関係情報を用いて、遅延時間を決定してもよい。
<Modification example 9>
It is considered that the volume of noise in the passenger compartment R has a strong correlation with the rotation speed of the engine of the vehicle C and the rotation speed of the fan of the air conditioner of the vehicle C. For example, as the rotation speed of the engine of the vehicle C or the rotation speed of the fan of the air conditioner of the vehicle C increases, the noise volume in the vehicle interior R tends to increase. Therefore, in the second embodiment, as the state of the vehicle C, the rotation speed of the engine of the vehicle C or the rotation speed of the fan of the air conditioner of the vehicle C may be used instead of the speed of the vehicle C. In this case, the
<各実施形態および各変形例の少なくとも1つから把握される態様>
上述した各実施形態および各変形例の少なくとも1つから以下の態様が把握される。
本発明の会話アシスト装置の一態様は、車室内のマイクが集音した音を遅延させて前記車室内のスピーカにて放音させる音処理部と、前記車室を有する車両の状態に応じて、前記遅延の時間を制御する制御部と、を含むことを特徴とする。
この態様によれば、受話者が発話者の発言を聞き取りやすくなるように、車両の状態に応じて遅延時間を制御することが可能になる。このため、車両の状態に関わらず遅延時間が一定である場合に比べて、受話者が発話者の発言を聞き取りやすくできる。
例えば、車両の状態に応じてノイズ音量が大きくなる場合に遅延時間を長くすれば、発話者が発した音とスピーカからの音との両方が大音量のノイズ音と時間的に重なり難くなり、受話者が発話者の発言を聞き取りやすくなる。また、車両の状態に応じてノイズ音量が小さくなる場合に遅延時間を短くすれば、発話者が発した音とスピーカからの音との時間差が短くなり、スピーカからの音について受話者もしくは発話者が違和感を覚え難くなる。
<Aspects grasped from at least one of each embodiment and each modification>
The following aspects are grasped from at least one of each of the above-described embodiments and modifications.
One aspect of the conversation assist device of the present invention depends on the state of the sound processing unit that delays the sound collected by the microphone in the vehicle interior and emits the sound by the speaker in the vehicle interior, and the state of the vehicle having the vehicle interior. , A control unit that controls the delay time, and the like.
According to this aspect, it is possible to control the delay time according to the state of the vehicle so that the receiver can easily hear the speaker's speech. Therefore, the receiver can easily hear the speaker's remarks as compared with the case where the delay time is constant regardless of the state of the vehicle.
For example, if the delay time is lengthened when the noise volume increases according to the state of the vehicle, both the sound emitted by the speaker and the sound from the speaker are less likely to overlap with the loud noise sound in time. It makes it easier for the receiver to hear the speaker's remarks. In addition, if the delay time is shortened when the noise volume decreases according to the state of the vehicle, the time difference between the sound emitted by the speaker and the sound from the speaker becomes shorter, and the speaker or speaker regarding the sound from the speaker. However, it becomes difficult to feel a sense of discomfort.
上述した会話アシスト装置の一態様において、前記車両の状態は、前記車室内のノイズ音量であることが望ましい。この態様によれば、受話者が発話者の発言を聞き取りやすくなるように、車室内のノイズ音量に応じて遅延時間を制御することが可能になる。 In one aspect of the conversation assist device described above, it is desirable that the state of the vehicle is a noise volume in the vehicle interior. According to this aspect, it is possible to control the delay time according to the noise volume in the vehicle interior so that the receiver can easily hear the speaker's speech.
上述した会話アシスト装置の一態様において、前記制御部は、前記ノイズ音量が上がると前記遅延の時間を長くすることが望ましい。この態様によれば、発話者が発した音とスピーカが出力した音との両方が突発的な大音量のノイズ音と時間的に重なり難くなり、受話者が発話者の発言を聞き取りやすくなる。また、車室でのノイズ音量が小さいとき、発話者が発した音とスピーカからの音との時間差が短くなり、スピーカからの音について受話者もしくは発話者が違和感を覚え難くなる。 In one aspect of the conversation assist device described above, it is desirable that the control unit prolongs the delay time as the noise volume increases. According to this aspect, both the sound emitted by the speaker and the sound output by the speaker are less likely to overlap with the sudden loud noise sound in time, and the speaker can easily hear the speaker's speech. Further, when the noise volume in the passenger compartment is low, the time difference between the sound emitted by the speaker and the sound from the speaker becomes short, and the speaker or the speaker does not feel uncomfortable with the sound from the speaker.
上述した会話アシスト装置の一態様において、前記車両の状態は、前記車両の速度であることが望ましい。車両Cの速度は、車室R内のノイズ音量と強い相関を持つことが知られている。この態様によれば、受話者が発話者の発言を聞き取りやすくなるように、車室内のノイズ音量に応じて、つまり車室内のノイズ音量に応じて、遅延時間を制御することが可能になる。 In one aspect of the conversation assist device described above, it is desirable that the state of the vehicle is the speed of the vehicle. It is known that the speed of the vehicle C has a strong correlation with the noise volume in the vehicle interior R. According to this aspect, it is possible to control the delay time according to the noise volume in the vehicle interior, that is, according to the noise volume in the vehicle interior so that the receiver can easily hear the speaker's speech.
上述した会話アシスト装置の一態様において、前記制御部は、前記車両の速度が速くなると前記遅延の時間を長くすることが望ましい。車両の速度が速くなるほど、車室でのノイズ音量が大きくなる傾向がある。この態様によれば、車両の速度が速くなると遅延の時間が長くなるので、発話者が発した音とスピーカが出力した音との両方が突発的な大音量のノイズ音と時間的に重なり難くなり、受話者が発話者の発言を聞き取りやすくなる。また、車両Cの速度が遅いときは、発話者が発した音とスピーカからの音との時間差が短くなり、スピーカからの音について受話者もしくは発話者が違和感を覚え難くなる。 In one aspect of the conversation assist device described above, it is desirable that the control unit increase the delay time as the speed of the vehicle increases. The faster the vehicle speed, the louder the noise volume in the passenger compartment tends to be. According to this aspect, as the speed of the vehicle increases, the delay time increases, so that both the sound emitted by the speaker and the sound output by the speaker are unlikely to overlap with the sudden loud noise sound in time. This makes it easier for the receiver to hear the speaker's remarks. Further, when the speed of the vehicle C is slow, the time difference between the sound emitted by the speaker and the sound from the speaker becomes short, and the speaker or the speaker does not feel uncomfortable with the sound from the speaker.
上述した会話アシスト装置の一態様において、前記マイクは、矩形に配置された4つの座席のいずれかに対して配置されており、前記スピーカは複数あり、前記4つの座席のうち前記マイクが配置された座席と対角の位置にある対角座席を含む複数の座席に対して配置されており、前記マイクが集音した音を前記対角位置の座席に対して配置されているスピーカに供給する供給部をさらに含むことが望ましい。この態様によれば、マイクの集音した音が、該マイクの配置された座席からの距離が最も長い座席のスピーカから放音される。このため、会話中におけるハウリングの発生を低減することが可能になる。さらに、この態様によれば、マイクとスピーカとの間に座席が位置する。このため、スピーカが出力する音のうち、座席に到達した音(音波)は座席によって吸収されやすくなる。よって、ハウリングの発生を低減することが可能になる。 In one aspect of the conversation assist device described above, the microphone is arranged for any of four seats arranged in a rectangular shape, there are a plurality of the speakers, and the microphone is arranged among the four seats. It is arranged for a plurality of seats including a diagonal seat diagonally to the seat, and supplies the sound collected by the microphone to a speaker arranged for the diagonal seat. It is desirable to include the supply section further. According to this aspect, the sound collected by the microphone is emitted from the speaker of the seat having the longest distance from the seat where the microphone is arranged. Therefore, it is possible to reduce the occurrence of howling during conversation. Further, according to this aspect, the seat is located between the microphone and the speaker. Therefore, among the sounds output by the speaker, the sound (sound wave) that reaches the seat is easily absorbed by the seat. Therefore, it is possible to reduce the occurrence of howling.
100…会話アシスト装置、11〜14および81…マイク、21〜24…スピーカ、31〜34…音処理部、82…記憶部、83…制御部。
100 ... Conversation assist device, 11-14 and 81 ... Microphone, 21-24 ... Speaker, 31-34 ... Sound processing unit, 82 ... Storage unit, 83 ... Control unit.
Claims (3)
前記車室を有する車両の状態に応じて、前記遅延の時間を制御する制御部と、を含み、
前記制御部は、前記車室内のノイズ音量が上がると前記遅延の時間を長くする、
ことを特徴とする会話アシスト装置。 A sound processing unit that delays the sound collected by the microphone in the vehicle interior and emits it from the speaker in the vehicle interior.
A control unit that controls the delay time according to the state of the vehicle having the passenger compartment is included.
The control unit prolongs the delay time when the noise volume in the vehicle interior increases.
Kai story assist device characterized in that.
前記車室を有する車両の状態に応じて、前記遅延の時間を制御する制御部と、を含み、
前記制御部は、前記車両の速度が速くなると前記遅延の時間を長くする、
ことを特徴とする会話アシスト装置。 A sound processing unit that delays the sound collected by the microphone in the vehicle interior and emits it from the speaker in the vehicle interior.
A control unit that controls the delay time according to the state of the vehicle having the passenger compartment is included.
The control unit increases the delay time as the speed of the vehicle increases .
Kai story assist device characterized in that.
前記スピーカは複数あり、前記4つの座席のうち前記マイクが配置された座席と対角の位置にある対角座席を含む複数の座席に対して配置されており、
前記マイクが集音した音を前記対角位置の座席に対して配置されているスピーカに供給する供給部をさらに含むことを特徴とする請求項1または2に記載の会話アシスト装置。 The microphone is arranged for any of the four seats arranged in a rectangle.
There are a plurality of the speakers, and the speakers are arranged for a plurality of seats including the diagonal seats which are diagonal to the seat where the microphone is arranged among the four seats.
The conversation assist device according to claim 1 or 2 , further comprising a supply unit that supplies the sound collected by the microphone to a speaker arranged with respect to the seat at the diagonal position.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016231609A JP6862797B2 (en) | 2016-11-29 | 2016-11-29 | Conversation assist device |
PCT/JP2017/034010 WO2018061956A1 (en) | 2016-09-30 | 2017-09-21 | Conversation assist apparatus and conversation assist method |
CN201780057957.1A CN109983782B (en) | 2016-09-30 | 2017-09-21 | Conversation assistance device and conversation assistance method |
US16/367,930 US10812901B2 (en) | 2016-09-30 | 2019-03-28 | Conversation assist apparatus and conversation assist method |
US16/895,551 US10932042B2 (en) | 2016-09-30 | 2020-06-08 | Conversation assist apparatus and conversation assist method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016231609A JP6862797B2 (en) | 2016-11-29 | 2016-11-29 | Conversation assist device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018088641A JP2018088641A (en) | 2018-06-07 |
JP6862797B2 true JP6862797B2 (en) | 2021-04-21 |
Family
ID=62494630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016231609A Active JP6862797B2 (en) | 2016-09-30 | 2016-11-29 | Conversation assist device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6862797B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2964457T3 (en) * | 2018-08-02 | 2024-04-08 | Nippon Telegraph & Telephone | Sound collection device/speaker, corresponding method and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3073368B2 (en) * | 1993-07-06 | 2000-08-07 | 株式会社ケンウッド | In-car audio equipment |
JP2008042390A (en) * | 2006-08-03 | 2008-02-21 | National Univ Corp Shizuoka Univ | In-vehicle conversation support system |
-
2016
- 2016-11-29 JP JP2016231609A patent/JP6862797B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018088641A (en) | 2018-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9959859B2 (en) | Active noise-control system with source-separated reference signal | |
US10932042B2 (en) | Conversation assist apparatus and conversation assist method | |
EP2850611B1 (en) | Noise dependent signal processing for in-car communication systems with multiple acoustic zones | |
JP7049803B2 (en) | In-vehicle device and audio output method | |
JP2020044879A (en) | Sound input/output device of vehicle | |
JP2007208828A (en) | Vehicular audio input controller | |
US10440493B2 (en) | Audible prompts in a vehicle navigation system | |
JP6862797B2 (en) | Conversation assist device | |
WO2020003819A1 (en) | Audio signal processing device, moving device, method, and program | |
JP6791110B2 (en) | Vehicle audio system | |
JP2010141468A (en) | Onboard acoustic apparatus | |
JP4363276B2 (en) | Sound field control device | |
JP6872710B2 (en) | Directivity control device and directivity control method | |
JP6862871B2 (en) | In-vehicle sound processing device | |
WO2017203688A1 (en) | Vehicle-mounted audio power consumption suppression apparatus and vehicle-mounted audio apparatus | |
JP6753252B2 (en) | Conversation assist device | |
JP6995254B2 (en) | Sound field control device and sound field control method | |
JP6551106B2 (en) | Control device | |
JP6880893B2 (en) | Sound signal processing device | |
JP2020198617A (en) | Conversation assist apparatus | |
JP7474548B2 (en) | Controlling the playback of audio data | |
US11510004B1 (en) | Targeted directional acoustic response | |
JP2013131957A (en) | Acoustic reproduction apparatus | |
JP2018194629A (en) | Voice controller and voice control method | |
JP6733705B2 (en) | Vehicle information providing device and vehicle information providing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210315 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6862797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |