JP2019068237A - Conversation support device, conversation support system, and conversation support method - Google Patents
Conversation support device, conversation support system, and conversation support method Download PDFInfo
- Publication number
- JP2019068237A JP2019068237A JP2017191322A JP2017191322A JP2019068237A JP 2019068237 A JP2019068237 A JP 2019068237A JP 2017191322 A JP2017191322 A JP 2017191322A JP 2017191322 A JP2017191322 A JP 2017191322A JP 2019068237 A JP2019068237 A JP 2019068237A
- Authority
- JP
- Japan
- Prior art keywords
- conversation
- output
- conversation support
- speech
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、会話支援装置、会話支援システムおよび会話支援方法に関する。 The present invention relates to a conversation support device, a conversation support system, and a conversation support method.
従来、車内の会話を支援する会話支援装置が提案されている。かかる会話支援装置では、運転席近傍に設けられたマイクで集音した運転者の会話を、同乗者近傍のスピーカから出力する(例えば、特許文献１参照)。 Conventionally, a conversation support device has been proposed which supports conversation in a car. In the conversation support device, the conversation of the driver collected by the microphone provided in the vicinity of the driver's seat is output from the speaker in the vicinity of the passenger (see, for example, Patent Document 1).
しかしながら、従来技術では、運転者の会話が一方的に同乗者近傍のスピーカから出力されるに過ぎず、車内のコミュニケーションの円滑化を図るうえで改善の余地があった。 However, in the prior art, the driver's conversation is only output unilaterally from the speakers near the passenger, and there is room for improvement in facilitating communication in the vehicle.
本発明は、上記に鑑みてなされたものであって、車内のコミュニケーションの円滑化を図ることができる会話支援装置、会話支援システムおよび会話支援方法を提供することを目的とする。 The present invention has been made in view of the above, and it is an object of the present invention to provide a conversation support device, a conversation support system and a conversation support method capable of facilitating communication in a vehicle.
上述した課題を解決し、目的を達成するために、実施形態に係る会話支援装置は、特定部と、出力部とを備える。特定部は、車内の乗員から会話の参加者を特定する。出力部は、前記乗員毎に配置されたスピーカおよびマイクのうち、前記特定部によって特定された前記参加者のマイクで集音した発話音声を異なる参加者のスピーカから相互に出力する。 In order to solve the problems described above and achieve the purpose, the conversation assistance device according to the embodiment includes a specifying unit and an output unit. The identification unit identifies a participant in a conversation from the occupant in the car. The output unit mutually outputs, from the speakers of different participants, the speech sounds collected by the microphones of the participants specified by the identification unit among the speakers and the microphones arranged for each passenger.
本発明によれば、車内のコミュニケーションの円滑化を図ることができる。 According to the present invention, communication in the vehicle can be facilitated.
以下、添付図面を参照して、実施形態に係る会話支援装置、会話支援システムおよび会話支援方法について詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 A conversation support apparatus, a conversation support system, and a conversation support method according to an embodiment will be described in detail below with reference to the attached drawings. Note that the present invention is not limited by the embodiments described below.
まず、図１を用いて実施形態に係る会話支援システムの概要について説明する。図１は、会話支援システムの概要を示す図である。図１に示すように、会話支援システム１００は、車両Ｃに搭載され、車内の乗員の会話を支援するものである。
First, an overview of the conversation support system according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an overview of a conversation support system. As shown in FIG. 1, the
会話支援システム１００は、会話支援装置１と、複数のスピーカＳｐ１〜６および複数のマイクＭｃ１〜６を備える。複数のスピーカＳｐ１〜６および複数のマイクＭｃ１〜６は、車両Ｃの座席毎に配置される。言い換えれば、複数のスピーカＳｐ１〜６および複数のマイクＭｃ１〜６は、車両Ｃの乗員毎に配置される。
The
ここで、従来技術では、運転席に設けられたマイクで集音した音声を運転席以外のスピーカから出力していた。つまり、従来技術では、運転者の発話音声を運転者以外の乗員に通知するものであった。 Here, in the prior art, the sound collected by the microphone provided in the driver's seat is output from the speakers other than the driver's seat. That is, in the prior art, the driver's uttered voice is notified to the occupants other than the driver.
しかしながら、通常、複数の乗員による双方向の発話によって会話が成立するものである。このため、従来技術では、車内のコミュニケーションの円滑化を図るうえで改善の余地があった。すなわち、従来技術では、運転者の発話音声が他の乗員に通知されるものの、他の乗員の発話音声が運転者に通知されないため、他の乗員の発話音声を運転者が聞き取れない場合があった。 However, usually, a conversation is established by two-way speech by a plurality of crew members. Therefore, in the prior art, there is room for improvement in facilitating communication in the vehicle. That is, in the prior art, although the driver's uttered voice is notified to the other occupants, the driver may not be able to hear the uttered voices of the other occupants because the uttered voices of the other occupants are not notified to the driver. The
そこで、実施形態に係る会話支援方法では、車両Ｃの乗員の会話を双方向に出力することとした。具体的には、図１に示すように、まず、実施形態に係る会話支援方法では、乗員のうち、会話の参加者を特定する（ステップＳ１）。 Therefore, in the conversation support method according to the embodiment, the conversation of the occupant of the vehicle C is bi-directionally output. Specifically, as shown in FIG. 1, first, in the conversation support method according to the embodiment, a participant in a conversation is specified among the crew (step S1).
実施形態に係る会話支援方法では、例えば、乗員毎（スピーカＳｐ１〜６およびマイクＭｃ１〜６）に割り当てられた番号に対応する発話音声をマイクＭｃを介して取得した場合、発話者とかかる番号の乗員とを会話の参加者として特定することができる。 In the conversation support method according to the embodiment, for example, when a speech corresponding to a number assigned to each passenger (speakers Sp1 to 6 and microphones Mc1 to 6) is acquired via the microphone Mc, the speaker and the number are An occupant can be identified as a participant in a conversation.
そして、実施形態に係る会話支援方法では、特定した参加者のマイクＭｃで集音した発話音声を他の参加者のスピーカＳｐから相互に出力する（ステップＳ２）。つまり、実施形態に係る会話支援方法では、参加者の発話音声を双方向に通知する。 Then, in the conversation support method according to the embodiment, the utterance voice collected by the microphone Mc of the identified participant is mutually output from the speakers Sp of the other participants (step S2). That is, in the conversation support method according to the embodiment, the uttered voice of the participant is notified bi-directionally.
図１に示す例では、運転者と、運転席最後方の乗員とが参加者である場合について示している。かかる場合、運転者のマイクＭｃ１で集音した発話音声をかかる乗員のスピーカＳｐ５から出力し、また、かかる乗員のマイクＭｃ５で集音した発話音声を運転者のスピーカＳｐ１から出力する。 The example shown in FIG. 1 shows the case where the driver and the occupant at the rear of the driver's seat are participants. In such a case, the speech voice collected by the driver's microphone Mc1 is output from the speaker Sp5 of the occupant, and the speech voice collected by the driver's microphone Mc5 is output from the driver's speaker Sp1.
このように、実施形態に係る会話支援方法では、参加者のマイクＭｃで集音した発話音声を異なる参加者のスピーカＳｐから相互に出力することで、車内のコミュニケーションの円滑化を図ることができる。 As described above, in the conversation support method according to the embodiment, the communication in the vehicle can be facilitated by mutually outputting the speech voice collected by the microphone Mc of the participant from the speakers Sp of the different participants. .
次に、図２を用いて実施形態に係る会話支援システム１００の構成について説明する。図２は、会話支援システム１００のブロック図である。図２に示すように、会話支援システム１００は、会話支援装置１、マイクＭｃおよびスピーカＳｐに加えて、カメラＣｍ、端末装置Ｔおよび音響出力装置Ａｄをさらに備える。
Next, the configuration of the
カメラＣｍは、例えば、車両Ｃの内部に設けられ、車内の乗員を撮像する車内カメラである。なお、カメラＣｍは、座席毎に設けられることにしてもよいし、あるいは、バックミラーなどの車内全体が見渡せる位置に１つ設けられることにしてもよい。また、カメラＣｍによって撮像された撮像画像は、会話支援装置１へ出力される。
The camera Cm is, for example, an in-vehicle camera provided inside the vehicle C and imaging an occupant in the vehicle. The camera Cm may be provided for each seat, or one camera Cm may be provided at a position where the entire interior of the vehicle such as a rearview mirror can be viewed. Further, the captured image captured by the camera Cm is output to the
端末装置Ｔは、車両Ｃの乗員が所有するスマートフォンやタブレット端末であり、会話支援装置１と有線または無線ネットワークを介して接続される。マイクＭｃは、上述したように、車両Ｃの座席毎に配置され、各乗員の発話音声を集音し、会話支援装置１へ出力する。なお、車両Ｃによっては、座席毎にマイクＭｃが配置されていない場合がある。このため、マイクＭｃを端末装置Ｔが兼ねることにしてもよい。
The terminal device T is a smartphone or a tablet terminal owned by an occupant of the vehicle C, and is connected to the
つまり、会話支援システム１００では、端末装置Ｔが備えるマイクでマイクＭｃを代用することができる。これにより、座席毎にマイクＭｃを新たに設置しなくて済むため、会話支援システム１００のコストを抑えることが可能となる。
That is, in the
音響出力装置Ａｄは、オーディオプレーヤや、ラジオ、テレビ再生機能を備えた装置である。音響出力装置Ａｄによって再生された音響（以下、再生音声とも記載する）は、会話支援装置１を介してスピーカＳｐから出力される。なお、音響出力装置Ａｄは、端末装置Ｔであってもよい。すなわち、会話支援装置１は、音響出力装置Ａｄに代えて端末装置Ｔから入力される再生音声をスピーカＳｐから出力することも可能である。
The sound output device Ad is a device having an audio player, a radio, and a television reproduction function. The sound reproduced by the sound output device Ad (hereinafter also referred to as reproduced sound) is output from the speaker Sp via the
会話支援装置１は、制御部２と、記憶部３とを備える。制御部２は、認証部２１と、特定部２２と、出力部２３とを備える。また、制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
The
コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の認証部２１、特定部２２および出力部２３として機能する。
The CPU of the computer functions as an
制御部２の認証部２１、特定部２２および出力部２３の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。
At least one or all of the
また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、座席情報３１およびキーワード情報３２や各種プログラムを記憶することができる。なお、会話支援装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
The storage unit 3 corresponds to, for example, a RAM or an HDD. The RAM and the HDD can store the
制御部２の認証部２１は、カメラＣｍから入力される撮像画像に基づいて車両Ｃの乗員を認証するとともに、各乗員の座席を検出する。認証部２１は、各乗員の座席を検出すると、記憶部３の座席情報３１を更新する。ここで、座席情報３１は、乗員とかかる乗員の座席とに関する情報である。なお、認証部２１は、既存の顔認証技術に基づいて撮像画像から各乗員を認証することができる。
The
また、認証部２１は、例えば、座席毎に設けられたシートベルトの使用状況に基づいて各座席の着座状況を判別することもできる。認証部２１は、シートベルト使用中の座席には乗員が着座しており、シートベルト未使用中の座席を空席として判別することもできる。
The
特定部２２は、車両Ｃの乗員から会話の参加者を特定する。特定部２２は、各マイクＭｃで集音された発話音声に基づき、会話の参加者を特定する。具体的には、会話支援システム１００では、会話相手として呼び出すためのキーワードが乗員毎に設定される。
The identifying unit 22 identifies a participant of the conversation from the occupant of the vehicle C. The identifying unit 22 identifies a participant of the conversation based on the speech sound collected by each of the microphones Mc. Specifically, in the
かかるキーワードに関する情報は、記憶部３にキーワード情報３２として記憶される。ここで、図３を用いてキーワード情報３２について説明する。図３は、キーワード情報３２の具体例を示す図である。 Information on the keyword is stored as keyword information 32 in the storage unit 3. Here, the keyword information 32 will be described with reference to FIG. FIG. 3 is a diagram showing a specific example of the keyword information 32. As shown in FIG.
なお、図３では、Ａさんの座席が運転席であり、Ａさん〜Ｅさんが各座席にそれぞれ着座している状況を示す。すなわち、認証部２１によってＡさん〜Ｅさんが各座席の乗員として認証された場合を示す。
In addition, in FIG. 3, the seat of Mr. A is a driver's seat, and the situation where Mr. A-Mr. E are seated on each seat is shown. That is, the case where Mr. A-Mr. E are authenticated as a passenger of each seat by
図３に示すように、Ａさん〜Ｅさんには、キーワードがそれぞれ割り当てられている。特定部２２は、マイクＭｃから入力される発話音声を解析し、かかるキーワードを検出した場合に、発話者とかかるキーワードに対応する乗員とを会話の参加者として特定する。 As shown in FIG. 3, keywords are respectively assigned to Mr. A to Mr. E. The identifying unit 22 analyzes the speech voice input from the microphone Mc, and when the keyword is detected, identifies the speaker and the occupant corresponding to the keyword as participants in the conversation.
特定部２２は、参加者を特定すると、かかる参加者の座席に関する情報を出力部２３へ通知する。また、特定部２２は、その後の参加者の発話内容についても出力部２３へ出力する。 When the identifying unit 22 identifies the participant, the identifying unit 22 notifies the output unit 23 of information on the seat of the participant. In addition, the identification unit 22 also outputs the content of the utterance of the participant thereafter to the output unit 23.
また、図３に示すように、各乗員のキーワードは、各乗員の名前や、ニックネームである。なお、会話相手によって各乗員の呼び名が異なる。そのため、上記のキーワードは、会話相手によって適宜変更することにしてもよい。すなわち、Ａさんに対してＢさんとＣさんとでは、異なるキーワードを適用することができる。なお、キーワードは、座席ごとに固有の名称であってもよい。 Moreover, as shown in FIG. 3, the keyword of each passenger | crew is a name of each passenger | crew, and a nickname. The name of each passenger varies depending on the other party. Therefore, the above keywords may be appropriately changed depending on the conversation partner. That is, different keywords can be applied between Mr. A and Mr. B and Mr. C. The keyword may be a unique name for each seat.
図２の説明に戻り、出力部２３について説明する。出力部２３は、特定部２２によって特定された参加者のマイクＭｃで集音された発話音声を異なる参加者のスピーカＳｐから相互に出力する。また、出力部２３は、音響出力装置Ａｄから入力される再生音声をスピーカＳｐから出力する。出力部２３の処理の詳細については図４〜図６を用いて後述する。 Referring back to FIG. 2, the output unit 23 will be described. The output unit 23 mutually outputs the speech voice collected by the microphone Mc of the participant identified by the identification unit 22 from the speakers Sp of different participants. Further, the output unit 23 outputs, from the speaker Sp, the reproduction sound input from the sound output device Ad. Details of the processing of the output unit 23 will be described later with reference to FIGS. 4 to 6.
スピーカＳｐは、各座席に設けられ、出力部２３から出力する音声をそれぞれ出力する。スピーカＳｐは、例えば、パラメトリックスピーカなどの狭指向性スピーカであり、特定の狭い範囲に対して音声をそれぞれ出力することができる。 The speaker Sp is provided at each seat, and outputs the sound output from the output unit 23. The speaker Sp is, for example, a narrow directional speaker such as a parametric speaker, and can output audio to a specific narrow range.
つまり、各スピーカＳｐは、各乗員に対してのみ音声を選択的に出力することができる。なお、スピーカＳｐを各乗員の端末装置Ｔが備えるスピーカで代用することにしてもよいし、各スピーカＳｐからヘッドフォンを介して音声を出力するようにしてもよい。 That is, each speaker Sp can selectively output a voice only to each passenger. Note that the speaker Sp may be substituted by a speaker included in the terminal device T of each passenger, or sound may be output from each speaker Sp via a headphone.
次に、図４〜図６を用いて、出力部２３による処理の具体例について説明する。図４〜図６は、出力部２３による処理の具体例を示す図である。なお、図４では、特定部２２によってＡさんとＥさんとが会話の参加者として特定された場面について説明する。 Next, a specific example of the process by the output unit 23 will be described with reference to FIGS. 4 to 6. 4 to 6 are diagrams showing specific examples of the process performed by the output unit 23. In addition, in FIG. 4, the scene where Mr. A and Mr. E were specified as a participant of conversation by specific part 22 is explained.
図４に示すように、出力部２３は、ＡさんのマイクＭｃ１で取得された発話音声をＥさんのスピーカＳｐ５から出力し、ＥさんのマイクＭｃ５で取得された発話音声をＡさんのスピーカＳｐ１から出力する。 As shown in FIG. 4, the output unit 23 outputs the speech voice acquired by Mr. A's microphone Mc1 from Mr. E's speaker Sp5, and the speech voice acquired by Mr. E's microphone is a speaker Sp1 of Mr. A's. Output from
このとき、出力部２３は、会話の参加者ではないＢ〜ＤさんのスピーカＳｐ２〜Ｓｐ４からは音響出力装置Ａｄ（図２参照）から入力される再生音声を出力する。これにより、会話の参加者に対して会話を支援しつつ、参加者以外に対しては会話以外の自由な時間を提供することが可能となる。言い換えれば、乗員がそれぞれ所望する行動をとることができ、乗員それぞれに対して快適な車内空間を提供することが可能となる。 At this time, the output unit 23 outputs the reproduced voice input from the sound output device Ad (see FIG. 2) from the speakers Sp2 to Sp4 of Mr. B to D who are not participants of the conversation. As a result, it is possible to provide a free time other than the conversation to the participants other than the participant while supporting the conversation to the participant of the conversation. In other words, it is possible for the occupants to take their desired actions, and to provide a comfortable in-vehicle space for each occupant.
また、出力部２３は、乗員が搭乗していない席に設けられたスピーカＳｐ６およびマイクＭｃ６をオフにして、上述の処理を行う。これにより、スピーカＳｐ６およびマイクＭｃ６の分だけ消費電力を抑えることができる。 In addition, the output unit 23 performs the above-described process by turning off the speaker Sp6 and the microphone Mc6 provided in the seat where the passenger is not boarded. As a result, the power consumption can be reduced by the amount of the speaker Sp6 and the microphone Mc6.
なお、上述の例では、参加者が２人（ＡさんおよびＥさん）である場合について説明したが、参加者は、３人以上であってもよい。また、上述の例では、会話のグループが１組である場合について説明したが、かかるグループについても２組以上であってもよい。 In the above-mentioned example, although the case where two participants (Mr. A and Mr. E) were present was described, the participants may be three or more. In the above-mentioned example, although the case where a group of conversation was one set was explained, two or more sets may be sufficient also about this group.
すなわち、ＡさんとＥさんとが会話している間に、ＢさんとＣさんとが別のグループとして会話することも可能である。かかる場合に、各グループ間での会話の阻害を抑制することができる。つまり、車両Ｃという限られた空間で、２組以上のグループで会話をそれぞれ楽しむことが可能となる。 That is, it is possible for Mr. B and Mr. C to talk as another group while Mr. A and Mr. E are talking. In such a case, it is possible to suppress the inhibition of conversation between each group. That is, it is possible to enjoy conversation in two or more groups in a limited space of vehicle C.
ところで、出力部２３は、参加者のスピーカＳｐから出力する発話音声に音響出力装置Ａｄの再生音声を重畳させて出力し、マイクＭｃの発話音声に応じて音響出力装置Ａｄの再生音声の音量を調整することができる。具体的には、図５に示すように、出力部２３は、例えば、第１可変抵抗２３ａ、第２可変抵抗２３ｂ、増幅器２３ｃおよび加算器２３ｄを備える。
By the way, the output unit 23 superimposes and outputs the reproduction voice of the sound output device Ad on the speech sound output from the speaker Sp of the participant and outputs the volume of the reproduction sound of the sound output device Ad according to the speech sound of the microphone Mc. It can be adjusted. Specifically, as shown in FIG. 5, the output unit 23 includes, for example, a first
第１可変抵抗２３ａの抵抗値は、音響出力装置Ａｄの音量によって制御され、例えば、音響出力装置Ａｄの音量が大きくなると抵抗値が小さくなる。すなわち、スピーカＳから出力されるマイクＭｃの発話音声の音量は、音響出力装置Ａｄの音量に連動して調整される。具体的には、音響出力装置Ａｄの音量が大きくなると、かかる音量の変化に連動し、発話音声の音量も大きくなる。
The resistance value of the first
これにより、音声出力装置Ａｄの音量が大きくなったとしても、発話音声の音量も大きくなるので、発話音声が音響出力装置Ａｄの再生音声によって聞き取りにくくなるのを抑制することが可能となる。 As a result, even if the volume of the voice output device Ad increases, the volume of the uttered voice also increases, so it becomes possible to suppress that the uttered voice is difficult to hear by the reproduced voice of the sound output device Ad.
また、第２可変抵抗２３ｂの抵抗値は、図示しない操作部に対するユーザ操作によって制御される。すなわち、仮に、発話音声が聞き取りにくい場合には、ユーザ自身で発話音声の音量を調整することも可能である。
Further, the resistance value of the second
つまり、マイクＭｃの発話音声は、音響出力装置Ａｄの音量にも依存し、かつ、各々のマイクＭｃで個別に設定することが可能である。 That is, the speech voice of the microphone Mc depends on the volume of the sound output device Ad, and can be set individually for each microphone Mc.
マイクＭｃから入力される発話音声は、第１可変抵抗２３ａおよび第２可変抵抗２３ｂによってそれぞれ音量が調整された後に、増幅器２３ｃを介して増幅される。そして、加算器２３ｄで音響出力装置Ａｄの再生音声に加算された後に、各スピーカＳｐへ出力される。
The speech sound input from the microphone Mc is amplified through the
ところで、会話支援システム１００では、参加者の発話音声を異なる参加者のスピーカＳｐから敢えて出力せず、参加者間の会話に敢えて介在しないようにすることもできる。
By the way, in the
これは、実際の発話音声の音量が大きい場合、かかる発話音声が直接参加者に聞こえる場合があるためである。かかる場合に、参加者には、実際の発話音声とスピーカＳｐからの発話音声とが２重に聞こえることとなる。 This is because when the volume of the actual uttered voice is large, such uttered voice may be heard directly by the participant. In this case, the participant can hear the actual speech sound and the speech sound from the speaker Sp doubly.
かかる場合に、敢えてスピーカＳｐから発話音声を出力せずとも、会話に支障をきたさないためである。また、スピーカＳｐから出力する発話音声が会話支援装置１の内部処理によって遅延が生じる場合、実際の発話音声から遅れてスピーカＳｐから発話音声が出力される場合がある。この場合、ユーザには、同じ音声が時間的にずれて聞こえるため、かえって会話を阻害しかねない。
In such a case, the conversation is not disturbed even if the uttered voice is not output from the speaker Sp. Further, when a delay occurs in the speech voice output from the speaker Sp due to internal processing of the
そこで、会話支援システム１００では、スピーカＳｐで集音した発話音声の音量に対して閾値Ｔｈを設けることとしている。そして、出力部２３は、音量が閾値Ｔｈを超える発話音声をスピーカＳｐから敢えて出力しない。
Therefore, in the
図６には、かかる閾値Ｔｈの具体例を示す。図６に示すように、会話支援システム１００では、参加者間の距離に応じて閾値Ｔｈが設けられる。かかる距離は、各参加者の座席位置に応じて異なる。つまり、参加者間の距離は、各参加者の座席位置の距離とも言える。
FIG. 6 shows a specific example of the threshold value Th. As shown in FIG. 6, in the
会話支援システム１００では、図６に示すように、参加者間の距離が近いほど閾値Ｔｈを低く設定し、参加者間の距離が遠いほど閾値Ｔｈを高く設定する。つまり、参加者間の座席間の距離が近いほど閾値Ｔｈを低く設定する一方、かかる距離が遠いほど閾値Ｔｈを高く設定する。
In the
これにより、上述のように参加者間で発話音声が直接聞こえる場合、出力部２３は、かかる発話音声をスピーカＳｐから出力しないようにすることが可能となる。つまり、参加者は、実際の発話音声またはスピーカＳｐから出力される発話音声のうち、一方のみが聞こえることとなる。つまり、発話音声が２重に聞こえることによる違和感を解消することが可能となる。 As a result, as described above, when a voiced speech is heard directly between participants, the output unit 23 can prevent the voiced speech from being output from the speaker Sp. That is, the participant can hear only one of the actual speech sound and the speech sound output from the speaker Sp. That is, it is possible to eliminate the sense of incongruity caused by double sound of the uttered voice.
なお、出力部２３は、閾値Ｔｈを車両Ｃの走行環境および走行状態のうち、少なくとも一方に基づいて設定することができる。言い換えれば、閾値Ｔｈを動的に設定することが可能である。 The output unit 23 can set the threshold value Th based on at least one of the traveling environment and the traveling state of the vehicle C. In other words, it is possible to set the threshold Th dynamically.
ここで、走行環境とは、天候や車両Ｃ周囲の環境等を示す。また、走行状態とは、車両Ｃの走行速度等を示す。例えば、天候が雨である場合、車両Ｃのボンネットには雨が当たるため、車内の会話が聞き取りにくくなる。また、走行速度が速い場合は、遅い場合に比べてロードノイズ等の雑音が大きくなる。また、舗装状況の悪い道路では、舗装状況の良い道路に比べてロードノイズが大きくなる。 Here, the traveling environment indicates the weather, the environment around the vehicle C, and the like. The traveling state indicates the traveling speed of the vehicle C and the like. For example, when the weather is raining, the hood of the vehicle C is exposed to rain, which makes it difficult to hear conversations in the vehicle. In addition, when the traveling speed is high, noise such as road noise is larger than when the traveling speed is low. Also, on roads with poor pavement conditions, road noise is greater than on roads with good pavement conditions.
つまり、出力部２３は、会話を阻害する車内に生じ得る雑音にあわせて閾値Ｔｈを設定する。具体的には、出力部２３は、上記の雑音が大きい場合、閾値Ｔｈを高く設定し、上記の雑音が小さくなる場合、閾値Ｔｈを低く設定する。 That is, the output unit 23 sets the threshold value Th in accordance with the noise that may occur in the car that interferes with the conversation. Specifically, the output unit 23 sets the threshold Th high when the noise is large, and sets the threshold Th low when the noise is small.
このように、会話支援システム１００では、車両Ｃの走行環境または走行状況に応じて閾値Ｔｈを設定することで、適切に会話を支援することが可能となる。
As described above, the
なお、出力部２３は、閾値Ｔｈを座席位置毎に設定することもできる。具体的には、車両Ｃの前方に着座している乗員と、車両Ｃの後方に着座している乗員が会話の参加者である場合を想定する。 The output unit 23 can also set the threshold value Th for each seat position. Specifically, it is assumed that the occupant sitting in front of the vehicle C and the occupant sitting behind the vehicle C are participants in a conversation.
かかる場合、前方に着座している乗員の発話音声は、車内の前方に向けて発せられる。一方、後方に着座している乗員の発話音声は、車内の前方、すなわち、前方に着座している乗員に向けて発せられることとなる。 In such a case, the voice of the occupant sitting forward is emitted forward in the vehicle. On the other hand, the voice of the occupant seated in the rear is emitted toward the occupant seated in the front of the vehicle, ie, in the forward direction.
つまり、前方に着座している乗員の発話音声は、後方に着座している乗員の発話音声に比べて聞こえにくいこととなる。このため、出力部２３は、前方に着座している乗員に対する閾値Ｔｈを後方に着座している乗員に対する閾値Ｔｈよりも高く設定する。これにより、会話支援システム１００では、適切に会話を支援することが可能となる。
That is, the voice of the occupant seated in the front is less audible than the voice of the occupant seated in the rear. For this reason, the output unit 23 sets the threshold Th for the occupant seated in the front higher than the threshold Th for the occupant seated in the rear. Thus, the
なお、会話の途中で発話音声の音量が閾値Ｔｈを超えたり、下回ったりする場合がある。かかる場合に、その都度、出力部２３が、発話音声の出力または停止を繰り返すと、参加者は発話音声を聞き取りにくくなるおそれがある。 In the middle of a conversation, the volume of the speech may exceed or fall below the threshold Th. In such a case, when the output unit 23 repeatedly outputs or stops the uttered voice each time, there is a possibility that the participant may not easily hear the uttered voice.
このため、出力部２３は、発話音声の推移に応じてスピーカＳｐの音量を徐々に小さくしたり大きくしたりすることにしてもよい。つまり、参加者に聞こえる発話音声をスピーカＳｐの発話音声および実際の発話音声間で徐々に切り替えるようにしてもよい。 Therefore, the output unit 23 may gradually decrease or increase the volume of the speaker Sp in accordance with the transition of the speech sound. That is, the speech sound heard by the participant may be gradually switched between the speech of the speaker Sp and the actual speech.
次に、図７を用いて実施形態に係る会話支援装置１が実行する処理手順について説明する。図７は、会話支援装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、制御部２によって繰り返し実行される。
Next, processing procedures executed by the
図７に示すように、まず、認証部２１は、例えば、車内が撮像された撮像画像に基づいて乗員を認証する（ステップＳ１０１）。続いて、認証部２１は、空席有りか否かを判定する（ステップＳ１０２）。かかる判定において、空席が有る場合（ステップＳ１０２，Ｙｅｓ）、出力部２３は、空席のスピーカＳｐをオフにする（ステップＳ１０３）。
As shown in FIG. 7, first, the
一方、制御部２は、空席が無い場合（ステップＳ１０２，Ｎｏ）、ステップＳ１０３の処理を省略する。続いて、特定部２２は、会話相手を呼び出すためのキーワードを検出したか否かを判定する（ステップＳ１０４）。かかる判定において、かかるキーワードを検出しなかった場合（ステップＳ１０４，Ｎｏ）、かかるキーワードを検出するまでステップＳ１０４の処理を継続して行う。 On the other hand, when there is no vacant seat (Step S102, No), control part 2 omits processing of Step S103. Subsequently, the specifying unit 22 determines whether a keyword for calling the conversation partner has been detected (step S104). In the determination, when the keyword is not detected (No in step S104), the process of step S104 is continuously performed until the keyword is detected.
一方、特定部２２は、かかるキーワードを検出した場合（ステップＳ１０４，Ｙｅｓ）、かかるキーワードに基づいて会話の参加者を特定する（ステップＳ１０５）。続いて、出力部２３は、参加者のスピーカＳｐから他の参加者の発話音声を相互に出力する（ステップＳ１０６）。 On the other hand, when the specifying unit 22 detects such a keyword (step S104, Yes), the specifying unit 22 specifies a participant of the conversation based on the keyword (step S105). Subsequently, the output unit 23 mutually outputs the speech of the other participant from the speaker Sp of the participant (step S106).
続いて、出力部２３は、会話の終了条件が成立したか否かを判定する（ステップＳ１０７）。かかる終了条件とは、例えば、参加者の会話が所定期間（例えば、１分間）途切れた場合である。 Subsequently, the output unit 23 determines whether the conversation ending condition is satisfied (step S107). The termination condition is, for example, a case where the participant's conversation is interrupted for a predetermined period (for example, one minute).
かかる終了条件が成立した場合（ステップＳ１０７，Ｙｅｓ）、出力部２３は、発話音声の出力を停止し（ステップＳ１０８）、処理を終了する。一方、かかる終了条件が成立していない場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０６の処理を継続して行う。 When the end condition is satisfied (Yes in step S107), the output unit 23 stops the output of the uttered voice (step S108), and ends the process. On the other hand, when the end condition is not satisfied (step S107, No), the process of step S106 is continuously performed.
上述したように、実施形態に係る会話支援装置１は、特定部２２と、出力部２３とを備える。特定部２２は、車内の乗員から会話の参加者を特定する。出力部２３は、乗員毎に配置されたスピーカＳｐおよびマイクＭｃのうち、特定部２２によって特定された参加者のマイクＭｃで集音された発話音声を異なる参加者のスピーカＳｐから相互に出力する。したがって、実施形態に係る会話支援装置１によれば、車内のコミュニケーションの円滑化を図ることができる。
As described above, the
ところで、乗員が眠い場合など、会話の参加を望まない場合がある。かかる場合、例えば、乗員は端末装置Ｔに対する所定操作によって参加の可否の意思表示をすることができる。 By the way, when a passenger is sleepy, it may not be desirable to participate in conversation. In such a case, for example, the occupant can display the intention of participation or non-permission by a predetermined operation on the terminal device T.
図８は、意思表示の操作の具体例を示す図である。図８に示すように、端末装置Ｔには、例えば、参加可能ボタンＢ１と、参加拒否ボタンＢ２とが表示される。各乗員は、自身の端末装置Ｔに対して参加可能ボタンＢ１または参加拒否ボタンＢ２を選択する操作を行うことで、会話に対する参加の可否の意思表示を行うことができる。 FIG. 8 is a diagram showing a specific example of the intention display operation. As shown in FIG. 8, on the terminal device T, for example, a joinable button B1 and a join refusal button B2 are displayed. Each passenger can perform an operation to select the participation enable button B1 or the participation refusal button B2 on the own terminal device T, thereby performing the intention display of whether or not to participate in the conversation.
具体的には、乗員が参加可能ボタンＢ１を操作すると、会話支援システム１００では、かかる乗員に対して他の乗員から上記の呼び出しキーワードを検出した場合、かかる乗員を会話に参加させる。
Specifically, when the occupant operates the enterable button B1, the
一方、乗員が参加拒否ボタンＢ２を操作した場合、会話支援システム１００では、かかる乗員に対して他の乗員から上記の呼び出しキーワードを検出した場合であっても、かかる乗員を会話に参加させない。
On the other hand, when the occupant operates the participation refusal button B2, the
図８に示す例では、例えば、Ｃさんが参加拒否ボタンＢ２を操作した場合を示す。かかる場合に、他の乗員が、Ｃさんに対応するキーワードを発話した場合であっても、Ｃさんを会話に参加させないようにすることができる。 The example shown in FIG. 8 shows, for example, the case where Mr. C operates the participation refusal button B2. In such a case, even when another passenger utters a keyword corresponding to Mr. C, Mr. C can be prevented from participating in the conversation.
また、かかる場合に、端末装置Ｔに各乗員の意思表示の状況を表示させることにしてもよい。すなわち、図８の例では、Ｃさん以外の乗員に、Ｃさんが参加拒否中であることを提示することにしてもよい。これにより、乗員間で互いに他の乗員の状況を確認することが可能となる。このように、会話支援システム１００では、参加の可否に対する意思表示を受け付けることで、例えば、眠たい乗員など特定の乗員を会話の参加対象から除外することができる。つまり、乗員毎の意思を尊重することで、乗員毎に快適な車内空間を提供することが可能となる。
Further, in such a case, the terminal device T may display the situation of the intention display of each passenger. That is, in the example of FIG. 8, it may be shown to the crew other than Mr. C that Mr. C is refusing participation. As a result, it becomes possible for the occupants to mutually confirm the conditions of the other occupants. As described above, in the
なお、上述した実施形態では、発話音声に基づいて会話の参加者を特定する場合について説明したが、これに限定されるものではない。例えば、乗員は、会話の参加相手を端末装置Ｔに対する操作によって指定することにしてもよい。つまり、特定部２２は、会話の参加者を端末装置Ｔから入力される操作信号に基づいて特定することにしてもよい。 In addition, although embodiment mentioned above demonstrated the case where the participant of a conversation was specified based on a uttered voice, it is not limited to this. For example, the occupant may designate a participant in a conversation by an operation on the terminal device T. That is, the specifying unit 22 may specify the participant of the conversation based on the operation signal input from the terminal device T.
また、上述した実施形態では、会話支援装置１および会話支援システム１００が車両Ｃ内に設置される場合について説明したが、これに限定されるものではない。すなわち、会話支援装置１および会話支援システム１００は、例えば、限られた空間で複数のユーザの会話を支援する場合であれば、適用することが可能である。
Moreover, although the case where the
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and modifications can be easily derived by those skilled in the art. Thus, the broader aspects of the invention are not limited to the specific details and representative embodiments represented and described above. Accordingly, various modifications may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.
１ 会話支援装置
２１ 認証部
２２ 特定部
２３ 出力部
Ｃ 車両
Ｃｍ カメラ
Ｓｐ スピーカ
Ｍｃ マイク
Ｔ 端末装置
Ａｄ 音響出力装置
1
Claims (8)
前記乗員毎に配置されたスピーカおよびマイクのうち、前記特定部によって特定された前記参加者のマイクで集音された発話音声を異なる参加者のスピーカから相互に出力する出力部と
を備えることを特徴とする会話支援装置。 An identification unit that identifies participants in a conversation from the occupants of the vehicle;
Providing an output unit for mutually outputting, from the speakers of different participants, the speech voices collected by the microphones of the participants specified by the identification unit among the speakers and the microphones arranged for each passenger Conversation support device characterized by.
前記マイクで集音した前記発話音声の音量に応じた音量で前記スピーカから前記発話音声を出力すること
を特徴とする請求項１に記載の会話支援装置。 The output unit is
The conversation support device according to claim 1, wherein the speech is output from the speaker at a volume according to the volume of the speech collected by the microphone.
前記車内の音響出力装置による再生音声に前記発話音声を重畳させて出力すること
を特徴とする請求項１または２に記載の会話支援装置。 The output unit is
The speech support apparatus according to claim 1 or 2, wherein the uttered voice is superimposed on the reproduced voice by the sound output device in the car and output.
前記マイクで集音した前記発話音声の音量が所定の閾値以上である場合、前記スピーカから当該会話音声を出力しないこと
を特徴とする請求項１、２または３に記載の会話支援装置。 The output unit is
The conversation support device according to any one of claims 1 to 3, wherein the speaker does not output the conversation voice if the volume of the speech voice collected by the microphone is equal to or higher than a predetermined threshold.
前記閾値を車両の走行状態または走行環境の少なくとも一方に基づいて設定すること
を特徴とする請求項４に記載の会話支援装置。 The output unit is
The conversation support device according to claim 4, wherein the threshold is set based on at least one of a traveling state of a vehicle and a traveling environment.
前記乗員の端末装置であること
を特徴とする請求項１〜５のいずれか一つに記載の会話支援装置。 The microphone is
The conversation assistance device according to any one of claims 1 to 5, which is a terminal device of the passenger.
前記マイクおよび前記スピーカと
を備えることを特徴とする会話支援システム。 The conversation support device according to any one of claims 1 to 6.
A conversation support system comprising the microphone and the speaker.
前記乗員毎に配置されたスピーカおよびマイクのうち、前記特定工程によって特定された前記参加者のマイクで集音された発話音声を異なる参加者のスピーカから相互に出力する出力工程と
を含むことを特徴とする会話支援方法。 Identifying the participants of the conversation from the occupants of the vehicle;
Including an output step of mutually outputting, from the speakers of different participants, the speech voices collected by the microphones of the participants specified by the identification step among the speakers and the microphones arranged for each passenger. Conversation support method characterized by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017191322A JP2019068237A (en) | 2017-09-29 | 2017-09-29 | Conversation support device, conversation support system, and conversation support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017191322A JP2019068237A (en) | 2017-09-29 | 2017-09-29 | Conversation support device, conversation support system, and conversation support method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019068237A true JP2019068237A (en) | 2019-04-25 |
Family
ID=66340069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017191322A Pending JP2019068237A (en) | 2017-09-29 | 2017-09-29 | Conversation support device, conversation support system, and conversation support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019068237A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020026725A1 (en) * | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | Sound collection loudspeaker, method thereof, and program |
| WO2020240880A1 (en) * | 2019-05-30 | 2020-12-03 | 日本電信電話株式会社 | Evaluation device, evaluation method, and program |
| JP2021105769A (en) * | 2019-12-26 | 2021-07-26 | 株式会社デンソーテン | On-vehicle device and response output control method |
| WO2021191651A1 (en) * | 2020-03-25 | 2021-09-30 | 日産自動車株式会社 | Sound data processing device and sound data processing method |
| JP2022070003A (en) * | 2020-10-26 | 2022-05-12 | トヨタ自動車株式会社 | Display system |
| JP2022548769A (en) * | 2019-09-20 | 2022-11-21 | パイカー、アクスティック、ゲゼルシャフト、ミット、ベシュレンクテル、ハフツング | System, method and computer readable medium for controlling in-vehicle communication system by tap sound detection |
-
2017
- 2017-09-29 JP JP2017191322A patent/JP2019068237A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020026725A1 (en) * | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | Sound collection loudspeaker, method thereof, and program |
| US11894013B2 (en) | 2018-08-02 | 2024-02-06 | Nippon Telegraph And Telephone Corporation | Sound collection loudspeaker apparatus, method and program for the same |
| WO2020240880A1 (en) * | 2019-05-30 | 2020-12-03 | 日本電信電話株式会社 | Evaluation device, evaluation method, and program |
| JPWO2020240880A1 (en) * | 2019-05-30 | 2020-12-03 | ||
| WO2020240768A1 (en) * | 2019-05-30 | 2020-12-03 | 日本電信電話株式会社 | In-automobile conversation evaluation value conversion device, in-automobile conversation evaluation value conversion method, and program |
| JP7238978B2 (en) | 2019-05-30 | 2023-03-14 | 日本電信電話株式会社 | Evaluation device, evaluation method, and program |
| JP2022548769A (en) * | 2019-09-20 | 2022-11-21 | パイカー、アクスティック、ゲゼルシャフト、ミット、ベシュレンクテル、ハフツング | System, method and computer readable medium for controlling in-vehicle communication system by tap sound detection |
| JP2021105769A (en) * | 2019-12-26 | 2021-07-26 | 株式会社デンソーテン | On-vehicle device and response output control method |
| JP7386076B2 (en) | 2019-12-26 | 2023-11-24 | 株式会社デンソーテン | On-vehicle device and response output control method |
| EP4129766A4 (en) * | 2020-03-25 | 2023-04-19 | Nissan Motor Co., Ltd. | Sound data processing device and sound data processing method |
| WO2021191651A1 (en) * | 2020-03-25 | 2021-09-30 | 日産自動車株式会社 | Sound data processing device and sound data processing method |
| JP7456490B2 (en) | 2020-03-25 | 2024-03-27 | 日産自動車株式会社 | Sound data processing device and sound data processing method |
| JP7310779B2 (en) | 2020-10-26 | 2023-07-19 | トヨタ自動車株式会社 | display system |
| JP2022070003A (en) * | 2020-10-26 | 2022-05-12 | トヨタ自動車株式会社 | Display system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019068237A (en) | Conversation support device, conversation support system, and conversation support method | |
| US10848889B2 (en) | Intelligent audio rendering for video recording | |
| US9774979B1 (en) | Systems and methods for spatial audio adjustment | |
| US10257613B2 (en) | Managing telephony and entertainment audio in a vehicle audio platform | |
| JP7049803B2 (en) | In-vehicle device and audio output method | |
| CN102520391B (en) | Cognitive load reduction | |
| JP2007290691A (en) | Vehicle communication system | |
| JP2008042390A (en) | In-vehicle conversation support system | |
| US10020785B2 (en) | Automatic vehicle occupant audio control | |
| KR20170052586A (en) | Techniques for generating multiple listening environments via auditory devices | |
| JP2010163054A (en) | Conversation support device and conversation support method | |
| US20220095046A1 (en) | Hybrid in-car speaker and headphone based acoustical augmented reality system | |
| US11974103B2 (en) | In-car headphone acoustical augmented reality system | |
| WO2020027061A1 (en) | Conversation assistance system, method therefor, and program | |
| WO2020016927A1 (en) | Sound field control apparatus and sound field control method | |
| JP2001339799A (en) | Virtual meeting apparatus | |
| US11654835B2 (en) | Rear seat display device | |
| JP6995254B2 (en) | Sound field control device and sound field control method | |
| EP3833046A1 (en) | Sound collecting/amplifying device, method therefor, and program | |
| US10419851B2 (en) | Retaining binaural cues when mixing microphone signals | |
| US20240121555A1 (en) | Zoned Audio Duck For In Car Conversation | |
| JP2019137167A (en) | Voice output control device, and voice output control program | |
| US20230216897A1 (en) | In-vehicle communications and media mixing | |
| US20230096846A1 (en) | Controlling playback of audio data | |
| US20230214171A1 (en) | In-vehicle multi-occupant media management |