JP5413321B2 - Communication system, in-vehicle terminal, and portable terminal - Google Patents

Communication system, in-vehicle terminal, and portable terminal Download PDF

Info

Publication number
JP5413321B2
JP5413321B2 JP2010162790A JP2010162790A JP5413321B2 JP 5413321 B2 JP5413321 B2 JP 5413321B2 JP 2010162790 A JP2010162790 A JP 2010162790A JP 2010162790 A JP2010162790 A JP 2010162790A JP 5413321 B2 JP5413321 B2 JP 5413321B2
Authority
JP
Japan
Prior art keywords
output
voice
vehicle
audio
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010162790A
Other languages
Japanese (ja)
Other versions
JP2012027070A (en
Inventor
直頼 丹澤
雅之 高見
一久 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010162790A priority Critical patent/JP5413321B2/en
Publication of JP2012027070A publication Critical patent/JP2012027070A/en
Application granted granted Critical
Publication of JP5413321B2 publication Critical patent/JP5413321B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Telephone Function (AREA)

Description

本発明は、信システム、車載端末、および携帯端末に関するものである。 The present invention, communication system, to a vehicle terminal, and the portable terminal.

従来、携帯端末が車内で車載端末と連携する技術が知られている(特許文献1参照)。   Conventionally, a technology in which a mobile terminal cooperates with an in-vehicle terminal in a vehicle is known (see Patent Document 1).

特開2009−250703号公報JP 2009-250703 A

しかし、従来の技術では、携帯端末と車載端末の連携は限定的なものであった。本発明は上記点に鑑み、携帯端末が車内で車載端末と連携する技術において、ドライバの安全性または利便性を向上させることを目的とする。   However, in the conventional technology, the cooperation between the mobile terminal and the in-vehicle terminal is limited. In view of the above points, an object of the present invention is to improve the safety or convenience of a driver in a technology in which a mobile terminal cooperates with an in-vehicle terminal in a vehicle.

上記目的を達成するための請求項1に記載の発明は、車両に搭載される車載端末(1)と、前記車載端末(1)と接続して通信可能な携帯端末(5)と、を備えた通信システムであって、前記車載端末(1)は、前記車両に設置されて車室内に音声を出力する車室用スピーカ(4)に音声を出力させるための音声出力処理を実行する音声出力処理手段(17a)を備え、前記携帯端末(5)は、前記車載端末(1)と接続しているとき、第1の音声を出力する必要があると判定したことに基づいて、音声出力要求を前記車載端末(1)に送信する音声出力要求手段(120、130)と、前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記車室用スピーカ(4)に前記第1の音声を出力させるために前記第1の音声の音声データを前記車載端末(1)に送信する出力制御手段(160)と、を備え、前記車載端末(1)は更に、前記音声出力要求を前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)が既に出力させている第2の音声の音量を低減させる音量低減手段(270)を備えたことを特徴とする通信システムである。 The invention described in claim 1 for achieving the above object includes an in-vehicle terminal (1) mounted on a vehicle, and a portable terminal (5) capable of communicating with the in-vehicle terminal (1). The vehicle-mounted terminal (1) is an audio output for executing an audio output process for causing the vehicle interior speaker (4) installed in the vehicle to output audio to the vehicle interior to output audio. The mobile terminal (5) includes a processing means (17a), and the mobile terminal (5) is connected to the in-vehicle terminal (1), and based on the determination that the first voice needs to be output, the voice output request To the in-vehicle terminal (1), and after the audio output request means (120, 130) has transmitted the audio output request, the vehicle interior speaker (4) The first voice to output the first voice; And output control means that sends to the vehicle terminal voice sound data (1) (160), wherein the vehicle terminal (1) further receives the audio output request from said portable terminal (5) On the basis of this, the communication system is characterized by comprising a volume reduction means (270) for reducing the volume of the second voice already outputted by the voice output processing means (17a) .

このように、携帯端末(5)において出力したい第1の音声があるとき、まず音声出力要求を車載端末(1)に送信し、その上で、第1の音声を出力させるので、車載端末(1)で第2の音声が出力されていても、その音の音量は低減される。したがって、第1の音声と第2の音声とが重なってドライバにとって聴き取りづらくなる可能性が低減される。   Thus, when there is a first sound to be output from the mobile terminal (5), first, a sound output request is transmitted to the in-vehicle terminal (1), and then the first sound is output. Even if the second sound is output in 1), the volume of the sound is reduced. Therefore, the possibility that the first sound and the second sound overlap and it is difficult for the driver to hear is reduced.

また、請求項2に記載の発明は、請求項1に記載の通信システムにおいて、前記音声出力要求手段(120、130)は、前記車載端末(1)と接続しているとき、前記第1の音声を出力する必要があると判定したことに基づいて、前記第1の音声の種別を特定し、特定した種別の情報を含む前記音声出力要求を前記車載端末(1)に送信し、前記車載端末(1)は更に、前記携帯端末(5)から前記音声出力要求を受信すると、受信した前記音声出力要求に含まれる前記情報に基づいて、前記第1の音声の種別を特定し、また、前記車載端末(1)が既に出力させている前記第2の音声の種別を特定する特定手段(220、230)と、前記特定手段が特定した前記第1の音声の種別と前記第2の音声の種別を比較することで、どちらの音声が優先するかを判定し、前記第2の音声が優先すると判定した場合、音声出力不許可の応答を前記携帯端末(5)に送信し、前記第1の音声が優先すると判定した場合、音声出力許可の応答を前記携帯端末(5)に送信する応答手段(240、250、260)と、を備え、前記音量低減手段(270)は、前記第1の音声が優先すると前記応答手段(240、250、260)が判定したことに基づいて、前記音声出力処理手段(17a)が既に出力させている第2の音声の音量を低減させ、前記出力制御手段(160)は、前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記携帯端末(5)から音声出力許可の応答を受信した場合、前記車室用スピーカ(4)に前記第1の音声を出力させるために前記第1の音声の音声データを前記車載端末(1)に送信、また、前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記携帯端末(5)から音声出力不許可の応答を受信した場合、前記第1の音声の音声データの送信を禁止することを特徴とする。 The invention according to claim 2 is the communication system according to claim 1, wherein the voice output requesting means (120, 130) is connected to the vehicle-mounted terminal (1). Based on the determination that the voice needs to be output, the type of the first voice is specified, the voice output request including the specified type of information is transmitted to the in-vehicle terminal (1), When the terminal (1) further receives the voice output request from the portable terminal (5), the terminal (1) specifies the type of the first voice based on the information included in the received voice output request, and The specifying means (220, 230) for specifying the type of the second sound that has already been output by the in-vehicle terminal (1), the type of the first sound specified by the specifying means, and the second sound By comparing the type of sound, which sound If the second voice is determined to be prioritized, a voice output non-permission response is transmitted to the portable terminal (5), and if it is determined that the first voice is prioritized, the voice Response means (240, 250, 260) for transmitting an output permission response to the portable terminal (5), and the volume reduction means (270) is configured to respond to the first sound when the first sound is given priority. , 250, 260), the sound output processing means (17a) reduces the volume of the second sound that has already been output, and the output control means (160) When a voice output permission response is received from the portable terminal (5) after the means (120, 130) has sent the voice output request, the vehicle speaker (4) outputs the first voice. For the above The first audio data of audio and sends the in-vehicle terminal (1), also after the audio output request means (120, 130) transmits said voice output request, the audio output disallowed from the mobile terminal (5) When the response is received , transmission of the voice data of the first voice is prohibited.

このように、携帯端末(5)から車載端末(1)に送信する音声出力要求に、出力したい第1の音声の種別を含め、車載端末(1)では、その第1の音声の種別と既に出力させている第2の音声の種別とを比較し、第1の音声が優先する場合に、第2の音声の音量を低減して音声出力許可の応答を携帯端末(5)に送信し、携帯端末(5)では、音声出力許可の応答を受けると当該第1の音声を(車室用スピーカ(4)に)出力させる。つまり、車載端末(1)は、第1の音声と第2の音声の優先度に鑑みて、第1の音声を出力するか否かを切り替えるという、よりきめ細かい処理を行うことができる。 As described above, the voice output request transmitted from the portable terminal (5) to the vehicle-mounted terminal (1) includes the type of the first voice to be output. Compare the type of the second voice being output, and if the first voice has priority, reduce the volume of the second voice and send a voice output permission response to the mobile terminal (5). In response to the voice output permission response, the portable terminal (5) outputs the first voice (to the passenger compartment speaker (4 ) ). That is, the in-vehicle terminal (1) can perform a finer process of switching whether to output the first sound in view of the priority of the first sound and the second sound.

また、請求項に記載の発明は更に、前記車載端末(1)は更に、前記第1の音声の音声データを前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)を用いて、前記音声データの示す前記第1の音声を前記車室用スピーカ(4)に出力させることを特徴とする。 Further, the invention according to claim 1 is further based on the fact that the in-vehicle terminal (1) further receives the voice data of the first voice from the portable terminal (5). 17a), the first sound indicated by the sound data is output to the vehicle interior speaker (4).

車室用スピーカ(4)は、車室内のドライバにとって聞こえ易く配置および設定されているので、同じ音声でも、携帯端末(5)のスピーカが出力する場合と、車室用スピーカ(4)が出力する場合とでは、後者の方がドライバにとって聞こえ易い。したがって、上記のように、携帯端末(5)において送信する必要が発生した第1の音声データも、車両に設置された車室用スピーカ(4)から出力させれば、ドライバの快適性が向上する
また、請求項3に記載の発明は、請求項1または2に記載の通信システムにおいて、前記車載端末(1)は更に、前記第1の音声の音声データを前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)を用いて、前記音声データの示す前記第1の音声を、前記第2の音声と重ねて、前記車室用スピーカ(4)に出力させることを特徴とする。
The vehicle interior speaker (4) is arranged and set so that it can be easily heard by the driver in the vehicle interior. Therefore, even when the same sound is output from the speaker of the portable terminal (5), the vehicle interior speaker (4) is output. The latter is easier for the driver to hear. Therefore, as described above, if the first audio data that needs to be transmitted in the portable terminal (5) is also output from the vehicle compartment speaker (4) installed in the vehicle, the comfort of the driver is improved. To do .
In the invention according to claim 3, in the communication system according to claim 1 or 2, the in-vehicle terminal (1) further receives voice data of the first voice from the portable terminal (5). Based on this, the first sound indicated by the sound data is overlapped with the second sound using the sound output processing means (17a) and output to the vehicle interior speaker (4). It is characterized by.

また、請求項4に記載の発明は、車両に搭載される車載端末(1)と接続して通信可能な携帯端末であって、前記車載端末(1)と接続しているとき、第1の音声を出力する必要があると判定したことに基づいて、前記車載端末(1)が既に出力させている第2の音声の音量を低減させるために、音声出力要求を前記車載端末(1)に送信する音声出力要求手段(120、130)と、前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記車室用スピーカ(4)に前記第1の音声を出力させるために前記第1の音声の音声データを前記車載端末(1)に送信する出力制御手段(160)と、を備えた携帯端末である。このように、携帯端末単体としても、本発明を捉えることができる。 The invention according to claim 4 is a portable terminal that can communicate with the in-vehicle terminal (1) mounted on the vehicle, and is connected to the in-vehicle terminal (1). Based on the determination that it is necessary to output sound, in order to reduce the volume of the second sound that has already been output by the in-vehicle terminal (1), an audio output request is sent to the in-vehicle terminal (1). After the voice output requesting means (120, 130) to transmit and the voice output requesting means (120, 130) send the voice output request, the vehicle interior speaker (4) outputs the first voice. , and output control means that sends (160) voice data of the first audio the in-vehicle terminal (1) for a portable terminal having a. As described above, the present invention can be grasped as a single mobile terminal.

また、請求項5に記載の発明は、車両に搭載されると共に、携帯端末(5)と接続して通信可能な車載端末であって、前記車両に設置されて車室内に音声を出力する車室用スピーカ(4)に音声を出力させるための音声出力処理を実行する音声出力処理手段(17a)と、音声出力要求を前記携帯端末(5)から受信したことに基づいて、前記携帯端末(5)が前記第1の音声を出力させるための処理を行うよう、前記携帯端末(5)に音声出力許可の応答を送信する応答手段(240、250、260)と、
前記音声出力要求を前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)が既に出力させている第2の音声の音量を低減させる音量低減手段(270)と、前記第1の音声の音声データを前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)を用いて、前記音声データの示す前記第1の音声を前記車室用スピーカ(4)に出力させる出力手段(280)と、を備えた車載端末である。
The invention according to claim 5 is an in-vehicle terminal that is mounted on a vehicle and is communicable with a mobile terminal (5), and is installed in the vehicle and outputs sound in a vehicle interior. Based on the reception of the voice output request from the portable terminal (5) and the voice output processing means (17a) for executing the voice output processing for outputting the voice to the room speaker (4), the portable terminal ( 5) responding means (240, 250, 260) for transmitting an audio output permission response to the portable terminal (5) so as to perform processing for outputting the first audio;
Volume reduction means (270) for reducing the volume of the second voice that has already been output by the voice output processing means (17a) based on the reception of the voice output request from the portable terminal (5) ; Based on the reception of the voice data of the first voice from the portable terminal (5), the voice output processing means (17a) is used to convert the first voice indicated by the voice data into the vehicle compartment. And an output unit (280) for outputting to the speaker (4) .

このように、車載端末が、携帯端末(5)から音声出力要求を受けたことに基づいて、携帯端末(5)に対して第1の音声の出力用の処理を行わせ、かつ、自機が既に出力させている第2の音声の音量を低減させることで、したがって、第1の音声と第2の音声とが重なってドライバにとって聴き取りづらくなる可能性が低減される。   In this way, the in-vehicle terminal causes the portable terminal (5) to perform the first voice output process based on the reception of the voice output request from the portable terminal (5), and the own apparatus. By reducing the volume of the second sound that has already been output, the possibility that the first sound and the second sound overlap and become difficult for the driver to hear is reduced.

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .

本発明の実施形態に係る車載ナビゲーション装置1等の構成を示す図である。It is a figure which shows the structure of the vehicle-mounted navigation apparatus 1 etc. which concern on embodiment of this invention. 携帯端末5の構成を示す図である。2 is a diagram illustrating a configuration of a mobile terminal 5. FIG. 第1実施形態において携帯側制御部が実行する処理のフローチャートである。It is a flowchart of the process which a portable side control part performs in 1st Embodiment. 第1実施形態においてナビゲーション制御部が実行する処理のフローチャートである。It is a flowchart of the process which a navigation control part performs in 1st Embodiment. 第1実施形態における車載ナビゲーション装置1と音声出力制御装置2の信号のやり取りを示すシーケンス図である。It is a sequence diagram which shows the exchange of the signal of the vehicle-mounted navigation apparatus 1 and the audio | voice output control apparatus 2 in 1st Embodiment. 第2実施形態においてナビゲーション制御部が実行する処理のフローチャートである。It is a flowchart of the process which a navigation control part performs in 2nd Embodiment. 第2実施形態において携帯側制御部が実行する処理のフローチャートである。It is a flowchart of the process which a portable side control part performs in 2nd Embodiment. 第2実施形態における車載ナビゲーション装置1と音声出力制御装置2の信号のやり取りを示すシーケンス図である。It is a sequence diagram which shows the exchange of the signal of the vehicle-mounted navigation apparatus 1 and the audio | voice output control apparatus 2 in 2nd Embodiment. 第3実施形態において携帯側制御部が実行する処理のフローチャートであIt is a flowchart of the process which a portable side control part performs in 3rd Embodiment. 第3実施形態においてナビゲーション制御部が実行する処理のフローチャートである。It is a flowchart of the process which a navigation control part performs in 3rd Embodiment.

(第1実施形態)
以下、本発明の第1実施形態について説明する。図1、図2に、本実施形態に係る通信システムの構成を示す。図1は、通信システムの一部を構成する車載ナビゲーション装置1、音声出力制御装置2、RSE3、車室用スピーカ4の図であり、図2は、同じく通信システムの一部を構成する携帯端末5の構成図である。
(First embodiment)
The first embodiment of the present invention will be described below. 1 and 2 show a configuration of a communication system according to the present embodiment. FIG. 1 is a diagram of an in-vehicle navigation device 1, an audio output control device 2, an RSE 3, and a vehicle interior speaker 4 that constitute a part of the communication system. FIG. 2 is a portable terminal that also constitutes a part of the communication system. FIG.

車載ナビゲーション装置1(車載端末の一例に相当する)、音声出力制御装置2、RSE3、車室用スピーカ4は、車両に搭載される車載システムを構成する。携帯端末5は、この車両のドライバが携帯する携帯端末(携帯電話機、PDA等)であり、ドライバがこの携帯端末5を携帯して車室内に入ると、携帯端末5と車載ナビゲーション装置1とが無線接続して通信可能となる。   The in-vehicle navigation device 1 (corresponding to an example of an in-vehicle terminal), the audio output control device 2, the RSE 3, and the vehicle interior speaker 4 constitute an in-vehicle system mounted on the vehicle. The mobile terminal 5 is a mobile terminal (mobile phone, PDA, etc.) carried by the driver of the vehicle. When the driver carries the mobile terminal 5 and enters the vehicle interior, the mobile terminal 5 and the in-vehicle navigation device 1 are connected. Communication is possible by wireless connection.

図1に示すように、車載ナビゲーション装置1は、無線部10、位置検出器11、画像表示装置12、操作部13、音声信号入出力部14、マイク15、地図データ取得部16、ナビゲーション制御部17を備えている。   As shown in FIG. 1, the in-vehicle navigation device 1 includes a radio unit 10, a position detector 11, an image display device 12, an operation unit 13, an audio signal input / output unit 14, a microphone 15, a map data acquisition unit 16, and a navigation control unit. 17 is provided.

また、音声出力制御装置2には、RSE3、車載ナビゲーション装置1の音声信号入出力部14等の車内の装置から音声信号が入力されるようになっており、音声出力制御装置2は、それら入力された音声信号の出力の可否および出力音量を設定し、設定に従ってそれら音声信号を合成して車室内スピーカに出力する。音声出力制御装置2の設定内容は、ナビゲーション制御部17によって制御される。   The audio output control device 2 receives audio signals from devices in the vehicle such as the RSE 3 and the audio signal input / output unit 14 of the in-vehicle navigation device 1. The audio output control device 2 Whether the output of the sound signal is output and the output volume are set, the sound signals are synthesized according to the settings and output to the vehicle interior speaker. The setting contents of the audio output control device 2 are controlled by the navigation control unit 17.

RSE(Rear Sheat Entertainment)3は、車両の後席の乗員に動画表示や音声出力を行うための装置であり、動画を記憶媒体から読み取る動画読み取り装置、読み取った動画を再生して後席専用のディスプレイに表示させる動画再生制御装置、および当該後席専用のディスプレイ等を有している。また、動画再生制御装置は、動画に含まれる音声信号を音声出力制御装置2に入力することで、当該音声信号の示す音声を車室用スピーカ4で出力させようとする。   The RSE (Rear Seat Entertainment) 3 is a device for displaying moving images and outputting sound to passengers in the backseat of a vehicle. A moving image reading device that reads moving images from a storage medium, It has a moving image playback control device to be displayed on the display, a display dedicated to the rear seat, and the like. In addition, the moving image reproduction control device inputs an audio signal included in the moving image to the audio output control device 2 so that the sound indicated by the audio signal is output from the vehicle interior speaker 4.

車室用スピーカ4は、車両のダッシュボード、ドア等に設置され、車室内に音声を出力するスピーカである。   The vehicle interior speaker 4 is a speaker that is installed on a dashboard, a door or the like of the vehicle and outputs sound into the vehicle interior.

ここで、車載ナビゲーション装置1の各部の機能について説明する。無線部10は、車室内の携帯端末5と無線通信を実現するための周知の無線機である。使用する無線通信規格としては、Bluetooth、無線LAN等、赤外線通信等、車室内で通信可能なものならば、どのようなものであってもよい。   Here, the function of each part of the vehicle-mounted navigation device 1 will be described. The wireless unit 10 is a well-known wireless device for realizing wireless communication with the portable terminal 5 in the vehicle interior. Any wireless communication standard may be used as long as it can communicate in the vehicle interior, such as Bluetooth, wireless LAN, infrared communication, and the like.

位置検出器11は、GPS受信機、車速センサ、ジャイロセンサ等、車両の現在位置を特定するための信号をナビゲーション制御部17に出力するセンサである。画像表示装置12は、ナビゲーション制御部17の制御に従って文字や画像をユーザに表示する液晶ディスプレイ等の装置である。操作部13は、ユーザの操作を受け付け、受け付けた操作に応じた信号をナビゲーション制御部17に出力する装置である。   The position detector 11 is a sensor that outputs a signal for specifying the current position of the vehicle, such as a GPS receiver, a vehicle speed sensor, and a gyro sensor, to the navigation control unit 17. The image display device 12 is a device such as a liquid crystal display that displays characters and images to the user under the control of the navigation control unit 17. The operation unit 13 is a device that receives a user operation and outputs a signal corresponding to the received operation to the navigation control unit 17.

音声信号入出力部14は、ナビゲーション制御部17から音声データを受け、受けた音声データに対応する音声信号生成し、生成した音声信号を音声出力制御装置2に入力する装置である。複数個の音声データを同時に受けた場合は、それら複数の音声データに対応する音声信号を合成した結果の音声信号を音声出力制御装置2に入力する。また、音声信号入出力部14は、ナビゲーション制御部17の制御に従い、音声データ毎に、対応する音声信号の音量を調整することができる。また音声信号入出力部14は、マイク15が取得した音声信号を受け、受けた音声信号を示す音声データをナビゲーション制御部17に出力する。   The audio signal input / output unit 14 is a device that receives audio data from the navigation control unit 17, generates an audio signal corresponding to the received audio data, and inputs the generated audio signal to the audio output control device 2. When a plurality of audio data is received at the same time, an audio signal resulting from the synthesis of audio signals corresponding to the plurality of audio data is input to the audio output control device 2. The audio signal input / output unit 14 can adjust the volume of the corresponding audio signal for each audio data in accordance with the control of the navigation control unit 17. The audio signal input / output unit 14 receives the audio signal acquired by the microphone 15 and outputs audio data indicating the received audio signal to the navigation control unit 17.

マイク15は、車両のドライバ席の近傍(ダッシュボード、ドア、天井、ステアリングホイール等)に設置され、車室内の音声を音声信号として取得し、取得した音声信号を音声信号入出力部14に出力する。   The microphone 15 is installed in the vicinity of the driver's seat (dashboard, door, ceiling, steering wheel, etc.) of the vehicle, acquires the sound in the vehicle interior as an audio signal, and outputs the acquired audio signal to the audio signal input / output unit 14. To do.

地図データ取得部16は、地図データ等のデータを記憶する記憶媒体(DVDメディア、磁気記憶媒体、フラッシュメモリ等)からデータを読み出す装置である。地図データは、道路を表すリンクの位置、形状、接続関係を示す道路データ、施設(ホテル、レストラン、コンビニエンスストア等)の位置を示す施設データ等から成る。   The map data acquisition unit 16 is a device that reads data from a storage medium (DVD medium, magnetic storage medium, flash memory, or the like) that stores data such as map data. The map data includes the position and shape of links representing roads, road data indicating connection relationships, facility data indicating positions of facilities (hotels, restaurants, convenience stores, etc.), and the like.

ナビゲーション制御部17は、CPU、RAM、ROM、フラッシュメモリ等を備えた制御回路(例えばマイクロコントローラ)であって、ROMまたはフラッシュメモリに記録されたプログラムをCPUが実行することで、各種処理を実現するようになっている。   The navigation control unit 17 is a control circuit (for example, a microcontroller) provided with a CPU, RAM, ROM, flash memory, and the like, and various processes are realized by the CPU executing programs recorded in the ROM or flash memory. It is supposed to be.

例えば、ナビゲーション制御部10は、基本的な処理として、音声出力処理17a、音声認識処理17b、画像表示処理17cを実行し、これら基本的な処理を適宜利用する処理として、現在位置特定処理、地図表示処理、目的地設定処理、経路算出処理、経路案内処理、楽曲再生処理等を実行する。   For example, the navigation control unit 10 executes a voice output process 17a, a voice recognition process 17b, and an image display process 17c as basic processes, and processes that appropriately use these basic processes include a current position specifying process, a map Display processing, destination setting processing, route calculation processing, route guidance processing, music reproduction processing, and the like are executed.

音声出力処理17aは車室用スピーカ4に音声を出力させるための処理である。より具体的には、ナビゲーション制御部17は、音声出力処理17aにおいて、ナビゲーション制御部17が実行する他の処理から音声出力命令を受けると、この命令に従って、音声信号入出力部14を制御する。   The audio output process 17a is a process for causing the vehicle interior speaker 4 to output audio. More specifically, when the navigation control unit 17 receives a voice output command from another process executed by the navigation control unit 17 in the voice output processing 17a, the navigation control unit 17 controls the voice signal input / output unit 14 according to the command.

音声出力命令には、車室用スピーカ4に出力させる音声の音声データ、および、その音声の種別を示す種別データが含まれる。音声の種別としては、「音楽」、「アナウンス音声」等がある。   The audio output command includes audio data of audio to be output to the vehicle interior speaker 4 and type data indicating the type of the audio. As the type of sound, there are “music”, “announcement sound”, and the like.

例えば、経路案内処理が、案内用の音声データと「アナウンス音声」を示す種別データを含む音声出力命令を音声出力処理17aに渡すと、ナビゲーション制御部17は音声出力処理17aを実行し、受けた音声出力命令中の音声データを音声信号入出力部14に出力する。これにより、音声信号入出力部14は音声出力制御装置2に当該音声データに対応する音声信号を入力し、音声出力制御装置2は車室用スピーカ4にこの音声信号に応じた音声を出力させる。また音声出力処理17aにおいてナビゲーション制御部17は、当該音声信号を音声信号入出力部14が出力している間、当該音声出力命令中の種別データの示す種別(「アナウンス音声」)を、RAM中の所定の再生中音声種別変数として保持し、当該音声信号の出力が終了すると、当該再生中音声種別変数の値をデフォルト値(何も再生していないことを示す値)に書き換える。   For example, when the route guidance process passes a voice output command including voice data for guidance and type data indicating “announcement voice” to the voice output process 17a, the navigation control unit 17 executes and receives the voice output process 17a. The audio data in the audio output command is output to the audio signal input / output unit 14. As a result, the audio signal input / output unit 14 inputs an audio signal corresponding to the audio data to the audio output control device 2, and the audio output control device 2 causes the vehicle interior speaker 4 to output audio corresponding to the audio signal. . In the audio output process 17a, the navigation control unit 17 sets the type ("announcement audio") indicated by the type data in the audio output command in the RAM while the audio signal input / output unit 14 outputs the audio signal. Is stored as a predetermined audio type variable during reproduction, and when the output of the audio signal is completed, the value of the audio type variable during reproduction is rewritten to a default value (a value indicating that nothing is being reproduced).

また例えば、楽曲再生処理が、再生用の楽曲データと「音楽」を示す種別データとを含む音声出力命令を音声出力処理17aに渡すと、ナビゲーション制御部17は音声出力処理17aを実行し、受けた音声出力命令中の音声データを音声信号入出力部14に出力する。また音声出力処理17aにおいてナビゲーション制御部17は、当該音声信号を音声信号入出力部14が出力している間、当該音声出力命令中の種別データの示す種別(「音楽」)を、RAM中の所定の再生中音声種別変数として保持し、当該音声信号の出力が終了すると、当該再生中音声種別変数の値をデフォルト値に書き換える。   Further, for example, when the music playback process passes a voice output command including the music data for playback and the type data indicating “music” to the voice output process 17 a, the navigation control unit 17 executes the voice output process 17 a and receives it. The audio data in the audio output command is output to the audio signal input / output unit 14. In the audio output processing 17a, the navigation control unit 17 sets the type ("music") indicated by the type data in the audio output command in the RAM while the audio signal input / output unit 14 outputs the audio signal. When the output of the audio signal is completed, the value of the audio type variable being reproduced is rewritten to a default value.

音声認識処理17bは、車室内のドライバの発話内容を文字列として認識するための処理である。より具体的には、ナビゲーション制御部17は、音声認識処理17bにおいて、ナビゲーション制御部17が実行する他の処理から音声認識命令を受けると、マイク15の取得した音声信号に対応する音声データを、音声信号入出力部14から取得し、取得した音声データに対して周知の音声認識処理を行うことで、この音声データの示す語句の文字列を特定し、特定した文字列を、音声認識命令の出力元の処理に返す。   The voice recognition process 17b is a process for recognizing the utterance content of the driver in the passenger compartment as a character string. More specifically, when the navigation control unit 17 receives a voice recognition command from another process executed by the navigation control unit 17 in the voice recognition process 17b, the voice data corresponding to the voice signal acquired by the microphone 15 is obtained. By acquiring the voice signal from the voice signal input / output unit 14 and performing known voice recognition processing on the acquired voice data, the character string of the phrase indicated by the voice data is specified, and the specified character string is converted into the voice recognition command. Return to output source process.

画像表示処理17cは、画像表示装置12に画像を表示させる処理である。より具体的には、ナビゲーション制御部17は、画像表示処理17cにおいて、ナビゲーション制御部17が実行する他の処理から画像表示命令および画像データを受けると、この画像データを画像表示装置12に表示させる。   The image display process 17c is a process for displaying an image on the image display device 12. More specifically, upon receiving an image display command and image data from other processing executed by the navigation control unit 17 in the image display processing 17c, the navigation control unit 17 causes the image display device 12 to display the image data. .

現在位置特定処理は、位置検出器11からの信号に基づいて車両の現在位置(緯度、経度)を繰り返し特定する処理である。   The current position specifying process is a process of repeatedly specifying the current position (latitude and longitude) of the vehicle based on the signal from the position detector 11.

地図表示処理は、記憶部15中の地図データに基づいて、現在位置周辺の地図を画像表示装置12に表示させる処理である。具体的には、ナビゲーション制御部17は、地図表示処理において、現在位置周辺の地図の画像データを地図データから読み出し、読み出した画像データと画像表示命令を画像表示処理17cに出力する。   The map display process is a process of displaying a map around the current position on the image display device 12 based on the map data in the storage unit 15. Specifically, in the map display process, the navigation control unit 17 reads the map image data around the current position from the map data, and outputs the read image data and the image display command to the image display process 17c.

目的地設定処理は、ドライバの入力に基づいて車両の目的地を設定する処理である。ドライバの入力としては、操作部13を用いた目的地名称等の入力でもよいし、音声による目的地名称等の入力でもよい。音声による入力の場合、ナビゲーション制御部17は目的地設定処理において、音声認識命令を音声認識処理17bに出力する。そして、音声認識処理17bから音声認識によって特定された発話音声の文字列を受ける。   The destination setting process is a process for setting the destination of the vehicle based on the input from the driver. As an input of the driver, an input of a destination name or the like using the operation unit 13 or an input of a destination name or the like by voice may be used. In the case of input by voice, the navigation control unit 17 outputs a voice recognition command to the voice recognition process 17b in the destination setting process. Then, the speech recognition character string specified by the speech recognition is received from the speech recognition processing 17b.

経路算出処理は、現在位置から目的地設定処理が設定した目的地までの最適な誘導経路を地図データに基づいて算出する処理である。   The route calculation process is a process for calculating an optimum guidance route from the current position to the destination set by the destination setting process based on the map data.

経路案内処理は、経路算出処理によって算出された誘導経路に沿った車両の走行を案内する処理である。具体的には、誘導経路に沿った右左折交差点の手前で右折または左折の案内音声を出力させる。この案内音声を出力させる際は、案内用の音声データと「アナウンス音声」を示す種別データを含む音声出力命令を音声出力処理17aに渡すと、上述の通り、車室用スピーカ4から案内用の音声データに対応する音声が出力される。   The route guidance process is a process for guiding the traveling of the vehicle along the guidance route calculated by the route calculation process. Specifically, a guidance sound for a right turn or a left turn is output in front of a right / left turn intersection along the guidance route. When outputting this guidance voice, if a voice output command including guidance voice data and type data indicating “announcement voice” is passed to the voice output processing 17a, as described above, the guidance speaker 4 outputs the guidance voice. Audio corresponding to the audio data is output.

楽曲再生処理は、ユーザの操作部13に対する楽曲選択操作および再生操作に基づいて、楽曲選択操作によって選択された楽曲のデータをフラッシュメモリ、HDD等の記憶媒体から読み出し、必要ならばデコードし、得た楽曲の音声データと「音楽」を示す種別データとを含む音声出力命令を音声出力処理17aに渡す。すると、上述の通り、車室用スピーカ4から楽曲の音声データに対応する音楽が再生される。   In the music reproduction process, based on the music selection operation and the reproduction operation on the operation unit 13 by the user, the music data selected by the music selection operation is read from a storage medium such as a flash memory, an HDD, etc., and decoded if necessary. An audio output command including the audio data of the selected music and the type data indicating “music” is passed to the audio output processing 17a. Then, as described above, music corresponding to the audio data of the music is played from the vehicle compartment speaker 4.

ナビゲーション制御部17の他の処理については後述する。次に、携帯端末5の構成について説明する。図2に示すように、携帯端末5は、近距離無線部50a、遠距離無線部50b、位置検出器51、画像表示装置52、操作部53、スピーカ54、マイク55、地図データ取得部56、携帯側制御部57を備えている。   Other processes of the navigation control unit 17 will be described later. Next, the configuration of the mobile terminal 5 will be described. As shown in FIG. 2, the mobile terminal 5 includes a short-range wireless unit 50a, a long-range wireless unit 50b, a position detector 51, an image display device 52, an operation unit 53, a speaker 54, a microphone 55, a map data acquisition unit 56, A portable side control unit 57 is provided.

近距離無線部50aは、車載ナビゲーション装置1と無線通信を実現するための周知の無線機である。使用する無線通信規格としては、車載ナビゲーション装置1の無線部10と同じものを採用する。   The short-range wireless unit 50a is a known wireless device for realizing wireless communication with the in-vehicle navigation device 1. As the wireless communication standard to be used, the same one as the wireless unit 10 of the in-vehicle navigation device 1 is adopted.

遠距離無線部50bは、車外の無線通信基地局に無線接続し、その無線基地局を介して車外の各種通信装置と通信を行うための無線機である。   The long-distance wireless unit 50b is a wireless device that wirelessly connects to a wireless communication base station outside the vehicle and communicates with various communication devices outside the vehicle via the wireless base station.

位置検出器51は、GPS受信機、車速センサ、ジャイロセンサ等、車両の現在位置を特定するための信号を携帯側制御部57に出力するセンサである。画像表示装置52は、携帯側制御部57の制御に従って文字や画像をユーザに表示する液晶ディスプレイ等の装置である。操作部53は、ユーザの操作を受け付け、受け付けた操作に応じた信号を携帯側制御部57に出力する装置である。   The position detector 51 is a sensor that outputs a signal for specifying the current position of the vehicle, such as a GPS receiver, a vehicle speed sensor, and a gyro sensor, to the portable control unit 57. The image display device 52 is a device such as a liquid crystal display that displays characters and images to the user under the control of the portable control unit 57. The operation unit 53 is a device that accepts a user operation and outputs a signal corresponding to the accepted operation to the portable-side control unit 57.

スピーカ54は、携帯端末5の筐体内に内蔵され、携帯側制御部57から出力された音声信号に応じた音声を出力する装置である。マイク55は、携帯端末5の筐体内に内蔵され、携帯端末5のユーザ(すなわちドライバ)が発した音声の音声信号を取得して携帯側制御部57に出力する装置である。地図データ取得部56は、地図データ取得部16と同等の地図データを読み取る装置である。   The speaker 54 is a device that is built in the housing of the portable terminal 5 and outputs a sound corresponding to the sound signal output from the portable control unit 57. The microphone 55 is a device that is built in the casing of the mobile terminal 5, acquires an audio signal of a voice emitted by a user (that is, a driver) of the mobile terminal 5, and outputs it to the mobile-side control unit 57. The map data acquisition unit 56 is a device that reads map data equivalent to the map data acquisition unit 16.

携帯側制御部57は、CPU、RAM、ROM、フラッシュメモリ等を備えた制御回路(例えばマイクロコントローラ)であって、ROMまたはフラッシュメモリに記録されたプログラムをCPUが実行することで、種々の処理を実現するようになっている。携帯側制御部57が行う処理としては、例えば、ナビゲーション制御部17と同様の現在位置特定処理、地図表示処理、目的地設定処理、経路算出処理、経路案内処理、楽曲再生処理等がある。   The portable control unit 57 is a control circuit (for example, a microcontroller) including a CPU, a RAM, a ROM, a flash memory, and the like, and various processes are performed when the CPU executes a program recorded in the ROM or the flash memory. Has come to be realized. The processing performed by the portable control unit 57 includes, for example, current position specifying processing, map display processing, destination setting processing, route calculation processing, route guidance processing, music reproduction processing, and the like, similar to the navigation control unit 17.

ただし、携帯側制御部57が実行する各処理において、車載ナビゲーション装置1と携帯端末5が接続しているときの音声出力命令の出力先は、後述する図3の携帯側排他制御処理である。   However, in each process executed by the mobile side control unit 57, the output destination of the voice output command when the in-vehicle navigation device 1 and the mobile terminal 5 are connected is the mobile side exclusive control process of FIG.

以下、本実施形態における車載ナビゲーション装置1と携帯端末5の連携作動について説明する。本実施形態では、車載ナビゲーション装置1と携帯端末5は、音声の排他制御を行う。具体的には、携帯端末5が音声(第1の音声に相当する)を出力する必要がある場合は、ナビゲーション制御部17は、その時点で音声出力制御装置2が車室用スピーカ4に出力させている音声(第2の音声に相当する)の音量を低減させ、更に、車室用スピーカ4に当該第1の音声を出力させる。   Hereinafter, the cooperative operation of the in-vehicle navigation device 1 and the mobile terminal 5 in the present embodiment will be described. In the present embodiment, the in-vehicle navigation device 1 and the mobile terminal 5 perform audio exclusive control. Specifically, when the mobile terminal 5 needs to output sound (corresponding to the first sound), the navigation control unit 17 outputs the sound output control device 2 to the vehicle interior speaker 4 at that time. The volume of the sound (corresponding to the second sound) being reduced is reduced, and further, the first sound is output to the speaker 4 for the passenger compartment.

これを実現するために、携帯側制御部57は、図3に示す携帯側排他制御処理を実行し、ナビゲーション制御部17は、図4に示す車載側排他制御処理を実行するようになっている。以下、これらのフローチャートに基づく携帯側制御部57、ナビゲーション制御部17の作動について、図5のシーケンス図も参照して説明する。   In order to realize this, the portable side control unit 57 executes the portable side exclusive control process shown in FIG. 3, and the navigation control unit 17 executes the in-vehicle side exclusive control process shown in FIG. . Hereinafter, the operations of the portable control unit 57 and the navigation control unit 17 based on these flowcharts will be described with reference to the sequence diagram of FIG.

まず、ドライバが携帯端末5を携帯して車両の車室内に搭乗したとする。このとき、車載ナビゲーション装置1と携帯端末5とは、無線部10および近距離無線部50aを介して周知の接続手順を経て互いに無線接続する。車載ナビゲーション装置1と携帯端末5の無線接続が確立すると、携帯側制御部57は図3に示す処理を開始し、ナビゲーション制御部17は図4に示す処理を開始する。   First, it is assumed that the driver carries the mobile terminal 5 and gets in the vehicle cabin. At this time, the in-vehicle navigation device 1 and the mobile terminal 5 are wirelessly connected to each other through a known connection procedure via the wireless unit 10 and the short-range wireless unit 50a. When the wireless connection between the in-vehicle navigation device 1 and the portable terminal 5 is established, the portable side control unit 57 starts the process shown in FIG. 3, and the navigation control unit 17 starts the process shown in FIG.

そしてまず携帯側制御部57は、ステップ110で音声出力の必要があるか否かを判定し、音声出力の必要があると判定するまで、この判定を繰り返す。またナビゲーション制御部17は、ステップ210で音声出力要求を受信したか否かを判定し、受信したと判定するまで、この判定を繰り返す。   First, the portable control unit 57 determines whether or not voice output is necessary in step 110, and repeats this determination until it is determined that voice output is necessary. In addition, the navigation control unit 17 determines whether or not an audio output request has been received in Step 210 and repeats this determination until it is determined that it has been received.

携帯側制御部57における音声出力の必要の有無については、携帯側制御部57が同時に実行している他の処理から新たに音声出力命令を受けたときに、音声出力の必要があると判定し、それ以外の場合には、音声出力の必要がないと判定する。   As to whether or not the portable control unit 57 needs to output a sound, it is determined that a sound output is necessary when a new sound output command is received from another process simultaneously executed by the portable control unit 57. In other cases, it is determined that there is no need for audio output.

音声出力命令を受けて音声出力が必要であると判定すると、続いてステップ120に進み、出力したい音声の種別を特定する。出力したい音声(第1の音声)は、当該音声出力命令に含まれる音声データに対応する音声であり、出力したい音声の種別は、当該音声出力命令に含まれる種別データに基づいて特定する。   If a voice output command is received and it is determined that voice output is necessary, the process proceeds to step 120 to specify the type of voice to be output. The sound to be output (first sound) is a sound corresponding to the sound data included in the sound output command, and the type of sound to be output is specified based on the type data included in the sound output command.

続いてステップ130では、近距離無線部50aを用いて、図5に示すように、音声出力要求701を車載ナビゲーション装置1に送信する。この音声出力要求701には、ステップ120で特定した音声種別の情報を含める。ステップ130に続いては、ステップ140で、この音声出力要求701に対する応答を待つ。   Subsequently, in step 130, the audio output request 701 is transmitted to the in-vehicle navigation device 1 as shown in FIG. The audio output request 701 includes information on the audio type specified in step 120. Subsequent to step 130, in step 140, a response to the voice output request 701 is awaited.

すると、ナビゲーション制御部17が無線部10を介してこの音声出力要求701を受信し、ステップ210で音声出力要求を受信したと判定し、続いてステップ220に進む。ステップ220では、受信した音声出力要求に含まれる音声種別の情報に基づいて、携帯端末5が出力したい音声(第1の音声)の種別を特定する。   Then, the navigation control unit 17 receives this audio output request 701 via the radio unit 10, determines that the audio output request is received in step 210, and then proceeds to step 220. In step 220, the type of voice (first voice) that the portable terminal 5 desires to output is specified based on the voice type information included in the received voice output request.

続いてステップ230では、車載ナビゲーション装置1側の音声出力状態を特定する。すなわち、車載ナビゲーション装置1が既に車室用スピーカ4に音声を出力させているか否かを特定し、また、出力させていれば、どのような種別の音声を出力させているかを特定する。   Subsequently, in step 230, the voice output state on the in-vehicle navigation device 1 side is specified. That is, it is specified whether or not the in-vehicle navigation device 1 has already output sound to the vehicle compartment speaker 4, and if it is output, what type of sound is output.

車載ナビゲーション装置1が既に車室用スピーカ4に音声を出力させているか否かは、音声出力処理17aにおいて説明した再生中音声種別変数の値がデフォルト値であるときに、音声を出力させていないと判定し、デフォルト値でないときに、既に音声を出力させていると判定する。また、どのような種別の音声を出力させているかについても、再生中音声種別変数の値に基づいて特定する。   Whether or not the in-vehicle navigation device 1 has already output sound to the vehicle compartment speaker 4 is not output when the value of the sound type variable being reproduced described in the sound output processing 17a is the default value. If it is not the default value, it is determined that the sound has already been output. Also, what type of sound is output is specified based on the value of the currently-playing sound type variable.

続いてステップ240では、ステップ220で特定した音声種別と、ステップ230で特定した音声出力状態に基づいて、携帯端末5側の要求による音声出力の方が車載ナビゲーション装置1の要求による音声出力よりも優先するか否かを判定する。   Subsequently, in step 240, based on the voice type specified in step 220 and the voice output state specified in step 230, the voice output by the request on the portable terminal 5 side is more than the voice output by the request of the in-vehicle navigation device 1. Determine whether to give priority.

具体的には、ステップ230で、車載ナビゲーション装置1が車室用スピーカ4に音声を出力させていないと判定していれば、携帯端末5側の要求による音声出力の方が優先すると判定する。   Specifically, if it is determined in step 230 that the in-vehicle navigation device 1 does not output sound to the vehicle compartment speaker 4, it is determined that the sound output by the request on the portable terminal 5 side has priority.

また、ステップ230で、車載ナビゲーション装置1が車室用スピーカ4に音声を出力させていると判定していれば、車載ナビゲーション装置1が出力させている音声(第2の音声の一例に相当する)の種別(ステップ230で特定済み)と携帯端末5が出力したい音声(第1の音声)の種別(ステップ220で特定済み)を比較することで、どちらの音声が優先するかを判定する。   If it is determined in step 230 that the in-vehicle navigation device 1 outputs sound to the vehicle compartment speaker 4, the sound output by the in-vehicle navigation device 1 (corresponding to an example of the second sound). ) Type (specified in step 230) and the type of voice (first voice) desired to be output by the mobile terminal 5 (specified in step 220), it is determined which voice has priority.

具体的には、携帯端末5が出力したい音声を携帯側音声とし、車載ナビゲーション装置1が出力させている音声をナビ側音声とすると、ナビ側音声の種別が「アナウンス音声」で、携帯側音声の種別が「アナウンス音声」または「音楽」の場合、ナビ側音声が優先であると判定する。このようにするのは、ナビ側音声の種別が「アナウンス音声」である場合は、携帯側音声よってナビ側音声が中断されたり聞こえ難くなってしまうことを防ぐためである。   Specifically, if the voice that the portable terminal 5 wants to output is the portable side voice and the voice that the in-vehicle navigation device 1 outputs is the navigation side voice, the type of the navigation side voice is “announce voice”, and the portable side voice When the type of “announcement voice” or “music” is selected, it is determined that the navigation side voice has priority. This is to prevent the navigation side voice from being interrupted or difficult to hear by the mobile side voice when the type of the navigation side voice is “announcement voice”.

また、ナビ側音声の種別が「音楽」で、携帯側音声の種別が「アナウンス音声」の場合、携帯側音声が優先であると判定する。このようにするのは、音楽よりもアナウンス音声の方がドライバにとって重要であると考えられ、また、音楽が中断したり音量が低下しても害はさほどないと考えられるからである。   Further, when the type of the navigation side voice is “music” and the type of the mobile side voice is “announcement voice”, it is determined that the mobile side voice has priority. This is because the announcement voice is considered to be more important to the driver than the music, and it is considered that there is not much harm if the music is interrupted or the volume is lowered.

また、ナビ側音声の種別が「音楽」で、携帯側音声の種別も「音楽」である場合は、ナビ側音声を優先としてもよいし、携帯側音声を優先としてもよい。   Further, when the navigation side voice type is “music” and the portable side voice type is “music”, the navigation side voice may be given priority or the portable side voice may be given priority.

ステップ240で、ナビ側音声が優先すると判定した場合、続いてステップ250に進み、無線部10を用いて、音声出力不許可(NG)の応答702を携帯端末5に送信し、その後ステップ210に戻って再度音声出力要求を受信するまで待つ。   If it is determined in step 240 that the navigation side voice is prioritized, the process proceeds to step 250, where the wireless unit 10 is used to transmit a voice output non-permission (NG) response 702 to the portable terminal 5, and then to step 210. Return and wait until an audio output request is received again.

携帯側制御部57は、ステップ140で音声出力要求701に対する応答を待っている状態で、近距離無線部50aを介して応答を受信すると、その応答が音声出力許可(OK)であるか音声出力不許可(NG)であるかを判定する。   When the portable control unit 57 receives a response via the short-range wireless unit 50a while waiting for a response to the audio output request 701 in step 140, the portable side control unit 57 determines whether the response is audio output permission (OK). It is determined whether it is non-permitted (NG).

したがって、上述の応答702を受信すると、応答が音声出力不許可(NG)であると判定し、続いてステップ150で、所定の待機時間(例えば1分間)待機する。この待機中は、携帯側音声を送信も出力もしないので、携帯側音声の出力が禁止された状態になる。待機した後、ステップ130に戻り、音声出力要求701と同じ音声種別の情報を含む音声出力要求703を送信し、続いてステップ140で応答を待つ。   Therefore, when the above-mentioned response 702 is received, it is determined that the response is voice output disapproval (NG), and then in step 150, a predetermined waiting time (for example, 1 minute) is waited. During this standby, since neither mobile-side audio is transmitted nor output, the output of mobile-side audio is prohibited. After waiting, the process returns to step 130 and transmits an audio output request 703 including information of the same audio type as the audio output request 701, and then waits for a response at step 140.

するとナビゲーション制御部17は、この音声出力要求703を受信することで、ステップ210で音声出力要求を受信したと判定し、続いてステップ220で上述の通り携帯側音声の種別を特定し、更にステップ230で上述の通り車載ナビゲーション装置1側の音声出力状態を特定する。   Then, the navigation control unit 17 receives this voice output request 703 and determines that the voice output request has been received in step 210. Subsequently, in step 220, the type of the portable side voice is specified as described above, and further step In 230, the voice output state on the in-vehicle navigation device 1 side is specified as described above.

音声出力要求701、703に含まれる音声種別の情報は同じなので、今回のステップ220で特定する音声の種別は、前回のステップ220で特定した音声の種別と変わりない。しかし、前回の音声出力要求701の送信から待機時間が経過しているので、今回のステップ230における特定結果は、前回のステップ230における特定結果とは異なる場合がある。   Since the audio type information included in the audio output requests 701 and 703 is the same, the audio type specified in the current step 220 is the same as the audio type specified in the previous step 220. However, since the standby time has elapsed since the previous transmission of the audio output request 701, the specific result in this step 230 may be different from the specific result in the previous step 230.

例えば、前回のステップ230ではアナウンス音声を出力していると判定されたが、その後、アナウンス音声の出力が終了し、今回のステップ230では、車載ナビゲーション装置1は車室用スピーカ4に何も出力させていないと判定するか、あるいは、音楽を出力させていると判定する場合もある。   For example, it is determined in the previous step 230 that the announcement voice is output, but then the announcement voice output is finished, and in this step 230, the in-vehicle navigation device 1 outputs nothing to the vehicle compartment speaker 4. There are also cases where it is determined that no music is being output or that music is being output.

このような場合、ステップ220で特定した携帯側音声の種別が「アナウンス音声」であれば、続くステップ240では、携帯側音声が優先であると判定し、続いてステップ260に進み、無線部10を用いて、音声出力許可(OK)の応答704を携帯端末5に送信する。   In such a case, if the type of the portable side audio identified in step 220 is “announced voice”, in the following step 240, it is determined that the portable side voice has priority, and then the process proceeds to step 260 where the radio unit 10 Is sent to the portable terminal 5 as a voice output permission (OK) response 704.

そして更にステップ270に進み、現在車室用スピーカ4に出力させている音声の音量を低減させる。音量を低減させる方法としては、音量を完全にゼロにするためにミュートする方法を採用してもよいし、あるいは、音量を今よりも小さくかつゼロよりは大きい音量に下げる方法を採用してもよい。   Further, the process proceeds to step 270, where the volume of the sound currently being output to the passenger compartment speaker 4 is reduced. As a method of reducing the volume, a method of muting to completely reduce the volume may be adopted, or a method of reducing the volume to a volume lower than the current level and higher than zero may be adopted. Good.

例えば、現在出力している音声の種別が「アナウンス音声」であれば前者を採用し、現在出力している音声の種別が「音楽」であれば後者を採用してもよい。これは、音楽は音量を下げれば他の音声と重なり合っても当該他の音声が聴き取り難くなる可能性が低いからである。   For example, the former may be adopted if the type of the currently output voice is “announced voice”, and the latter may be adopted if the type of the currently output voice is “music”. This is because if the volume of music is lowered, it is unlikely that it will be difficult to hear other sounds even if they overlap with other sounds.

音量低減は、具体的には、ナビゲーション制御部17から音声出力制御装置2を制御して、RSE3から入力される音声信号の音量を低減させる。これにより、車内の他の機器(具体的にはRSE3)から車室用スピーカ4に出力される音声の音量も低下する。   Specifically, the volume reduction is performed by controlling the audio output control device 2 from the navigation control unit 17 to reduce the volume of the audio signal input from the RSE 3. As a result, the volume of the sound output from the other equipment in the vehicle (specifically, RSE 3) to the vehicle interior speaker 4 is also reduced.

また、現在音声信号入出力部14に対して出力している音声データのそれぞれについて、対応する音声信号の音量を低減させるよう、音声信号入出力部14を制御する。これにより、現在車載ナビゲーション装置1から出力されている音声の音量も車室用スピーカ4において低下する。ステップ270に続いてステップ280では、携帯端末5から音声データを受信するまで待つ。   In addition, the audio signal input / output unit 14 is controlled so as to reduce the volume of the corresponding audio signal for each of the audio data currently output to the audio signal input / output unit 14. Thereby, the volume of the sound currently output from the vehicle-mounted navigation device 1 is also reduced in the vehicle interior speaker 4. In step 280 following step 270, the process waits until audio data is received from the portable terminal 5.

また、携帯側制御部57は、ステップ140において、この応答704を受信すると、応答が音声出力許可(OK)であると判定し、続いてステップ160に進む。そしてステップ160では、出力したい携帯側音声の音声データ705(音声データの実体)を車載ナビゲーション装置1に送信する。送信する携帯側音声の音声データは、上述の音声出力命令に含まれている音声データである。続いてステップ170では、終了通知の受信を待つ。   Further, when receiving the response 704 in step 140, the portable control unit 57 determines that the response is an audio output permission (OK), and then proceeds to step 160. In step 160, the mobile-side audio data 705 to be output is transmitted to the in-vehicle navigation device 1. The voice data of the portable side voice to be transmitted is voice data included in the voice output command described above. Subsequently, in step 170, reception of an end notification is awaited.

また、ナビゲーション制御部17は、ステップ280において、この音声データ705を受信すると、受信した音声データを音声信号入出力部14に出力する。なお、この音声データに対応する音声信号の音量については、ステップ270のように低下させることはない。したがって、車載ナビゲーション装置1から出力される音声でも、携帯端末5から受けた音声データに対応する音声信号は音量が低減されず、他の音声データに対応する音声信号は音量が低減される。   When the navigation control unit 17 receives the audio data 705 in step 280, the navigation control unit 17 outputs the received audio data to the audio signal input / output unit 14. Note that the volume of the audio signal corresponding to the audio data is not reduced as in step 270. Therefore, the volume of the audio signal corresponding to the audio data received from the mobile terminal 5 is not reduced even in the audio output from the in-vehicle navigation device 1, and the volume of the audio signal corresponding to the other audio data is reduced.

携帯端末5から受けた音声データに対応する音声信号の出力が音声信号入出力部14で終了した場合、音声信号入出力部14はその旨をナビゲーション制御部17に通知する。するとナビゲーション制御部17はステップ290に進み、終了通知706を携帯端末5に送信し、その後、処理を再度ステップ210に戻す。また、携帯側制御部57は、ステップ170において、この終了通知706を受信すると、再度ステップ110に戻る。   When the output of the audio signal corresponding to the audio data received from the portable terminal 5 is terminated by the audio signal input / output unit 14, the audio signal input / output unit 14 notifies the navigation control unit 17 to that effect. Then, the navigation control unit 17 proceeds to step 290, transmits an end notification 706 to the portable terminal 5, and then returns the process to step 210 again. Further, when receiving the end notification 706 in step 170, the portable side control unit 57 returns to step 110 again.

なお、図5の例では、携帯端末5が最初に音声出力要求701を送信した後、車載ナビゲーション装置1は音声出力不許可(NG)の応答702を携帯端末5に返しているが、ステップ240の判定結果によっては、このときに音声出力許可(OK)の応答を送信する場合もある。   In the example of FIG. 5, after the portable terminal 5 first transmits the voice output request 701, the in-vehicle navigation device 1 returns a voice output non-permission (NG) response 702 to the portable terminal 5. Depending on the determination result, an audio output permission (OK) response may be transmitted at this time.

このように、車載ナビゲーション装置1は携帯端末5から音声出力要求701を受けると、車載ナビゲーション装置1が出力中の音声と種別を比較して優先度を決定し、携帯側音声の音声出力が優先する場合であれば、車載ナビゲーション装置1およびRSE3が現在出力する音声の音量を低減させる。このため、ドライバは、あるときは、車載ナビゲーション装置1由来のナビ側音声を、またあるときは、携帯端末5由来の携帯側音声を、車室用スピーカ4によって聞くことができるようになる。   Thus, when the in-vehicle navigation device 1 receives the audio output request 701 from the portable terminal 5, the in-vehicle navigation device 1 determines the priority by comparing the type with the audio being output, and the audio output of the mobile side audio is prioritized. If so, the volume of the sound currently output by the in-vehicle navigation device 1 and the RSE 3 is reduced. For this reason, the driver can listen to the navigation-side voice derived from the in-vehicle navigation device 1 in some cases and the portable-side voice derived from the portable terminal 5 in other cases through the vehicle interior speaker 4.

以上説明した通り、携帯端末5は、車載ナビゲーション装置1と接続しているとき、携帯側音声を出力する必要があると判定したことに基づいて、車載ナビゲーション装置1が既に出力させているナビ側音声の音量を低減させるために、音声出力要求を車載ナビゲーション装置1に送信し(ステップ120、130)、当該音声出力要求を送信した後に、車室用スピーカ4に携帯側音声を出力させるため、当該携帯側音声の音声データを車載ナビゲーション装置1に送信する(ステップ160)。そして車載ナビゲーション装置1は、音声出力要求を携帯端末5から受信したことに基づいて、既に出力させているナビ側音声の音量を低減させる(ステップ270)。   As described above, when the mobile terminal 5 is connected to the in-vehicle navigation device 1, the navigation side that the in-vehicle navigation device 1 has already output based on the determination that the mobile side audio needs to be output. In order to reduce the volume of audio, an audio output request is transmitted to the in-vehicle navigation device 1 (steps 120 and 130), and after transmitting the audio output request, the vehicle interior speaker 4 outputs the mobile side audio. The voice data of the portable side voice is transmitted to the in-vehicle navigation device 1 (step 160). Then, the in-vehicle navigation device 1 reduces the volume of the navigation side voice that has already been output based on the reception of the voice output request from the portable terminal 5 (step 270).

このように、携帯端末5において出力したい携帯側音声があるとき、まず音声出力要求を車載ナビゲーション装置1に送信し、その上で、携帯側音声を出力させるので、車載ナビゲーション装置1でナビ側音声が出力されていても、その音の音量は低減される。したがって、車両側音声とナビ側音声とが重なってドライバにとって聴き取りづらくなる可能性が低減される。   As described above, when there is a mobile-side voice to be output from the mobile terminal 5, a voice output request is first transmitted to the in-vehicle navigation device 1 and then the mobile-side voice is output. Even if is output, the volume of the sound is reduced. Therefore, the possibility that the vehicle side voice and the navigation side voice overlap and it is difficult for the driver to hear is reduced.

また、携帯端末5は、車載ナビゲーション装置1と接続しているとき、携帯側音声を出力する必要があると判定したことに基づいて、携帯側音声の種別を特定し、特定した種別の情報を含む前記音声出力要求を前記車載ナビゲーション装置1に送信し、車載ナビゲーション装置1は更に、携帯端末5から音声出力要求を受信すると、受信した音声出力要求に含まれる音声種別情報に基づいて、携帯側音声の種別を特定し、また、車載ナビゲーション装置1が既に出力させているナビ側音声の種別を特定する(ステップ220、230)。   In addition, when the mobile terminal 5 is connected to the in-vehicle navigation device 1, the mobile terminal 5 specifies the type of the mobile side audio based on the determination that the mobile side audio needs to be output, and stores the information of the specified type. When the in-vehicle navigation device 1 further receives the audio output request from the portable terminal 5, the in-vehicle navigation device 1 transmits the audio output request including the audio output request to the in-vehicle navigation device 1 based on the audio type information included in the received audio output request. The type of voice is specified, and the type of navigation-side voice already output by the in-vehicle navigation device 1 is specified (steps 220 and 230).

そして、特定した携帯側音声の種別とナビ側音声の種別を比較することで、どちらの音声が優先するかを判定し、ナビ側音声が優先すると判定した場合、音声出力不許可の応答を携帯端末5に送信し、携帯側音声が優先すると判定した場合、携帯端末5が携帯側音声を出力させるための処理を行うよう、音声出力許可の応答を携帯端末5に送信する(ステップ240、250、260)。   Then, by comparing the type of the mobile-side voice and the type of the navigation-side voice, it is determined which voice has priority. If it is determined that the navigation-side voice has priority, a response indicating that voice output is not permitted is carried. When it is determined that the mobile-side voice is prioritized by transmission to the terminal 5, a voice output permission response is transmitted to the mobile terminal 5 so that the mobile terminal 5 performs processing for outputting the mobile-side voice (steps 240 and 250). 260).

そして車載ナビゲーション装置1は、携帯側音声が優先すると判定したことに基づいて、車載ナビゲーション装置1が既に出力させているナビ側音声の音量を低減させ、また携帯端末5は、音声出力要求を送信した後に携帯端末5から音声出力許可の応答を受信した場合、車室用スピーカ4に前記携帯側音声を出力させるための処理を実行するか、または、携帯端末5に搭載されるスピーカ54に携帯側音声を出力させ、また、音声出力要求を送信した後に、携帯端末5から音声出力不許可の応答を受信した場合、携帯側音声の出力を少なくとも待機時間だけ禁止する。   Then, the in-vehicle navigation device 1 reduces the volume of the navigation side audio that the in-vehicle navigation device 1 has already output based on the determination that the mobile side audio has priority, and the mobile terminal 5 transmits an audio output request. After that, when a response of permission for audio output is received from the portable terminal 5, processing for causing the vehicle interior speaker 4 to output the portable side sound is executed, or the speaker 54 mounted on the portable terminal 5 carries it. When a voice output non-permission response is received from the portable terminal 5 after the side voice is output and the voice output request is transmitted, the portable side voice output is prohibited for at least the standby time.

このように、携帯端末5から車載ナビゲーション装置1に送信する音声出力要求に、出力したい携帯側音声の種別を含め、車載ナビゲーション装置1では、その携帯側音声の種別と既に出力させているナビ側音声の種別とを比較し、携帯側音声が優先する場合に、ナビ側音声の音量を低減して音声出力許可の応答を携帯端末5に送信し、携帯端末5では、音声出力許可の応答を受けると当該携帯側音声を車室用スピーカ4に出力させる。つまり、車載ナビゲーション装置1は、携帯側音声とナビ側音声の優先度に鑑みて、携帯側音声を出力するか否かを切り替えるという、よりきめ細かい処理を行うことができる。   As described above, the voice output request transmitted from the portable terminal 5 to the in-vehicle navigation device 1 includes the type of the portable-side voice to be output. In the in-vehicle navigation device 1, the type of the portable-side voice and the navigation side that has already been output. When the voice type is compared and the mobile side voice is given priority, the volume of the navigation side voice is reduced and a voice output permission response is transmitted to the mobile terminal 5, and the mobile terminal 5 sends a voice output permission response. When received, the portable side sound is output to the vehicle interior speaker 4. That is, the in-vehicle navigation device 1 can perform a finer process of switching whether or not to output the mobile side voice in view of the priority of the mobile side voice and the navigation side voice.

また、車載ナビゲーション装置1は、車室用スピーカ4に携帯側音声を出力させるための処理として、携帯側音声の音声データを車載ナビゲーション装置1に送信し、車載ナビゲーション装置1は更に、携帯側音声の音声データを携帯端末5から受信したことに基づいて、音声データの示す携帯側音声を車室用スピーカ4に出力させる。   In addition, the in-vehicle navigation device 1 transmits audio data of the portable side audio to the in-vehicle navigation device 1 as a process for causing the vehicle interior speaker 4 to output the portable side audio, and the in-vehicle navigation device 1 further includes the portable side audio. Is received from the portable terminal 5, the portable-side voice indicated by the voice data is output to the vehicle interior speaker 4.

車室用スピーカ(4)は、車室内のドライバにとって聞こえ易く配置および設定されているので、同じ音声でも、携帯端末(5)のスピーカが出力する場合と、車室用スピーカ(4)が出力する場合とでは、後者の方がドライバにとって聞こえ易い。したがって、上記のように、携帯端末(5)において送信する必要が発生した携帯側音声データも、車両に設置された車室用スピーカ(4)から出力させれば、ドライバの快適性が向上する。   The vehicle interior speaker (4) is arranged and set so that it can be easily heard by the driver in the vehicle interior. Therefore, even when the same sound is output from the speaker of the portable terminal (5), the vehicle interior speaker (4) is output. The latter is easier for the driver to hear. Accordingly, as described above, if the portable side audio data that needs to be transmitted in the portable terminal (5) is also output from the vehicle compartment speaker (4) installed in the vehicle, the comfort of the driver is improved. .

なお、本実施形態においは、ナビゲーション制御部17が、音声出力処理17aを実行することで音声出力処理手段の一例として機能し、120、130を実行することで音声出力要求手段の一例として機能し、ステップ160を実行することで出力制御手段の一例として機能する。また、携帯側制御部57が、ステップ220、230を実行することで、特定手段の一例として機能し、ステップ240、250、260を実行することで、応答手段の一例として機能し、ステップ270を実行することで音量低減手段の一例として機能する。   In this embodiment, the navigation control unit 17 functions as an example of an audio output processing unit by executing the audio output process 17a, and functions as an example of an audio output request unit by executing 120 and 130. , Step 160 functions as an example of output control means. Moreover, the portable side control part 57 functions as an example of a specifying means by executing Steps 220 and 230, and functions as an example of a response means by executing Steps 240, 250, and 260. When executed, it functions as an example of a sound volume reducing means.

(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態に係る通信システムのハードウェア構成は、第1実施形態と同じである。また、本実施形態の通信システムは、第1実施形態において説明した通信システムの作動を行うと共に、以下に示すような作動を更に行う。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The hardware configuration of the communication system according to the present embodiment is the same as that of the first embodiment. In addition, the communication system according to the present embodiment performs the operation of the communication system described in the first embodiment and further performs the following operations.

本実施形態では、車載ナビゲーション装置1と携帯端末5は、車載ナビゲーション装置1が音声認識のために携帯端末5を利用する。具体的には、車載ナビゲーション装置1が音声認識をする必要がある場合は、ナビゲーション制御部17が音声認識の要求を携帯端末5に送信し、この要求を受けた携帯端末5の携帯側制御部57が、音声認識サーバと通信して音声認識結果の文字列を取得し、取得した音声認識結果の文字列を車載ナビゲーション装置1に送信する。   In the present embodiment, the in-vehicle navigation device 1 and the mobile terminal 5 use the mobile terminal 5 for voice recognition. Specifically, when the in-vehicle navigation device 1 needs to perform speech recognition, the navigation control unit 17 transmits a request for speech recognition to the mobile terminal 5, and the mobile side control unit of the mobile terminal 5 that has received this request. 57 communicates with the voice recognition server to acquire the character string of the voice recognition result, and transmits the acquired character string of the voice recognition result to the vehicle-mounted navigation device 1.

音声認識サーバは無線基地局を介して携帯端末5等と通信可能になっており、通信によって外部から問い合わせを受信すると、その問い合わせに含まれる音声データに対して音声認識を行うことで、音声データの表す語句の文字列を特定し、その音声認識結果の文字列を、音声データの送信元に返送する装置(例えば、ワークステーション)である。このような音声認識サーバは周知であり、例えば、Android端末およびiPhone端末向けのgoogleモバイルサービスにおいて音声検索サービスを実現するサーバとして実現されている。このような音声認識サーバは、携帯端末5に比べて、製品のサイズ、機能等の制約があまりないので、高い処理能力を持たせることが比較的容易であり、それ故、高品質の音声認識を実現できる。   The voice recognition server can communicate with the mobile terminal 5 or the like via the wireless base station. When an inquiry is received from the outside by communication, the voice data is recognized by performing voice recognition on the voice data included in the inquiry. Is a device (for example, a workstation) that specifies the character string of the phrase represented by and returns the character string of the voice recognition result to the voice data transmission source. Such a voice recognition server is well known, and for example, is realized as a server that implements a voice search service in a Google mobile service for Android terminals and iPhone terminals. Such a voice recognition server is relatively easy to give high processing capability because there are not many restrictions on the size, function, etc. of the product as compared with the portable terminal 5, and therefore, high-quality voice recognition. Can be realized.

このために、ナビゲーション制御部17は、図6に示す車載側音声認識連携処理を実行し、携帯側制御部57は、図7に示す携帯側音声認識連携処理を実行するようになっている。以下、これらのフローチャートに基づく携帯側制御部57、ナビゲーション制御部17の作動について、図8のシーケンス図も参照して説明する。   For this purpose, the navigation control unit 17 executes the in-vehicle side voice recognition cooperation process shown in FIG. 6, and the portable side control unit 57 executes the portable side voice recognition cooperation process shown in FIG. Hereinafter, the operation of the portable control unit 57 and the navigation control unit 17 based on these flowcharts will be described with reference to the sequence diagram of FIG.

まず、第1実施形態と同様、ドライバが携帯端末5を携帯して車両の車室内に搭乗し、車載ナビゲーション装置1と携帯端末5とが、無線部10および近距離無線部50aを介して互いに無線接続したとする。車載ナビゲーション装置1と携帯端末5の無線接続が確立すると、ナビゲーション制御部17は図6に示す処理を開始し、携帯側制御部57は図7に示す処理を開始する。   First, as in the first embodiment, the driver carries the portable terminal 5 and gets in the vehicle cabin, and the in-vehicle navigation device 1 and the portable terminal 5 are mutually connected via the radio unit 10 and the short-range radio unit 50a. Suppose you have a wireless connection. When the wireless connection between the in-vehicle navigation device 1 and the portable terminal 5 is established, the navigation control unit 17 starts the process shown in FIG. 6, and the portable side control unit 57 starts the process shown in FIG.

そしてまずナビゲーション制御部17は、ステップ410で音声認識の必要があるか否かを判定し、音声認識の必要があると判定するまで、この判定を繰り返す。また携帯側制御部57は、ステップ310で音声認識要求を受信したか否かを判定し、受信したと判定するまで、この判定を繰り返す。   First, the navigation control unit 17 determines whether or not voice recognition is necessary in step 410, and repeats this determination until it is determined that voice recognition is necessary. Further, the portable control unit 57 determines whether or not a voice recognition request has been received in step 310 and repeats this determination until it is determined that the request has been received.

なお、本実施形態では、車載ナビゲーション装置1と携帯端末5が接続している間は、ナビゲーション制御部17が実行する各種処理(例えば目的地設定処理)において、ドライバの音声による入力を受け付ける際には、第1実施形態のように音声認識処理17bに音声認識命令を出力するのではなく、図6の車載側音声認識連携処理に出力するようになっている。   In the present embodiment, while the in-vehicle navigation device 1 and the portable terminal 5 are connected, when receiving input by the driver's voice in various processes (for example, destination setting process) executed by the navigation control unit 17. Does not output a voice recognition command to the voice recognition process 17b as in the first embodiment, but outputs it to the in-vehicle voice recognition linkage process of FIG.

ナビゲーション制御部17における音声認識の必要の有無については、ナビゲーション制御部17が同時に実行している他の処理から新たに音声認識命令を受けたときに、音声認識の必要があると判定し、それ以外の場合には、音声認識の必要がないと判定する。   As to the necessity of voice recognition in the navigation control unit 17, it is determined that voice recognition is necessary when a new voice recognition command is received from another process simultaneously executed by the navigation control unit 17. Otherwise, it is determined that voice recognition is not necessary.

音声認識命令を受けて音声認識が必要であると判定すると、続いてステップ420に進み、無線部10を用いて、図8に示すように、音声認識要求801を携帯端末5に送信する。ステップ420に続いては、ステップ430で、この音声認識要求801に対する応答を待つ。   If it is determined that voice recognition is necessary in response to the voice recognition command, the process proceeds to step 420, where the wireless unit 10 is used to transmit a voice recognition request 801 to the portable terminal 5 as shown in FIG. Following step 420, in step 430, a response to the voice recognition request 801 is awaited.

すると、携帯側制御部57が近距離無線部50aを介してこの音声認識要求801を受信し、ステップ310で音声認識要求を受信したと判定し、続いてステップ320に進む。ステップ320では、携帯端末5が音声認識可能か否かを判定する。例えば、上述の音声認識サーバと遠距離無線部50bを介して通信可能か否かで、音声認識可能か否かを判定してもよい。   Then, the portable side control unit 57 receives the voice recognition request 801 via the short-range wireless unit 50a, determines that the voice recognition request is received in step 310, and then proceeds to step 320. In step 320, it is determined whether or not the mobile terminal 5 can recognize voice. For example, whether or not voice recognition is possible may be determined based on whether or not communication is possible with the voice recognition server described above via the long-distance wireless unit 50b.

ここでは、ステップ320で、音声認識可能であると判定したとする。すると携帯側制御部57は続いてステップ340で、音声認識可(OK)の応答802を車載ナビゲーション装置1に送信する。   Here, it is assumed that it is determined in step 320 that voice recognition is possible. Then, in step 340, the portable control unit 57 transmits a voice recognition enabled (OK) response 802 to the in-vehicle navigation device 1.

ステップ430でこの応答801を受信したナビゲーション制御部17は、応答が音声認識可(OK)の応答であるか音声認識不可(NG)の応答であるかを判定し、この場合、音声認識可(OK)の応答であると判定し、続いてステップ450に進み、携帯端末5から認識開始通知を受信するまで待つ。   The navigation control unit 17 that has received the response 801 in step 430 determines whether the response is a speech recognition enabled (OK) response or a speech recognition disabled (NG) response. In this case, the speech recognition is possible ( It is determined that the response is OK), and the process proceeds to step 450 and waits until a recognition start notification is received from the portable terminal 5.

一方携帯側制御部57は、ステップ340で音声認識可(OK)の応答802を送信した後、続いてステップ350で、まず遠距離無線部50bを用いて音声認識サーバとの接続を試み、接続に成功すると、近距離無線部50aを用いて、所定のデータフォーマットの認識開始通知803を車載ナビゲーション装置1に送信する。このようにすることで、音声認識を行う直前に、車載ナビゲーション装置1に通知を行うことができる。   On the other hand, the portable-side control unit 57 transmits a response 802 indicating that voice recognition is possible (OK) in step 340, and then in step 350, first attempts to connect to the voice recognition server using the long-distance wireless unit 50b. If successful, the short-range wireless unit 50a is used to transmit a recognition start notification 803 of a predetermined data format to the in-vehicle navigation device 1. In this way, it is possible to notify the vehicle-mounted navigation device 1 immediately before performing voice recognition.

なお、この認識開始通知803には、音声認識サーバが認識可能な語彙を示す認識語彙情報を含める。音声認識サーバが認識可能な語彙を示す認識語彙情報は、認識可能な語彙の文字列のリストであってもよいし、認識可能な語彙が属するカテゴリ(例えば、数字、人名、地名)のリストであってもよい。なお、音声認識サーバの認識語彙情報は、あらかじめ遠距離無線部50bを用いて音声認識サーバと通信し、その通信の際に音声認識サーバから受信するようになっていてもよいし、操作部53を用いてドライバが携帯端末5にあらかじめ登録し、携帯側制御部57がその登録内容をフラッシュメモリに記録しておいてもよい。   The recognition start notification 803 includes recognition vocabulary information indicating vocabulary that can be recognized by the speech recognition server. The recognition vocabulary information indicating the vocabulary that can be recognized by the speech recognition server may be a list of character strings of the vocabulary that can be recognized, or a list of categories (for example, numbers, personal names, place names) to which the vocabulary that can be recognized belongs. There may be. Note that the recognition vocabulary information of the voice recognition server may be communicated with the voice recognition server in advance using the long-distance wireless unit 50b, and may be received from the voice recognition server at the time of the communication. May be registered in advance in the portable terminal 5 by using the, and the portable side control unit 57 may record the registration contents in the flash memory.

携帯側制御部57は、ステップ350に続いては、ステップ360で、車載ナビゲーション装置1から発話音声データを受信するまで待つ。   Following step 350, the portable-side control unit 57 waits until utterance voice data is received from the in-vehicle navigation device 1 in step 360.

一方ナビゲーション制御部17は、ステップ450で、上記のように携帯端末5から送信された認識開始通知803を受信すると、続いてステップ460に進み、ガイド表示を行い、続いてステップ470でドライバの発話を待つ。ガイド表示では、ドライバに発話を促す音声報知または画面表示を、音声信号入出力部14または画像表示装置12を制御して行う。さらにこの際、受信した認識開始通知803に含まれる認識語彙情報を、画像表示装置12に表示させる。   On the other hand, when the navigation control unit 17 receives the recognition start notification 803 transmitted from the portable terminal 5 as described above in step 450, the navigation control unit 17 proceeds to step 460 to display a guide, and then in step 470, the driver's speech Wait for. In the guide display, voice notification or screen display for prompting the driver to speak is performed by controlling the voice signal input / output unit 14 or the image display device 12. At this time, the recognized vocabulary information included in the received recognition start notification 803 is displayed on the image display device 12.

そして、このようなガイド表示に応じてドライバが発話すると、ドライバの発話した音声の音声信号をマイク15が取得し、ナビゲーション制御部17は、ステップ470で、その音声信号に対応した音声データを音声信号入出力部14から取得する。   When the driver speaks in accordance with such guide display, the microphone 15 acquires the voice signal of the voice spoken by the driver, and in step 470, the navigation control unit 17 voices the voice data corresponding to the voice signal. Obtained from the signal input / output unit 14.

このように、ドライバの発話した音声の音声データ(以下、発話音声データという)を取得したナビゲーション制御部17は、引き続きステップ470で、当該発話音声データ804を携帯端末5に送信する。そして続いてステップ480で、携帯端末5から認識結果を受信するまで待つ。   In this way, the navigation control unit 17 that has acquired the voice data of the voice uttered by the driver (hereinafter referred to as “spoken voice data”) continuously transmits the uttered voice data 804 to the portable terminal 5 in step 470. In step 480, the process waits until a recognition result is received from the portable terminal 5.

携帯側制御部57は、ステップ360でこの発話音声データ804を受信すると、続いてステップ370に進み、遠距離無線部50bを用いて、当該発話音声データを含む問い合わせ805を、無線基地局を介して、音声認識サーバに送信する。そして、ステップ380で、この問い合わせに対する認識結果の受信を待つ。   When the mobile side control unit 57 receives the utterance voice data 804 in step 360, the portable side control unit 57 proceeds to step 370 and uses the long-distance radio unit 50b to send an inquiry 805 including the utterance voice data via the radio base station. To the voice recognition server. In step 380, reception of a recognition result for this inquiry is awaited.

すると音声認識サーバは、上述の通り、当該発話音声データに対して音声認識を行い、その結果、発話音声データが示す語句の文字列を特定し、特定した文字列を、認識結果806として、携帯端末5に送信する。   Then, as described above, the voice recognition server performs voice recognition on the utterance voice data, and as a result, identifies the character string of the phrase indicated by the utterance voice data, and uses the identified character string as the recognition result 806. Transmit to terminal 5.

携帯側制御部57は、ステップ380でこの認識結果806を遠距離無線部50bを介して受信すると、続いてステップ390に進み、受信した認識結果806と同じ内容の認識結果807を、近距離無線部50aを用いて、車載ナビゲーション装置1に送信し、その後、処理をステップ310に戻し、次の音声認識要求の受信を待つ。   When the portable-side control unit 57 receives the recognition result 806 in step 380 via the long-distance wireless unit 50b, the portable-side control unit 57 proceeds to step 390, and receives the recognition result 807 having the same contents as the received recognition result 806. Using the unit 50a, the data is transmitted to the in-vehicle navigation device 1, and then the process returns to step 310 to wait for reception of the next voice recognition request.

ナビゲーション制御部17は、ステップ480でこの認識結果807を受信すると、続いてステップ490で、認識結果の文字列を、音声認識命令の出力元の処理に返す。   When the navigation control unit 17 receives the recognition result 807 in step 480, subsequently, in step 490, the navigation control unit 17 returns the character string of the recognition result to the processing of the output source of the voice recognition command.

そして、ナビゲーション制御部17は、音声認識命令の出力元の処理において、この認識結果の文字列を受け取り、受け取った文字列に応じた処理を行う。例えば、音声認識命令の出力元の処理が目的地設定処理ならば、その文字列を名称に含む地点を地図データから抽出し、それらを目的地候補として、画像表示装置12に表示させる。   Then, the navigation control unit 17 receives the character string of the recognition result in the process of the output source of the voice recognition command, and performs the process according to the received character string. For example, if the process of the output source of the voice recognition command is the destination setting process, the points including the character string in the name are extracted from the map data and displayed on the image display device 12 as the destination candidates.

なお、図8のシーケンス図には記載されていないが、携帯側制御部57がステップ320で音声認識不可能であると判定すると、続いてステップ330で、音声認識不可(NG)の応答を車載ナビゲーション装置1に送信し、その後、ステップ310に戻る。ステップ430でこの応答を受信したナビゲーション制御部17は、応答が音声認識可(OK)の応答であるか音声認識不可(NG)の応答であるかを判定し、この場合、音声認識不可(NG)の応答であると判定し、続いてステップ440に進み、自機で音声認識を行う。具体的には、音声認識処理17bに音声認識命令を出力する。これによって、音声認識処理17bの処理によって音声認識結果の文字列を取得できる。続いてステップ490で、認識結果の文字列を、音声認識命令の出力元の処理に返す。   Although not shown in the sequence diagram of FIG. 8, if the portable side control unit 57 determines that voice recognition is impossible in step 320, then in step 330, a voice recognition disabled (NG) response is sent to the vehicle. It transmits to the navigation apparatus 1, and returns to step 310 after that. The navigation control unit 17 that has received this response in step 430 determines whether the response is a speech recognition enabled (OK) response or a speech recognition disabled (NG) response. In this case, the voice recognition is not possible (NG ), And the process proceeds to step 440 where voice recognition is performed by the own device. Specifically, a voice recognition command is output to the voice recognition process 17b. Thereby, the character string of the speech recognition result can be acquired by the processing of the speech recognition processing 17b. Subsequently, at step 490, the character string as the recognition result is returned to the processing of the output source of the voice recognition command.

以上説明した通り、本実施形態においては、車載ナビゲーション装置1は、携帯端末5と接続しているとき、音声認識の必要があると判定したことに基づいて、音声認識要求を携帯端末5に送信し(ステップ420)、携帯端末5は、車載ナビゲーション装置1から音声認識要求を受信したことに基づいて、ドライバの発話した音声のデータである発話音声データを取得し(ステップ360)、取得した発話音声データに対する音声認識結果の文字列を取得し(ステップ370、380)、取得した音声認識結果の文字列を車載ナビゲーション装置1に送信する。   As described above, in the present embodiment, the in-vehicle navigation device 1 transmits a voice recognition request to the portable terminal 5 based on the determination that the voice recognition is necessary when connected to the portable terminal 5. (Step 420), the mobile terminal 5 acquires utterance voice data, which is voice data uttered by the driver, based on the reception of the voice recognition request from the in-vehicle navigation device 1 (Step 360). The character string of the voice recognition result for the voice data is acquired (steps 370 and 380), and the acquired character string of the voice recognition result is transmitted to the in-vehicle navigation device 1.

車載ナビゲーション装置1が提供する音声認識機能よりも、携帯端末5が利用する音声認識機能の方が何らかの点で高性能な場合がある。そのような場合は、上記のように、車載ナビゲーション装置1側で音声認識の必要があるときに、携帯端末5側でドライバの発話音声に対する認識結果の文字列を取得し、取得した文字列を車載ナビゲーション装置1に送ることで、車載ナビゲーション装置1と携帯端末5とが連携した音声認識を実現できる。   The voice recognition function used by the mobile terminal 5 may be higher in performance in some respects than the voice recognition function provided by the in-vehicle navigation device 1. In such a case, as described above, when voice recognition is necessary on the in-vehicle navigation device 1 side, the character string of the recognition result for the uttered voice of the driver is obtained on the mobile terminal 5 side, and the obtained character string is By sending to the in-vehicle navigation device 1, voice recognition in which the in-vehicle navigation device 1 and the mobile terminal 5 cooperate can be realized.

また、携帯端末5は更に、車載ナビゲーション装置1から音声認識要求を受信したことに基づいて、所定の認識開始通知を車載ナビゲーション装置1に送信する(ステップ350)。そして、車載ナビゲーション装置1は更に、携帯端末5から認識開始通知を受信し、認識開始通知を受信したことに基づいて、ドライバに発話を促す報知を行う(ステップ450、460)。   Further, the mobile terminal 5 further transmits a predetermined recognition start notification to the in-vehicle navigation device 1 based on the reception of the voice recognition request from the in-vehicle navigation device 1 (step 350). The in-vehicle navigation device 1 further receives a recognition start notification from the portable terminal 5 and performs a notification that prompts the driver to speak based on the reception of the recognition start notification (steps 450 and 460).

携帯端末5が利用する音声認識機能を使用する場合でも、ドライバは携帯端末5の%音声出力制御装置2を見ることは困難である。そこで、上記のように携帯端末5から車載ナビゲーション装置1に認識開始通知を送信し、車載ナビゲーション装置1ではその認識開始通知の受信に基づいてドライバに発話を促すことで、ドライバは発話のタイミングを安全かつ快適に知ることができる。   Even when the voice recognition function used by the portable terminal 5 is used, it is difficult for the driver to see the% voice output control device 2 of the portable terminal 5. Thus, the recognition start notification is transmitted from the portable terminal 5 to the in-vehicle navigation device 1 as described above, and the in-vehicle navigation device 1 prompts the driver to speak based on the reception of the recognition start notification, so that the driver determines the timing of the utterance. You can know safely and comfortably.

また、携帯端末5は、認識開始通知に、携帯端末5が利用する音声認識機能が認識できる語彙を示す認識語彙情報を含め、車載ナビゲーション装置1は、受信した認識開始通知に含まれる認識語彙情報に基づいた表示を行う。   The mobile terminal 5 includes the recognition vocabulary information indicating the vocabulary that can be recognized by the voice recognition function used by the mobile terminal 5 in the recognition start notification, and the in-vehicle navigation device 1 recognizes the recognized vocabulary information included in the received recognition start notification. Display based on.

携帯端末5の音声認識で認識語が限定される場合、携帯端末5から車載ナビゲーション装置1へ認識語彙情報を通知し、車載端末からガイド画面を出力することで、ドライバは許容される認識語を安全、快適に知ることができる。   When the recognition word is limited by the voice recognition of the portable terminal 5, the driver notifies the recognized vocabulary information from the portable terminal 5 to the in-vehicle navigation device 1, and outputs a guide screen from the in-vehicle terminal, so that the driver can recognize the recognized recognition word. You can know safely and comfortably.

また、携帯端末5は、取得した発話音声データを含む問い合わせを、車両外に設置された音声認識サーバに送信し、音声認識サーバから、発話音声データに対する音声認識結果の文字列を受信し、その音声認識結果の文字列を車載ナビゲーション装置1に送信するようになっている。このように、携帯端末5が車両外に設置された音声認識サーバを利用して音声認識結果を得ることで、より高機能な音声認識を実現できる可能性が高くなる。   Further, the mobile terminal 5 transmits an inquiry including the acquired utterance voice data to the voice recognition server installed outside the vehicle, receives the character string of the voice recognition result for the utterance voice data from the voice recognition server, and The character string of the voice recognition result is transmitted to the in-vehicle navigation device 1. Thus, the possibility that a higher-functional voice recognition can be realized increases by obtaining the voice recognition result by using the voice recognition server installed outside the vehicle.

また、車載ナビゲーション装置1は更に、音声認識要求を携帯端末5に送信した後、ドライバの発話した音声の音声信号をマイク15から取得し、取得した音声信号に基づいてドライバの発話音声データを生成して携帯端末5に送信する(ステップ470)。そして、携帯端末5は、車載ナビゲーション装置1が送信した発話音声データを受信することで、発話音声データを取得する。   Further, after transmitting the voice recognition request to the portable terminal 5, the in-vehicle navigation device 1 acquires the voice signal of the voice uttered by the driver from the microphone 15, and generates the utterance voice data of the driver based on the acquired voice signal. And it transmits to the portable terminal 5 (step 470). And the portable terminal 5 acquires utterance voice data by receiving the utterance voice data which the vehicle-mounted navigation apparatus 1 transmitted.

車両の車室内に搭載されたマイク15は、車室内のドライバの発話した音声を良好に取得するよう配置および設定されているので、同じ音声でも、携帯端末5の内蔵マイク55から発話音声を取得する場合と、車室内に搭載されたマイク15が出力する場合とでは、後者の方がより望ましい。   Since the microphone 15 mounted in the vehicle interior of the vehicle is arranged and set so as to satisfactorily acquire the voice spoken by the driver in the vehicle interior, the speech voice is acquired from the built-in microphone 55 of the portable terminal 5 even with the same voice. The latter is more preferable when the microphone 15 mounted in the vehicle interior is output.

なお、本実施形態においては、携帯側制御部57が、ステップ350を実行することで認識開始通知手段の一例として機能し、ステップ360を実行することで発話音声データ取得手段の一例として機能し、ステップ370、380を実行することで音声認識結果取得手段の一例として機能し、ステップ390を実行することで音声認識結果送信手段の一例として機能する。また、ナビゲーション制御部17が、ステップ420を実行することで音声認識要求送信手段の一例として機能し、ステップ450、460を実行することでガイド手段の一例として機能し、ステップ470を実行することで音声データ送信手段の一例として機能する。また、ナビゲーション制御部17が、ステップ480、490の処理、および、音声認識命令の出力元の処理を実行することで、認識結果対応手段の一例として機能する。   In the present embodiment, the portable side control unit 57 functions as an example of a recognition start notification unit by executing Step 350, and functions as an example of an utterance voice data acquisition unit by executing Step 360. Executing steps 370 and 380 functions as an example of a speech recognition result acquisition unit, and executing step 390 functions as an example of a speech recognition result transmission unit. Further, the navigation control unit 17 functions as an example of a voice recognition request transmission unit by executing step 420, functions as an example of a guide unit by executing steps 450 and 460, and executes step 470. It functions as an example of audio data transmission means. Further, the navigation control unit 17 functions as an example of a recognition result handling unit by executing the processing of steps 480 and 490 and the processing of the output source of the voice recognition command.

(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態に係る通信システムのハードウェア構成は、第1実施形態と同じである。また、本実施形態の通信システムは、第1、第2実施形態において説明した通信システムの作動を行うと共に、以下に示すような作動を更に行う。本実施形態では、携帯端末5が画像を出力する必要がある場合は、ナビゲーション制御部17が画像表示装置12を制御して当該画像を表示させる。
(Third embodiment)
Next, a third embodiment of the present invention will be described. The hardware configuration of the communication system according to the present embodiment is the same as that of the first embodiment. In addition, the communication system of the present embodiment performs the operations described below in the first and second embodiments and further performs the following operations. In the present embodiment, when the mobile terminal 5 needs to output an image, the navigation control unit 17 controls the image display device 12 to display the image.

このために、携帯側制御部57は、図9に示す画像送信制御処理を実行し、ナビゲーション制御部17は、図10に示す処理を実行するようになっている。以下、これらのフローチャートに基づく携帯側制御部57、ナビゲーション制御部17の作動について説明する。   For this purpose, the portable control unit 57 executes the image transmission control process shown in FIG. 9, and the navigation control unit 17 executes the process shown in FIG. Hereinafter, the operations of the portable control unit 57 and the navigation control unit 17 based on these flowcharts will be described.

まず、第1実施形態と同様、ドライバが携帯端末5を携帯して車両の車室内に搭乗し、車載ナビゲーション装置1と携帯端末5とが、無線部10および近距離無線部50aを介して互いに無線接続したとする。車載ナビゲーション装置1と携帯端末5の無線接続が確立すると、携帯側制御部57は図9に示す処理を開始し、ナビゲーション制御部17は図10に示す処理を開始する。   First, as in the first embodiment, the driver carries the portable terminal 5 and gets in the vehicle cabin, and the in-vehicle navigation device 1 and the portable terminal 5 are mutually connected via the radio unit 10 and the short-range radio unit 50a. Suppose you have a wireless connection. When the wireless connection between the in-vehicle navigation device 1 and the portable terminal 5 is established, the portable side control unit 57 starts the process shown in FIG. 9, and the navigation control unit 17 starts the process shown in FIG.

また、携帯側制御部57が実行する各処理において、車載ナビゲーション装置1と携帯端末5が接続している場合に限り、画像出力命令および画像データの出力先は、画像送信制御処理であり、そうでない場合、
そしてまず携帯側制御部57は、ステップ510で画像出力の必要があるか否かを判定し、画像出力の必要があると判定するまで、この判定を繰り返す。またナビゲーション制御部17は、ステップ610で携帯端末5から画像データを受信したか否かを判定し、受信したと判定するまで、この判定を繰り返す。
Further, in each process executed by the mobile side control unit 57, only when the in-vehicle navigation device 1 and the mobile terminal 5 are connected, the output destination of the image output command and the image data is the image transmission control process, and so If not
First, the portable control unit 57 determines whether or not image output is necessary in step 510 and repeats this determination until it is determined that image output is necessary. In addition, the navigation control unit 17 determines whether or not image data is received from the portable terminal 5 in Step 610 and repeats this determination until it is determined that the image data is received.

携帯側制御部57における画像出力の必要の有無については、携帯側制御部57が同時に実行している他の処理から新たに画像表示命令を受けたときに、画像出力の必要があると判定し、それ以外の場合には、画像出力の必要がないと判定する。   As to whether or not the portable side control unit 57 needs to output an image, when the portable side control unit 57 newly receives an image display command from another process simultaneously executed, it is determined that the image output is necessary. In other cases, it is determined that there is no need to output an image.

例えば、携帯側制御部57が経路案内処理を実行しており、かつ、渋滞情報取得処理において、遠距離無線部50bを用いてインターネット等の広域ネットワークを介して誘導経路上の渋滞情報を取得した場合、渋滞情報取得処理から画像送信制御処理に対して、画像表示命令および渋滞情報を示す画像データが出力され、ステップ510で、画像出力の必要があると判定される。   For example, the mobile side control unit 57 is executing route guidance processing, and has acquired traffic jam information on the guidance route via a wide area network such as the Internet using the long-distance radio unit 50b in the traffic jam information acquisition processing. In this case, the image information indicating the image display command and the traffic jam information is output from the traffic jam information acquisition process to the image transmission control process, and it is determined in step 510 that the image needs to be output.

また例えば、携帯側制御部57が楽曲再生処理において、再生中の楽曲のアーティスト(実演者)の情報を、遠距離無線部50bを用いてインターネット等の広域ネットワークを介して取得した場合、楽曲再生処理から画像送信制御処理に対して、画像表示命令およびアーティスト名称を示す画像データが出力され、ステップ510で、画像出力の必要があると判定される。   In addition, for example, when the portable control unit 57 acquires information on the artist (demonstrator) of the music being played back through a wide-area network such as the Internet using the long-distance wireless unit 50b in the music playback process, the music playback is performed. The image display command and the image data indicating the artist name are output from the process to the image transmission control process. In step 510, it is determined that the image needs to be output.

画像出力の必要があると判定すると、続いてステップ520に進み、画像表示命令と共に受けた画像データを、近距離無線部50aを用いて、車載ナビゲーション装置1に送信し、その後、処理をステップ510に戻す。   If it is determined that image output is necessary, the process proceeds to step 520, where the image data received together with the image display command is transmitted to the in-vehicle navigation device 1 using the short-range wireless unit 50a. Return to.

ナビゲーション制御部17では、この画像データを無線部10を介して受信すると、ステップ610から620に進み、受信した画像データを画像表示装置12に表示させ、その後、処理をステップ610に戻す。   When the navigation control unit 17 receives the image data via the wireless unit 10, the navigation control unit 17 proceeds from step 610 to 620, displays the received image data on the image display device 12, and then returns the processing to step 610.

このように、携帯端末5において出力したい画像があるとき、その画像のデータを車載ナビゲーション装置1に送信し、車載ナビゲーション装置1がその画像データを車両に搭載される画像表示装置12に表示させる。   Thus, when there is an image to be output in the portable terminal 5, the data of the image is transmitted to the in-vehicle navigation device 1, and the in-vehicle navigation device 1 causes the image display device 12 mounted on the vehicle to display the image data.

携帯端末5が、自機の画像表示部に画像を表示しても、運転中のドライバにとっては見づらいので、このように、携帯端末5が表示したい情報を車両に搭載された画像表示装置12に表示することで、ドライバにとっても無理なく表示を閲覧することができる。   Even if the mobile terminal 5 displays an image on its own image display unit, it is difficult for the driver who is driving to view the information that the mobile terminal 5 wants to display on the image display device 12 mounted on the vehicle. By displaying, it is possible for the driver to view the display without difficulty.

なお、本実施形態においては、携帯側制御部57が、ステップ520を実行することで出力制御手段の一例として機能し、また、ナビゲーション制御部17が、ステップ620を実行することで画像表示制御手段の一例に相当する。   In the present embodiment, the portable control unit 57 functions as an example of an output control unit by executing step 520, and the image display control unit by the navigation control unit 17 executing step 620. It corresponds to an example.

(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
(Other embodiments)
As mentioned above, although embodiment of this invention was described, the scope of the present invention is not limited only to the said embodiment, The various form which can implement | achieve the function of each invention specific matter of this invention is included. It is. For example, the following forms are also acceptable.

(1)上記各実施形態では、車載ナビゲーション装置1と携帯端末5とは無線通信によって接続および通信を実現しているが、ケーブルを介して有線で接続および通信を実現してもよい。   (1) In each of the embodiments described above, the in-vehicle navigation device 1 and the mobile terminal 5 are connected and communicated by wireless communication, but may be connected and communicated by cable via a cable.

(2)また、第1実施形態において携帯側制御部57は、ステップ160で携帯端末5に内層されるスピーカ54に携帯側音声(第1の音声)を出力させてもよい。このように、車両に設置された車室用スピーカ4ではなくスピーカ54に音を出力させても、車室用スピーカ4の音量は低減されているので、携帯側音声と車室用スピーカ4の出力する音声とが重なってドライバにとって聴き取りづらくなる可能性が低減される。   (2) Further, in the first embodiment, the portable side control unit 57 may cause the speaker 54 that is layered on the portable terminal 5 to output the portable side voice (first voice) in Step 160. Thus, even if sound is output to the speaker 54 instead of the vehicle compartment speaker 4 installed in the vehicle, the volume of the vehicle compartment speaker 4 is reduced. The possibility that it is difficult for the driver to listen due to overlap with the output sound is reduced.

(3)また、第1実施形態では、ナビゲーション制御部17は、ステップ220では、RSE3が出力している音声の種別を特定し、その種別と携帯側音声の主津別を比較するようになっていてもよい。   (3) In the first embodiment, in step 220, the navigation control unit 17 identifies the type of voice output by the RSE 3 and compares the type with the main voice classification of the mobile phone side voice. May be.

(4)また、第1実施形態では、携帯側制御部57は、図3のステップ140で、応答が音声出力不許可(NG)であると判定した場合、ステップ150で所定の待機時間だけ待機するが、必ずしもこのようになっておらずともよい。例えば、ステップ140で、応答が音声出力不許可(NG)であると判定した場合、ステップ110に戻ってもよい。この場合、携帯側音声の出力を取りやめる(すなわち、再度同じ音声出力命令を受けない限り、リトライすることなく完全に出力を禁止する)ようになっていてもよい。   (4) Also, in the first embodiment, when it is determined in step 140 of FIG. 3 that the response is voice output non-permission (NG), the portable control unit 57 waits for a predetermined waiting time in step 150. However, this need not be the case. For example, when it is determined in step 140 that the response is voice output disapproval (NG), the process may return to step 110. In this case, the output of the mobile-side audio may be canceled (that is, the output is completely prohibited without retrying unless the same audio output command is received again).

(5)また、第1実施形態では、音声出力制御装置2に音声信号を入力するのは音声信号入出力部14のみであり、車両内にRSE3がなくてもよい。つまり、車室用スピーカ4に音声を出力させるのは車載ナビゲーション装置1のみである例があってもよい。   (5) In the first embodiment, only the audio signal input / output unit 14 inputs an audio signal to the audio output control device 2, and the RSE 3 may not be provided in the vehicle. That is, there may be an example in which only the in-vehicle navigation device 1 causes the vehicle interior speaker 4 to output sound.

(6)また、第2実施形態では、携帯側制御部57が認識語彙情報を送信しているが、音声認識サーバの音声認識で認識語が限定されない場合は、携帯側制御部57は、ステップ350で、認識語彙情報を含まない認識開始通知を車載ナビゲーション装置1に送信し、ナビゲーション制御部17は、ステップ450で認識語彙情報を含まない認識開始通知を受信した場合、ステップ460では、音声認識サーバの認識可能な語彙についての表示は行わないようにすればよい
(7)また、第2実施形態では、音声認識サーバを使わず、携帯端末5単体で音声認識してもよい。この場合、携帯端末5は、自機の音声認識機能を使用して音声認識を行い、その結果を車載ナビゲーション装置1に返すこともできる。このように、携帯端末5が単体で認識する場合も、携帯端末5が認識可能な語彙を示す認識語彙情報を携帯側制御部57が送信し、ナビゲーション制御部17がその認識語彙情報を表示するようになっていてもよい。
(6) In the second embodiment, the portable side control unit 57 transmits the recognized vocabulary information. However, if the recognized word is not limited by the voice recognition of the voice recognition server, the portable side control unit 57 In 350, the recognition start notification not including the recognized vocabulary information is transmitted to the in-vehicle navigation device 1. When the navigation control unit 17 receives the recognition start notification not including the recognized vocabulary information in step 450, in step 460, the speech recognition is performed. It is sufficient not to display the vocabulary that can be recognized by the server. (7) In the second embodiment, the mobile terminal 5 alone may perform speech recognition without using the speech recognition server. In this case, the mobile terminal 5 can perform voice recognition using its own voice recognition function and return the result to the in-vehicle navigation device 1. As described above, even when the mobile terminal 5 recognizes alone, the mobile side control unit 57 transmits the recognized vocabulary information indicating the vocabulary that the mobile terminal 5 can recognize, and the navigation control unit 17 displays the recognized vocabulary information. It may be like this.

(8)また、第2実施形態では、ドライバの発話した音声を車載ナビゲーション装置1側で取得しているが、携帯端末5側で取得してもよい。その場合、ナビゲーション制御部17は、図10のステップ460の実行後はステップ470をバイパスしてステップ480に進み、携帯側制御部57は、ステップ360で、マイク15から取得したドライバの発話音声信号に基づいて発話音声データを作成することで、ドライバの発話した音声に対応する発話音声データを取得することができる。   (8) Moreover, in 2nd Embodiment, although the audio | voice which the driver uttered is acquired on the vehicle-mounted navigation apparatus 1 side, you may acquire on the portable terminal 5 side. In this case, the navigation control unit 17 bypasses step 470 and proceeds to step 480 after executing step 460 in FIG. 10, and the portable side control unit 57 performs the driver's speech audio signal acquired from the microphone 15 in step 360. By creating speech voice data based on the above, speech voice data corresponding to the voice spoken by the driver can be acquired.

(9)また、上記の実施形態において、ナビゲーション制御部17、携帯側制御部57がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア(例えば回路構成をプログラムすることが可能なFPGA)を用いて実現するようになっていてもよい。   (9) In the above-described embodiment, each function realized by the navigation control unit 17 and the portable side control unit 57 executing the program is hardware having those functions (for example, programming a circuit configuration). It may be realized by using an FPGA) capable of doing so.

1 車載ナビゲーション装置
2 音声出力制御装置
3 RSE
4 車室用スピーカ
5 携帯端末
12 画像表示装置
14 音声信号入出力部
15 マイク
50a 近距離無線部
50b 遠距離無線部
55 マイク
56 地図データ取得部
57 携帯側制御部
1 On-vehicle navigation device 2 Audio output control device 3 RSE
4 Car Speaker 5 Mobile Terminal 12 Image Display Device 14 Audio Signal Input / Output Unit 15 Microphone 50a Short-range Wireless Unit 50b Long-Range Wireless Unit 55 Microphone 56 Map Data Acquisition Unit 57 Mobile-side Control Unit

Claims (5)

車両に搭載される車載端末(1)と、前記車載端末(1)と接続して通信可能な携帯端末(5)と、を備えた通信システムであって、
前記車載端末(1)は、前記車両に設置されて車室内に音声を出力する車室用スピーカ(4)に音声を出力させるための音声出力処理を実行する音声出力処理手段(17a)を備え、
前記携帯端末(5)は、
前記車載端末(1)と接続しているとき、第1の音声を出力する必要があると判定したことに基づいて、音声出力要求を前記車載端末(1)に送信する音声出力要求手段(120、130)と、
前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記車室用スピーカ(4)に前記第1の音声を出力させるために前記第1の音声の音声データを前記車載端末(1)に送信する出力制御手段(160)と、を備え、
前記車載端末(1)は更に、
前記音声出力要求を前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)が既に出力させている第2の音声の音量を低減させる音量低減手段(270)と、
前記第1の音声の音声データを前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)を用いて、前記音声データの示す前記第1の音声を前記車室用スピーカ(4)に出力させる出力手段(280)と、を備えたことを特徴とする通信システム。
A communication system comprising an in-vehicle terminal (1) mounted on a vehicle and a mobile terminal (5) capable of communicating with the in-vehicle terminal (1),
The in-vehicle terminal (1) includes audio output processing means (17a) for executing audio output processing for causing the vehicle interior speaker (4) installed in the vehicle to output audio to the vehicle interior to output audio. ,
The portable terminal (5)
When connected to the in-vehicle terminal (1), the audio output requesting means (120) transmits an audio output request to the in-vehicle terminal (1) based on the determination that the first audio needs to be output. 130)
After the audio output request means (120, 130) transmits the audio output request, the vehicle-mounted speaker (4) outputs the first audio to the vehicle-mounted vehicle in order to output the first audio. and the terminal (1) output control unit that sends to the (160) comprises a,
The in-vehicle terminal (1) further includes
Volume reduction means (270) for reducing the volume of the second voice that has already been output by the voice output processing means (17a) based on the reception of the voice output request from the portable terminal (5) ;
Based on the reception of the voice data of the first voice from the portable terminal (5), the voice output processing means (17a) is used to convert the first voice indicated by the voice data into the vehicle compartment. An output means (280) for outputting to the speaker (4) .
前記音声出力要求手段(120、130)は、前記車載端末(1)と接続しているとき、前記第1の音声を出力する必要があると判定したことに基づいて、前記第1の音声の種別を特定し、特定した種別の情報を含む前記音声出力要求を前記車載端末(1)に送信し、
前記車載端末(1)は更に、前記携帯端末(5)から前記音声出力要求を受信すると、受信した前記音声出力要求に含まれる前記情報に基づいて、前記第1の音声の種別を特定し、また、前記車載端末(1)が既に出力させている前記第2の音声の種別を特定する特定手段(220、230)と、
前記特定手段が特定した前記第1の音声の種別と前記第2の音声の種別を比較することで、どちらの音声が優先するかを判定し、前記第2の音声が優先すると判定した場合、音声出力不許可の応答を前記携帯端末(5)に送信し、前記第1の音声が優先すると判定した場合、音声出力許可の応答を前記携帯端末(5)に送信する応答手段(240、250、260)と、を備え、
前記音量低減手段(270)は、前記第1の音声が優先すると前記応答手段(240、250、260)が判定したことに基づいて、前記音声出力処理手段(17a)が既に出力させている第2の音声の音量を低減させ、
前記出力制御手段(160)は、前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記携帯端末(5)から音声出力許可の応答を受信した場合、前記車室用スピーカ(4)に前記第1の音声を出力させるために前記第1の音声の音声データを前記車載端末(1)に送信、また、前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記携帯端末(5)から音声出力不許可の応答を受信した場合、前記第1の音声の音声データの送信を禁止することを特徴とする請求項1に記載の通信システム。
When the voice output requesting means (120, 130) is connected to the in-vehicle terminal (1), the voice output requesting means (120, 130) determines that the first voice needs to be output. Specify the type, send the voice output request including the specified type information to the in-vehicle terminal (1),
When the in-vehicle terminal (1) further receives the audio output request from the portable terminal (5), the in-vehicle terminal (1) specifies the type of the first audio based on the information included in the received audio output request, Also, a specifying means (220, 230) for specifying the type of the second sound that the in-vehicle terminal (1) has already output,
When comparing the first voice type specified by the specifying means and the second voice type to determine which voice has priority, and when determining that the second voice has priority, A response means (240, 250) for transmitting a response of voice output permission to the portable terminal (5) when a response of voice output disapproval is transmitted to the portable terminal (5) and it is determined that the first voice has priority. 260), and
The sound volume reduction means (270) has already been output by the sound output processing means (17a) based on the determination by the response means (240, 250, 260) that the first sound has priority. Reduce the volume of the voice of 2,
When the voice output requesting means (120, 130) receives the voice output permission response from the portable terminal (5) after the voice output requesting means (120, 130) has transmitted the voice output request, the output control means (160) In order to cause the speaker (4) to output the first sound, the sound data of the first sound is transmitted to the in-vehicle terminal (1), and the sound output requesting means (120, 130) outputs the sound. 2. The communication system according to claim 1, wherein, after a request is transmitted, when a response indicating that audio output is not permitted is received from the mobile terminal (5) , transmission of audio data of the first audio is prohibited. .
記車載端末(1)は更に、前記第1の音声の音声データを前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)を用いて、前記音声データの示す前記第1の音声を、前記第2の音声と重ねて、前記車室用スピーカ(4)に出力させることを特徴とする請求項1または2に記載の通信システム。 Before SL-vehicle terminal (1) further, the first sound of the audio data on the basis of the reception from the mobile terminal (5), wherein using the voice output processing means (17a), indicated by the audio data 3. The communication system according to claim 1 , wherein the first sound is overlapped with the second sound and output to the vehicle interior speaker (4). 4. 車両に搭載される車載端末(1)と接続して通信可能な携帯端末であって、
前記車載端末(1)と接続しているとき、第1の音声を出力する必要があると判定したことに基づいて、前記車載端末(1)が既に出力させている第2の音声の音量を低減させるために、音声出力要求を前記車載端末(1)に送信する音声出力要求手段(120、130)と、
前記音声出力要求手段(120、130)が前記音声出力要求を送信した後に、前記車室用スピーカ(4)に前記第1の音声を出力させるために前記第1の音声の音声データを前記車載端末(1)に送信する出力制御手段(160)と、を備えた携帯端末。
A portable terminal that can communicate with an in-vehicle terminal (1) mounted on a vehicle,
Based on the determination that the first sound needs to be output when connected to the in-vehicle terminal (1), the volume of the second sound already output by the in-vehicle terminal (1) is set. In order to reduce the voice output request means (120, 130) for transmitting the voice output request to the in-vehicle terminal (1),
After the audio output request means (120, 130) transmits the audio output request, the vehicle-mounted speaker (4) outputs the first audio to the vehicle-mounted vehicle in order to output the first audio. mobile terminal having a terminal output control unit that sends to the (1) (160), the.
車両に搭載されると共に、携帯端末(5)と接続して通信可能な車載端末であって、
前記車両に設置されて車室内に音声を出力する車室用スピーカ(4)に音声を出力させるための音声出力処理を実行する音声出力処理手段(17a)と、
音声出力要求を前記携帯端末(5)から受信したことに基づいて、前記携帯端末(5)が前記第1の音声を出力させるための処理を行うよう、前記携帯端末(5)に音声出力許可の応答を送信する応答手段(240、250、260)と、
前記音声出力要求を前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)が既に出力させている第2の音声の音量を低減させる音量低減手段(270)と
前記第1の音声の音声データを前記携帯端末(5)から受信したことに基づいて、前記音声出力処理手段(17a)を用いて、前記音声データの示す前記第1の音声を前記車室用スピーカ(4)に出力させる出力手段(280)と、を備えた車載端末。
An in-vehicle terminal that is mounted on a vehicle and can communicate with a mobile terminal (5),
An audio output processing means (17a) for executing an audio output process for causing the vehicle interior speaker (4) installed in the vehicle to output audio to the vehicle interior;
Based on the reception of the voice output request from the portable terminal (5), the portable terminal (5) is allowed to perform voice output so that the portable terminal (5) performs processing for outputting the first voice. Response means (240, 250, 260) for transmitting the response of
Volume reduction means (270) for reducing the volume of the second voice that has already been output by the voice output processing means (17a) based on the reception of the voice output request from the portable terminal (5) ;
Based on the reception of the voice data of the first voice from the portable terminal (5), the voice output processing means (17a) is used to convert the first voice indicated by the voice data into the vehicle compartment. An in-vehicle terminal comprising: output means (280) for outputting to the speaker (4) .
JP2010162790A 2010-07-20 2010-07-20 Communication system, in-vehicle terminal, and portable terminal Expired - Fee Related JP5413321B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010162790A JP5413321B2 (en) 2010-07-20 2010-07-20 Communication system, in-vehicle terminal, and portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010162790A JP5413321B2 (en) 2010-07-20 2010-07-20 Communication system, in-vehicle terminal, and portable terminal

Publications (2)

Publication Number Publication Date
JP2012027070A JP2012027070A (en) 2012-02-09
JP5413321B2 true JP5413321B2 (en) 2014-02-12

Family

ID=45780105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010162790A Expired - Fee Related JP5413321B2 (en) 2010-07-20 2010-07-20 Communication system, in-vehicle terminal, and portable terminal

Country Status (1)

Country Link
JP (1) JP5413321B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5677470B2 (en) * 2011-02-03 2015-02-25 パナソニックIpマネジメント株式会社 Voice reading device, voice output device, voice output system, voice reading method and voice output method
WO2014033912A1 (en) 2012-08-31 2014-03-06 三菱電機株式会社 Onboard information terminal
JP6105321B2 (en) * 2013-02-21 2017-03-29 富士通テン株式会社 COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION METHOD, AND PROGRAM
CN105874874B (en) * 2014-12-09 2021-01-29 华为技术有限公司 Method and device for processing information
CN107886946A (en) * 2017-06-07 2018-04-06 深圳市北斗车载电子有限公司 For controlling the speech control system and method for vehicle mounted guidance volume
JP7090332B2 (en) * 2018-09-13 2022-06-24 株式会社ユピテル Systems and programs, etc.
JP7133149B2 (en) * 2018-11-27 2022-09-08 トヨタ自動車株式会社 Automatic driving device, car navigation device and driving support system
CN109795424A (en) * 2018-11-28 2019-05-24 来宾市华元通科技有限公司 A kind of multifunctional vehicle mounted navigation system
JP7243764B2 (en) * 2020-07-03 2023-03-22 ソニーグループ株式会社 In-vehicle device, mobile terminal device, information processing system, control method and program for in-vehicle device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160490A (en) * 1996-11-29 1998-06-19 Toyota Motor Corp Navigation system
JP2002236029A (en) * 2001-02-09 2002-08-23 Alpine Electronics Inc Vocal guidance device
JP3713209B2 (en) * 2001-02-26 2005-11-09 株式会社ケンウッド Navigation system and audio voice control method
JP2010033340A (en) * 2008-07-29 2010-02-12 Fujitsu Ltd Voice recognition server, communication system, and voice recognition method

Also Published As

Publication number Publication date
JP2012027070A (en) 2012-02-09

Similar Documents

Publication Publication Date Title
JP5413321B2 (en) Communication system, in-vehicle terminal, and portable terminal
JP5652913B2 (en) In-vehicle terminal
US9799334B2 (en) Speech recognition apparatus, vehicle including the same, and method of controlling the same
US9620143B2 (en) Vehicle-to-vehicle communication device
JP6501217B2 (en) Information terminal system
US20080147308A1 (en) Integrating Navigation Systems
JP2012518789A (en) In-vehicle system interface for personal navigation devices
US8060301B2 (en) Vehicle navigation apparatus
JP2011242594A (en) Information presentation system
US20100161209A1 (en) Routing a User to a Parked Vehicle
JP2015074315A (en) On-vehicle relay device, and on-vehicle communication system
WO2009081849A1 (en) Mounting-on-vehicle equipment, output propriety judgment method, communication system and program
JP2005269520A (en) Operation method of vehicle-mounted information terminal, vehicle-mounted information terminal, portable terminal program, and mobile phone
JP5052241B2 (en) On-vehicle voice processing apparatus, voice processing system, and voice processing method
KR20170058664A (en) Sound recognition module, Navigation apparatus having the same and vehicle having the same
JP7274404B2 (en) INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD AND PROGRAM
JP7340943B2 (en) Agent device, agent device control method, and program
JP2013191979A (en) On-vehicle apparatus, portable terminal, and program for portable terminal
JP2018087871A (en) Voice output device
JP6387287B2 (en) Unknown matter resolution processing system
JP2019144831A (en) Information processing device and information processing method
JP2005191668A (en) Utterance control apparatus, method therefor, program therefor, and recording medium with the program recorded thereon
JP2020060571A (en) System and program
JP2008003371A (en) Speech recognizing device mounted inside vehicle and voice command registering method
JP2004333319A (en) Remote control systems for information display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R151 Written notification of patent or utility model registration

Ref document number: 5413321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees