JP2020184020A - Notification control device, notification system, notification control method, and control program - Google Patents

Notification control device, notification system, notification control method, and control program Download PDF

Info

Publication number
JP2020184020A
JP2020184020A JP2019088187A JP2019088187A JP2020184020A JP 2020184020 A JP2020184020 A JP 2020184020A JP 2019088187 A JP2019088187 A JP 2019088187A JP 2019088187 A JP2019088187 A JP 2019088187A JP 2020184020 A JP2020184020 A JP 2020184020A
Authority
JP
Japan
Prior art keywords
voice
unit
notification
guidance information
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019088187A
Other languages
Japanese (ja)
Inventor
昌宏 暮橋
Masahiro Kurehashi
昌宏 暮橋
桂輔 荒川
Keisuke Arakawa
桂輔 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019088187A priority Critical patent/JP2020184020A/en
Publication of JP2020184020A publication Critical patent/JP2020184020A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

To improve user's satisfaction by adjusting a voice in which guide information is reported according to the user.SOLUTION: A notification control device comprises: a notification section which reports guide information associated with an operation on a moving body in a voice; a voice recognition section which recognizes an utterance of a passenger on the moving body; and a voice control section which changes settings of voice output by the notification section according to the utterance that the voice recognition section recognizes when the voice recognition section detects the utterance associated with the guide information on reporting the guide information by the notification section.SELECTED DRAWING: Figure 1

Description

本発明は、報知制御装置、報知システム、報知制御方法、及び、制御プログラムに関する。 The present invention relates to a notification control device, a notification system, a notification control method, and a control program.

従来、自動車などの移動体を操作するユーザに対し、音声により情報を伝える装置が知られている。例えば、特許文献1には、車両に搭載されるナビゲーション装置により案内音声を出力する構成が開示されている。特許文献1のナビゲーション装置は、ユーザが再音声出力要求ボタンにより再音声出力要求をした場合、案内音声を再出力する。また、再音声出力要求の回数に応じて案内速度を設定する。 Conventionally, a device for transmitting information by voice to a user who operates a moving body such as an automobile has been known. For example, Patent Document 1 discloses a configuration in which a guidance voice is output by a navigation device mounted on a vehicle. The navigation device of Patent Document 1 re-outputs the guidance voice when the user requests the re-voice output by the re-voice output request button. In addition, the guidance speed is set according to the number of re-voice output requests.

特開2010−175258号公報JP-A-2010-175258

特許文献1に記載された構成のように、ユーザが行う特定の操作の回数を条件として設定を行う場合、特定の操作が設定に反映されることをユーザが知らなければ、ユーザの意図に沿った設定とならない可能性があった。また、ユーザが設定内容や設定値を指定することは容易ではなかった。従って、ユーザの満足度が低下する可能性があった。
本発明は、上述した事情に鑑みてなされたものであり、案内情報を報知する音声をユーザに合わせて調整し、ユーザの満足度の向上を図ることを目的とする。
When setting is performed on the condition of the number of specific operations performed by the user as in the configuration described in Patent Document 1, unless the user knows that the specific operation is reflected in the setting, the user's intention is met. There was a possibility that it would not be set. In addition, it was not easy for the user to specify the setting contents and setting values. Therefore, there is a possibility that the user's satisfaction level may decrease.
The present invention has been made in view of the above circumstances, and an object of the present invention is to adjust the voice for notifying guidance information according to the user and to improve the satisfaction of the user.

本発明の一の態様は、移動体の操作に関する案内情報を音声により報知する報知部と、前記移動体の搭乗者の発話を認識する音声認識部と、前記報知部が前記案内情報を報知した際に、前記音声認識部が前記案内情報に関する発話を検知した場合に、前記音声認識部が認識した発話に応じて前記報知部による音声出力の設定を変更する音声制御部と、を備える報知制御装置である。
本発明の他の態様によると、前記音声制御部は、前記報知部が前記案内情報を報知する間または報知の後に前記音声認識部が認識した発話内容が、前記案内情報の再報知、前記案内情報に含まれる情報の提供、及び、前記案内情報に関連する情報の提供のいずれかの要求を含む場合に、前記報知部による音声出力の設定を変更する調整処理を実行し、前記調整処理は、前記報知部が報知する前記案内情報の音声の発話速度を遅くする設定変更、及び、前記案内情報の音声のピッチを低くする設定変更の少なくともいずれかを含む。
本発明の他の態様によると、前記音声制御部は、前記音声認識部により認識した発話の発話速度と、前記報知部が報知する前記案内情報の音声の発話速度との差が第1閾値以上である場合に、前記報知部が報知する前記案内情報の音声の発話速度に関する設定を変更する。
本発明の他の態様によると、前記音声制御部は、前記音声認識部により認識した発話のピッチと、前記報知部が報知する前記案内情報の音声のピッチとの差が第2閾値以上である場合に、前記報知部が報知する前記案内情報の音声のピッチに関する設定を変更する。
本発明の他の態様によると、前記音声認識部が認識した発話に基づき前記搭乗者を特定する個人特定部と、前記音声制御部が前記報知部による音声出力の設定を変更する処理に関係する前記音声認識部の認識結果を、前記個人特定部により特定した前記搭乗者に対応付けて記憶する履歴記憶部と、を備える。
本発明の他の態様によると、前記履歴記憶部は、前記音声認識部の認識結果と、前記音声制御部による音声出力の設定変更に関する情報とを記憶する。
本発明の他の態様によると、表示部における表示を制御する表示制御部を備え、前記表示制御部は、前記音声制御部が音声出力の設定を変更する際に、前記表示部に設定変更用の画面を表示させ、前記設定変更用の画面において、音声出力の設定に関する項目のうち特定の項目が強調表示される。
本発明の一の態様は、移動体の操作に関する案内情報を音声により報知する報知部と、前記移動体の搭乗者の発話を認識する音声認識部と、前記報知部が前記案内情報を報知した際に、前記音声認識部が前記案内情報に関する発話を検知した場合に、前記音声認識部が認識した発話に応じて前記報知部による音声出力の設定を変更する音声制御部と、を備える報知システムである。
本発明の一の態様は、移動体の操作に関する案内情報を音声により報知する報知ステップと、前記移動体の搭乗者の発話を認識する音声認識ステップと、前記報知ステップで前記案内情報が報知された際に、前記音声認識ステップで前記案内情報に関する発話が検知された場合に、前記音声認識ステップで認識された発話に応じて前記報知ステップの音声出力の設定を変更する音声調整ステップと、を含む報知制御方法である。
本発明の一の態様は、単一又は複数のコンピュータにインストールされるプログラムであって、前記コンピュータに、移動体の操作に関する案内情報を音声により報知する報知処理と、前記移動体の搭乗者の発話を認識する音声認識処理と、前記報知処理を実行した際に、前記音声認識処理により前記案内情報に関する発話を検知した場合に、前記音声認識処理で認識した発話に応じて前記報知処理の音声出力の設定を変更する音声調整処理と、を含む報知制御を実行させる制御プログラムである。
In one aspect of the present invention, a notification unit that notifies the guidance information regarding the operation of the moving body by voice, a voice recognition unit that recognizes the utterance of the passenger of the moving body, and the notification unit notify the guidance information. At that time, when the voice recognition unit detects an utterance related to the guidance information, the notification control includes a voice control unit that changes the voice output setting by the notification unit according to the utterance recognized by the voice recognition unit. It is a device.
According to another aspect of the present invention, in the voice control unit, the utterance content recognized by the voice recognition unit during or after the notification unit notifies the guidance information is re-notification of the guidance information and the guidance. When any of the request for providing the information included in the information and the provision of the information related to the guidance information is included, the adjustment process for changing the voice output setting by the notification unit is executed, and the adjustment process is performed. Includes at least one of a setting change for slowing down the speech speed of the voice of the guidance information notified by the notification unit and a setting change for lowering the pitch of the voice of the guidance information.
According to another aspect of the present invention, in the voice control unit, the difference between the utterance speed of the utterance recognized by the voice recognition unit and the utterance speed of the voice of the guidance information notified by the notification unit is equal to or greater than the first threshold value. If this is the case, the setting related to the voice utterance speed of the guidance information notified by the notification unit is changed.
According to another aspect of the present invention, in the voice control unit, the difference between the utterance pitch recognized by the voice recognition unit and the voice pitch of the guidance information notified by the notification unit is equal to or greater than the second threshold value. In this case, the setting regarding the pitch of the voice of the guidance information notified by the notification unit is changed.
According to another aspect of the present invention, it relates to an individual identification unit that identifies the passenger based on the utterance recognized by the voice recognition unit, and a process in which the voice control unit changes the voice output setting by the notification unit. It includes a history storage unit that stores the recognition result of the voice recognition unit in association with the passenger specified by the personal identification unit.
According to another aspect of the present invention, the history storage unit stores the recognition result of the voice recognition unit and information related to the setting change of the voice output by the voice control unit.
According to another aspect of the present invention, the display control unit includes a display control unit that controls the display on the display unit, and the display control unit is used for changing the setting on the display unit when the audio control unit changes the audio output setting. Is displayed, and a specific item among the items related to the audio output setting is highlighted on the screen for changing the setting.
In one aspect of the present invention, a notification unit that notifies the guidance information regarding the operation of the moving body by voice, a voice recognition unit that recognizes the utterance of the passenger of the moving body, and the notification unit notify the guidance information. A notification system including a voice control unit that changes the voice output setting by the notification unit according to the utterance recognized by the voice recognition unit when the voice recognition unit detects an utterance related to the guidance information. Is.
In one aspect of the present invention, the guidance information is notified in the notification step of notifying the guidance information regarding the operation of the moving body by voice, the voice recognition step of recognizing the utterance of the passenger of the moving body, and the notification step. At that time, when an utterance related to the guidance information is detected in the voice recognition step, a voice adjustment step for changing the voice output setting of the notification step according to the utterance recognized in the voice recognition step. It is a notification control method including.
One aspect of the present invention is a program installed on a single computer or a plurality of computers, which comprises a notification process for notifying the computer of guidance information regarding the operation of the moving body by voice, and a notification process for the passenger of the moving body. When the voice recognition process for recognizing an utterance and the notification process are executed and the utterance related to the guidance information is detected by the voice recognition process, the voice of the notification process is received according to the utterance recognized by the voice recognition process. It is a control program that executes notification control including voice adjustment processing for changing output settings.

本発明によれば、案内情報を音声によって報知する場合に、案内情報に対するユーザの発話に応じて、音声の出力を変更することができ、ユーザの満足度の向上を図ることができる。 According to the present invention, when the guidance information is notified by voice, the voice output can be changed according to the user's utterance to the guidance information, and the user's satisfaction can be improved.

第1実施形態のナビゲーションシステムのブロック図。The block diagram of the navigation system of 1st Embodiment. ユーザモデルの構成例を示す模式図。The schematic diagram which shows the configuration example of a user model. 履歴情報の構成例を示す模式図。The schematic diagram which shows the structural example of the history information. ナビゲーション装置の動作を示すフローチャート。A flowchart showing the operation of the navigation device. ナビゲーション装置の動作を示すフローチャート。A flowchart showing the operation of the navigation device. ナビゲーション装置の表示例を示す図。The figure which shows the display example of a navigation device. 第2実施形態のデータ管理システムの構成を示す図。The figure which shows the structure of the data management system of 2nd Embodiment.

[1.第1実施形態]
[1−1.ナビゲーションシステムの構成]
図1は、本発明を適用した第1実施形態として、ナビゲーションシステム100の構成例を示す図である。
[1. First Embodiment]
[1-1. Navigation system configuration]
FIG. 1 is a diagram showing a configuration example of a navigation system 100 as a first embodiment to which the present invention is applied.

ナビゲーションシステム100は、移動体に設置されるナビゲーション装置120を備える。ナビゲーション装置120は、本発明の報知制御装置の一例に対応する。また、ナビゲーションシステム100は報知システムの一例に対応する。
ナビゲーション装置120が設置される移動体は、例えば車両が挙げられる。本実施形態では、4輪乗用自動車にナビゲーション装置120が搭載される例を説明するが、車両は乗用自動車、列車、貨物自動車、自動二輪車、耕運機や建設機械などの作業用車両等であってもよく、その他、人間の操作により移動するものであればよい。
ナビゲーション装置120は、ナビゲーション装置120が設置された車両に搭乗する搭乗者により操作される。この搭乗者を、以下の説明ではユーザと呼ぶ。ユーザは、助手席や後部座席に搭乗する人であってもよいが、本実施形態では車両を操縦する運転者をユーザとして想定する。また、ナビゲーション装置120を搭載した車両を、以下では単に車両という。
The navigation system 100 includes a navigation device 120 installed on the mobile body. The navigation device 120 corresponds to an example of the notification control device of the present invention. Further, the navigation system 100 corresponds to an example of a notification system.
Examples of the moving body on which the navigation device 120 is installed include a vehicle. In the present embodiment, an example in which the navigation device 120 is mounted on a four-wheeled passenger vehicle will be described, but the vehicle may be a passenger vehicle, a train, a freight vehicle, a motorcycle, a work vehicle such as a cultivator or a construction machine, or the like. Often, any other device that can be moved by human operation is sufficient.
The navigation device 120 is operated by a passenger boarding a vehicle in which the navigation device 120 is installed. This passenger is referred to as a user in the following description. The user may be a person who gets on the passenger seat or the rear seat, but in the present embodiment, the driver who controls the vehicle is assumed as the user. Further, a vehicle equipped with the navigation device 120 is simply referred to as a vehicle below.

ナビゲーション装置120には、ディスプレイ111、タッチセンサ112、マイク113、スピーカ114、車速センサ115、及びGPS116が接続される。車両にCAN(Controller Area Network)等の通信ネットワークが敷設されている場合、この通信ネットワークによって複数の装置を接続することにより、ナビゲーションシステム100が構成されてもよい。また、車両が搭載する不図示のECU(Electronic Control Unit)等の他の装置と、ナビゲーション装置120とが、通信ネットワークにより接続された構成であってもよい。 A display 111, a touch sensor 112, a microphone 113, a speaker 114, a vehicle speed sensor 115, and a GPS 116 are connected to the navigation device 120. When a communication network such as CAN (Control Area Network) is installed in the vehicle, the navigation system 100 may be configured by connecting a plurality of devices by this communication network. Further, another device such as an ECU (Electronic Control Unit) (not shown) mounted on the vehicle and the navigation device 120 may be connected by a communication network.

ディスプレイ111は、液晶表示パネルや有機EL(Electro Luminescence)パネルを備える表示装置であり、ナビゲーション装置120が内蔵する処理部130の制御に従って画像や文字を表示する。ディスプレイ111は、車両のダッシュボード、インストゥルメントパネル、センターコンソール等に設置されてもよいし、ナビゲーション装置120と一体に設けられてもよい。ディスプレイ111は、本発明の表示部の一例に対応する。 The display 111 is a display device including a liquid crystal display panel and an organic EL (Electroluminescence) panel, and displays images and characters under the control of a processing unit 130 built in the navigation device 120. The display 111 may be installed on the dashboard of the vehicle, the instrument panel, the center console, or the like, or may be installed integrally with the navigation device 120. The display 111 corresponds to an example of the display unit of the present invention.

タッチセンサ112は、例えば静電容量式や感圧式のセンサであり、接触操作や押圧操作を検出する。タッチセンサ112は、ディスプレイ111に重畳して配置され、ディスプレイ111に対する接触操作や押圧操作を検出し、操作を検出した位置を示す信号を処理部130に出力する。 The touch sensor 112 is, for example, a capacitance type or pressure sensitive type sensor, and detects a contact operation or a pressing operation. The touch sensor 112 is arranged so as to be superimposed on the display 111, detects a contact operation or a pressing operation on the display 111, and outputs a signal indicating a position where the operation is detected to the processing unit 130.

マイク113は、ユーザが搭乗する空間に設置され、ユーザの音声を集音する。例えば、マイク113は、車両のダッシュボード、インストゥルメントパネル、センターコンソール等に設置される。スピーカ114は、例えば車両のドアトリム等に設置され、音声または音を出力する。マイク113及びスピーカ114の設置位置及び数は限定されない。例えば、マイク113及びスピーカ114として、ユーザの身体に装着されるヘッドセットを利用してもよい。また、マイク113及びスピーカ114は、ナビゲーション装置120に一体に設けられてもよい。 The microphone 113 is installed in the space where the user is boarding, and collects the user's voice. For example, the microphone 113 is installed on the dashboard, instrument panel, center console, or the like of a vehicle. The speaker 114 is installed on, for example, a door trim of a vehicle and outputs voice or sound. The installation position and number of the microphone 113 and the speaker 114 are not limited. For example, a headset worn on the user's body may be used as the microphone 113 and the speaker 114. Further, the microphone 113 and the speaker 114 may be integrally provided with the navigation device 120.

ナビゲーションシステム100は、車両の経路を案内するナビゲーションを実行する。ナビゲーションとは、指定された目的地まで車両が到達するための経路を決定し、決定した経路の通りにユーザが車両を走行させるために情報を提供する動作であり、経路案内とも呼ばれる。 The navigation system 100 executes navigation that guides the route of the vehicle. Navigation is an operation of determining a route for a vehicle to reach a designated destination and providing information for a user to drive the vehicle according to the determined route, and is also called route guidance.

ナビゲーション装置120は、車両の現在位置を含む範囲の地図を含むナビゲーション画面を、ディスプレイ111に表示させる。ナビゲーション画面については図5を参照して後述するが、車両の現在位置を示すアイコン等のシンボル、車両が進行する経路を地図に重畳した画像等を含む。 The navigation device 120 causes the display 111 to display a navigation screen including a map of the range including the current position of the vehicle. The navigation screen will be described later with reference to FIG. 5, but includes symbols such as icons indicating the current position of the vehicle, an image in which the route on which the vehicle travels is superimposed on the map, and the like.

ナビゲーション装置120は、車両の走行に関してユーザが行う操作を案内する情報を、スピーカ114から出力する音声によって報知させる。ユーザが行う操作は、例えば、車両を右折または左折させるためのステアリング装置の操作、アクセルペダルの操作、ブレーキペダルの操作等である。これらの操作を案内する情報を、案内情報と呼ぶ。ナビゲーション装置120は、案内情報を自然言語で読み上げる音声をスピーカ114から出力する。 The navigation device 120 notifies the information for guiding the operation performed by the user regarding the traveling of the vehicle by the voice output from the speaker 114. The operations performed by the user are, for example, the operation of the steering device for turning the vehicle to the right or the left, the operation of the accelerator pedal, the operation of the brake pedal, and the like. Information that guides these operations is called guidance information. The navigation device 120 outputs a voice for reading the guidance information in natural language from the speaker 114.

車速センサ115は、車両の車速パルス信号に基づいて、車両の車速を示すデータを生成し、ナビゲーション装置120に出力する。
GPS(Global Positioning System)116は、不図示のアンテナによりGPS信号を受信して、受信したGPS信号に基づき車両の位置を算出する。GPS116は、車両の現在位置を示す位置データを生成し、ナビゲーション装置120に出力する。
The vehicle speed sensor 115 generates data indicating the vehicle speed of the vehicle based on the vehicle speed pulse signal of the vehicle, and outputs the data to the navigation device 120.
The GPS (Global Positioning System) 116 receives a GPS signal by an antenna (not shown) and calculates the position of the vehicle based on the received GPS signal. The GPS 116 generates position data indicating the current position of the vehicle and outputs the position data to the navigation device 120.

ナビゲーション装置120は、処理部130、記憶部140、及び音声処理回路151を備える。 The navigation device 120 includes a processing unit 130, a storage unit 140, and a voice processing circuit 151.

音声処理回路151は、マイク113及びスピーカ114に接続される。マイク113は、音声処理回路151に音声信号を出力し、音声処理回路151は、マイク113から入力される信号をデジタルデータに変換して、処理部130に出力する。
音声処理回路151は、処理部130が出力するデジタル音声データに基づきスピーカ114に音声信号を出力し、スピーカ114から音を出力させる。
The voice processing circuit 151 is connected to the microphone 113 and the speaker 114. The microphone 113 outputs a voice signal to the voice processing circuit 151, and the voice processing circuit 151 converts the signal input from the microphone 113 into digital data and outputs the signal to the processing unit 130.
The voice processing circuit 151 outputs a voice signal to the speaker 114 based on the digital voice data output by the processing unit 130, and causes the speaker 114 to output sound.

また、ナビゲーション装置120は、通信部152を備えてもよい。通信部152は、例えば、携帯電話回線網、Wi−Fi(登録商標)、Bluetooth(登録商標)等の通信規格に準拠した無線通信を実行する通信モジュールである。通信部152は、処理部130の制御に従って、車両の外の装置との間で各種データを送受信する。 Further, the navigation device 120 may include a communication unit 152. The communication unit 152 is a communication module that executes wireless communication conforming to communication standards such as a mobile phone network, Wi-Fi (registered trademark), and Bluetooth (registered trademark). The communication unit 152 transmits and receives various data to and from a device outside the vehicle under the control of the processing unit 130.

処理部130は、例えば、CPU(Central Processing Unit)等のプロセッサを備えるコンピュータである。処理部130には、記憶部140が接続される。記憶部140は、処理部130が実行するコンピュータプログラムである制御プログラム、及び、処理部130によって処理される各種データを、処理部130によって読み取り可能に記憶する。 The processing unit 130 is, for example, a computer including a processor such as a CPU (Central Processing Unit). A storage unit 140 is connected to the processing unit 130. The storage unit 140 stores the control program, which is a computer program executed by the processing unit 130, and various data processed by the processing unit 130 so that the processing unit 130 can read the control program.

処理部130及び記憶部140を構成するハードウェアは特定の態様に限定されない。例えば、処理部130は、単一のプロセッサで構成されてもよい。また、処理部130は、プロセッサと、ROM(Read Only Memory)、RAM(Random Access Memory)等を統合したデバイスであってもよい。記憶部140は、プログラムやデータを不揮発的に記憶する不揮発性記憶装置で構成されてもよく、具体的には、ハードディスク等の磁気的記憶装置や、フラッシュROM等の半導体記憶デバイスを備えてもよい。また、記憶部140は、処理部130が実行するプログラムやデータ等を一時的に記憶する揮発性記憶装置を備えてもよい。また、処理部130と記憶部140とは統合された1つのデバイスであってもよい。 The hardware constituting the processing unit 130 and the storage unit 140 is not limited to a specific aspect. For example, the processing unit 130 may be composed of a single processor. Further, the processing unit 130 may be a device in which a processor, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like are integrated. The storage unit 140 may be composed of a non-volatile storage device that non-volatilely stores programs and data, and specifically, may include a magnetic storage device such as a hard disk and a semiconductor storage device such as a flash ROM. Good. Further, the storage unit 140 may include a volatile storage device that temporarily stores programs, data, and the like executed by the processing unit 130. Further, the processing unit 130 and the storage unit 140 may be one integrated device.

処理部130は、記憶部140が記憶するプログラムを実行することにより、記憶部140が記憶するデータに基づいて、ナビゲーション装置120の各部を制御する。
処理部130は、機能要素又は機能ユニットとして、操作受付部131、音声認識部132、表示制御部133、ユーザ特定部134、案内情報生成部135、報知部136、及び、音声制御部137を備える。処理部130が備えるこれらの機能要素は、コンピュータである処理部130が、記憶部140に記憶される制御プログラムを実行することにより実現される。
なお、処理部130が実行する制御プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理部130が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
The processing unit 130 controls each unit of the navigation device 120 based on the data stored in the storage unit 140 by executing the program stored in the storage unit 140.
The processing unit 130 includes an operation reception unit 131, a voice recognition unit 132, a display control unit 133, a user identification unit 134, a guidance information generation unit 135, a notification unit 136, and a voice control unit 137 as functional elements or functional units. .. These functional elements included in the processing unit 130 are realized by the processing unit 130, which is a computer, executing a control program stored in the storage unit 140.
The control program executed by the processing unit 130 can be stored in any computer-readable storage medium. Alternatively, all or part of the functional elements included in the processing unit 130 may be configured by hardware including one or more electronic circuit components.

記憶部140は、記憶部140の記憶領域を利用するデータベースとして、地図DB(データベース)141、経路DB142、音声認識DB143、ユーザモデル記憶部144、及び、履歴記憶部145を格納する。 The storage unit 140 stores a map DB (database) 141, a route DB 142, a voice recognition DB 143, a user model storage unit 144, and a history storage unit 145 as a database that uses the storage area of the storage unit 140.

地図DB141及び経路DB142は、ナビゲーション用のデータを格納したデータベースである。地図DB141は地図データを格納する。経路DB142は、車両を含む自動車が走行可能な道路を示す情報、渋滞発生確率や渋滞発生状況を示す情報、交通規制に関する情報など、車両の経路を決定する場合に使用されるデータを格納する。 The map DB 141 and the route DB 142 are databases that store data for navigation. Map DB 141 stores map data. The route DB 142 stores data used when determining a vehicle route, such as information indicating a road on which a vehicle including a vehicle can travel, information indicating a congestion occurrence probability and a congestion occurrence status, and information regarding traffic regulation.

地図DB141は、車両が走行可能な道路に関するPOI(Point Of Interest)に関する情報を含む。POIは、地物とも呼ばれ、最も広い定義としては、自然物や人工物にかかわらず、地上にある全ての物が含まれる。例えば、地物には、例えば、地理的ランドマーク、山や瀧や湖などの観光エリア、建築物、施設、その他の設置物等である。建築物や施設としては、例えば、商業施設や公共施設が含まれ、具体的には、寺院、橋、ビル、家屋、店舗、テーマパーク、ショッピングモール等の商業施設が含まれる。設置物は、例えば、信号機、標識、中央分離帯、フェンス、ガードレール、ポール等の道路付属物や、電柱、或いはその他の物体を含んでも良い。地図DB141は、POIの位置情報とPOIの種類や名称等を示す情報とを対応づけて格納する。 The map DB 141 includes information on a POI (Point Of Interest) regarding a road on which a vehicle can travel. POI is also called a feature, and by its broadest definition, it includes everything on the ground, whether natural or man-made. For example, features include, for example, geographical landmarks, tourist areas such as mountains, waterfalls and lakes, buildings, facilities and other installations. Buildings and facilities include, for example, commercial facilities and public facilities, and specifically include commercial facilities such as temples, bridges, buildings, houses, stores, theme parks, and shopping malls. The installation may include, for example, road accessories such as traffic lights, signs, medians, fences, guardrails, poles, utility poles, or other objects. The map DB 141 stores the position information of the POI and the information indicating the type and name of the POI in association with each other.

音声認識DB143は、音声処理回路151が出力する音声データを認識するためのデータを格納する。例えば、音声認識DB143は、音声データをテキスト化するための辞書データを含む。 The voice recognition DB 143 stores data for recognizing the voice data output by the voice processing circuit 151. For example, the voice recognition DB 143 includes dictionary data for converting voice data into text.

ユーザモデル記憶部144は、ユーザモデル160を記憶する。履歴記憶部145は、履歴情報170を記憶する。ユーザモデル160及び履歴情報170については後述する。 The user model storage unit 144 stores the user model 160. The history storage unit 145 stores the history information 170. The user model 160 and history information 170 will be described later.

操作受付部131は、タッチセンサ112に対するユーザの接触操作を検出し、操作位置を特定することにより、ユーザの操作内容を取得する。
音声認識部132は、音声処理回路151が出力するデジタル音声データを解析することにより、ユーザの発話状態を検出する。具体的には、音声認識部132は、ユーザの発話の音量あるいは声量を検出する。また、音声認識部132は、ユーザの発話のピッチを検出する。本実施形態のピッチは、音の高さの指標をいい、音高ともいえる。音声認識部132は、例えば、予め設定された基準ピッチと、ユーザが発話した音声のピッチとを比較することにより、ユーザの発話音声のピッチを検出する。この処理において、例えば、音声認識部132は、所定時間にユーザが発話した音声を所定周期でサンプリングした値について、平均値を算出する等の統計的処理を実行し、ユーザの発話音声のピッチを算出する。
The operation receiving unit 131 acquires the user's operation content by detecting the user's contact operation with respect to the touch sensor 112 and specifying the operation position.
The voice recognition unit 132 detects the utterance state of the user by analyzing the digital voice data output by the voice processing circuit 151. Specifically, the voice recognition unit 132 detects the volume or volume of the user's utterance. In addition, the voice recognition unit 132 detects the pitch of the user's utterance. The pitch of the present embodiment refers to an index of pitch and can be said to be pitch. The voice recognition unit 132 detects the pitch of the user's spoken voice by, for example, comparing the preset reference pitch with the pitch of the voice spoken by the user. In this process, for example, the voice recognition unit 132 executes statistical processing such as calculating an average value of the values obtained by sampling the voice spoken by the user at a predetermined time in a predetermined cycle, and determines the pitch of the voice spoken by the user. calculate.

音声認識部132は、音声処理回路151が出力するデジタル音声データを解析し、人間が発話した内容をテキスト化する音声認識処理を行う。音声認識処理において、音声認識部132は、例えば、音声データの周波数解析を行って音声特徴量を算出し、算出した音声特徴量に基づき音声認識DB143を参照して、テキストデータを取得する。音声認識部132は、テキストデータの語彙解析や形態素解析を行って、ユーザが発話した内容を認識する。また、音声認識部132は、ユーザの発話音声のテキストデータに基づき、ユーザの発話速度を検出する。発話速度は、例えば、単位時間あたりにユーザが発話する語数、音の数、文字数等である。以下の説明では発話速度を話速と呼ぶ。 The voice recognition unit 132 analyzes the digital voice data output by the voice processing circuit 151, and performs voice recognition processing for converting the content spoken by a human into text. In the voice recognition process, the voice recognition unit 132 calculates, for example, the frequency analysis of the voice data, calculates the voice feature amount, and refers to the voice recognition DB 143 based on the calculated voice feature amount to acquire the text data. The voice recognition unit 132 performs lexical analysis and morphological analysis of the text data to recognize the content spoken by the user. Further, the voice recognition unit 132 detects the user's utterance speed based on the text data of the user's utterance voice. The utterance speed is, for example, the number of words, the number of sounds, the number of characters, etc. spoken by the user per unit time. In the following explanation, the speaking speed is called the speaking speed.

音声認識部132は、ユーザの発話音声の音量、ピッチ、話速、及び、テキスト化した発話内容を出力する。 The voice recognition unit 132 outputs the volume, pitch, speaking speed, and textualized utterance content of the user's uttered voice.

表示制御部133は、ディスプレイ111に表示する画面の表示データを生成し、画像や文字を含む各種画面をディスプレイ111に表示させる。 The display control unit 133 generates display data of the screen to be displayed on the display 111, and displays various screens including images and characters on the display 111.

ユーザ特定部134は、ナビゲーション装置120を操作するユーザを特定する機能を有する。ユーザ特定部134は、本発明の個人特定部の一例に対応する。
ユーザ特定部134は、例えば、ユーザに対してタッチセンサ112または音声によるユーザ名やユーザ識別情報の入力を求め、入力される情報に基づいてユーザを特定する。この場合、ユーザ特定部134は、ユーザ名やユーザ識別情報とともに入力されるパスワード等の認証用の情報に基づき、認証を行ってもよい。また、例えば、ユーザ特定部134は、音声処理回路151が出力する音声データの声紋分析や、音声特徴量の解析を行うことにより、ユーザを特定してもよい。
The user identification unit 134 has a function of identifying a user who operates the navigation device 120. The user identification unit 134 corresponds to an example of the personal identification unit of the present invention.
For example, the user identification unit 134 requests the user to input the user name and the user identification information by the touch sensor 112 or voice, and identifies the user based on the input information. In this case, the user identification unit 134 may perform authentication based on authentication information such as a password entered together with the user name and user identification information. Further, for example, the user identification unit 134 may identify the user by performing voiceprint analysis of the voice data output by the voice processing circuit 151 and analysis of the voice feature amount.

案内情報生成部135は、車両のナビゲーション動作を実行する際に、車両が進行する経路を決定する。例えば、案内情報生成部135は、ユーザの操作によって指定される目的地、経由地、出発地等の位置を特定する。案内情報生成部135は、地図DB141及び経路DB142のデータを参照し、車両が出発地または現在位置から目的地に到達するための経路を決定する。 The guidance information generation unit 135 determines the route on which the vehicle travels when executing the navigation operation of the vehicle. For example, the guidance information generation unit 135 specifies the position of a destination, a waypoint, a departure place, or the like designated by a user operation. The guidance information generation unit 135 refers to the data of the map DB 141 and the route DB 142, and determines the route for the vehicle to reach the destination from the departure place or the current position.

案内情報生成部135は、決定した車両の経路の通りに車両を走行させるための案内情報を生成する。例えば、案内情報生成部135は、GPS116が出力するデータに基づき車両の位置を特定し、特定した位置において経路に沿って車両を走行させるための操作を決定する。案内情報生成部135は、決定した操作をユーザに案内する案内情報を生成する。案内情報生成部135が生成する案内情報は、例えば、車両の直進、右折、左折などの操作を自然言語により案内するメッセージである。 The guidance information generation unit 135 generates guidance information for driving the vehicle along the determined route of the vehicle. For example, the guidance information generation unit 135 specifies the position of the vehicle based on the data output by the GPS 116, and determines the operation for driving the vehicle along the route at the specified position. The guidance information generation unit 135 generates guidance information for guiding the determined operation to the user. The guidance information generated by the guidance information generation unit 135 is, for example, a message that guides an operation such as going straight, turning right, or turning left of the vehicle in natural language.

報知部136は、案内情報生成部135が生成する案内情報に基づき報知を実行する。報知部136は、案内情報の音声を発音するための音声データを生成し、音声処理回路151に音声データを出力することにより、案内情報の音声をスピーカ114から出力させる。また、報知部136は、案内情報生成部135が生成する案内情報に基づいて、表示制御部133に制御を実行させ、ディスプレイ111に案内情報を表示させる。 The notification unit 136 executes notification based on the guidance information generated by the guidance information generation unit 135. The notification unit 136 generates voice data for pronouncing the voice of the guidance information, and outputs the voice data to the voice processing circuit 151 to output the voice of the guidance information from the speaker 114. Further, the notification unit 136 causes the display control unit 133 to execute control based on the guidance information generated by the guidance information generation unit 135, and causes the display 111 to display the guidance information.

音声制御部137は、報知部136がスピーカ114から出力させる案内情報の音声について、音量、話速、ピッチを設定する。
報知部136は、音声制御部137により設定される音量、話速、ピッチでスピーカ114から音声を出力させる。
The voice control unit 137 sets the volume, the speaking speed, and the pitch of the voice of the guidance information output from the speaker 114 by the notification unit 136.
The notification unit 136 outputs voice from the speaker 114 at the volume, speaking speed, and pitch set by the voice control unit 137.

音声制御部137は、案内情報の音声の設定に関して、ユーザモデル記憶部144に記憶されたユーザモデル160、および、履歴記憶部145に記憶された履歴情報170に関する処理を行う。
ここで、ユーザモデル160および履歴情報170について説明する。
The voice control unit 137 processes the user model 160 stored in the user model storage unit 144 and the history information 170 stored in the history storage unit 145 with respect to the voice setting of the guidance information.
Here, the user model 160 and the history information 170 will be described.

図2は、ユーザモデル160の構成例を示す模式図である。
ユーザモデル160は、ユーザ識別情報161、及び、音声出力パラメータ162を含む。ユーザ識別情報161は、ナビゲーション装置120を操作するユーザを識別可能な情報であり、ユーザIDや氏名等である。音声出力パラメータ162は、報知部136がスピーカ114から出力させる案内情報の音声について、出力状態を規定するパラメータを含む。具体的には、案内情報の音声の音量、ピッチ、話速をそれぞれ規定するパラメータを含む。
ユーザモデル記憶部144は、複数のユーザモデル160を記憶することができ、各々のユーザモデル160は、1人のユーザに対応する。また、ユーザモデル記憶部144は、特定のユーザに限らず使用可能な、汎用のユーザモデル160を記憶してもよい。
FIG. 2 is a schematic diagram showing a configuration example of the user model 160.
The user model 160 includes user identification information 161 and audio output parameters 162. The user identification information 161 is information that can identify the user who operates the navigation device 120, and is a user ID, a name, or the like. The voice output parameter 162 includes a parameter that defines the output state of the voice of the guidance information output from the speaker 114 by the notification unit 136. Specifically, it includes parameters that specify the volume, pitch, and speaking speed of the voice of the guidance information.
The user model storage unit 144 can store a plurality of user models 160, and each user model 160 corresponds to one user. Further, the user model storage unit 144 may store a general-purpose user model 160 that can be used not only by a specific user.

図3は、履歴情報170の構成例を示す模式図である。
履歴情報170は、ユーザの発話、及び、ユーザの操作による案内音声の設定の変更に関する情報を含に、詳細には、ユーザ識別情報171、発話音声データ172、パラメータ変更履歴173、発話時刻174、及び、発話内容データ175を含む。
ユーザ識別情報171は、ユーザ識別情報161と同様に、ナビゲーション装置120のユーザを識別する情報である。
FIG. 3 is a schematic diagram showing a configuration example of the history information 170.
The history information 170 includes information on the user's utterance and the change in the setting of the guidance voice by the user's operation. Specifically, the user identification information 171 and the utterance voice data 172, the parameter change history 173, and the utterance time 174. And, the utterance content data 175 is included.
The user identification information 171 is information that identifies the user of the navigation device 120, similarly to the user identification information 161.

発話音声データ172は、マイク113により検出したユーザの発話音声のデータである。発話音声データ172は、音声処理回路151が出力する音声データ自体であってもいし、音声処理回路151が出力する音声データを加工したデータであってもよい。履歴情報170は、複数の発話について発話音声データ172を格納することができる。 The utterance voice data 172 is the data of the utterance voice of the user detected by the microphone 113. The utterance voice data 172 may be the voice data itself output by the voice processing circuit 151, or may be processed data of the voice data output by the voice processing circuit 151. The history information 170 can store utterance voice data 172 for a plurality of utterances.

パラメータ変更履歴173は、報知部136がスピーカ114から出力させる音声の出力状態を規定するパラメータが変更された履歴を示す情報である。音声制御部137は、ユーザの操作に応じて音量、ピッチあるいは話速を変更した場合に、変更内容や変更時刻を示すパラメータ変更履歴173を生成し、或いは更新する。 The parameter change history 173 is information indicating a history in which the parameters that define the output state of the sound output from the speaker 114 by the notification unit 136 have been changed. The voice control unit 137 generates or updates a parameter change history 173 indicating the change content and the change time when the volume, pitch or speaking speed is changed according to the user's operation.

発話時刻174は、発話音声データ172の発話が行われた時刻または日時を示す情報である。履歴情報170は、各々の発話音声データ172に対応する発話時刻174を含む。
発話内容データ175は、発話音声データ172の発話の内容を示す情報であり、例えば、ユーザの発話をテキスト化したテキストデータであってもよいし、ユーザの発話に含まれる語を抽出したデータであってもよい。
The utterance time 174 is information indicating the time or date and time when the utterance of the utterance voice data 172 was performed. The history information 170 includes an utterance time 174 corresponding to each utterance voice data 172.
The utterance content data 175 is information indicating the utterance content of the utterance voice data 172, and may be, for example, text data in which the user's utterance is converted into text, or data obtained by extracting words included in the user's utterance. There may be.

音声制御部137は、ユーザ特定部134により特定されたユーザに対応するユーザモデル160を、ユーザ識別情報161に基づいて検索し、取得する。音声制御部137は、取得したユーザモデル160に含まれる音声出力パラメータ162に基づき、案内情報の音声の出力状態を設定する。
音声制御部137は、タッチセンサ112によって音量、ピッチあるいは話速の設定の変更を指示するユーザの操作が検出された場合、操作に従って設定を変更する。
The voice control unit 137 searches and acquires the user model 160 corresponding to the user specified by the user identification unit 134 based on the user identification information 161. The voice control unit 137 sets the voice output state of the guidance information based on the voice output parameter 162 included in the acquired user model 160.
When the touch sensor 112 detects the user's operation instructing the change of the volume, pitch, or speaking speed setting, the voice control unit 137 changes the setting according to the operation.

音声制御部137は、音声認識部132による検出結果や認識結果に基づき、履歴情報170を生成及び更新する。また、ユーザの操作に応じて設定を変更した場合に、履歴情報170を更新する。
また、音声制御部137は、ユーザ特定部134が特定した新たなユーザに対応するユーザモデル160を生成する。
The voice control unit 137 generates and updates the history information 170 based on the detection result and the recognition result by the voice recognition unit 132. In addition, the history information 170 is updated when the setting is changed according to the operation of the user.
Further, the voice control unit 137 generates a user model 160 corresponding to a new user specified by the user identification unit 134.

音声制御部137は、履歴情報170を更新する毎に、パラメータ変更履歴173に基づいて音声出力パラメータ162を変更する。これにより、ユーザの操作に応じて音声制御部137が設定を変更した場合に、設定の変更がユーザモデル160に反映される。このため、ユーザがナビゲーション装置120を使用する場合に、ユーザが過去に指示した設定変更の内容が反映される。 Each time the voice control unit 137 updates the history information 170, the voice control unit 137 changes the voice output parameter 162 based on the parameter change history 173. As a result, when the voice control unit 137 changes the setting according to the user's operation, the change in the setting is reflected in the user model 160. Therefore, when the user uses the navigation device 120, the content of the setting change instructed by the user in the past is reflected.

また、音声制御部137は、ユーザの発話内容や、ユーザの発話の状態に対応して、音声出力パラメータ162を変更する。音声制御部137は、ユーザの発話の音量、ピッチ及び話速のいずれか1以上に対応して、設定を変更する。また、音声制御部137は、ユーザの発話の内容が、所定の条件に該当する場合に、設定を変更する。これらの動作の具体的な例はフローチャートを参照して後述する。 Further, the voice control unit 137 changes the voice output parameter 162 according to the content of the user's utterance and the state of the user's utterance. The voice control unit 137 changes the setting according to any one or more of the volume, pitch and speaking speed of the user's utterance. Further, the voice control unit 137 changes the setting when the content of the user's utterance corresponds to a predetermined condition. Specific examples of these operations will be described later with reference to the flowchart.

[1−2.ナビゲーション装置の動作]
図4及び図5は、ナビゲーション装置120の動作を示すフローチャートであり、図5は図4のステップS118の処理を詳細に示す。
[1-2. Operation of navigation device]
4 and 5 are flowcharts showing the operation of the navigation device 120, and FIG. 5 shows in detail the process of step S118 of FIG.

図4及び図5の動作はナビゲーション装置120の処理部130により実行され、詳細には、ステップS102の処理はユーザ特定部134が実行し、S103−S105、S111、S113−S118の処理は音声制御部137が実行する。ステップS106は案内情報生成部135が実行し、S107は報知部136が実行し、S108−S109、S112は音声認識部132が実行する。ステップS101、S110、S119の処理は、処理部130が実行する。 The operations of FIGS. 4 and 5 are executed by the processing unit 130 of the navigation device 120, specifically, the processing of step S102 is executed by the user identification unit 134, and the processing of S103-S105, S111, and S113-S118 is voice-controlled. Unit 137 executes. Step S106 is executed by the guidance information generation unit 135, S107 is executed by the notification unit 136, and S108-S109 and S112 are executed by the voice recognition unit 132. The processing unit 130 executes the processing of steps S101, S110, and S119.

処理部130は、ナビゲーションを開始すると(S101)、ナビゲーション装置120を使用するユーザを特定する(S102)。処理部130は、ユーザモデル記憶部144に記憶されたユーザモデル160を参照し、ステップS102で特定したユーザに対応するユーザモデル160があるか否かを判定する(S103)。該当するユーザモデル160がある場合(S103;YES)、処理部130は、ユーザモデル160を選択する(S104)。また、該当するユーザモデル160がないか、ユーザが特定されなかった場合(S103;NO)、処理部130は、デフォルトのユーザモデルを利用する設定を行う(S105)。デフォルトのユーザモデルは、例えば、上記の汎用のユーザモデル160である。 When the processing unit 130 starts navigation (S101), the processing unit 130 identifies a user who uses the navigation device 120 (S102). The processing unit 130 refers to the user model 160 stored in the user model storage unit 144, and determines whether or not there is a user model 160 corresponding to the user specified in step S102 (S103). When there is a corresponding user model 160 (S103; YES), the processing unit 130 selects the user model 160 (S104). If there is no corresponding user model 160 or the user is not specified (S103; NO), the processing unit 130 makes a setting to use the default user model (S105). The default user model is, for example, the general-purpose user model 160 described above.

処理部130は、GPS116が出力するデータに基づいて車両の位置を示す位置情報を取得する(S106)。ステップS106で、処理部130は、位置情報を算出してもよい。処理部130は、車両の位置情報と車両の経路とに基づいて案内情報を生成し、音声により案内情報を報知する(S107)。 The processing unit 130 acquires position information indicating the position of the vehicle based on the data output by the GPS 116 (S106). In step S106, the processing unit 130 may calculate the position information. The processing unit 130 generates guidance information based on the position information of the vehicle and the route of the vehicle, and notifies the guidance information by voice (S107).

処理部130は、マイク113によりユーザの発話を検知したか否かを判定する(S108)。ステップS108では、案内情報の音声の出力後における発話を検知するが、案内情報の音声の出力中の音声も検知する構成であってもよい。
ユーザの発話を検知した場合(S108;YES)、処理部130は、発話内容を解析し(S109)、発話内容に対応する処理を実行する(S110)。
The processing unit 130 determines whether or not the user's utterance is detected by the microphone 113 (S108). In step S108, the utterance after the output of the voice of the guidance information is detected, but the voice during the output of the voice of the guidance information may also be detected.
When the user's utterance is detected (S108; YES), the processing unit 130 analyzes the utterance content (S109) and executes the process corresponding to the utterance content (S110).

ユーザの発話としては、例えば、案内情報の再度の報知を求める発話が挙げられる。すなわち、ステップS107で報知した案内情報を、再度、報知することをユーザが要求する発話である。この種の発話は、ユーザが車両の操作に不慣れである場合や、案内情報の音声を聞き逃した場合になされることが考えられる。この場合、処理部130は、ステップS107で報知した案内情報を、ステップS110で再度、音声により報知する。 Examples of the user's utterance include an utterance requesting re-notification of guidance information. That is, it is an utterance in which the user requests that the guidance information notified in step S107 be notified again. This type of utterance may be made when the user is unfamiliar with the operation of the vehicle or when the user misses the voice of the guidance information. In this case, the processing unit 130 notifies the guidance information notified in step S107 again by voice in step S110.

また、ユーザの発話として、例えば、ステップS107で報知した案内情報の内容に関する発話が挙げられる。具体的には、ステップS107で、交差点で車両を右折させる内容の音声を出力した場合に、ユーザが「交差点のランドマークを教えて」と発話する例が挙げられる。この場合、処理部130は、ステップS107で報知した案内情報を、より詳細な情報を含む案内情報に変更し、再度、ステップS110で案内情報を音声により報知する。 Further, as the utterance of the user, for example, an utterance regarding the content of the guidance information notified in step S107 can be mentioned. Specifically, in step S107, when the voice of the content of turning the vehicle to the right at the intersection is output, the user utters "Tell me the landmark of the intersection". In this case, the processing unit 130 changes the guidance information notified in step S107 to guidance information including more detailed information, and again notifies the guidance information by voice in step S110.

また、ユーザの発話としては、例えば、ステップS107で報知した案内情報に関連する情報を要求する発話が挙げられる。一例として、案内情報に関連するPOIに関する情報を要求する発話が挙げられる。具体的な例としては、ステップS107で、高速道路のインターチェンジを案内する音声を出力した場合に、ユーザが、インターチェンジの前にガソリンスタンドがあるかどうか質問する例が挙げられる。この場合、処理部130は、ステップS110で、要求されたPOIに関する情報を地図DB141から抽出し、抽出した情報を音声によって報知する。 Further, as the utterance of the user, for example, an utterance requesting information related to the guidance information notified in step S107 can be mentioned. One example is an utterance requesting information about POI related to guidance information. As a specific example, in step S107, when a voice for guiding an interchange on a highway is output, a user asks whether there is a gas station in front of the interchange. In this case, in step S110, the processing unit 130 extracts the information regarding the requested POI from the map DB 141, and notifies the extracted information by voice.

処理部130は、ステップS102で特定したユーザに対応する履歴情報170を、ステップS108で検知したユーザの発話に基づいて更新する(S111)。例えば、処理部130は、ユーザの発話に関する情報を発話音声データ172、発話時刻174、発話内容データ175に追加する。 The processing unit 130 updates the history information 170 corresponding to the user specified in step S102 based on the utterance of the user detected in step S108 (S111). For example, the processing unit 130 adds information about the user's utterance to the utterance voice data 172, the utterance time 174, and the utterance content data 175.

処理部130は、ユーザの発話音声の音量、ピッチ、及び話速を検出し(S112)、案内情報の音声の出力状態として設定されている音量、ピッチ、及び話速との差をそれぞれ算出する(S113)。 The processing unit 130 detects the volume, pitch, and speaking speed of the user's uttered voice (S112), and calculates the difference from the volume, pitch, and speaking speed set as the output state of the voice of the guidance information, respectively. (S113).

処理部130は、ユーザの発話音声の音量、ピッチ、及び話速のいずれかについて、案内情報の音声との差が予め設定された調整条件に該当するか否かを判定する(S114)。調整条件は、ユーザの発話音声と案内情報の音声との差を規定する条件であり、例えば、ユーザの話速と案内情報の音声の話速との差を規定する第1閾値、及び、ユーザの発話音声のピッチと案内情報の音声のピッチとの差を規定する第2閾値とを含む。また、調整条件は、ユーザの発話音声の音量と案内情報の音声の音量との差を規定する第3閾値を含んでもよい。 The processing unit 130 determines whether or not the difference between the volume, pitch, and speaking speed of the user's uttered voice with the voice of the guidance information corresponds to a preset adjustment condition (S114). The adjustment condition is a condition that defines the difference between the voice of the user and the voice of the guidance information. For example, the first threshold value that defines the difference between the voice of the user and the voice of the guidance information, and the user. Includes a second threshold that defines the difference between the pitch of the spoken voice and the pitch of the voice of the guidance information. Further, the adjustment condition may include a third threshold value that defines the difference between the volume of the voice spoken by the user and the volume of the voice of the guidance information.

処理部130は、ユーザの発話音声と案内情報の音声との差が調整条件に該当すると判定した場合(S114;YES)、案内情報の音声に関する設定を変更する調整処理(S115−S116)を行う。例えば、処理部130は、ユーザの発話音声の話速と案内情報の音声の話速との差が第1閾値以上である場合、または、ユーザの発話音声のピッチと案内情報の音声のピッチとの差が第2閾値以上である場合に、ステップS115に移行する。処理部130は、ユーザの発話音声の音量と案内情報の音声の音量との差が第3閾値以上である場合にステップS115に移行してもよい。ステップS114では、音量、ピッチ、及び話速のうちいずれか1以上が調整条件に該当する場合に、肯定判定する。 When the processing unit 130 determines that the difference between the voice of the user and the voice of the guidance information corresponds to the adjustment condition (S114; YES), the processing unit 130 performs an adjustment process (S115-S116) for changing the setting related to the voice of the guidance information. .. For example, the processing unit 130 determines that the difference between the speaking speed of the user's uttered voice and the speaking speed of the guidance information voice is equal to or greater than the first threshold value, or the pitch of the user's uttered voice and the pitch of the guidance information voice. When the difference between the two is equal to or greater than the second threshold value, the process proceeds to step S115. The processing unit 130 may shift to step S115 when the difference between the volume of the user's uttered voice and the volume of the voice of the guidance information is equal to or greater than the third threshold value. In step S114, when any one or more of the volume, pitch, and speaking speed corresponds to the adjustment condition, an affirmative determination is made.

調整処理で、処理部130は、案内情報の音声の設定を、ユーザの発話状態に近づけるように変更する。詳細には、処理部130は調整用画面を表示するための画像データを生成し、ディスプレイ111に調整用画面を表示させる(S115)。処理部130は、調整用画面が表示された状態でタッチセンサ112が検知する操作に基づき、設定されている音量、ピッチ、或いは話速の設定値を変更する(S116)。 In the adjustment process, the processing unit 130 changes the voice setting of the guidance information so as to be closer to the utterance state of the user. Specifically, the processing unit 130 generates image data for displaying the adjustment screen, and causes the display 111 to display the adjustment screen (S115). The processing unit 130 changes the set value of the set volume, pitch, or speaking speed based on the operation detected by the touch sensor 112 while the adjustment screen is displayed (S116).

図6は、ナビゲーション装置120の表示例を示す図であり、調整用画面300の例を示す。調整用画面300は、ナビゲーション装置120のナビゲーション動作のための経路表示部301と、経路表示部301に重ねて表示される設定表示部310とを含む。経路表示部301は、ナビゲーション動作の間は常時表示されており、ステップS115において設定表示部310が表示される。調整用画面300は、設定変更用の画面の一例に対応する。例えば、表示制御部133が、調整用画面300を表示するための表示データを生成し、ディスプレイ111に調整用画面300を表示させる。 FIG. 6 is a diagram showing a display example of the navigation device 120, and shows an example of the adjustment screen 300. The adjustment screen 300 includes a route display unit 301 for the navigation operation of the navigation device 120 and a setting display unit 310 that is superimposed on the route display unit 301. The route display unit 301 is always displayed during the navigation operation, and the setting display unit 310 is displayed in step S115. The adjustment screen 300 corresponds to an example of a screen for changing settings. For example, the display control unit 133 generates display data for displaying the adjustment screen 300, and causes the display 111 to display the adjustment screen 300.

調整用画面300は、車両の経路案内を行うため、車両の現在位置を含む地図と、車両の位置を示す自車位置表示302と、車両の進路を示す経路表示303とを含む。
設定表示部310には、話速を設定するためのスライドバー313、音量を設定するためのスライドバー315、及び、話速を設定するためのスライドバー317が配置されている。スライドバー313、315、317は、タッチセンサ112による操作を可能とするグラフィカルユーザインターフェイスである。ユーザが、スライドバー313、315、317に対するタッチ操作を行うことにより、各スライドバーに対応する項目の設定値が変更される。
The adjustment screen 300 includes a map including the current position of the vehicle, the own vehicle position display 302 indicating the position of the vehicle, and the route display 303 indicating the course of the vehicle in order to guide the route of the vehicle.
The setting display unit 310 is arranged with a slide bar 313 for setting the speaking speed, a slide bar 315 for setting the volume, and a slide bar 317 for setting the speaking speed. The slide bars 313, 315, and 317 are graphical user interfaces that can be operated by the touch sensor 112. When the user touches the slide bars 313, 315, and 317, the setting values of the items corresponding to the slide bars are changed.

図6の調整用画面300は、ステップS114で、ユーザの発話音声の話速が調整条件に該当すると判定された場合に表示される例である。処理部130は、調整条件に該当すると判定された項目の調整をユーザに促すため、該当する項目のスライドバーを、設定表示部310において最上部に配置し、強調表示する。例えば、ステップS114でユーザの発話音声のピッチと案内情報の音声のピッチとの差が第2閾値以上であると判定した場合、設定表示部310ではスライドバー317が最上部に配置され、強調表示される。
強調表示としては、例えば、図6に示すように、該当する項目のスライドバー313を他のスライドバー315、317より太く表示する態様が挙げられるが、表示色の変更、蛍光表示の付加、点滅表示、枠や下線による加飾等であってもよい。
The adjustment screen 300 of FIG. 6 is an example displayed when it is determined in step S114 that the speaking speed of the user's uttered voice corresponds to the adjustment condition. The processing unit 130 arranges the slide bar of the corresponding item at the uppermost part of the setting display unit 310 and highlights it in order to prompt the user to adjust the item determined to meet the adjustment condition. For example, when it is determined in step S114 that the difference between the pitch of the user's utterance voice and the pitch of the guidance information voice is equal to or greater than the second threshold value, the slide bar 317 is arranged at the top of the setting display unit 310 and is highlighted. Will be done.
As the highlighting, for example, as shown in FIG. 6, the slide bar 313 of the corresponding item is displayed thicker than the other slide bars 315 and 317, but the display color is changed, the fluorescent display is added, and the blinking is performed. It may be displayed, decorated with a frame or underline, or the like.

調整用画面300は、ユーザに対し、ユーザの発話の状態に合わせて、ナビゲーション装置120が出力する案内情報の音声の出力状態を変更するよう推奨する機能を有する。調整用画面300を表示することにより、ユーザの特徴に合わせて、案内情報の音声を調整することが可能となり、ユーザにとって快適な案内情報の報知を行うことができる。例えば、ユーザの発話の音量が大きい、ピッチが低い、発話音声の話速が遅い等の事象は、ユーザの聴力や発話能力が比較的低いことを示すと推定される。或いは、ユーザが車両の操作に強く注意を向けているため、発話能力が発揮されにくくなっている可能性も推定される。これらの場合、ユーザの聴力や発話能力に合わせて、案内情報の音声の出力状態を変更し、聴力が比較的低いユーザや、発話能力を発揮しにくい状態にあるユーザにとって、聞き取りやすい音声によって報知を行うことにより、ユーザがより快適に、車両の操作に集中できる。また、ユーザが、自身が快適になるようにナビゲーション装置120が動作したことに対し、満足感を得ることが期待できる。 The adjustment screen 300 has a function of recommending the user to change the voice output state of the guidance information output by the navigation device 120 according to the user's utterance state. By displaying the adjustment screen 300, it is possible to adjust the voice of the guidance information according to the characteristics of the user, and it is possible to notify the guidance information that is comfortable for the user. For example, an event such as a user's utterance volume being loud, a pitch being low, or a utterance voice being spoken at a slow speed is presumed to indicate that the user's hearing and utterance ability are relatively low. Alternatively, it is presumed that the user is paying close attention to the operation of the vehicle, which makes it difficult for the user to exert his / her speaking ability. In these cases, the voice output state of the guidance information is changed according to the user's hearing and speaking ability, and the user with relatively low hearing or the user who is in a state where it is difficult to demonstrate the speaking ability is notified by the voice that is easy to hear. By doing so, the user can concentrate on the operation of the vehicle more comfortably. In addition, the user can be expected to be satisfied with the operation of the navigation device 120 so as to be comfortable for himself / herself.

処理部130は、スライドバー313、315、317に対する操作を検知して、操作に応じて、設定されている音量、ピッチ、或いは話速の設定を変更する。 The processing unit 130 detects an operation on the slide bars 313, 315, and 317, and changes the set volume, pitch, or speaking speed setting according to the operation.

処理部130は、設定を変更した内容に基づいて、履歴情報170を更新し(S117)、ステップS118に移行する。また、処理部130は、ユーザの発話音声と案内情報の音声との差が調整条件に該当しないと判定した場合(S114;NO)、ステップS118に移行する。ステップS118で、処理部130は、ステップS111、及び/またはステップS117で更新した履歴情報170に基づき、ユーザモデル160を更新する。 The processing unit 130 updates the history information 170 (S117) based on the content of the changed setting, and proceeds to step S118. Further, when the processing unit 130 determines that the difference between the voice spoken by the user and the voice of the guidance information does not correspond to the adjustment condition (S114; NO), the process proceeds to step S118. In step S118, the processing unit 130 updates the user model 160 based on the history information 170 updated in step S111 and / or step S117.

ステップS118の処理について図5を参照して説明する。
処理部130は、更新した履歴情報170と、更新した履歴情報170と同じユーザに対応するユーザモデル160とを取得する(S121)。処理部130は、パラメータ変更履歴173が示す変更を反映するように、音声出力パラメータ162を更新する(S122)。さらに、処理部130は、発話内容データ175を参照し、特定の案内情報に対する発話が、予め設定された閾値以上であるか否かを判定する(S123)。ステップS123では、例えば、ステップS107で報知した1つの案内情報に対し、ユーザの発話の回数が閾値以上であるか否かを判定する。ステップS123で閾値と比較されるユーザの発話の回数は、例えば、再度の報知を求める発話や関連する情報を求める発話等を合計した回数とすることができる。
The process of step S118 will be described with reference to FIG.
The processing unit 130 acquires the updated history information 170 and the user model 160 corresponding to the same user as the updated history information 170 (S121). The processing unit 130 updates the audio output parameter 162 so as to reflect the change indicated by the parameter change history 173 (S122). Further, the processing unit 130 refers to the utterance content data 175 and determines whether or not the utterance for the specific guidance information is equal to or higher than a preset threshold value (S123). In step S123, for example, it is determined whether or not the number of times the user utters is equal to or greater than the threshold value for one guidance information notified in step S107. The number of user utterances compared with the threshold value in step S123 can be, for example, the total number of utterances requesting re-notification, utterances requesting related information, and the like.

特定の案内情報に対する発話が閾値以上であると判定した場合(S123;YES)、処理部130は、音声出力パラメータ162を更新する(S124)。特定の案内情報に対する発話の回数が多い場合、ユーザは、車両の操作に不慣れであると推定される。このため、ステップS124では、操作に不慣れなユーザが安心感を得られるように、音声出力パラメータ162を変更する。具体的には、音量を大きくする、ピッチを低くする、話速を遅くするように、音声出力パラメータ162を変更する。 When it is determined that the utterance for the specific guidance information is equal to or greater than the threshold value (S123; YES), the processing unit 130 updates the voice output parameter 162 (S124). If the number of utterances for specific guidance information is large, it is presumed that the user is unfamiliar with the operation of the vehicle. Therefore, in step S124, the audio output parameter 162 is changed so that the user who is unfamiliar with the operation can obtain a sense of security. Specifically, the voice output parameter 162 is changed so as to increase the volume, decrease the pitch, and slow down the speaking speed.

特定の案内情報に対する発話が閾値以上でないと判定した場合(S123;NO)、処理部130は、特定のPOIに関する情報を求める発話が、予め設定された閾値以上であるか否かを判定する(S125)。ステップS125で判定に用いる閾値は、ステップS123の閾値と同一でもよいし、異なる値であってもよい。ステップS125では、例えば、過去に報知した案内情報を含む案内情報に対し、ユーザが、1つの種類のPOIに関する情報を求める発話の回数を、閾値と比較する。具体的な例としては、ユーザが、ガソリンスタンドに関する情報を求める発話を行った累積の回数を、閾値と比較する。 When it is determined that the utterance for the specific guidance information is not equal to or more than the threshold value (S123; NO), the processing unit 130 determines whether or not the utterance for requesting the information regarding the specific POI is equal to or more than the preset threshold value (S123; NO). S125). The threshold value used for the determination in step S125 may be the same as the threshold value in step S123, or may be a different value. In step S125, for example, the number of utterances in which the user requests information on one type of POI with respect to the guidance information including the guidance information notified in the past is compared with the threshold value. As a specific example, the cumulative number of times the user has made an utterance asking for information about a gas station is compared to a threshold.

特定のPOIに関する発話が閾値以上であると判定した場合(S125;YES)、処理部130は、ステップS124に移行して、音声出力パラメータ162を更新する。1つの種類のPOIに対する発話の回数が多い場合、ユーザは、特定のPOIについて関心が高いか、特定のPOIに意識が向いていると推定される。このため、操作に不慣れなユーザに対する処理と同様に、音声出力パラメータ162を変更する。具体的には、音量を大きくする、ピッチを低くする、或いは、話速を遅くするように、音声出力パラメータ162を変更する。 When it is determined that the utterance related to the specific POI is equal to or higher than the threshold value (S125; YES), the processing unit 130 proceeds to step S124 and updates the voice output parameter 162. If the number of utterances for one type of POI is high, it is presumed that the user is highly interested in a particular POI or is conscious of a particular POI. Therefore, the audio output parameter 162 is changed in the same manner as the processing for the user who is unfamiliar with the operation. Specifically, the voice output parameter 162 is changed so as to increase the volume, decrease the pitch, or decrease the speaking speed.

特定のPOIに関する発話が閾値以上でないと判定した場合(S125;NO)、及び、ステップS124で音声出力パラメータ162を変更した後、処理部130は、図4のステップS119に移行する。 When it is determined that the utterance relating to the specific POI is not equal to or higher than the threshold value (S125; NO), and after changing the voice output parameter 162 in step S124, the processing unit 130 shifts to step S119 in FIG.

また、案内情報を報知した際にユーザの発話が検知されなかった場合(S108;NO)、処理部130は、ステップS119に移行する。 If the user's utterance is not detected when the guidance information is notified (S108; NO), the processing unit 130 proceeds to step S119.

ステップS119で、処理部130は、ナビゲーションを終了するか否かを判定する。処理部130は、ユーザの操作によりナビゲーションの終了が指示された場合、車両が目的地に到着した場合、ナビゲーション装置120の電源がシャットダウンされる場合等に、ナビゲーションを終了する(S119;YES)。ナビゲーションを終了しない場合(S119;NO)、処理部130はステップS106に戻る。 In step S119, the processing unit 130 determines whether or not to end the navigation. The processing unit 130 ends the navigation when the end of the navigation is instructed by the user's operation, when the vehicle arrives at the destination, when the power supply of the navigation device 120 is shut down, and the like (S119; YES). If the navigation is not finished (S119; NO), the processing unit 130 returns to step S106.

[2.第2実施形態]
図7は、本発明を適用した第2実施形態のデータ管理システム200の構成を示す図である。
データ管理システム200は、ナビゲーションシステム100と、サーバ装置201とを通信可能に接続して構成される。
[2. Second Embodiment]
FIG. 7 is a diagram showing a configuration of a data management system 200 according to a second embodiment to which the present invention is applied.
The data management system 200 is configured by connecting the navigation system 100 and the server device 201 so as to be communicable.

データ管理システム200では、ユーザモデル記憶部144に相当するユーザモデル記憶部211を、サーバ装置201が備えている。ユーザモデル記憶部211は、ナビゲーション装置120が生成または更新するユーザモデル160を、ユーザモデル記憶部211に記憶する。
ナビゲーション装置120は、ステップS118でユーザモデル160を生成または更新した場合に、ユーザモデル160をサーバ装置201に送信する。
In the data management system 200, the server device 201 includes a user model storage unit 211 corresponding to the user model storage unit 144. The user model storage unit 211 stores the user model 160 generated or updated by the navigation device 120 in the user model storage unit 211.
The navigation device 120 transmits the user model 160 to the server device 201 when the user model 160 is generated or updated in step S118.

データ管理システム200では、ナビゲーション装置120により生成または更新されたユーザモデル160をサーバ装置201が記憶するので、ユーザモデル160を複数のナビゲーション装置120において共通して利用できる。 In the data management system 200, since the server device 201 stores the user model 160 generated or updated by the navigation device 120, the user model 160 can be commonly used in the plurality of navigation devices 120.

例えば、ナビゲーション装置120が、図4及び図5に示す動作を実行する際に、ステップS102で特定したユーザに対応するユーザモデル160を、データ管理システム200からダウンロードする構成が考えられる。この構成では、複数のナビゲーションシステム100で、最新のユーザモデル160を共通して利用できる。このため、ユーザが車両を含む各種の移動体を操作する際に、この移動体に設置されるナビゲーション装置120が、サーバ装置201が記憶する最新のユーザモデル160に従って、案内情報を音声により報知できる。従って、ユーザがどの移動体を操作するときも、ユーザの聴力や発話能力に合わせて報知を行うことができ、ユーザの満足度をより一層高めることができる。 For example, when the navigation device 120 executes the operations shown in FIGS. 4 and 5, the user model 160 corresponding to the user specified in step S102 may be downloaded from the data management system 200. In this configuration, the latest user model 160 can be commonly used in the plurality of navigation systems 100. Therefore, when the user operates various mobile bodies including the vehicle, the navigation device 120 installed in the mobile body can notify the guidance information by voice according to the latest user model 160 stored in the server device 201. .. Therefore, when the user operates any moving object, the notification can be performed according to the hearing ability and the speaking ability of the user, and the satisfaction level of the user can be further enhanced.

また、サーバ装置201は、履歴記憶部145に相当する履歴記憶部212を備えていてもよい。履歴記憶部212は、ナビゲーション装置120が生成する履歴情報170を記憶する。この場合、ナビゲーション装置120は、ステップS111、S117で履歴情報170を生成した場合に、通信部152によって履歴情報170をサーバ装置201に送信する。この構成では、複数のナビゲーション装置120が、一人のユーザに対応する履歴情報170を共通して利用できるので、ユーザが複数の移動体に搭乗して発話した内容の履歴が1つの履歴情報170に蓄積される。このため、ユーザの発話の状態に関する情報を集約できる。この構成において、サーバ装置201は、履歴記憶部212に記憶される履歴情報170に基づいて、ユーザモデル160を更新する機能を備えてもよい。すなわち、図5に示す処理を、サーバ装置201が実行してもよい。この場合、ユーザが様々な移動体の操作に際して発話した内容や発話音声の状態に対応して、案内情報の音声に関する設定を変更できるので、ユーザの満足度をより一層高めることができる。 Further, the server device 201 may include a history storage unit 212 corresponding to the history storage unit 145. The history storage unit 212 stores the history information 170 generated by the navigation device 120. In this case, when the history information 170 is generated in steps S111 and S117, the navigation device 120 transmits the history information 170 to the server device 201 by the communication unit 152. In this configuration, since the plurality of navigation devices 120 can commonly use the history information 170 corresponding to one user, the history of the contents spoken by the user boarding the plurality of moving objects becomes one history information 170. Accumulate. Therefore, information on the state of the user's utterance can be aggregated. In this configuration, the server device 201 may have a function of updating the user model 160 based on the history information 170 stored in the history storage unit 212. That is, the server device 201 may execute the process shown in FIG. In this case, since the setting related to the voice of the guidance information can be changed according to the content spoken by the user when operating various moving objects and the state of the spoken voice, the satisfaction level of the user can be further enhanced.

[3.他の実施形態]
なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
[3. Other embodiments]
The present invention is not limited to the configuration of the above embodiment, and can be implemented in various embodiments without departing from the gist thereof.

例えば、ナビゲーション装置120は、ディスプレイ111に代えて、或いはディスプレイ111に加えて、HUD(Head Up Display)による表示を行う構成としてもよい。この場合、ナビゲーション装置120は、案内情報の内容に対応する文字や画像をHUDに表示し、報知を行ってもよい。 For example, the navigation device 120 may be configured to display by HUD (Head Up Display) instead of the display 111 or in addition to the display 111. In this case, the navigation device 120 may display characters and images corresponding to the contents of the guidance information on the HUD to perform notification.

また、上記各実施形態で示したユーザの発話の例は、あくまで一例である。報知に対し否定的な内容の発話、案内情報の再度の報知を求める発話、案内情報の内容に関する発話、案内情報に関連する情報を要求する発話の各分類に該当する具体的な発話内容は、任意に設定可能である。また、ユーザの発話を、上述した分類以外の発話であると判定して、ユーザモデル160を更新してもよい。 Further, the example of the user's utterance shown in each of the above embodiments is only an example. The specific utterances that correspond to each category of utterances that are negative to the notification, utterances that request re-notification of guidance information, utterances that relate to the content of guidance information, and utterances that request information related to guidance information are: It can be set arbitrarily. Further, the user model 160 may be updated by determining that the user's utterance is an utterance other than the above-mentioned classification.

本発明の適用対象は、車両に固定的に設置されるナビゲーション装置120に限定されない。例えば、ナビゲーション装置120は、車両から取り外して持ち運ぶことが可能な、いわゆるポータブルナビゲーション装置であってもよい。また、スマートフォンやパーソナルコンピュータ等の汎用コンピュータを車両に設置して、ナビゲーション装置120として機能させてもよい。この場合、上記汎用コンピュータには、例えば、ナビゲーション装置120としての報知制御を実行するためのアプリケーションプログラムがインストールされる。 The application target of the present invention is not limited to the navigation device 120 fixedly installed in the vehicle. For example, the navigation device 120 may be a so-called portable navigation device that can be removed from the vehicle and carried around. Further, a general-purpose computer such as a smartphone or a personal computer may be installed in the vehicle to function as the navigation device 120. In this case, for example, an application program for executing notification control as the navigation device 120 is installed in the general-purpose computer.

また、上記各実施形態では、ナビゲーション装置120を搭載する移動体の具体的な態様は任意である。少なくとも1人のユーザが搭乗し、移動体の操縦に関与する移動体であれば、本発明を適用可能である。 Further, in each of the above embodiments, the specific mode of the moving body on which the navigation device 120 is mounted is arbitrary. The present invention is applicable as long as it is a moving body in which at least one user is on board and is involved in maneuvering the moving body.

[4.まとめ]
以上説明したように、実施形態のナビゲーション装置120は、移動体としての車両の操作に関する案内情報を音声により報知する報知部136と、車両のユーザの発話を認識する音声認識部132と、報知部136が案内情報を報知した際に、音声認識部132が案内情報に関する発話を検知した場合に、音声認識部132が認識した発話に応じて報知部136による音声出力の設定を変更する音声制御部137と、を備える。
また、ナビゲーション装置120は、車両の操作に関する案内情報を音声により報知する報知ステップと、車両のユーザの発話を認識する音声認識ステップと、報知ステップで案内情報が報知された際に、音声認識ステップにより案内情報に関する発話が検知された場合に、音声認識ステップで認識された発話に応じて報知ステップの音声出力の設定を変更する音声調整ステップと、を含む報知制御方法を実行する。音声認識部132の動作は音声認識ステップの一例に対応し、報知部136の動作は報知ステップの一例に対応し、音声制御部137の動作は音声調整ステップの一例に対応する。
[4. Summary]
As described above, in the navigation device 120 of the embodiment, the notification unit 136 that notifies the guidance information regarding the operation of the vehicle as a moving body by voice, the voice recognition unit 132 that recognizes the utterance of the user of the vehicle, and the notification unit When the voice recognition unit 132 detects an utterance related to the guidance information when the guidance information is notified by 136, the voice control unit changes the voice output setting by the notification unit 136 according to the utterance recognized by the voice recognition unit 132. 137 and.
Further, the navigation device 120 has a notification step of notifying the guidance information regarding the operation of the vehicle by voice, a voice recognition step of recognizing the utterance of the user of the vehicle, and a voice recognition step when the guidance information is notified in the notification step. When an utterance related to guidance information is detected by, a notification control method including a voice adjustment step for changing the voice output setting of the notification step according to the utterance recognized in the voice recognition step is executed. The operation of the voice recognition unit 132 corresponds to an example of the voice recognition step, the operation of the notification unit 136 corresponds to an example of the notification step, and the operation of the voice control unit 137 corresponds to an example of the voice adjustment step.

ナビゲーション装置120、及び、ナビゲーション装置120が実行する報知制御方法によれば、案内情報を音声によって報知する場合に、案内情報に対するユーザの発話に応じて、音声の出力を変更する。このため、ユーザの発話に対応して案内情報の音声の状態を変更できるので、ユーザの承認欲求を満たし、ユーザの満足度を向上させることができる。これらの作用効果は、報知システムとしてのナビゲーションシステム100の作用効果ともいえる。また、ナビゲーションシステム100を含んで構成されるデータ管理システム200によっても同様の作用効果が得られる。 According to the navigation device 120 and the notification control method executed by the navigation device 120, when the guidance information is notified by voice, the voice output is changed according to the user's utterance to the guidance information. Therefore, since the voice state of the guidance information can be changed in response to the user's utterance, the user's desire for approval can be satisfied and the user's satisfaction level can be improved. These effects can be said to be the effects of the navigation system 100 as a notification system. Further, the same effect can be obtained by the data management system 200 including the navigation system 100.

ナビゲーション装置120の上記動作は、処理部130、または、これらを含む複数のコンピュータにインストールされたプログラムにより、実現される。このプログラムは、記憶部140またはその他の記憶装置に記憶され、上記コンピュータが実行するナビゲーションプログラムである。この制御プログラムは、上記コンピュータに、移動体の操作に関する案内情報を音声により報知する報知処理と、前記移動体の搭乗者の発話を認識する音声認識処理と、前記報知処理を実行した際に、前記音声認識処理により前記案内情報に関する発話を検知した場合に、前記音声認識処理で認識した発話に応じて前記報知処理の音声出力の設定を変更する音声調整処理と、を含む報知制御を実行させる。 The operation of the navigation device 120 is realized by the processing unit 130 or a program installed in a plurality of computers including these. This program is a navigation program stored in the storage unit 140 or other storage device and executed by the computer. When this control program executes the notification process of notifying the computer of guidance information regarding the operation of the moving body by voice, the voice recognition process of recognizing the utterance of the passenger of the moving body, and the notifying process. When an utterance related to the guidance information is detected by the voice recognition process, a notification control including a voice adjustment process for changing the voice output setting of the notification process according to the utterance recognized by the voice recognition process is executed. ..

音声制御部137は、報知部136が案内情報を報知する間または報知の後に音声認識部132が認識した発話内容が、案内情報の再報知、案内情報に含まれる情報の提供、及び、案内情報に関連する情報の提供のいずれかの要求を含む場合に、報知部136による音声出力の設定を変更する調整処理を実行する。調整処理は、報知部136が報知する案内情報の音声の話速を遅くする設定変更、及び、案内情報の音声のピッチを低くする設定変更の少なくともいずれかを含む。この構成によれば、ユーザが案内情報を聞き逃しにくく、案内情報をより容易に聞き取れるように、案内情報の音声の出力状態に関する設定を変更する。これにより、ユーザの発話内容が、ユーザが車両の操作に不慣れであること、ユーザの聴力が比較的低いこと、ユーザが案内情報の聞き取りに集中しにくい状態であること等が推定される場合に、ユーザが案内情報を聞き取る負担を軽減するように、案内情報の音声の出力状態を変更できる。従って、ナビゲーション装置120が報知する音声の変化により、ユーザの負担を軽減し、或いは快適性の向上が期待でき、ユーザの満足度のより一層の向上を図ることができる。 In the voice control unit 137, the utterance content recognized by the voice recognition unit 132 during or after the notification unit 136 notifies the guidance information re-notifies the guidance information, provides the information included in the guidance information, and guide information. When any request for the provision of information related to the above is included, the adjustment process for changing the audio output setting by the notification unit 136 is executed. The adjustment process includes at least one of a setting change for slowing down the speech speed of the voice of the guidance information notified by the notification unit 136 and a setting change for lowering the pitch of the voice of the guidance information. According to this configuration, the setting regarding the voice output state of the guidance information is changed so that the user does not easily miss the guidance information and can easily hear the guidance information. As a result, when it is estimated that the user's utterance is unfamiliar with the operation of the vehicle, the user's hearing is relatively low, the user is in a state where it is difficult to concentrate on listening to the guidance information, and the like. , The voice output state of the guidance information can be changed so as to reduce the burden on the user to hear the guidance information. Therefore, the change in the voice notified by the navigation device 120 can be expected to reduce the burden on the user or improve the comfort, and further improve the satisfaction of the user.

音声制御部137は、音声認識部132により認識した発話の話速と、報知部136が報知する案内情報の音声の話速との差が第1閾値以上である場合に、報知部136が報知する案内情報の音声の話速に関する設定を変更する。この場合、ユーザの発話音声の話速に対応して、案内情報の音声の出力状態を変更できる。 The voice control unit 137 notifies the voice control unit 136 when the difference between the speech speed of the utterance recognized by the voice recognition unit 132 and the voice speech speed of the guidance information notified by the notification unit 136 is equal to or greater than the first threshold value. Change the setting related to the voice speech speed of the guidance information. In this case, the output state of the guidance information voice can be changed according to the speed of the user's utterance voice.

音声制御部137は、音声認識部132により認識した発話のピッチと、報知部136が報知する案内情報の音声のピッチとの差が第2閾値以上である場合に、報知部136が報知する案内情報の音声のピッチに関する設定を変更する。この場合、ユーザの発話音声のピッチに対応して、案内情報の音声の出力状態を変更できる。 When the difference between the pitch of the utterance recognized by the voice recognition unit 132 and the pitch of the voice of the guidance information notified by the notification unit 136 is equal to or greater than the second threshold value, the voice control unit 137 notifies the guidance unit 136. Change the settings related to the audio pitch of information. In this case, the output state of the guidance information voice can be changed according to the pitch of the user's utterance voice.

ナビゲーション装置120は、音声認識部132が認識した発話に基づきユーザを特定するユーザ特定部134と、音声制御部137が報知部136による音声出力の設定を変更する処理に関係する音声認識部132の認識結果を、ユーザ特定部134より特定したユーザに対応付けて記憶する履歴記憶部145と、を備える。このため、ナビゲーション装置120を使用するユーザに対応付けて、案内情報の音声の出力状態を記憶できる。 The navigation device 120 includes a user identification unit 134 that identifies a user based on an utterance recognized by the voice recognition unit 132, and a voice recognition unit 132 that is related to a process in which the voice control unit 137 changes the voice output setting by the notification unit 136. It includes a history storage unit 145 that stores the recognition result in association with the user specified by the user identification unit 134. Therefore, the voice output state of the guidance information can be stored in association with the user who uses the navigation device 120.

履歴記憶部145は、音声認識部132の認識結果と、音声制御部137による音声出力の設定変更に関する情報とを記憶する。このため、ユーザの発話に関する情報と案内情報の音声の出力状態の設定に関する情報とを蓄積することにより、ユーザの特徴、能力、状態等により適切に対応して案内情報の音声の出力状態を設定できる。従って、ユーザの満足度のより一層の向上を図ることができる。 The history storage unit 145 stores the recognition result of the voice recognition unit 132 and the information regarding the change of the voice output setting by the voice control unit 137. Therefore, by accumulating the information related to the user's utterance and the information related to the setting of the voice output state of the guidance information, the voice output state of the guidance information is set appropriately according to the characteristics, ability, state, etc. of the user. it can. Therefore, it is possible to further improve the user satisfaction.

ナビゲーション装置120は、ディスプレイ111における表示を制御する表示制御部133を備え、表示制御部133は、音声制御部137が音声出力の設定を変更する際に、ディスプレイ111に設定変更用の画面を表示させ、設定変更用の画面において、音声出力の設定に関する項目のうち特定の項目が強調表示される。このため、ユーザの特徴、能力、状態等に対応する音声の出力状態を設定するように、ユーザに推奨し、ユーザによる適切な設定操作を補助できる。 The navigation device 120 includes a display control unit 133 that controls the display on the display 111, and the display control unit 133 displays a screen for changing the setting on the display 111 when the voice control unit 137 changes the voice output setting. Then, on the screen for changing the setting, a specific item among the items related to the audio output setting is highlighted. Therefore, it is recommended to the user to set the audio output state corresponding to the user's characteristics, ability, state, etc., and it is possible to assist the user in an appropriate setting operation.

100…ナビゲーションシステム(報知システム)、111…ディスプレイ(表示部)、112…タッチセンサ、113…マイク、114…スピーカ、120…ナビゲーション装置(報知制御装置)、130…処理部、131…操作受付部、132…音声認識部、134…ユーザ特定部(個人特定部)、135…案内情報生成部、136…報知部、137…音声制御部、140…記憶部、141…地図DB、142…経路DB、143…音声認識DB、144…ユーザモデル記憶部、145…履歴記憶部、151…音声処理回路、160…ユーザモデル、161…ユーザ識別情報、162…音声出力パラメータ、170…履歴情報、171…ユーザ識別情報、172…発話音声データ、173…パラメータ変更履歴、174…発話時刻、175…発話内容データ、200…データ管理システム、201…サーバ装置、211…ユーザモデル記憶部、212…履歴記憶部、300…調整用画面、310…設定表示部、313、315、317…スライドバー。 100 ... Navigation system (notification system), 111 ... Display (display unit), 112 ... Touch sensor, 113 ... Microphone, 114 ... Speaker, 120 ... Navigation device (notification control device), 130 ... Processing unit, 131 ... Operation reception unit , 132 ... Voice recognition unit, 134 ... User identification unit (individual identification unit), 135 ... Guidance information generation unit, 136 ... Notification unit, 137 ... Voice control unit, 140 ... Storage unit, 141 ... Map DB, 142 ... Route DB , 143 ... Voice recognition DB, 144 ... User model storage unit, 145 ... History storage unit, 151 ... Voice processing circuit, 160 ... User model, 161 ... User identification information, 162 ... Voice output parameter, 170 ... History information, 171 ... User identification information, 172 ... speech voice data, 173 ... parameter change history, 174 ... speech time, 175 ... speech content data, 200 ... data management system, 201 ... server device, 211 ... user model storage, 212 ... history storage , 300 ... Adjustment screen, 310 ... Setting display unit, 313, 315, 317 ... Slide bar.

Claims (10)

移動体の操作に関する案内情報を音声により報知する報知部と、
前記移動体の搭乗者の発話を認識する音声認識部と、
前記報知部が前記案内情報を報知した際に、前記音声認識部が前記案内情報に関する発話を検知した場合に、前記音声認識部が認識した発話に応じて前記報知部による音声出力の設定を変更する音声制御部と、
を備えることを特徴とする報知制御装置。
A notification unit that provides voice guidance information regarding the operation of moving objects,
A voice recognition unit that recognizes the utterance of the passenger of the moving body,
When the notification unit notifies the guidance information and the voice recognition unit detects an utterance related to the guidance information, the setting of the voice output by the notification unit is changed according to the utterance recognized by the voice recognition unit. Voice control unit and
A notification control device characterized by comprising.
前記音声制御部は、前記報知部が前記案内情報を報知する間または報知の後に前記音声認識部が認識した発話内容が、前記案内情報の再報知、前記案内情報に含まれる情報の提供、及び、前記案内情報に関連する情報の提供のいずれかの要求を含む場合に、前記報知部による音声出力の設定を変更する調整処理を実行し、
前記調整処理は、前記報知部が報知する前記案内情報の音声の発話速度を遅くする設定変更、及び、前記案内情報の音声のピッチを低くする設定変更の少なくともいずれかを含むこと、
を特徴とする請求項1に記載の報知制御装置。
In the voice control unit, the utterance content recognized by the voice recognition unit during or after the notification unit notifies the guidance information re-notifies the guidance information, provides information included in the guidance information, and , When any request for providing information related to the guidance information is included, an adjustment process for changing the voice output setting by the notification unit is executed.
The adjustment process includes at least one of a setting change for slowing down the speech speed of the voice of the guidance information notified by the notification unit and a setting change for lowering the pitch of the voice of the guidance information.
The notification control device according to claim 1.
前記音声制御部は、前記音声認識部により認識した発話の発話速度と、前記報知部が報知する前記案内情報の音声の発話速度との差が第1閾値以上である場合に、前記報知部が報知する前記案内情報の音声の発話速度に関する設定を変更すること、
を特徴とする請求項1または請求項2に記載の報知制御装置。
When the difference between the utterance speed of the utterance recognized by the voice recognition unit and the utterance speed of the voice of the guidance information notified by the notification unit is equal to or greater than the first threshold value, the voice control unit causes the notification unit. Changing the settings related to the voice utterance speed of the guidance information to be notified,
The notification control device according to claim 1 or 2.
前記音声制御部は、前記音声認識部により認識した発話のピッチと、前記報知部が報知する前記案内情報の音声のピッチとの差が第2閾値以上である場合に、前記報知部が報知する前記案内情報の音声のピッチに関する設定を変更すること、
を特徴とする請求項1または請求項2に記載の報知制御装置。
When the difference between the pitch of the utterance recognized by the voice recognition unit and the pitch of the voice of the guidance information notified by the notification unit is equal to or greater than the second threshold value, the voice control unit notifies the voice control unit. Changing the settings related to the voice pitch of the guidance information,
The notification control device according to claim 1 or 2.
前記音声認識部が認識した発話に基づき前記搭乗者を特定する個人特定部と、
前記音声制御部が前記報知部による音声出力の設定を変更する処理に関係する前記音声認識部の認識結果を、前記個人特定部により特定した前記搭乗者に対応付けて記憶する履歴記憶部と、を備えること、
を特徴とする請求項1から請求項4のいずれか1項に記載の報知制御装置。
An individual identification unit that identifies the passenger based on the utterance recognized by the voice recognition unit, and
A history storage unit that stores the recognition result of the voice recognition unit related to the process of the voice control unit changing the voice output setting by the notification unit in association with the passenger specified by the personal identification unit. To prepare for
The notification control device according to any one of claims 1 to 4, wherein the notification control device is characterized.
前記履歴記憶部は、前記音声認識部の認識結果と、前記音声制御部による音声出力の設定変更に関する情報とを記憶すること、
特徴とする請求項5に記載の報知制御装置。
The history storage unit stores the recognition result of the voice recognition unit and the information regarding the change of the voice output setting by the voice control unit.
The notification control device according to claim 5.
表示部における表示を制御する表示制御部を備え、
前記表示制御部は、前記音声制御部が音声出力の設定を変更する際に、前記表示部に設定変更用の画面を表示させ、
前記設定変更用の画面において、音声出力の設定に関する項目のうち特定の項目が強調表示されること、
を特徴とする請求項1から請求項6のいずれか1項に記載の報知制御装置。
Equipped with a display control unit that controls the display on the display unit
When the audio control unit changes the audio output setting, the display control unit causes the display unit to display a screen for changing the setting.
On the screen for changing the settings, a specific item among the items related to the audio output setting is highlighted.
The notification control device according to any one of claims 1 to 6, wherein the notification control device is characterized.
移動体の操作に関する案内情報を音声により報知する報知部と、
前記移動体の搭乗者の発話を認識する音声認識部と、
前記報知部が前記案内情報を報知した際に、前記音声認識部が前記案内情報に関する発話を検知した場合に、前記音声認識部が認識した発話に応じて前記報知部による音声出力の設定を変更する音声制御部と、
を備えることを特徴とする報知システム。
A notification unit that provides voice guidance information regarding the operation of moving objects,
A voice recognition unit that recognizes the utterance of the passenger of the moving body,
When the notification unit notifies the guidance information and the voice recognition unit detects an utterance related to the guidance information, the setting of the voice output by the notification unit is changed according to the utterance recognized by the voice recognition unit. Voice control unit and
A notification system characterized by being equipped with.
移動体の操作に関する案内情報を音声により報知する報知ステップと、
前記移動体の搭乗者の発話を認識する音声認識ステップと、
前記報知ステップで前記案内情報が報知された際に、前記音声認識ステップで前記案内情報に関する発話が検知された場合に、前記音声認識ステップで認識された発話に応じて前記報知ステップの音声出力の設定を変更する音声調整ステップと、
を含むことを特徴とする報知制御方法。
A notification step that provides voice guidance information regarding the operation of a moving object,
A voice recognition step that recognizes the utterance of the passenger of the moving object, and
When the guidance information is notified in the notification step, when an utterance related to the guidance information is detected in the voice recognition step, the voice output of the notification step is performed according to the utterance recognized in the voice recognition step. Voice adjustment steps to change settings and
A notification control method comprising.
単一又は複数のコンピュータにインストールされるプログラムであって、
前記コンピュータに、
移動体の操作に関する案内情報を音声により報知する報知処理と、
前記移動体の搭乗者の発話を認識する音声認識処理と、
前記報知処理を実行した際に、前記音声認識処理により前記案内情報に関する発話を検知した場合に、前記音声認識処理で認識した発話に応じて前記報知処理の音声出力の設定を変更する音声調整処理と、
を含む報知制御を実行させることを特徴とする制御プログラム。
A program that is installed on a single or multiple computers
On the computer
Notification processing that provides voice guidance information regarding the operation of moving objects,
Voice recognition processing that recognizes the utterance of the passenger of the moving body,
A voice adjustment process that changes the voice output setting of the notification process according to the utterance recognized by the voice recognition process when the utterance related to the guidance information is detected by the voice recognition process when the notification process is executed. When,
A control program characterized by executing notification control including.
JP2019088187A 2019-05-08 2019-05-08 Notification control device, notification system, notification control method, and control program Pending JP2020184020A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019088187A JP2020184020A (en) 2019-05-08 2019-05-08 Notification control device, notification system, notification control method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019088187A JP2020184020A (en) 2019-05-08 2019-05-08 Notification control device, notification system, notification control method, and control program

Publications (1)

Publication Number Publication Date
JP2020184020A true JP2020184020A (en) 2020-11-12

Family

ID=73045119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019088187A Pending JP2020184020A (en) 2019-05-08 2019-05-08 Notification control device, notification system, notification control method, and control program

Country Status (1)

Country Link
JP (1) JP2020184020A (en)

Similar Documents

Publication Publication Date Title
KR102426171B1 (en) Dialogue processing apparatus, vehicle having the same and dialogue service processing method
CN111661068B (en) Agent device, method for controlling agent device, and storage medium
US20160216129A1 (en) Server for navigation, navigation system, and navigation method
US20150226570A1 (en) Navigation device
CN103038818A (en) Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system
JP6612707B2 (en) Information provision device
US20200251108A1 (en) Agent system, information processing device, information processing method, and storage medium
JP2008014818A (en) Operation control device and program
JP2007148917A (en) Driving support device
JP2010204637A (en) Voice recognition apparatus, method for recognizing voice, and navigation apparatus
JP2011179917A (en) Information recording device, information recording method, information recording program, and recording medium
KR102403355B1 (en) Vehicle, mobile for communicate with the vehicle and method for controlling the vehicle
CN111667824A (en) Agent device, control method for agent device, and storage medium
CN111746435B (en) Information providing apparatus, information providing method, and storage medium
JP7235554B2 (en) AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM
CN112988990A (en) Information providing device, information providing method, and storage medium
JP7340943B2 (en) Agent device, agent device control method, and program
US20220208187A1 (en) Information processing device, information processing method, and storage medium
JP2021043852A (en) Information processing apparatus and method
JP2020184020A (en) Notification control device, notification system, notification control method, and control program
US20050144011A1 (en) Vehicle mounted unit, voiced conversation document production server, and navigation system utilizing the same
US20200320997A1 (en) Agent apparatus, agent apparatus control method, and storage medium
US20200294502A1 (en) Agent device, method for controlling agent device, and storage medium
CN109900284A (en) Navigation route planning method and apparatus
JP7233918B2 (en) In-vehicle equipment, communication system