JP2009192489A

JP2009192489A - Information providing device, information display method, navigation device

Info

Publication number: JP2009192489A
Application number: JP2008036207A
Authority: JP
Inventors: Toshiyuki Nanba; 利行難波; Shuhei Maeda; 修平前田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-02-18
Filing date: 2008-02-18
Publication date: 2009-08-27
Anticipated expiration: 2028-02-18
Also published as: JP4930407B2

Abstract

PROBLEM TO BE SOLVED: To provide an information providing device, an information display method, and a navigation device for transmitting voice information out of a vehicle in a mode where an occupant can easily understant. SOLUTION: This information providing device 100 for displaying the service screen corresponding to service on a display section 52 comprises a sound collecting means 31 for collecting voice information out of the vehicle, a voice recognizing means 300 for voice-recognizing the voice information collected by the sound collecting means and converting it into text data, and a screen changing means 45 for changing the display mode of the service screen based on the text data. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、表示装置に情報を表示する情報提供装置に関し、特に、外部の音声を認識する音声認識手段を備えた情報提供装置情報表示方法及びナビゲーション装置に関する。 The present invention relates to an information providing device that displays information on a display device, and more particularly, to an information providing device information display method and a navigation device provided with voice recognition means for recognizing external voice.

車両を運転中、車内には種々の音が生じ、また、車両外で生じた種々の音や音声（以下、音声情報という）が進入する。乗員は音声情報から車両操作に必要な情報を取捨するが、車両内外のノイズにより聞き取るべき音声情報を聞き漏らすことがある。また、運転免許証は所定の条件を満たせば交付されるが、この条件の中には軽度の聴覚障害は含まれず、運転面書証の交付後に聴覚障害が生じた場合でも運転が禁止されることはない。また、運転免許証は交付する国の言語を完全に理解できなくても交付されることが多い。 While driving the vehicle, various sounds are generated inside the vehicle, and various sounds and sounds (hereinafter referred to as audio information) generated outside the vehicle enter. The occupant discards information necessary for vehicle operation from the voice information, but may miss the voice information to be heard due to noise inside and outside the vehicle. In addition, a driver's license is issued if the prescribed conditions are met, but this condition does not include mild hearing impairment, and driving is prohibited even if hearing impairment occurs after issuing a driving certificate. There is no. A driver's license is often issued even if the language of the country to which it is issued is not fully understood.

しかしながら、運転中は、音声情報により公共サービスが提供されたり、場合によっては外部の人とのコミュニケーションが要求されることがあるため、聴覚や言語能力が十分でないと運転者が不都合を感じる場合がある。また、このような不都合があることは、道路や駐車情報のように公共性が高い環境を利用する乗員に不公平をもたらすと言える。 However, while driving, public services are provided by voice information, and communication with external people may be required in some cases, so drivers may feel inconvenient if their hearing and language skills are not sufficient. is there. Moreover, it can be said that such an inconvenience causes unfairness to a passenger using an environment having high publicity such as road and parking information.

この点について、外部の音声を集音して、車内の乗員を支援する技術が提案されている（例えば、特許文献１参照。）。特許文献１には、音声情報を音声認識してその内容をディスプレイに表示するナビゲーション装置が記載されている。したがって、乗員は聞き取れなかった音声情報を視覚により把握することができる。
特開２００３−３２９４７５号公報 With respect to this point, a technique for collecting external voice and assisting a passenger in the vehicle has been proposed (see, for example, Patent Document 1). Patent Document 1 describes a navigation device that recognizes voice information and displays the content on a display. Therefore, the occupant can visually grasp the audio information that could not be heard.
JP 2003-329475 A

しかしながら、特許文献１記載のナビゲーション装置は、単に音声認識してそれを表示するのみであるので、例えば言語能力に劣る外国人には意味を成さないという問題がある。 However, since the navigation device described in Patent Document 1 merely recognizes voice and displays it, there is a problem that it does not make sense for foreigners who have poor language skills, for example.

本発明は、上記課題に鑑み、車両外部の音声情報を、乗員に理解しやすい態様で伝える情報提供装置、情報表示方法及びナビゲーション装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an information providing device, an information display method, and a navigation device that convey audio information outside a vehicle in a manner that is easy for a passenger to understand.

上記課題に鑑み、本発明は、サービスに対応したサービス画面を表示部に表示する情報提供装置において、車両外部の音声情報を集音する集音手段と、集音手段が集音した音声情報を音声認識してテキストデータに変換する音声認識手段と、テキストデータに基づきサービス画面の表示態様を変更する画面変更手段（例えば、音声情報変更部４５、サービス画面生成部４７）と、を有することを特徴とする。 In view of the above problems, the present invention provides an information providing device for displaying a service screen corresponding to a service on a display unit, a sound collecting means for collecting sound information outside the vehicle, and a sound information collected by the sound collecting means. Voice recognition means for voice recognition and conversion to text data; and screen change means for changing the display mode of the service screen based on the text data (for example, the voice information change unit 45 and the service screen generation unit 47). Features.

本発明によれば、音声を認識したテキストデータに基づきサービス画面の表示態様を変更するので、音声情報応じてサービス画面を最適化できる。 According to the present invention, since the display mode of the service screen is changed based on the text data that recognizes the voice, the service screen can be optimized according to the voice information.

また、本発明の一形態において、前記サービス画面が、駐車場を提供する前記サービスの駐車場マップである場合、画面変更手段は、テキストデータが含む位置情報に対応する、駐車場マップの所定位置の表示態様を変更する、ことを特徴とする。 In one embodiment of the present invention, when the service screen is a parking lot map of the service that provides a parking lot, the screen changing unit corresponds to the position information included in the text data, and a predetermined position of the parking lot map. The display mode is changed.

本発明によれば、駐車場の係員が駐車位置を音声で指示した場合、その位置が駐車場マップ上で例えば強調されるため、乗員に駐車位置を把握させやすくすることができる。 According to the present invention, when an attendant of a parking lot instructs the parking position by voice, the position is emphasized on the parking lot map, for example, so that the occupant can easily grasp the parking position.

また、本発明の一形態において、前記サービス画面が、ドライブスルーにおいて飲食物を提供する前記サービスの商品メニューである場合、画面変更手段は、テキストデータが含む購入可能な商品又は購入不可の商品の情報に対応する、商品メニューの商品の表示態様を変更する、ことを特徴とする。 In one embodiment of the present invention, when the service screen is a product menu of the service that provides food and drink in a drive-through, the screen changing unit is configured to purchase a product that can be purchased or cannot be purchased included in the text data. The display mode of the product in the product menu corresponding to the information is changed.

本発明によれば、店員の音声による商品の選択可否を、表示された商品メニューに反映できるので、乗員に商品毎の購入可否を把握させやすくすることができる。 According to the present invention, whether or not the product can be selected by the voice of the store clerk can be reflected in the displayed product menu, so that it is possible to make it easier for the occupant to know whether or not the product can be purchased.

車両外部の音声情報を、乗員に理解しやすい態様で伝える情報提供装置、情報表示方法及びナビゲーション装置を提供することができる。 It is possible to provide an information providing device, an information display method, and a navigation device that convey audio information outside the vehicle in a manner that is easy to understand to the passenger.

以下、本発明を実施するための最良の形態について図面を参照しながら実施例を挙げて説明する。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.

図１は、本実施形態の情報提供装置の概略を説明する図である。例えば、駐車場に駐車する場合、図１（ａ）に示すように駐車場の入り口で車両は駐車場情報を受信する。駐車場情報は、例えば、駐車場マップ、混雑状況、料金情報等である。駐車場情報を受信すると車載装置は図１（ｂ）に示すように駐車場情報をディスプレイに表示する（以下、サービスに特有の情報が表示された画面をサービス画面という）。図１（ｂ）では駐車場マップが表示され、この駐車場は３Ｆまでありそのうち１Ｆ部分は満車であるとことがわかる。 FIG. 1 is a diagram for explaining the outline of the information providing apparatus according to the present embodiment. For example, when parking in a parking lot, the vehicle receives parking lot information at the entrance of the parking lot as shown in FIG. The parking lot information is, for example, a parking lot map, congestion status, fee information, and the like. When the parking lot information is received, the in-vehicle device displays the parking lot information on the display as shown in FIG. 1B (hereinafter, a screen on which information specific to the service is displayed is referred to as a service screen). In FIG.1 (b), a parking lot map is displayed, and it turns out that this parking lot is 3F and 1F part is full.

乗員はかかるサービス画面をみて、２Ｆか３Ｆ部分に駐車することができると判断できるが、駐車場の係員や警備員に駐車場所を音声で指定される場合がある。図１（ｂ）では係員に「３階のＡを利用してください」と指定されている。本実施形態の情報提供装置は、かかる音声を音声認識してサービス画面に反映させる。例えば音声から「３階」、「Ａ」という表現（後述の被反映表現）を抽出し、駐車場マップの３ＦのＡという駐車場所が強調されるよう表示態様を変更する。図１（ｃ）ではマルで囲むことで強調表示した。 The occupant sees the service screen and can determine that the vehicle can park on the 2nd or 3rd floor, but the parking lot may be designated by voice to the parking staff or guards. In FIG. 1 (b), the staff member is designated "Please use A on the third floor". The information providing apparatus according to the present embodiment recognizes the voice and reflects it on the service screen. For example, the expressions “3rd floor” and “A” (reflected expressions described later) are extracted from the voice, and the display mode is changed so that the parking place A of 3F on the parking lot map is emphasized. In FIG.1 (c), it highlighted by enclosing with a circle | round | yen.

したがって、音声情報がサービス画面に反映されるので、乗員は音声による指示を把握しやすくなる。また、乗員が難聴者や外国人であったり係員の音声を聞き取れなかった場合でも、音声情報がサービス画面に反映されるので、指示に従った駐車が可能となる。すなわち、本実施形態の情報提供装置は、音声情報をより把握させやすくでき、聴覚や言語能力にかかわらず公平に音声によるサービスを提供することを可能とする。 Therefore, since the voice information is reflected on the service screen, it is easy for the occupant to grasp the voice instruction. Further, even when the occupant is a hearing impaired person or a foreigner, or when the clerk's voice cannot be heard, the voice information is reflected on the service screen, so that parking according to the instruction is possible. That is, the information providing apparatus according to the present embodiment makes it easier to grasp voice information, and can provide a voice service fairly regardless of hearing or language ability.

なお、サービスとは、図１の如く駐車場の提供、飲食物の提供、燃料の提供等であるが、以下では、警察が実施する検問など、直接の利益がない公共サービスを含めサービスという。なお、このようなサービスの種類を以下、サービス態様という。また、係るサービスを提供する施設及び者を含め単にサービス提供者という。 In addition, although a service is provision of a parking lot, provision of food and drink, provision of fuel, etc. as shown in FIG. Such a service type is hereinafter referred to as a service mode. The term “service provider” includes facilities and persons that provide such services.

図２は、情報提供装置１００のシステム構成図を示す。情報提供装置１００は、ディスプレイ５２を利用して情報を表示するので例えばナビゲーションシステムにより構成することができる。情報提供装置１００は制御部２０により制御され、現在地や目的地までの誘導情報等を乗員に提供するナビ機能部２００、音声情報から音声を認識する音声認識部３００、音声情報を反映してサービス画面を変更するサービス画面表示部４００、とを有する。なお、ナビ機能部２００、音声認識部３００、及び、サービス画面表示部４００の全て又は一部を別体に構成してもよい。 FIG. 2 shows a system configuration diagram of the information providing apparatus 100. Since the information providing apparatus 100 displays information using the display 52, the information providing apparatus 100 can be configured by, for example, a navigation system. The information providing apparatus 100 is controlled by the control unit 20, and includes a navigation function unit 200 that provides guidance information to the current location and destination to the occupant, a voice recognition unit 300 that recognizes voice from voice information, and a service that reflects voice information. A service screen display unit 400 for changing the screen. Note that all or part of the navigation function unit 200, the voice recognition unit 300, and the service screen display unit 400 may be configured separately.

情報提供装置１００は操作部５１、ディスプレイ５２及びスピーカ５３を有する。操作部５１はキーボード、リモコン、音声入力装置、又は、ディスプレイ５２と一体のタッチパネルなど、ユーザが情報提供装置１００に操作を入力するためのユーザインターフェイスである。ディスプレイ５２は、液晶や有機ＥＬなど表示手段であり後述するように道路地図やサービス画面を表示するために用いられる。スピーカ５３は、目的地までの経路において右折や左折の手前で車両操作を促しユーザを目的地まで案内する音声情報を出力するために用いられる。 The information providing apparatus 100 includes an operation unit 51, a display 52, and a speaker 53. The operation unit 51 is a user interface for a user to input an operation to the information providing apparatus 100 such as a keyboard, a remote controller, a voice input device, or a touch panel integrated with the display 52. The display 52 is a display means such as a liquid crystal or an organic EL, and is used for displaying a road map and a service screen as will be described later. The speaker 53 is used to output voice information that prompts the user to drive the vehicle before the right or left turn on the route to the destination and guides the user to the destination.

〔ナビ機能部２００〕
制御部２０は、ＣＡＮ（controller area network）や専用線などを介してＧＰＳ受信機２１、車速センサ２２，ジャイロセンサ２３、地図ＤＢ（ＤａｔａＢａｓｅ）２４、と接続されている。また、制御部２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発メモリ及び入手力インターフェイスが内部バスで接続されたコンピュータであって、ＣＰＵがプログラムを実行するか又は所定の演算回路で実現される位置検出部２５、経路検索部２６及び地図描画部２７を有する。 [Navi function unit 200]
The control unit 20 is connected to a GPS receiver 21, a vehicle speed sensor 22, a gyro sensor 23, and a map DB (Data Base) 24 through a CAN (controller area network) or a dedicated line. The control unit 20 is a computer in which a CPU, a RAM, a ROM, a non-volatile memory, and an availability interface are connected by an internal bus, and the CPU executes a program or is a position detection unit realized by a predetermined arithmetic circuit 25, a route search unit 26 and a map drawing unit 27.

ＧＰＳ受信機２１は、地球の周りを周回する好ましくは４つ以上のＧＰＳ衛星を補足して、各ＧＰＳ衛星からの電波の到達時間に基づき、自車両の位置（緯度・経度・標高）を検出する。また、車速センサ２２は、車両の各輪に備えられたロータの円周上に定間隔で設置された凸部が通過する際の磁束の変化をパルス波形に整形して、単位時間あたりのパルス数に基づき各輪毎に車輪速を計測する。車輪速にタイヤの外径や凸部の間隔に応じて定めた補正値を乗じれば車速が得られる。ジャイロセンサ２３は、例えばマイクロマシニングで形成された震動片型ジャイロセンサであり、車両が路面に対しヨーイング方向に回転する時の加速度を電極間の変化による電圧信号として取り出し、これを積分することで角度、すなわち進行方向に変換する。 The GPS receiver 21 supplements preferably four or more GPS satellites orbiting the earth, and detects the position (latitude / longitude / altitude) of the host vehicle based on the arrival time of radio waves from each GPS satellite. To do. Further, the vehicle speed sensor 22 shapes the change in magnetic flux when the convex portions installed at regular intervals pass on the circumference of the rotor provided in each wheel of the vehicle into a pulse waveform, and the pulse per unit time The wheel speed is measured for each wheel based on the number. The vehicle speed can be obtained by multiplying the wheel speed by a correction value determined according to the outer diameter of the tire and the interval between the convex portions. The gyro sensor 23 is, for example, a vibration piece type gyro sensor formed by micromachining. The acceleration when the vehicle rotates in the yawing direction with respect to the road surface is taken out as a voltage signal due to the change between the electrodes, and this is integrated. Convert to angle, that is, direction of travel

地図ＤＢ２４は、緯度や経度などの位置情報に対応づけて道路地図情報を記憶している。道路地図情報は、道路を構成するリンクのリンク情報と、リンクとリンクを接続するノード（交差点）のノード情報とを対応づけたテーブル状のデータベースである。リンク情報にはリンク長、幅員、接続ノード、接続方向等が含まれるため、道路地図情報により道路形状を検出することができる。また、地図ＤＢ２４には、リンク毎に自動車専用道路や一般道などの道路種別、及び、駐車場、飲食店、ドライブスルー付き飲食店、ガソリンリンスタンド、駅等の施設の位置情報が記憶されている。 The map DB 24 stores road map information in association with position information such as latitude and longitude. The road map information is a table-like database in which link information of links constituting a road is associated with node information of nodes (intersections) connecting the links. Since the link information includes the link length, width, connection node, connection direction, and the like, the road shape can be detected from the road map information. The map DB 24 stores road types such as automobile roads and general roads for each link, and location information of facilities such as parking lots, restaurants, restaurants with drive-through, gas stations, and stations. Yes.

位置検出部２５は、ＧＰＳ受信機２１が検出した車両の位置情報を起点にして、ジャイロセンサ２３が検出する方向に車速センサ２２が検出する走行距離を累積して、車両の位置を高精度に推定する。なお、車両の周囲の道路地図を利用して、推定された位置に対し最も確からしい道路に車両の位置をマッチングするマップマッチングにより自車両の位置を補正してもよい。 The position detection unit 25 accumulates the travel distance detected by the vehicle speed sensor 22 in the direction detected by the gyro sensor 23 with the vehicle position information detected by the GPS receiver 21 as a starting point, thereby accurately determining the position of the vehicle. presume. In addition, you may correct | amend the position of the own vehicle by the map matching which matches the position of a vehicle with the most probable road with respect to the estimated position using the road map around a vehicle.

経路検索部２６は、自車両の位置（現在位置）、及び、操作部５１から入力された目的地に基づき現在位置から目的地までの経路を検索する。経路探索部２６は、目的地までの経路となりうるリンクを抽出し、各リンクをリンク長や右左折、幅員、通行規制等に応じたコストに置き換え、これらのコストの積算値が最も小さくなる経路を目的地までの経路と決定する。 The route search unit 26 searches for a route from the current position to the destination based on the position of the host vehicle (current position) and the destination input from the operation unit 51. The route search unit 26 extracts a link that can be a route to the destination, replaces each link with a cost according to the link length, right / left turn, width, traffic regulation, etc., and the route with the smallest integrated value of these costs. Is determined as the route to the destination.

地図描画部２７は、ディスプレイ５２に表示する地図画面情報を生成する。地図描画部２７は、現在位置や目的地などを含む道路地図情報を地図ＤＢ２４から抽出し、リンク長、リンク間の接続方向、幅員、道路種別等に従い道路網を形成し、これに、現在位置に自車アイコン、目的地には目的地アイコン、施設に応じたアイコンを配置して地図画面情報を生成する。なお、各リンクや道路以外の市街地、河、海、山などは所定の色情報が設定される。 The map drawing unit 27 generates map screen information to be displayed on the display 52. The map drawing unit 27 extracts road map information including the current position and destination from the map DB 24, forms a road network according to the link length, the connection direction between the links, the width, the road type, and the like. Map screen information is generated by arranging a car icon, a destination icon at the destination, and an icon according to the facility. Predetermined color information is set for urban areas, rivers, seas, mountains, etc. other than links and roads.

〔音声認識部３００〕
音声認識部３００について説明する。音声認識は公知の技術を用いることができる。音声認識は、音声情報に音響分析を施して得られた特徴量から、種々の辞書を参照してテキストデータを抽出する手順で行われる。音声認識部３００は、ＣＰＵがプログラムを実行するか又は所定の演算回路で実現されるテキスト変換部３２及びテキスト解析部３３を有する。 [Voice recognition unit 300]
The voice recognition unit 300 will be described. A known technique can be used for voice recognition. Speech recognition is performed by a procedure of referring to various dictionaries and extracting text data from feature amounts obtained by performing acoustic analysis on speech information. The speech recognition unit 300 includes a text conversion unit 32 and a text analysis unit 33 that are executed by a CPU or implemented by a predetermined arithmetic circuit.

集音マイク３１は、車外の音声情報を集音すべくフロントバンパ、リアバンパ、左右のドアミラー等に好ましくは複数配置される。集音マイク３１が集音した音声情報は、電気信号に変換されテキスト変換部３２に入力される。テキスト変換部３２は電気信号を例えばフーリエ変換して音声の認識に有効な特徴量を抽出する。この特徴量は人間の聴覚が音声情報を理解するために有効な音を取り出したものになる。 A plurality of sound collecting microphones 31 are preferably arranged on the front bumper, the rear bumper, the left and right door mirrors, etc. to collect sound information outside the vehicle. The sound information collected by the sound collection microphone 31 is converted into an electrical signal and input to the text conversion unit 32. The text converter 32 performs, for example, Fourier transform on the electric signal to extract a feature amount effective for speech recognition. This feature value is obtained by extracting a sound effective for human hearing to understand voice information.

テキスト解析部３３は、特徴量と発音記号との対応関係を確率で示す音響モデルＤＢ、認識対象となりうる単語を発音記号に対応づけて記憶した単語ＤＢ、いくつかの単語候補から一連の会話の中で用いられることが多い単語を結びつけて記憶した言語モデルＤＢ、等を有する。 The text analysis unit 33 is an acoustic model DB that indicates the correspondence between feature quantities and phonetic symbols by probability, a word DB that stores words that can be recognized in association with phonetic symbols, and a series of conversations from several word candidates. It has a language model DB that stores words that are often used in the database.

テキスト変換部３２は、音響分析により得られた特徴量に基づき、音響モデルＤＢを参照し、候補となりうる一連の発音記号を抽出する。候補となる発音記号は通常複数あるので、テキスト変換部３２は単語ＤＢを参照して、複数の発音記号に対応づけられた単語をそれぞれ抽出する。したがって、発音が似た音声情報でも単語が登録されていない（存在しない、使用頻度が極めて低い）単語が抽出されることはない。 The text conversion unit 32 refers to the acoustic model DB based on the feature amount obtained by acoustic analysis, and extracts a series of phonetic symbols that can be candidates. Since there are usually a plurality of candidate phonetic symbols, the text conversion unit 32 refers to the word DB and extracts words associated with the plurality of phonetic symbols. Therefore, even if the voice information has a similar pronunciation, a word in which no word is registered (it does not exist and the frequency of use is extremely low) is not extracted.

ついで、テキスト変換部３２は、音声情報が含む前後の単語を取り出して、言語モデルＤＢを参照する。音声情報は時系列的にいくつもの単語を有し、それぞれが複数の候補を有するので、時系列の単語間の組み合わせを抽出し、一連の会話の中で用いられない候補の単語を排除する。以上のような処理により、テキスト変換部３２は集音マイク３１が集音した音声情報をテキストデータに変換する。テキストデータはテキスト解析部３３に送出される。 Next, the text conversion unit 32 extracts words before and after the voice information includes and refers to the language model DB. Since the voice information has a number of words in time series, and each has a plurality of candidates, a combination between words in the time series is extracted, and candidate words that are not used in a series of conversations are excluded. Through the processing as described above, the text conversion unit 32 converts the voice information collected by the sound collection microphone 31 into text data. The text data is sent to the text analysis unit 33.

なお、通信装置５４がサービス画面情報を受信した場合、サービス態様がサービス画面情報と共に送信されれば、サービス態様に基づき認識対象の単語を絞り込むことができる。 In addition, when the communication apparatus 54 receives service screen information, if the service mode is transmitted together with the service screen information, words to be recognized can be narrowed down based on the service mode.

テキスト解析部３３は、入力されたテキストデータに対し、形態素解析の解析結果に基づきテキスデータから係り受け関係を検出する。形態素解析では辞書を参照して、テキストデータに含まれる単語から例えば自立語と付属語を抽出する。係り受け解析ではテキストデータに含まれる文節を解析し、係りと受けの関係にある文節間の関係を抽出する。これにより、テキストデータが含む単語、単語間の係り受け情報が得られる。なお、一般的なテキスト解析では品詞も特定できる。 The text analysis unit 33 detects the dependency relationship from the text data based on the analysis result of the morphological analysis for the input text data. In the morphological analysis, for example, an independent word and an attached word are extracted from words included in the text data with reference to the dictionary. In dependency analysis, clauses included in text data are analyzed, and the relationship between clauses in the relationship between dependency and dependency is extracted. As a result, words included in the text data and dependency information between the words are obtained. Part of speech can also be specified in general text analysis.

以上により、集音マイク３１が集音した音声情報から、単語（特に自立語）及び係り受け関係を取得することができる（以下、音声情報を認識して得られたデータをテキストデータといい、テキストデータには係り受け関係の情報を含むものとする。）。 As described above, words (particularly independent words) and dependency relationships can be acquired from the voice information collected by the sound collecting microphone 31 (hereinafter, data obtained by recognizing the voice information is referred to as text data, The text data shall include dependency-related information.)

〔サービス画面表示部４００〕
サービス画面表示部４００について説明する。サービス画面表示部４００は、通信装置５４が受信したサービス画面情報によりそのままサービス画面をディスプレイ５２に表示するフェーズと、テキストデータの内容を反映したサービス画面を表示するフェーズとがある。なお、サービス画面表示部４００は、ＣＰＵがプログラムを実行するか又は所定の演算回路で実現されるサービス判定部４１、反映方法決定部４３、音声情報反映部４５、選択禁止部４６、サービス画面生成部４７及び画面制御部４８を有する。また、メモリにはサービステキストＤＢ４２及び反映情報ＤＢ４４が記憶されている。 [Service screen display section 400]
The service screen display unit 400 will be described. The service screen display unit 400 has a phase in which the service screen is displayed as it is on the display 52 based on the service screen information received by the communication device 54 and a phase in which the service screen reflecting the contents of the text data is displayed. The service screen display unit 400 includes a service determination unit 41, a reflection method determination unit 43, a voice information reflection unit 45, a selection prohibition unit 46, and a service screen generation that are executed by a CPU or implemented by a predetermined arithmetic circuit. Unit 47 and screen control unit 48. In addition, a service text DB 42 and a reflection information DB 44 are stored in the memory.

＜サービス画面をそのままディスプレイ５２に表示するフェーズ＞
通信装置５４は、例えば、相手側の通信装置との距離が所定以内の比較的狭い狭域通信（ＤＳＲＣ（Dedicated Short Range Communication））で通信する。例えば自動車専用道の料金所に設けられた通信装置と通信するため車両がＥＴＣ（Electronic Toll Collection System）装置を搭載している場合、通信装置５４はこれと兼用することができる。通信装置５４は、サービス提供者の通信エリアに入ると自動的に通信を開始し、５．８ＧＨｚ帯の搬送波をＡＳＫ変調やＱＰＳＫ変調して、ベースバンド信号を取り出しこれを復号してデジタルデータを取得する。そして、デジタルデータに所定のプロトコル（例えばＴＣＰ／ＩＰ）処理を施し、サービス画面情報を受信する。なお、無線ＬＡＮ、ブルートゥース、ワイヤレスＵＳＢ等、どのような通信方法を用いてもよい。 <Phase in which the service screen is displayed as it is on the display 52>
For example, the communication device 54 communicates with a communication device on the other side by a relatively narrow narrow range communication (DSRC (Dedicated Short Range Communication)) within a predetermined distance. For example, when a vehicle is equipped with an ETC (Electronic Toll Collection System) device for communicating with a communication device provided at a toll booth on a motorway, the communication device 54 can also be used. The communication device 54 automatically starts communication when entering the communication area of the service provider, performs ASK modulation or QPSK modulation on the 5.8 GHz band carrier wave, extracts the baseband signal, decodes it, and then converts the digital data. get. Then, a predetermined protocol (for example, TCP / IP) process is performed on the digital data, and service screen information is received. Note that any communication method such as wireless LAN, Bluetooth, and wireless USB may be used.

・サービス画面情報
サービス画面情報は、例えばＨＴＭＬやＸＭＬファイルなど汎用性のあるフォーマットで送信されることが好ましい。このようなフォーマットで送信されたサービス画面情報であれば、サービス画面生成部４７はホームページ等をディスプレイ５２に表示する場合に用いられるブラウザエンジンによりサービス画面を生成できるのでコストを抑制できる。 Service screen information The service screen information is preferably transmitted in a versatile format such as an HTML or XML file. If the service screen information is transmitted in such a format, the service screen generation unit 47 can generate a service screen by a browser engine used when displaying a homepage or the like on the display 52, and thus the cost can be suppressed.

なお、サービス画面をテキストフォーマット、ビットマップデータ、ＪＰＥＧデータ、ＭＰＥＧデータ等のフォーマットで送信してもよい。一般的なフォーマットであるテキストフォーマット又はビットマップデータであればそのままディスプレイ５２に表示することができ、ＪＰＥＧデータやＭＰＥＧデータであってもデコーダの入手が容易であるので、サービス画面情報を受信したが表示できないといったことを防止できる。 The service screen may be transmitted in a format such as a text format, bitmap data, JPEG data, or MPEG data. The text format or bitmap data which is a general format can be displayed on the display 52 as it is, and even if it is JPEG data or MPEG data, it is easy to obtain a decoder. It is possible to prevent the display from being impossible.

ところで、サービス画面情報と共に、サービス画面上の位置情報と位置情報に対応づけられた操作入力情報を通信装置５４が受信する場合がある。これは、ディスプレイ５２がタッチパネルの場合に、乗員が触れた位置情報に応じてその操作入力情報を検出するためである。サービス画面生成部４７は、ユーザが触れたディスプレイ５２上の位置情報に基づき操作入力情報を特定し、その操作入力情報をユーザの指示（例えば、「確定ボタン」に触れる）に従い通信装置５４を介してサービス提供者に送信する。したがって、サービス画面により商品や飲食物がディスプレイ５２に表示され、乗員が画面に触れて選択した場合、乗員が選択した商品や飲食物の操作入力情報をサービス提供者に送信することができる。 Incidentally, the communication device 54 may receive the service screen information and the position information on the service screen and the operation input information associated with the position information. This is because when the display 52 is a touch panel, the operation input information is detected according to the position information touched by the passenger. The service screen generation unit 47 specifies operation input information based on the position information on the display 52 touched by the user, and the operation input information is passed through the communication device 54 according to the user's instruction (for example, touching the “confirm button”). To the service provider. Therefore, when a product or food or drink is displayed on the display 52 by the service screen and the occupant touches the screen to select it, operation input information of the product or food or drink selected by the occupant can be transmitted to the service provider.

・画面の切り替え
画面制御部４８は、ディスプレイ５２に表示する画面を、地図描画部２７が生成した地図画面とサービス画面生成部４７が生成したサービス画面とに切り替える。なお、画面制御部４８は、ＶＩＣＳ受信機が例えばＶＩＣＳ（Vehicle Information and Communication System）から交通情報を受信したときには、優先的にディスプレイ５２に表示する画面を交通情報に切り替えたり、乗員の操作に供するメニュー画面、音楽や映像の再生画面等、情報提供装置１００の使用態様に応じて画面を切り替える。 Screen Switching The screen control unit 48 switches the screen displayed on the display 52 between the map screen generated by the map drawing unit 27 and the service screen generated by the service screen generation unit 47. When the VICS receiver receives traffic information from, for example, VICS (Vehicle Information and Communication System), the screen control unit 48 preferentially switches the screen displayed on the display 52 to traffic information, or is used for occupant operations. The screen is switched according to the usage mode of the information providing apparatus 100 such as a menu screen, a music or video playback screen, or the like.

地図画面とサービス画面の場合、画面制御部４８は、初期状態では地図画面をディスプレイ５２に表示し、通信装置５４がサービス画面情報を受信したら、サービス画面情報に優先的に切り替える。その後は、乗員が操作部５１から地図画面に戻す操作を入力するか、所定時間が経過することで、自動的に地図画面にもどる。なお、地図画面とサービス画面を完全に切り替えるのでなく、地図画面上にサービス画面を重畳表示してもよい。サービス画面がそれほど大きくなければ又は縮小することが可能であれば、ユーザはサービス画面を確認しながら地図画面を視認することができる。また、重畳表示する場合、表面側の画面（例えば、サービス画面）を半透明に色変換してもよい。 In the case of the map screen and the service screen, the screen control unit 48 displays the map screen on the display 52 in the initial state, and when the communication device 54 receives the service screen information, the screen control unit 48 preferentially switches to the service screen information. After that, when the occupant inputs an operation to return to the map screen from the operation unit 51 or a predetermined time elapses, the map screen is automatically returned. Note that the service screen may be superimposed on the map screen instead of completely switching between the map screen and the service screen. If the service screen is not so large or can be reduced, the user can view the map screen while checking the service screen. In addition, when displaying in a superimposed manner, the screen on the front side (for example, a service screen) may be translucently color-converted.

＜テキストデータの内容を反映したサービス画面を表示するフェーズ＞
・サービス態様
まず、サービス態様の判定について説明する。上述したように、通信装置５４がサービス画面情報を受信した際にサービス態様がサービス画面情報と共に送信された場合、これをそのままサービス態様とすることができる。 <Phase to display the service screen reflecting the contents of text data>
Service Mode First, the service mode determination will be described. As described above, when the service mode is transmitted together with the service screen information when the communication device 54 receives the service screen information, it can be used as the service mode as it is.

サービス態様が得られなかった場合、いくつかの方法でテキストデータをどのようにサービス画面に反映すべきかを推定することができる。例えば、位置検出部２５が検出する位置情報に基づき地図ＤＢ２４を参照し、そこが駐車場であればサービス態様は駐車場の提供であることが、ガソリンスタンドであればサービス態様は燃料の提供であることが、飲食店であればサービス態様は飲食物の提供であることが検知できる。 If the service mode is not obtained, it is possible to estimate how the text data should be reflected on the service screen by several methods. For example, referring to the map DB 24 based on the position information detected by the position detection unit 25, if it is a parking lot, the service mode is providing a parking lot, and if it is a gas station, the service mode is providing fuel. If it is a restaurant, it can be detected that the service mode is provision of food and drink.

サービス態様がサービス画面情報と共に送信されない、又は、位置情報からサービス態様を検知できない場合、サービス判定部４１はサービス毎に典型的なサービス用語を記憶したサービステキストＤＢ４２を参照してサービス態様を判定する。図３はサービス態様に対応づけたサービス用語の一例を示す。サービス判定部４１は、テキストデータに含まれる単語をサービステキストＤＢ４２から検索し、サービス態様を判定する。例えば、テキストデータに「駐車」という単語が含まれていれば、サービス態様は駐車場の提供であり、「いらっしゃいませ」という単語が含まれていれば、サービス態様は飲食物の提供であり、「レギュラー」という単語が含まれていれば、サービス態様は燃料の提供であり、「免許証」という単語が含まれていれば、サービス態様は検問である。 When the service mode is not transmitted together with the service screen information or the service mode cannot be detected from the position information, the service determination unit 41 determines the service mode with reference to the service text DB 42 storing typical service terms for each service. . FIG. 3 shows an example of service terms associated with service modes. The service determination unit 41 searches the service text DB 42 for words included in the text data, and determines the service mode. For example, if the word “parking” is included in the text data, the service mode is provision of a parking lot, and if the word “welcome” is included, the service mode is provision of food and drinks, If the word “regular” is included, the service mode is provision of fuel, and if the word “license” is included, the service mode is check.

このように、サービス態様を正確に検出することで、i)サービス画面の表示態様の変更が容易になり、ii）サービス態様に応じてテキストデータの内容をサービス画面に反映させることができるようになる。 Thus, by accurately detecting the service mode, i) the display mode of the service screen can be easily changed, and ii) the contents of the text data can be reflected on the service screen according to the service mode. Become.

例えば、サービス態様が駐車場の提供と判明した場合、「３階のＡに駐車してください」という音声情報から「３階」「Ａ」等の場所に係る被反映表現を検出し、例えばサービス画面に同じテキストがあれば「３階」「Ａ」を強調することができる。また、サービス態様が飲食物の提供と判明した場合、「コーヒーはいかがですか」という音声情報から「コーヒー」という商品名に係る被反映表現を検出し、例えばサービス画面に同じテキストがあれば「コーヒー」を強調することができる。この場合、被反映表現は例えばサービステキストＤＢ４２にサービス態様毎に登録しておく。 For example, when it is determined that the service mode is provided as a parking lot, the reflected expression relating to the place such as “3rd floor” and “A” is detected from the voice information “Please park at A on the third floor”. If there is the same text on the screen, “3rd floor” and “A” can be emphasized. In addition, when the service mode is determined to be provision of food and drink, the reflected expression related to the product name “coffee” is detected from the audio information “How about coffee?” Can emphasize “coffee”. In this case, the reflected expression is registered in the service text DB 42 for each service mode, for example.

また、例えば、サービス態様が判明すれば、情報提供装置１００はより適切にサービス画面を変更することができるようになる。例えば、サービス態様が駐車場の提供では強調を簡易にすればよいし、飲食物の提供ではより目立つ表示態様に変更することが可能となる。 For example, if the service mode is determined, the information providing apparatus 100 can change the service screen more appropriately. For example, the service mode may be simplified when providing a parking lot, and the service mode may be changed to a more conspicuous display mode.

・サービス画面の表示態様の変更（反映方法の決定）
サービス態様に基づき被反映表現を抽出した場合、反映方法決定部４２は例えばサービステキストＤＢ４２に登録された反映方法に従い、反映方法を決定すればよい。しかしながら、サービス態様にのみ基づき反映方法を決定すると、適切な反映が困難となる場合がある。例えば、駐車場の提供において「３階に駐車してください」という音声情報と「３階は満車です」という音声情報では、いずれも「３階」を強調してしまう。満車の場合はサービス画面の「３階」を強調すべきでないと考えられる。同様のことが飲食物の提供にも当てはまり、「コーヒーはいかがですか」という音声情報と「おもちゃセットは品切れです」という音声情報では、「コーヒー」は強調すべきであるが、「おもちゃセット」は強調すべきでないと考えられる。 -Change the display mode of the service screen (decide how to reflect)
When the reflected expression is extracted based on the service mode, the reflection method determination unit 42 may determine the reflection method according to the reflection method registered in the service text DB 42, for example. However, if the reflection method is determined based only on the service mode, it may be difficult to appropriately reflect. For example, in the provision of a parking lot, both the voice information “Please park on the third floor” and the voice information “3rd floor is full” emphasize “3rd floor”. It is considered that “3rd floor” on the service screen should not be emphasized when the vehicle is full. The same applies to the provision of food and drinks. In the audio information "How about coffee?" And the audio information "Toy set is out of stock", "coffee" should be emphasized, but "toy set" Should not be stressed.

そこで、本実施形態では、テキストデータを解析してより適切な表示態様の変更方法を決定する。反映方法決定部４３は、テキスト解析部３３が解析した係り受け情報を含むテキストデータに基づき反映方法を決定する。 Therefore, in this embodiment, text data is analyzed to determine a more appropriate display mode changing method. The reflection method determination unit 43 determines a reflection method based on text data including dependency information analyzed by the text analysis unit 33.

反映方法決定部４３は、図４に示す反映情報ＤＢ４４に登録された反映方法を参照して反映方法を決定する。図４では、サービス態様毎に、反映指示表現、被反映表現、反映方法、が登録されている。反映指示表現は、テキストデータに含まれる依頼、指示、要求、情報伝達、等を伝えるための表現である。例えば、「して下さい」は、依頼、指示、要求に相当し、「品切れ」「お得です」は情報伝達に相当し、「〜は如何ですか」は推奨に相当する。反映方法決定部４３は、まずこのような反映指示表現がテキストデータに含まれていることを検出する。 The reflection method determination unit 43 refers to the reflection method registered in the reflection information DB 44 illustrated in FIG. 4 and determines the reflection method. In FIG. 4, a reflection instruction expression, a reflected expression, and a reflection method are registered for each service mode. The reflection instruction expression is an expression for transmitting a request, an instruction, a request, information transmission, and the like included in the text data. For example, “please” corresponds to a request, an instruction, and a request, “out of stock” and “deal” are equivalent to information transmission, and “how about” corresponds to a recommendation. The reflection method determination unit 43 first detects that such a reflection instruction expression is included in the text data.

反映指示表現があった場合、反映方法決定部４３はテキスト解析部３３が検出した係り受け関係を利用して被反映表現を決定する。被反映表現は、反映指示表現にかかる文節又は文節中の自立語である。例えば、「３階のＡの駐車場を利用して下さい」の例文では、「利用して下さい」という反映指示表現に、「駐車場を」という文節がかかる。したがって、「駐車場を」の自立語である「駐車場」が被反映表現となる。また、「駐車場を」には「Ａの」がかかり、「Ａの」には「３Ｆの」がかかる。このように係り受け関係が連鎖している場合は、その全てを抽出する。したがって「駐車場」「Ａ」「３階」が被反映表現となる。 When there is a reflection instruction expression, the reflection method determination unit 43 determines the reflected expression using the dependency relationship detected by the text analysis unit 33. The reflected expression is a phrase related to the reflection instruction expression or an independent word in the phrase. For example, in the example sentence “please use the parking lot A on the third floor”, the phrase “use parking” is added to the reflection instruction expression “use it”. Therefore, “parking lot” which is an independent word of “parking lot” is a reflected expression. Also, “A parking” takes “A” and “A” takes “3F”. When the dependency relationships are chained in this way, all of them are extracted. Therefore, “parking lot”, “A”, and “3rd floor” are reflected expressions.

そして、反映方法決定部４３は、反映指示表現に基づき反映方法を決定する。例えば、「して下さい」のような依頼の反映指示表現では、被反映表現が重要であることになるので被反映表現を強調する。図４に示すように、反映指示表現に対応づけて、強調、推奨、削除、選択不能、情報伝達の反映方法が登録されているので、反映指示表現に適切な方法で被反映表現の表示態様を変更することができる。 Then, the reflection method determination unit 43 determines a reflection method based on the reflection instruction expression. For example, in a reflection instruction expression for a request such as “please”, the reflected expression is important, so the reflected expression is emphasized. As shown in FIG. 4, since reflection methods for emphasis, recommendation, deletion, inability to select, and information transmission are registered in association with the reflection instruction expression, the display form of the reflected expression in a method appropriate for the reflection instruction expression Can be changed.

・サービス画面へのテキストデータの内容の反映
音声情報反映部４５は、テキストデータの内容をサービス画面に反映させる。図５は、被反映表現への反映例を示す図である。音声情報反映部４５は、反映方法決定部４３から被反映表現と反映方法を取得し、強調するよう被反映表現を変更したり、被反映表現を削除したり、被反映表現が推奨されるよう被反映表現を変更する。なお、被反映表現が複数ある場合、全ての被反映表現を対象にしてもよいし、その一部を対象にしてもよい。 Reflecting the contents of text data on the service screen The voice information reflecting unit 45 reflects the contents of the text data on the service screen. FIG. 5 is a diagram illustrating an example of reflection in the reflected expression. The voice information reflecting unit 45 acquires the reflected expression and the reflecting method from the reflecting method determining unit 43, changes the reflected expression to be emphasized, deletes the reflected expression, or recommends the reflected expression. Change the reflected expression. When there are a plurality of reflected expressions, all reflected expressions may be targeted, or a part thereof may be targeted.

図５では、全てのサービス画面に「○△□」という被反映表現が含まれているとして説明している。「○△□」はテキストデータの一部である。図５（ａ）に示すように、テキストデータが「○△□に行って下さい」であって反映方法が強調であれば、音声情報反映部４５は「○△□」に例えば下線を付す。また、例えば、図５（ｂ）に示すように、テキストデータが「○△□はお勧めです」であって反映方法が推奨の場合、音声情報反映部４５は「○△□」を□で囲う。 In FIG. 5, it is assumed that all service screens include the reflected expression “◯ △ □”. “◯ △ □” is a part of text data. As shown in FIG. 5A, if the text data is “please go to ○ Δ □” and the reflection method is emphasized, the voice information reflecting unit 45 underlines “○ Δ □”, for example. Also, for example, as shown in FIG. 5B, when the text data is “○ △ □ is recommended” and the reflection method is recommended, the voice information reflection unit 45 surrounds “○ △ □” with □. .

また、図５（ｃ）に示すように、テキストデータが「○△□は女性限定です」であって反映方法が強い強調の場合、音声情報反映部４５は「○△□」の色を変える。女性らしい色で表示してもよい。また、反映方法が強い強調の場合、図５（ｄ）に示すように、「○△□」を目立たせるため「○△□」を点滅表示する。なお、強調や推奨の場合、被反映表現の太さを太くしたり、書体を変えてもよい。 Further, as shown in FIG. 5C, when the text data is “○ △ □ is limited to women” and the reflection method is strong emphasis, the voice information reflection unit 45 changes the color of “○ △ □”. . It may be displayed in feminine colors. When the reflection method is strong emphasis, as shown in FIG. 5D, “◯ Δ □” blinks to make “○ Δ □” stand out. In the case of emphasis and recommendation, the thickness of the reflected expression may be increased or the font may be changed.

また、図５（ｅ）に示すように、テキストデータが「○△□は品切れです」の場合であって反映方法が削除や選択不能の場合、音声情報反映部４５は「○△□」をサービス画面から削除したり選択不能にする。図５（ｆ）に示すように、テキストデータが「○△□は１０％引きです」であって反映方法が情報伝達の場合、音声情報反映部４５は「○△□」の例えば下部に「１０％引き」のように補足説明を追加して表示する。 Further, as shown in FIG. 5E, when the text data is “○ △ □ is out of stock” and the reflection method cannot be deleted or selected, the voice information reflection unit 45 sets “○ △ □”. Delete from the service screen or disable selection. As shown in FIG. 5 (f), when the text data is “○ △ □ is 10% discount” and the reflection method is information transmission, the voice information reflection unit 45 displays “ A supplementary explanation is added and displayed as “10% discount”.

ところで、音声情報反映部４５がテキストデータの内容を反映するには、サービス画面における被反映表現の「○△□」の場所を検出する必要がある。この場合サービス画面情報がＨＴＭＬやＸＭＬであれば、これらのファイル中に「○△□」のテキストがそのまま含まれているので、被反映表現を容易に検出することができる。 By the way, in order for the voice information reflecting unit 45 to reflect the contents of the text data, it is necessary to detect the location of the reflected expression “◯ Δ □” on the service screen. In this case, if the service screen information is HTML or XML, the text “◯ Δ □” is included in these files as they are, so that the reflected expression can be easily detected.

また、音声情報反映部４５がテキストデータの内容を被反映表現に反映するには、検出した反映対象の「○△□」又はその周囲に反映処理を施す必要がある。反映の例は図５に示した通りであるが、この場合もサービス画面情報がＨＴＭＬやＸＭＬの場合、容易に反映処理を施すことができる。 In addition, in order for the voice information reflecting unit 45 to reflect the contents of the text data in the reflected expression, it is necessary to apply a reflection process to the detected reflection target “◯ Δ □” or its surroundings. An example of the reflection is as shown in FIG. 5, but also in this case, when the service screen information is HTML or XML, the reflection process can be easily performed.

例えば、被反映表現に下線を付す場合、ＸＭＬではＵ要素がサポートされているので、＜ｕ＞○△□＜／ｕ＞と記述することでサービス画面上の「○△□」に下線を付すことができる。 For example, if the reflected expression is underlined, the U element is supported in XML, so ○ △ □ is used to underline “○ △ □” on the service screen. be able to.

例えば、被反映表現を囲む（背景色を変える）場合、ＨＴＭＬ及びＸＭＬでは○△□ と記述することで、サービス画面上の○△□の背景色を指定でき、○△□が囲まれたように表示することができる（ＸＸＸＸは色を指定する１６進数）。 For example, to surround the reflected expression (change the background color), in HTML and XML, write ○ △ □ . The background color of Δ □ can be specified, and can be displayed as surrounded by ○ Δ □ (XXXX is a hexadecimal number specifying the color).

例えば、被反映表現の色を変える場合、ＨＴＭＬ及びＸＭＬでは○△□と記述することで、サービス画面上の「○△□」の色を変えることができる。 For example, when changing the color of the reflected expression, the color of “○ △ □” on the service screen can be changed by describing ○ △ □ in HTML and XML. it can.

例えば、被反映表現を点滅させる場合、ＸＭＬでは<blink>○△□</blink>と記述することで、サービス画面上の「○△□」を点滅させることができる。 For example, in the case where the reflected expression is blinked, “○ Δ □” on the service screen can be blinked by describing <blink> ○ Δ □ </ blink> in XML.

また、削除する場合はＨＴＭＬ又はＸＭＬの該当する記述を削除するか注釈行にし、補足説明を追加する場合は記述を追加する。なお、選択不能にする場合、表示はそのままでもよいしサービス画面から削除してもよいが、表示した状態で選択不能とする場合、被反映表現を目立たない色などに変更することが好ましい。 Also, when deleting, the corresponding description of HTML or XML is deleted or commented, and when adding supplementary explanation, description is added. When the selection is disabled, the display may be left as it is or may be deleted from the service screen. However, when the selection is disabled in the displayed state, it is preferable to change the reflected expression to an inconspicuous color or the like.

これに対し、サービス画面情報がビットマップデータやＪＰＥＧ、ＭＰＥＧ等で送信された場合、ビットマップデータやＪＰＥＧ、ＭＰＥＧの画像データから被反映表現の「○△□」を検出する。検出には例えばＯＣＲ（Optical Character Recognition）の技術を用いる。ＪＰＥＧ又はＭＰＥＧの場合、まず、ビットマップデータに変換する。そしてビットマップデータにエッジ処理を施し、被反映表現の輪郭が強調されたエッジ画像にＯＣＲを施す。これにより、サービス画面内の文字や数字を抽出でき、例えば「○△□」で検索することでサービス画面内の「○△□」を検出できる。 On the other hand, when the service screen information is transmitted in bitmap data, JPEG, MPEG, or the like, the reflected expression “◯ Δ □” is detected from the bitmap data, JPEG, or MPEG image data. For example, an OCR (Optical Character Recognition) technique is used for detection. In the case of JPEG or MPEG, first, it is converted into bitmap data. Then, edge processing is performed on the bitmap data, and OCR is performed on the edge image in which the outline of the reflected expression is emphasized. Thereby, characters and numbers in the service screen can be extracted, and for example, “◯ Δ □” in the service screen can be detected by searching for “◯ △ □”.

また、サービス画面情報が、ビットマップデータ、ＪＰＥＧ又はＭＰＥＧであった場合、音声情報反映部４５がテキストデータの内容を反映するには、○△□の外接矩形に所定のマージンを設けて切り出し、切り出した領域に所望の反映処理を施し、サービス画面上の元の位置に配置する。 Further, when the service screen information is bitmap data, JPEG or MPEG, the audio information reflecting unit 45 cuts out the circumscribed rectangle of △ □□ with a predetermined margin in order to reflect the contents of the text data, A desired reflection process is performed on the cut-out area and the original area on the service screen is arranged.

例えば、下線を付す場合は、「○△□」を構成する最下部の画素から一定距離離れた位置の、所定幅の画素を例えば黒で置き換える。これにより、「○△□」に下線を付すことができる。なお、下線等の色は背景色と異なることが好ましいので、下線の色は例えばＸＹＺ表色系で背景色と所定距離離れた色とする。 For example, in the case of underlining, a pixel having a predetermined width at a position away from a lowermost pixel constituting “◯ Δ □” by a certain distance is replaced with, for example, black. As a result, “◯ Δ □” can be underlined. Since the color of the underline is preferably different from the background color, the color of the underline is, for example, a color separated from the background color by a predetermined distance in the XYZ color system.

同様に、「○△□」を囲う画素の色を置き換えれば「○△□」を囲むことができ、「○△□」を構成する画素の色を変えれば「○△□」の色を変えることができ、「○△□」を構成する画素の色を背景色と同じにした切り出し領域と元の切り出し領域を所定時間毎に切り替えて表示することで、「○△□」を点滅させることができる。削除する場合は「○△□」を構成する画素の色を背景色と同じ色にし、補足説明を追加する場合は「○△□」の下部に「お得」などの文字をビットマップで表示する。 Similarly, if the color of the pixel surrounding “○ △ □” is replaced, “○ △ □” can be surrounded, and if the color of the pixel constituting “○ △ □” is changed, the color of “○ △ □” is changed. It is possible to blink “○ △ □” by switching and displaying the cutout area and the original cutout area with the same color as the background color and the original cutout area every predetermined time. Can do. When deleting, change the color of the pixels that make up “○ △ □” to the same color as the background color, and when adding supplementary explanations, display a character such as “deals” at the bottom of “○ △ □” as a bitmap. To do.

・操作の禁止
サービス画面生成部４７がサービス画面情報と共に操作入力情報を取得した場合であって、反映方法が選択不能であった場合、選択禁止部４６はサービス画面生成部４７に、その被反映表現を操作する操作入力情報（すなわち、位置情報の入力）があってもその操作の受付を禁止するよう要求する。したがって、音声情報で「品切れ」等が知らされたメニューの選択を禁止することができる。 -Prohibition of operation When the service screen generation unit 47 acquires the operation input information together with the service screen information and the reflection method cannot be selected, the selection prohibition unit 46 informs the service screen generation unit 47 of the reflection. Even if there is operation input information for operating the expression (that is, input of position information), it is requested to prohibit the reception of the operation. Therefore, selection of a menu informed of “out of stock” or the like by voice information can be prohibited.

〔駐車場のサービス画面〕
以上の構成を用いて、駐車場のサービス画面についてより具体的に説明する。図６は、表示されたサービス画面にテキストデータの内容を反映する手順を示すフローチャート図である。図６のフローチャート図は、例えば通信装置５４がサービスの提供者と通信するとスタートする。 [Parking service screen]
The parking lot service screen will be described more specifically using the above configuration. FIG. 6 is a flowchart showing a procedure for reflecting the contents of the text data on the displayed service screen. The flowchart of FIG. 6 starts when the communication device 54 communicates with a service provider, for example.

まず、サービス画面生成部４７はサービス提供者から通信装置５４を介しサービス画面情報を取得する（Ｓ１０）。取得するとサービス画面生成部４７は、サービス画面情報を解釈し画面制御部４８に送出し、画面制御部４８はサービス画面をディスプレイ５２に表示する（Ｓ２０）。後続のサービス画面情報を取得する場合は、順次、サービス画面情報を画面制御部４８に送出する。駐車場であれば、図１（ｂ）に示すような駐車場マップ等がディスプレイ５２に表示される。 First, the service screen generation unit 47 acquires service screen information from the service provider via the communication device 54 (S10). Upon acquisition, the service screen generation unit 47 interprets the service screen information and sends it to the screen control unit 48, and the screen control unit 48 displays the service screen on the display 52 (S20). When acquiring subsequent service screen information, the service screen information is sequentially sent to the screen control unit 48. If it is a parking lot, a parking lot map or the like as shown in FIG.

ついで、音声情報反映部４５は、集音マイク３１が外部からの音声情報を集音したか否かを判定する（Ｓ３０）。 Next, the sound information reflecting unit 45 determines whether or not the sound collecting microphone 31 has collected sound information from the outside (S30).

集音マイク３１が、例えば「３階のＡを利用して下さい」という音声情報を受信した場合（Ｓ３０のＹｅｓ）、音声認識部３００は音声情報をテキストデータに変換する（Ｓ４０）。そして、反映方法決定部４３は図４のような反映情報ＤＢ４４を参照し、テキストデータに反映指示表現があるか否かを判定する（Ｓ５０）。反映指示表現があれば、反映方法決定部４３は被反映表現と反映方法を音声情報反映部４５に送出する。 For example, when the sound collection microphone 31 receives voice information “Please use A on the third floor” (Yes in S30), the voice recognition unit 300 converts the voice information into text data (S40). Then, the reflection method determination unit 43 refers to the reflection information DB 44 as shown in FIG. 4 and determines whether there is a reflection instruction expression in the text data (S50). If there is a reflection instruction expression, the reflection method determination unit 43 sends the reflected expression and the reflection method to the voice information reflection unit 45.

反映指示表現がテキストデータに含まれる場合（Ｓ５０のＹｅｓ）、音声情報反映部４５は被反映表現と反映方法に基づき被反映表現の強調等をサービス画面に反映させる（Ｓ６０）。
反映指示表現：「利用して下さい」
被反映表現：「駐車」「３階」「Ａ」
反映方法：強調
図１（ｃ）では、サービス画面の「Ａ」という被反映表現が強調される。すなわち、「駐車」「３階」はサービス画面にないので、サービス画面にある「Ａ」が強調されることになる。 When the reflection instruction expression is included in the text data (Yes in S50), the voice information reflection unit 45 reflects the reflection expression emphasis on the service screen based on the reflection expression and the reflection method (S60).
Reflection instruction: “Please use”
Reflected expressions: “Parking” “3rd floor” “A”
Reflection Method: Emphasis In FIG. 1C, the reflected expression “A” on the service screen is emphasized. That is, since “parking” and “3rd floor” are not on the service screen, “A” on the service screen is emphasized.

乗員は、図１（ｃ）のように音声情報が反映されたディスプレイ５２を視認することで、駐車場の位置を容易に把握することが可能となる。 The occupant can easily grasp the position of the parking lot by visually recognizing the display 52 on which the audio information is reflected as shown in FIG.

以降は、乗員は音声情報が反映されたサービス画面又は反映されないサービス画面を視認して、例えば駐車場マップを見ながら目的の駐車区画に駐車したり、例えば駐車位置をサービス提供者に報告するなどの操作を行う（Ｓ７０）。 Thereafter, the occupant visually views the service screen on which the voice information is reflected or the service screen on which the voice information is not reflected, for example, parks in the target parking area while viewing the parking lot map, or reports the parking position to the service provider, for example. (S70).

駐車区画への駐車をサービス提供者が検出してサービス画面等の提供を停止したり、乗員が操作してサービス画面を終了させると（Ｓ８０）、図６の処理は終了する。 When the service provider detects parking in the parking area and stops providing the service screen, or when the occupant operates to end the service screen (S80), the processing in FIG. 6 ends.

以上のように、本実施形態の情報提供装置１００はナビシステム等が受信した情報だけではカバーできない音声情報を、ディスプレイ５２に反映して表示できるので表示する情報量を向上させることができる。また、難聴者や言語能力が劣る乗員に対しても公平なサービスを提供することができる。音声認識したテキストデータをそのまま表示するわけではないので、外国人にも公平に情報を提供できる。 As described above, since the information providing apparatus 100 according to the present embodiment can display the audio information that cannot be covered only by the information received by the navigation system or the like on the display 52, the amount of information to be displayed can be improved. In addition, a fair service can be provided to a hearing-impaired person or a passenger with poor language skills. Since the voice-recognized text data is not displayed as it is, information can be provided to foreigners fairly.

〔ドライブスルーのサービス画面〕
ドライブスルーのサービス画面について図７の画面遷移に基づき具体的に説明する。なお、フローチャート図は図６と同様であるので省略する。ドライブスルーにおけるサービス画面はメニュー画面が多く、また、サービス画面からメニューを選択できるようになっている。 [Drive-through service screen]
The drive-through service screen will be specifically described based on the screen transition of FIG. The flowchart is the same as FIG. Service screens in drive-through have many menu screens, and menus can be selected from the service screen.

車両がドライブスルーに到着すると、その入り口付近に設けられた通信部から通信装置５４はサービス画面情報を受信する（Ｓ１０）。画面制御部４８は、例えばそれまで表示していた道路地図画面をサービス画面に切り替える。これにより、図７（ａ）の如くサービス画面が表示される（Ｓ２０）。図７（ａ）ではハンバーガーショップのメニューの一部が表示されており、乗員は所望の商品をタッチパネル等の操作部５１から選択する。 When the vehicle arrives at the drive-through, the communication device 54 receives service screen information from a communication unit provided near the entrance (S10). For example, the screen control unit 48 switches the road map screen displayed so far to the service screen. As a result, a service screen is displayed as shown in FIG. 7A (S20). In FIG. 7A, a part of the hamburger shop menu is displayed, and the occupant selects a desired product from the operation unit 51 such as a touch panel.

サービス画面の表示に前後して、ハンバーガーショップの店員が音声を発声することがある（Ｓ３０）。これにより、この店舗にしかない限定サービスやシステム改修が追いついていないため表示されないメニュー等の情報を、乗員は聴覚を介し把握できる。例えば、店員が「おもちゃセットは品切れです」と発声した場合、音声情報反映部４５はテキストデータから「品切れ」という反映指示表現を検出し、反映情報ＤＢ４４を参照して、被反映表現と反映方法を読み出す（Ｓ４０、Ｓ５０）。
反映指示表現：「品切れ」
被反映表現：「おもちゃセット」
反映方法：「選択不能」
選択不能とする場合、まず、音声情報反映部４５は被反映表現又は被反映表現を囲む所定領域の色を目立たない色に変更する（Ｓ６０）。目立たない色は背景色に対し、例えば同系統の色（例えば背景がグレーに対し、より薄いグレーにする）である。これにより、図７（ｂ）に示すようにサービス画面の「おもちゃセット」の商品が色を変えて表示される。 Before and after the display of the service screen, a clerk of the hamburger shop may utter a voice (S30). Accordingly, the passenger can grasp information such as menus that are not displayed because the limited service or system renovation that is available only in this store has not caught up, through hearing. For example, when the store clerk utters “Toy set is out of stock”, the voice information reflecting unit 45 detects the reflecting instruction expression “out of stock” from the text data, and refers to the reflecting information DB 44 to reflect the reflecting expression and reflecting method. Is read (S40, S50).
Reflection instruction expression: “Out of stock”
Reflected expression: "Toy set"
Reflection method: "Cannot be selected"
When the selection is disabled, the audio information reflecting unit 45 first changes the reflected expression or the color of a predetermined area surrounding the reflected expression to an inconspicuous color (S60). The inconspicuous color is, for example, the same color as the background color (for example, the background is lighter than gray). As a result, as shown in FIG. 7B, the products of the “toy set” on the service screen are displayed in different colors.

したがって、店員の音声による商品の選択可否を、表示された商品に反映できるので、乗員に商品毎の購入可否を把握させやすくすることができる。 Therefore, whether or not the product can be selected based on the voice of the store clerk can be reflected in the displayed product, which makes it easier for the occupant to grasp whether or not the product can be purchased.

また、選択禁止部４６はサービス画面生成部４７に「おもちゃセット」の選択を禁止する。サービス画面生成部４７は、「おもちゃセット」の位置情報を記憶しているので、乗員が「おもちゃセット」をタッチパネル等から選択しても、それを無視する。すなわち、選択されたとして扱わない。なお、選択不能の商品が乗員により選択された場合、「おもちゃセットは品切れです」等の音声情報をスピーカ５３から出力してもよいし、ディスプレイ５２に表示してもよい。乗員は、選択できない理由を改めて把握することができる。 Further, the selection prohibition unit 46 prohibits the service screen generation unit 47 from selecting “toy set”. Since the service screen generation unit 47 stores the position information of “toy set”, even if the occupant selects “toy set” from the touch panel or the like, it is ignored. That is, it is not treated as selected. When a product that cannot be selected is selected by the occupant, audio information such as “Toy set is out of stock” may be output from the speaker 53 or may be displayed on the display 52. The occupant can grasp the reason why it cannot be selected again.

乗員が選択可能な商品から所望の商品を選択した場合（Ｓ７０）、サービス画面生成部４７は乗員が選択したメニューをサービス画面上の位置情報から検出し、通信装置５４を介してサービス提供者に送信する。 When the occupant selects a desired product from the selectable products (S70), the service screen generation unit 47 detects the menu selected by the occupant from the position information on the service screen, and notifies the service provider via the communication device 54. Send.

このように、サービス提供者と車両との間で双方向に送受信される表示情報に対しても、音声情報の内容を反映させることができる。 In this way, the contents of the audio information can be reflected also in the display information that is transmitted and received bidirectionally between the service provider and the vehicle.

以上説明したように、本実施形態の情報提供装置１００は、音声情報がサービス画面に反映されるので、乗員に音声による情報を把握させやすくすることができる。 As described above, the information providing apparatus 100 according to the present embodiment can make it easier for an occupant to grasp information by voice because the voice information is reflected on the service screen.

情報提供装置の概略を説明する図である。It is a figure explaining the outline of an information service device. 情報提供装置のシステム構成図の一例である。It is an example of the system block diagram of an information provision apparatus. サービス態様に対応づけたサービス用語の一例を示す図である。It is a figure which shows an example of the service term matched with the service aspect. 反映情報ＤＢの一例を示す図である。It is a figure which shows an example of reflection information DB. 被反映表現への反映例を示す図であるIt is a figure which shows the example of reflection to a reflected expression 表示されたサービス画面にテキストデータの内容を反映する手順を示すフローチャート図である。It is a flowchart figure which shows the procedure which reflects the content of text data on the displayed service screen. ドライブスルーにおけるサービス画面の遷移例を示す図である。It is a figure which shows the example of a transition of the service screen in a drive through.

符号の説明Explanation of symbols

２０制御部
３１集音マイク
３２テキスト変換部
３３テキスト解析部
４１サービス判定部
４２サービステキストＤＢ
４３反映方法決定部
４４反映情報ＤＢ
４５音声情報反映部
４６選択禁止部
４７サービス画面生成部
４８画面制御部
１００情報提供装置

20 Control Unit 31 Sound Collecting Microphone 32 Text Conversion Unit 33 Text Analysis Unit 41 Service Determination Unit 42 Service Text DB
43 Reflection method determination unit 44 Reflection information DB
45 voice information reflecting unit 46 selection prohibiting unit 47 service screen generating unit 48 screen control unit 100 information providing apparatus

Claims

サービスに対応したサービス画面を表示部に表示する情報提供装置において、
車両外部の音声情報を集音する集音手段と、
前記集音手段が集音した音声情報を音声認識してテキストデータに変換する音声認識手段と、
前記テキストデータに基づき前記サービス画面の表示態様を変更する画面変更手段と、
を有することを特徴とする情報提供装置。 In the information providing apparatus for displaying the service screen corresponding to the service on the display unit,
Sound collecting means for collecting sound information outside the vehicle;
Voice recognition means for recognizing and converting the voice information collected by the sound collection means into text data;
Screen changing means for changing a display mode of the service screen based on the text data;
An information providing apparatus comprising:

現在の位置情報に基づき前記サービスの態様を判定するサービス判定手段を有し、
前記画面変更手段は、前記サービスの態様に基づき前記サービス画面の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。 Service determining means for determining a mode of the service based on current location information;
The screen change means changes a display mode of the service screen based on the service mode.
The information providing apparatus according to claim 1.

前記画面変更手段は、前記テキストデータに含まれる所定表現であって、前記サービス画面に含まれる同じ前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。 The screen changing means is a predetermined expression included in the text data, and changes the same predetermined expression included in the service screen or a display mode around it.
The information providing apparatus according to claim 1.

前記画面変更手段は、前記テキストデータに含まれる所定表現であって、前記サービス画面に含まれる同じ前記所定表現を前記サービス画面から削除する、
ことを特徴とする請求項１記載の情報提供装置。 The screen changing means is a predetermined expression included in the text data, and deletes the same predetermined expression included in the service screen from the service screen;
The information providing apparatus according to claim 1.

前記画面変更手段は、前記所定表現を強調するよう前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項３記載の情報提供装置。 The screen changing means changes the predetermined expression or its surrounding display mode to emphasize the predetermined expression.
The information providing apparatus according to claim 3.

前記サービス画面が、駐車場を提供する前記サービスの駐車場マップである場合、
前記画面変更手段は、前記テキストデータが含む位置情報に対応する、前記駐車場マップの所定位置の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。 When the service screen is a parking lot map of the service providing a parking lot,
The screen changing means changes the display mode of the predetermined position of the parking lot map corresponding to the position information included in the text data.
The information providing apparatus according to claim 1.

前記サービス画面が、ドライブスルーにおいて飲食物を提供する前記サービスの商品メニューである場合、
前記画面変更手段は、前記テキストデータが含む購入可能な商品又は購入不可の商品の情報に対応する、前記商品メニューの商品の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。 When the service screen is a product menu of the service that provides food and drink in drive-through,
The screen changing means changes the display mode of the product in the product menu corresponding to the information of the product that can be purchased or the product that cannot be purchased included in the text data.
The information providing apparatus according to claim 1.

前記テキストデータの係り受け関係を検出する構造解析部と、
係り受け関係に基づき、前記所定表現にかかる変更指示表現を前記テキストデータから検出する変更方法決定手段と、
前記変更指示表現に対応づけて前記所定表現の表示態様の変更方法を記憶する変更方法記憶手段と、を有し、
前記変更方法決定手段は、前記テキストデータから検出した前記変更指示表現に基づき前記変更方法記憶手段から前記変更方法を読み出し、
前記画面変更手段は、読み出された前記変更方法に基づき前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項３記載の情報提供装置。 A structure analysis unit for detecting a dependency relationship of the text data;
A change method determining means for detecting a change instruction expression relating to the predetermined expression from the text data based on a dependency relationship;
Change method storage means for storing a change method of a display mode of the predetermined expression in association with the change instruction expression;
The change method determination means reads the change method from the change method storage means based on the change instruction expression detected from the text data,
The screen changing means changes the predetermined expression or its surrounding display mode based on the read change method.
The information providing apparatus according to claim 3.

サービスに対応したサービス画面を表示部に表示する情報提供装置の情報表示方法において、
表示部が前記サービス画面を表示するステップと、
集音手段が、車両外部の音声情報を集音するステップと、
音声認識手段が、前記集音手段が集音した音声情報を音声認識してテキストデータに変換するステップと、
画面変更手段が、前記テキストデータに基づき前記サービス画面を変更するステップと、
を有することを特徴とする情報表示方法。 In the information display method of the information providing apparatus for displaying the service screen corresponding to the service on the display unit,
A display unit displaying the service screen;
A step of collecting sound information outside the vehicle;
A step of recognizing the voice information collected by the sound collecting means and converting the voice information into text data;
Screen changing means for changing the service screen based on the text data;
An information display method characterized by comprising:

請求項１〜８いずれか１項記載の情報提供装置と、
現在位置を検出する位置検出手段と、
現在位置から所定位置までの経路を検索する経路検索手段と、
道路地図情報を記憶した道路地図情報記憶手段と、
を有することを特徴とするナビゲーション装置。

The information providing device according to any one of claims 1 to 8,
Position detection means for detecting the current position;
Route search means for searching for a route from the current position to a predetermined position;
Road map information storage means for storing road map information;
A navigation device comprising: