JP4771047B2 - Information display system for vehicles - Google Patents
Information display system for vehicles Download PDFInfo
- Publication number
- JP4771047B2 JP4771047B2 JP2005082300A JP2005082300A JP4771047B2 JP 4771047 B2 JP4771047 B2 JP 4771047B2 JP 2005082300 A JP2005082300 A JP 2005082300A JP 2005082300 A JP2005082300 A JP 2005082300A JP 4771047 B2 JP4771047 B2 JP 4771047B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- facility
- display
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、所定条件を具備する施設を運転者に認識させる車両用情報表示システムに関する。 The present invention relates to a vehicle information display system that allows a driver to recognize a facility having a predetermined condition.
一般に、車両用のナビゲーション装置は、運転者の所望する施設（レストラン等）の検索を行い、走行中に画像表示や音声等によって施設の接近を運転者に案内する機能を有する。 In general, a navigation device for a vehicle has a function of searching for a facility (restaurant or the like) desired by a driver and guiding the approach of the facility to the driver by image display or voice during driving.
しかしながら、施設（レストラン等）が運転者にとって不慣れな土地にあると、正確な位置を掴めずに通り過ぎてしまうことがある。また、いざ施設に到着してみたら、既に営業時間が終了していたり、自分の持っているカードが使えなかったりという事態に直面し、施設を探し直す羽目になることが少なくない。 However, if a facility (such as a restaurant) is located on a land unfamiliar with the driver, the vehicle may pass by without being able to grasp the exact position. Also, when you arrive at the facility, you often face a situation where the business hours have already ended or the card you have cannot be used, and you will often find the facility again.
本発明は、上記問題を鑑みて為されたものであり、運転者が所望する適切な施設を運転者に直感的に知らしめることが可能な車両用情報表示システムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle information display system capable of intuitively informing the driver of an appropriate facility desired by the driver. .
上記課題を解決するため、本発明の第一の車両用情報表示システムは、地図データを記憶する地図データ記憶手段と、地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、運転者の所望する施設条件が入力される入力手段と、該施設条件を検索条件として、それに適合する施設を施設情報記憶手段から検索して対象施設とする対象施設検索部と、対象施設の地図データ上での位置を特定する施設位置特定部と、画像を表示する表示手段と、施設条件を表す施設条件表示を対象施設の位置と対応付けて表示手段に表示させる表示制御部と、運転者を撮影する運転者撮像手段と、運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部と、車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を地図データとしての３次元地図データから算出する模擬情景画像算出手段と、対象施設が運転者から視認されるか否かを判定する視認可否判定部とを備え、表示制御部は、模擬情景画像算出手段により算出された模擬情景画像に基づいて運転者から見て空となる領域を特定し、かつ、視認可否判定部により対象施設が運転者から視認されると判定された場合に、運転者から見て対象施設の近傍となる空となる領域に施設条件表示を表示させることを特徴とする。
また、本発明の第二の車両用情報表示システムは、地図データを記憶する地図データ記憶手段と、地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、運転者の所望する施設条件が入力される入力手段と、該施設条件を検索条件として、それに適合する施設を前記施設情報記憶手段から検索して対象施設とする対象施設検索部と、対象施設の地図データ上での位置を特定する施設位置特定部と、画像を表示する表示手段と、施設条件を表す施設条件表示を対象施設の位置と対応付けて表示手段に表示させる表示制御部と、運転者を撮影する運転者撮像手段と、運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部と、車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を地図データとしての３次元地図データから算出する模擬情景画像算出手段と、対象施設が運転者から視認されるか否かを判定する視認可否判定部と、車外を撮影する車外撮像手段と、視線方向検出部により得られる運転者の視線方向及び前記車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、模擬情景画像と実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段であり、表示制御部は、視認可否判定部により対象施設が運転者から視認されると判定された場合に、運転者から見て対象施設の近傍となるウインドシールドの領域に、情景画像照合部により位置補正された模擬情景画像にて定められた施設条件表示をウインドシールド表示手段に表示させることを特徴とする。これによると、運転者から入力された施設条件に適合する施設を検索し、施設条件表示を対象施設の位置と対応付けて表示させることで、運転者に所望する対象施設を直感的に知らしめることができる。
In order to solve the above problems, a first vehicle information display system according to the present invention includes map data storage means for storing map data, facility information storage means for storing facility information relating to facilities included in the map data, and driving. An input means for inputting a facility condition desired by the person, a target facility search unit that searches the facility information storage means for a facility that matches the facility condition as a search condition, and sets the target facility map data A facility position specifying unit for specifying the position on the display, a display unit for displaying an image, a display control unit for displaying the facility condition display indicating the facility condition on the display unit in association with the position of the target facility, and a driver Driver imaging means for photographing, a gaze direction detection unit for detecting the gaze direction of the driver from the image of the driver's eyes obtained by the driver imaging means, and the current position of the vehicle and the gaze direction of the driver A simulated scene image calculating means for calculating a simulated scene image assumed to be viewed by the driver from three-dimensional map data as map data, and visual recognition for determining whether the target facility is viewed by the driver A display control unit that identifies a region that is empty when viewed from the driver based on the simulated scene image calculated by the simulated scene image calculation means, and the viewing authorization determination unit determines whether the target facility is When it is determined that the vehicle is visually recognized by the driver, the facility condition display is displayed in an empty area in the vicinity of the target facility as viewed from the driver .
In addition, the second vehicle information display system of the present invention includes a map data storage means for storing map data, a facility information storage means for storing facility information relating to facilities included in the map data, and a facility desired by the driver. An input means for inputting a condition, a target facility search section that searches the facility information storage means for a facility that matches the facility condition as a search condition, and sets the target facility on the map data A facility position identifying unit for identifying the image, a display unit for displaying an image, a display control unit for displaying a facility condition display representing the facility condition on the display unit in association with the position of the target facility, and a driver for photographing the driver An image pickup means, a line-of-sight direction detection unit for detecting the line-of-sight direction of the driver from an image of the driver's eyes obtained by the driver image pickup means, and the driver based on the current position of the vehicle and the line-of-sight direction of the driver A simulated scene image calculating means for calculating a simulated scene image assumed to be viewed from 3D map data as map data, a visual approval / disapproval determination unit for determining whether the target facility is visually recognized by the driver, An outside scene imaging means for photographing the outside of the vehicle, a driver's line of sight obtained by the line of sight detection unit, and an actual scene image identifying section for identifying the actual scene image viewed by the driver from the image obtained by the outside of the vehicle imaging means; A scene image collating unit that collates the simulated scene image with the actual scene image and corrects the position of the simulated scene image, and the display unit is a windshield display unit that displays an image on the windshield of the vehicle. When the control unit determines that the target facility is visually recognized by the driver by the visual approval / disapproval determination unit, a scene image is displayed in the windshield area near the target facility when viewed from the driver. Property condition display defined by the position corrected simulated scene image by engagement portion, characterized in that to be displayed on the windshield display means. According to this, the facility that matches the facility condition input by the driver is searched, and the facility condition display is displayed in association with the position of the target facility, so that the driver can intuitively know the desired target facility. be able to.
この場合、入力手段は音声入力手段により構成され、該音声入力手段から入力された運転者の音声を認識する音声認識部を備えるように構成できる。これによると、運転者は音声により施設条件を入力できるので、運転者にとって実際の対話により近い形式で検索条件を調整することができる。 In this case , the input means is constituted by voice input means, and can be configured to include a voice recognition unit for recognizing the driver's voice input from the voice input means. According to this, since the driver can input the facility condition by voice, the search condition can be adjusted in a format closer to the actual dialogue for the driver.
また、運転者に対して施設条件の特定または絞込みを促す通知を行うための通知手段と、入力手段及び通知手段により運転者との対話形式で検索条件を調整する検索条件調整部とを備えるように構成できる。これによると、運転者に対して施設条件の特定または絞込みを促す通知を行い、運転者との対話形式で検索条件を調整することにより、運転者が所望する適切な施設を検索することができる。 Also , a notification means for notifying the driver of specifying or narrowing down the facility condition, and a search condition adjustment unit for adjusting the search condition in an interactive manner with the driver by the input means and the notification means are provided. Can be configured. According to this, it is possible to search for an appropriate facility desired by the driver by notifying the driver to specify or narrow down the facility conditions and adjusting the search conditions in an interactive manner with the driver. .
また、検索条件調整部は、対象施設検索部により検索された対象施設の数が所定範囲から外れている場合に、運転者に対して施設条件の再入力を促す通知を通知手段に行わせるように構成できる。これによると、対象施設の数が過度に少ない場合や多い場合に施設条件の再入力を促す通知を行うことで、より適切な施設を運転者に提供できる。 In addition , the search condition adjustment unit causes the notification unit to notify the driver to re-enter the facility conditions when the number of target facilities searched by the target facility search unit is out of the predetermined range. Can be configured. According to this, when the number of target facilities is excessively small or large, a more appropriate facility can be provided to the driver by notifying the facility condition to be input again.
また、通知手段は音声通知手段により構成されるようにできる。これによると、運転者は音声により通知が行われるので、運転者にとって実際の対話により近い形式で検索条件を調整することができる。 Further , the notification means can be constituted by a voice notification means. According to this, since the driver is notified by voice, the search condition can be adjusted in a format closer to the actual dialogue for the driver.
また、表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段により構成できる。これによると、施設条件表示が車両のウインドシールドに表示されるので、運転者は施設の位置を直感的に把握することができる。 The display means can be constituted by a windshield display means for displaying an image on the windshield of the vehicle. According to this, since the facility condition display is displayed on the windshield of the vehicle, the driver can intuitively grasp the location of the facility.
また、車両の現在位置を検出する位置検出手段と、地図データに基づいて車両と対象施設との位置関係から該対象施設が運転者から視認されるか否かを判定する視認可否判定部とを備え、表示制御部は、視認可否判定部により対象施設が運転者から視認されると判定された場合に、施設条件を表す施設条件表示を対象施設の位置と対応付けて表示手段に表示させるように構成できる。これによると、運転者が対象施設を視認できると判定した場合に施設条件表示の表示を行うので、運転者は車外の情景から対象施設を直感的に把握することができる。 Further , a position detection means for detecting the current position of the vehicle, and a visual approval / disapproval determination unit for determining whether or not the target facility is visually recognized by the driver based on the positional relationship between the vehicle and the target facility based on the map data. The display control unit causes the display unit to display the facility condition display indicating the facility condition in association with the position of the target facility when it is determined by the viewing authorization rejection determination unit that the target facility is visually recognized by the driver. Can be configured. According to this, since the facility condition display is displayed when it is determined that the driver can visually recognize the target facility, the driver can intuitively grasp the target facility from the scene outside the vehicle.
また、運転者を撮影する運転者撮像手段と、運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部とを備え、地図データは３次元地図データであり、視認可否判定部は、車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を３次元地図データから算出し、当該模擬情景画像から対象施設が運転者から視認されるか否かを判定し、表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段であり、表示制御部は、視認可否判定部により対象施設が運転者から視認されると判定された場合に、運転者から見て対象施設の近傍となるウインドシールドの領域に施設条件表示をウインドシールド表示手段に表示させるように構成できる。これによると、運転者の視線方向を検出するとともに、３次元地図データから運転者が見ていると想定される模擬的な情景の画像（以下、模擬情景画像という）を算出し、それに基づいて、施設条件表示を運転者から見て対象施設の近傍となるウインドシールドの領域に表示することで、運転者は運転中に注視すべき方向から視線を大きく外すことなく、施設の位置を直感的に把握することができる。 In addition , the imaging apparatus includes a driver imaging unit that captures the driver, and a gaze direction detection unit that detects the gaze direction of the driver from the driver's eye image obtained by the driver imaging unit, and the map data is three-dimensional map data. The visual approval / disapproval determination unit calculates a simulated scene image assumed to be viewed by the driver from the three-dimensional map data based on the current position of the vehicle and the driver's line-of-sight direction, and uses the simulated scene image as a target. It is determined whether the facility is visually recognized by the driver, and the display means is a windshield display means for displaying an image on the windshield of the vehicle. When it is determined that the facility is visually recognized from the driver, the facility condition display can be displayed on the windshield display means in the region of the windshield near the target facility as viewed from the driver. According to this, a gaze direction of the driver is detected, and a simulated scene image (hereinafter referred to as a simulated scene image) assumed to be viewed by the driver is calculated from the three-dimensional map data. By displaying the facility condition display in the windshield area in the vicinity of the target facility as seen from the driver, the driver can intuitively locate the facility without greatly distracting the line of sight from the direction to be watched Can grasp.
また、車外を撮影する車外撮像手段と、視線方向検出部により得られる運転者の視線方向及び車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、模擬情景画像と実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、表示制御部は、該情景画像照合部により位置補正された模擬情景画像に基づいて表示制御を行うように構成できる。運転者が実際に見ている情景の画像（以下、実情景画像という）は車外を撮影する車外撮像手段によって得られることから、運転者が実際に見ている情景により近いものであり、これに模擬情景画像を照合させて位置補正を行うことで、施設条件表示の表示位置を精度良く設定できる。 Further , an outside image pickup means for photographing the outside of the vehicle, a real scene image specifying section for specifying the actual scene image viewed by the driver from the driver's line-of-sight direction obtained by the line-of-sight detection section and the image obtained by the outside-vehicle image pickup means, A scene image matching unit that matches the simulated scene image with the actual scene image and corrects the position of the simulated scene image, and the display control unit is based on the simulated scene image whose position is corrected by the scene image matching unit. Display control. Since the image of the scene that the driver actually sees (hereinafter referred to as the actual scene image) is obtained by the outside imaging means for photographing the outside of the vehicle, it is closer to the scene that the driver actually sees. By matching the simulated scene image and performing position correction, the display position of the facility condition display can be set with high accuracy.
また、表示制御部は、運転者から見て空となるウインドシールドの領域に施設条件表示を表示させるように構成できる。これによると、施設条件表示が運転者から見て空となる領域に表示されるので、表示が運転者にとって運転の邪魔になることを防ぐことができる。 Further , the display control unit can be configured to display the facility condition display in an area of the windshield that is empty when viewed from the driver. According to this, since the facility condition display is displayed in a region that is empty when viewed from the driver, it is possible to prevent the display from interfering with driving for the driver.
また、表示制御部は、対象施設の手前に建物が存在する場合に、運転者から見て施設条件表示の一部が該手前の建物に隠れて見えるように該施設条件表示を表示させるように構成できる。これによると、施設条件表示の一部が手前の建物に隠れて見えるので、運転者はより直感的に施設の位置を把握することができる。 In addition , when a building is present in front of the target facility, the display control unit displays the facility condition display so that a part of the facility condition display is hidden behind the building in front of the driver. Can be configured. According to this, a part of the facility condition display appears hidden behind the building in front, so that the driver can more intuitively grasp the location of the facility.
また、表示制御部は、視認可否判定部により対象施設が運転者から視認されないと判定された場合に、対象施設の方向を表す方向表示を表示させるように構成できる。これによると、対象施設が運転者から視認できない場合であっても、対象施設の方向を表す方向表示が表示されるので、運転者はより直感的に施設の位置を把握することができる。 In addition , the display control unit can be configured to display a direction display indicating the direction of the target facility when it is determined that the target facility is not visually recognized by the driver by the viewing authorization rejection determination unit. According to this, even when the target facility cannot be visually recognized by the driver, the direction display indicating the direction of the target facility is displayed, so that the driver can more intuitively grasp the position of the facility.
また、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、当該距離が所定範囲内にある場合に、該対象施設が運転者から視認されるか否かを判定するように構成できる。これによると、対象施設が運転者から視認されるか否かの判定を、車両の現在位置から対象施設までの距離が所定範囲内にある場合にのみ行うので、例えば視認できないことが明らかなほど遠くの対象施設の判定を行うような無駄を省略できる。 Further , the view authorization rejection determination unit specifies a distance from the current position of the vehicle to the target facility, and determines whether the target facility is visually recognized by the driver when the distance is within a predetermined range. Can be configured. According to this, since the determination as to whether or not the target facility is visually recognized by the driver is performed only when the distance from the current position of the vehicle to the target facility is within a predetermined range, for example, it is clearly far away that the target facility cannot be visually recognized. It is possible to eliminate waste such as determining the target facility.
また、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、表示制御部は、当該距離が所定範囲内にある場合に、対象施設の駐車場の入口を表す駐車場表示を表示させるように構成できる。これによると、駐車場表示が表示されるので、運転者は迷わず安全に駐車場に辿り付くことができる Further , the viewing approval / disapproval determination unit specifies the distance from the current position of the vehicle to the target facility, and the display control unit displays a parking lot display that represents the entrance of the parking lot of the target facility when the distance is within a predetermined range. Can be configured to display. According to this, since the parking lot display is displayed, the driver can safely reach the parking lot without hesitation.
また、視認可否判定部は、車両の現在位置から対象施設までの距離を特定し、表示制御部は、表示される施設条件表示の大きさ，明るさ，色，透明度等を当該距離に応じて変化させるように構成できる。これによると、距離に応じて施設条件表示の大きさ，明るさ，色，透明度等が変化することから、運転者はより直感的に施設の位置を把握することができる。 In addition , the viewing approval / disapproval determination unit specifies the distance from the current position of the vehicle to the target facility, and the display control unit determines the size, brightness, color, transparency, and the like of the displayed facility condition according to the distance. Can be configured to change. According to this, since the size, brightness, color, transparency, etc. of the facility condition display change according to the distance, the driver can more intuitively grasp the location of the facility.
また、入力手段は運転者を撮影する運転者撮像手段により構成され、該運転者撮像手段により得られる運転者の画像から運転者が行う所定の動作を入力の合図として認識するジェスチャー認識部とを備えるように構成できる。これによると、運転者はジェスチャーによって容易に入力操作を行うことができる。 The input means includes a driver image pickup means for photographing the driver, and a gesture recognition unit for recognizing a predetermined operation performed by the driver as an input signal from the driver image obtained by the driver image pickup means. It can be configured to provide. According to this, the driver can easily perform an input operation by a gesture.
（１）車両用情報表示システム
以下、本発明の車両用情報表示システムの実施形態を、図面を参照しながら説明する。車両用情報表示システム１００は、車両Ｃに取り付けられ（図１参照）、図２に示すようにＨＭＩ（Human Machine Interface）コントローラ７及びディスプレイコントローラ１，ネットワークハードディスク装置３（以下、単にＨＤＤ３という），スピーカコントローラ５２（以下、単にスピーカ５２という）を備えており、主に、運転者に経路案内を行うナビゲーション機能や運転者が所望する施設の案内を行う施設案内機能を実現する。具体的には、ＨＭＩコントローラ７は、エージェント機能と呼ばれる運転者との対話機能を持ち、運転者ＤＲの音声リクエストに回答を返すことができるようなっている。このような機能により、ＨＭＩコントローラ７は、運転者ＤＲが所望するレストラン等の施設の条件（施設条件：営業時間や使用可能なカードの種類等）を対話形式で特定または絞込んだ後、該当する施設の検索を行う。そして、ＨＭＩコントローラ７は検索された施設（対象施設ＢＬ）に関する情報をディスプレイコントローラ１に渡し、ディスプレイコントローラ１は、対象施設ＢＬの情報に基づいて、車両Ｃが対象施設ＢＬに近付くと車両ＣのウインドシールドＷＳに施設条件を表す施設条件表示ＤＩ（図９参照）を表示させることで、運転者ＤＲに対象施設ＢＬの位置を直感的に把握させる。以下、車両用情報表示システム１００の詳細な構成及び作動について説明する。
(1) Vehicle Information Display System Hereinafter, an embodiment of a vehicle information display system of the present invention will be described with reference to the drawings. The vehicle information display system 100 is attached to a vehicle C (see FIG. 1), and as shown in FIG. 2, an HMI (Human Machine Interface) controller 7 and a display controller 1, a network hard disk device 3 (hereinafter simply referred to as HDD 3), A speaker controller 52 (hereinafter simply referred to as a speaker 52) is provided, and a navigation function that provides route guidance to the driver and a facility guidance function that provides guidance for facilities desired by the driver are mainly realized. Specifically, the HMI controller 7 has a dialogue function with the driver called an agent function, and can return an answer to the voice request of the driver DR. With such a function, the HMI controller 7 specifies or narrows down the conditions of a facility such as a restaurant desired by the driver DR (facility conditions: business hours, types of cards that can be used, etc.) in an interactive manner, and then applies Search for facilities to do. Then, the HMI controller 7 passes the information on the found facility (target facility BL) to the display controller 1, and the display controller 1 determines that the vehicle C approaches the target facility BL based on the information on the target facility BL. By displaying the facility condition display DI (see FIG. 9) indicating the facility condition on the windshield WS, the driver DR can intuitively grasp the position of the target facility BL. Hereinafter, a detailed configuration and operation of the vehicle information display system 100 will be described.
（２）ＨＭＩコントローラ
ＨＭＩコントローラ７の構成について説明する。図３は、ＨＭＩコントローラ７の電気的ブロック図を示すものである。ＨＭＩコントローラ７は、マイクロホン５３，操作スイッチ４１，運転者カメラ６２，通信Ｉ／Ｆ（インターフェース）７６及びこれらが接続された制御回路７０を備えている。
(2) HMI Controller The configuration of the HMI controller 7 will be described. FIG. 3 shows an electrical block diagram of the HMI controller 7. The HMI controller 7 includes a microphone 53, an operation switch 41, a driver camera 62, a communication I / F (interface) 76, and a control circuit 70 to which these are connected.
マイクロホン５３は、本発明の音声入力手段（入力手段）として機能するものであり、運転者の声（空気の振動）を電気信号に変換する周知のマイクロホン（集音装置）で構成される。マイクロホン５３は、ハンドル部分に設置されており（図１参照）、運転者ＤＲから所望の施設条件が入力されると、これを電気信号にして制御部７０に入力する。 The microphone 53 functions as a voice input unit (input unit) of the present invention, and is configured by a known microphone (sound collector) that converts a driver's voice (air vibration) into an electric signal. The microphone 53 is installed in the handle portion (see FIG. 1). When a desired facility condition is input from the driver DR, the microphone 53 is input to the control unit 70 as an electrical signal.
操作スイッチ４１は、メカニカルスイッチとして構成されており、ハンドル部分に設けられている（図１及び図９参照）。操作スイッチ４１は、後述する施設検索ルーチン（図７参照）の起動スイッチとして機能し、押下されるとＨＭＩコントローラ７が応答し、運転者ＤＲとの対話が開始される。 The operation switch 41 is configured as a mechanical switch and is provided on the handle portion (see FIGS. 1 and 9). The operation switch 41 functions as an activation switch for a facility search routine (see FIG. 7) described later. When pressed, the HMI controller 7 responds and a dialogue with the driver DR is started.
運転者カメラ６２は、本発明の運転者撮像手段として機能するものであり、ＣＣＤカメラで構成され、運転者ＤＲを撮影して、撮影した映像をビデオ信号として制御回路７０に入力する。この画像を基に運転者ＤＲの視線方向が検出される。 The driver camera 62 functions as the driver image pickup means of the present invention, and is constituted by a CCD camera. The driver camera 62 takes a picture of the driver DR and inputs the shot video to the control circuit 70 as a video signal. The line-of-sight direction of the driver DR is detected based on this image.
通信Ｉ／Ｆ（インターフェース）７６は、車内ＬＡＮとの間のインターフェース機能を有しており、これによってディスプレイコントローラ１やＨＤＤ３，スピーカ５２等の車内の他の機器との通信が可能となっている。 The communication I / F (interface) 76 has an interface function with the in-vehicle LAN, thereby enabling communication with other devices in the vehicle such as the display controller 1, the HDD 3, and the speaker 52. .
制御回路７０は、通常のコンピュータとして構成されており、周知のＣＰＵ７１，ＲＯＭ７２，ＲＡＭ７３，入出力インターフェース（Ｉ／Ｏ）７４及びこれらの構成を接続するバスライン７５が備えられている。ＣＰＵ７１は、ＲＯＭ７２及びＲＡＭ７３に記憶されたプログラム及びデータにより制御を行う。ＲＯＭ７２は、プログラム格納領域７２ａとデータ記憶領域７２ｂとを有している。プログラム格納領域７２ａには、ＨＭＩプログラム７２ｐが格納されている。このＨＭＩプログラム７２ｐは、ＲＡＭ７３上にてＨＭＩプログラム用ワークメモリ７３ｗを作業領域とする形で作動する。他方、データ記憶領域７２ｂには、ＨＭＩプログラム７２ｐの動作に必要な種々のデータが格納されている。なお、これらのプログラム及びデータは、外部メモリを設けてそれに記憶させてもよい。以上の構成によって、制御回路７０は、ＣＰＵ７１によりＨＭＩプログラム７２ｐが起動されると、本発明の検索条件調整部，対象施設検索部，音声認識部，視線方向検出部として機能する。 The control circuit 70 is configured as a normal computer, and includes a known CPU 71, ROM 72, RAM 73, input / output interface (I / O) 74, and a bus line 75 for connecting these configurations. The CPU 71 performs control based on programs and data stored in the ROM 72 and the RAM 73. The ROM 72 has a program storage area 72a and a data storage area 72b. The program storage area 72a stores an HMI program 72p. The HMI program 72p operates on the RAM 73 with the work memory 73w for the HMI program as a work area. On the other hand, the data storage area 72b stores various data necessary for the operation of the HMI program 72p. These programs and data may be stored in an external memory. With the above configuration, when the HMI program 72p is activated by the CPU 71, the control circuit 70 functions as a search condition adjustment unit, a target facility search unit, a voice recognition unit, and a line-of-sight direction detection unit of the present invention.
（３）ディスプレイコントローラ
ディスプレイコントローラ１の構成について説明する。図４は、ディスプレイコントローラ１の電気的ブロック図を示すものである。ディスプレイコントローラ１は、位置検出器２，表示装置５１，ウインドシールド表示装置８，車外カメラ６１，通信Ｉ／Ｆ（インターフェース）１６及びこれらが接続された制御回路１０を備えている。
(3) Display Controller The configuration of the display controller 1 will be described. FIG. 4 shows an electrical block diagram of the display controller 1. The display controller 1 includes a position detector 2, a display device 51, a windshield display device 8, a camera outside the vehicle 61, a communication I / F (interface) 16, and a control circuit 10 to which these are connected.
位置検出器２は、ＧＰＳ衛星から送信されたＧＰＳ電波を受信し、その受信したＧＰＳ電波に格納されているパラメータを演算して位置データを取得するＧＰＳ受信機２１、地磁気に基づいて方位を検出し、その検出した方位を表す方位データを取得する地磁気センサ２２、角速度を検出することに基づいて方位を算出し、その算出した方位を示す方位データを取得するジャイロスコープ２３、走行距離を検出し、その検出した距離を示す距離データを取得する距離センサ２４を備えて構成され、各センサが取得した各データを相互補完することによって、自車の現在位置の検出（特定）と正確な走行距離の計測を行う。以上の構成によって、位置検出器２は、本発明の位置検出手段として機能する。 The position detector 2 receives a GPS radio wave transmitted from a GPS satellite, calculates a parameter stored in the received GPS radio wave, acquires position data, and detects a direction based on geomagnetism. The geomagnetic sensor 22 that acquires the orientation data representing the detected orientation, calculates the orientation based on detecting the angular velocity, the gyroscope 23 that acquires the orientation data indicating the calculated orientation, detects the travel distance The distance sensor 24 is configured to acquire distance data indicating the detected distance, and each data acquired by the sensors is complemented to detect (specify) the current position of the vehicle and an accurate travel distance. Measure. With the above configuration, the position detector 2 functions as the position detection means of the present invention.
表示装置５１は、カラー液晶表示器により構成されており、その画面には位置検出器２から入力された車両現在位置マークと、ＨＤＤ３から入力された地図データと、更に地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定及び経路誘導中の案内が表示される。表示装置５１は、本発明の表示手段として利用できる。 The display device 51 is configured by a color liquid crystal display, and a vehicle current position mark input from the position detector 2, map data input from the HDD 3, and a guide route for displaying the map on the map. The additional data is superimposed and displayed, and route guidance settings and guidance during route guidance are displayed on this screen. The display device 51 can be used as display means of the present invention.
ウインドシールド表示装置８は、本発明のウインドシールド表示手段（表示手段）として機能するものであり、車両ＣのウインドシールドＷＳに映像を表示する（図９及び図１４参照）。ウインドシールド表示装置８は、制御回路１０から出力された表示命令に基づいてディスプレイ駆動回路８１が液晶パネル８２及びバックライト８３を駆動する。具体的には、液晶パネル８２及びバックライト８３は、図１４に示すように、ウインドシールドＷＳの下側から車両Ｃの内側へ延出するインストルメントパネルＩＰに配設されている。液晶パネル８２は、インストルメントパネルＩＰの開口部分に支持されており、ディスプレイ駆動回路８１により駆動するとともにバックライト８３からの光を受けることで表示画像を表示する。そして、この表示画像は、表示光としてウインドシールドＷＳに入射され、運転席に着座した運転者ＤＲの目に向けて反射されることで、虚像として運転者ＤＲに捕らえられる。 The windshield display device 8 functions as the windshield display means (display means) of the present invention, and displays an image on the windshield WS of the vehicle C (see FIGS. 9 and 14). In the windshield display device 8, the display drive circuit 81 drives the liquid crystal panel 82 and the backlight 83 based on the display command output from the control circuit 10. Specifically, as shown in FIG. 14, the liquid crystal panel 82 and the backlight 83 are disposed on an instrument panel IP that extends from the lower side of the windshield WS to the inside of the vehicle C. The liquid crystal panel 82 is supported by the opening portion of the instrument panel IP, and is driven by the display driving circuit 81 and displays a display image by receiving light from the backlight 83. The display image is incident on the windshield WS as display light and reflected toward the eyes of the driver DR seated on the driver's seat, thereby being captured by the driver DR as a virtual image.
車外カメラ６１は、本発明の車外撮像手段として機能するものであり、ＣＣＤカメラで構成され、車外を撮影して、撮影した映像をビデオ信号として制御回路１０に入力する。 The vehicle outside camera 61 functions as a vehicle outside imaging means of the present invention, and is constituted by a CCD camera. The vehicle outside camera 61 captures the outside of the vehicle and inputs the captured image to the control circuit 10 as a video signal.
通信Ｉ／Ｆ（インターフェース）１６は、車内ＬＡＮとの間のインターフェース機能を有しており、これによってＨＭＩコントローラ７やＨＤＤ３，スピーカ５２等の車内の他の機器との通信が可能となっている。 The communication I / F (interface) 16 has an interface function with the in-vehicle LAN, thereby enabling communication with other devices in the vehicle such as the HMI controller 7, the HDD 3, and the speaker 52. .
制御回路１０は、通常のコンピュータとして構成されており、周知のＣＰＵ１１，ＲＯＭ１２，ＲＡＭ１３，入出力インターフェース（Ｉ／Ｏ）１４及びこれらの構成を接続するバスライン１５が備えられている。ＣＰＵ１１は、ＲＯＭ１２及びＲＡＭ１３に記憶されたプログラム及びデータにより制御を行う。ＲＯＭ１２は、プログラム格納領域１２ａとデータ記憶領域１２ｂとを有している。プログラム格納領域１２ａには、表示プログラム１２ｐが格納されている。この表示プログラム１２ｐは、ＲＡＭ１３上にて表示プログラム用ワークメモリ１３ｗを作業領域とする形で作動する。他方、データ記憶領域１２ｂには、表示プログラム１２ｐの動作に必要な種々のデータが格納されている。なお、これらのプログラム及びデータは、外部メモリを設けてそれに記憶させてもよい。以上の構成によって、制御回路１０は、ＣＰＵ１１により表示プログラム１２ｐが起動されると、本発明の表示制御部，施設位置特定部，視認可否判定部，実情景画像特定部，情景画像照合部として機能する。 The control circuit 10 is configured as a normal computer, and includes a known CPU 11, ROM 12, RAM 13, input / output interface (I / O) 14, and a bus line 15 for connecting these configurations. The CPU 11 controls the program and data stored in the ROM 12 and RAM 13. The ROM 12 has a program storage area 12a and a data storage area 12b. A display program 12p is stored in the program storage area 12a. The display program 12p operates on the RAM 13 in such a manner that the display program work memory 13w is used as a work area. On the other hand, various data necessary for the operation of the display program 12p are stored in the data storage area 12b. These programs and data may be stored in an external memory. With the above configuration, when the display program 12p is started by the CPU 11, the control circuit 10 functions as a display control unit, a facility position specifying unit, a viewing approval / disapproval determining unit, a real scene image specifying unit, and a scene image matching unit of the present invention. To do.
（４）ハードディスク装置
ネットワークハードディスク装置３（ＨＤＤ３）は、通常のハードディスク装置の構成に加えて、通常のコンピュータとして構成された制御回路及び車内ＬＡＮとの間のインターフェース機能を有する通信Ｉ／Ｆを有している（図示せず）。制御回路は、データの読み書きを制御するものであり、要求に応じてＨＭＩコントローラ７やディスプレイコントローラ１にデータを送信する。ＨＤＤ３は、地図描画のための地図データ（地図データベース３２ｄ），位置検出精度向上のためのマップマッチング用データ，施設情報データ（施設情報データベース３３ｄ）等を記憶している。なお、これらのデータは、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，メモリカードなどの情報記録媒体に記憶させ、データ入力器からＨＭＩコントローラ７やディスプレイコントローラ１に入力するようにしてもよい。以上の構成により、ＨＤＤ３は、本発明の地図データ記憶手段及び施設情報記憶手段として機能する。
(4) Hard disk device The network hard disk device 3 (HDD 3) has a communication I / F having an interface function between a control circuit configured as a normal computer and an in-vehicle LAN in addition to the configuration of a normal hard disk device. (Not shown). The control circuit controls reading and writing of data, and transmits data to the HMI controller 7 and the display controller 1 in response to a request. The HDD 3 stores map data for map drawing (map database 32d), map matching data for improving position detection accuracy, facility information data (facility information database 33d), and the like. These data may be stored in an information recording medium such as a CD-ROM, a DVD-ROM, or a memory card and input to the HMI controller 7 or the display controller 1 from a data input device. With the above configuration, the HDD 3 functions as the map data storage means and facility information storage means of the present invention.
ＨＤＤ３に構築された地図データベース３２ｄ（地図データ記憶手段）は、経路案内時等に表示装置５１の画面に表示される２次元地図データ（２Ｄ地図データ）３６や３次元地図データ（３Ｄ地図データ）３７を記憶している。３次元地図データ３７は、通常の地図情報に加えて、施設の形状データと高さ情報を有している。図１３（ｂ）に３次元地図データ３７のイメージ図を示す。また、３次元地図データ３７は、後述する模擬情景画像ＳＶＳ（図１３（ａ）参照）の計算に用いられる。 The map database 32d (map data storage means) built in the HDD 3 is a 2D map data (2D map data) 36 or a 3D map data (3D map data) displayed on the screen of the display device 51 at the time of route guidance or the like. 37 is stored. The three-dimensional map data 37 has facility shape data and height information in addition to normal map information. FIG. 13B shows an image diagram of the three-dimensional map data 37. The three-dimensional map data 37 is used for calculation of a simulated scene image SVS (see FIG. 13A) described later.
ＨＤＤ３に構築された施設情報データベース３３ｄ（施設情報記憶手段）は、地図データ３６，３７に含まれる施設に関する施設情報を記憶している。施設情報データベース３３ｄには、施設情報として、「レストラン」等のジャンル毎に分類された各施設についての詳細情報（例えば「営業時間」，「駐車場の位置情報」，「使用可能なクレジットカードの種類」等）などが地図データ３６，３７上における位置情報と関連付けて記憶されている。 The facility information database 33d (facility information storage means) constructed in the HDD 3 stores facility information relating to facilities included in the map data 36 and 37. In the facility information database 33d, as facility information, detailed information about each facility classified for each genre such as “restaurant” (for example, “business hours”, “location information of parking lot”, “available credit card information”). Type "etc.) is stored in association with the position information on the map data 36, 37.
（５）スピーカコントローラ
スピーカコントローラ５２は、スピーカ，アンプ，Ｄ／Ａ変換器を含んで構成されるとともに通信Ｉ／Ｆも有しており（図示せず）、車内ＬＡＮを経由して入力されるＨＭＩコントローラ７やディスプレイコントローラ１からの入力信号に基づき合成音声を発する。スピーカコントローラ５２は、本発明の音声通知手段（通知手段）として機能し、運転者に対して施設条件の特定または絞込みを促すための合成音声を出力する。また、目的地までの経路案内の実行時には案内のための合成音声を出力する。
(5) Speaker controller The speaker controller 52 includes a speaker, an amplifier, and a D / A converter, and also has a communication I / F (not shown), and is input via the in-vehicle LAN. Based on input signals from the HMI controller 7 and the display controller 1, synthesized speech is emitted. The speaker controller 52 functions as voice notification means (notification means) of the present invention, and outputs a synthesized voice for prompting the driver to specify or narrow down facility conditions. In addition, when performing route guidance to the destination, a synthesized voice for guidance is output.
（６）ＨＭＩコントローラ及びディスプレイコントローラの作動
ＨＭＩコントローラ７及びディスプレイコントローラ１の作動について、図５ないし図８を参照して説明する。ここで、図５は、ＨＭＩコントローラ７のＣＰＵ７１が実行するＨＭＩプログラム７２ｐの施設検索ルーチンを機能ブロック図で示すものであり、図７は同処理をフローチャートで示すものである。図６は、ディスプレイコントローラ１のＣＰＵ１１が実行する表示プログラム１２ｐの施設情報表示ルーチンを機能ブロック図で示すものであり、図８は同処理をフローチャートで示すものである。
(6) Operation of HMI Controller and Display Controller The operation of the HMI controller 7 and the display controller 1 will be described with reference to FIGS. Here, FIG. 5 shows a facility search routine of the HMI program 72p executed by the CPU 71 of the HMI controller 7 in a functional block diagram, and FIG. 7 shows the process in a flowchart. FIG. 6 is a functional block diagram showing a facility information display routine of the display program 12p executed by the CPU 11 of the display controller 1, and FIG. 8 is a flowchart showing the processing.
（６−１）ナビゲーション処理
ＨＭＩコントローラ７及びディスプレイコントローラ１は、メインの処理としてナビゲーション処理を共同して行う。以下、簡略に説明を行う。ナビゲーション処理においてＨＭＩコントローラ７のＣＰＵ７１は、エージェント機能による対話の中で運転者ＤＲから目的地の入力を受けると、それを認識してディスプレイコントローラ１へと送信する。ディスプレイコントローラ１のＣＰＵ１１は、ＨＭＩコントローラ７から目的地を受信すると、位置検出器２から車両Ｃの現在位置を求め、該現在位置から目的地までの最適な経路を地図データ３６から探索する（経路探索処理）。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。次に、経路探索処理で求めた経路を表示装置５１の画面上の道路地図に重ねて表示し、運転者ＤＲに適切な経路を案内する（経路案内処理）。また、表示装置５１やスピーカ５２によって操作時のガイダンスや動作状態に応じたメッセージの報知を行う。
(6-1) Navigation processing The HMI controller 7 and the display controller 1 perform navigation processing jointly as main processing. The following is a brief description. In the navigation process, when the CPU 71 of the HMI controller 7 receives an input of the destination from the driver DR during the dialogue by the agent function, it recognizes it and transmits it to the display controller 1. When receiving the destination from the HMI controller 7, the CPU 11 of the display controller 1 obtains the current position of the vehicle C from the position detector 2, and searches the map data 36 for the optimum route from the current position to the destination (route). Search process). As a method for automatically setting an optimal route, a method such as the Dijkstra method is known. Next, the route obtained by the route search process is displayed superimposed on the road map on the screen of the display device 51, and an appropriate route is guided to the driver DR (route guidance process). In addition, the display device 51 and the speaker 52 notify a message according to an operation state guidance or an operation state.
（６−２）施設検索ルーチン
ＨＭＩコントローラ７が行う施設検索ルーチンについて、図５及び図７を参照して説明する。施設検索ルーチンは、上記ナビゲーション処理中などにおいて、ＣＰＵ７１が操作スイッチ４１の操作を検知することで開始される。具体的には、運転者ＤＲが道路走行中に食事をしたくなった場合等にハンドル部分に設けられた操作スイッチ４１を操作すると、ＣＰＵ７１がそれを検知して施設検索ルーチンを開始する。
(6-2) Facility Search Routine A facility search routine performed by the HMI controller 7 will be described with reference to FIGS. The facility search routine is started when the CPU 71 detects an operation of the operation switch 41 during the navigation process or the like. Specifically, when the driver DR wants to eat while driving on the road, when the operation switch 41 provided on the handle portion is operated, the CPU 71 detects it and starts the facility search routine.
なお、ＨＭＩコントローラ７の施設検索ルーチンの開始は、操作スイッチ４１の操作に限らず、例えば、運転者ＤＲが所定の音声をマイクロホン５３に向かって発した場合に、ＣＰＵ７１が、その音声を入力の合図として認識することによって開始するように構成することもできる（音声認識部９１）。また、運転者ＤＲが所定の動作（ジェスチャー）を行った場合に、ＣＰＵ７１が、運転者カメラ６２により得られる運転者ＤＲの画像からそのジェスチャーを入力の合図として認識することによって開始するように構成することもできる（すなわち、ＣＰＵ７１内にジェスチャー認識部を構成する）。この場合、ＲＯＭ７２にはジェスチャーのパターンデータが記憶され、ＣＰＵ７１はこれとの照合を図ることによって、運転者ＤＲのジェスチャーを認識する。 The start of the facility search routine of the HMI controller 7 is not limited to the operation of the operation switch 41. For example, when the driver DR emits a predetermined sound toward the microphone 53, the CPU 71 inputs the sound. It can also be configured to start by recognizing as a cue (voice recognition unit 91). Further, when the driver DR performs a predetermined operation (gesture), the CPU 71 starts by recognizing the gesture as an input signal from the image of the driver DR obtained by the driver camera 62. (That is, a gesture recognition unit is configured in the CPU 71). In this case, the pattern data of the gesture is stored in the ROM 72, and the CPU 71 recognizes the gesture of the driver DR by collating with this.
施設検索ルーチンが開始されると、まずＣＰＵ７１は、「リクエストをどうぞ」等の音声をスピーカ５２から出力（応答）して、運転者ＤＲに対して施設条件の入力を促す（ステップＳ１）。このような音声のデータは、ＲＯＭ７２のデータ記憶領域７２ｂに記憶されている。 When the facility search routine is started, first, the CPU 71 outputs (responses) a voice such as “Please request” from the speaker 52 to prompt the driver DR to input facility conditions (step S1). Such audio data is stored in the data storage area 72 b of the ROM 72.
次に、運転者ＤＲが所望の施設条件をマイクロホン５３に施設条件（リクエスト）を発すると（ステップＳ２：Ｙｅｓ）、ＣＰＵ７１は、入力された運転者ＤＲの音声を認識する処理を行う（音声認識部９１）。具体的には、入力された音声の信号パターンと認識辞書に蓄えられている信号パターンとを照合して認識する。このようなパターン認識の方法には、隠れマルコフモデル（Hidden Markov Model）等がある。認識辞書はＲＯＭ７２に記憶されている。例えば、運転者が、食事をしたいが財布には現金が少なくクレジットカードを使おうと考えて「カードが使えて、今営業しているレストランを教えてくれ」とマイクロホン５３に向かってリクエストしたとすると、ＣＰＵ７１は、そこから名詞，助詞，動詞等を判断して、“カード”，“使える”，“今”，“営業”，“レストラン”，“教える”といった単語を抽出する。 Next, when the driver DR issues a desired facility condition (request) to the microphone 53 (step S2: Yes), the CPU 71 performs processing for recognizing the voice of the input driver DR (voice recognition). Part 91). Specifically, the input speech signal pattern and the signal pattern stored in the recognition dictionary are collated and recognized. Such a pattern recognition method includes a Hidden Markov Model. The recognition dictionary is stored in the ROM 72. For example, if a driver wants to eat but wants to use a credit card with little cash in his wallet, he makes a request to the microphone 53, saying, “Tell me a restaurant where you can use the card and open now.” The CPU 71 determines nouns, particles, verbs, and the like from them, and extracts words such as “card”, “usable”, “now”, “sales”, “restaurant”, and “teaching”.
次に、ＣＰＵ７１は、音声認識結果を解析することで施設条件（リクエスト）を認識し、それを復唱する音声をスピーカ５２から出力する（ステップＳ３，検索条件調整部９２）。音声認識結果の解析では、音声認識した単語のうち“カード”はクレジットカード、“レストラン”は食物店のジャンルにあるレストラン、“教える”は検索依頼である等の判断を行う。これは、例えば、ＲＯＭ７２に記憶された単語対応例リストと照合するなどの方法によって実現できる。そして、ＣＰＵ７１は、「クレジットカードの使える、今営業中のレストランを教えればよいですね」等の運転者ＤＲのリクエストを復唱する内容の音声をスピーカ５２から出力して運転者ＤＲに確認する。 Next, the CPU 71 recognizes the facility condition (request) by analyzing the voice recognition result, and outputs the voice to repeat it from the speaker 52 (step S3, search condition adjustment unit 92). In the analysis of the speech recognition result, among the recognized words, “card” is a credit card, “restaurant” is a restaurant in the genre of the food store, “teach” is a search request, and so on. This can be realized by, for example, a method of collating with a word correspondence example list stored in the ROM 72. Then, the CPU 71 outputs to the driver DR a sound of content that repeats the request of the driver DR such as “You can teach a restaurant that can use a credit card and is open now” from the speaker 52.
次に、ＣＰＵ７１は、認識した施設条件を検索条件として採用するか否かの判断を行う（ステップＳ４，検索条件調整部９２）。これは例えば、ステップＳ３で反復した内容に対して運転者ＤＲが「はい」や「そう」などと肯定する声を発した場合に、認識した施設条件を検索条件として施設の検索処理（ステップＳ７）に移る（ステップＳ４：Ｙｅｓ）。他方、運転者ＤＲが「いや」や「ちがう」などと否定する声を発した場合や、認識した施設条件では検索に不適正な場合には（ステップＳ４：Ｎｏ）、施設条件の特定または絞込み処理（ステップＳ５，Ｓ６）に移る。 Next, the CPU 71 determines whether or not to adopt the recognized facility condition as a search condition (step S4, search condition adjustment unit 92). For example, in the case where the driver DR gives an affirmative voice such as “Yes” or “Yes” to the content repeated in Step S3, the facility search process (Step S7) using the recognized facility condition as a search condition. (Step S4: Yes). On the other hand, if the driver DR makes a negative voice such as “No” or “No”, or if the recognized facility condition is inappropriate for the search (step S4: No), the facility condition is specified or narrowed down. Move on to processing (steps S5 and S6).
施設条件の特定または絞込み処理（ステップＳ５，Ｓ６）では、ＣＰＵ７１は、スピーカ５２から施設条件を特定する又は絞込むよう運転者ＤＲに促す音声を出力する（ステップＳ５）。そして、マイクロホン５３により運転者ＤＲが更なる施設条件の入力したことを検知すると（ステップＳ６：Ｙｅｓ）、ステップＳ３に戻って再度認識処理を行い、新たな施設条件の復唱を行う。このようにして、施設条件の特定または絞込みは、ＨＭＩコントローラ７と運転者ＤＲとの対話形式で行われる。 In the facility condition specifying or narrowing processing (steps S5 and S6), the CPU 71 outputs a voice prompting the driver DR to specify or narrow down the facility conditions from the speaker 52 (step S5). And if it detects that the driver | operator DR input the further facility conditions with the microphone 53 (step S6: Yes), it will return to step S3 and will perform a recognition process again and will repeat a new facility condition. In this way, the facility conditions are specified or narrowed down in an interactive manner between the HMI controller 7 and the driver DR.
例えば、ステップＳ４において、使用するクレジットカードの種類が特定されていない場合には、検索に不適正であるとして、「クレジットカードはどれでも良いですか」とスピーカ５２から出力して運転者ＤＲに特定を促す。そして、運転者ＤＲが「VISTER」（架空名称）とマイクロホン５３に向かって答えると、それを施設条件として認識し、「VISTERカードの使える現在営業中のレストランを検索します」と応答する。 For example, if the type of the credit card to be used is not specified in step S4, it is determined that the credit card is inappropriate for the search, and “is any credit card?” Is output from the speaker 52 to the driver DR. Encourage identification. Then, when the driver DR answers “VISTER” (fictional name) and the microphone 53, the driver DR recognizes it as a facility condition and responds “Search for a restaurant that can be used with the VISTER card”.
また、検索地域が特定されていない場合には、検索に不適正であるとして、「どの範囲までを探しますか」とスピーカ５２から出力して運転者ＤＲに特定を促す。そして、運転者ＤＲが「現在地から５ｋｍ以内」と答えると、それを施設条件として認識し、「現在地から５ｋｍ以内のクレジットカードの使える現在営業中のレストランを検索します」と応答する。また、経路案内中である場合に運転者ＤＲが「１０分以内、道なりで」と答えると、それを施設条件として認識し、「１０分以内に到着できる案内経路沿いの、クレジットカードの使える現在営業中のレストランを検索します」と応答する。 Further, if the search area is not specified, it is determined that the search area is inappropriate, and “to what range is to be searched” is output from the speaker 52 to prompt the driver DR to specify. When the driver DR replied “within 5 km from the current location”, the driver DR recognizes it as a facility condition, and responds with “retrieves a restaurant that is currently open with a credit card within 5 km from the current location”. Also, when the route is being routed, if the driver DR answers “within 10 minutes, on the road”, it recognizes it as a facility condition, and “uses a credit card along the route that can be reached within 10 minutes” I will search for restaurants that are currently open. "
施設の検索処理（ステップＳ７）では、ステップＳ３で認識した施設条件を検索条件として、ＣＰＵ７１は、検索条件に適合する施設（対象施設ＢＬ）を施設情報データベース３３ｄから検索する（ステップＳ７，対象施設検索部９３）。例えば、検索条件が「VISTERカードの使える現在営業中のレストラン」である場合、施設情報データベース３３ｄから「レストラン」のジャンル毎に分類されているレストランのうち、現在の時間が営業時間に含まれているもの、使用可能なクレジットカードの種類がVISTERカードであるものを検索する。ここで、施設情報データベース３３ｄ内を検索するための検索プログラムは、ＲＯＭ７２に記憶されている。また、現在の時間は、制御回路７０等が備えるＲＴＣ（Real Time Clock）回路から取得することもできるし、ディスプレイコントローラ１が有するＧＰＳ受信器２１が車両Ｃの位置とともに取得するＵＴＣ時刻から日本標準時刻に換算して取得することもできる。 In the facility search process (step S7), using the facility condition recognized in step S3 as a search condition, the CPU 71 searches the facility information database 33d for a facility (target facility BL) that matches the search condition (step S7, target facility). Search unit 93). For example, when the search condition is “currently open restaurant where VISTER card can be used”, the current time is included in the business hours among the restaurants classified by the category of “restaurant” from the facility information database 33d. Search for available credit cards and VISTER cards. Here, a search program for searching the facility information database 33 d is stored in the ROM 72. Further, the current time can be acquired from an RTC (Real Time Clock) circuit included in the control circuit 70 or the like, or based on the UTC time acquired by the GPS receiver 21 of the display controller 1 together with the position of the vehicle C. It can also be obtained in terms of time.
また、検索条件が現在位置を基準とする場合は、ＣＰＵ７１は、ディスプレイコントローラ１の位置検出器２から車両Ｃの現在位置を取得し、現在位置を基準に検索地域を設定して、施設情報データベース３３ｄに含まれる位置情報から検索地域内にある施設を特定する。また、検索条件が案内経路沿いである場合は、ディスプレイコントローラ１から案内経路の情報を取得し、案内経路沿いの地域を検索地域として設定する。 If the search condition is based on the current position, the CPU 71 obtains the current position of the vehicle C from the position detector 2 of the display controller 1, sets the search area based on the current position, and sets the facility information database. The facility in the search area is specified from the position information included in 33d. If the search condition is along the guide route, information on the guide route is acquired from the display controller 1, and the region along the guide route is set as the search region.
ステップＳ７により対象施設ＢＬが検索されなかった場合には（ステップＳ８：Ｎｏ）、ＣＰＵ７１は、対象施設ＢＬが存在しなかった旨の通知をスピーカ５２から行って（ステップＳ９）、再度の施設条件の入力を促す。一方、対象施設ＢＬが検索された場合には（ステップＳ８：Ｙｅｓ）、検索件数を運転者に伝える処理（ステップ１０）に移る。ここで、検索された対象施設ＢＬの数が所定数を超えている場合には（ステップＳ１１：Ｙｅｓ）、ＣＰＵ７１は、施設条件の再入力を促す音声をスピーカ５２より出力し（ステップＳ１２）、施設条件の再入力があった場合には（ステップＳ１３：Ｙｅｓ）、ステップＳ３に戻る。このようにして、検索される対象施設ＢＬの数が適正となるまでこれらの処理が続けられる。 When the target facility BL is not searched in step S7 (step S8: No), the CPU 71 notifies the speaker 52 that the target facility BL does not exist (step S9) and repeats the facility condition again. Prompt for On the other hand, when the target facility BL is searched (step S8: Yes), the process proceeds to a process of transmitting the number of search cases to the driver (step 10). Here, when the number of searched target facilities BL exceeds a predetermined number (step S11: Yes), the CPU 71 outputs a voice prompting re-input of facility conditions from the speaker 52 (step S12). If the facility condition is re-input (step S13: Yes), the process returns to step S3. In this way, these processes are continued until the number of target facilities BL to be searched becomes appropriate.
検索された対象施設ＢＬの数が適正である場合には（ステップＳ１１：Ｎｏ）、ＣＰＵ７１は、例えば「この先に３件、条件に合うレストランがあります。レストランに近づいたらウインドシールドに表示してご案内します」等の案内を行う旨の通知をスピーカ５２から出力する。それに対して運転者ＤＲが「頼む」，「はい」，「ＯＫ」等の肯定の応答をすると、ＣＰＵ７１は、それを検知して（ステップＳ１４：Ｙｅｓ）、対象施設ＢＬの位置データ，クレジットカードの種類や営業時間等の施設条件のデータ，駐車場の位置データなどをディスプレイコントローラ１に送信する（ステップＳ１５）。一方、運転者ＤＲが否定の応答をすると（ステップＳ１４：Ｎｏ）、施設条件の再入力を促す音声をスピーカ５２より出力する（ステップＳ１２）。 When the number of target facilities BL searched is appropriate (step S11: No), the CPU 71, for example, “There are three restaurants that meet the conditions ahead. If you approach the restaurant, display it on the windshield. A notification to perform guidance such as “I will guide you” is output from the speaker 52. On the other hand, when the driver DR gives an affirmative response such as “Request”, “Yes”, “OK”, etc., the CPU 71 detects this (step S14: Yes), and detects the position data of the target facility BL, the credit card. The data on the facility conditions such as the type and business hours, the location data of the parking lot, etc. are transmitted to the display controller 1 (step S15). On the other hand, if the driver DR makes a negative response (step S14: No), a sound prompting the user to re-enter the facility conditions is output from the speaker 52 (step S12).
ところで、ＨＭＩコントローラ７のＣＰＵ７１は、以上に説明した処理の他にも、運転者カメラ６２により得られる運転者ＤＲの目の画像から運転者ＤＲの視線方向を検出する処理を行っており（視線方向検出部９４）、検出した運転者ＤＲの視線方向をディスプレイコントローラ１に送信している。具体的には、視線方向の検出は、運転者ＤＲの顔面付近を撮影している運転者カメラ６２から画像データの入力を受けたＣＰＵ７１が、顔面画像から眼球領域を特定するとともに、眼球形状の曲率から眼球中心座標を求める。その一方、眼球領域から黒目（瞳孔）領域を特定して黒目中心座標も求める。そして、眼球中心座標から黒目中心座標へと向かう方向を視線方向として定める。なお、視線方向の検出には、他にも赤外光を用いる角膜反射法や強膜反射法などを用いることができる。 Incidentally, the CPU 71 of the HMI controller 7 performs processing for detecting the direction of the driver's DR line of sight from the driver DR eye image obtained by the driver camera 62 in addition to the processing described above (line of sight). The direction detection unit 94) transmits the detected line-of-sight direction of the driver DR to the display controller 1. Specifically, the gaze direction is detected by the CPU 71 receiving image data input from the driver camera 62 that captures the vicinity of the face of the driver DR, specifying the eyeball region from the face image and the eyeball shape. The eyeball center coordinates are obtained from the curvature. On the other hand, a black eye (pupil) region is specified from the eyeball region, and a black eye center coordinate is also obtained. Then, the direction from the eyeball center coordinates to the black eye center coordinates is determined as the line-of-sight direction. For the detection of the line-of-sight direction, other methods such as a corneal reflection method using infrared light and a scleral reflection method can be used.
（６−３）ディスプレイコントローラの作動
ディスプレイコントローラ１が行う施設表示ルーチンについて、図６及び図８を参照して説明する。施設表示ルーチンは、上記したようにＨＭＩコントローラ７が対象施設ＢＬ（レストラン等）に関するデータを送信すると、ＣＰＵ１１がその受信を検知することで開始される。
(6-3) Operation of Display Controller A facility display routine performed by the display controller 1 will be described with reference to FIGS. The facility display routine is started when the CPU 11 detects the reception when the HMI controller 7 transmits data related to the target facility BL (restaurant or the like) as described above.
施設表示ルーチンが開始されると、ＣＰＵ１１は、ＨＭＩコントローラ７から受信した対象施設ＢＬ（レストラン等）に関するデータのうち、位置データをもとに対象施設ＢＬの地図データ３６，３７上での位置を特定する（ステップＴ１，施設位置特定部９５）。そして、ＣＰＵ１１は、車両Ｃの位置情報を位置検出器２から定期的に取得し、車両Ｃの現在位置と対象施設ＢＬとの間の距離を求めて（ステップＴ２，視認可否判定部９６）、所定の表示開始距離に近づいたか否かをチェックする（ステップＴ３）。 When the facility display routine is started, the CPU 11 determines the position of the target facility BL on the map data 36 and 37 based on the position data among the data regarding the target facility BL (restaurant etc.) received from the HMI controller 7. Specify (step T1, facility location specifying unit 95). Then, the CPU 11 periodically acquires the position information of the vehicle C from the position detector 2 and obtains the distance between the current position of the vehicle C and the target facility BL (step T2, visual approval rejection determination unit 96). It is checked whether or not the predetermined display start distance is approached (step T3).
表示開始距離に近づくと（ステップＴ３：Ｙｅｓ）、ＣＰＵ１１は次に、対象施設ＢＬが運転者ＤＲから視認されるか否かを判定する（ステップＴ４・Ｔ５，視認可否判定部９６）。すなわち、ＣＰＵ１１は、図１３（ｂ）のイメージ図に示すように、３次元地図データ３７から車両Ｃの現在位置ＡＬ及び進行方位ＣＤ、運転者ＤＲの視線方向ＬＳに基づいて、運転者ＤＲが見ていると想定される模擬的な情景の画像である模擬情景画像ＳＶＳ（図１３（ａ）参照）を算出する（ステップＴ４）。そして、模擬情景画像ＳＶＳから対象施設ＢＬが運転者ＤＲから視認されるか否かを判定する（ステップＴ５）。ここで、車両Ｃの現在位置ＡＬ及び進行方位ＣＤは位置検出器２から得ることができ、運転者ＤＲの視線方向ＬＳはＨＭＩコントローラ７から得られる。図１３（ａ）に示すような２次元的に表された模擬情景画像ＳＶＳは、３次元地図データ３７から例えばレイトレーシング法により得ることができる。また、対象施設ＢＬが運転者ＤＲから視認されるか否かの判定は、レイトレーシング法において、対象施設ＢＬとなる建物から届く光線が存在するか否かで判定する。 When approaching the display start distance (step T3: Yes), the CPU 11 next determines whether or not the target facility BL is visually recognized by the driver DR (steps T4 and T5, a visual approval rejection determination unit 96). That is, as shown in the image diagram of FIG. 13B, the CPU 11 determines whether the driver DR has seen the three-dimensional map data 37 based on the current position AL and traveling direction CD of the vehicle C, and the line-of-sight direction LS of the driver DR. A simulated scene image SVS (see FIG. 13A), which is a simulated scene image assumed to be, is calculated (step T4). Then, it is determined from the simulated scene image SVS whether or not the target facility BL is visually recognized from the driver DR (step T5). Here, the current position AL and the traveling direction CD of the vehicle C can be obtained from the position detector 2, and the line-of-sight direction LS of the driver DR is obtained from the HMI controller 7. A simulated scene image SVS expressed two-dimensionally as shown in FIG. 13A can be obtained from the three-dimensional map data 37 by, for example, the ray tracing method. Further, whether or not the target facility BL is visually recognized by the driver DR is determined by whether or not there is a light beam reaching from the building that is the target facility BL in the ray tracing method.
そして、対象施設ＢＬが運転者ＤＲから視認されると判定された場合（ステップＴ５：Ｙｅｓ）、ＣＰＵ１１は、図９に示すように、運転者ＤＲから見て対象施設ＢＬの近傍となるウインドシールドＷＳの領域に施設条件を表す施設条件表示ＤＩをウインドシールド表示装置８に表示させる（ステップＴ６，表示制御部９９）。本実施形態では、施設条件を表す施設条件表示ＤＩは、使用可能なクレジットカードである「VISTERカード」のマークを表示している。また、施設条件表示ＤＩとして、対象施設ＢＬ（レストラン等）の名称や営業時間等の情報を含めることもできる。 Then, when it is determined that the target facility BL is visually recognized from the driver DR (step T5: Yes), as shown in FIG. 9, the CPU 11 displays a windshield that is in the vicinity of the target facility BL as viewed from the driver DR. The facility condition display DI indicating the facility condition is displayed on the windshield display device 8 in the WS area (step T6, display control unit 99). In the present embodiment, the facility condition display DI indicating the facility condition displays a mark of “VISTER card” which is a usable credit card. In addition, the facility condition display DI can include information such as the name and business hours of the target facility BL (restaurant).
なお、施設条件表示ＤＩの表示位置は、運転者ＤＲの視線方向に基づいて模擬情景画像ＳＶＳ（図１３（ａ）参照）において定められ、それがウインドシールドＷＳ上に反映される。また、表示位置を定めるにあたって、模擬情景画像ＳＶＳは、運転者が実際に見ている情景の画像である実情景画像により位置補正されているので、模擬情景画像ＳＶＳで定めた表示位置が運転者ＤＲが実際に見ている情景における位置と精度良くリンクする。ここで、実情景画像は、車外カメラ６１により得られる画像から、ＨＭＩコントローラ７から得られる運転者ＤＲの視線方向に基づいて特定される（実情景画像特定部９８）。すなわち、車外カメラ６１の撮影により得られる画像のうち運転者ＤＲの視線方向にある部分を、運転者ＤＲが見ている実情景画像として特定する。そして、ＣＰＵ１１は、模擬情景画像ＳＶＳと実情景画像とを照合（パターンマッチング）させて模擬情景画像ＳＶＳの位置補正を行う（情景画像照合部９７）。 The display position of the facility condition display DI is determined in the simulated scene image SVS (see FIG. 13A) based on the line-of-sight direction of the driver DR, and is reflected on the windshield WS. Further, in determining the display position, the position of the simulated scene image SVS is corrected by the actual scene image that is an image of the scene that the driver actually sees, so the display position determined by the simulated scene image SVS is the driver. The DR links with the position in the scene that is actually viewed with high accuracy. Here, the actual scene image is identified based on the line-of-sight direction of the driver DR obtained from the HMI controller 7 from the image obtained by the outside camera 61 (actual scene image identifying unit 98). That is, the part in the line-of-sight direction of the driver DR in the image obtained by photographing with the outside camera 61 is specified as the actual scene image viewed by the driver DR. Then, the CPU 11 collates (pattern matching) the simulated scene image SVS with the actual scene image to correct the position of the simulated scene image SVS (scene image collation unit 97).
また、施設条件表示ＤＩは、図９に示すように、運転者ＤＲから見て空となるウインドシールドの領域ＢＳ（空領域ＢＳ）に表示される。空領域ＢＳは、３次元地図データ３７から得られる模擬情景画像ＳＶＳから特定することができる。例えば、模擬情景画像ＳＶＳをレイトレーシング法で得る場合において、建物ＢＬ等の物体から届く光線が存在しない領域を空領域ＢＳとする。このように施設条件表示ＤＩが表示されることで、施設条件表示ＤＩが運転者ＤＲの視界を塞いで運転の妨げになるような事態を避けることができる。 Further, the facility condition display DI is displayed in a windshield region BS (empty region BS) that is empty as viewed from the driver DR, as shown in FIG. The sky region BS can be specified from the simulated scene image SVS obtained from the three-dimensional map data 37. For example, when the simulated scene image SVS is obtained by the ray tracing method, an area where there is no light beam reaching from an object such as a building BL is defined as an empty area BS. By displaying the facility condition display DI in this way, it is possible to avoid a situation in which the facility condition display DI blocks the field of view of the driver DR and hinders driving.
また、施設条件表示ＤＩは、図１０に示すように、対象施設ＢＬの手前に建物が存在する場合に、運転者ＤＲから見て一部が手前の建物に隠れて見えるように表示される（半隠れ施設条件表示ＨＤＩ）。これは、３次元地図データ３７から模擬情景画像ＳＶＳを得るに際して、対象施設ＢＬの手前の建物の外形線が得られることから、施設条件表示ＤＩの一部を切り取った切断線を当該手前の建物の外形線と合致させることで、施設条件表示ＤＩの一部が隠れて見えるようになる。これにより、運転者ＤＲは、対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。 Further, as shown in FIG. 10, the facility condition display DI is displayed such that when a building is present in front of the target facility BL, a part of the facility condition display DI is hidden behind the building seen from the driver DR ( Semi-hidden facility condition display HDI). This is because, when the simulated scene image SVS is obtained from the three-dimensional map data 37, the outline of the building in front of the target facility BL is obtained. Therefore, a cutting line obtained by cutting off a part of the facility condition display DI is used as the building in front of the building. A part of the facility condition display DI can be seen hidden by matching with the outline line. As a result, the driver DR can intuitively understand the position and the degree of approach of the target facility BL.
また、施設条件表示ＤＩは、車両Ｃの現在位置から対象施設ＢＬまでの距離に応じて、その大きさ，明るさ，色，透明度等を当該距離に応じて変化する。すなわち、ＣＰＵ１１は、車両Ｃの位置情報を位置検出器２から定期的に取得しており、対象施設ＢＬまでの距離が所定の近さになるのに伴い、施設条件表示ＤＩの明るさを上げたり（ハイライト表示）、大きさを上げたりする。これにより、運転者ＤＲは、対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。また、施設条件表示ＤＩは、透過表示させることができる。これは、ウインドシールドＷＳに表示される施設条件表示ＤＩの透明度を上げることの他に、明度を下げることでも実現できる。これにより、施設条件表示ＤＩが運転者ＤＲの視界を塞いで運転の妨げになるような事態を避けることができる。 In addition, the facility condition display DI changes its size, brightness, color, transparency, and the like according to the distance from the current position of the vehicle C to the target facility BL. That is, the CPU 11 periodically acquires the position information of the vehicle C from the position detector 2, and increases the brightness of the facility condition display DI as the distance to the target facility BL becomes a predetermined distance. (Highlighted) or increase the size. As a result, the driver DR can intuitively understand the position and the degree of approach of the target facility BL. The facility condition display DI can be displayed in a transparent manner. This can be realized not only by increasing the transparency of the facility condition display DI displayed on the windshield WS but also by decreasing the brightness. As a result, it is possible to avoid a situation in which the facility condition display DI blocks the field of view of the driver DR and hinders driving.
一方、ステップＴ５において対象施設ＢＬが運転者ＤＲから視認されないと判定された場合には（ステップＴ５：Ｎｏ）、ＣＰＵ１１は、図１２に示すように、ウインドシールドＷＳに対象施設ＢＬの方向を表す方向表示ＡＤＩを表示させる（ステップＴ７，表示制御部９９）。例えば、図１３（ｂ）に示す模擬情景画像ＳＶＳとなるべき領域に含まれているにも関わらず、実際に２次元的な模擬情景画像ＳＶＳ（図１３（ａ）参照）を得ると手前の建物に隠れて運転者ＤＲからは視認できない対象施設ＢＬがある場合に、運転者ＤＲから見て当該手前の建物の近傍となるウインドシールドＷＳの領域にその裏側（対象施設ＢＬが隠れている方向）を指し示すような方向表示ＡＤＩを表示させることで、運転者ＤＲは対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。また、上記と同様に、方向表示ＡＤＩの一部を手前の建物に隠して表示すると、運転者ＤＲは更に対象施設ＢＬの位置や近づき度合いが直感的にわかりやすくなる。なお、方向表示ＡＤＩの表示位置は、上記した施設条件表示ＤＩの場合と同様に模擬情景画像ＳＶＳに基づいて定めることができる。 On the other hand, when it is determined in step T5 that the target facility BL is not visually recognized by the driver DR (step T5: No), the CPU 11 indicates the direction of the target facility BL on the windshield WS as shown in FIG. The direction display ADI is displayed (step T7, display control unit 99). For example, when a two-dimensional simulated scene image SVS (see FIG. 13A) is actually obtained in spite of being included in the region to be the simulated scene image SVS shown in FIG. When there is a target facility BL that is hidden behind the building and cannot be seen by the driver DR, the back side (the direction in which the target facility BL is hidden) is located in the area of the windshield WS that is near the building in front of the driver DR. ) Is displayed, the driver DR can easily and intuitively understand the position and the degree of approach of the target facility BL. Similarly to the above, when a part of the direction display ADI is hidden and displayed in the front building, the driver DR can easily understand the position and the degree of approach of the target facility BL intuitively. The display position of the direction display ADI can be determined based on the simulated scene image SVS as in the case of the facility condition display DI.
次に、ＣＰＵ１１は、上記した施設条件表示ＤＩや方向表示ＡＤＩを表示している間においても、車両Ｃの位置情報を位置検出器２から定期的に取得して対象施設ＢＬとの間の距離を監視しており（ステップＴ８）、車両Ｃの現在位置と対象施設ＢＬとの間の距離が所定範囲内に達した場合に（ステップＴ９：Ｙｅｓ）、図１１に示すように、対象施設ＢＬの駐車場の入口を表す駐車場表示ＰＤＩを表示させる（ステップＴ１０，表示制御部９９）。これにより、運転者は、その対象施設ＢＬの駐車場に迷わず安全に（急ブレーキや急ハンドルなしに）辿り付くことができる。駐車場の位置データは、上記したように、施設情報データベース３３ｄに記憶されており、それを読み出したＨＭＩコントローラ７から送信されてくる。 Next, the CPU 11 periodically acquires the position information of the vehicle C from the position detector 2 and displays the distance from the target facility BL even while the facility condition display DI and the direction display ADI are displayed. (Step T8), and the distance between the current position of the vehicle C and the target facility BL reaches a predetermined range (step T9: Yes), as shown in FIG. 11, the target facility BL A parking lot display PDI representing the entrance of the parking lot is displayed (step T10, display control unit 99). As a result, the driver can safely reach the parking lot of the target facility BL (without sudden braking or sudden steering). As described above, the parking lot position data is stored in the facility information database 33d and is transmitted from the HMI controller 7 that has read it.
次に、ＣＰＵ１１は、車両Ｃが対象施設ＢＬを通り過ぎたことを検知すると（ステップＴ１１：Ｙｅｓ）、その対象施設ＢＬを対象から除外して、ウインドシールドＷＳへの表示を取り止める（ステップＴ１２）。車両Ｃが対象施設ＢＬを通り過ぎたことは、漸減していた対象施設ＢＬとの距離が増加に転じたことを検知すること等によって検知できる。なお、車両ＣがＵターンして対象施設ＢＬに向かうことも想定して、車両Ｃが対象施設ＢＬを通り過ぎても所定距離以上離れるまでは対象施設ＢＬを対象から除外しないようにする。また、車両Ｃの走行途中に営業時間を徒過してしまったような場合にも、その対象施設ＢＬを対象から除外して、ウインドシールドＷＳへの表示を取り止めるようにすることができる。 Next, when the CPU 11 detects that the vehicle C has passed the target facility BL (step T11: Yes), the CPU 11 excludes the target facility BL from the target and cancels the display on the windshield WS (step T12). The fact that the vehicle C has passed the target facility BL can be detected by detecting that the distance from the target facility BL that has been gradually decreased has started to increase. Assuming that the vehicle C makes a U-turn and heads for the target facility BL, the target facility BL is not excluded from the target until the vehicle C passes the target facility BL until it is more than a predetermined distance away. In addition, even when the business hours have passed during the traveling of the vehicle C, the target facility BL can be excluded from the target and the display on the windshield WS can be canceled.
以上、本発明の実施形態について説明したが、本発明はこれらに限定されず、その要旨を逸脱しない範囲で適宜変更して実施し得るものである。例えば、上記実施形態では施設条件表示ＤＩ等をウインドシールド表示装置８によってウインドシールドＷＳに表示していたが、表示装置５１のディスプレイに表示された地図において、対象施設ＢＬの位置と対応付けて施設条件表示ＤＩ等を表示させることもできる。 As mentioned above, although embodiment of this invention was described, this invention is not limited to these, In the range which does not deviate from the summary, it can change suitably and can implement. For example, in the above embodiment, the facility condition display DI or the like is displayed on the windshield WS by the windshield display device 8, but the facility is associated with the position of the target facility BL on the map displayed on the display of the display device 51. A condition display DI or the like can also be displayed.
１ ディスプレイコントローラ
１０ ディスプレイコントローラの制御部（表示制御部，施設位置特定部，視認可否判定部，実情景画像特定部，情景画像照合部）
２ 位置検出器（位置検出手段）
３ ハードディスク（地図データ記憶手段，施設情報記憶手段）
３２ｄ 地図データベース
３３ｄ 施設情報データベース
３７ ３次元地図データ
４１ 操作スイッチ
５１ 表示装置（表示手段）
５２ スピーカコントローラ（通知手段）
５３ マイクロホン（入力手段）
６１ 車外カメラ（車外撮像手段）
６２ 運転者カメラ（運転者撮像手段）
７ ＨＭＩコントローラ
７０ ＨＭＩコントローラの制御部（検索条件調整部，対象施設検索部，音声認識部，視線方向検出部）
８ ウインドシールド表示装置（表示手段）
1 Display controller 10 Display controller control unit (display control unit, facility position specifying unit, visual authorization rejection determining unit, actual scene image specifying unit, scene image checking unit)
2 Position detector (position detection means)
3 Hard disks (map data storage means, facility information storage means)
32d map database 33d facility information database 37 3D map data 41 operation switch 51 display device (display means)
52 Speaker controller (notification means)
53 Microphone (input means)
61 Outside-vehicle camera (outside-vehicle imaging means)
62 Driver camera (Driver imaging means)
7 HMI controller 70 HMI controller control unit (search condition adjustment unit, target facility search unit, voice recognition unit, line-of-sight direction detection unit)
8 Windshield display device (display means)
Claims (13)
前記地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、
運転者の所望する施設条件が入力される入力手段と、
該施設条件を検索条件として、それに適合する施設を前記施設情報記憶手段から検索して対象施設とする対象施設検索部と、
前記対象施設の前記地図データ上での位置を特定する施設位置特定部と、
画像を表示する表示手段と、
前記施設条件を表す施設条件表示を前記対象施設の位置と対応付けて前記表示手段に表示させる表示制御部と、
運転者を撮影する運転者撮像手段と、
前記運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部と、
車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を前記地図データとしての３次元地図データから算出する模擬情景画像算出手段と、
前記対象施設が運転者から視認されるか否かを判定する視認可否判定部とを備え、
前記表示制御部は、前記模擬情景画像算出手段により算出された模擬情景画像に基づいて運転者から見て空となる空領域を特定し、かつ、前記視認可否判定部により前記対象施設が運転者から視認されると判定された場合に、運転者から見て前記対象施設の近傍となる前記空領域に前記施設条件表示を表示させることを特徴とする車両用情報表示システム。 Map data storage means for storing map data;
Facility information storage means for storing facility information relating to facilities included in the map data;
Input means for inputting facility conditions desired by the driver;
A target facility search unit that searches the facility information storage means for a facility that matches the facility condition as a search condition,
A facility location identifying unit that identifies the location of the target facility on the map data;
Display means for displaying an image;
A display control unit that displays the facility condition display representing the facility condition on the display unit in association with the position of the target facility;
A driver imaging means for photographing the driver;
A line-of-sight direction detection unit that detects the line-of-sight direction of the driver from the image of the driver's eyes obtained by the driver imaging means;
A simulated scene image calculating means for calculating a simulated scene image assumed to be viewed by the driver based on the current position of the vehicle and the driver's line of sight from the three-dimensional map data as the map data;
A visual approval / disapproval determination unit that determines whether or not the target facility is visually recognized by a driver;
The display control unit specifies an empty region that is empty when viewed from the driver based on the simulated scene image calculated by the simulated scene image calculation unit, and the object facility is determined to be a driver by the viewing authorization rejection determination unit. When the vehicle is determined to be viewed from the vehicle, the facility condition display is displayed in the empty area in the vicinity of the target facility as seen from the driver .
前記地図データに含まれる施設に関する施設情報を記憶する施設情報記憶手段と、
運転者の所望する施設条件が入力される入力手段と、
該施設条件を検索条件として、それに適合する施設を前記施設情報記憶手段から検索して対象施設とする対象施設検索部と、
前記対象施設の前記地図データ上での位置を特定する施設位置特定部と、
画像を表示する表示手段と、
前記施設条件を表す施設条件表示を前記対象施設の位置と対応付けて前記表示手段に表示させる表示制御部と、
運転者を撮影する運転者撮像手段と、
前記運転者撮像手段により得られる運転者の目の画像から運転者の視線方向を検出する視線方向検出部と、
車両の現在位置及び運転者の視線方向に基づいて運転者が見ていると想定される模擬情景画像を前記地図データとしての３次元地図データから算出する模擬情景画像算出手段と、
前記対象施設が運転者から視認されるか否かを判定する視認可否判定部と、
車外を撮影する車外撮像手段と、
前記視線方向検出部により得られる運転者の視線方向及び前記車外撮像手段により得られる画像から運転者が見ている実情景画像を特定する実情景画像特定部と、
前記模擬情景画像と前記実情景画像とを照合して該模擬情景画像の位置補正を行う情景画像照合部とを備え、
前記表示手段は、車両のウインドシールドに画像を表示するウインドシールド表示手段であり、
前記表示制御部は、前記視認可否判定部により前記対象施設が運転者から視認されると判定された場合に、運転者から見て前記対象施設の近傍となる前記ウインドシールドの領域に、前記情景画像照合部により位置補正された前記模擬情景画像にて定められた前記施設条件表示を前記ウインドシールド表示手段に表示させることを特徴とする車両用情報表示システム。 Map data storage means for storing map data;
Facility information storage means for storing facility information relating to facilities included in the map data;
Input means for inputting facility conditions desired by the driver;
A target facility search unit that searches the facility information storage means for a facility that matches the facility condition as a search condition,
A facility location identifying unit that identifies the location of the target facility on the map data;
Display means for displaying an image;
A display control unit that displays the facility condition display representing the facility condition on the display unit in association with the position of the target facility;
A driver imaging means for photographing the driver;
A line-of-sight direction detection unit that detects the line-of-sight direction of the driver from the image of the driver's eyes obtained by the driver imaging means;
A simulated scene image calculating means for calculating a simulated scene image assumed to be viewed by the driver based on the current position of the vehicle and the driver's line of sight from the three-dimensional map data as the map data;
A visual authorization rejection determination unit that determines whether or not the target facility is visually recognized by a driver;
Vehicle exterior imaging means for photographing outside the vehicle;
A real scene image specifying unit for specifying a driver's gaze direction obtained by the gaze direction detection unit and an actual scene image viewed by the driver from an image obtained by the outside imaging unit;
A scene image matching unit that matches the simulated scene image with the actual scene image and corrects the position of the simulated scene image;
The display means is windshield display means for displaying an image on a windshield of a vehicle,
The display control unit is configured to display the scene in the area of the windshield that is in the vicinity of the target facility when viewed from the driver when the visual approval / disapproval determination unit determines that the target facility is visually recognized by the driver. An information display system for a vehicle, wherein the facility condition display determined by the simulated scene image whose position has been corrected by an image collating unit is displayed on the windshield display means .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005082300A JP4771047B2 (en) | 2005-03-22 | 2005-03-22 | Information display system for vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005082300A JP4771047B2 (en) | 2005-03-22 | 2005-03-22 | Information display system for vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006267249A JP2006267249A (en) | 2006-10-05 |
| JP4771047B2 true JP4771047B2 (en) | 2011-09-14 |
Family
ID=37203343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005082300A Expired - Fee Related JP4771047B2 (en) | 2005-03-22 | 2005-03-22 | Information display system for vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4771047B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4924564B2 (en) * | 2008-07-31 | 2012-04-25 | 株式会社Ｊｖｃケンウッド | On-vehicle device, distribution system, and display method of parking lot entrance image in on-vehicle device |
| KR101361643B1 (en) | 2012-04-23 | 2014-02-13 | 엠텍비젼 주식회사 | Method and device for displaying object using transparent display panel |
| JP5962594B2 (en) * | 2013-06-14 | 2016-08-03 | 株式会社デンソー | In-vehicle display device and program |
| JP2015175818A (en) * | 2014-03-18 | 2015-10-05 | パナソニックＩｐマネジメント株式会社 | navigation device |
| JP6615053B2 (en) * | 2016-06-16 | 2019-12-04 | 三菱電機株式会社 | Mobile terminal with popup information function and popup information system |
| JP7222392B2 (en) * | 2018-03-20 | 2023-02-15 | ソニーグループ株式会社 | Information processing device, information processing method and recording medium |
| DE102018222378A1 (en) * | 2018-12-20 | 2020-06-25 | Robert Bosch Gmbh | Device and method for controlling the output of driver information and for maintaining the attention of a driver of an automated vehicle |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000321082A (en) * | 1999-05-12 | 2000-11-24 | Denso Corp | Map display |
| JP2002168637A (en) * | 2000-11-30 | 2002-06-14 | Alpine Electronics Inc | Navigation system |
| JP3920580B2 (en) * | 2001-03-14 | 2007-05-30 | トヨタ自動車株式会社 | Information presentation system and information presentation method |
| JP3932171B2 (en) * | 2001-11-30 | 2007-06-20 | アルパイン株式会社 | 3D display device for underground buildings |
| JP3818222B2 (en) * | 2002-06-12 | 2006-09-06 | 株式会社デンソー | Peripheral information search and display device |
| JP4250391B2 (en) * | 2002-09-13 | 2009-04-08 | キヤノン株式会社 | Index detection apparatus and index detection method |
| JP2005069776A (en) * | 2003-08-21 | 2005-03-17 | Denso Corp | Display method for vehicle, and display device for vehicle |
-
2005
- 2005-03-22 JP JP2005082300A patent/JP4771047B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006267249A (en) | 2006-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4366716B2 (en) | Vehicle information display device | |
| JP4771047B2 (en) | Information display system for vehicles | |
| JP4935145B2 (en) | Car navigation system | |
| CN109791738A (en) | Driving assist system and computer program | |
| US9421866B2 (en) | Vehicle system and method for providing information regarding an external item a driver is focusing on | |
| US6919866B2 (en) | Vehicular navigation system | |
| KR20170137636A (en) | Information-attainment system based on monitoring an occupant | |
| EP2806335A1 (en) | Vehicle human machine interface with gaze direction and voice recognition | |
| JP4946682B2 (en) | Vehicle travel support device | |
| CN113302664A (en) | Multimodal user interface for a vehicle | |
| CN105136156A (en) | Adaptive navigation and location-based services based on user behavior patterns | |
| CN106740114A (en) | Intelligent automobile man-machine interactive system based on augmented reality | |
| JP2004219664A (en) | Information display system and information display method | |
| JP2007045169A (en) | Information processor for vehicle | |
| JP4753735B2 (en) | Car electronics | |
| JP4936060B2 (en) | Vehicle travel support device | |
| JP2016091192A (en) | Virtual image display apparatus, control method, program, and storage medium | |
| JP2015128956A (en) | Head-up display, control method, program and storage medium | |
| JP2007263931A (en) | Driver thinking estimating device, driver thinking estimating method and driver thinking estimating program | |
| US20130066549A1 (en) | Navigation device and method | |
| JP2016090515A (en) | Information display device, control method, program, and recording medium | |
| JP6444508B2 (en) | Display control device and navigation device | |
| JP2008045962A (en) | Navigation device for vehicle | |
| JP2009031943A (en) | Facility specification device, facility specification method, and computer program | |
| JP2019010919A (en) | Travel support device and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110525 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110607 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |