WO2019123784A1 - 車載情報表示装置及び使用言語推定装置 - Google Patents

車載情報表示装置及び使用言語推定装置 Download PDF

Info

Publication number
WO2019123784A1
WO2019123784A1 PCT/JP2018/037545 JP2018037545W WO2019123784A1 WO 2019123784 A1 WO2019123784 A1 WO 2019123784A1 JP 2018037545 W JP2018037545 W JP 2018037545W WO 2019123784 A1 WO2019123784 A1 WO 2019123784A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
sign
information
language
superimposed
Prior art date
Application number
PCT/JP2018/037545
Other languages
English (en)
French (fr)
Inventor
和久 田邉
吉田　一郎
田中　聡
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018142402A external-priority patent/JP2019113520A/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112018006544.8T priority Critical patent/DE112018006544T5/de
Publication of WO2019123784A1 publication Critical patent/WO2019123784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Definitions

  • the present disclosure relates to an in-vehicle information display device and a language estimation device.
  • the first problem is that even if you want to change the language, the language display of the car navigation system of the rental car is Japanese, but it is difficult to change because the first screen is Japanese.
  • the second problem is that even if you start driving by changing the language of the car navigation system, you will be driving with anxiety as you do not know the meaning of traffic rules in Japan, such as signs.
  • the user's nationality information and the language used are registered at the start of use, and when a pictogram conversion request is received, the target is taken from the photographed image A pictogram is extracted, and the extracted pictogram is converted into a pictogram used in a country specified by the user's nationality, and the converted pictogram is displayed.
  • Patent Document 2 describes an apparatus for informing foreign users who rented a rental car which traffic sign installed on the road in the country where the user visited corresponds to which traffic sign in their own country. .
  • the object of the present disclosure is to provide an on-vehicle information display device and a language estimation device that can easily change the language display of a car navigation system to the language used by the user, and easily understand the meaning of traffic rules and signs in Japan. It is to do.
  • a face image capturing unit configured to capture a face image of a user
  • a nationality narrowing unit configured to narrow down the nationality of the user based on the captured face image
  • a nationality narrowed based on the narrowed nationality.
  • a call unit that selects a call language and makes a call
  • a language estimation unit that estimates a language to be used by the user based on changes in the user's face image, and the user's response to the call
  • an estimated language used
  • a display control unit for displaying a display screen that can be understood by the user.
  • a face image capturing unit configured to capture a face image of the user
  • a nationality narrowing unit configured to narrow down the nationality of the user based on the captured face image
  • a nationality narrowed based on the narrowed nationality.
  • a call language selection unit that selects a call language
  • a call unit 8 that makes a call in one or more selected languages, and a change in face image to the call during or after the call in the one or more languages.
  • a use language estimation unit for estimating a language used by the user based on the user's response result.
  • FIG. 1 is a block diagram of a sign recognition and notification system showing a first embodiment
  • Fig. 2 is an image diagram showing the various devices attached to the driver in the car.
  • FIG. 3 is a flowchart of language setting control.
  • FIG. 4 is a flowchart of control for supporting safe driving while traveling
  • FIG. 5 is a flowchart of traffic sign recognition and notification control.
  • FIG. 6 is a flowchart of the notification control of the notification target traffic sign.
  • FIG. 7 is a flowchart of marker selection control;
  • FIG. 8 is a flowchart of sign alerting control that has been used, FIG.
  • FIG. 9 is a diagram for explaining how to make a call in a plurality of main languages
  • FIG. 10 is a diagram showing a screen for selecting a plurality of areas where English is used.
  • FIG. 11 is a diagram showing a screen for selecting a state;
  • FIG. 12 is a diagram for explaining how the size and range of the monitoring area are changed according to the speed of the vehicle,
  • FIG. 13 is a diagram showing a screen of world map and language selection;
  • FIG. 14 is a diagram showing an example in which virtual images are superimposed and displayed.
  • FIG. 15 is a view for explaining how a plurality of signs are installed at the same position,
  • FIG. 16 is a diagram showing the contents of the process number list ex1.
  • FIG. 17 is a diagram showing the contents of the process number list ex2;
  • FIG. 18 shows a second embodiment and is a diagram showing traffic signs of the Netherlands and Norway
  • FIG. 19 is a flowchart of control for supporting safe driving while traveling
  • FIG. 20 is a flowchart of notification control of a notification target traffic sign.
  • Fig. 21 is a diagram showing an example where a Dutch traffic sign is installed.
  • FIG. 22 is a view showing an example in which an image of a traffic sign of Norway is superimposed and displayed.
  • FIG. 23 is a view showing an example in which images of traffic signs in other countries are superimposed and displayed when a plurality of signs are installed at the same position.
  • FIG. 1 is a block diagram showing an overall schematic configuration of a sign recognition and notification system 1 of the present embodiment.
  • the marker recognition and notification system 1 constitutes an on-board information display device and a language estimation device.
  • the marker recognition / notification system 1 includes a mirror eye camera 2, a display eye camera 3, a biological information sensor 4, an input operation device 5, a DSM controller 6, and an external camera 7.
  • the information processing device 8, the notification unit 9, the stimulus generation unit 10, the communication device 11, and the carried-in device 12 are provided.
  • the mirror eye camera 2 is for external gaze recognition for capturing a visual line image for determining where the user, ie, the driver is looking at an object outside the vehicle, and a facial image of the user, ie for external object recognition It is a camera.
  • the mirror eye camera 2 has a function as a face image capturing unit. As shown in FIG. 2, for example, two mirror eye cameras 2 are disposed at both ends of the lower part of the rear view mirror 13 in the vehicle. Image information continuously captured by the mirror eye camera 2, that is, moving image information is transmitted to the DSM controller 6.
  • the display eye camera 3 is a camera for display line-of-sight recognition that captures a line-of-sight image for determining which position on the display the user is looking at or a user's face image, that is, a vehicle-mounted device confirmation detection camera.
  • the display eye camera 3 has a function as a face image capturing unit. As shown in FIG. 2, for example, two display eye cameras 3 are disposed, for example, in the upper part of the display 14 in the car. Image information captured continuously by the display eye camera 3, that is, moving image information is transmitted to the DSM controller 6.
  • the biological information sensor 4 is composed of various sensors that detect brain activity, heart rate, blood pressure and the like of the user, and the detected signal is transmitted to the DSM controller 6.
  • the input operation device 5 includes various devices for inputting operation signals of various devices operated by the user, operation speeds, etc., voices uttered by the user, operation information of steering, operation information of pedals such as an accelerator and a brake, etc. It is done. Various information input by the input operation device 5 is transmitted to the DSM controller 6.
  • the DSM controller 6 inputs image information captured by the mirror eye camera 2 and the display eye camera 3 and performs image recognition processing on these image information to allow the user to look anywhere outside the vehicle or in any range outside the vehicle Or, it has a gaze direction of the user as to where the user is looking at the display 14 and a function of detecting an object that the user is looking at, ie, a gaze object. That is, the DSM controller 6 has a function as a focused object detection unit.
  • the DSM controller 6 performs image recognition processing on image information captured by the mirror eye camera 2 and the display eye camera 3, that is, information on changes in the face image, etc., thereby moving the facial expression of the driver's face, eyes It has a function of recognizing movement, opening of eyes, change in expression, side-view frequency and the like, and detecting the degree of awareness, fatigue, sleepiness and the like of the user based on the recognized information.
  • the DSM controller 6 has a function of inputting biological information from the biological information sensor 4 and input operation information from the input operation device 5, and detecting an emotional movement of the user based on the biological information and the input operation information.
  • the biological information includes information such as brain activity, heart rate and blood pressure.
  • the input operation information includes voices uttered by the user such as operation signals and operation speeds of various devices, steering operation information, and pedal operation information such as an accelerator and a brake.
  • the DSM controller 6 has a function as a DSM (Driver Status Monitor).
  • the out-of-vehicle shooting camera 7 is a camera for continuously shooting an image for determining which position outside the vehicle and which object the user is looking at, and processes the shot image information, that is, moving image information Send to device 8
  • the information processing device 8 has a storage unit in which a language database, a map database, a sign database, a construction database and the like are stored, and also functions as a car navigation device, that is, a function of detecting the position of the vehicle, the traveling direction of the vehicle It has a function to be detected, a function to calculate a guidance route to a destination, a function to guide a guidance route, and the like.
  • the information processing device 8 inputs line-of-sight information, face image information, information of a gaze object, etc.
  • the information processing apparatus 8 has functions as a nationality narrowing unit, a calling language selection unit, a calling unit, a language estimation unit, a display control unit, a road area selection unit, a gaze object information determination unit, and a superimposed display control unit. There is.
  • the structure database is a database in which positions, sizes, directions, and the like of various structures installed on the road such as signs, utility poles, curbs, guard rails, etc. are collectively recorded.
  • the map database also contains the installation position information of the sign.
  • the data of the label ie, the image data of the label, the data of the content of the label, etc. are stored in the label database.
  • this sign database data of Japanese signs, data of a large number of foreign signs, and data of a plurality of types of signs when data of a plurality of types of signs exist in one country are stored. It is done.
  • the signs showing the same content and meaning are associated with the signs of each country, that is, they are linked, and for example, the signs of the same contents as the signs of Japan are searched Is configured to be possible.
  • the notification unit 9 has a display 14 and a speaker 15. As shown in FIG. 2, two speakers 15 are disposed at both upper ends of the display 14.
  • the display information, the audio signal, the alarm sound signal and the like are transmitted from the information processing device 8 to the notification unit 9, the display information is displayed on the display 14, and the audio and the alarm sound are output from the speaker 15. It has become so.
  • the stimulation generation unit 10 receives a stimulation instruction signal from the information processing device 8 and drives various stimulation devices such as a speaker 15, a vibration generator, an air conditioner, a scent generator, and the like. As a result, physical, tactile, and olfactory stimuli such as sound, vibration, high-temperature wind, low-temperature wind, and smell are applied to the user.
  • the communication device 11 has a function as a DCM (data communication module), and is configured by a communication device capable of executing inter-vehicle communication, road-vehicle communication, VICS (registered trademark) communication, mobile phone network communication, and the like.
  • the communication device 11 transmits, to the information processing device 8, communication information obtained by the various communications.
  • the communication device 11 transmits the information output from the information processing device 8 to an external device through the various types of communication.
  • the communication device 11 can communicate with the carried-in device 12 such as a mobile phone or a tablet via short distance wireless communication such as Bluetooth (registered trademark) communication or wired communication such as USB.
  • FIG. 2 is an image diagram showing various devices attached to the driver in the vehicle and various devices provided around the driver's seat. As shown in FIG. 2, with the mirror eye camera 2 attached to the rear view mirror 13 in the car and the display eye camera 3 attached to the display 14, the line of sight direction of the user inside and outside the car, the eye opening degree, the facial expression Images for recognizing and detecting changes in frequency, frequency of side view, etc. are continuously taken.
  • the DSM controller 6 and the information processing apparatus 8 determine which range outside the vehicle the user is looking at. Then, when it is detected that the user is gazing at a specific place or object outside the vehicle, the information processing device 8 executes a process of determining what the user is looking at.
  • the DSM controller 6 and the information processing device 8 want to direct the display 14 to direct the user's gaze, that is, when they want to direct the gaze, a voice for calling the user from the speaker 15 provided on the display 14 Output
  • the user's voice is collected by the microphone 16 provided at the user's mouth, that is, the microphone of the headset, and the collected voice information is processed by the information processing device 8
  • the voice recognition process is performed in
  • the user's gaze direction and driving state are detected by the image information of the mirror eye camera 2 and the display eye camera 3, and the state of sleepiness, fatigue, and other deviation from the normal state is detected by the detection information of the biological information sensor 4 Then, a stimulus corresponding to the state of the user is added to the user by the stimulus generation unit 10.
  • the contents of stimulation applied to the user include physical stimulation such as sound and vibration, tactile stimulation such as high temperature wind and low temperature wind, and olfactory stimulation such as smell.
  • the operation of the steering 17 operated by the driver and the operation of the pedal 18, ie, the brake pedal and the accelerator pedal are detected by the input operation device 5 and transmitted to the DSM controller 6. .
  • the touch operation checker 19 attached to the user is a device for transmitting the reception result of the device to the user's input operation to the user.
  • the touch operation checker 19 is configured to execute different operations, for example, presence / absence of vibration operation, when the user's operation is successful and when the user's operation is insufficient.
  • the touch operation checker 19 is configured by a device in the form of a wristwatch that doubles as a heart rate sensor, and for example, two or more types of responses, for example, two or more types of vibrations corresponding to responses such as YES and NO. It is configured to vibrate in a pattern.
  • the display 14 is configured of a liquid crystal display, an LED display, or the like, and information from the information processing device 8 is displayed on the display 14.
  • the information processing device 8 displays information, in addition to the display 14, it is configured to be able to display on the windshield of the vehicle, that is, on a HUD (Head Up Display) displayed on a windshield glass.
  • HUD Head Up Display
  • a touch panel or a mechanical switch it is preferable to make the display 14 an operation combined display that can execute operations of other devices.
  • the operation of the marker recognition and notification system 1 according to the present embodiment is described using an example where a foreign user is in trouble while driving a road in Japan with a vehicle, for example, a rental car and does not know a traffic sign through the car window Will be described with reference to FIGS. 3 to 17.
  • control of the language setting of the user is performed.
  • a display screen using a language that can be understood by the user is set according to the procedure shown in the flowchart of FIG. 3 so that a foreign user can use the system with confidence.
  • the flowchart of FIG. 3 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processing device 8.
  • step S10 of FIG. 3 the boarding of the user, that is, the driver is detected based on the image information captured by the mirror eye camera 2 and the display eye camera 3.
  • step S20 the DSM controller 6 performs face recognition of the user.
  • the process proceeds to step S30, and it is determined based on the result of the user's face recognition whether it is a user who uses the vehicle for the first time.
  • step S30 if the user is the first passenger (YES), the information processing device 8 analyzes the user's face information and the language when the user speaks, and uses the user's language and the user's nationality. Narrow the range.
  • the process proceeds to step S40, and the information processing device 8 calls the user for language selection in the country, for example, Japan. And in several major languages such as simple English, Chinese and Spanish.
  • a screen as shown in FIG. 9 is displayed on the display 14, and voice messages of a plurality of main languages are output from the speaker 15. For example, in the case of Japanese, it displays "Select the language of the screen.
  • step S45 the DSM controller 6 determines whether or not the user has responded to the above-mentioned request, such as viewing the display, responding to the request or the like.
  • the process proceeds to step S50, and the language in which the user responded to the request Is displayed, and a language candidate that is likely to be used by the user is displayed on a plurality of display screens.
  • the facial expression of the user after the calling is measured, and if there is an answer to the calling by the direction, expression, reaction, etc. of the face, the language is detected, and the detected language is " ⁇ It may be configured to perform voice guidance as "is it OK to display the screen in the language of ⁇ ?".
  • step S40 when the user makes a call in English and the user looks at the screen, the screen of the display 14 inquires the user which area of English to use, as shown in FIG. 10, and selects the user Let In this case, for example, "1. English USA, 2. English UK, 3. English Au etc.” is displayed, and a plurality of areas where English is used is displayed together with the language.
  • this display state when a language, for example, "1. English USA” is selected, after the set time has elapsed, as shown in FIG. 11, the selected map of the states in "US" is displayed on the screen of the display 14.
  • the display is configured to allow the user to select a normal driving area, ie, a state.
  • step S40 determines whether there is no response (NO) in the above step S40, that is, if it is not understood well (NO)
  • the process proceeds to step S130 and the language of "Please look at the display screen" It is done by selecting a language that is easy to understand by changing it, that is, estimating it from the face image and the language spoken in the car. Then, the process returns to step S40, and voice guidance, that is, calling is performed in the selected language.
  • step S50 while the language candidate that the user is likely to use is displayed on a plurality of display screens, when the user makes a response to select a language, the process proceeds to step S60 and the user, ie, the driver Whether or not the language of the person has been recognized.
  • the process returns to step S50, and the above-described processing is repeatedly executed.
  • step S60 If the user's language is recognized in step S60 (YES), the process proceeds to step S70, and the navigation function, that is, the marker recognition and notification system 1 is set to provide guidance in the recognized language. Then, the process proceeds to step S80, and it is determined whether the user has selected a country and a road where driving is normally performed.
  • the sign recognition and notification system 1 displays an area corresponding to the selected language, that is, a road map of a country, for example, a map as shown in FIG. indicate. Furthermore, a message of “Do you normally drive in which area? Select a road on which you drive by touch” is displayed to the user and output by voice.
  • the reason for selecting the state is that the traffic rules and signs may change from state to state in the United States.
  • step S80 when the user does not select the country and the road in which the driver usually drives (NO), the process returns to step S70, and the above-described processing is repeatedly executed.
  • step S80 if the user selects a country and a road for driving normally (YES), that is, if the user answers a road on which the user usually travels by touch operation or the like, the process proceeds to step S90 and the user's answer, ie, selection The result is acquired and stored in the internal memory of the information processing device 8, and an acceptance mark, for example, "Accepted" is displayed on the screen of the display 14.
  • step S100 the process proceeds to step S100, and the information processing apparatus 8 of the marker recognition and notification system 1 reads out the marker data used in the area of the road selected or touched by the user from the marker database.
  • step S110 the information processing device 8 reads in advance from the marker data of the road area where the read foreign user normally travels and the marker data of the road to be traveled from this, ie, the marker database. Mismatched signs and signs with large differences are extracted by comparison with the stored sign data, and stored in the internal memory as sign data to be guided.
  • step S120 shifts to control for safe driving assistance during running that executes a conversion mode of converting the language used by the user, that is, the traffic sign of the travel road of the user's country of origin.
  • the control of FIG. 4 is started to be executed.
  • the flowchart of FIG. 4 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processor 8.
  • step S140 the process proceeds to step S140 to read out and use the previous information. Do. In this case, the following notification, that is, display and voice output are performed, and the language and the sign are set. "Thank you for using xxx again. The language will be set the same as the previous xxx. Are you sure?" "If YES, set the indicator of the designated country.” While displaying on a display 14, it outputs with an audio
  • step S40 when the user is asked which area of English to use, and the user is made to select, the user can understand English, but changes to a different regional language If desired, selecting the word "WW: World Wide” in the screen displays, for example, the world map and language selection screen shown in FIG. On the screen shown in FIG. 13, the user can select a more suitable language.
  • the display data of the sign is prepared so as not to be delayed during traveling of the vehicle so that the sign that can be understood by the foreign user can be displayed when necessary.
  • the prepared display data is configured to prepare data that is in the vicinity of the vehicle, for example, within a range of several hundred meters.
  • road sign data for foreigners is set to the mark linked to the node or link corresponding to the changed path, that is, the object. It has become.
  • control for presenting the user with a sign image for foreigners during route guidance while the vehicle is traveling will be described.
  • step S210 of FIG. 4 execution of control of safe driving support during traveling is started. Subsequently, the process proceeds to step S220, and it is determined whether the user performs the main control, that is, the service for the first time.
  • the process proceeds to step S230, and before the vehicle starts moving, the user operates the vehicle and the operation method of the marker recognition and notification system 1 and the basic traffic rules of Japan. Provide guidance in your language.
  • the DSM controller 6 performs calibration of the user's line of sight. In this case, it is preferable to prevent the vehicle from starting unless the user hears the above-mentioned initial guidance. As a result, it is possible to prevent an accident caused by misidentifying a foreign traffic rule as soon as the vehicle starts traveling.
  • step S240 it is determined whether the vehicle has started traveling.
  • the process proceeds to step S290 to measure the parking time, and when the parking time exceeds the set time, the power saving mode is set to wait until the traveling starts, ie, returns to step S240.
  • step S240 when the vehicle starts traveling (YES), the process proceeds to step S250, and the front object recognition process is started.
  • the size and the range of the monitoring area in which the object recognition process is performed are changed according to the speed of the vehicle. For example, in the case where the vehicle speed is 60 km / h, that is, in the case of the vehicle speed V3 in FIG. Further, when the vehicle speed is 40 km / h, that is, in the range shown by vehicle speeds V2 to V3 in FIG. 11, the range is set to 40 m to 100 m ahead. Further, when the vehicle speed is 20 km / h, that is, in the range shown by vehicle speeds V1 to V2 in FIG. 11, the range is 30 m to 50 m ahead.
  • the object recognition processing ability of the vehicle is high, that is, when the camera and radar performance and the object recognition ability are excellent, the monitoring area can be set wider than the above range.
  • step S250 when recognition of an object is started, the position and traveling direction of the vehicle are measured, and fixed objects installed on roads in front and left and right are searched using a structure database. Then, the process proceeds to step S260, and it is determined whether or not the retrieved fixed object includes the object of the traffic sign.
  • the process proceeds to step S270, and traffic sign recognition / notification processing is executed. The traffic sign recognition and notification process will be described later.
  • step S260 determines whether there is no traffic sign ahead in step S260 (NO) or not. If there is no traffic sign ahead in step S260 (NO), the process proceeds to step S295, and processing corresponding to the recognized object, that is, if there is another object to be noted, the object Processing corresponding to is performed. For example, when a pedestrian is detected by the outside camera for shooting 7, the user is notified that the pedestrian is detected.
  • step S280 it is determined whether the vehicle has stopped traveling, that is, whether the engine has stopped.
  • the process returns to step S250, and the above-described processing is repeatedly executed.
  • step S280 when the vehicle has stopped traveling, that is, when the vehicle is in the parking mode (YES), this control is ended.
  • the process returns to step S210 in FIG. 4 to resume the present control.
  • step S270 the traffic sign recognition / notification process of step S270 will be described with reference to the flowchart of FIG.
  • the flowchart of FIG. 5 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processing device 8.
  • step S310 in FIG. 5 the information processing device 8 of the sign recognition and notification system 1 extracts traffic signs in the monitoring area set by the traveling speed of the vehicle.
  • the monitoring area of the sign is set according to the traveling speed of the vehicle as described above.
  • the process proceeds to step S320, and the type of the extracted traffic sign is determined mainly using data of the structure database.
  • the type of the traffic sign may be determined by image recognition of the photographed image of the camera for outside photographing 7.
  • the classification of a traffic sign may become a recognition result in which a structure database and a camera picked-up image differ, in such a case, it is preferable to decide beforehand to use any one result.
  • step S330 based on the determined type of traffic sign, it is determined whether the traffic sign is difficult for foreign users to understand, that is, whether it is a foreign user target sign.
  • the process proceeds to step S340, and since it is a traffic sign that needs notification, a processing number is added to the sign, that is, the notification target traffic sign. , Records or stores in a process number list provided in an internal memory.
  • step S350 the notification process of the traffic target to be notified to the user is executed. The notification processing of the notification target traffic sign will be described later.
  • reporting object traffic sign is set according to the travel speed of a vehicle. That is, as the traveling speed increases, the time that can be used for the notification processing of the notification target traffic sign, that is, the notification processing time is set shorter. If the process of step S350 is completed, and if the traffic sign is not difficult for foreign users to understand in step S330 (NO), this control is ended, and the process returns to the control of FIG.
  • step S350 of FIG. 5 that is, the notification control of the notification target traffic sign will be described with reference to the flowchart of FIG.
  • the flowchart of FIG. 6 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processing device 8.
  • step S410 in FIG. 6 the processing time for the notification processing of the traffic target to be notified is set according to the traveling speed of the vehicle. Subsequently, the process proceeds to step S420, and the unprocessed process number list recorded in step S340 of FIG. 5 is read, and the number of traffic signs to be notified and the necessity of the conversion process are acquired.
  • step S430 the time required for total data processing is obtained from the number of traffic target traffic signs to be processed and the conversion processing time required for each display, and the timing at which the user can operate the vehicle, ie, notification start By the time, it is determined whether the processing is completed or not, and whether the total data processing is completed within the set processing time.
  • the process proceeds to step S435, and superimposed display on each notification target traffic sign extracted in the unprocessed processing number list, that is, notification to the user The necessity of processing is checked, and processing for selecting a marker that needs notification according to the priority is executed.
  • the processing number list ex2 shown in FIG. 17 can not execute superimposed display processing because there are three marker data that require processing.
  • the data to be processed is selected and prioritized so that the data to be processed is prioritized so that the maximum number of data is two.
  • the notification sign selection process of step S435 will be described later.
  • step S440 the necessity of superimposed display is checked for each marker in the process number list, and the necessary items are extracted. The extraction process of step S440 will be described later.
  • step S450 tracking processing is performed on the position of a sign that is an object of an object number requiring superimposed display, that is, a sign necessary for notification for a foreign user.
  • tracking processing it was calculated how the sign viewed from the driver's seat looks from the position where the vehicle travels, the installation position of the target traffic sign, and the three-dimensional shape data of the display This is a process of checking whether or not there is an actual sign at the position based on the photographed image of the camera 7 for photographing outside the vehicle.
  • step S460 when the tracking process is operating properly, the foreign sign image to be superimposed, that is, the virtual image is near the actual sign of the target number, and an appropriate position on the set height from the horizon.
  • HUD Head Up Display
  • FIG. 14 An example of displaying the virtual image on the windshield in this manner is shown in FIG.
  • the virtual image marker 20b is displayed near the actual marker 20a, for example, at a position obliquely above, ie, at an appropriate position above the horizon and at a set height.
  • a virtual image is desirable from the user to a certain position in the sky on the road.
  • a rectangular frame is a display for indicating that a structure in the area surrounded by the rectangular frame, that is, an object is a recognized structure.
  • the gap is calibrated, the display position is corrected, and the display processing is performed. Therefore, the following calibration is performed.
  • the calibration is performed in step S230 of FIG.
  • the correspondence between the photographed image of the external camera 7 and the view of the user specifically, before the start of driving, that is, while the vehicle is stopped, the position of the object and the gaze direction of the user, Examine the correspondence with eye movement.
  • the position of the eye when the user looks at the horizon of a straight road that is, the position of the eye when looking at a disk of 2 m in height and 30 cm in diameter with a viewing direction and a 10 m horizontal angle 15 degrees
  • the direction of sight and the position of the eye when looking at the left and right side mirrors, ie, the direction of sight and the direction of sight when looking at a meter or display in a car, etc. are checked in advance and stored in internal memory .
  • the movement of the user's eye is predicted from the position of the vehicle and the position of the traffic light, and it is confirmed whether the actual movement of the eye falls within the assumed movement range. If there is a gap between the prediction and the actual eye movement over the setting range, perform calibration again at a safe position and make corrections to reduce the deviation between the prediction and the actual eye movement It has become.
  • step S470 it is determined whether the distance from the vehicle to the sign is less than or equal to the designated approach distance for the sign of each target number requiring superimposed display.
  • the process returns to step S450, and the above-described processing is repeatedly executed.
  • step S470 when the distance to the sign is less than the designated approach distance (YES), the process proceeds to step S480, and the indicator of the object number which is less than the designated approach distance, that is, display processing of the object is executed. . Then, when the display processing is completed, the unprocessed number is changed to processed and deleted from the processing number list. Furthermore, the number of unprocessed labels, ie, the number of counts of unprocessed data, is reduced.
  • step S490 it is determined whether the number of unprocessed labels in the process number list is 0, that is, whether the count number of unprocessed data is 0.
  • the process returns to step S450, and the above-described process is repeatedly executed.
  • the process proceeds to "YES", and the control ends. After this, the control returns to the control of FIG.
  • the user's eye movement and facial expression are detected to determine signs that they do not understand, and if it is dangerous to proceed as it is, the vehicle is automatically advanced slowly, or
  • the user is made to stop and explain the travel guidance and the sign by voice or the like.
  • the brain activity of the user for example, an electroencephalogram etc. is detected by the DSM together with the face image of the user and the detection result is used Is preferred.
  • step S435 in FIG. 6 that is, control for selecting a sign that requires notification according to the priority will be described with reference to the flowchart in FIG.
  • the flowchart of FIG. 7 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processing device 8.
  • the priority indicates the degree to which a sign is to be displayed preferentially from the viewpoint of "the possibility of a traffic accident" and is determined and stored in advance by the sign recognition and notification system 1. For example, as shown in FIG. 15, when five signs are arranged, that is, from top to bottom: (1) an overtaking prohibition sign, (2) from here a (passing prohibition prohibition) sign, (3) parking prohibition If the signs of (4) from here (no parking) are placed, (5) signs of pedestrian crossings are placed, the priorities of the signs of (1) and (5) are set high.
  • the markers 1) and (5) are selected as the necessary markers for notification.
  • a virtual sign A is displayed at a position near the sign of (1)
  • Control is performed to display the virtual marker B at a position near the marker of (5).
  • step S510 in FIG. 7 first, an object number to be notified is confirmed. Then, it progresses to step S520 and confirms the content and priority of alerting
  • the object of the notification target number that is, the indicator
  • the object of the notification target number is set in association with, for example, the type or class, which is the content to be notified, and the object type importance set according to the traveling state.
  • the user's gaze movement and the facial expression are detected, which one of the signs the user is having trouble understanding, the priority thereof, that is, the user priority is detected, and the user priority is high. It is configured to give priority to the conversion display.
  • objects with low importance, that is, signs are set such that they can be excluded from notification targets.
  • step S530 it is determined whether the number of notification targets can be reduced.
  • the degree of importance of the notification target number is calculated from the traveling state of the vehicle and the type of the sign, and it is determined whether there is a notification target number that does not need to be notified.
  • the process proceeds to step S540, and the notification target number determined not to be notified is removed from the notification target.
  • step S545 it is determined whether the notification process is completed within the time.
  • the process proceeds to step S550, and the processing order of the notification object number is changed so that the one having the higher priority can be processed first.
  • the user priority for the object that is, the indicator is checked, and the processing number list is changed and set to preferentially display the object with the high user priority.
  • step S560 when the order change process is completed, the data, that is, data that can be processed within the designated time is stored in the storage area for display process. As a result, the present control is ended and the control of FIG. 6 is returned to.
  • step S530 if it is not possible to reduce the number of notification targets, that is, if safety is lost if all the signs can not be understood (NO), the process proceeds to step S535, and the speed of the vehicle can be recognized by the user. To slow down. Due to the deceleration of the vehicle, the stay time of the vehicle in the notification area can be extended, and the time used for notification can be extended. After this, the process proceeds to step S545, and it is determined whether the notification process is completed within the time. The subsequent processing is performed as described above.
  • step S545 If it is determined in step S545 that the notification process can not be completed within the time (NO), the process proceeds to step S535 to reduce the speed of the vehicle so that the user can recognize the sign. .
  • the subsequent processing is performed as described above.
  • the reason for decelerating the vehicle so that processing can be performed within the designated time is that if the vehicle is decelerated, it is possible to secure time for the user to understand the sign, that is, the object. The reason is that
  • the notification control of the sign the user is used to that is, the process of step S440 in FIG. 6 will be described with reference to the flowchart in FIG.
  • the flowchart of FIG. 8 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processing device 8.
  • step S610 in FIG. 8 it is determined whether the user is not familiar with the signs in Japan.
  • the movement of the line of sight of the user is detected by the DSM controller 6, and in the case where attention is paid to the sign over the set time, the user determines that the sign of Japan is unfamiliar. Also, if the user does not pay attention to the sign, it is determined that the user is used to the sign of Japan.
  • step S610 when the user is unfamiliar with signs in Japan (YES), the process proceeds to step S620, and all signs are selected as superimposed display targets, that is, virtual display targets. As a result, the present control is ended and the control of FIG. 6 is returned to.
  • step S610 when the user gets used to the sign in Japan, that is, when he or she ceases to pay attention to the sign (NO), the process proceeds to step S640, and the sign recognition and notification system 1 does not pay attention.
  • the sign recognition and notification system 1 does not pay attention.
  • the user may be configured to be able to convey to the sign recognition / notification system 1 the information indicating which sign the sign for which the auxiliary display has become unnecessary is.
  • step S640 when the user understands the sign which has not paid attention (YES), the process proceeds to step S650, and it is determined whether the sign that the user is used to is included in the superimposed display target.
  • step S650 if the marker that the user is used to is included in the superimposed display target (YES), the process proceeds to step S660, and the processing of excluding the marker that the user is used from the superimposed display target is executed. After this, the present control is ended, and the control returns to the control of FIG.
  • the face image of the user is photographed, the nationality of the user is narrowed based on the photographed face image, and the calling language to the user is selected and selected based on the narrowed nationality.
  • Call in the selected language estimate the language used by the user based on the change in the user's face image and the user's response to the call, and display the display screen that the user can understand using the estimated language used Configured to According to this configuration, since the display screen can be changed almost automatically, that is, with a simple operation, to the language that the user uses everyday, the sign recognition and notification system 1 is very convenient for foreign users. Become.
  • the road area on which the user travels on a daily basis is selected using the estimated usage language, so when the user is an American, the road area is in state units. It is easy to realize selection.
  • a plurality of objects the user gazes at is detected, and it is configured to determine whether the user wants to know the characteristics of the objects the user gazes at, so it is determined that the user wants to know Since the information display is performed, it is possible to significantly reduce the troublesomeness of the user compared to the conventional information display.
  • the characteristics of the object are displayed superimposed in the vicinity of the object, so that the user can easily view the characteristics of the object that he wants to know it can.
  • the characteristics of the object it is preferable that image information of the object, image information describing the object, and text information be included.
  • image information or character information that explains the meaning of the sign is superimposed and displayed near the sign viewed by the user through the windshield glass of the vehicle. The user can easily view the meaning of the sign.
  • the present embodiment when the user is a foreigner, image information or characters for explaining the meaning of the sign so that the user can understand the meaning based on the nationality of the user and the map information of the road area frequently used by the user. Since the information is displayed in a superimposed manner, even foreign users can easily grasp which one of their own traffic signs the Japanese sign corresponds to. Further, in the present embodiment, when the foreign user gets used to the sign in Japan, the sign is not displayed in a superimposed manner, so that it can be greatly reduced that the user feels troublesome.
  • the virtual images of the contents that can be understood by the user are superimposed and displayed in descending order of priority for a plurality of traffic signs that are difficult for the user to comprehend. Anxiety during operation can be reduced. As a result, since the occurrence of a traffic accident can be prevented, the safety can be improved.
  • the virtual image of the sign is superimposed on the windshield glass of the vehicle.
  • the present invention is not limited to this.
  • the superimposed image may be superimposed on head mount type glasses Also good.
  • Second Embodiment 18 to 23 show a second embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals.
  • the image information of the sign of the driver's home country is superimposed and displayed in the vicinity of the sign visually recognized by the user, that is, the driver, through the windshield glass of the vehicle.
  • the image information of the sign of the driver's home country is superimposed on the sign that the driver sees through the windshield glass, that is, the actual sign is not visible. did.
  • the amount of information visually recognized by the driver increases. Even if the image information of the signs understood by the driver was displayed, confusion could occur.
  • step S2305 is executed instead of step S230 in the control of FIG. 4 of the first embodiment, and the other control executes the same control as the control of FIG. Is configured as.
  • step S220 when the user starts using the service for the first time (YES), the process proceeds to step S2305, and the sight of the user, that is, the driver is calibrated in the DSM controller 6 before the vehicle starts moving.
  • the guidance in the language used by the user is not executed for the traffic rules in Japan. In this case, it is considered that there is no need to learn basic traffic rules in the present embodiment in which existing or actual traffic signs are not displayed by superimposing image information of traffic signs in the home country.
  • the vehicle and the operation method of the marker recognition and notification system 1 be configured to provide guidance in the language used by the user.
  • the vehicle is the owner's car of the user, it is only necessary to calibrate the line of sight of the driver described above.
  • step S2305 steps S240 to S295 are performed in the same manner as the control of FIG.
  • steps S240 to S295 are performed in the same manner as the control of FIG.
  • the control of the flowchart of FIG. 5 is executed as in the first embodiment.
  • the flowchart of FIG. 5 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processing device 8.
  • step S350 of FIG. 5 that is, the notification control of the notification target traffic sign will be described with reference to the flowchart of FIG.
  • the flowchart in FIG. 20 shows the contents of control of the marker recognition and notification system 1, that is, the DSM controller 6 and the information processing device 8. Then, in the control of FIG. 20, step S4605 is executed instead of step S460 in the control of FIG. 6 of the first embodiment, and the other control is the same as the control of FIG. It is configured to run.
  • step S410 to S450 in FIG. 20 are performed in the same manner as the control in FIG.
  • the process proceeds to step S4605.
  • step S4605 when tracking of the position of the sign is working well, the image of the sign of the foreign country to be superimposed, ie, the native country of the driver, ie virtual image information, the actual sign of the object number, That is, it is displayed superimposed on the object itself.
  • the display 14 shown in FIG. 2 it is configured to be displayed by a large liquid crystal display or a large HUD displayed on the entire windshield glass (i.e., front glass) of the vehicle.
  • a large sized liquid crystal display it is preferable to use, for example, a transparent organic EL display attached to the entire windshield glass.
  • a projector-type HUD which projects an image on the entire surface of the windshield glass.
  • the existing or actual traffic sign When superimposed display on the liquid crystal display on the entire surface of the windshield glass, the existing or actual traffic sign can be completely covered and superimposed. That is, the driver can hide the existing traffic signs so as not to be visible. Further, in the case of a transmissive display such as a full screen projector HUD, a display with a light control filter attached is desirable. In addition, since the existing traffic sign may increase in brightness due to reflection of sunlight or decoration by LED, in such a case, the display area on the line of sight to the existing traffic sign is darkened by partial dimming. Then, the superimposed image is displayed. This makes it possible to superimpose virtual image information on a traffic sign with high brightness without making the traffic sign visible.
  • FIG. 21 is a view showing, for example, a state in which a traffic sign 31 of “car and motorcycle closed on the road” in the Netherlands is installed on the road, that is, a state in which the driver visually recognizes the traffic sign 31.
  • a traffic sign 31 of “car and motorcycle closed on the road” in the Netherlands is installed on the road, that is, a state in which the driver visually recognizes the traffic sign 31.
  • a driver who has obtained a license in Norway can clearly recognize the meaning of the traffic sign, that is, "car and motorcycle closed” by visually recognizing the virtual image 32 of the traffic sign of the home country.
  • a rectangular frame is a display for indicating that the object in the area enclosed by the rectangular frame is an object recognized by the present system 1.
  • steps S470 to S490 are executed in the same manner as the control of FIG.
  • the configuration of the second embodiment other than that described above is the same as the configuration of the first embodiment. Therefore, also in the second embodiment, substantially the same effect as that of the first embodiment can be obtained.
  • the characteristic of the object is superimposed and displayed on the object, specifically the visible actual, that is, the existing traffic Since the traffic sign of the user's home country is superimposed on the sign, the actual traffic sign can not be viewed.
  • the amount of information does not increase, and the amount of information visually recognized by the user can be reduced, so that the possibility of the user misidentifying an existing traffic sign before superimposed display can be reduced. Then, in the case of the second embodiment, since only traffic signs located ahead of the user's line of sight are superimposed and displayed, information can be reliably notified to the user while minimizing system load.
  • the image information of the sign is superimposed and displayed on the windshield glass by the large liquid crystal display or the HUD of the projector system, the movement of the user's line of sight can be reduced. It is possible to reduce the look-ahead action required for
  • head mount type glasses may be used to superimpose and display the image information of the traffic sign of the user's home country on the actual traffic sign being viewed, and the same effect can be obtained. .
  • the second embodiment is a system suitable for the case where the vehicle is an owner car of the user.
  • the driver's face image is photographed, and the driver, ie, the user is personally recognized based on the photographed face image.
  • the information processing device 8 has a function as a user recognition unit. Then, based on the personal information of the individually recognized user, the user's home country and the language used by the user are specified, and a display screen which can be understood by the user is displayed using the language used by the user, It is configured to do.
  • the present system 1 is personal information of the user, that is, information of face image, information such as nationality, language used, name, address, age, telephone number, e-mail address etc.
  • the data may be acquired from a mobile terminal such as a smartphone of the user, a server of an information center, or the like via wireless communication or wired communication, or data may be manually input by the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

車載情報表示装置は、ユーザの顔画像を撮影する顔画像撮影部（２、３）と、撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部（８）と、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択して呼びかけを行う呼びかけ部（８）と、ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定する使用言語推定部（８）と、推定された使用言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）とを備えたものである。

Description

車載情報表示装置及び使用言語推定装置 関連出願の相互参照
　本出願は、２０１７年１２月２２日に出願された日本出願番号２０１７－２４６２７９号と、２０１８年　７月３０日に出願された日本出願番号２０１８－１４２４０２号に基づくもので、ここにその記載内容を援用する。
　本開示は、車載情報表示装置及び使用言語推定装置に関する。
　外国から日本に観光に来て、レンタカーを運転して日本を旅行する場合、以下の２点の課題がある。第１の課題は、レンタカーのカーナビの言語表示が日本語で、言語を変更したくても、最初の画面が日本語表示のため、変更が難しい。第２の課題は、カーナビを言語変更してドライブを開始したとしても、日本の交通規則、例えば標識の意味が分からなくて、不安な気持ちで運転することになる。
　これに対して、特許文献１に記載された装置では、使用開始の際に、ユーザの国籍情報及び使用言語の登録しておき、ピクトグラムの変換要求を受け付けたときに、撮影画像から対象となるピクトグラムを抽出し、抽出されたピクトグラムを、ユーザの国籍で特定される国で使用されているピクトグラムに変換し、変換したピクトグラムを表示する。
　しかし、上記装置の場合、国籍情報及び使用言語を登録する操作が煩わしいことから、外国のユーザはその装置を使うことをためらうという問題がある。また、国籍がわかったとしても、アメリカのように州、地域ごとに交通規則や標識が違う地域の人がいるため、国籍だけがわかっても、適切な交通規則や標識の情報を提供できないことがある。
特開２０１６－１７３８０２号公報 特開２００５－２２２４８５号公報
　また、特許文献２には、レンタカーを借りた外国人ユーザに対して、訪問した国の道路に設置された交通標識が自国のどの交通標識に対応するかを報知する装置が、記載されている。
　しかし、この構成の場合、米国のように国内に多くの州があって、それぞれの州によって交通規則や標識が異なる場合、また、欧州のように複数の国が隣接してそれぞれの国における交通規則や標識が異なる場合には、適切な報知がなされないことがある。また、日本のように複数の標識が１か所に並べて設置されている場合には、複数の標識の変換に時間がかかる。また、変換された複数の標識が１か所に表示された場合、ユーザは、複数の標識を短時間で認知することが必要になるため、運転に集中できなくなるおそれがあった。
　本開示の目的は、カーナビの言語表示をユーザが使用する言語に簡単に変更することができ、また、日本の交通規則や標識の意味が容易にわかる車載情報表示装置及び使用言語推定装置を提供することにある。
　本開示の第一の態様において、ユーザの顔画像を撮影する顔画像撮影部と、撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部と、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択して呼びかけを行う呼びかけ部と、ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定する使用言語推定部と、推定された使用言語を用いてユーザが理解できる表示画面を表示する表示制御部とを備えた。
　本開示の第二の態様において、ユーザの顔画像を撮影する顔画像撮影部と、撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部と、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択する呼びかけ言語選択部と、選択された１以上の言語にて呼びかけを行う呼びかけ部８と、前記１以上の言語の呼びかけの間、または、呼びかけ後、呼びかけに対する顔画像の変化とユーザの応答結果基づいて、ユーザが使用する言語を推定する使用言語推定部とを備えた。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態を示す標識認識報知システムのブロック図であり、 図２は、車内のドライバに装着された各種機器の様子を示すイメージ図であり、 図３は、言語設定制御のフローチャートであり、 図４は、走行中安全運転支援用の制御のフローチャートであり、 図５は、交通標識認識・報知制御のフローチャートであり、 図６は、報知対象交通標識の報知制御のフローチャートであり、 図７は、標識選択制御のフローチャートであり、 図８は、慣れてきた標識報知制御のフローチャートであり、 図９は、複数の主要言語で呼びかけを行なう様子を説明する図であり、 図１０は、英語が使われる複数のエリアを選択させる画面を示す図であり、 図１１は、州の選択を行なう画面を示す図であり、 図１２は、監視エリアのサイズと範囲を車両の速度に応じて変化させる様子を説明する図であり、 図１３は、世界地図及び言語の選択の画面を示す図であり、 図１４は、仮想画像を重畳表示した例を示す図であり、 図１５は、複数の標識が同じ位置に設置されている様子を説明する図であり、 図１６は、処理番号リストex1の内容を示す図であり、 図１７は、処理番号リストex２の内容を示す図であり、 図１８は、第２実施形態を示すもので、オランダとノルウエーの交通標識を示す図であり、 図１９は、走行中安全運転支援用の制御のフローチャートであり、 図２０は、報知対象交通標識の報知制御のフローチャートであり、 図２１は、オランダの交通標識が設置されている例を示す図であり、 図２２は、ノルウエーの交通標識の画像を重畳表示した例を示す図であり、 図２３は、複数の標識が同じ位置に設置されている場合に、他国の交通標識の画像を重畳表示した例を示す図である。
　（第１実施形態）
　以下、第１実施形態について、図１ないし図１７を参照して説明する。図１は、本実施形態の標識認識報知システム１の全体概略構成を示すブロック図である。標識認識報知システム１は、車載情報表示装置及び使用言語推定装置を構成している。
　標識認識報知システム１は、図１に示すように、ミラーアイカメラ２と、ディスプレイアイカメラ３と、生体情報センサ４と、入力操作装置５と、ＤＳＭコントローラ６と、車外撮影用カメラ７と、情報処理装置８と、報知部９と、刺激生成部１０と、通信装置１１と、持ち込み機器１２とを備えている。
　ミラーアイカメラ２は、ユーザ、即ち、運転者が車外のどの位置の物体を見ているかを判定するための視線画像やユーザの顔画像を撮影する車外視線認識用、即ち、車外物体認識用のカメラである。ミラーアイカメラ２は、顔画像撮影部としての機能を有する。ミラーアイカメラ２は、図２に示すように、例えば車内のバックミラー１３の下部の両端部に例えば２個配設されている。ミラーアイカメラ２で連続的に撮影された画像情報、即ち、動画情報は、ＤＳＭコントローラ６に送信される。
　ディスプレイアイカメラ３は、ユーザがディスプレイのどの位置を見ているかを判定するための視線画像やユーザの顔画像を撮影するディスプレイ視線認識用、即ち、車載器確認検知用のカメラである。ディスプレイアイカメラ３は、顔画像撮影部としての機能を有する。ディスプレイアイカメラ３は、図２に示すように、例えば車内のディスプレイ１４の上部に例えば２個配設されている。ディスプレイアイカメラ３で連続的に撮影された画像情報、即ち、動画情報は、ＤＳＭコントローラ６に送信される。
　生体情報センサ４は、ユーザの脳活動や心拍数や血圧等を検出する種々のセンサで構成されており、検出された信号はＤＳＭコントローラ６に送信される。入力操作装置５は、ユーザが操作する各種機器の操作信号や操作速度等、ユーザが発声する音声、ステアリングの操作情報、アクセルやブレーキなどのペダルの操作情報等を入力するため種々の装置で構成されている。入力操作装置５により入力された種々の情報は、ＤＳＭコントローラ６に送信される。
　ＤＳＭコントローラ６は、ミラーアイカメラ２及びディスプレイアイカメラ３で撮影された画像情報を入力し、これら画像情報を画像認識処理することにより、ユーザが車外のどこを、または、車外のどの範囲を見ているか、あるいは、ディスプレイ１４のどこを見ているかというユーザの視線方向と、ユーザが見ている対象物、即ち、注視物体を検出する機能を有する。即ち、ＤＳＭコントローラ６は、注視物体検出部としての機能を有している。また、ＤＳＭコントローラ６は、ミラーアイカメラ２及びディスプレイアイカメラ３が撮影した画像情報、即ち、顔画像の変化の情報等を画像認識処理することにより、運転者の顔の表情の動き、目の動き、目の開度、表情の変化、わき見頻度などを認識し、これら認識した情報に基づいて、ユーザの認知度、疲労度、眠気度などを検出する機能を有する。
　また、ＤＳＭコントローラ６は、生体情報センサ４からの生体情報や入力操作装置５からの入力操作情報を入力し、これら生体情報や入力操作情報に基づいて、ユーザの感情的な動きを検出する機能を有する。尚、生体情報としては、脳活動、心拍数、血圧などの情報がある。入力操作情報としては、各種機器の操作信号や操作速度等、ユーザが発声する音声、ステアリングの操作情報、アクセルやブレーキなどのペダルの操作情報等がある。この構成の場合、ＤＳＭコントローラ６は、ＤＳＭ（Driver　Status　Monitor）としての機能を有している。
　車外撮影用カメラ７は、ユーザが車外のどの位置や車外のどの物体を見ているかを判定するための画像を連続的に撮影するカメラであり、撮影した画像情報、即ち、動画情報を情報処理装置８に送信する。
　情報処理装置８は、言語データベース、地図データベース、標識データベース、構築物データベース等が記憶された記憶部を有すると共に、カーナビゲーション装置としての機能、即ち、車両の位置を検出する機能、車両の走行方向を検出する機能、目的地までの誘導経路を算出する機能、誘導経路を経路案内する機能等を有する。情報処理装置８は、ＤＳＭコントローラ６から視線情報や顔画像情報や注視物体の情報等を入力し、車外撮影用カメラ７からの画像情報を入力し、車両の現在位置、走行方向、地図データベースや構築物データベース等を参照して、ユーザが見ている注視物体の候補を推定、即ち、検出する機能を有する。情報処理装置８は、国籍絞り込み部、呼びかけ言語選択部、呼びかけ部、使用言語推定部、表示制御部、道路エリア選択部、注視物体情報判定部、重畳表示制御部としての各機能を有している。
　ここで、構築物データベースは、標識、電柱、縁石、ガードレールなどの道路に設置されている種々の構築物の位置、サイズ、方向などをまとめて記録したデータベースである。地図データベースにも、標識の設置位置情報が含まれている。標識のデータ、即ち、標識の画像データや標識の内容のデータ等は、標識データベースに記憶されている。この標識データベースには、日本の標識のデータと、多数の外国の標識のデータと、１つの国でも、複数種類の標識のデータが存在する場合には、それら複数種類の標識のデータとが記憶されている。そして、標識データベースにおいては、各国の標識について、同じ内容・意味を示すものが対応付けられている、即ち、紐付けられており、例えば、日本の標識と同じ内容の各国の標識を検索することが可能なように構成されている。
　報知部９は、ディスプレイ１４とスピーカ１５を有している。図２に示すように、２個のスピーカ１５が、ディスプレイ１４の上部の両端部に配設されている。情報処理装置８から報知部９へ表示情報や音声信号や警報音信号等が送信されるように構成されており、表示情報はディスプレイ１４に表示され、音声や警報音等がスピーカ１５から出力されるようになっている。
　刺激生成部１０は、情報処理装置８から刺激指示信号を入力し、各種の刺激装置、例えばスピーカ１５、振動発生器、エアコン、香り発生器等を駆動する。これにより、ユーザに対して、音、振動、高温の風、低温の風、香り等の物理的、触覚的、臭覚的な刺激等が加えられるように構成されている。
　通信装置１１は、ＤＣＭ（データコミュニケーションモジュール）としての機能を有し、車車間通信、路車間通信、ＶＩＣＳ（登録商標）通信、携帯電話網通信等を実行可能な通信機器で構成されている。通信装置１１は、上記各種の通信により得られた通信情報を、情報処理装置８に送信する。また、通信装置１１は、情報処理装置８から出力された情報を上記各種の通信を介して外部の機器へ送信する。また、通信装置１１は、携帯電話機やタブレット等の持ち込み機器１２と例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信等の近距離無線通信やＵＳＢ等の有線通信等を介して通信可能なようになっている。
　図２は、車内のドライバに装着された各種機器及び運転席周辺に配設された各種機器の様子を示すイメージ図である。この図２に示すように、車内のバックミラー１３に取り付けられたミラーアイカメラ２と、ディスプレイ１４に取り付けられたディスプレイアイカメラ３とにより、ユーザの車内外の視線方向、目の開度、表情の変化、わき見頻度などを認識して検出するための画像が連続的に撮影される。
　上記ミラーアイカメラ３の画像情報と車外撮影用カメラ７の画像情報とを認識処理することにより、ＤＳＭコントローラ６及び情報処理装置８は、ユーザが車外のどの範囲を見ているかを判定する。そして、ユーザが車外の特定の場所や物体を注視していることが検知されると、ユーザが何を見ているかの判定処理が情報処理装置８にて実行される。
　また、ＤＳＭコントローラ６及び情報処理装置８は、ディスプレイ１４にユーザの視線を向けるように誘導したい場合、即ち、視線誘導したい場合には、ディスプレイ１４に設けられたスピーカ１５からユーザに呼びかけるための音声を出力させる。ユーザが上記呼びかけに応答するために声を発した場合、ユーザの口元に配設されたマイクロホン１６、即ち、ヘッドセットのマイクロホンにより、ユーザの声を収集し、収集した音声情報を情報処理装置８において音声認識処理を行うようになっている。
　ミラーアイカメラ２やディスプレイアイカメラ３の画像情報にてユーザの視線方向や運転状態が検出され、また、生体情報センサ４の検出情報にて眠気、疲れ、その他正常な状態との乖離状態が検出されると、ユーザの状態に応じた刺激が刺激生成部１０によってユーザに加えられる。ここで、ユーザに加える刺激の内容は、音、振動などの物理的な刺激や、高温の風、低温の風などの触覚的な刺激、香りなどの嗅覚的な刺激などがある。
　また、図２に示すように、運転者が操作するステアリング１７の操作や、ペダル１８、即ち、ブレーキペダルやアクセルペダル等の操作は、入力操作装置５により検出され、ＤＳＭコントローラ６に送信される。
　また、図２に示すように、ユーザに装着されたタッチ操作チェッカ１９は、ユーザの入力操作に対する機器の受付結果をユーザに伝えるための機器である。タッチ操作チェッカ１９は、ユーザの操作がうまくいったときと、ユーザの操作が不十分な場合とでは、異なる動作、例えば振動動作の有り・無しが実行されるように構成されている。また、本実施形態では、タッチ操作チェッカ１９は、心拍センサを兼ねた腕時計形態の機器で構成されており、例えば２種類以上の応答、例えばＹＥＳ、ＮＯなどの応答に対応する２種類以上の振動パターンで振動するように構成されている。
　また、ディスプレイ１４は、液晶ディスプレイやＬＥＤディスプレイ等で構成されており、情報処理装置８からの情報がディスプレイ１４に表示される。情報処理装置８が情報を表示する場合、ディスプレイ１４の他に、車両のフロントガラス、即ち、ウインドシールドガラスに表示するＨＵＤ(Head　Up　Display)に表示することが可能なように構成されている。このようにフロントガラスに表示するように構成すると、フロントガラスを通して車外の景色を見ることができ、車外の景色に情報を重畳表示することが可能となっている。また、ディスプレイ１４にタッチパネルやメカスイッチを設けることにより、ディスプレイ１４を他の機器の操作を実行できる操作兼用ディスプレイとすることが好ましい。
　次に、外国人のユーザが、車両例えばレンタカーで日本の道路を運転中に、車窓越しの交通標識が何かわからず困った場合を例にして、本実施形態の標識認識報知システム１の動作について、図３ないし図１７を参照して説明する。
　まず、ユーザの言語設定の制御を実行する。本実施形態では、外国人のユーザが安心してシステムを使えるように、ユーザが理解できる言語を使った表示画面を、図３のフローチャートで示す手順で設定する構成となっている。図３のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。
　図３のステップＳ１０においては、ユーザ、即ち、運転者の搭乗を、ミラーアイカメラ２とディスプレイアイカメラ３で撮影された画像情報に基づいて検知する。続いて、ステップＳ２０へ進み、ＤＳＭコントローラ６にてユーザの顔認識を行う。そして、ステップＳ３０へ進み、ユーザの顔認識の結果に基づいて、初めてその車両を使うユーザであるか否かを判断する。
　このステップＳ３０において、初めての搭乗者である場合（ＹＥＳ）、情報処理装置８は、ユーザの顔情報やユーザが何か話したときの言語を解析して、ユーザの使う言語やユーザの国籍の範囲を絞りこむ。ここで、ユーザが会話をせず、言語や国籍の絞り込みができなかった場合には、ステップＳ４０へ進み、情報処理装置８は、ユーザへの言語選択のための呼びかけを、その国、例えば日本の言葉や、簡単な英語、中国語、スペイン語等の複数の主要言語で行う。この場合、ディスプレイ１４に、例えば図９に示すような画面を表示すると共に、複数の主要言語の音声メッセージをスピーカ１５から出力する。例えば日本語の場合、「画面の言語を選択します。　日本語で良いですか？」と表示し、標識認識報知システム１が配設された場所、即ち、ディスプレイ１４のスピーカ１５から音声が出るようにして報知する。他の主要言語の場合も、同様な意味のメッセージを表示し、音声を逐次出力するようになっている。
　続いて、ステップＳ４５へ進み、ＤＳＭコントローラ６は、上記呼びかけに対して、ユーザがディスプレイを見る、返答するなどの呼びかけを理解したと思われる反応をしたか否かを判断する。ここで、ＤＳＭコントローラ６により、ユーザがディスプレイを見る、返答するなどの呼びかけを理解したと思われる反応をしたことが検出されると（ＹＥＳ）、ステップＳ５０へ進み、ユーザが呼びかけに反応した言語を確認して、ユーザが使う可能性の高いと思われる言語候補を複数表示画面に表示する。この場合、呼びかけをした後のユーザの顔の表情を測定し、顔の方向、表情、反応などで呼びかけに回答があった場合、その言語を検知して、その検知された言語で、「○○の言語で画面表示して良いですか」と音声案内を行うように構成しても良い。
　また、ステップＳ４０において、呼びかけを英語で行い、ユーザが画面を向いたときには、ディスプレイ１４の画面には、図１０に示すように、どのエリアの英語を使用するかをユーザに問い合せ、ユーザに選択させる。この場合、例えば、「1.English　USA,　2.English　UK　,3.English　Au　など」を表示し、英語が使われる複数のエリアを言語とともに表示する。この表示状態で、言語、例えば「1.English　USA」が選択された場合には、設定時間経過後、ディスプレイ１４の画面に、図１１に示すように、「米国」内の州の選択地図が表示され、ユーザが通常運転するエリア、即ち、州の選択を行なうように構成されている。
　また、ユーザが英語圏の言語を使いたくない場合、例えばスペイン語を使いたい場合には、ユーザが「Spain」と発声すると、「Spain　Spain、Spain　Mexico、Spain　Peruなど」をディスプレイ１４に表示し、スペイン語が使われる複数のエリアの地図を言語とともに表示して、地図上で言語を選択できるように構成されている。
　一方、上記ステップＳ４０において、反応が無い場合（ＮＯ）、即ち、うまく理解されなかった場合には（ＮＯ）、ステップＳ１３０へ進み、「表示器の画面を見てください」という呼びかけを、言語を変更して、即ち、顔画像や車内で話している言語から推定して、理解されやすい言語を選択して行なう。そして、ステップＳ４０へ戻り、上記選択した言語で音声案内、即ち、呼びかけを行う。
　さて、上記ステップＳ５０において、ユーザが使う可能性の高いと思われる言語候補を複数表示画面に表示した状態で、ユーザが言語を選択する応答を行なうと、ステップＳ６０へ進み、ユーザ、即ち、運転者の言語を認識したか否かを判断する。ここで、ユーザの言語を認識していない場合（ＮＯ）、ステップＳ５０へ戻り、前述した処理を繰り返し実行する。
　上記ステップＳ６０において、ユーザの言語を認識した場合（ＹＥＳ）、ステップＳ７０へ進み、認識した言語で案内するようにナビゲーション機能、即ち、標識認識報知システム１を設定する。そして、ステップＳ８０へ進み、ユーザが普段運転する国と道路を選択したか否かを判断する。この場合、標識認識報知システム１は、選択された言語に対応するエリア、即ち、国の道路地図を、例えば言語がEnglish　USAである場合、図１１に示すような地図、即ち、米国の地図を表示する。更に、ユーザに対して、「普段、どのエリアを運転しますか。走る道路をタッチで選択して下さい」というメッセージを、表示すると共に、音声で出力する。尚、このように、エリア、例えば米国の場合には、州を選択させる理由は、米国では州ごとに交通規則や標識が変わる場合があるためである。
　そして、上記ステップＳ８０において、ユーザが普段運転する国と道路を選択していない場合（ＮＯ）、ステップＳ７０へ戻り、前述した処理を繰り返し実行する。また、ステップＳ８０において、ユーザが普段運転する国と道路を選択した場合（ＹＥＳ）、即ち、ユーザが普段走る道路をタッチ操作等で回答した場合、ステップＳ９０へ進み、ユーザの回答、即ち、選択結果を取得し、情報処理装置８の内部のメモリに記憶し、ディスプレイ１４の画面に承認マーク、例えば「Accepted」が表示される。
　続いて、ステップＳ１００へ進み、標識認識報知システム１の情報処理装置８は、ユーザが選択、即ち、タッチした道路のエリアに使われている標識のデータを、標識データベースから読み出して、内部のメモリに記憶する。そして、ステップＳ１１０へ進み、情報処理装置８は、読み出された外国人のユーザが普段走行する道路エリアの標識データと、これから走行しようとする道路の標識データ、即ち、標識データベースから予め読み出して記憶しておいた標識データとを比較し、紛らわしいも標識や、違いが大きい標識を抽出し、案内対象の標識データとして内部のメモリに記憶する。この後は、ステップＳ１２０へ進み、ユーザが使用する言語、即ち、ユーザの出身国の走行道路の交通標識に変換する変換モードを実行する走行中安全運転支援用の制御へ移行する。具体的には、図４の制御を実行開始する。図４のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。
　一方、上記ステップＳ３０において、外国人のユーザが、新規のユーザではなくレンタカーサービスを利用した経験があるユーザである場合には（ＮＯ）、ステップＳ１４０へ進み、前回の情報を読み出して使えるようにする。この場合、以下の報知、即ち、表示と音声出力を行い、言語及び標識の設定を行う。
　「○○様　また利用いただきありがとうございます。言語は前回と同じ○○を設定します。よろしいですか？」
　「YESの場合は指定国の標識を設定します。」
と、ディスプレイ１４に表示すると共に、音声で出力する。この後は、ステップＳ１２０へ進み、ユーザの出身国の走行道路の交通標識変換モードを実行する走行中安全運転支援用の制御へ移行する。具体的には、図４の制御を実行開始する。
　尚、ステップＳ４０の処理において、図１０に示すように、どのエリアの英語を使用するかをユーザに問い合せ、ユーザに選択させる場合に、ユーザが、英語は理解できるが、違う地域の言語に変えたい場合には、画面内の「WW：World　Wide」の文字を選択すると、例えば図１３に示す世界地図及び言語の選択画面が表示される。この図１３に示す画面において、ユーザは、より適した言語を選ぶことができるようになっている。
　次に、図４の走行中安全運転支援用の制御について、説明する。ここで、図４の制御を開始する前において、ユーザが、情報処理装置８のカーナビ機能を使用して、目的地までの走行経路を設定すると、情報処理装置８は、走行経路の電子地図のリンクに対応する位置にある物体を構築物データベースから読み出す。構築物データベースには、信号、交通標識、車道または歩道のエリア情報、縁石、段差の有無などの情報が記録されている。
　走行中安全運転支援の制御においては、交通標識について、ユーザの国で使う標識と全く異なるイメージの標識や、イメージは似ているが異なる注意をうながす標識など、紛らわしいデザインの標識であると判定されたものを、外国人のユーザが理解できる外国人向け道路標識のイメージに置き換えて表示する処理を実行する。この場合、外国人のユーザが理解できる標識を必要な時に表示できるように、車両の走行中、標識の表示用データが表示遅れがないように準備される。ただし、経路変更が実行されることを考慮して、準備される表示用データは、車両の周囲、例えば数１００ｍの範囲内にあるデータを準備しておくように構成されている。尚、途中で経路変更が行われた場合には、変更された経路に対応するノードまたはリンクに紐づけされた標識、即ち、オブジェクトに対して、外国人向けの道路標識データがセットされるようになっている。車両の走行中の経路案内時において、外国人向けの標識画像をユーザに提示する制御について、以下説明する。
　まず、図４のステップＳ２１０において、走行中安全運転支援の制御を実行開始する。続いて、ステップＳ２２０へ進み、ユーザが本制御、即ち、サービスを始めて利用するか否かを判断する。ここで、ユーザが本サービスを始めて利用する場合（ＹＥＳ）、ステップＳ２３０へ進み、車両が発進する前に、車両や標識認識報知システム１の操作法と基本的な日本の交通ルールについて、ユーザの使う言語で案内を行う。また、ＤＳＭコントローラ６において、ユーザの視線のキャリブレーションを行う。この場合、ユーザが上記した初期案内を聞かないと、車両が発進しないようにすることが好ましい。これにより、車両が走行開始してすぐの、外国の交通ルールを勘違いして誤認識することによる事故を防止できる。
　そして、ステップＳ２４０へ進み、車両が走行開始したか否かを判断する。ここで、走行が開始されない場合には（ＮＯ）、ステップＳ２９０へ進み、駐車時間を計測し、駐車時間が設定時間を超えたら省電力モードにし、走行開始まで待つ、即ち、ステップＳ２４０へ戻る。
　上記ステップＳ２４０において、車両が走行開始した場合（ＹＥＳ）、ステップＳ２５０へ進み、前方のオブジェクト認識処理が開始される。この場合、オブジェクト認識処理を行う監視エリアのサイズと範囲は、図１２に示すように、車両の速度に応じて変化させる。例えば、車両速度が時速６０ｋｍの場合、即ち、図１１において車速Ｖ３の場合には、前方４０ｍから２００ｍの範囲とする。また、車両速度が時速４０ｋｍの場合、即ち、図１１において車速Ｖ２～Ｖ３で示す範囲の場合には、前方４０ｍから１００ｍの範囲とする。また、車両速度が時速２０ｋｍの場合、即ち、図１１において車速Ｖ１～Ｖ２で示す範囲の場合には、前方３０ｍから５０ｍの範囲とする。尚、車両のオブジェクト認識処理能力が高い場合、即ち、カメラやレーダ性能やオブジェクト認識能力が優れている場合には、監視エリアを上記した範囲よりも遠方まで広く設定することができる。
　ここで、監視エリアの設定の考え方について説明する。走行中の車両では、報知対象の標識までの距離範囲が近すぎると、ユーザの車両操作が間に合わない。一方、標識までの距離範囲を遠くまで広げると、対象エリアに多くのオブジェクトが含まれる可能性が高くなるため、標識認識報知システム１の処理負荷が大きくなる。そのため、車速に応じて監視エリアの大きさを変更する必要がある。ユーザの車両操作に数秒の猶予があるタイミングで標識等の報知を行うためには、報知対象を限定する必要がある。このため、標識を理解できないときに、発生する交通事故を想定して、大きな事故が起きる可能性のある標識の表示、即ち、報知を優先するようになっている。例えば、図１５に示すように、複数の標識が同じ位置に上下方向に並べて設置されている場合には、車両の走行状況と周囲の人や他の車両等、即ち、移動体オブジェクトの移動状況に応じて、標識報知の優先度が決められるようになっている。
　さて、ステップＳ２５０において、オブジェクトの認識が開始されると、自車両の位置及び走行方向を計測して、前方や左右の道路に設置された固定オブジェクトを、構築物データベースを使って検索する。そして、ステップＳ２６０へ進み、検索した固定オブジェクトに、交通標識のオブジェクトが含まれるか否かを判断する。ここで、交通標識のオブジェクトが含まれる場合、即ち、前方に交通標識がある場合には（ＹＥＳ）、ステップＳ２７０へ進み、交通標識認識・報知処理を実行する。この交通標識認識・報知処理については、後述する。
　また、上記ステップＳ２６０において、前方に交通標識が無い場合（ＮＯ）、ステップＳ２９５へ進み、認識されたオブジェクトに対応する処理、即ち、何か別の注意すべきオブジェクトがある場合には、そのオブジェクトに対応する処理が行われる。例えば、車外撮影用カメラ７により歩行者が検知された場合には、ユーザに対して、歩行者を検知したことが報知される。
　そして、交通標識認識・報知処理が完了すると、ステップＳ２８０へ進み、車両が走行停止したか否か、即ち、エンジンが停止したか否かを判断する。ここで、車両が走行中でる場合（ＮＯ）、ステップＳ２５０へ戻り、上述した処理を繰り返し実行する。
　また、上記ステップＳ２８０において、車両が走行停止した、即ち、駐車モードになった場合（ＹＥＳ）、本制御を終了する。尚、駐車モードから車両が走行開始した場合には、図４のステップＳ２１０へ戻り、本制御を再開するようになっている。
　次に、上記ステップＳ２７０の交通標識認識・報知処理について、図５のフローチャートを参照して説明する。図５のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。
　まず、図５のステップＳ３１０においては、標識認識報知システム１の情報処理装置８は、車両の走行速度により設定された監視エリア内の交通標識を抽出する。標識の監視エリアは、前述のようにして、車両の走行速度に応じて設定されている。続いて、ステップＳ３２０へ進み、抽出された交通標識の種別が、構築物データベースのデータを主に使って判定される。この場合、車外撮影用カメラ７の撮影画像を画像認識することにより、交通標識の種別を判定するようにしても良い。尚、交通標識の種別が、構築物データベースとカメラ撮影画像とで異なる認識結果となることがあるが、そのような場合、いずれか一方の結果を用いることを予め決めておくことが好ましい。
　そして、ステップＳ３３０へ進み、判定された交通標識の種別に基づいて、外国人のユーザが理解し難い交通標識、即ち、外国ユーザ対象標識であるか否かを判断する。ここで、外国人のユーザが理解し難い交通標識である場合（ＹＥＳ）、ステップＳ３４０へ進み、報知が必要な交通標識であることから、その標識、即ち、報知対象交通標識に処理番号を付け、内部のメモリに設けられた処理番号リストに記録、即ち、記憶する。続いて、ステップＳ３５０へ進み、処理番号リストに基づいて、ユーザへの報知対象交通標識の報知処理を実行する。この報知対象交通標識の報知処理については、後述する。尚、報知対象交通標識の報知処理の処理時間は、車両の走行速度に応じて設定される。即ち、走行速度が大きくなるほど、報知対象交通標識の報知処理に使える時間、即ち、報知処理時間を短く設定するようになっている。上記ステップＳ３５０の処理を完了すると、また、ステップＳ３３０において外国人のユーザが理解し難い交通標識で無い場合（ＮＯ）、本制御を終了し、図４の制御へ戻る。
　次に、図５のステップＳ３５０の処理、即ち、報知対象交通標識の報知制御について、図６のフローチャートを参照して説明する。図６のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。
　まず、図６のステップＳ４１０においては、報知対象交通標識の報知処理のための処理時間を、車両の走行速度に応じて設定する。続いて、ステップＳ４２０へ進み、前記図５のステップＳ３４０にて記録した未処理の処理番号リストを読み込み、報知対象交通標識の個数と変換処理の必要性を取得する。
　そして、ステップＳ４３０へ進み、処理する報知対象交通標識の個数と、それぞれの表示に必要な変換処理時間とから、トータルのデータ処理に要する時間を求め、ユーザが車両操作できるタイミング、即ち、報知開始時刻までに、処理が完了するか否か、トータルのデータ処理が前記設定された処理時間内に完了するか否かを判断する。ここで、報知開始時刻までに処理できない場合には（ＮＯ）、ステップＳ４３５へ進み、未処理の処理番号リストで抽出された各報知対象交通標識に対して、重畳表示、即ち、ユーザへの報知処理の必要性をチェックし、優先度に応じて報知の必要な標識を選択する処理を実行する。この場合、例えば、同時に行える重畳表示処理の最大データ数が２の場合、図１６に示す処理番号リストex1については、処理の必要な標識データ、即ち、「ｎｅｅｄ」のデータが１個あるため、重畳表示処理可能であるが、図１７に示す処理番号リストex2は、処理の必要な標識データが３個あるため、重畳表示処理を実行できない。このような場合、事故防止に必要な標識の優先度を考慮して、最大データ数が２になるように、処理するデータの優先順位を付けて表示処理を行うデータを選択して決定する。このステップＳ４３５の報知標識選択処理については、後述する。
　また、上記ステップＳ４３０において、ユーザが車両操作できるタイミングまでにそれらのデータ処理を完了できると判定されると（ＹＥＳ）、ステップＳ４４０へ進む。このステップＳ４４０では、処理番号リスト中の各標識に対し、重畳表示の必要性をチェックし、必要なものを抽出する。このステップＳ４４０の抽出処理については、後述する。
　続いて、ステップＳ４５０へ進み、重畳表示の必要な対象番号のオブジェクトである標識、即ち、外国人のユーザを対象にした報知の必要な標識の位置を追跡処理する。ここで、追跡処理とは、車両が走行する位置と対象の交通標識の設置位置と表示器の３次元形状データから、運転席から見た標識がどのように見えるかを計算し、その計算した位置に実際の標識があるか否かを、車外撮影用カメラ７の撮影画像によってチェックする処理である。
　そして、ステップＳ４６０へ進み、追跡処理がうまく動作している場合、重畳表示する外国の標識イメージ、即ち、仮想画像を対象番号の実際の標識の近くで、地平線より設定高さ上の適切な位置に、例えばＨＵＤ（Head Up Display）によって表示する。このように仮想画像を、フロントガラスに表示した一例を、図１４に示す。この表示例では、実際の標識２０ａの近く、例えば斜め上方の位置、即ち、地平線より設定高さ上の適切な位置に仮想画像の標識２０ｂを表示している。このように、ユーザの視野に見えるようにする場合、仮想画像は、ユーザから見て、道路上における空のある位置が望ましい。尚、図１４において、矩形の枠は、該矩形の枠で囲んだエリア内の構築物、即ち、オブジェクトは、認識した構築物であることを示すための表示である。
　また、上記追跡処理において、車外撮影用カメラ７の撮影画像と、運転者視野にずれがある場合、そのずれを校正して、表示位置を修正して表示処理を行うようになっている。そのため、下記のキャリブレーションを実施している。尚、キャリブレーションは、図４のステップS２３０にて実行されるようになっている。
　キャリブレーションにおいては、車外撮影用カメラ７の撮影画像と、ユーザの見る景色との対応関係、具体的には、運転開始前、即ち、車両停止中に、物体の位置とユーザの視線方向、即ち、目の動きとの対応関係を調べておく。例えば、ユーザが直進道路の地平線を見た場合の目の位置、即ち、視線方向と、前方１０ｍ左右角度１５度にある、高さ２ｍ直径３０ｃｍの円板を見たときの眼の位置、即ち、視線方向と、左右のサイドミラーを見た場合の眼の位置、即ち、視線方向と、車内のメータやディスプレイを見た場合の視線方向などを事前に調べて内部のメモリに記憶しておく。
　また、走行中に信号機などを見る場合、自車の位置と信号機の位置からユーザの眼の動きを予測し、実際の眼の動きが、想定した動きの範囲に入っているかを確認する。もし、予測と実際の眼の動きに設定範囲以上のずれがある場合には、安全な位置でキャリブレーションを再度実行し、予測と実際の眼の動きのずれを小さくするための補正を行うようになっている。
　続いて、ステップS４７０へ進み、重畳表示の必要な各対象番号の標識について、車両から標識までの距離が、接近指定距離以下になったかを判断する。ここで、標識までの距離が接近指定距離以下になっていないときには（ＮＯ）、ステップＳ４５０へ戻り、上述した処理を繰り返し実行する。
　また、上記ステップＳ４７０において、標識までの距離が接近指定距離以下になったときには（ＹＥＳ）、ステップＳ４８０へ進み、接近指定距離以下になった対象番号の標識、即ち、オブジェクトの表示処理を実行する。そして、表示処理を終了したら、未処理番号を処理済みに変更し、処理番号リストから削除する。更に、未処理の標識の個数、即ち、未処理データのカウント数を減らす。
　続いて、ステップＳ４９０へ進み、処理番号リスト内の未処理の標識の個数が０であるか否か、即ち、未処理データのカウント数が０であるか否かを判断する。ここで、未処理の標識の個数が０でなければ（ＮＯ）、ステップＳ４５０へ戻り、上述した処理を繰り返し実行する。また、上記ステップＳ４９０において、未処理の標識の個数が０であるときには、「ＹＥＳ」へ進み、本制御を終了する。この後は、図５の制御へ戻る。尚、本制御において、ステップＳ４５０からＳ４９０の各処理については、重畳表示の必要な対象番号の標識、即ち、オブジェクトが複数ある場合、複数のオブジェクトの追跡処理と重畳表示を、同時に実行する、即ち、平行して実行するように構成しておくことが好ましい。
　また、本実施形態においては、ユーザの視線移動と顔の表情を検知して、理解していない標識を判定し、そのまま進むと危険な場合には、車両を自動的に徐行させて、または、停止させて、ユーザに対して上記した標識の仮想画像表示に加えて音声等で走行案内や標識の説明を行うように構成されている。尚、ユーザが困っているという感情を、より具体的且つ正確に検知するためには、ユーザの顔画像とともに、例えばＤＳＭによりユーザの脳活動例えば脳波等を検知して、その検知結果を用いることが好ましい。
　次に、図６のステップＳ４３５の処理、即ち、優先度に応じて報知の必要な標識を選択する制御について、図７のフローチャートを参照して説明する。図７のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。
　尚、優先度は、「交通事故の起きる可能性の観点」から、どの標識を優先的に表示するかの度合を示すものであり、予め標識認識報知システム１により決められて記憶されている。例えば、図１５に示すように、標識が５個配置されている場合、即ち、上から順に、（１）追い越し禁止の標識、（２）ここから（追い越し禁止）の標識、（３）駐車禁止の標識、（４）ここから（駐車禁止）の標識、（５）横断歩道の標識が配置されている場合、（１）と（５）の標識の優先度が高く設定されており、これら（１）と（５）の標識が報知の必要な標識として選択される。そして、本実施形態では、ユーザが日本の道路を初めて自動車で走行する外国人、例えば米国出身の外国人である場合には、（１）の標識の近くの位置に仮想標識Ａを表示し、（５）の標識の近くの位置に仮想標識Ｂを表示する制御が実行されるようになっている。
　まず、図７のステップＳ５１０においては、最初に、報知すべき対象番号を確認する。続いて、ステップＳ５２０へ進み、報知対象番号の内容と優先度を確認する。この場合、報知対象番号のオブジェクト、即ち、標識には、報知すべき内容である例えば種別やクラスと、走行状態に応じて設定されたオブジェクト種別重要度とが対応付けて設定されている。そして、本実施形態では、ユーザの視線移動と顔の表情を検知して、ユーザが理解に困っている標識がどれか、その優先度、即ち、ユーザ優先度を検出し、ユーザ優先度の高いものを優先して変換表示を行うように構成されている。また、重要度が低いオブジェクト、即ち、標識は、報知対象から除くことが可能というように設定されている。
　次いで、ステップＳ５３０へ進み、報知対象を減らせるか否かを判断する。この場合、車両の走行状態と標識の種別から、報知対象番号の重要度を算出し、報知しなくてもよい報知対象番号があるか否かを判断する。ここで、報知対象を減らせる場合には（ＹＥＳ）、ステップＳ５４０へ進み、報知しなくてもよいと判定された報知対象番号を、報知対象から外す。
　続いて、ステップＳ５４５へ進み、時間内に報知処理が完了するか否かを判断する。ここで、時間内に報知処理が完了できると判定されると（ＹＥＳ）、ステップＳ５５０へ進み、優先度の大きいもの、即ち、標識を先に処理できるように報知対象番号の処理順序を変更する。この場合、オブジェクト、即ち、標識に対するユーザ優先度を調べ、ユーザ優先度の高いオブジェクトを優先的に表示するように処理番号リストを変更設定する。次いで、ステップＳ５６０へ進み、順序変更処理が完了すると、そのデータ、即ち、指定時間内に処理できるデータを表示処理用の記憶エリアに保存する。これにより、本制御を終了し、図６の制御へ戻る。
　また、上記ステップＳ５３０において、報知対象を減らせない場合、即ち、全ての標識を理解できないと安全が損なわれるような場合（ＮＯ）、ステップＳ５３５へ進み、ユーザが標識を認知できるように車両の速度を減速する。この車両の減速により、報知エリア内にいる車両の滞在時間を長くして、報知に使う時間を長くすることができる。この後は、ステップＳ５４５へ進み、時間内に報知処理が完了するか否かを判断する。これ以降の処理は、上述したように実行する。
　また、上記ステップＳ５４５において、時間内に報知処理が完了できないと判定された場合には（ＮＯ）、ステップＳ５３５へ進み、ユーザが標識を認知できるように車両の速度を減速するようになっている。これ以降の処理は、上述したように実行する。
　尚、上記ステップＳ５３５において、指定時間内に処理できるように車両を減速する理由は、車両を減速した方が、ユーザが標識、即ち、オブジェクトを理解する時間を確保することができて、安全度合いが高まるためである。
　さて、本実施形態においては、ユーザが少し日本の道路の標識に慣れてきて、ある程度、標識を理解できるようになると、優先的に重畳表示するものを変更するように構成されている。このユーザが慣れてきた標識の報知制御、即ち、図６のステップＳ４４０の処理について、図８のフローチャートを参照して説明する。図８のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。
　まず、図８のステップＳ６１０においては、ユーザが日本の標識に不慣れか否かを判断する。この場合、ユーザの視線の動きをＤＳＭコントローラ６により検知し、標識に設定時間以上注意を払う場合には、ユーザは日本の標識に不慣れと判定する。また、ユーザが標識に対して注意を払わなくなった場合には、ユーザは日本の標識に慣れたと判定する。
　上記ステップＳ６１０において、ユーザが日本の標識に不慣れであるときには（ＹＥＳ）、ステップＳ６２０へ進み、すべての標識を重畳表示対象、即ち、仮想表示対象として選択する。これにより、本制御を終了し、図６の制御へ戻る。
　また、上記ステップＳ６１０において、ユーザが日本の標識に慣れたとき、即ち、標識に対し注意を払わなくなったときには（ＮＯ）、ステップＳ６４０へ進み、標識認識報知システム１は、注意を払わなくなった標識をユーザが理解したか否かを確認する。この場合、ユーザは、補助表示が不要になった標識がどの標識であるかの情報を、標識認識報知システム１に伝えることが可能なように構成しても良い。
　上記ステップＳ６４０において、注意を払わなくなった標識をユーザが理解しているときには（ＹＥＳ）、ステップＳ６５０へ進み、ユーザが慣れた標識が重畳表示対象に含まれているか否かを判断する。ここで、ユーザが慣れた標識が重畳表示対象に含まれている場合には（ＹＥＳ）、ステップＳ６６０へ進み、ユーザが慣れた標識を重畳表示対象から除く処理を実行する。この後は、本制御を終了し、図６の制御へ戻る。
　このような構成の本実施形態においては、ユーザの顔画像を撮影し、撮影された顔画像に基づいてユーザの国籍を絞り込み、絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択し、選択した言語で呼びかけを行い、ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定し、推定された使用言語を用いてユーザが理解できる表示画面を表示するように構成した。この構成によれば、表示画面をユーザが日常使う言語に、ほぼ自動的に、即ち、簡単な操作で変更できることから、標識認識報知システム１は、外国人のユーザにとって非常に使い勝手の良いものとなる。
　また、本実施形態では、推定された使用言語を用いてユーザが日常的に走行する道路エリアを選択するように構成したので、ユーザが米国人であるような場合、道路エリアを州の単位で選択することを容易に実現できる。
　本実施形態では、ユーザが注視する複数の物体を検出し、ユーザが注視した物体について、ユーザがその物体の特性を知りたいかどうかを判定するように構成したので、ユーザが知りたいことを判定して情報の表示を行うため、従来の情報表示に比べてユーザが煩わしいと感じることを大幅に低減できる。
　本実施形態では、ユーザが特性を知りたいと判定された物体について、物体の近傍に物体の特性を重畳表示するように構成したので、ユーザは、知りたい物体の特性を容易に視認することができる。この場合、物体の特性としては、物体の画像情報、物体を説明する画像情報や文字情報が含まれていることが好ましい。
　本実施形態では、物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の近傍に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成したので、ユーザは、標識の意味を容易に視認することができる。
　本実施形態では、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成したので、外国人のユーザであっても、日本の標識を、自国の交通標識のどれにあたるかを容易に把握することができる。また、本実施形態では、外国人のユーザが日本の標識に慣れてきたら、その標識については重畳表示しないように構成したので、ユーザが煩わしいと感じることを大幅に低減できる。
　本実施形態では、ユーザが理解しづらい複数の交通標識について、優先度の高い順に、ユーザが理解できる内容の仮想画像を重畳表示するように構成したので、ユーザが理解しづらいことにより起きる誤操作や、操作時の不安を低減することができる。これにより、交通事故の発生を防止できることから、安全性を向上させることができる。
　尚、本実施形態では、日本の交通ルールを熟知しているかどうかを走行前に確認して、交通ルールを熟知したユーザや、本システムを多数回利用して日本の交通ルールに慣れたユーザ等については、国籍等にあわせた標識の仮想画像の重畳表示は行わないように構成した。この構成によれば、ユーザが煩わしいと感じる事態を大幅に低減することができる。ただし、ユーザが初めて見る標識などについては、ユーザの特定の操作によって、その標識の意味を仮想画像等で重畳表示するように構成することが好ましい。
　また、上記実施形態では、標識の仮想画像を車両のウインドシールドガラスに重畳表示するように構成したが、これに限られるものではなく、例えばヘッドマウントタイプのメガネに重畳表示するように構成しても良い。
　（第２実施形態）
　図１８ないし図２３は、第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第１実施形態では、車両のウインドシールドガラスを通してユーザ、即ち、ドライバが視認する標識の近傍に、ドライバの母国の標識の画像情報を重畳表示するように構成した。これに代えて、第２実施形態では、ウインドシールドガラスを通してドライバが視認する標識の上に重ねて、ドライバの母国の標識の画像情報を重畳表示する、即ち、実際の標識が見えないように構成した。
　第１実施形態のように、ドライバが視認する標識の近傍に、ドライバの母国の標識の画像情報を重畳表示する構成の場合、ドライバが視認する情報量が増えてしまうため、正しい情報、即ち、ドライバが理解できる標識の画像情報が表示されていても、混乱が生じるおそれがあった。
　例えば、上記正しい情報が表示されていても、その近傍にあるドライバが視認する標識の意味を、ドライバが誤認した場合には、ドライバが上記正しい情報を認知しない可能性があった。具体的には、ＥＵ内の１つの国で、車両の免許証を取得した場合、ＥＵ内では、共通の免許証として利用できるが、ＥＵ内の国毎に交通標識に差異が見られるため、誤認する可能性が高い。例えば、図１８に示すように、ノルウェーでは、自動車及びバイクの通行止めの標識に斜線があるが、オランダでは斜線が無い。このため、ノルウェーで免許証を取得したドライバが、オランダ内で運転する場合に、自動車及びバイクの通行止めの標識を視認した場合、通行できると誤認する可能性がある。
　そこで、第２実施形態では、ウインドシールドガラスを通してドライバが実際に視認する標識の上に重ねて、ドライバの母国の標識の画像情報を重畳表示することにより、実際の標識が見えないように構成した。以下、第２実施形態について、具体的に説明する。
　まず、図１９のフローチャートで示す走行中安全運転支援用の制御について、説明する。この図１９の制御では、第１実施形態の図４の制御の中のステップＳ２３０に代えて、ステップＳ２３０５を実行するように構成し、他の制御は、図４の制御と同じ制御を実行するように構成されている。
　即ち、図１９のステップＳ２１０、Ｓ２２０の処理は、図４の制御と同様に実行する。そして、ステップＳ２２０において、ユーザが本サービスを始めて利用する場合（ＹＥＳ）、ステップＳ２３０５へ進み、車両が発進する前に、ＤＳＭコントローラ６において、ユーザ、即ち、ドライバの視線のキャリブレーションを行う。第２実施形態の場合、第１実施形態とは異なり、日本の交通ルール等について、ユーザの使う言語での案内は実行しない。この場合、母国の交通標識の画像情報を重畳表示することにより、既存、即ち、実際の交通標識を見えないようにする本実施形態であれば、基本的な交通ルールを学ぶ必要は無いと考えられるからである。尚、車両がレンタカーである場合には、車両や標識認識報知システム１の操作法について、ユーザの使う言語で案内を行うように構成することが好ましい。また、車両がユーザのオーナーカーである場合には、上記したドライバの視線のキャリブレーションを行うだけで良い。
　上記ステップＳ２３０５を実行した後は、ステップＳ２４０～Ｓ２９５を、図４の制御と同様に実行する。
　次に、上記図４のステップＳ２７０の交通標識認識・報知処理については、第１実施形態と同様にして、図５のフローチャートの制御を実行する。尚、図５のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。
　さて、上記図５のステップＳ３５０の処理、即ち、報知対象交通標識の報知制御については、図２０のフローチャートを参照して説明する。図２０のフローチャートは、標識認識報知システム１、即ち、ＤＳＭコントローラ６と情報処理装置８の制御の内容を示す。そして、この図２０の制御では、第１実施形態の図６の制御の中のステップＳ４６０に代えて、ステップＳ４６０５を実行するように構成し、他の制御は、図６の制御と同じ制御を実行するように構成されている。
　図２０のステップＳ４１０～Ｓ４５０の処理は、図６の制御と同様に実行する。そして、ステップＳ４５０の制御、即ち、外国人のユーザ、即ち、ドライバを対象にした報知の必要な標識、即ち、オブジェクトの位置を追跡する制御を実行した後は、ステップＳ４６０５へ進む。このステップＳ４６０５においては、上記標識の位置の追跡がうまく動作している場合、重畳表示する外国、即ち、ドライバの母国の標識のイメージ、即ち、仮想の画像情報を、対象番号の実際の標識、即ち、オブジェクトそのものの上に、重畳表示する。
　この場合、図２に示すディスプレイ１４に加えて、車両のウインドシールドガラス（即ち、フロントガラス）全体に表示する大型の液晶ディスプレイや、大型のＨＵＤによって表示するように構成されている。尚、大型の液晶ディスプレイとしては、ウインドシールドガラス全体に貼り付けられた例えば透明の有機ＥＬディスプレイを用いることが好ましい。また、大型のＨＵＤとしては、ウインドシールドガラス全面に画像を投影するプロジェクタ方式のＨＵＤを用いることが好ましい。
　ウインドシールドガラス全面の液晶ディスプレイに重畳表示した場合、既存、即ち、実際の交通標識を完全に覆い隠して重畳表示することができる。即ち、ドライバが既存の交通標識を視認できないように隠すことができる。また、全面プロジェクタ方式のＨＵＤなどの透過型のディスプレイの場合には、調光フィルタを貼ったディスプレイが望ましい。尚、既存の交通標識が太陽光の反射やＬＥＤによる加飾により輝度が高くなることがあるため、このような場合には、既存の交通標識への視線上のディスプレイエリアを部分調光によって暗くした上で、重畳画像を表示させる。これにより、輝度の高い交通標識であっても、その交通標識を見えないようにして仮想の画像情報を重畳表示することが可能となる。
　ここで、仮想画像を、上述したようにウインドシールドガラスに重畳表示する処理の具体例について、図２１、図２２を参照して説明する。図２１は、例えばオランダの「自動車およびバイク通行止め」の交通標識３１が路上に設置されている様子、即ち、ドライバが交通標識３１を視認している状態を示す図である。この図２１に示す道路を、例えばノルウエーで免許を取得したドライバが車両で走行して、上記交通標識３１を見た場合、ノルウエーの「自動車およびバイク通行止め」の交通標識には、斜線が入っている（図２２参照）ので、自動車およびバイクが走行できると勘違いするおそれがある。
　これに対して、第２実施形態によれば、図２２に示すように、図２１に示す交通標識３１の上に、ドライバの母国であるノルウエーの「自動車およびバイク通行止め」の交通標識の仮想画像、即ち、画像情報３２が重畳表示され、オランダの既存の交通標識３１が見えなくなる。これにより、ノルウエーで免許を取得したドライバは、母国の交通標識の仮想画像３２を視認することにより、交通標識の意味、即ち、「自動車およびバイク通行止め」であることを明確に認識することができる。尚、図２１、図２２において、矩形の枠は、該矩形の枠で囲んだエリア内のオブジェクトを、本システム１が認識したオブジェクトであることを示すための表示である。
　また、第１実施形態の図１５に示すように、標識が５個配置されている場合、即ち、上から順に、（１）追い越し禁止の標識、（２）ここから（追い越し禁止）の標識、（３）駐車禁止の標識、（４）ここから（駐車禁止）の標識、（５）横断歩道の標識が配置されている場合、（１）と（５）の標識の優先度が高く設定されており、これら（１）と（５）の標識が報知の必要な標識として選択される（図２０のステップＳ４３５参照）。これに対して、第２実施形態では、図２３に示すように、ユーザが日本の道路を初めて自動車で走行する外国人、例えば米国出身の外国人である場合には、（１）の標識の上に、仮想標識の画像情報Ａを表示し、（５）の標識の上に仮想標識の画像情報Ｂを表示する制御が実行されるようになっている。そして、第２実施形態においては、既存の標識が見えなくなることから、ユーザ、即ち、ドライバの慣れによって重畳表示対象を変化させるなどの制御、即ち、第１実施形態の図８の制御は不要になる。
　上記ステップＳ４６０５を実行した後は、ステップＳ４７０～Ｓ４９０を、図６の制御と同様に実行する。
　尚、上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第２実施形態によれば、ユーザが特性を知りたいと判定された物体について、物体の上に物体の特性を重畳表示する、具体的には、見えている実際、即ち、既存の交通標識の上にユーザの母国の交通標識を重畳表示するように構成したので、実際の交通標識を視認できなくなる。これにより、情報量が増えることがなくなり、ユーザの情報視認量を低減させることができることから、重畳表示する前の既存の交通標識をユーザが誤認してしまう可能性を低減することができる。そして、第２実施形態の場合、ユーザの視線の先にある交通標識のみを重畳表示するため、システム負荷を最小限にしつつ、ユーザに確実に情報を通知することができる。
　また、第２実施形態では、大型の液晶ディスプレイやプロジェクタ方式のＨＵＤによりウィンドシールドガラスに標識の画像情報を重畳表示するように構成したので、ユーザの視線移動を少なくすることができ、情報取得のために必要な脇見行動を低減することができる。また、ヘッドマウントタイプのメガネを用いて、見えている実際の交通標識の上にユーザの母国の交通標識の画像情報を重畳表示するように構成しても良く、同様の効果を得ることができる。
　また、第２実施形態は、車両がユーザのオーナーカーである場合に好適するシステムである。オーナーカーである場合、ドライバの顔画像を撮影し、撮影された顔画像に基づいてドライバ、即ち、ユーザを個人認識する。この場合、情報処理装置８は、ユーザ認識部としての機能を有する。そして、個人認識したユーザの個人情報に基づいて、ユーザの母国やユーザが使用する言語を特定し、ユーザが使用する言語を用いてユーザが理解できる表示画面を表示すると共に、上述した重畳表示を行なうように構成されている。
　尚、車両がオーナーカーである場合には、本システム１は、ユーザの個人情報、即ち、顔画像の情報や、国籍、使用言語、氏名、住所、年齢、電話番号、メールアドレス等の情報は、ユーザのスマホ等の携帯端末や情報センタのサーバ等から無線通信や有線通信等を介して取得したり、ユーザによって手操作等でデータ入力したりするように構成しても良い。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
 

Claims (16)

  1. 　ユーザの顔画像を撮影する顔画像撮影部（２、３）と、
    　撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部（８）と、
    　絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択して呼びかけを行う呼びかけ部（８）と、
    　ユーザの顔画像の変化と、呼びかけに対するユーザの応答結果に基づいて、ユーザが使用する言語を推定する使用言語推定部（８）と、
    　推定された使用言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）と、
    を備えた車載情報表示装置。
  2. 　推定された使用言語を用いてユーザが日常的に走行する道路エリアを選択する道路エリア選択部（８）を備えた請求項１記載の車載情報表示装置。
  3. 　ユーザが注視する複数の物体を検出する注視物体検出部（６）と、
    　ユーザが注視した物体について、ユーザがその物体の特性を知りたいかどうかを判定する注視物体情報判定部（８）と、
    を備えた請求項２記載の車載情報表示装置。
  4. 　ユーザが特性を知りたいと判定された物体について、前記物体の近傍に前記物体の特性を重畳表示する重畳表示制御部（８）を備えた請求項３記載の車載情報表示装置。
  5. 　前記物体の特性としては、物体の画像、物体を説明する画像情報や文字情報が含まれている請求項４記載の車載情報表示装置。
  6. 　前記重畳表示制御部は、前記物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の近傍に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成された請求項５記載の車載情報表示装置。
  7. 　前記重畳表示制御部は、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成された請求項６記載の車載情報表示装置。
  8. 　ユーザの顔画像を撮影する顔画像撮影部と、
    　撮影された顔画像に基づいてユーザの国籍を絞り込む国籍絞り込み部と、
    　絞り込まれた国籍に基づいてユーザへの呼びかけ言語を選択する呼びかけ言語選択部（８）と、
    　選択された１以上の言語にて呼びかけを行う呼びかけ部と、
    　前記１以上の言語の呼びかけの間、または、呼びかけ後、呼びかけに対する顔画像の変化とユーザの応答結果基づいて、ユーザが使用する言語を推定する使用言語推定部と、
    を備えた使用言語推定装置。
  9. 　ユーザが特性を知りたいと判定された物体について、前記物体の上に前記物体の特性を重畳表示する重畳表示制御部（８）を備えた請求項３記載の車載情報表示装置。
  10. 　前記物体の特性としては、物体の画像、物体を説明する画像情報や文字情報が含まれている請求項９記載の車載情報表示装置。
  11. 　前記重畳表示制御部は、前記物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の上に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成された請求項１０記載の車載情報表示装置。
  12. 　前記重畳表示制御部は、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成された請求項１１記載の車載情報表示装置。
  13. 　ユーザの顔画像を撮影する顔画像撮影部（２、３）と、
    　撮影された顔画像に基づいてユーザを個人認識するユーザ認識部（８）と、
    　ユーザの個人認識情報に基づいてユーザが使用する言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）と、
    　ユーザが特性を知りたいと判定された物体について、前記物体の上に前記物体の特性を重畳表示する重畳表示制御部（８）と、
    を備えた車載情報表示装置。
  14. 　前記物体の特性としては、物体の画像、物体を説明する画像情報や文字情報が含まれている請求項１３記載の車載情報表示装置。
  15. 　ユーザの顔画像を撮影する顔画像撮影部（２、３）と、
    　撮影された顔画像に基づいてユーザを個人認識するユーザ認識部（８）と、
    　ユーザの個人認識情報に基づいてユーザが使用する言語を用いてユーザが理解できる表示画面を表示する表示制御部（８）と、
    　ユーザが特性を知りたいと判定された物体について、前記物体の上に前記物体の特性を重畳表示する重畳表示制御部（８）と、
    を備え、
    　前記重畳表示制御部は、前記物体が道路上に設置された標識である場合、車両のウインドシールドガラスを通してユーザが見る前記標識の上に、前記標識の意味を説明する画像情報や文字情報を重畳表示するように構成された車載情報表示装置。
  16. 　前記重畳表示制御部は、ユーザが外国人であった場合、ユーザの国籍とユーザが高い頻度で利用する道路エリアの地図情報に基づいて、標識の意味をユーザが理解できるように説明する画像情報や文字情報を重畳表示するように構成された請求項１５記載の車載情報表示装置。
     
PCT/JP2018/037545 2017-12-22 2018-10-09 車載情報表示装置及び使用言語推定装置 WO2019123784A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112018006544.8T DE112018006544T5 (de) 2017-12-22 2018-10-09 Fahrzeuginformationsanzeigeapparat und Verwendete-Sprache-Schätzungsapparat

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017246279 2017-12-22
JP2017-246279 2017-12-22
JP2018-142402 2018-07-30
JP2018142402A JP2019113520A (ja) 2017-12-22 2018-07-30 車載情報表示装置及び使用言語推定装置

Publications (1)

Publication Number Publication Date
WO2019123784A1 true WO2019123784A1 (ja) 2019-06-27

Family

ID=66994006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037545 WO2019123784A1 (ja) 2017-12-22 2018-10-09 車載情報表示装置及び使用言語推定装置

Country Status (1)

Country Link
WO (1) WO2019123784A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112097759A (zh) * 2020-08-18 2020-12-18 北京视域四维城市导向***规划设计有限公司 智能导航***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (ja) * 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
JP2007041961A (ja) * 2005-08-04 2007-02-15 Alpine Electronics Inc 標識提示装置及び標識提示方法
JP2008293079A (ja) * 2007-05-22 2008-12-04 Olympus Imaging Corp ガイド装置およびカメラ
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (ja) * 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
JP2007041961A (ja) * 2005-08-04 2007-02-15 Alpine Electronics Inc 標識提示装置及び標識提示方法
JP2008293079A (ja) * 2007-05-22 2008-12-04 Olympus Imaging Corp ガイド装置およびカメラ
JP2014137627A (ja) * 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112097759A (zh) * 2020-08-18 2020-12-18 北京视域四维城市导向***规划设计有限公司 智能导航***

Similar Documents

Publication Publication Date Title
JP6690649B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US8725309B2 (en) Safety driving support apparatus
JP4650349B2 (ja) 車両用表示システム
US10636301B2 (en) Method for assisting operation of an ego-vehicle, method for assisting other traffic participants and corresponding assistance systems and vehicles
JP6613623B2 (ja) 車載装置、運転モード制御システム、及び運転モード制御方法
JP2007094618A (ja) 通知制御装置および方法、記録媒体、並びに、プログラム。
JP2019113520A (ja) 車載情報表示装置及び使用言語推定装置
JP6773488B2 (ja) 交通参加者の注意度を改善する方法及びシステム
KR101976106B1 (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
JPH06251287A (ja) 運転支援システム
US11537354B2 (en) Head-up display system
JP6020371B2 (ja) 車両用情報提供装置
JP2014120111A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP2014120114A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP7299031B2 (ja) 車両呼出／誘導システムおよびヘッドアップディスプレイ装置
JP6295360B1 (ja) メッセージ表示用プログラム、メッセージ表示装置、及びメッセージ表示方法
WO2019123784A1 (ja) 車載情報表示装置及び使用言語推定装置
JP2020050204A (ja) 車両の走行制御方法及び走行制御装置
JP2014120113A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
WO2020065892A1 (ja) 車両の走行制御方法及び走行制御装置
JP7063001B2 (ja) 情報提供方法および情報提供システム
JP6250891B2 (ja) 移動体用情報出力装置
WO2022176111A1 (ja) 改善項目検出装置、改善項目検出方法、及びプログラム
JP2006219077A (ja) 危険個所、障害物等の呼称運転支援装置
CN113401071B (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18891051

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18891051

Country of ref document: EP

Kind code of ref document: A1