WO2012176535A1 - 車載機器操作装置及び報知装置 - Google Patents

車載機器操作装置及び報知装置 Download PDF

Info

Publication number
WO2012176535A1
WO2012176535A1 PCT/JP2012/059854 JP2012059854W WO2012176535A1 WO 2012176535 A1 WO2012176535 A1 WO 2012176535A1 JP 2012059854 W JP2012059854 W JP 2012059854W WO 2012176535 A1 WO2012176535 A1 WO 2012176535A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
gaze direction
button
vehicle device
occupant
Prior art date
Application number
PCT/JP2012/059854
Other languages
English (en)
French (fr)
Inventor
高橋昭夫
植田信介
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2013521495A priority Critical patent/JP5554879B2/ja
Priority to US14/124,054 priority patent/US9499110B2/en
Priority to EP12803269.5A priority patent/EP2708420B1/en
Publication of WO2012176535A1 publication Critical patent/WO2012176535A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/027—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems between relatively movable parts of the vehicle, e.g. between steering wheel and column
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/782—Instrument locations other than the dashboard on the steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1223—Mirror assemblies combined with other articles, e.g. clocks with sensors or transducers

Definitions

  • the present invention relates to an in-vehicle device operating device that can operate a plurality of in-vehicle devices using the gazing direction of the occupant and a notification device that notifies the gazing direction of the vehicle occupant.
  • JP 2010-105417 A discloses a technique that allows an in-vehicle device 21 to be watched by a vehicle driver to be operated by an operation input means 28 provided on a steering wheel 50. Is disclosed (summary).
  • U.S. Patent Application Publication No. 2010/0324779 (hereinafter referred to as “US ⁇ 2010/0324779 A1 ”) describes an in-vehicle device (side mirror 21, room mirror 22, navigation system 23, in-vehicle phone) that is intended to be operated by a passenger. 24, an air outlet 25, and a meter panel 26) are selected by an occupant's line of sight L and operated by a common steering switch 16 (summary).
  • the occupant is informed via the pilot lamps 21a, 22a, 23a, 24a, 25a, 26a that the in-vehicle device that the line of sight L points to can be operated (summary and FIG. 1).
  • JP1052010-105417 ⁇ A it is necessary to specify the in-vehicle device 21 being watched by the driver.
  • the in-vehicle device 21 is arranged close to the audio device and the air conditioner, the in-vehicle device 21 is installed.
  • high-precision image processing is required to ensure the determination accuracy, it is necessary to use a high-resolution camera, a high-performance arithmetic unit, and the like, resulting in a high cost.
  • the present invention has been made in consideration of such problems, and an object of the present invention is to provide an in-vehicle device operating device capable of preventing erroneous determination of an in-vehicle device to be operated and reducing the cost.
  • Another object of the present invention is to enable easy identification of an operation target device based on a gaze direction, and allows an operator such as an occupant to recognize a gaze direction detected by the apparatus side. It is to provide a notification device.
  • a vehicle-mounted device operating device includes a plurality of vehicle-mounted devices that are mounted on a vehicle and can be operated by a vehicle occupant, and a gaze direction that detects the gaze direction of the vehicle occupant based on the line-of-sight direction or face direction of the vehicle occupant Detecting means; vehicle-mounted device specifying means for specifying any one of the plurality of vehicle-mounted devices based on the gaze direction detected by the gaze direction detecting device; and the vehicle-mounted device operable by the occupant And a plurality of in-vehicle devices arranged in the vehicle width direction of the vehicle and in the vertical direction intersecting the vehicle width direction.
  • the vehicle-mounted device specifying unit specifies the vehicle-mounted device group based on the gaze direction detected by the gaze direction detecting unit, and the vehicle-mounted device group is specified in a state where the vehicle-mounted device group is specified.
  • the vertical direction selecting means is operated, any one of the specified in-vehicle devices is specified based on the vertical direction selected by the vertical direction selecting means.
  • the in-vehicle device group in the vehicle width direction is specified based on the gazing direction of the occupant, and any one of the in-vehicle devices in the specified in-vehicle device group is specified by operating the vertical direction selection unit. Therefore, it is not necessary for the occupant to look closely at any of the in-vehicle devices to be identified, and only point the line of sight or face in the direction of the in-vehicle device group (vehicle width direction) where any of the in-vehicle devices to be identified exists. Get better.
  • the vertical direction selecting means may be constituted by individual operation switches assigned corresponding to the selectable vertical directions.
  • the operation target device can be reliably selected. For this reason, convenience can be improved.
  • the vertical direction selecting means may also serve as an operation input means for performing a specific operation input to the specified in-vehicle device in a state where the in-vehicle device is specified by the in-vehicle device specifying means.
  • the vertical direction selection means for example, device selection switch
  • the operation input means for example, device operation switch
  • the gaze direction detection means includes an imaging means provided in the vehicle interior so as to be able to take an image including the occupant, and a face orientation angle of the occupant in the vehicle width direction based on the image taken by the imaging means And a gaze direction of the occupant may be detected based on the face orientation angle detected by the face orientation angle detection means.
  • the face direction angle in the vehicle width direction can be obtained from the image processing. Therefore, there are devices such as high-precision image processing and infrared light emitting diodes (LEDs) for performing gaze detection using pupil bright spot detection and the like. It becomes unnecessary and it is possible to further reduce the cost.
  • the vertical direction selecting means is configured as a cross switch provided on a steering wheel of the vehicle, and the selectable vertical direction is assigned corresponding to the vertical direction of the cross switch in a front view of the steering wheel. Also good.
  • the in-vehicle device can be operated without releasing the hand from the steering wheel, so that convenience is improved.
  • the selectable direction corresponds to the vertical position of the cross key, the in-vehicle device can be selected more intuitively, and the blind operation can be further facilitated.
  • Display means for displaying the in-vehicle device group specified by the in-vehicle device specifying means may be provided for each in-vehicle device group.
  • the notification device includes a plurality of in-vehicle devices that are mounted on a vehicle and that can be operated by a passenger of the vehicle, and a gaze direction detection unit that detects a gaze direction of the occupant based on a gaze direction or a face direction of the occupant. And a plurality of in-vehicle devices that are arranged in the vehicle width direction of the vehicle and in the vertical direction intersecting the vehicle width direction are divided into predetermined regions in the vehicle width direction.
  • the in-vehicle device specifying means for specifying any of the in-vehicle device groups and the notification for informing the in-vehicle device group specified by the in-vehicle device specifying means
  • the notification means has a width equivalent to the width of each of the predetermined areas, and is arranged side by side in the vehicle width direction on the instrument panel of the vehicle.
  • the information specified based on the gazing direction of the occupant among the plurality of in-vehicle device groups in the vehicle width direction is notified using the notification means.
  • the notification means has a width equivalent to the width of a predetermined area corresponding to each in-vehicle device group in the vehicle width direction, and is arranged side by side in the vehicle width direction on the instrument panel. Therefore, the occupant can visually recognize the boundary and width of the predetermined area, and can recognize the switching of the specified in-vehicle device group, and in the vehicle width direction with a minimum change in line of sight or face direction. It is possible to easily identify the in-vehicle device.
  • the occupant is informed by the presence of the notification means that notifies the detected gaze direction. And the gaze direction can be adjusted appropriately.
  • the detection of the line-of-sight direction or face direction is It becomes better only in the vehicle width direction.
  • the notification means may notify the boundary line of the predetermined area even if the in-vehicle device group is not specified by the in-vehicle device specifying means.
  • the occupant can surely understand the boundary line, and it is possible to understand to which width region the specific in-vehicle device group can be selected by changing the line of sight or the face direction.
  • the notification device further includes operation means provided so as to be operable by the occupant at a place different from the in-vehicle device, and the operation means can select the in-vehicle device in the vertical direction from the in-vehicle device group.
  • the vehicle-mounted device specifying unit specifies the vehicle-mounted device group based on the gaze direction detected by the gaze direction detecting unit, and the vehicle-mounted device group is specified in a state where the vehicle-mounted device group is specified. Based on the up-down direction selected by the up-down direction selection means, any one of the specified in-vehicle equipment groups is specified, and the notification means is notified by the in-vehicle equipment specified by the in-vehicle equipment specification means.
  • the method may be changed. Thereby, the passenger
  • the notification means may be capable of adjusting the width. Thereby, even if the gaze direction detected by the gaze direction detection means is deviated from the actual gaze direction, the gaze direction can be adjusted, and it is possible to detect the gaze direction along the actual gaze direction without any sense of incongruity.
  • the notification device detects a gaze direction of the occupant in the vehicle width direction based on a plurality of in-vehicle devices arranged in the vehicle width direction in the vehicle and at least one of the sight line direction and the face direction of the occupant.
  • a gaze direction detection unit an in-vehicle device identification unit that identifies one or more of the in-vehicle devices corresponding to the gaze direction from the plurality of in-vehicle devices, a range in which the gaze direction can be detected, and the vehicle width direction
  • An informing unit for visually informing the detected gaze direction or the gazeable area corresponding to the specified one or more in-vehicle devices among a plurality of gazeable regions set according to a plurality of on-vehicle devices;
  • the notification unit is provided continuously or intermittently along the vehicle width direction for each of the plurality of gazeable regions in the lower part or the upper part of the front window or in the vicinity thereof. It is in, and having a plurality of indicators indicating the boundary of the gaze region adjacent.
  • a plurality of indicators are provided for visually informing the gazeable area corresponding to the detected gaze direction or the specified one or more in-vehicle devices.
  • the plurality of indicators are provided continuously or intermittently along the vehicle width direction for each of a plurality of gazeable areas at the lower part or the upper part of the front window or around the front window, and indicate the boundaries between adjacent gazeable areas. Therefore, the occupant can visually recognize the boundary and width of the gazeable area, and can recognize the change of the selected gazeable area, with the minimum change in gaze or face direction. In-vehicle equipment can be reliably identified.
  • Detection can be performed only in the vehicle width direction.
  • the sight line direction or face direction of the occupant is used only for specifying one or more in-vehicle devices in the vehicle width direction (for example, specifying the vertical direction is when another selection device is used)
  • Detection can be performed only in the vehicle width direction.
  • FIG. 1 is an overall block diagram of a vehicle equipped with an in-vehicle device operation device (notification device) according to an embodiment of the present invention. It is an external view of the front window periphery of the vehicle. It is an external appearance front view of the steering wheel of the vehicles. It is an external appearance perspective view of the door mirror of the said vehicle. It is a figure which shows the state which divided the periphery of the said front window into five area
  • 12 is a flowchart of boundary line adjustment processing (S5 in FIG. 11). It is a figure explaining the adjustment method of the said boundary line. It is a figure which shows an example of the state change of the said indicator at the time of the end of adjustment from the adjustment of the said boundary line. 12 is a flowchart of normal processing (S6 in FIG. 11). It is a figure which shows an example of the state in which the detection of a gaze direction is performed normally. It is a figure which shows an example of the state which cannot detect a gaze direction. It is a figure which shows an example of the state in which the detection of the gaze direction is performed accidentally. 4 is a flowchart in which the ECU selects an operation target device.
  • FIG. 6 is a diagram showing a state in which the periphery of the front window is divided into three areas as a modification of FIG. 5. It is a figure which shows the structure which used the pilot lamp instead of the indicator in the said embodiment.
  • FIG. 1 is an overall block diagram of a vehicle 10 equipped with an in-vehicle device operation device 12 (hereinafter also referred to as “operation device 12”) according to an embodiment of the present invention.
  • FIG. 2 is an external view around the front window 11 of the vehicle 10.
  • the operating device 12 includes an occupant camera 14, a cross key 18 provided on the steering wheel 16, a plurality of in-vehicle devices 20, a gaze direction indicator 22 (hereinafter “display 22”).
  • display 22 a gaze direction indicator 22
  • ECU 24 electronice control unit 24
  • the vehicle 10 of this embodiment is a so-called right-hand drive vehicle. Instead, the same configuration can be adopted even for a left-hand drive vehicle.
  • the occupant camera 14 is installed in front of the driver in a steering column (not shown), and acquires an image of the driver's face (hereinafter referred to as “face image”).
  • face image an image of the driver's face
  • the position of the occupant camera 14 is not limited to this, and may be disposed around the rearview mirror 25 (FIG. 2), for example.
  • the occupant camera 14 is not limited to imaging from a single direction, and may be a camera that captures images from a plurality of directions (so-called stereo camera).
  • Cross key 18 The driver can specify the in-vehicle device 20 (hereinafter referred to as “operation target device”) to be operated using the cross key 18 and input the operation of the specified in-vehicle device 20.
  • the cross key 18 has a center button 30, an upper button 32, a lower button 34, a left button 36 and a right button 38. Note that the cross key 18 in FIG. 2 is enlarged and displayed. The operation method of the cross key 18 will be described later.
  • the plurality of in-vehicle devices 20 include a navigation device 40, an audio device 42, an air conditioner 44, a head-up display 46 (hereinafter referred to as “HUD 46”), and a hazard lamp 48. And a driver's seat 50, a door mirror 52, a rear light 54, a driver's seat side window 56, and a passenger's seat side window 58.
  • the rear light 54 illuminates the rear side of the vehicle 10 with a light emitting diode (LED) under the door mirror 52.
  • LED light emitting diode
  • Gaze direction indicator 22 As shown in FIG. 2, the display 22 is provided on the instrument panel 59 around the lower portion of the front window 11. As will be described later, the indicator 22 can be provided at another position.
  • the indicator 22 also includes a plurality of gaze direction indicators 26a to 26e (hereinafter referred to as “indicators 26a to 26e”, collectively referred to as “indicators 26”) indicating the gaze direction of the driver (occupant) in the vehicle width direction.
  • Each indicator 26a to 26e is composed of a lighting device such as a light emitting diode (LED).
  • LED light emitting diode
  • the indicators 26 a to 26 e can be configured by the HUD 46.
  • each of the indicators 26a to 26e can display a plurality of colors (for example, blue, green, yellow, and red), but may display only a single color.
  • one of the indicators 26a to 26e corresponding to the driver's gaze direction is turned on, and the other indicators 26a to 26e are turned off. For this reason, the driver can grasp the gaze direction detected by the operation device 12.
  • Boundary lines 28a to 28d are arranged between the adjacent indicators 26a to 26e.
  • the boundary lines 28a to 28d are composed of, for example, an illumination device such as an LED, like the indicators 26a to 26e.
  • a plurality of lighting elements such as LEDs arranged in the entire display 22 can be used as the indicators 26a to 26e and the boundary lines 28a to 28d.
  • a configuration in which the boundary lines 28a to 28d themselves do not emit light or a configuration in which the boundary lines 28a to 28d are not provided is also possible.
  • the ECU 24 controls the in-vehicle device operating device 12 (in particular, each in-vehicle device 20 in the present embodiment), and includes an input / output device 60, an arithmetic device 62, and a storage device 64 as shown in FIG.
  • the arithmetic device 62 includes a gaze direction detection function 70, an in-vehicle device group specifying function 72, an individual in-vehicle device specifying function 74, and an in-vehicle device control function 76.
  • each in-vehicle device 20 can be easily controlled. That is, the driver turns the line of sight or face in the vehicle width direction where the in-vehicle device 20 to be operated (hereinafter referred to as “operation target device”) exists and operates the cross key 18 to select the operation target device. It is possible to control. As will be described later, the operation target device can be specified and controlled by other methods.
  • the gaze direction detection function 70 is a function that detects the gaze direction of the driver based on at least one of the driver's (occupant) face direction and the gaze direction (eyeball direction).
  • the in-vehicle device group specifying function 72 is a function for specifying in-vehicle device groups (groups A to D) existing in the gaze direction detected by the gaze direction detection function 70.
  • the individual in-vehicle device specifying function 74 is a function for specifying an operation target device in accordance with a driver's operation from a plurality of in-vehicle devices 20 included in the in-vehicle device group specified by the in-vehicle device group specifying function 72.
  • the in-vehicle device control function 76 is a function for controlling the operation target device specified by the individual in-vehicle device specifying function 74 according to the operation input of the driver.
  • the driver turns the line of sight or face in the vehicle width direction in which the operation target device exists and operates the cross key 18 to operate the operation target device. Can be controlled.
  • the face direction and the line-of-sight direction are detected based on the driver's face image captured by the occupant camera 14, and the gaze direction in the vehicle width direction is determined based on these. Thereafter, the height direction (vertical direction) is specified based on the operation of the cross key 18. Thereby, the operation target device is specified.
  • five directions shown in FIG. 5 are set as gaze directions in the vehicle width direction. That is, the periphery of the front window 11 is divided into five areas A1 to A5. More specifically, the center area A1, the front area A2, the right area A3, the left area A4, and the other area A5. Each in-vehicle device 20 is assigned to each of these directions (groups A to D).
  • the navigation device 40, the audio device 42, and the air conditioner 44 (group A) are allocated to the area A1 in the central direction.
  • “navigation” means “navigation device”
  • “audio” means “audio device”
  • “air conditioner” means “air conditioner”.
  • HUD 46, hazard lamp 48, and seat 50 are assigned to the area A2 in the front direction.
  • hazard means “hazard lamp”.
  • the door mirror 52, the rear light 54 and the driver's seat side window 56 (group C) are assigned to the right area A3, and the door mirror 52, the rear light 54 and the passenger seat side window 58 (group) are assigned to the left area A4.
  • D) is assigned.
  • No in-vehicle device 20 is assigned to the area A5 in the other direction.
  • the left and right door mirrors 52 are simultaneously unfolded and stored.
  • the left and right rear lights 54 are operated simultaneously.
  • the ECU 24 detects the face direction and the line-of-sight direction (relative position of the eyeball) based on the face image from the occupant camera 14, and uses these to determine the driver's gaze direction. The determination of the gaze direction can be performed from only one of the face direction and the gaze direction. Then, the ECU 24 (in-vehicle device group specifying function 72) specifies the in-vehicle device group (groups A to D) based on the determined gaze direction. Next, the operation target device is specified in accordance with the pressed button (any one of the buttons 30, 32, 34, 36, and 38) of the cross key 18. Thereafter, the operation target device is operated in accordance with the operation of the cross key 18.
  • Operation target device selection method and operation example in the present embodiment show first to third operation examples of the driver 100 when the volume of the audio device 42 is changed.
  • the driver 100 sees or turns his face to the area A1 (center direction) where the audio device 42 is located among the five areas A1 to A5.
  • ECU24 specifies a vehicle equipment group (group A) using the gaze direction determination technique mentioned later.
  • an arrow X in FIG. 6A indicates the gaze direction of the driver 100 (the same applies to the other drawings).
  • the ECU 24 lights the indicator 26a corresponding to the determined gaze direction X ⁇ or the specified in-vehicle device group (group A) ⁇ .
  • the indicators 26a to 26e that are turned on when the gaze direction X changes are also switched, and the indicators 26a to 26e are turned on in a color (for example, green) indicating that the operation target device is not specified.
  • the driver 100 depresses the cross key 18 at a position corresponding to the positional relationship (from the top, the navigation device 40, the audio device 42, and the air conditioner 44) of the in-vehicle devices 20, and determines the operation target device. To do. That is, since the center button 30 corresponds to the audio device 42 in the cross key 18, the driver 100 depresses the center button 30. Thereby, the group A is selected, and the central indicator 26a continues to be lit regardless of the subsequent gaze direction X. The color of the indicator 26a changes according to the selected operation target device. For example, the navigation device 40 is blue, the audio device 42 is yellow, and the air conditioner 44 is red. Therefore, when the audio device 42 is selected, the indicator 26a is displayed in yellow.
  • the driver 100 adjusts the volume of the audio device 42 by operating the cross key 18. That is, the volume level increases by 1 each time the upper button 32 is pressed, and the volume level decreases by 1 each time the lower button 34 is pressed. At this time, the driver 100 does not need to look at the target area (the central area A1 corresponding to the group A) or the in-vehicle device 20 (here, the audio device 42), and the operation target device (audio) while looking forward.
  • the device 42) can be operated.
  • the indicator 26 a corresponding to the audio device 42 continues to be lit in a color (yellow) corresponding to the audio device 42.
  • the center button 30 is depressed. When the operation of the audio device 42 is finished, the indicators 26a to 26e corresponding to the newly detected gaze direction X are lit in green (color indicating that the operation target device is not specified).
  • FIGS. 7A to 7C show first to third operation examples of the driver 100 when the HUD 46 is displayed and the vehicle speed and fuel consumption are confirmed.
  • the driver 100 sees or turns his face to the area A2 (front direction) where the HUD 46 is located among the five areas A1 to A5.
  • ECU24 specifies vehicle equipment group B (group B) using gaze direction judging technology.
  • the ECU 24 lights the indicator 26b corresponding to the determined gaze direction X ⁇ or the specified in-vehicle device group (group B) ⁇ in green (color indicating that the operation target device is not specified).
  • the driver 100 depresses the cross key 18 at a position corresponding to the positional relationship (from the top, the HUD 46, the hazard lamp 48, and the seat 50) of each in-vehicle device 20, and determines the operation target device. That is, since the up button 32 corresponds to the HUD 46 in the cross key 18, the driver 100 depresses the up button 32. Thereby, the front indicator 26b continues to light regardless of the subsequent gaze direction X.
  • the color of the indicator 26b is a color corresponding to the selected operation target device. For example, the HUD 46 is blue, the hazard lamp 48 is yellow, and the sheet 50 is red. Therefore, when the HUD 46 is selected, the indicator 26b is displayed in blue.
  • the driver 100 switches the display of the HUD 46 by operating the cross key 18. That is, every time the upper button 32 is pressed, the display of the HUD 46 is switched in the order of the vehicle speed 110 ⁇ the travel distance 112 ⁇ the fuel consumption 114 ⁇ the vehicle speed 110. On the contrary, every time the lower button 34 is pressed, the display of the HUD 46 is switched in the order of the vehicle speed 110 ⁇ the fuel consumption 114 ⁇ the travel distance 112 ⁇ the vehicle speed 110. A display other than the vehicle speed 110, the travel distance 112, and the fuel consumption 114 (eg, gasoline amount, remaining battery capacity, or travelable distance) may be performed. At this time, the driver 100 does not need to look at the target area (front area A2 corresponding to the group B) or the in-vehicle device 20 (here, the HUD 46), and can operate the HUD 46 while looking forward. .
  • the target area front area A2 corresponding to the group B
  • the in-vehicle device 20 here, the HUD 46
  • the indicator 26b corresponding to the HUD 46 is continuously lit in the color (blue) corresponding to the HUD 46.
  • the center button 30 is depressed.
  • the indicators 26a to 26e corresponding to the newly detected gaze direction X are lit in green (color indicating that the operation target device is not specified).
  • FIG. 8A shows first to third operation examples of the driver 100 when the passenger seat side window 58 is opened and closed.
  • the driver 100 sees or turns his face to the area A4 (left direction) where the passenger seat side window 58 is located among the five areas A1 to A5.
  • the vehicle equipment group D (group D) is specified using a gaze direction determination technique.
  • the ECU 24 lights the indicator 26d corresponding to the determined gaze direction X ⁇ or the specified in-vehicle device group (group D) ⁇ in green (color indicating that the operation target device is not specified).
  • the driver 100 depresses the cross key 18 located at a position corresponding to the positional relationship (from the top, the door mirror 52, the rear light 54, and the passenger seat side window 58) of each in-vehicle device 20, and determines the operation target device. To do. That is, since the upper button 32 and the lower button 34 correspond to the passenger seat side window 58 in the cross key 18, the driver 100 presses the upper button 32 or the lower button 34. As a result, the left indicator 26d continues to be lit regardless of the subsequent gaze direction X.
  • the color of the indicator 26d is a color corresponding to the selected operation target device. For example, the door mirror 52 is blue, the rear light 54 is yellow, and the passenger seat side window 58 is red. Therefore, when the passenger seat side window 58 is selected, the indicator 26d is displayed in red.
  • the vertical relationship between the door mirror 52 and the rear light 54 is reversed depending on where the reference position is placed for the passenger seat side window 58.
  • the position of the driving unit (not shown) of the passenger seat side window 58 is used as a reference, but another place may be used as the reference position. Accordingly, the correspondence between the door mirror 52, the rear light 54, the passenger seat side window 58, and each button may be changed.
  • the door mirror 52 is normally unfolded and retracted in a substantially horizontal direction
  • the passenger seat side window 58 is opened and closed in a substantially vertical direction. It is easier to perform intuitive operations by assigning 36 and the right button 38 and assigning the upper button 32 and the lower button 34 to the passenger seat side window 58.
  • the driver 100 operates the cross key 18 to open and close the passenger seat side window 58. That is, every time the lower button 34 is pressed, the passenger seat side window 58 is opened, and every time the upper button 32 is pressed, the passenger seat side window 58 is closed. At this time, the driver 100 does not have to look at the in-vehicle device 20 (here, the passenger seat side window 58), and can operate the operation target device (passenger seat side window 58) while looking forward.
  • the indicator 26d corresponding to the passenger seat side window 58 continues to be lit in the color (red) corresponding to the passenger seat side window 58.
  • the center button 30 is pushed down.
  • the indicators 26a to 26e corresponding to the newly detected gaze direction X are lit in green (color indicating that the operation target device is not specified).
  • FIG. 9 displays a list of selection methods and operation methods of each in-vehicle device 20, and FIG. 10 displays a button assignment list of each function.
  • the driver 100 can easily operate the operation target device by performing the operations according to FIGS. 9 and 10.
  • FIG. 11 is a flowchart for adjusting the boundary lines 28a to 28d between the indicators 26a to 26e and selecting or operating each in-vehicle device 20.
  • step S ⁇ b> 1 the ECU 24 detects the gaze direction X of the driver 100 based on the face image of the driver 100 acquired by the occupant camera 14.
  • step S2 the ECU 24 determines whether or not the boundary lines 28a to 28d of the indicators 26a to 26e are being adjusted. Specifically, the ECU 24 determines whether or not a flag FLG indicating whether or not the boundary lines 28a to 28d are being adjusted is 1. When the flag FLG is 0, it indicates that the boundary lines 28a to 28d are not being adjusted, and when it is 1, it indicates that the boundary lines 28a to 28d are being adjusted.
  • step S3 the ECU 24 determines whether or not to start adjusting the boundary lines 28a to 28d. Specifically, the ECU 24 determines whether or not the center button 30 has been pressed for a predetermined time (for example, any time in the range of 2 to 5 seconds).
  • a predetermined time for example, any time in the range of 2 to 5 seconds.
  • step S2 when the boundary lines 28a to 28d are being adjusted (S2: YES), in step S5, the ECU 24 executes boundary line adjustment processing.
  • the detection of the line-of-sight direction of the driver 100 can be performed using, for example, the method described in JP 2010-105417 A (see, for example, paragraphs [0014] to [0016]).
  • the detection of the driver's face direction can be performed, for example, by the following method. That is, the ECU 24 (gaze direction detection function 70) detects the face center position and the left and right face edge positions based on the face image output from the occupant camera 14. Based on these detection results, for example, the face direction is calculated by approximating a human face to a cylinder shape (cylinder method).
  • the face orientation is used in a broad sense, and may include not only the front side of the head but also other parts (for example, the back of the head).
  • FIG. 12 is an explanatory diagram showing a state before and after adjustment of the boundary lines 28a to 28d.
  • the positions of the indicators 26a to 26e can be adjusted by adjusting the boundary lines 28a to 28d.
  • the areas A1 to A5 and the indicators 26a to 26e are associated with the positions of the areas A1 to A5 as they are.
  • the actual gaze direction The gaze direction X can be detected along the X without any sense of incongruity.
  • FIG. 13 is a flowchart of the boundary line adjustment start process (S4 in FIG. 11).
  • FIG. 14 is a diagram illustrating an example of a state change of the display 22 when the boundary lines 28a to 28d are started before the start of adjustment.
  • step S11 of FIG. 13 the ECU 24 sets 1 to the flag FLG. As described above, when the flag FLG is 1, it indicates that the boundary lines 28a to 28d are being adjusted.
  • step S12 the ECU 24 changes the central indicator 26a to a color (for example, blue) different from the normal display color (for example, green) regardless of the gaze direction X of the driver 100 (see FIG. 12). 14).
  • the ECU 24 lights the boundary lines 28a to 28d even when the in-vehicle device group (groups A to D) is not specified.
  • step S13 the ECU 24 highlights the leftmost boundary line 28c in the traveling direction of the vehicle 10.
  • the highlighted display for example, it is possible to change the color to a color (for example, yellow) different from the normal display color (for example, blue) and to light it.
  • the width of the boundary line 28c may be thicker than usual.
  • the brightness of the boundary line 28c can be made higher than normal.
  • these emphasis methods can be used in combination.
  • FIG. 15 is a flowchart of the boundary line adjustment process (S5 in FIG. 11).
  • FIG. 16 is a diagram for explaining a method of adjusting the boundary lines 28a to 28d.
  • FIG. 17 is a diagram illustrating an example of a state change of the display device 22 when the boundary lines 28a to 28d are being adjusted to the end of the adjustment.
  • step S21 the ECU 24 determines whether the pressed button of the cross key 18 is the central button 30, the upper button 32, the lower button 34, the left button 36, or the right button 38.
  • the ECU 24 selects the boundary lines 28a to 28d to be adjusted in step S22. That is, when the upper button 32 is depressed, the adjustment target boundary lines 28a to 28d are switched to the right (see FIG. 16). For example, if the upper button 32 is pressed when the boundary lines 28a to 28d to be adjusted are the leftmost boundary line 28c, the right boundary line 28d is selected.
  • the boundary lines 28a to 28d to be adjusted are switched to the left. For example, if the down button 34 is pressed when the boundary lines 28a to 28d to be adjusted are the leftmost boundary line 28c, the boundary lines 28a to 28d do not exist on the left side, and therefore the rightmost boundary line 28b is selected. .
  • step S23 the ECU 24 adjusts the positions of the boundary lines 28a to 28d to be adjusted. That is, when the left button 36 is pressed, the boundary lines 28a to 28d to be adjusted are shifted one unit to the left (see FIG. 16). When the right button 38 is depressed, the boundary lines 28a to 28d to be adjusted are shifted by one unit to the right. As shown in FIG. 16, each of the boundary lines 28a to 28d has an adjustable range. Therefore, the boundary lines 28a to 28d cannot be shifted so as to exceed the adjustable range.
  • step S24 the ECU 24 turns on the indicators 26a to 26e corresponding to the gaze direction X by returning them to the normal display color (green), and in step S25, the ECU 24 Then, the highlighting of the boundary lines 28a to 28d to be adjusted ends (see FIG. 17).
  • step S26 the ECU 24 sets 0 to the flag FLG. As described above, when the flag FLG is 0, it indicates that the boundary lines 28a to 28d are not adjusted.
  • FIG. 18 is a flowchart of normal processing (S6 in FIG. 11).
  • step S31 the ECU 24 determines whether or not the gaze direction X can be detected in step S1 of FIG.
  • step S32 the ECU 24 turns on the indicators 26a to 26e corresponding to the gaze direction X.
  • step S33 the ECU 24 turns off the indicators 26a to 26e.
  • FIGS. 19A to 19C are first to third explanatory views for explaining the effects associated with turning on or off the indicators 26a to 26e.
  • the driver 100 gaze direction X corresponds to the lit indicator 26a
  • the driver 100 cannot detect the line-of-sight direction because he is wearing sunglasses 80, and the face direction cannot be detected because he is wearing the mask 82.
  • the gaze direction X of the person 100 cannot be detected, none of the indicators 26a to 26e is lit. For this reason, the driver 100 can know that the gaze direction X cannot be detected. Therefore, the driver 100 can recognize the necessity to remove the sunglasses 80 or the mask 82.
  • the driver 100 confirms that the in-vehicle device group is incorrectly selected according to the gaze direction X. I can know. In this case, the driver 100 recognizes that the above-described boundary lines 28a to 28d should be adjusted or that his / her gaze direction X should be corrected (in the case of FIG. 19C, the left side should be turned to the left). It becomes possible.
  • step S34 the ECU 24 determines whether any button of the cross key 18 is pressed. If none of the buttons are pressed down (S34: NO), the current process ends. If any button is pressed (S34: YES), in step S35, the ECU 24 determines whether or not the operation target device is currently selected. When the operation target device is not selected (S35: NO), in step S36, the ECU 24 determines whether or not the gaze direction X can be detected in step S1 of FIG. When the gaze direction X can be detected (S36: YES), in step S37, the ECU 24 selects an operation target device according to the operation by the driver 100. If the gaze direction X cannot be detected (S36: NO), the current process is terminated.
  • step S38 the ECU 24 sets the indicators 26a to 26e to be turned on and the color thereof according to the operation target device.
  • step S39 the ECU 24 operates the operation target device in accordance with the operation by the driver 100.
  • FIG. 20 is a flowchart (details of S37 in FIG. 18) in which the ECU 24 selects an operation target device.
  • the ECU 24 checks whether the gaze direction X of the driver 100 specified in step S1 of FIG. 11 is the center, front, right, left, or other.
  • step S112 the ECU 24 performs the in-vehicle device group in the central direction, that is, the group A including the navigation device 40, the audio device 42, and the air conditioner 44. And an operation target device is selected from group A.
  • step S113 the ECU 24 specifies the front-mounted in-vehicle device group, that is, the group B including the HUD 46, the hazard lamp 48, and the seat 50, An operation target device is selected from group B.
  • step S114 the ECU 24 performs the right direction in-vehicle device group, that is, the group C including the door mirror 52, the rear light 54, and the driver seat side window 56. And an operation target device is selected from group C.
  • step S115 the ECU 24 performs the left-side vehicle-mounted device group, that is, the group D including the door mirror 52, the rear light 54, and the passenger seat side window 58. And an operation target device is selected from group D.
  • the ECU 24 ends the current process without selecting any on-vehicle device 20.
  • FIG. 21 is a flowchart (details of S112 in FIG. 20) for selecting the operation target device when the gaze direction X of the driver 100 is the central direction (region A1).
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, or the other.
  • step S122 the ECU 24 selects the navigation device 40 and lights the central indicator 26a.
  • step S123 the ECU 24 sets the navigation device 40 as an operation target device.
  • step S124 the ECU 24 selects the audio device 42 and lights the center indicator 26a.
  • step S125 the ECU 24 sets the audio device 42 as an operation target device.
  • step S126 the ECU 24 selects the air conditioner 44 and lights the central indicator 26a.
  • step S127 the ECU 24 sets the air conditioner 44 as an operation target device.
  • the ECU 24 ends the current process.
  • FIG. 22 is a flowchart (details of S113 in FIG. 20) for selecting the operation target device when the gaze direction X of the driver 100 is the front direction (region A2).
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, or the other.
  • step S132 the ECU 24 selects the HUD 46 and lights the front indicator 26b.
  • step S133 the ECU 24 turns on the HUD 46.
  • step S134 the ECU 24 sets the HUD 46 as an operation target device.
  • step S135 the ECU 24 selects the hazard lamp 48 and lights the front indicator 26b.
  • step S136 the ECU 24 causes the hazard lamp 48 to blink.
  • step S137 the ECU 24 sets the hazard lamp 48 as the operation target device.
  • step S138 the ECU 24 selects the seat 50 and lights the front indicator 26b.
  • step S139 the ECU 24 sets the seat 50 as an operation target device.
  • the ECU 24 ends the current process.
  • FIG. 23 is a flowchart (details of S114 in FIG. 20) for selecting the operation target device when the gaze direction X of the driver 100 is the right direction (region A3).
  • the ECU 24 determines whether the pressed button of the cross key 18 is the central button 30, the upper button 32, the lower button 34, the left button 36, or the right button 38.
  • step S142 the ECU 24 selects the driver's seat side window 56 and lights the right indicator 26c.
  • step S143 the ECU 24 opens and closes the driver's seat side window 56. That is, when the lower button 34 is depressed, the driver's seat side window 56 is opened, and when the upper button 32 is depressed, the driver's seat side window 56 is closed.
  • step S144 the ECU 24 sets the driver seat side window 56 as the operation target device.
  • the ECU 24 When the pressed button is the left button 36, the ECU 24 confirms the state (deployed or stored) of the door mirror 52 in step S145. If the door mirror 52 is in the retracted state, the current process is terminated. If the door mirror 52 is in the unfolded state, in step S146, the ECU 24 selects both the left and right door mirrors 52 and lights the right indicator 26c.
  • step S147 the ECU 24 stores the left and right door mirrors 52.
  • step S148 the ECU 24 selects the left and right door mirrors 52 and turns off the right indicator 26c.
  • the ECU 24 checks the state (deployed or stored) of the door mirror 52 in step S149. When the door mirror 52 is in the unfolded state, the current process is finished. If the door mirror 52 is in the retracted state, in step S150, the ECU 24 selects both the left and right door mirrors 52 and lights the right indicator 26c.
  • step S151 the ECU 24 unfolds the left and right door mirrors 52.
  • step S152 the ECU 24 selects the left and right door mirrors 52 and turns off the right indicator 26c.
  • step S153 the ECU 24 selects the rear light 54 and lights the right indicator 26c.
  • step S154 the ECU 24 turns on the rear light 54.
  • step S155 the rear light 54 is set as an operation target device.
  • FIG. 24 is a flowchart (details of S115 in FIG. 20) for selecting the operation target device when the gaze direction X of the driver 100 is the left direction (region A4).
  • step S161 the ECU 24 determines whether the pressed button of the cross key 18 is the upper button 32, the center button 30, the lower button 34, the right button 38, or the left button 36.
  • step S162 the ECU 24 selects the passenger seat side window 58 and lights the left indicator 26d.
  • step S163 the ECU 24 opens and closes the passenger seat side window 58. That is, when the lower button 34 is depressed, the passenger seat side window 58 is opened, and when the upper button 32 is depressed, the passenger seat side window 58 is closed.
  • step S164 the ECU 24 sets the passenger seat side window 58 as the operation target device.
  • the ECU 24 confirms the state (deployed or stored) of the door mirror 52 in step S165.
  • the current process is finished. If the door mirror 52 is in the retracted state, in step S166, the ECU 24 selects both the left and right door mirrors 52 and lights the left indicator 26d.
  • step S167 the ECU 24 unfolds the left and right door mirrors 52.
  • step S168 the ECU 24 selects the left and right door mirrors 52 and turns off the left indicator 26d.
  • the ECU 24 confirms the state (deployed or stored) of the door mirror 52 in step S169. If the door mirror 52 is in the retracted state, the current process is terminated. When the door mirror 52 is in the unfolded state, in step S170, the ECU 24 selects the left and right door mirrors 52 and lights the left indicator 26d.
  • step S171 the ECU 24 stores the left and right door mirrors 52.
  • step S172 the ECU 24 selects the left and right door mirrors 52 and turns off the left indicator 26d.
  • step S173 the ECU 24 selects the rear light 54 and lights the left indicator 26d.
  • step S174 the ECU 24 turns on the rear light 54.
  • step S175 the rear light 54 is set as the operation target device.
  • FIG. 25 is a flowchart (details of S39 in FIG. 18) in which the ECU 24 operates the operation target device.
  • the ECU 24 confirms the operation target device being selected in step S37 of FIG.
  • the operation target device being selected is the navigation device 40
  • the ECU 24 operates the navigation device 40 in step S182.
  • the operation target device being selected is the audio device 42
  • the ECU 24 operates the audio device 42 in step S183.
  • the selected operation target device is the air conditioner 44
  • the ECU 24 operates the air conditioner 44 in step S184.
  • the ECU 24 When the operation target device being selected is the HUD 46, the ECU 24 operates the HUD 46 in step S185. If the operation target device being selected is the hazard lamp 48, the ECU 24 operates the hazard lamp 48 in step S186. If the operation target device being selected is the seat 50, the ECU 24 operates the seat 50 in step S187. If the selected operation target device is the rear light 54, the ECU 24 operates the rear light 54 in step S188. If the selected operation target device is the driver's seat side window 56, the ECU 24 operates the driver's seat side window 56 in step S189. When the operation target device being selected is the passenger seat side window 58, the ECU 24 operates the passenger seat side window 58 in step S190.
  • FIG. 26 is a flowchart (details of S182 in FIG. 25) for operating the navigation device 40.
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, the left button 36, or the right button 38.
  • the ECU 24 changes the scale of display of the navigation device 40 in step S202. That is, the scale is enlarged when the upper button 32 is pressed down, and the scale is reduced when the lower button 34 is pressed down.
  • the ECU 24 switches the display direction of the navigation device 40 in step S203. That is, when the left button 36 is pressed down, the display direction is northward, and when the right button 38 is pressed down, the display direction is the traveling direction of the vehicle 10.
  • step S204 If the pressed button is the central button 30, the ECU 24 turns off the central indicator 26a in step S204. In subsequent step S205, the ECU 24 finishes selecting the operation target device.
  • FIG. 27 is a flowchart (details of S183 in FIG. 25) for operating the audio device.
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, the left button 36, or the right button 38.
  • the ECU 24 adjusts the volume of the audio device 42 in step S212. That is, the volume is increased when the upper button 32 is depressed, and the volume is decreased when the lower button 34 is depressed.
  • the ECU 24 switches the music selection or channel selection of the audio device 42 in step S213. That is, when the left button 36 is pressed down, it switches to the previous music or the previous broadcasting station, and when the right button 38 is pressed down, it switches to the next music or the next broadcasting station.
  • step S214 If the pressed button is the central button 30, the ECU 24 turns off the central indicator 26a in step S214. In subsequent step S215, the ECU 24 finishes selecting the operation target device.
  • FIG. 28 is a flowchart (details of S184 in FIG. 25) for operating the air conditioner 44.
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, the left button 36, or the right button 38.
  • the ECU 24 adjusts the set temperature of the air conditioner 44 in step S222. That is, when the upper button 32 is depressed, the set temperature is increased, and when the lower button 34 is depressed, the set temperature is decreased.
  • the ECU 24 adjusts the set air volume of the air conditioner 44 in step S223. That is, when the left button 36 is pressed down, the set air volume is decreased, and when the right button 38 is pressed down, the set air volume is increased.
  • step S224 the ECU 24 turns off the central indicator 26a in step S224.
  • step S225 the ECU 24 ends the selection of the operation target device.
  • FIG. 29 is a flowchart (details of S185 in FIG. 25) for operating the HUD 46.
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, or the other.
  • the ECU 24 switches display information of the HUD 46 in step S232.
  • the display information is switched as follows: vehicle speed 110 ⁇ travel distance 112 ⁇ fuel consumption 114 ⁇ vehicle speed 110 ⁇ travel distance 112 (see FIG. 7C).
  • the display information is switched as follows: vehicle speed 110 ⁇ fuel efficiency 114 ⁇ travel distance 112 ⁇ vehicle speed 110 ⁇ fuel efficiency 114.
  • step S233 the ECU 24 turns off the front indicator 26b.
  • step S234 ECU 24 turns off HUD 46.
  • step S235 the ECU 24 finishes selecting the operation target device.
  • the current process ends.
  • FIG. 30 is a flowchart (detail of S186 in FIG. 25) for operating the hazard lamp 48.
  • step S241 the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30 or another button.
  • step S242 If the pressed button is the center button 30, the ECU 24 turns off the hazard lamp 48 in step S242. In subsequent step S243, the ECU 24 turns off the front indicator 26b. In step S244, the ECU 24 finishes selecting the operation target device.
  • the current process is terminated.
  • FIG. 31 is a flowchart (details of S187 in FIG. 25) for operating the seat 50 for the driver 100.
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, the left button 36, or the right button 38.
  • the ECU 24 When the pressed button is the upper button 32 or the lower button 34, the ECU 24 performs the front / rear slide adjustment of the seat 50 in step S252. That is, when the upper button 32 is pressed down, the seat 50 is advanced, and when the lower button 34 is pressed down, the seat 50 is moved backward.
  • the ECU 24 adjusts the reclining angle of the seat 50 in step S253. That is, when the left button 36 is pressed down, the reclining angle is decreased, and when the right button 38 is pressed down, the reclining angle is increased.
  • step S254 the ECU 24 turns off the front indicator 26b.
  • step S255 the ECU 24 ends the selection of the operation target device.
  • FIG. 32 is a flowchart (details of S188 in FIG. 25) for operating the rear light 54.
  • step S261 the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30 or another button.
  • the ECU 24 turns off the rear light 54 in step S262. In subsequent step S263, the ECU 24 turns off the lighted right or left indicators 26c, 26d. In subsequent step S264, the ECU 24 ends the selection of the operation target device.
  • the current process is terminated.
  • FIG. 33 is a flowchart (details of S189 in FIG. 25) for operating the driver's seat side window 56.
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, or other buttons.
  • the ECU 24 opens and closes the driver seat side window 56 in step S272. That is, when the lower button 34 is depressed, the driver's seat side window 56 is opened, and when the upper button 32 is depressed, the driver's seat side window 56 is closed.
  • step S273 the ECU 24 turns off the right indicator 26c.
  • step S274 the ECU 24 finishes selecting the operation target device.
  • the current process ends.
  • FIG. 34 is a flowchart (details of S190 in FIG. 25) for operating the passenger seat side window 58.
  • the ECU 24 determines whether the pressed button of the cross key 18 is the center button 30, the upper button 32, the lower button 34, or other buttons.
  • the ECU 24 opens and closes the passenger seat side window 58 in step S282. That is, when the lower button 34 is depressed, the passenger seat side window 58 is opened, and when the upper button 32 is depressed, the passenger seat side window 58 is closed.
  • step S283 If the pressed button is the center button 30, the ECU 24 turns off the left indicator 26d in step S283. In subsequent step S284, the ECU 24 finishes selecting the operation target device.
  • the current process ends.
  • the in-vehicle device group (groups A to D) in the vehicle width direction is specified based on the gaze direction X of the driver 100 (occupant) and specified.
  • One of the in-vehicle devices 20 in the in-vehicle device group is identified by operating the cross key 18. Therefore, the driver does not need to pay attention to any one of the in-vehicle devices 20 to be specified, and puts his / her line of sight or face in the direction (vehicle width direction) of the in-vehicle device group in which any of the in-vehicle devices 20 to be specified exists. Just turn to get better.
  • the operation time can be shortened, and the operation target device can be reliably selected. For this reason, convenience can be improved.
  • the cross key 18 is an operation for performing a specific operation input to the operation target device in a state where the operation target device is specified by detecting the gaze direction X of the driver 100 and operating the cross key 18. Also serves as an input means. Accordingly, it is possible to reduce the space and cost of the operation means by sharing the vertical direction selection means (for example, device selection switch) and the operation input means (for example, device operation switch). In addition, the blind operation can be facilitated.
  • the vertical direction selection means for example, device selection switch
  • the operation input means for example, device operation switch
  • the ECU 24 detects the face direction angle of the driver 100 in the vehicle width direction based on the image acquired by the passenger camera 14, and detects the gaze direction X of the driver 100 based on the face direction angle.
  • the face direction angle in the vehicle width direction can be obtained from the image processing, and therefore high-precision image processing and a device such as an infrared LED for performing line-of-sight detection using the bright spot detection of the pupil or the like become unnecessary. Further cost reduction can be achieved.
  • selection of individual in-vehicle devices 20 in the specified in-vehicle device group is performed by the cross key 18 provided on the steering wheel 16, and the in-vehicle device 20 in each in-vehicle device group.
  • the up / down direction for selecting is assigned in correspondence with the up / down direction of the cross key 18 (up button 32, down button 34, and center button 30).
  • indicators 26a to 26d for displaying the in-vehicle device groups (groups A to D) specified in accordance with the gaze direction X of the driver 100 are provided for each in-vehicle device group (groups A to D). Yes. Thereby, it is lower than the case where the indicator 26 is provided so as to correspond to all the in-vehicle devices 20 while ensuring the accuracy of specifying the in-vehicle devices group (preventing a deviation between the state of the vehicle 10 and the recognition of the driver 100). Cost can be reduced.
  • the information specified based on the gaze direction X of the driver 100 among the plurality of in-vehicle device groups (groups A to D) in the vehicle width direction is notified using the indicators 26a to 26e.
  • At least the indicators 26a, 26b, and 26e have a width equivalent to the widths of the regions A1, A2, and A5 corresponding to the respective in-vehicle device groups (groups A and B) in the vehicle width direction, and are arranged on the instrument panel 59 in the vehicle width direction. Are arranged side by side. Accordingly, the driver 100 can visually recognize the boundaries and widths of the regions A1 to A5 and can recognize the switching of the specified in-vehicle device group, with minimal changes in the line of sight or face orientation. It is possible to reliably identify the in-vehicle device 20 in the vehicle width direction.
  • the driver 100 can recognize the shift and adjust the gaze direction X as appropriate.
  • the driver's 100 line-of-sight direction or face direction is used only for identifying the in-vehicle device group (groups A to D) in the vehicle width direction, the line-of-sight direction or face direction is detected only in the vehicle width direction. Get better. Thereby, detection of the gaze direction or the face direction in a direction other than the vehicle width direction (for example, the vertical direction) can be made unnecessary, and the detection process of the gaze direction or the face direction can be reduced.
  • the boundary lines 28a to 28d of the areas A1 to A5 are displayed even if the in-vehicle device group (groups A to D) is not specified by the ECU 24 (in-vehicle device group specifying function 72).
  • the device 22 notifies.
  • the driver 100 can surely understand the boundary lines 28a to 28d, and it is possible to understand to which width region the line of sight or face direction can be changed to select a specific in-vehicle device group.
  • the operating device 12 includes a cross key 18 that can be operated by the driver 100 in a place different from the in-vehicle device 20, and the ECU 24 (individual in-vehicle device specifying function 74) is in the detected gaze direction X.
  • the in-vehicle device group (groups A to D) is specified based on one of the specified in-vehicle device groups.
  • the display color of the indicators 26a to 26e is changed by the in-vehicle device 20 specified by the individual in-vehicle device specifying function 74. Accordingly, the driver 100 can immediately understand which in-vehicle device 20 is selected in one in-vehicle device group.
  • the widths of the indicators 26a to 26e can be adjusted. Thereby, even if the gaze direction X detected by the gaze direction detection function 70 and the actual gaze direction X have shifted
  • the plurality of indicators 26a to 26e that visually notify the areas A1 to A5 corresponding to the detected gaze direction X or the specified in-vehicle device group (groups A to D) are provided.
  • the indicators 26a to 26e are continuously provided along the vehicle width direction for each of the areas A1 to A5 around the lower portion of the front window 11, and indicate the boundaries between the adjacent areas A1 to A5. Therefore, the driver 100 can visually recognize the boundaries and widths of the areas A1 to A5 and can recognize the switching of the selected areas A1 to A5, and can minimize the change in the line of sight or the face direction. Thus, it is possible to reliably identify the in-vehicle device 20 in the vehicle width direction.
  • a plurality of indicators 26a that visually indicate the detected gaze direction X.
  • the presence of .about.26e makes it possible for the driver 100 to recognize the shift and adjust the gaze direction X as appropriate.
  • the operating device 12 was mounted in the vehicle 10, you may mount not only in this but in another object.
  • the operation device 12 can be used for a moving body such as a ship or an aircraft.
  • the device is not limited to a moving body, and may be another device as long as it is necessary to specify the gaze direction of the subject.
  • Gaze direction detection The occupant as the detection target of the gaze direction X is not limited to the driver 100 but may be other occupants (occupants sitting in the passenger seat, occupants sitting in the rear seat, etc.).
  • the periphery of the front window 11 is divided into five areas A1 to A5 (FIG. 5), but the number of areas is not limited to this.
  • the periphery of the front window 11 can be divided into three areas A11 to A13.
  • the vehicle width direction of the vehicle 10 is specified based on the gaze direction X, and the height direction of the vehicle 10 is specified by operating the cross key 18, but the gaze direction is determined using the indicators 26a to 26e.
  • the present invention is not limited to this.
  • the height direction of the vehicle 10 can be specified based on the gaze direction X (at least one of the face direction and the line-of-sight direction).
  • only one in-vehicle device 20 included in the height direction can be set, and the in-vehicle device 20 can be specified as the vehicle width direction is specified.
  • the indicators 26a to 26e can be arranged in the vertical direction, and the gaze direction X in the vertical direction can be notified by the indicators 26a to 26e.
  • the operation target device is specified using the flowcharts of FIGS. 11, 18, and 20 to 24, but the in-vehicle device group (groups A to D) in the vehicle width direction of the vehicle 10 is specified, From the viewpoint of specifying the operation target device in the height direction of the vehicle 10, the method for specifying the operation target device is not limited to this.
  • the method for specifying the operation target device is not limited to this.
  • the indicators 26a to 26d are turned on in correspondence with the selected operation target device. However, the indicators 26a to 26d may not be turned on.
  • the cross key 18 is used as means (operating means) operated by the driver 100 (occupant) in order to specify the operation target device.
  • the cross key 18 of the above embodiment has the center button 30, the upper button 32, the lower button 34, the left button 36 and the right button 38, but the configuration of only the upper button 32 and the lower button 34 or the center button 30, only the upper button 32 and the lower button 34 may be used.
  • each button may be connected (for example, a cross button as shown in FIG. 4 of JP 2010-105417 A).
  • Each button of the cross key 18 of the above embodiment is a so-called push-type switch (see FIG. 3), but may be other types of switches such as a slide switch and a lever switch.
  • the cross key 18 is a means (operation means) for specifying the operation target device in the in-vehicle device group (groups A to D) and a means (operation input means) for operating the specified operation target device.
  • operation means for specifying the operation target device in the in-vehicle device group (groups A to D)
  • operation input means for operating the specified operation target device.
  • the cross key 18 is provided on the steering wheel 16, but the position where the cross key 18 is provided is not limited thereto. For example, it can be provided at any position of the steering column or the instrument panel.
  • In-vehicle device 20 and in-vehicle device group In the above embodiment, as the plurality of in-vehicle devices 20, the navigation device 40, the audio device 42, the air conditioner 44, the HUD 46, the hazard lamp 48, the seat 50, the door mirror 52, the rear light 54, the driver side window 56, and the passenger seat side.
  • the window 58 is mentioned, from the viewpoint of selection of the in-vehicle device 20, a plurality of in-vehicle device groups (groups) in which a plurality of in-vehicle devices that can be operated by the occupant of the vehicle 10 are arranged in the vertical direction are arranged in the vehicle width direction. If it is done, it is not limited to this.
  • a plurality of in-vehicle device groups are not necessarily present in the vehicle width direction, and the present invention can be applied to a configuration in which at least one in-vehicle device group is arranged in a specific region in the vehicle width direction. It is. In other words, the present invention is applicable if the specification of the in-vehicle device group in the vehicle width direction is specified based on the gazing direction of the occupant, and the in-vehicle device 20 in the specified in-vehicle device group is specified in the operation means. Since it is possible, what is necessary is just one or more in-vehicle equipment groups including a plurality of in-vehicle equipment 20. Furthermore, a configuration in which one in-vehicle device group is provided in the vehicle width direction and a single in-vehicle device 20 is separately arranged in the vehicle width direction is also possible.
  • the present invention is not limited to this as long as a plurality of in-vehicle devices that can be operated by the passenger of the vehicle 10 are arranged in the vehicle width direction. .
  • the number of in-vehicle devices arranged in each of the areas A1 to A5 may be one.
  • Gaze direction indicator 22 (indicators 26a to 26e)
  • the indicator 22 is provided on the instrument panel 59 around the lower part of the front window 11.
  • the indicator 22 is provided at or around the lower part or the upper part of the front window 11, Not limited to this.
  • the display 22 can be provided on the upper portion of the front window 11. If the area of the HUD 46 is further expanded, the display 22 (indicators 26a to 26e) can be configured as a part of the HUD 46.
  • the indicators 26a to 26e are continuously lit in the vehicle width direction.
  • the indicators 26a to 26e are intermittent (part of them). May be provided (without lighting).
  • the operation target device when the operation target device is not selected, only the indicators 26a to 26e corresponding to the gaze direction X are turned on and the other indicators 26a to 26e are turned off.
  • the indicators 26a to 26e may be turned on, and only the indicators 26a to 26e corresponding to the gaze direction X may be displayed in different colors.
  • the indicators 26a to 26e are provided corresponding to all of the regions A1 to A5.
  • two or more indicators 26a to 26e may be provided. For example, it is not limited to this.
  • the color of the indicators 26a to 26e is changed as a method for notifying the selection of the in-vehicle device 20 by the indicators 26a to 26e.
  • the present invention is not limited to this.
  • the selection of the in-vehicle device 20 may be notified.
  • the selection of the in-vehicle device 20 can be notified by voice output from the navigation device 40.
  • a combination of these may be used.
  • the indicators 26a to 26e are displayed without interruption.
  • the indicators 26a to 26e may be displayed only when a predetermined operation or setting for starting selection of the operation target device is performed. it can. Further, a part such as a button for performing the predetermined operation or setting may be provided.
  • the gaze direction indicator 22 having the indicators 26a to 26e is used.
  • other indicators or lighting units may be provided.
  • four pilot lamps 126a to 126d can be provided corresponding to the regions A1 to A4. That is, a pilot lamp 126a provided in the center, a pilot lamp 126b provided in the front, a pilot lamp 126c provided on the right side, and a pilot lamp 126d provided on the left side are provided, and these pilot lamps 126a ⁇ 126d corresponds to a plurality of in-vehicle device groups A to D (groups A to D).
  • the pilot lamps 126a to 126d may be used to notify the detected gaze direction X (or the corresponding area A1 to A4) and the operation state of the cross key 18 in the same manner as the indicators 26a to 26e.
  • a configuration in which the indicators 26a to 26d and the pilot lamps 126a to 126d are not provided in order to reduce costs and troublesomeness, or an in-vehicle device that is currently operable can be instantaneously selected. It is also possible to provide a configuration in which the indicators 26a to 26d or the pilot lamps 126a to 126d are provided for each in-vehicle device 20 so that the in-vehicle devices 20 can be grasped.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　車載機器操作装置（１２）の車載機器特定手段（７２、７４）は、注視方向検出手段（７０）により検出された乗員（１００）の注視方向に基づいて車載機器群を特定すると共に、該車載機器群が特定された状態で上下方向選択手段（３０、３２、３４）が操作された場合に、該上下方向選択手段（３０、３２、３４）により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器（２０）を特定する。

Description

車載機器操作装置及び報知装置
　この発明は、乗員の注視方向等を用いて複数の車載機器を操作可能とする車載機器操作装置及び車両の乗員等の注視方向を報知する報知装置に関する。
　特開２０１０－１０５４１７号公報（以下「ＪＰ ２０１０－１０５４１７ Ａ」という。）には、車両の運転者が注視する車載機器２１をステアリングホイール５０に設けられた操作入力手段２８により操作可能とする技術が開示されている（要約）。
　米国特許出願公開第２０１０／０３２４７７９号公報（以下「ＵＳ ２０１０／０３２４７７９ Ａ１」という。）には、乗員が操作することを意図する車載機器（サイドミラー２１、ルームミラー２２、ナビゲーションシステム２３、車載電話２４、エア吹出し口２５、メーターパネル２６）を乗員の視線Ｌにより選択し、共通のステアリングスイッチ１６により操作する装置が示されている（要約）。ＵＳ ２０１０／０３２４７７９ Ａ１では、視線Ｌが指向する車載機器が操作可能であることをパイロットランプ２１ａ、２２ａ、２３ａ、２４ａ、２５ａ、２６ａを介して乗員に報知する（要約及び図１）。
　ＪＰ ２０１０－１０５４１７ Ａでは、運転者が注視している車載機器２１を特定する必要があるが、例えば、オーディオ機器とエアコンディショナのように車載機器２１が近接して配置されている場合、車載機器２１の識別において誤判定を生じる可能性があり、システムの信頼性が確保できないおそれがある。また、判定精度を確保するためには高精度の画像処理が必要となるため、高解像度のカメラや高性能の演算装置等を用いる必要があり、高コストになるという問題がある。
　ＵＳ ２０１０／０３２４７７９ Ａ１において、乗員は、視線Ｌをどの方向にまで向ければ操作を意図する車載機器が選択されるのかを理解することができない。また、乗員が当該車載機器に対して視線Ｌを真っ直ぐに向けているのにパイロットランプ２１ａ、２２ａ、２３ａ、２４ａ、２５ａ、２６ａが点灯しない場合、乗員は、どのように対処すればパイロットランプ２１ａ、２２ａ、２３ａ、２４ａ、２５ａ、２６ａを点灯させることができるのかを知ることができない。
　この発明はこのような課題を考慮してなされたものであり、操作対象の車載機器の誤判定を防止すると共に、コストを低減可能な車載機器操作装置を提供することを目的とする。
　また、この発明の別の目的は、注視方向による操作対象機器の特定を容易に行うことができるようにすると共に、装置側が検出した注視方向を、乗員等の操作者が認識することが可能な報知装置を提供することである。
　この発明に係る車載機器操作装置は、車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、前記乗員の視線方向又は顔向きに基づいて前記乗員の注視方向を検出する注視方向検出手段と、前記注視方向検出手段により検出された前記注視方向に基づいて前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段と、前記乗員により操作可能に前記車載機器とは異なる場所に設けられる操作手段とを備えるものであって、前記複数の車載機器は、前記車両の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されていると共に、前記車幅方向において所定領域ごとに区切った複数の車載機器群に区分されており、前記操作手段は、前記車載機器群のうち前記上下方向における前記車載機器を選択可能な上下方向選択手段を有し、前記車載機器特定手段は、前記注視方向検出手段により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段が操作された場合に、該上下方向選択手段により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器を特定することを特徴とする。
　この発明によれば、乗員の注視方向に基づいて車幅方向の車載機器群を特定すると共に、特定した車載機器群のうちいずれかの車載機器を上下方向選択手段の操作により特定する。従って、乗員は、特定すべきいずれかの車載機器そのものを注視する必要は無く、特定すべきいずれかの車載機器が存在する車載機器群の方向（車幅方向）に視線又は顔を向けるだけでよくなる。このため、車両前方への注意を阻害する要因を低減することが可能になると共に、操作対象の車載機器の誤判定を防止することが可能となる。また、車載機器毎の注視判定が不要となるため、高精度な視線／顔向き検知技術を必要としなくなる。従って、装置全体での高コスト化を防止することが可能となる。
　前記上下方向選択手段は、選択可能な前記上下方向のそれぞれに対応して割り当てられた個別の操作スイッチにより構成してもよい。これにより、選択可能な上下方向（＝１つの車載機器群に存在する車載機器の数）に対応して個別の操作スイッチが設けられるため、機器選択のための操作時間を短縮することが可能になると共に、操作対象機器を確実に選択することが可能となる。このため、利便性を向上することができる。
　前記上下方向選択手段は、前記車載機器特定手段により前記車載機器が特定された状態において、当該特定された車載機器に対する特定の操作入力を行うための操作入力手段を兼ねてもよい。これにより、上下方向選択手段（例えば、機器選択用スイッチ）と操作入力手段（例えば、機器操作用スイッチ)とを共用化することにより操作手段の配置スペース及びコストを低減することが可能となる。また、ブラインド操作の容易化を図ることが可能となる。
　前記注視方向検出手段は、前記乗員を含む画像を撮像可能に前記車両の室内に設けられる撮像手段と、前記撮像手段により撮像された前記画像に基づいて前記車幅方向における前記乗員の顔向き角度を検出する顔向き角度検出手段とを備え、前記顔向き角度検出手段により検出された前記顔向き角度に基づいて前記乗員の注視方向を検出してもよい。これにより、車幅方向の顔向き角度を画像処理から求めれば良いため、瞳孔の輝点検出等を用いる視線検知を行うための高精度な画像処理や赤外発光ダイオード（ＬＥＤ）等のデバイスが不要となり、より一層の低コスト化を図ることが可能となる。
　前記上下方向選択手段は、前記車両のステアリングホイールに設けられる十字スイッチとして構成されると共に、前記選択可能な上下方向が前記ステアリングホイールの正面視における前記十字スイッチの上下方向に対応して割り当てられてもよい。このような十字スイッチを用いることによりステアリングホイールから手を離さずに車載機器を操作可能であるため利便性が向上する。加えて、選択可能な方向が十字キーの上下位置に対応しているため、より直感的に車載機器を選択することができ、ブラインド操作の更なる容易化を図ることが可能となる。
　前記車載機器特定手段により特定された前記車載機器群を表示する表示手段が、前記車載機器群ごとに設けられてもよい。これにより、車載機器群を特定する精度を確保（車両の状態と乗員の認識とのずれを防止）しつつ、車載機器全てに対応するように表示手段を設ける場合に比べて低コスト化を図ることができる。
　この発明に係る報知装置は、車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、前記乗員の視線方向又は顔向きに基づいて前記乗員の注視方向を検出する注視方向検出手段と、前記車両の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されている前記複数の車載機器が前記車幅方向において所定領域ごとに区切られた複数の車載機器群の中から、前記注視方向検出手段により検出された前記注視方向に基づいて、いずれかの車載機器群を特定する車載機器特定手段と、前記車載機器特定手段により特定された前記車載機器群を報知する報知手段とを備え、前記報知手段は、それぞれの前記所定領域の幅と同等の幅を有し、前記車両のインストルメントパネルにおいて前記車幅方向に並べて配置されていることを特徴とする。
　この発明によれば、車幅方向における複数の車載機器群のうち乗員の注視方向に基づいて特定されたものを、報知手段を用いて報知する。報知手段は、車幅方向において各車載機器群に対応する所定領域の幅と同等の幅を有し、インストルメントパネルにおいて車幅方向に並べて配置されている。従って、乗員は、所定領域の境界及び幅を視覚的に認識すると共に、特定されている車載機器群の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器の特定を容易に行うことが可能となる。
　また、乗員が意図している注視方向と、報知装置が検出した注視方向との間にずれが生じている場合でも、検出した注視方向を報知する報知手段が存在することにより、乗員は当該ずれを認識し、注視方向を適宜調整することが可能となる。
　さらに、乗員の視線方向又は顔向きを車幅方向における車載機器群の特定のみに用いる場合（例えば、上下方向の特定は、別の選択装置を用いる場合）、視線方向又は顔向きの検出は、車幅方向のみでよくなる。これにより、車幅方向以外の方向（例えば、上下方向）における視線方向又は顔向きの検出を不要とすることができ、視線方向又は顔向きの検出処理を軽減することなどが可能となる。
　前記所定領域の境界線は、前記車載機器特定手段により前記車載機器群が特定されていなくても前記報知手段が報知してもよい。これにより、乗員が確実に境界線を理解でき、どの幅領域に視線又は顔向きを変化させれば、特定の車載機器群を選択できるかを理解することが可能となる。
　前記報知装置は、さらに、前記車載機器とは異なる場所において前記乗員により操作可能に設けられる操作手段を備え、前記操作手段は、前記車載機器群のうち前記上下方向における前記車載機器を選択可能な上下方向選択手段を有し、前記車載機器特定手段は、前記注視方向検出手段により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器を特定し、前記報知手段は、前記車載機器特定手段によって特定された前記車載機器によって報知方法が変更されてもよい。これにより、乗員は、１つの車載機器群の中でいずれの車載機器が選択されているかを直ぐに理解することができる。
　前記報知手段は、前記幅を調整可能であってもよい。これにより、注視方向検出手段により検出される注視方向と実際の注視方向がずれていたとしても調整することができ、実際の注視方向に沿った違和感のない注視方向の検出が可能となる。
　この発明に係る報知装置は、車両において車幅方向に配置された複数の車載機器と、前記乗員の視線方向及び顔向きの少なくとも一方に基づいて前記車幅方向における前記乗員の注視方向を検出する注視方向検出部と、前記複数の車載機器から前記注視方向に対応する１つ以上の前記車載機器を特定する車載機器特定部と、前記注視方向の検出可能範囲であり且つ前記車幅方向において前記複数の車載機器に応じて設定された複数の注視可能領域のうち、検出された前記注視方向又は特定された前記１つ以上の車載機器に対応する注視可能領域を視覚的に報知する報知部とを備え、前記報知部は、フロントウィンドウの下部若しくは上部又はそれらの周囲において前記複数の注視可能領域ごとに前記車幅方向に沿って連続的又は断続的に設けられて、隣り合う注視可能領域の境界を示す複数のインジケータを有することを特徴とする。
　この発明によれば、検出された注視方向又は特定された１つ以上の車載機器に対応する注視可能領域を視覚的に報知する複数のインジケータを備える。当該複数のインジケータは、フロントウィンドウの下部若しくは上部又はそれらの周囲において複数の注視可能領域ごとに車幅方向に沿って連続的又は断続的に設けられて、隣り合う注視可能領域の境界を示す。従って、乗員は、注視可能領域の境界及び幅を視覚的に認識すると共に、選択されている注視可能領域の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器の特定を確実に行うことが可能となる。
　また、乗員が意図している注視方向と、報知装置が検出した注視方向との間にずれが生じている場合でも、検出した注視方向を視覚的に示す複数のインジケータが存在することにより、乗員は当該ずれを認識し、注視方向を適宜調整することが可能となる。
　さらに、乗員の視線方向又は顔向きを車幅方向における１つ以上の車載機器の特定のみに用いる場合（例えば、上下方向の特定は、別の選択装置を用いる場合）、視線方向又は顔向きの検出は、車幅方向のみでよくなる。これにより、車幅方向以外の方向（例えば、上下方向）における視線方向又は顔向きの検出を不要とすることができ、視線方向又は顔向きの検出処理を軽減することなどが可能となる。
この発明の一実施形態に係る車載機器操作装置（報知装置）を搭載した車両の全体ブロック図である。 前記車両のフロントウィンドウ周辺の外観図である。 前記車両のステアリングホイールの外観正面図である。 前記車両のドアミラーの外観斜視図である。 前記フロントウィンドウ周辺を５つの領域に区切った状態を示す図である。 オーディオ装置の音量を変える場合の運転者の第１動作例を示す図である。 前記オーディオ装置の音量を変える場合の運転者の第２動作例を示す図である。 前記オーディオ装置の音量を変える場合の運転者の第３動作例を示す図である。 ヘッドアップディスプレイ（ＨＵＤ）を表示し、車速や燃費を確認する場合の運転者の第１動作例を示す図である。 前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第２動作例を示す図である。 前記ＨＵＤを表示し、車速や燃費を確認する場合の運転者の第３動作例を示す図である。 助手席側ウィンドウを開閉する場合の運転者の第１動作例を示す図である。 前記助手席側ウィンドウを開閉する場合の運転者の第２動作例を示す図である。 前記助手席側ウィンドウを開閉する場合の運転者の第３動作例を示す図である。 各車載機器の選択方法と操作方法の一覧を表示する図である。 各機能のボタン割当一覧を表示する図である。 インジケータ間の境界線を調整すると共に、各車載機器を選択又は操作するフローチャートである。 前記境界線の調整前後の様子を示す説明図である。 境界線調整開始処理（図１１のＳ４）のフローチャートである。 前記境界線の調整の開始前から開始に至る際の表示器の状態変化の一例を示す図である。 境界線調整処理（図１１のＳ５）のフローチャートである。 前記境界線の調整方法を説明する図である。 前記境界線の調整中から調整終了時に致る際の前記表示器の状態変化の一例を示す図である。 通常処理（図１１のＳ６）のフローチャートである。 注視方向の検出が正常に行われている状態の一例を示す図である。 注視方向の検出ができない状態の一例を示す図である。 注視方向の検出が誤って行われている状態の一例を示す図である。 前記ＥＣＵが操作対象機器を選択するフローチャートである。 運転者の注視方向が中央方向である場合に操作対象機器を選択するフローチャートである。 運転者の注視方向が正面方向である場合に操作対象機器を選択するフローチャートである。 運転者の注視方向が右方向である場合に操作対象機器を選択するフローチャートである。 運転者の注視方向が左方向である場合に操作対象機器を選択するフローチャートである。 前記ＥＣＵが操作対象機器を操作するフローチャートである。 ナビゲーション装置の操作を行うフローチャートである。 オーディオ装置の操作を行うフローチャートである。 エアコンディショナの操作を行うフローチャートである。 ＨＵＤの操作を行うフローチャートである。 ハザードランプの操作を行うフローチャートである。 運転者用のシートの操作を行うフローチャートである。 後方ライトの操作を行うフローチャートである。 運転席側ウィンドウの操作を行うフローチャートである。 助手席側ウィンドウの操作を行うフローチャートである。 図５の変形例として、フロントウィンドウ周辺を３つの領域に区切った状態を示す図である。 前記実施形態におけるインジケータの代わりにパイロットランプを用いた構成を示す図である。
１．全体的な構成の説明
［１－１．全体構成］
　図１は、この発明の一実施形態に係る車載機器操作装置１２（以下「操作装置１２」ともいう。）を搭載した車両１０の全体ブロック図である。図２は、車両１０のフロントウィンドウ１１周辺の外観図である。図１及び図２に示すように、操作装置１２は、乗員カメラ１４と、ステアリングホイール１６に設けられた十字キー１８と、複数の車載機器２０と、注視方向表示器２２（以下「表示器２２」ともいう。）と、電子制御装置２４（以下「ＥＣＵ２４」という。）とを有する。図２からもわかるように、本実施形態の車両１０は、いわゆる右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。
［１－２．乗員カメラ１４］
　図２に示すように、乗員カメラ１４は、図示しないステアリングコラムにおいて運転者の正面に設置され、運転者の顔の画像（以下「顔画像」という。）を取得する。乗員カメラ１４の位置は、これに限らず、例えば、バックミラー２５（図２）の周辺に配置してもよい。また、乗員カメラ１４は、単一の方向から撮像するものに限らず、複数の方向から撮像するもの（いわゆるステレオカメラ）であってもよい。
［１－３．十字キー１８］
　運転者は、十字キー１８を用いて操作対象となる車載機器２０（以下「操作対象機器」という。）の特定及び特定した車載機器２０の操作入力を行うことができる。図３に示すように、十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有する。なお、図２における十字キー１８は、拡大して表示されている。十字キー１８の操作方法については、後述する。
［１－４．複数の車載機器２０］
　本実施形態において、複数の車載機器２０（図１）には、ナビゲーション装置４０と、オーディオ装置４２と、エアコンディショナ４４と、ヘッドアップディスプレイ４６（以下「ＨＵＤ４６」という。）と、ハザードランプ４８と、運転者用のシート５０と、ドアミラー５２と、後方ライト５４と、運転席側ウィンドウ５６と、助手席側ウィンドウ５８とが含まれる。
　図４に示すように、後方ライト５４はドアミラー５２下部にある発光ダイオード（ＬＥＤ）で車両１０の側面後方を照らすものである。
［１－５．注視方向表示器２２］
　図２に示すように、表示器２２は、フロントウィンドウ１１の下部周辺においてインストルメントパネル５９に設けられている。後述するように、表示器２２は、別の位置に設けることもできる。また、表示器２２は、車幅方向における運転者（乗員）の注視方向を示す複数の注視方向インジケータ２６ａ～２６ｅ（以下「インジケータ２６ａ～２６ｅ」といい、「インジケータ２６」と総称する。）を有する。各インジケータ２６ａ～２６ｅは、例えば、発光ダイオード（ＬＥＤ）等の照明装置から構成される。或いは、ＨＵＤ４６を表示器２２に対応する位置にも設けることで、ＨＵＤ４６により各インジケータ２６ａ～２６ｅを構成することもできる。さらに、各インジケータ２６ａ～２６ｅは、複数の色（例えば、青、緑、黄及び赤）を表示可能であるが、単色のみの表示であってもよい。
　本実施形態では、運転者の注視方向に対応するインジケータ２６ａ～２６ｅのいずれかが点灯し、その他のインジケータ２６ａ～２６ｅは消灯する。このため、運転者は、操作装置１２が検出した注視方向を把握することができる。
　また、隣り合うインジケータ２６ａ～２６ｅの間には、境界線２８ａ～２８ｄ（以下「境界線２８」と総称する。）（図１４参照）が配置される。本実施形態において、境界線２８ａ～２８ｄは、インジケータ２６ａ～２６ｅと同様、例えば、ＬＥＤ等の照明装置から構成される。換言すると、表示器２２全体でＬＥＤ等の照明素子を複数並べたものを、インジケータ２６ａ～２６ｅ及び境界線２８ａ～２８ｄとして用いることができる。なお、境界線２８ａ～２８ｄ自体は発光させない構成、又は境界線２８ａ～２８ｄを設けない構成も可能である。
［１－６．ＥＣＵ２４］
　ＥＣＵ２４は、車載機器操作装置１２（本実施形態では、特に、各車載機器２０）を制御するものであり、図１に示すように、入出力装置６０、演算装置６２及び記憶装置６４を備える。演算装置６２は、注視方向検出機能７０と、車載機器群特定機能７２と、個別車載機器特定機能７４と、車載機器制御機能７６とを備える。
　本実施形態では、これらの機能７０、７２、７４、７６を用いることにより、各車載機器２０を簡易に制御することができる。すなわち、運転者は、操作対象とする車載機器２０（以下「操作対象機器」という。）が存在する車幅方向に視線又は顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。なお、後述するように、その他の方法により操作対象機器を特定及び制御することもできる。
　注視方向検出機能７０は、運転者（乗員）の顔向き及び視線方向（眼球向き）の少なくとも一方に基づいて、運転者の注視方向を検出する機能である。車載機器群特定機能７２は、注視方向検出機能７０により検出した注視方向に存在する車載機器群（グループＡ～Ｄ）を特定する機能である。個別車載機器特定機能７４は、車載機器群特定機能７２に特定された車載機器群に含まれる複数の車載機器２０の中から運転者の操作に応じて操作対象機器を特定する機能である。車載機器制御機能７６は、個別車載機器特定機能７４により特定された操作対象機器を、運転者の操作入力に応じて制御する機能である。
２．本実施形態の制御の概要
　上記のように、本実施形態では、運転者は、操作対象機器が存在する車幅方向に視線又は顔を向けると共に、十字キー１８を操作することにより、操作対象機器を制御することが可能である。
　当該制御を実現するため、本実施形態では、まず乗員カメラ１４が撮像した運転者の顔画像に基づいて顔向き及び視線方向を検出し、これらに基づいて車幅方向における注視方向を判定する。その後、十字キー１８の操作に基づいて高さ方向（上下方向）を特定する。これにより、操作対象機器を特定する。
　本実施形態において、車幅方向における注視方向としては、図５に示す５つの方向を設定している。すなわち、フロントウィンドウ１１周辺を５つの領域Ａ１～Ａ５に区切っている。より具体的には、中央方向の領域Ａ１、正面方向の領域Ａ２、右方向の領域Ａ３、左方向の領域Ａ４及びその他の方向の領域Ａ５である。これらの各方向（グループＡ～Ｄ）に対し、各車載機器２０が割り当てられている。
　中央方向の領域Ａ１には、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４（グループＡ）が割り当てられている。なお、図５等において、「ナビ」は「ナビゲーション装置」を意味し、「オーディオ」は「オーディオ装置」を意味し、「エアコン」は「エアコンディショナ」を意味する。
　正面方向の領域Ａ２には、ＨＵＤ４６、ハザードランプ４８及びシート５０（グループＢ）が割り当てられている。なお、図５等において、「ハザード」は「ハザードランプ」を意味する。右方向の領域Ａ３には、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６（グループＣ）が割り当てられ、左方向の領域Ａ４には、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８（グループＤ）が割り当てられている。その他の方向の領域Ａ５には何らの車載機器２０も割り当てられていない。なお、本実施形態では、左右のドアミラー５２は同時に展開及び格納させる。また、左右の後方ライト５４は同時に操作する。
　ＥＣＵ２４（注視方向検出機能７０）は、乗員カメラ１４からの顔画像に基づき、顔向き及び視線方向（眼球の相対位置）を検出し、これらを用いて運転者の注視方向を判定する。注視方向の判定は、顔向き又は視線方向の一方のみから行うこともできる。そして、ＥＣＵ２４（車載機器群特定機能７２）は、判定した注視方向に基づいて車載機器群（グループＡ～Ｄ）を特定する。次いで、十字キー１８のうち押し下げられたボタン（ボタン３０、３２、３４、３６、３８のいずれか）に応じて、操作対象機器を特定する。その後、十字キー１８の操作に応じて操作対象機器を操作する。
３．本実施形態における操作対象機器の選択方法と動作例
［３－１．オーディオ装置４２の音量を変える場合］
　図６Ａ～図６Ｃは、オーディオ装置４２の音量を変える場合の運転者１００の第１～第３動作例を示す。まず、図６Ａに示すように、運転者１００は、５つの領域Ａ１～Ａ５のうち、オーディオ装置４２のある領域Ａ１（中央方向）を見る又は顔を向ける。これにより、ＥＣＵ２４は、後述する注視方向判定技術を用いて車載機器群（グループＡ）を特定する。なお、図６Ａ中の矢印Ｘは、運転者１００の注視方向を示している（その他の図においても同様である。）。また、ＥＣＵ２４は、判定した注視方向Ｘ｛又は特定した車載機器群（グループＡ）｝に対応するインジケータ２６ａを点灯させる。この段階では、注視方向Ｘが変化すると点灯するインジケータ２６ａ～２６ｅも切り替わり、インジケータ２６ａ～２６ｅは操作対象機器が特定されていないことを示す色（例えば、緑色）で点灯する。
　図６Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちオーディオ装置４２に対応するのは中央ボタン３０なので、運転者１００は、中央ボタン３０を押し下げる。これにより、グループＡが選択され、その後の注視方向Ｘにかかわらず中央のインジケータ２６ａが点灯し続ける。また、インジケータ２６ａの色は、選択した操作対象機器に応じて変化する。例えば、ナビゲーション装置４０は青色、オーディオ装置４２は黄色、エアコンディショナ４４は赤色とする。従って、オーディオ装置４２が選択された場合、インジケータ２６ａは黄色で表示される。
　図６Ｃにおいて、運転者１００は、十字キー１８を操作することで、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２を押す度に音量レベルが１増加し、下ボタン３４を押す度に音量レベルが１減少する。この際、運転者１００は、対象領域（グループＡに対応する中央方向の領域Ａ１）や車載機器２０（ここでは、オーディオ装置４２）を見る必要はなく、前方を見ながらでも操作対象機器（オーディオ装置４２）の操作が可能である。オーディオ装置４２を操作している間は、オーディオ装置４２に対応するインジケータ２６ａが、オーディオ装置４２に対応する色（黄色）で点灯し続ける。オーディオ装置４２の操作を終了するには、中央ボタン３０を押し下げる。オーディオ装置４２の操作が終了すると、新たに検出された注視方向Ｘに応じたインジケータ２６ａ～２６ｅが緑色（操作対象機器が特定されていないことを示す色）で点灯する。
［３－２．ＨＵＤ４６を表示し、車速や燃費を確認する場合］
　図７Ａ～図７Ｃは、ＨＵＤ４６を表示し、車速や燃費を確認する場合の運転者１００の第１～第３動作例を示す。まず、図７Ａに示すように、運転者１００は、５つの領域Ａ１～Ａ５のうち、ＨＵＤ４６のある領域Ａ２（正面方向）を見る又は顔を向ける。これにより、ＥＣＵ２４は、注視方向判定技術を用いて車載機器群Ｂ（グループＢ）を特定する。また、ＥＣＵ２４は、判定した注視方向Ｘ｛又は特定した車載機器群（グループＢ）｝に対応するインジケータ２６ｂを緑色（操作対象機器が特定されていないことを示す色）で点灯させる。
　図７Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ＨＵＤ４６、ハザードランプ４８及びシート５０）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうちＨＵＤ４６に対応するのは上ボタン３２なので、運転者１００は、上ボタン３２を押し下げる。これにより、その後の注視方向Ｘにかかわらず正面のインジケータ２６ｂが点灯し続ける。また、インジケータ２６ｂの色は、選択した操作対象機器に対応する色となる。例えば、ＨＵＤ４６は青色、ハザードランプ４８は黄色、シート５０は赤色とする。従って、ＨＵＤ４６が選択された場合、インジケータ２６ｂは青色で表示される。
　図７Ｃにおいて、運転者１００は、十字キー１８を操作することで、ＨＵＤ４６の表示を切り替える。すなわち、上ボタン３２を押す度に、ＨＵＤ４６の表示が、車速１１０→走行距離１１２→燃費１１４→車速１１０の順に切り替わる。反対に、下ボタン３４を押す度に、ＨＵＤ４６の表示が、車速１１０→燃費１１４→走行距離１１２→車速１１０の順に切り替わる。車速１１０、走行距離１１２及び燃費１１４以外の表示（例えば、ガソリン量、バッテリの残容量又は走行可能距離）を行ってもよい。この際、運転者１００は、対象領域（グループＢに対応する正面方向の領域Ａ２）や車載機器２０（ここでは、ＨＵＤ４６）を見る必要はなく、前方を見ながらでもＨＵＤ４６の操作が可能である。
　また、ＨＵＤ４６を操作している間は、ＨＵＤ４６に対応するインジケータ２６ｂが、ＨＵＤ４６に対応する色（青色）で点灯し続ける。ＨＵＤ４６の操作を終了するには、中央ボタン３０を押し下げる。ＨＵＤ４６の操作が終了すると、新たに検出された注視方向Ｘに応じたインジケータ２６ａ～２６ｅが緑色（操作対象機器が特定されていないことを示す色）で点灯する。
［３－３．助手席側ウィンドウ５８を開閉する場合］
　図８Ａ～図８Ｃは、助手席側ウィンドウ５８を開閉する場合の運転者１００の第１～第３動作例を示す。まず、図８Ａに示すように、運転者１００は、５つの領域Ａ１～Ａ５のうち、助手席側ウィンドウ５８のある領域Ａ４（左方向）を見る又は顔を向ける。これにより、注視方向判定技術を用いて車載機器群Ｄ（グループＤ）を特定する。また、ＥＣＵ２４は、判定した注視方向Ｘ｛又は特定した車載機器群（グループＤ）｝に対応するインジケータ２６ｄを緑色（操作対象機器が特定されていないことを示す色）で点灯させる。
　図８Ｂにおいて、運転者１００は、各車載機器２０の位置関係（上から、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８）に対応した位置にある十字キー１８を押し下げ、操作対象機器を決定する。すなわち、十字キー１８のうち助手席側ウィンドウ５８に対応するのは上ボタン３２及び下ボタン３４なので、運転者１００は、上ボタン３２又は下ボタン３４を押し下げる。これにより、その後の注視方向Ｘにかかわらず左側のインジケータ２６ｄが点灯し続ける。また、インジケータ２６ｄの色は、選択した操作対象機器に対応する色となる。例えば、ドアミラー５２は青色、後方ライト５４は黄色、助手席側ウィンドウ５８は赤色とする。従って、助手席側ウィンドウ５８が選択された場合、インジケータ２６ｄは赤色で表示される。
　なお、ドアミラー５２及び後方ライト５４の位置関係は上下に存在するが、助手席側ウィンドウ５８については基準位置をどこに置くかにより、ドアミラー５２及び後方ライト５４との上下関係が逆転する。ここでは、助手席側ウィンドウ５８の図示しない駆動部の位置を基準としたが、別の場所を基準位置とすることもできる。これに伴い、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８と各ボタンの対応関係は変更してもよい。但し、通常、ドアミラー５２の展開及び格納が略水平方向に行われるのに対し、助手席側ウィンドウ５８の開閉が略垂直方向に行われるため、それぞれの可動方向を考慮すると、ドアミラー５２に左ボタン３６及び右ボタン３８を割り当て、助手席側ウィンドウ５８に上ボタン３２及び下ボタン３４を割り当てる方が直感的な操作を行い易い。
　図８Ｃにおいて、運転者１００は、十字キー１８を操作することで、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４を押す度に、助手席側ウィンドウ５８が開き、上ボタン３２を押す度に、助手席側ウィンドウ５８が閉じる。この際、運転者１００は、車載機器２０（ここでは、助手席側ウィンドウ５８）を見る必要はなく、前方を見ながらでも操作対象機器（助手席側ウィンドウ５８）の操作が可能である。
　また、助手席側ウィンドウ５８を操作している間は、助手席側ウィンドウ５８に対応するインジケータ２６ｄが、助手席側ウィンドウ５８に対応する色（赤色）で点灯し続ける。助手席側ウィンドウ５８の操作を終了するには、中央ボタン３０を押し下げる。助手席側ウィンドウ５８の操作が終了すると、新たに検出された注視方向Ｘに応じたインジケータ２６ａ～２６ｅが緑色（操作対象機器が特定されていないことを示す色）で点灯する。
４．車載機器２０の選択方法と動作方法のまとめ
　図９は、各車載機器２０の選択方法と操作方法の一覧を表示し、図１０は、各機能のボタン割当一覧を表示する。運転者１００は、図９及び図１０に沿った操作をすることにより、操作対象機器を簡易に操作することができる。
５．具体的なフローチャート
［５－１．全体フロー］
　図１１は、各インジケータ２６ａ～２６ｅ間の境界線２８ａ～２８ｄを調整すると共に、各車載機器２０を選択又は操作するフローチャートである。ステップＳ１において、ＥＣＵ２４は、乗員カメラ１４が取得した運転者１００の顔画像に基づいて運転者１００の注視方向Ｘを検出する。
　ステップＳ２において、ＥＣＵ２４は、各インジケータ２６ａ～２６ｅの境界線２８ａ～２８ｄを調整中であるか否かを判定する。具体的には、ＥＣＵ２４は、境界線２８ａ～２８ｄを調整中であるか否かを示すフラグＦＬＧが１であるか否かを判定する。フラグＦＬＧは、０であるとき、境界線２８ａ～２８ｄを調整中でないことを示し、１であるとき、境界線２８ａ～２８ｄを調整中であることを示す。
　境界線２８ａ～２８ｄを調整中でない場合（Ｓ２：ＮＯ）、ステップＳ３において、ＥＣＵ２４は、境界線２８ａ～２８ｄの調整を開始するか否かを判定する。具体的には、ＥＣＵ２４は、中央ボタン３０が所定時間（例えば、２～５秒間の範囲におけるいずれかの時間）長押しされたか否かを判定する。境界線２８ａ～２８ｄの調整を開始する場合（Ｓ３：ＹＥＳ）、ステップＳ４において、ＥＣＵ２４は、境界線調整開始処理を実行する。境界線２８ａ～２８ｄの調整を開始しない場合（Ｓ３：ＮＯ）、ステップＳ６において、ＥＣＵ２４は、通常処理を実行する。
　ステップＳ２において、境界線２８ａ～２８ｄを調整中である場合（Ｓ２：ＹＥＳ）、ステップＳ５において、ＥＣＵ２４は、境界線調整処理を実行する。
［５－２．運転者１００の注視方向Ｘの検知（図１１のＳ１）］
　運転者１００の視線方向の検知は、例えば、ＪＰ ２０１０－１０５４１７ Ａに記載の方法を用いて行うことができる（例えば、段落［００１４］～［００１６］参照）。
　運転者の顔向きの検知は、例えば、次のような方法により行うことができる。すなわち、ＥＣＵ２４（注視方向検出機能７０）は、乗員カメラ１４から出力された顔画像に基づき、顔中心位置と、左右の顔端位置を検出する。そして、これらの検出結果に基づき、例えば、人の顔をシリンダ形状に近似して顔向きを算出する（シリンダ法）。なお、ここでの顔向きは、広義の意味で用いられており、頭の正面側のみならずその他の部分（例えば、後頭部）を含んでもよい。
［５－３．境界線２８ａ～２８ｄの調整（図１１のＳ４、Ｓ５）］
（５－３－１．概要）
　図１２は、境界線２８ａ～２８ｄの調整前後の様子を示す説明図である。図１２に示すように、本実施形態では、境界線２８ａ～２８ｄを調整することにより、インジケータ２６ａ～２６ｅの位置を調整することが可能である。この際、境界線２８ａ～２８ｄの調整を行っても、各領域Ａ１～Ａ５の位置はそのままの状態で各領域Ａ１～Ａ５と各インジケータ２６ａ～２６ｅとが対応付けられる。従って、境界線２８ａ～２８ｄの調整により、操作装置１２が検出した注視方向Ｘと、運転者１００が意図する注視方向Ｘとの間にずれが生じている場合であっても、実際の注視方向Ｘに沿った違和感のない注視方向Ｘの検出が可能となる。
（５－３－２．境界線調整開始処理）
　図１３は、境界線調整開始処理（図１１のＳ４）のフローチャートである。図１４は、境界線２８ａ～２８ｄの調整の開始前から開始に至る際の表示器２２の状態変化の一例を示す図である。
　図１３のステップＳ１１において、ＥＣＵ２４は、フラグＦＬＧに１を設定する。上記のように、フラグＦＬＧが１であるとき、境界線２８ａ～２８ｄの調整中であることを示す。
　ステップＳ１２において、ＥＣＵ２４は、運転者１００の注視方向Ｘにかかわらず、中央のインジケータ２６ａを、通常の表示色（例えば、緑色）とは異なる色（例えば、青色）に変化させて点灯させる（図１４参照）。なお、本実施形態において、ＥＣＵ２４は、車載機器群（グループＡ～Ｄ）を特定していない場合でも境界線２８ａ～２８ｄを点灯させる。
　ステップＳ１３において、ＥＣＵ２４は、車両１０の進行方向に向かって左端の境界線２８ｃを強調表示する。ここでの強調表示としては、例えば、通常の表示色（例えば、青色）とは異なる色（例えば、黄色）に変化させて点灯することができる。或いは、境界線２８ｃの幅を通常時よりも太くしてもよい。或いは、境界線２８ｃの輝度を通常時よりも高くすることもできる。もちろん、これらの強調方法を併用することも可能である。
（５－３－３．境界線調整処理）
　図１５は、境界線調整処理（図１１のＳ５）のフローチャートである。図１６は、境界線２８ａ～２８ｄの調整方法を説明する図である。図１７は、境界線２８ａ～２８ｄの調整中から調整終了時に致る際の表示器２２の状態変化の一例を示す図である。
　ステップＳ２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２２において、ＥＣＵ２４は、調整する境界線２８ａ～２８ｄを選択する。すなわち、上ボタン３２が押し下げられている場合、調整対象の境界線２８ａ～２８ｄを右方向に切り替える（図１６参照）。例えば、調整対象の境界線２８ａ～２８ｄが左端の境界線２８ｃであるときに上ボタン３２を押し下げると、その右側の境界線２８ｄが選択される。下ボタン３４が押し下げられている場合、調整対象の境界線２８ａ～２８ｄを左方向に切り替える。例えば、調整対象の境界線２８ａ～２８ｄが左端の境界線２８ｃであるときに下ボタン３４を押し下げると、その左側には境界線２８ａ～２８ｄが存在しないため、右端の境界線２８ｂが選択される。
　押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２３において、ＥＣＵ２４は、調整対象の境界線２８ａ～２８ｄの位置を調整する。すなわち、左ボタン３６が押し下げられている場合、調整対象の境界線２８ａ～２８ｄを左に１単位ずつずらす（図１６参照）。右ボタン３８が押し下げられている場合、調整対象の境界線２８ａ～２８ｄを右に１単位ずつずらす。なお、図１６に示すように、各境界線２８ａ～２８ｄには、調整可能範囲が存在する。このため、調整可能範囲を超えるように各境界線２８ａ～２８ｄをずらすことはできない。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２４において、ＥＣＵ２４は、注視方向Ｘに応じたインジケータ２６ａ～２６ｅを通常の表示色（緑色）に戻して点灯させると共に、ステップＳ２５において、ＥＣＵ２４は、調整対象の境界線２８ａ～２８ｄの強調表示を終了する（図１７参照）。ステップＳ２６において、ＥＣＵ２４は、フラグＦＬＧに０を設定する。上記のように、フラグＦＬＧが０であるとき、境界線２８ａ～２８ｄの調整を行っていないことを示す。
［５－４．通常処理（図１１のＳ６）の全体］
　図１８は、通常処理（図１１のＳ６）のフローチャートである。ステップＳ３１において、ＥＣＵ２４は、図１１のステップＳ１において、注視方向Ｘを検出できているか否かを判定する。注視方向Ｘを検出できている場合（Ｓ３１：ＹＥＳ）、ステップＳ３２において、ＥＣＵ２４は、注視方向Ｘに対応するインジケータ２６ａ～２６ｅを点灯させる。注視方向Ｘを検出できていない場合（Ｓ３１：ＮＯ）、ステップＳ３３において、ＥＣＵ２４は、各インジケータ２６ａ～２６ｅを消灯させる。
　図１９Ａ～図１９Ｃは、インジケータ２６ａ～２６ｅの点灯又は消灯に伴う効果を説明する第１～第３説明図である。図１９Ａに示すように、運転者１００の注視方向Ｘと点灯するインジケータ２６ａとが対応している場合、運転者１００は、注視方向Ｘによる車載機器群の選択が正常に行われていることを知ることができる。
　図１９Ｂに示すように、運転者１００が、例えば、サングラス８０をしていることにより視線方向が検出できず、また、マスク８２をしていることにより顔向きが検出できず、その結果、運転者１００の注視方向Ｘが検出できない場合、いずれのインジケータ２６ａ～２６ｅも点灯しない。このため、運転者１００は、注視方向Ｘの検出ができていないことを知ることができる。従って、運転者１００は、サングラス８０又はマスク８２を外す必要性を認識することが可能となる。
　図１９Ｃに示すように、運転者１００の注視方向Ｘと点灯するインジケータ２６ｂとが対応していない場合、運転者１００は、注視方向Ｘによる車載機器群の選択が誤って行われていることを知ることができる。この場合、運転者１００は、上述した境界線２８ａ～２８ｄの調整を行うべきこと又は自己の注視方向Ｘを修正すべきこと（図１９Ｃの場合、より左側を向くべきこと）を認識することが可能となる。
　図１８に戻り、ステップＳ３４において、ＥＣＵ２４は、十字キー１８のいずれかのボタンが押し下げられたか否かを判定する。いずれのボタンも押し下げられていない場合（Ｓ３４：ＮＯ）、今回の処理を終える。いずれかのボタンが押し下げられた場合（Ｓ３４：ＹＥＳ）、ステップＳ３５において、ＥＣＵ２４は、現在、操作対象機器が選択中であるか否かを判定する。操作対象機器が選択中でない場合（Ｓ３５：ＮＯ）、ステップＳ３６において、ＥＣＵ２４は、図１１のステップＳ１において、注視方向Ｘを検出できているか否かを判定する。注視方向Ｘを検出できている場合（Ｓ３６：ＹＥＳ）、ステップＳ３７において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を選択する。注視方向Ｘを検出できていない場合（Ｓ３６：ＮＯ）、今回の処理を終える。
　ステップＳ３５において操作対象機器が選択中である場合（Ｓ３５：ＹＥＳ）、ステップＳ３８において、ＥＣＵ２４は、操作対象機器に応じて点灯するインジケータ２６ａ～２６ｅ及びその色を設定する。ステップＳ３９において、ＥＣＵ２４は、運転者１００による操作に応じて操作対象機器を操作する。
［５－５．操作対象機器の選択（図１８のＳ３７）］
（５－５－１．概要）
　図２０は、ＥＣＵ２４が操作対象機器を選択するフローチャート（図１８のＳ３７の詳細）である。ステップＳ１１１において、ＥＣＵ２４は、図１１のステップＳ１で特定した運転者１００の注視方向Ｘが、中央、正面、右、左又はその他のいずれであるかを確認する。
　運転者１００の注視方向Ｘが中央方向（領域Ａ１）である場合、ステップＳ１１２において、ＥＣＵ２４は、中央方向の車載機器群、すなわち、ナビゲーション装置４０、オーディオ装置４２及びエアコンディショナ４４からなるグループＡを特定し、グループＡの中から操作対象機器を選択する。
　運転者１００の注視方向Ｘが正面方向（領域Ａ２）である場合、ステップＳ１１３において、ＥＣＵ２４は、正面方向の車載機器群、すなわち、ＨＵＤ４６、ハザードランプ４８及びシート５０からなるグループＢを特定し、グループＢの中から操作対象機器を選択する。
　運転者１００の注視方向Ｘが右方向（領域Ａ３）である場合、ステップＳ１１４において、ＥＣＵ２４は、右方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び運転席側ウィンドウ５６からなるグループＣを特定し、グループＣの中から操作対象機器を選択する。
　運転者１００の注視方向Ｘが左方向（領域Ａ４）である場合、ステップＳ１１５において、ＥＣＵ２４は、左方向の車載機器群、すなわち、ドアミラー５２、後方ライト５４及び助手席側ウィンドウ５８からなるグループＤを特定し、グループＤの中から操作対象機器を選択する。
　運転者１００の注視方向Ｘがその他の方向（領域Ａ５）である場合、ＥＣＵ２４は、いずれの車載機器２０も選択せずに今回の処理を終える。
（５－５－２．中央方向）
　図２１は、運転者１００の注視方向Ｘが中央方向（領域Ａ１）である場合に操作対象機器を選択するフローチャート（図２０のＳ１１２の詳細）である。ステップＳ１２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２である場合、ステップＳ１２２において、ＥＣＵ２４は、ナビゲーション装置４０を選択し、中央のインジケータ２６ａを点灯させる。続くステップＳ１２３において、ＥＣＵ２４は、ナビゲーション装置４０を操作対象機器として設定する。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ１２４において、ＥＣＵ２４は、オーディオ装置４２を選択し、中央のインジケータ２６ａを点灯させる。続くステップＳ１２５において、ＥＣＵ２４は、オーディオ装置４２を操作対象機器として設定する。
　押し下げられたボタンが下ボタン３４である場合、ステップＳ１２６において、ＥＣＵ２４は、エアコンディショナ４４を選択し、中央のインジケータ２６ａを点灯させる。続くステップＳ１２７において、ＥＣＵ２４は、エアコンディショナ４４を操作対象機器として設定する。
　押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
（５－５－３．正面方向）
　図２２は、運転者１００の注視方向Ｘが正面方向（領域Ａ２）である場合に操作対象機器を選択するフローチャート（図２０のＳ１１３の詳細）である。ステップＳ１３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２である場合、ステップＳ１３２において、ＥＣＵ２４は、ＨＵＤ４６を選択し、正面のインジケータ２６ｂを点灯させる。続くステップＳ１３３において、ＥＣＵ２４は、ＨＵＤ４６をオンにする。これにより、フロントウィンドウ１１にＨＵＤ４６が表示される。ステップＳ１３４において、ＥＣＵ２４は、ＨＵＤ４６を操作対象機器として設定する。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ１３５において、ＥＣＵ２４は、ハザードランプ４８を選択し、正面のインジケータ２６ｂを点灯させる。続くステップＳ１３６において、ＥＣＵ２４は、ハザードランプ４８を点滅させる。ステップＳ１３７において、ＥＣＵ２４は、ハザードランプ４８を操作対象機器として設定する。
　押し下げられたボタンが下ボタン３４である場合、ステップＳ１３８において、ＥＣＵ２４は、シート５０を選択し、正面のインジケータ２６ｂを点灯させる。続くステップＳ１３９において、ＥＣＵ２４は、シート５０を操作対象機器として設定する。
　押し下げられたボタンが上ボタン３２、中央ボタン３０及び下ボタン３４のいずれでもない場合、ＥＣＵ２４は、今回の処理を終える。
（５－５－４．右方向）
　図２３は、運転者１００の注視方向Ｘが右方向（領域Ａ３）である場合に操作対象機器を選択するフローチャート（図２０のＳ１１４の詳細）である。ステップＳ１４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１４２において、ＥＣＵ２４は、運転席側ウィンドウ５６を選択し、右側のインジケータ２６ｃを点灯させる。続くステップＳ１４３において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。ステップＳ１４４において、ＥＣＵ２４は、運転席側ウィンドウ５６を操作対象機器として設定する。
　押し下げられたボタンが左ボタン３６である場合、ステップＳ１４５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１４６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のインジケータ２６ｃを点灯させる。
　ステップＳ１４７において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１４８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のインジケータ２６ｃを消灯する。
　押し下げられたボタンが右ボタン３８である場合、ステップＳ１４９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１５０において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、右側のインジケータ２６ｃを点灯させる。
　ステップＳ１５１において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１５２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、右側のインジケータ２６ｃを消灯する。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ１５３において、ＥＣＵ２４は、後方ライト５４を選択し、右側のインジケータ２６ｃを点灯させる。続くステップＳ１５４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１５５において、後方ライト５４を操作対象機器として設定する。
（５－５－５．左方向）
　図２４は、運転者１００の注視方向Ｘが左方向（領域Ａ４）である場合に操作対象機器を選択するフローチャート（図２０のＳ１１５の詳細）である。ステップＳ１６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが上ボタン３２、中央ボタン３０、下ボタン３４、右ボタン３８又は左ボタン３６のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ１６２において、ＥＣＵ２４は、助手席側ウィンドウ５８を選択し、左側のインジケータ２６ｄを点灯させる。続くステップＳ１６３において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。ステップＳ１６４において、ＥＣＵ２４は、助手席側ウィンドウ５８を操作対象機器として設定する。
　押し下げられたボタンが左ボタン３６である場合、ステップＳ１６５において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が展開状態である場合、今回の処理を終える。ドアミラー５２が格納状態である場合、ステップＳ１６６において、ＥＣＵ２４は、左右両方のドアミラー５２を選択し、左側のインジケータ２６ｄを点灯させる。
　ステップＳ１６７において、ＥＣＵ２４は、左右のドアミラー５２を展開する。ステップＳ１６８において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のインジケータ２６ｄを消灯する。
　押し下げられたボタンが右ボタン３８である場合、ステップＳ１６９において、ＥＣＵ２４は、ドアミラー５２の状態（展開又は格納）を確認する。ドアミラー５２が格納状態である場合、今回の処理を終える。ドアミラー５２が展開状態である場合、ステップＳ１７０において、ＥＣＵ２４は、左右のドアミラー５２を選択し、左側のインジケータ２６ｄを点灯させる。
　ステップＳ１７１において、ＥＣＵ２４は、左右のドアミラー５２を格納する。ステップＳ１７２において、ＥＣＵ２４は、左右のドアミラー５２を選択して、左側のインジケータ２６ｄを消灯する。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ１７３において、ＥＣＵ２４は、後方ライト５４を選択し、左側のインジケータ２６ｄを点灯させる。続くステップＳ１７４において、ＥＣＵ２４は、後方ライト５４を点灯させる。ステップＳ１７５において、後方ライト５４を操作対象機器として設定する。
［５－６．操作対象機器の操作（図１８のＳ３９）］
（５－６－１．概要）
　図２５は、ＥＣＵ２４が操作対象機器を操作するフローチャート（図１８のＳ３９の詳細）である。ステップＳ１８１において、ＥＣＵ２４は、図１８のステップＳ３７により選択中の操作対象機器を確認する。選択中の操作対象機器がナビゲーション装置４０である場合、ステップＳ１８２において、ＥＣＵ２４は、ナビゲーション装置４０の操作を行う。選択中の操作対象機器がオーディオ装置４２である場合、ステップＳ１８３において、ＥＣＵ２４は、オーディオ装置４２の操作を行う。選択中の操作対象機器がエアコンディショナ４４である場合、ステップＳ１８４において、ＥＣＵ２４は、エアコンディショナ４４の操作を行う。
　選択中の操作対象機器がＨＵＤ４６である場合、ステップＳ１８５において、ＥＣＵ２４は、ＨＵＤ４６の操作を行う。選択中の操作対象機器がハザードランプ４８である場合、ステップＳ１８６において、ＥＣＵ２４は、ハザードランプ４８の操作を行う。選択中の操作対象機器がシート５０である場合、ステップＳ１８７において、ＥＣＵ２４は、シート５０の操作を行う。選択中の操作対象機器が後方ライト５４である場合、ステップＳ１８８において、ＥＣＵ２４は、後方ライト５４の操作を行う。選択中の操作対象機器が運転席側ウィンドウ５６である場合、ステップＳ１８９において、ＥＣＵ２４は、運転席側ウィンドウ５６の操作を行う。選択中の操作対象機器が助手席側ウィンドウ５８である場合、ステップＳ１９０において、ＥＣＵ２４は、助手席側ウィンドウ５８の操作を行う。
（５－６－２．ナビゲーション装置４０の操作）
　図２６は、ナビゲーション装置４０の操作を行うフローチャート（図２５のＳ１８２の詳細）である。ステップＳ２０１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２０２において、ＥＣＵ２４は、ナビゲーション装置４０の表示の縮尺を変更する。すなわち、上ボタン３２が押し下げられている場合、縮尺を拡大し、下ボタン３４が押し下げられている場合、縮尺を縮小する。
　押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２０３において、ＥＣＵ２４は、ナビゲーション装置４０の表示方向を切り替える。すなわち、左ボタン３６が押し下げられた場合、表示方向を北向きとし、右ボタン３８が押し下げられた場合、表示方向を車両１０の進行方向とする。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２０４において、ＥＣＵ２４は、中央のインジケータ２６ａを消灯させる。続くステップＳ２０５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
（５－６－３．オーディオ装置４２の操作）
　図２７は、オーディオ装置４２の操作を行うフローチャート（図２５のＳ１８３の詳細）である。ステップＳ２１１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２１２において、ＥＣＵ２４は、オーディオ装置４２の音量を調整する。すなわち、上ボタン３２が押し下げられている場合、音量を増大させ、下ボタン３４が押し下げられている場合、音量を減少させる。
　押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２１３において、ＥＣＵ２４は、オーディオ装置４２の選曲又は選局を切り替える。すなわち、左ボタン３６が押し下げられている場合、前の楽曲又は前の放送局に切り替え、右ボタン３８が押し下げられている場合、次の楽曲又は次の放送局に切り替える。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２１４において、ＥＣＵ２４は、中央のインジケータ２６ａを消灯させる。続くステップＳ２１５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
（５－６－４．エアコンディショナ４４の操作）
　図２８は、エアコンディショナ４４の操作を行うフローチャート（図２５のＳ１８４の詳細）である。ステップＳ２２１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２２２において、ＥＣＵ２４は、エアコンディショナ４４の設定温度を調整する。すなわち、上ボタン３２が押し下げられている場合、設定温度を増加させ、下ボタン３４が押し下げられている場合、設定温度を減少させる。
　押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２２３において、ＥＣＵ２４は、エアコンディショナ４４の設定風量を調整する。すなわち、左ボタン３６が押し下げられている場合、設定風量を減少させ、右ボタン３８が押し下げられている場合、設定風量を増加させる。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２２４において、ＥＣＵ２４は、中央のインジケータ２６ａを消灯させる。続くステップＳ２２５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
（５－６－５．ＨＵＤ４６の操作）
　図２９は、ＨＵＤ４６の操作を行うフローチャート（図２５のＳ１８５の詳細）である。ステップＳ２３１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２３２において、ＥＣＵ２４は、ＨＵＤ４６の表示情報を切り替える。例えば、上ボタン３２が押し下げられている場合、車速１１０→走行距離１１２→燃費１１４→車速１１０→走行距離１１２、、、のように表示情報を切り替える（図７Ｃ参照）。下ボタン３４が押し下げられている場合、車速１１０→燃費１１４→走行距離１１２→車速１１０→燃費１１４、、、のように表示情報を切り替える。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２３３において、ＥＣＵ２４は、正面のインジケータ２６ｂを消灯させる。続くステップＳ２３４において、ＥＣＵ２４は、ＨＵＤ４６をオフにする。ステップＳ２３５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
　押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
（５－６－６．ハザードランプ４８の操作）
　図３０は、ハザードランプ４８の操作を行うフローチャート（図２５のＳ１８６の詳細）である。ステップＳ２４１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２４２において、ＥＣＵ２４は、ハザードランプ４８を消灯する。続くステップＳ２４３において、ＥＣＵ２４は、正面のインジケータ２６ｂを消灯させる。ステップＳ２４４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
　押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
（５－６－７．シート５０の操作）
　図３１は、運転者１００用のシート５０の操作を行うフローチャート（図２５のＳ１８７の詳細）である。ステップＳ２５１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８のいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２５２において、ＥＣＵ２４は、シート５０の前後スライド調整を行う。すなわち、上ボタン３２が押し下げられている場合、シート５０を前進させ、下ボタン３４が押し下げられている場合、シート５０を後退させる。
　押し下げられたボタンが左ボタン３６又は右ボタン３８である場合、ステップＳ２５３において、ＥＣＵ２４は、シート５０のリクライニング角度を調整する。すなわち、左ボタン３６が押し下げられている場合、リクライニング角度を減少させ、右ボタン３８が押し下げられている場合、リクライニング角度を増大させる。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２５４において、ＥＣＵ２４は、正面のインジケータ２６ｂを消灯させる。続くステップＳ２５５において、ＥＣＵ２４は、操作対象機器の選択を終了する。
（５－６－８．後方ライト５４の操作）
　図３２は、後方ライト５４の操作を行うフローチャート（図２５のＳ１８８の詳細）ある。ステップＳ２６１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０又はその他のボタンのいずれであるかを判定する。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２６２において、ＥＣＵ２４は、後方ライト５４を消灯させる。続くステップＳ２６３において、ＥＣＵ２４は、点灯中の右側又は左側のインジケータ２６ｃ、２６ｄを消灯させる。続くステップＳ２６４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
　押し下げられたボタンがその他のボタン（上ボタン３２、下ボタン３４、左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
（５－６－９．運転席側ウィンドウ５６の操作）
　図３３は、運転席側ウィンドウ５６の操作を行うフローチャート（図２５のＳ１８９の詳細）である。ステップＳ２７１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２７２において、ＥＣＵ２４は、運転席側ウィンドウ５６を開閉する。すなわち、下ボタン３４が押し下げられている場合、運転席側ウィンドウ５６を開き、上ボタン３２が押し下げられている場合、運転席側ウィンドウ５６を閉じる。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２７３において、ＥＣＵ２４は、右側のインジケータ２６ｃを消灯させる。続くステップＳ２７４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
　押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
（５－６－１０．助手席側ウィンドウ５８の操作）
　図３４は、助手席側ウィンドウ５８の操作を行うフローチャート（図２５のＳ１９０の詳細）である。ステップＳ２８１において、ＥＣＵ２４は、十字キー１８のうち押し下げられたボタンが中央ボタン３０、上ボタン３２、下ボタン３４又はその他のボタンのいずれであるかを判定する。
　押し下げられたボタンが上ボタン３２又は下ボタン３４である場合、ステップＳ２８２において、ＥＣＵ２４は、助手席側ウィンドウ５８を開閉する。すなわち、下ボタン３４が押し下げられている場合、助手席側ウィンドウ５８を開き、上ボタン３２が押し下げられている場合、助手席側ウィンドウ５８を閉じる。
　押し下げられたボタンが中央ボタン３０である場合、ステップＳ２８３において、ＥＣＵ２４は、左側のインジケータ２６ｄを消灯させる。続くステップＳ２８４において、ＥＣＵ２４は、操作対象機器の選択を終了する。
　押し下げられたボタンがその他のボタン（左ボタン３６又は右ボタン３８）である場合、そのまま今回の処理を終える。
６．本実施形態の効果
　以上説明したように、本実施形態によれば、運転者１００（乗員）の注視方向Ｘに基づいて車幅方向の車載機器群（グループＡ～Ｄ）を特定すると共に、特定した車載機器群のうちいずれかの車載機器２０を十字キー１８の操作により特定する。従って、運転者は、特定すべきいずれかの車載機器２０そのものを注視する必要は無く、特定すべきいずれかの車載機器２０が存在する車載機器群の方向（車幅方向）に視線又は顔を向けるだけでよくなる。このため、車両１０の前方への注意を阻害する要因を低減することが可能になると共に、操作対象機器の誤判定を防止することが可能となる。また、各車載機器２０に対する注視判定が不要となるため、高精度な視線／顔向き検知技術を必要としなくなる。従って、操作装置１２全体での高コスト化を防止することが可能となる。
　本実施形態において、十字キー１８は、選択可能な上下方向のそれぞれに対応して割り当てられた上ボタン３２、下ボタン３４及び中央ボタン３０を備える。これにより、選択可能な上下方向（＝１つの車載機器群に存在する車載機器２０の数）に対応して上ボタン３２、下ボタン３４及び中央ボタン３０が設けられるため、操作対象機器選択のための操作時間を短縮することが可能になると共に、操作対象機器を確実に選択することが可能となる。このため、利便性を向上することができる。
　本実施形態において、十字キー１８は、運転者１００の注視方向Ｘの検出及び十字キー１８の操作により操作対象機器が特定された状態において、当該操作対象機器に対する特定の操作入力を行うための操作入力手段を兼ねる。これにより、上下方向選択手段（例えば、機器選択用スイッチ）と操作入力手段(例えば、機器操作用スイッチ)とを共用化することにより操作手段の配置スペース及びコストを低減することが可能となる。また、ブラインド操作の容易化を図ることが可能となる。
　本実施形態において、ＥＣＵ２４は、乗員カメラ１４による取得画像に基づいて車幅方向における運転者１００の顔向き角度を検出し、当該顔向き角度に基づいて運転者１００の注視方向Ｘを検出する。これにより、車幅方向の顔向き角度を画像処理から求めれば良いため、瞳孔の輝点検出等を用いる視線検知を行うための高精度な画像処理や赤外ＬＥＤ等のデバイスが不要となり、より一層の低コスト化を図ることが可能となる。
　本実施形態では、特定された車載機器群（グループＡ～Ｄ）における個別の車載機器２０の選択は、ステアリングホイール１６に設けられた十字キー１８により行われると共に、各車載機器群において車載機器２０を選択する上下方向は、十字キー１８の上下方向（上ボタン３２、下ボタン３４及び中央ボタン３０）に対応して割り当てられる。このような十字キー１８を用いることによりステアリングホイール１６から手を離さずに車載機器２０を操作可能であるため利便性が向上する。加えて、選択可能な方向が十字キー１８の上下位置に対応しているため、より直感的に車載機器２０を選択することができ、ブラインド操作の更なる容易化を図ることが可能となる。
　本実施形態では、運転者１００の注視方向Ｘに伴って特定された車載機器群（グループＡ～Ｄ）を表示するインジケータ２６ａ～２６ｄが、車載機器群（グループＡ～Ｄ）ごとに設けられている。これにより、車載機器群を特定する精度を確保（車両１０の状態と運転者１００の認識とのずれを防止）しつつ、車載機器２０全てに対応するようにインジケータ２６を設ける場合に比べて低コスト化を図ることができる。
　本実施形態によれば、車幅方向における複数の車載機器群（グループＡ～Ｄ）のうち運転者１００の注視方向Ｘに基づいて特定されたものを、インジケータ２６ａ～２６ｅを用いて報知する。少なくともインジケータ２６ａ、２６ｂ、２６ｅは、車幅方向において各車載機器群（グループＡ、Ｂ）に対応する領域Ａ１、Ａ２、Ａ５の幅と同等の幅を有し、インストルメントパネル５９に車幅方向に並べて配置されている。従って、運転者１００は、領域Ａ１～Ａ５の境界及び幅を視覚的に認識すると共に、特定されている車載機器群の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器２０の特定を確実に行うことが可能となる。
　また、運転者１００が意図している注視方向Ｘと、操作装置１２が検出した注視方向Ｘとの間にずれが生じている場合でも、検出した注視方向Ｘを報知するインジケータ２６ａ～２６ｅが存在することにより、運転者１００は当該ずれを認識し、注視方向Ｘを適宜調整することが可能となる。
　さらに、本実施形態では、運転者１００の視線方向又は顔向きを車幅方向における車載機器群（グループＡ～Ｄ）の特定のみに用いるため、視線方向又は顔向きの検出は、車幅方向のみでよくなる。これにより、車幅方向以外の方向（例えば、上下方向）における視線方向又は顔向きの検出を不要とすることでき、視線方向又は顔向きの検出処理を軽減することなどが可能となる。
　本実施形態では、領域Ａ１～Ａ５（インジケータ２６ａ～２６ｅ）の境界線２８ａ～２８ｄは、ＥＣＵ２４（車載機器群特定機能７２）により車載機器群（グループＡ～Ｄ）が特定されていなくても表示器２２が報知する。これにより、運転者１００が確実に境界線２８ａ～２８ｄを理解でき、どの幅領域に視線又は顔向きを変化させれば、特定の車載機器群を選択できるかを理解することが可能となる。
　本実施形態では、操作装置１２は、車載機器２０とは異なる場所において運転者１００により操作可能に設けられる十字キー１８を備え、ＥＣＵ２４（個別車載機器特定機能７４）は、検出した注視方向Ｘに基づいて車載機器群（グループＡ～Ｄ）を特定すると共に、該車載機器群が特定された状態で十字キー１８により選択された方向に基づいて、特定された車載機器群のうちいずれかの車載機器２０を特定し、インジケータ２６ａ～２６ｅは、個別車載機器特定機能７４によって特定された車載機器２０によって表示色が変更される。これにより、運転者１００は、１つの車載機器群の中でいずれの車載機器２０が選択されているかを直ぐに理解することができる。
　本実施形態において、インジケータ２６ａ～２６ｅは、それらの幅を調整できる。これにより、注視方向検出機能７０により検出される注視方向Ｘと実際の注視方向Ｘがずれていたとしても調整することができ、実際の注視方向Ｘに沿った違和感のない注視方向Ｘの検出が可能となる。
　本実施形態によれば、検出された注視方向Ｘ又は特定された車載機器群（グループＡ～Ｄ）に対応する領域Ａ１～Ａ５を視覚的に報知する複数のインジケータ２６ａ～２６ｅを備える。各インジケータ２６ａ～２６ｅは、フロントウィンドウ１１の下部の周囲において領域Ａ１～Ａ５ごとに車幅方向に沿って連続的に設けられて、隣り合う領域Ａ１～Ａ５の境界を示す。従って、運転者１００は、領域Ａ１～Ａ５の境界及び幅を視覚的に認識すると共に、選択されている領域Ａ１～Ａ５の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器２０の特定を確実に行うことが可能となる。
　また、運転者１００が意図している注視方向Ｘと、操作装置１２が検出した注視方向Ｘとの間にずれが生じている場合でも、検出した注視方向Ｘを視覚的に示す複数のインジケータ２６ａ～２６ｅが存在することにより、運転者１００は当該ずれを認識し、注視方向Ｘを適宜調整することが可能となる。
７．変形例
　なお、この発明は、上記実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
［７－１．搭載対象］
　上記実施形態では、操作装置１２を車両１０に搭載したが、これに限らず、別の対象に搭載してもよい。例えば、操作装置１２を船舶や航空機等の移動体に用いることもできる。また、移動体に限らず、対象者の注視方向を特定することを要する装置であれば、その他の装置であってもよい。
［７－２．注視方向の検出］
　注視方向Ｘの検出対象としての乗員は、運転者１００に限らず、その他の乗員（助手席に座っている乗員、後部座席に座っている乗員等）であってもよい。
　上記実施形態では、フロントウィンドウ１１周辺を５つの領域Ａ１～Ａ５に区切ったが（図５）、領域の数は、これに限らない。例えば、図３５のように、フロントウィンドウ１１周辺を３つの領域Ａ１１～Ａ１３に区切ることもできる。
［７－３．操作対象機器の特定］
　上記実施形態では、車両１０の車幅方向の特定を注視方向Ｘに基づいて行い、車両１０の高さ方向の特定を十字キー１８の操作により行ったが、インジケータ２６ａ～２６ｅを用いて注視方向Ｘを報知する観点からすれば、これに限らない。例えば、車両１０の高さ方向の特定を注視方向Ｘ（顔向き及び視線方向の少なくとも一方）に基づいて行うこともできる。或いは、高さ方向に含まれる車載機器２０を１つのみ設定し、車幅方向の特定に伴って車載機器２０を特定するようにすることもできる。或いは、インジケータ２６ａ～２６ｅを上下方向に配置し、上下方向における注視方向Ｘをインジケータ２６ａ～２６ｅにより報知することも可能である。
　上記実施形態では、図１１、図１８、図２０～図２４のフローチャートを用いて操作対象機器を特定したが、車両１０の車幅方向において車載機器群（グループＡ～Ｄ）を特定すると共に、車両１０の高さ方向において操作対象機器を特定する観点からすれば、操作対象機器の特定方法は、これに限らない。例えば、図１８のフローチャートでは、ステップＳ３４において十字キー１８においていずれかのボタンが押し下げられたか否かを判定しているが、当該判定は省略すること（例えば、図２０のステップＳ１１１と組み合わせること）もできる。また、図２１～図２４のフローチャートでは、選択した操作対象機器に対応させてインジケータ２６ａ～２６ｄを点灯させたが、インジケータ２６ａ～２６ｄを点灯させなくてもよい。
［７－４．操作手段］
　上記実施形態では、操作対象機器を特定するために運転者１００（乗員）が操作する手段（操作手段）として、十字キー１８を用いたが、車載機器群（グループＡ～Ｄ）において上下方向に配置されている車載機器２０を特定又は選択する観点からすれば、これに限らない。例えば、上記実施形態の十字キー１８は、中央ボタン３０、上ボタン３２、下ボタン３４、左ボタン３６及び右ボタン３８を有していたが、上ボタン３２及び下ボタン３４のみの構成又は中央ボタン３０、上ボタン３２及び下ボタン３４のみの構成であってもよい。或いは、各ボタンが連結されている構成（例えば、ＪＰ ２０１０－１０５４１７ Ａの図４に示されるような十字ボタン）であってもよい。また、上記実施形態の十字キー１８の各ボタンは、いわゆるプッシュ式スイッチの類であったが（図３参照）、スライドスイッチ、レバースイッチ等その他の種類のスイッチであってもよい。
　上記実施形態では、十字キー１８が、車載機器群（グループＡ～Ｄ）において操作対象機器を特定するための手段（操作手段）と、特定した操作対象機器を操作するための手段（操作入力手段）との両方を兼ねていたが、特定した操作対象機器を操作するための手段は別に設けることもできる。
　上記実施形態では、十字キー１８をステアリングホイール１６に設けたが、十字キー１８を設ける位置は、これに限らない。例えば、ステアリングコラムやインスツルメントパネルのいずれかの位置に設けることもできる。
［７－５．車載機器２０及び車載機器群］
　上記実施形態では、複数の車載機器２０として、ナビゲーション装置４０、オーディオ装置４２、エアコンディショナ４４、ＨＵＤ４６、ハザードランプ４８、シート５０、ドアミラー５２、後方ライト５４、運転席側ウィンドウ５６及び助手席側ウィンドウ５８を挙げたが、車載機器２０の選択の観点からすれば、車両１０の乗員が操作可能な複数の車載機器が上下方向に配置された車載機器群（グループ）が車幅方向に複数配置されていれば、これに限らない。
　また、必ずしも複数の車載機器群（グループ）が車幅方向に存在している必要はなく、少なくとも１つの車載機器群が車幅方向の特定領域に配置されている構成にも本発明を適用可能である。換言すると、本発明は、車幅方向における車載機器群の特定を乗員の注視方向に基づいて特定し、且つ特定された車載機器群における車載機器２０の特定を操作手段に行うものであれば適用可能であるため、複数の車載機器２０を含む車載機器群は１つ以上あればよい。さらに、１つの車載機器群を車幅方向に設け、車幅方向に単一の車載機器２０を別途配置する構成も可能である。
　或いは、選択されている車載機器群又は個別の車載機器２０を報知する観点からすれば、車両１０の乗員が操作可能な複数の車載機器が車幅方向に配置されていれば、これに限らない。この場合、各領域Ａ１～Ａ５に配置される車載機器は１つであってもよい。
［７－６．注視方向表示器２２（インジケータ２６ａ～２６ｅ）］
　上記実施形態では、表示器２２（インジケータ２６ａ～２６ｅ）は、フロントウィンドウ１１の下部周辺においてインストルメントパネル５９に設けたが、フロントウィンドウ１１の下部若しくは上部又はそれらの周囲に設けられるのであれば、これに限らない。例えば、表示器２２（インジケータ２６ａ～２６ｅ）をフロントウィンドウ１１の上部に設けることもできる。また、ＨＵＤ４６の領域をより広げた状態であれば、表示器２２（インジケータ２６ａ～２６ｅ）をＨＵＤ４６の一部として構成することもできる。
　上記実施形態では、各インジケータ２６ａ～２６ｅは、車幅方向に連続的に点灯するものであったが、隣り合う領域Ａ１～Ａ５の境界を示す観点からすれば、断続的に（その一部が点灯しない状態で）設けられてもよい。
　上記実施形態では、操作対象機器が選択されていない場合、注視方向Ｘに対応するインジケータ２６ａ～２６ｅのみを点灯させ、その他のインジケータ２６ａ～２６ｅを消灯させていたが、これに限らず、全てのインジケータ２６ａ～２６ｅを点灯させ、注視方向Ｘに対応するインジケータ２６ａ～２６ｅのみを異なる色で表示してもよい。
　上記実施形態では、領域Ａ１～Ａ５の全てに対応させてインジケータ２６ａ～２６ｅを設けたが、選択されている領域を報知する観点からすれば、２つ以上のインジケータ２６ａ～２６ｅが設けられていれば、これに限らない。
　上記実施形態では、インジケータ２６ａ～２６ｅにより車載機器２０の選択を報知する方法として、インジケータ２６ａ～２６ｅの色を変化させたが、これに限らず、例えば、インジケータ２６ａ～２６ｅの点滅パターンのバリエーションにより車載機器２０の選択を報知してもよい。或いは、ナビゲーション装置４０からの音声出力により車載機器２０の選択を報知することもできる。もちろんこれらの組合せであってもよい。
　上記実施形態では、インジケータ２６ａ～２６ｅの表示を途切れなく行っていたが、操作対象機器の選択を開始するための所定の操作又は設定が行われたときのみインジケータ２６ａ～２６ｅによる表示を行うこともできる。また、当該所定の操作又は設定を行うためのボタン等の部位を設けてもよい。
　上記実施形態では、インジケータ２６ａ～２６ｅを有する注視方向表示器２２を用いたが、車載機器２０の選択処理に着目した場合、その他の表示器又は点灯部を設けてもよい。例えば、図３６に示すように、領域Ａ１～Ａ４に対応させて４つのパイロットランプ１２６ａ～１２６ｄを設けることができる。すなわち、中央に設けられたパイロットランプ１２６ａと、正面に設けられたパイロットランプ１２６ｂと、右側に設けられたパイロットランプ１２６ｃと、左側に設けられたパイロットランプ１２６ｄとを設け、これらのパイロットランプ１２６ａ～１２６ｄを複数の車載機器群Ａ～Ｄ（グループＡ～Ｄ）に対応させる。そして、これらのパイロットランプ１２６ａ～１２６ｄを用いて、インジケータ２６ａ～２６ｅと同様、検出した注視方向Ｘ（又はこれに対応する領域Ａ１～Ａ４）や十字キー１８の操作状態を通知してもよい。
　或いは、車載機器２０を選択する観点に着目すれば、低コスト化や煩わしさ低減のためインジケータ２６ａ～２６ｄ及びパイロットランプ１２６ａ～１２６ｄを設けない構成や、現在操作可能な状態にある車載機器を瞬時に把握できるようにするため車載機器２０毎にインジケータ２６ａ～２６ｄ又はパイロットランプ１２６ａ～１２６ｄを設ける構成も可能である。

Claims (12)

  1. 　車両（１０）に搭載されて前記車両（１０）の乗員（１００）が操作可能な複数の車載機器（２０）と、
    　前記乗員（１００）の視線方向又は顔向きに基づいて前記乗員（１００）の注視方向を検出する注視方向検出手段（７０）と、
    　前記乗員（１００）により操作可能に前記車載機器（２０）とは異なる場所に設けられる操作手段（１８）と
    　を備える車載機器操作装置（１２）であって、さらに、
    　前記車両（１０）の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されている前記複数の車載機器（２０）が前記車幅方向において所定領域ごとに区切られた複数の車載機器群の中から、前記注視方向検出手段（７０）により検出された前記注視方向に基づいて、いずれかの車載機器群を特定する車載機器特定手段（７２、７４）と、
    　前記車載機器特定手段（７２、７４）により特定された前記車載機器群を報知する報知手段（２６ａ～２６ｅ）と
    　を備え、
    　前記操作手段（１８）は、前記車載機器群のうち前記上下方向における前記車載機器（２０）を選択可能な上下方向選択手段（３０、３２、３４）を有し、
    　前記車載機器特定手段（７２、７４）は、前記注視方向検出手段（７０）により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段（３０、３２、３４）が操作された場合に、該上下方向選択手段（３０、３２、３４）により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器（２０）を特定し、
    　前記報知手段（２６ａ～２６ｅ）は、それぞれの前記所定領域の幅と同等の幅を有し、前記車両（１０）のインストルメントパネル（５９）において前記車幅方向に並べて配置されている
    　ことを特徴とする車載機器操作装置（１２）。
  2. 　車両（１０）に搭載されて前記車両（１０）の乗員（１００）が操作可能な複数の車載機器（２０）と、
    　前記乗員（１００）の視線方向又は顔向きに基づいて前記乗員（１００）の注視方向を検出する注視方向検出手段（７０）と、
    　前記注視方向検出手段（７０）により検出された前記注視方向に基づいて前記複数の車載機器（２０）のうちいずれかの車載機器（２０）を特定する車載機器特定手段（７２、７４）と、
    　前記乗員（１００）により操作可能に前記車載機器（２０）とは異なる場所に設けられる操作手段（１８）と
    　を備える車載機器操作装置（１２）であって、
    　前記複数の車載機器（２０）は、前記車両（１０）の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されていると共に、前記車幅方向において所定領域ごとに区切った複数の車載機器群に区分されており、
    　前記操作手段（１８）は、前記車載機器群のうち前記上下方向における前記車載機器（２０）を選択可能な上下方向選択手段（３０、３２、３４）を有し、
    　前記車載機器特定手段（７２、７４）は、前記注視方向検出手段（７０）により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段（３０、３２、３４）が操作された場合に、該上下方向選択手段（３０、３２、３４）により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器（２０）を特定する
    　ことを特徴とする車載機器操作装置（１２）。
  3. 　請求項１又は２記載の車載機器操作装置（１２）において、
    　前記上下方向選択手段（３０、３２、３４）は、選択可能な前記上下方向のそれぞれに対応して割り当てられた個別の操作スイッチ（３０、３２、３４）により構成される
    　ことを特徴とする車載機器操作装置（１２）。
  4. 　請求項１～３のいずれか１項に記載の車載機器操作装置（１２）において、
    　前記上下方向選択手段（３０、３２、３４）は、前記車載機器特定手段（７２、７４）により前記車載機器（２０）が特定された状態において、当該特定された車載機器（２０）に対する特定の操作入力を行うための操作入力手段を兼ねる
    　ことを特徴とする車載機器操作装置（１２）。
  5. 　請求項１～４のいずれか１項に記載の車載機器操作装置（１２）において、
    　前記注視方向検出手段（７０）は、
    　前記乗員（１００）を含む画像を撮像可能に前記車両（１０）の室内に設けられる撮像手段（１４）と、
    　前記撮像手段（１４）により撮像された前記画像に基づいて前記車幅方向における前記乗員（１００）の顔向き角度を検出する顔向き角度検出手段（７０）と
    　を備え、
    　前記顔向き角度検出手段（７０）により検出された前記顔向き角度に基づいて前記乗員（１００）の注視方向を検出する
    　ことを特徴とする車載機器操作装置（１２）。
  6. 　請求項１～５のいずれか１項に記載の車載機器操作装置（１２）において、
    　前記上下方向選択手段（３０、３２、３４）は、前記車両（１０）のステアリングホイール（１６）に設けられる十字スイッチ（１８）として構成されると共に、前記選択可能な上下方向が前記ステアリングホイール（１６）の正面視における前記十字スイッチ（１８）の上下方向に対応して割り当てられる
    　ことを特徴とする車載機器操作装置（１２）。
  7. 　請求項１～６のいずれか１項に記載の車載機器操作装置（１２）において、
    　前記車載機器特定手段（７２、７４）により特定された前記車載機器群を表示する表示手段（２６ａ～２６ｅ、１２６ａ～１２６ｄ）が、前記車載機器群ごとに設けられている
    　ことを特徴とする車載機器操作装置（１２）。
  8. 　車両（１０）に搭載されて前記車両（１０）の乗員（１００）が操作可能な複数の車載機器（２０）と、
    　前記乗員（１００）の視線方向又は顔向きに基づいて前記乗員（１００）の注視方向を検出する注視方向検出手段（７０）と、
    　前記車両（１０）の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されている前記複数の車載機器（２０）が前記車幅方向において所定領域ごとに区切られた複数の車載機器群の中から、前記注視方向検出手段（７０）により検出された前記注視方向に基づいて、いずれかの車載機器群を特定する車載機器特定手段（７２、７４）と、
    　前記車載機器特定手段（７２、７４）により特定された前記車載機器群を報知する報知手段（２６ａ～２６ｅ）と
    　を備え、
    　前記報知手段（２６ａ～２６ｅ）は、それぞれの前記所定領域の幅と同等の幅を有し、前記車両（１０）のインストルメントパネル（５９）において前記車幅方向に並べて配置されている
    　ことを特徴とする報知装置（１２）。
  9. 　請求項８記載の報知装置（１２）において、
    　前記所定領域の境界線は、前記車載機器特定手段（７２、７４）により前記車載機器群が特定されていなくても前記報知手段（２６ａ～２６ｅ）が報知する
    　ことを特徴とする報知装置（１２）。
  10. 　請求項８又は９記載の報知装置（１２）において、
    　前記車載機器（２０）とは異なる場所において前記乗員（１００）により操作可能に設けられる操作手段（１８）を備え、
    　前記操作手段（１８）は、前記車載機器群のうち前記上下方向における前記車載機器（２０）を選択可能な上下方向選択手段（３０、３２、３４）を有し、
    　前記車載機器特定手段（７２、７４）は、前記注視方向検出手段（７０）により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段（３０、３２、３４）により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器（２０）を特定し、
    　前記報知手段（２６ａ～２６ｅ）は、前記車載機器特定手段（７２、７４）によって特定された前記車載機器（２０）によって報知方法が変更される
    　ことを特徴とする報知装置（１２）。
  11. 　請求項８～１０のいずれか１項に記載の報知装置（１２）において、
    　前記報知手段（２６ａ～２６ｅ）は、前記幅を調整できる
    　ことを特徴とする報知装置（１２）。
  12. 　車両（１０）において車幅方向に配置された複数の車載機器（２０）と、
    　乗員（１００）の視線方向及び顔向きの少なくとも一方に基づいて前記車幅方向における前記乗員（１００）の注視方向を検出する注視方向検出部（７０）と、
    　前記複数の車載機器（２０）から前記注視方向に対応する１つ以上の前記車載機器（２０）を特定する車載機器特定部（７２、７４）と、
    　前記注視方向の検出可能範囲であり且つ前記車幅方向において前記複数の車載機器（２０）に応じて設定された複数の注視可能領域のうち、検出された前記注視方向又は特定された前記１つ以上の車載機器（２０）に対応する注視可能領域を視覚的に報知する報知部（２２）と
    　を備え、
    　前記報知部（２２）は、フロントウィンドウ（１１）の下部若しくは上部又はそれらの周囲において前記複数の注視可能領域ごとに前記車幅方向に沿って連続的又は断続的に設けられて、隣り合う注視可能領域の境界を示す複数のインジケータ（２６ａ～２６ｅ）を有する
    　ことを特徴とする報知装置（１２）。
PCT/JP2012/059854 2011-06-20 2012-04-11 車載機器操作装置及び報知装置 WO2012176535A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013521495A JP5554879B2 (ja) 2011-06-20 2012-04-11 車載機器操作装置及び報知装置
US14/124,054 US9499110B2 (en) 2011-06-20 2012-04-11 Automotive instrument operating device and alert device
EP12803269.5A EP2708420B1 (en) 2011-06-20 2012-04-11 Automotive instrument operating device and alert device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-135849 2011-06-20
JP2011135849 2011-06-20
JP2011-206857 2011-09-22
JP2011206857 2011-09-22

Publications (1)

Publication Number Publication Date
WO2012176535A1 true WO2012176535A1 (ja) 2012-12-27

Family

ID=47422382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/059854 WO2012176535A1 (ja) 2011-06-20 2012-04-11 車載機器操作装置及び報知装置

Country Status (4)

Country Link
US (1) US9499110B2 (ja)
EP (1) EP2708420B1 (ja)
JP (1) JP5554879B2 (ja)
WO (1) WO2012176535A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149640A (ja) * 2013-01-31 2014-08-21 Tokai Rika Co Ltd ジェスチャ操作装置及びジェスチャ操作プログラム
CN104842795A (zh) * 2014-02-18 2015-08-19 本田技研工业株式会社 车载设备操作装置
EP3575122A1 (en) * 2018-05-30 2019-12-04 Toyota Jidosha Kabushiki Kaisha Interior structure

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
US9244532B2 (en) * 2013-12-31 2016-01-26 Immersion Corporation Systems and methods for controlling multiple displays with single controller and haptic enabled user interface
GB201411309D0 (en) * 2014-06-25 2014-08-06 Tomtom Int Bv Vehicular human machine interfaces
DE102014213279A1 (de) * 2014-07-09 2016-01-14 Conti Temic Microelectronic Gmbh System zum Erfassen einer Fahrzeugumgebung eines Kraftfahrzeuges
KR101677648B1 (ko) * 2014-12-22 2016-11-18 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
JP6406088B2 (ja) * 2015-03-25 2018-10-17 株式会社デンソー 操作システム
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
US10166996B2 (en) * 2017-02-09 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adaptively communicating notices in a vehicle
DE102017216465A1 (de) * 2017-09-18 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von Informationen zu einem Objekt eines Fortbewegungsmittels, System und Automobil
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
JP6922686B2 (ja) * 2017-11-20 2021-08-18 トヨタ自動車株式会社 操作装置
US10780909B2 (en) * 2018-08-03 2020-09-22 Tesla, Inc. User interface for steering wheel
KR102602739B1 (ko) 2018-09-07 2023-11-16 삼성디스플레이 주식회사 전자 장치
DE102018126829B3 (de) * 2018-10-26 2020-03-26 Motherson Innovations Company Limited Hybrid-Innenspiegel mit Fehlererkennung, Verfahren zu dessen Betrieb sowie Fahrzeug
DE102019220012A1 (de) * 2019-12-18 2021-06-24 Continental Automotive Gmbh Verfahren zum Betreiben einer Anzeigeeinheit eines Fahrzeugs und Anzeigeeinheit
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010076602A (ja) * 2008-09-26 2010-04-08 Denso It Laboratory Inc 車載機器制御装置および車載機器制御方法
JP2010105417A (ja) 2008-10-28 2010-05-13 Mitsubishi Motors Corp 車載用電子機器
US20100324779A1 (en) 2009-06-18 2010-12-23 Honda Motor Co., Ltd. Onboard unit controlling apparatus
JP2011116248A (ja) * 2009-12-03 2011-06-16 Honda Motor Co Ltd 注視判定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4158483A (en) * 1975-07-09 1979-06-19 Harman International Industries, Inc. Remote controlled rearview mirror
NO20005119L (no) * 2000-02-18 2001-08-20 Ziad Badarneh Interaktivt system
US6397137B1 (en) * 2001-03-02 2002-05-28 International Business Machines Corporation System and method for selection of vehicular sideview mirrors via eye gaze
EP2314207A1 (en) * 2002-02-19 2011-04-27 Volvo Technology Corporation Method for monitoring and managing driver attention loads
US6668221B2 (en) * 2002-05-23 2003-12-23 Delphi Technologies, Inc. User discrimination control of vehicle infotainment system
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
DE102004022634A1 (de) * 2004-05-07 2005-12-15 Dr.Ing.H.C. F. Porsche Ag Abdeckungen für ein Lenkrad
US8340368B2 (en) * 2008-06-11 2012-12-25 Hyundai Motor Company Face detection system
US8057288B2 (en) * 2008-06-20 2011-11-15 Nissan North America, Inc. Contact-free vehicle air vent
US9108513B2 (en) * 2008-11-10 2015-08-18 Volkswagen Ag Viewing direction and acoustic command based operating device for a motor vehicle
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010076602A (ja) * 2008-09-26 2010-04-08 Denso It Laboratory Inc 車載機器制御装置および車載機器制御方法
JP2010105417A (ja) 2008-10-28 2010-05-13 Mitsubishi Motors Corp 車載用電子機器
US20100324779A1 (en) 2009-06-18 2010-12-23 Honda Motor Co., Ltd. Onboard unit controlling apparatus
JP2011000957A (ja) * 2009-06-18 2011-01-06 Honda Motor Co Ltd 車載機器操作装置
JP2011116248A (ja) * 2009-12-03 2011-06-16 Honda Motor Co Ltd 注視判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2708420A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149640A (ja) * 2013-01-31 2014-08-21 Tokai Rika Co Ltd ジェスチャ操作装置及びジェスチャ操作プログラム
CN104842795A (zh) * 2014-02-18 2015-08-19 本田技研工业株式会社 车载设备操作装置
JP2015151059A (ja) * 2014-02-18 2015-08-24 本田技研工業株式会社 車載機器操作装置
US9552058B2 (en) 2014-02-18 2017-01-24 Honda Motor Co., Ltd. Vehicle-mounted equipment operating device
EP3575122A1 (en) * 2018-05-30 2019-12-04 Toyota Jidosha Kabushiki Kaisha Interior structure

Also Published As

Publication number Publication date
US9499110B2 (en) 2016-11-22
EP2708420B1 (en) 2016-08-17
JP5554879B2 (ja) 2014-07-23
EP2708420A1 (en) 2014-03-19
US20140129082A1 (en) 2014-05-08
JPWO2012176535A1 (ja) 2015-02-23
EP2708420A4 (en) 2015-05-27

Similar Documents

Publication Publication Date Title
JP5554879B2 (ja) 車載機器操作装置及び報知装置
JP5345660B2 (ja) 車載機器特定装置
US11479177B2 (en) Vehicle display device, display control method, and rearview monitoring system
CN104842795B (zh) 车载设备操作装置
US10086845B2 (en) Vehicle information display control device, and method for displaying automatic driving information
US20140195096A1 (en) Apparatus and method for contactlessly detecting objects and/or persons and gestures and/or operating procedures made and/or carried out thereby
CN106448260B (zh) 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
US10632917B2 (en) Signal processing device, signal processing method, and monitoring system
US9446712B2 (en) Motor vehicle comprising an electronic rear-view mirror
US20170182936A1 (en) Information providing apparatus
US8719726B2 (en) Vehicular manipulation input apparatus
EP2765568A1 (en) Warning device
JP2009075988A (ja) 車両周辺監視装置
US20140368029A1 (en) System for providing vehicle manipulation device information
EP2573712A2 (en) Facial direction detecting apparatus
US10162411B2 (en) Methods and system for operating at least one display device of a motor vehicle, and motor vehicle comprising a system for operating at least one display device
JP5588764B2 (ja) 車載機器操作装置
JP2011000957A (ja) 車載機器操作装置
US10315556B2 (en) Information providing apparatus
JP2017162015A (ja) 車両周辺画像表示装置
JP2023038211A (ja) 表示装置
JP5954169B2 (ja) 制御装置
CN114041174A (zh) 用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或视向的装置和方法
JP6523704B2 (ja) 車内状態確認装置
CN110228412A (zh) 车辆辅助驾驶装置及车辆辅助驾驶方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12803269

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013521495

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14124054

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012803269

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012803269

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE