JP7255608B2 - DISPLAY CONTROLLER, METHOD, AND COMPUTER PROGRAM - Google Patents

DISPLAY CONTROLLER, METHOD, AND COMPUTER PROGRAM Download PDF

Info

Publication number
JP7255608B2
JP7255608B2 JP2020557598A JP2020557598A JP7255608B2 JP 7255608 B2 JP7255608 B2 JP 7255608B2 JP 2020557598 A JP2020557598 A JP 2020557598A JP 2020557598 A JP2020557598 A JP 2020557598A JP 7255608 B2 JP7255608 B2 JP 7255608B2
Authority
JP
Japan
Prior art keywords
image
information
information image
driver
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020557598A
Other languages
Japanese (ja)
Other versions
JPWO2020105685A1 (en
Inventor
誠 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of JPWO2020105685A1 publication Critical patent/JPWO2020105685A1/en
Application granted granted Critical
Publication of JP7255608B2 publication Critical patent/JP7255608B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/347—Optical elements for superposition of display information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。 The present disclosure relates to a display control device, a method, and a computer program that are used in a vehicle and superimpose an image on the foreground of the vehicle for visual recognition.

特許文献１には、車両の運転者の視線と一致した画像の目立ち具合を低下させることで、運転者によって知覚されていない画像の知覚のしやすさを相対的に高める車両用画像表示システムが開示されている。 Patent Document 1 discloses an image display system for a vehicle that relatively increases the ease of perception of an image that is not perceived by the driver by reducing the conspicuity of the image that matches the line of sight of the driver of the vehicle. disclosed.

特開２０１７－３９３７３号公報JP 2017-39373 A

しかしながら、特許文献１の車両用画像表示システムでは、知覚された画像の目立ち具合を低下させることで、他の目立ち具合を低下させていない画像への視覚的注意を相対的に向きやすくすることはできるものの、知覚された後の画像へも注意を向けるべきシチュエーションや、注意を払いたいという運転者の潜在的な願望も想定され、さらに利便性を向上させた表示制御装置が望まれている。 However, in the vehicle image display system of Patent Document 1, by reducing the perceived conspicuity of an image, it is not possible to make it relatively easier to direct visual attention to other images whose conspicuity is not reduced. Although it is possible, there are situations in which attention should be directed to the image after it is perceived, and the driver's latent desire to pay attention is assumed, and a display control device with further improved convenience is desired.

本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。 A summary of certain embodiments disclosed herein follows. It should be understood that these aspects are presented only to provide the reader with an overview of these particular embodiments and are not intended to limit the scope of this disclosure. Indeed, the present disclosure may encompass various aspects not described below.

本開示の概要は、運転者の視界前方の実景、及びこの実景に重なって表示される画像の見やすさを向上させることに関する。より具体的には、実景に重なって表示される画像の視覚的刺激を抑えつつ、運転者に情報を伝達しやすくすることにも関する。 An overview of the present disclosure relates to improving visibility of a real scene in front of a driver's field of vision and an image displayed superimposed on the real scene. More specifically, it also relates to facilitating the transmission of information to the driver while suppressing the visual stimulus of an image displayed superimposed on the actual scene.

したがって、本明細書に記載される表示制御装置は、視線が向くと視認性を低下させる第１情報画像と、視線が向くと第１情報画像の視認性が低下する度合いより視認性を低下させない第２情報画像と、を表示させる。いくつかの実施形態では、情報画像が示す情報のリスクポテンシャルの大きさに応じて、視線が向けられた際の情報画像の視認性の変化度合いを決めてもよい。 Therefore, the display control device described in this specification provides the first information image whose visibility is lowered when the line of sight is directed, and the visibility which is not lowered to the extent that the visibility of the first information image is lowered when the line of sight is directed. A second information image is displayed. In some embodiments, the degree of change in the visibility of the information image when the line of sight is directed may be determined according to the magnitude of the information risk potential indicated by the information image.

いくつかの実施形態に係る、車両用表示システムの適用例を示す図である。1 illustrates an example application of a vehicular display system, according to some embodiments; FIG. いくつかの実施形態に係る、車両用表示システムのブロック図である。1 is a block diagram of a vehicle display system, according to some embodiments; FIG. いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。FIG. 4 is a flow diagram of a process for reducing the visibility of an image, according to some embodiments; いくつかの実施形態に係る、画像の視認性を上昇させる処理のフロー図である。FIG. 4 is a flow diagram of a process for increasing the visibility of an image, according to some embodiments; いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。FIG. 2 illustrates an example image displayed by a vehicle display system, according to some embodiments; いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。FIG. 2 illustrates an example image displayed by a vehicle display system, according to some embodiments; いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。FIG. 4 is a flow diagram of a process for reducing the visibility of an image, according to some embodiments; いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。FIG. 2 illustrates an example image displayed by a vehicle display system, according to some embodiments; いくつかの実施形態に係る、車両用表示システムが表示する画像の例を示す図である。FIG. 2 illustrates an example image displayed by a vehicle display system, according to some embodiments;

以下、図１及び図２では、例示的なヘッドアップディスプレイ装置の構成の説明を提供する。図３、図４、図６では、例示的な表示制御の処理の流れを説明する。図５Ａ、図５Ｂ、及び図７Ａ、図７Ｂでは、表示例を提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。 Below, FIGS. 1 and 2 provide a description of the configuration of an exemplary head-up display device. FIG. 3, FIG. 4, and FIG. 6 describe an exemplary display control process flow. 5A, 5B and 7A, 7B provide example displays. In addition, the present invention is not limited by the following embodiments (including the contents of the drawings). Of course, modifications (including deletion of constituent elements) can be added to the following embodiments. In addition, in the following description, descriptions of known technical matters are omitted as appropriate in order to facilitate understanding of the present invention.

図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に重ねて画像２００を視認させる。 Please refer to FIG. The image display unit 11 in the vehicle display system 10 is a head-up display (HUD: Head-Up Display) device provided in the dashboard 5 of the vehicle 1 . The HUD device emits display light 11a toward the front windshield 2 (an example of a member to be projected), and displays an image 200 in a virtual display area 100. The image 200 is superimposed on the foreground 300 which is the real space to be viewed.

また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。 Also, the image display unit 11 may be a head-mounted display (hereinafter referred to as HMD) device. The driver 4 wears the HMD device on the head and sits on the seat of the vehicle 1, so that the displayed image 200 is superimposed on the foreground 300 through the front windshield 2 of the vehicle 1 and visually recognized. do. A display area 100 in which a predetermined image 200 is displayed by the vehicle display system 10 is fixed at a specific position based on the coordinate system of the own vehicle 1, and when the driver 4 turns in that direction, the display area 100 is displayed at the specific position. An image 200 displayed within the fixed display area 100 can be visually recognized.

画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、路面、道路標識、及び地物（建物、橋など）などの実オブジェクト３１０の近傍（画像と実オブジェクトとの位置関係の一例）、実オブジェクト３１０に重なる位置（画像と実オブジェクトとの位置関係の一例）、又は実オブジェクト３１０を基準に設定された位置（画像と実オブジェクトとの位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を形成することもできる。画像表示部１１は、提供する情報の種類に応じて異なる第１情報画像２１０（ＡＲ画像）と、第２情報画像２２０（ＡＲ画像）と、を表示する（後で詳述する）。 Under the control of the display control device 13, the image display unit 11 detects obstacles (pedestrians, bicycle , motorcycles, other vehicles, etc.), the vicinity of real objects 310 such as road surfaces, road signs, and features (buildings, bridges, etc.) (an example of the positional relationship between an image and a real object), the position overlapping the real object 310 ( By displaying the image 200 at a position set based on the real object 310 (an example of the positional relationship between the image and the real object), visual augmented reality ( AR (Augmented Reality) can also be formed. The image display unit 11 displays a first information image 210 (AR image) and a second information image 220 (AR image) that differ according to the type of information to be provided (described later in detail).

図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上の記憶部１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。 FIG. 2 is a block diagram of a vehicle display system 10, according to some embodiments. The vehicle display system 10 includes an image display section 11 and a display control device 13 that controls the image display section 11 . The display controller 13 comprises one or more I/O interfaces 14, one or more processors 16, one or more storage units 18, and one or more image processing circuits 20. . Various functional blocks depicted in FIG. 2 may be implemented in hardware, software, or a combination of both. FIG. 2 is only one embodiment of an implementation and the components shown may be combined into fewer components or there may be additional components. For example, image processing circuitry 20 (eg, a graphics processing unit) may be included in one or more processors 16 .

図示するように、プロセッサ１６及び画像処理回路２０は、記憶部１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、記憶部１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。記憶部１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。 As shown, processor 16 and image processing circuitry 20 are operatively coupled to storage 18 . More specifically, the processor 16 and the image processing circuit 20 execute a program stored in the storage unit 18 to operate the vehicular display system 10, for example, generate and/or transmit image data. It can be carried out. Processor 16 or/and image processing circuitry 20 may include at least one general purpose microprocessor (e.g., central processing unit (CPU)), at least one application specific integrated circuit (ASIC), at least one field programmable gate array (FPGA). , or any combination thereof. The storage unit 18 includes any type of magnetic media such as hard disks, any type of optical media such as CDs and DVDs, any type of semiconductor memory such as volatile memory, and non-volatile memory. Volatile memory may include DRAM and SRAM, and non-volatile memory may include ROM and NVROM.

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ－Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。 As shown, processor 16 is operatively coupled with I/O interface 14 . For example, I/O interface 14 may connect vehicle display system 10 to a personal area network (PAN) such as a Bluetooth® network, a local area network (LAN) such as an 802.11x Wi-Fi® network. , 4G or LTE cellular networks, such as a wide area network (WAN). Also, I/O interface 14 may include a wired communication interface such as, for example, a USB port, serial port, parallel port, OBDII, and/or any other suitable wired communication port.

図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。 As shown, processor 16 is interoperably coupled with I/O interface 14 to communicate with various other electronic devices and information devices connected to vehicle display system 10 (I/O interface 14). can be given and received. The I/O interface 14 includes, for example, a vehicle ECU 401 provided in the own vehicle 1, a road information database 403, an own vehicle position detection unit 405, an outside sensor 407, a gaze direction detection unit 409, an eye position detection unit 411, a mobile information Terminal 413, external communication connection device 420, etc. are operably connected. Image display 11 is operatively coupled to processor 16 and image processing circuitry 20 . Accordingly, the image displayed by image display 11 may be based on image data received from processor 16 and/or image processing circuitry 20 . The processor 16 and the image processing circuit 20 control the image displayed by the image display section 11 based on information obtained from the I/O interface 14 . Note that the I/O interface 14 may include a function of processing (converting, calculating, and analyzing) information received from other electronic devices connected to the vehicle display system 10 .

自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサで検出したデータをプロセッサ１６へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、又は／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。 The own vehicle 1 can determine the state of the own vehicle 1 (for example, travel distance, vehicle speed, accelerator pedal opening, engine throttle opening, injector fuel injection amount, engine speed, motor speed, steering angle, shift position, drive mode , various warning states, etc.). The vehicle ECU 401 controls each part of the vehicle 1 and can transmit vehicle speed information indicating the current vehicle speed of the vehicle 1 to the processor 16, for example. The vehicle ECU 401 can transmit the determination result and/or the analysis result of the data detected by the sensor to the processor 16 in addition to or instead of simply transmitting the data detected by the sensor to the processor 16. For example, information may be transmitted to the processor 16 indicating whether the host vehicle 1 is traveling at a low speed or has stopped. In addition, the vehicle ECU 401 may transmit an instruction signal for instructing the image 200 displayed by the vehicle display system 10 to the I/O interface 14. / and necessity-related information used as a basis for determining the notification necessity may be added to the instruction signal and transmitted.

自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。 The host vehicle 1 may include a road information database 403 such as a navigation system. The road information database 403 stores road information (lanes, white lines, stop lines, pedestrian crossings, road width, number of lanes, intersections, curves, forks, traffic regulations, etc.), presence/absence of feature information (buildings, bridges, rivers, etc.), position (including distance to own vehicle 1), direction , shape, type, details, etc. may be retrieved and sent to the processor 16 . The road information database 403 may also calculate an appropriate route from the starting point to the destination and send it to the processor 16 as navigation information.

自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択・生成して、プロセッサ１６に送信することができる。 The host vehicle 1 may include a host vehicle position detector 405 such as GNSS (Global Navigation Satellite System). The road information database 403, a portable information terminal 413 (to be described later), and/or an external communication connection device 420 acquires the position information of the own vehicle 1 from the own vehicle position detection unit 405 continuously, intermittently, or at each predetermined event. Thus, information about the surroundings of the own vehicle 1 can be selected/generated and transmitted to the processor 16 .

自車両１は、自車両１の周辺（本実施形態では特に前景３００）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。 The ego-vehicle 1 may include one or more exterior sensors 407 that detect real objects in the vicinity of the ego-vehicle 1 (especially the foreground 300 in this embodiment). Real objects detected by the vehicle exterior sensor 407 include, for example, pedestrians, bicycles, motorcycles, other vehicles (preceding vehicles, etc.), road surfaces, lane markings, roadside objects, and/or features (buildings, etc.). good too. Exterior sensors include, for example, radar sensors such as millimeter wave radar, ultrasonic radar, and laser radar, and camera sensors consisting of a camera and an image processing device. Either one may be used. A conventional well-known method is applied to object detection by these radar sensors and camera sensors. By object detection by these sensors, the presence or absence of a real object in the three-dimensional space, and if the real object exists, the position of the real object (relative distance from the own vehicle 1, the traveling direction of the own vehicle 1) Horizontal position, vertical position, etc.), size (horizontal direction (horizontal direction), height direction (vertical direction), etc.), movement direction (horizontal direction (horizontal direction) , depth direction (front-rear direction)), movement speed (horizontal direction (left-right direction), depth direction (front-rear direction)), and/or type or the like may be detected. One or more external sensors 407 detect a real object in front of the own vehicle 1 at each sensor detection cycle, and detect real object related information (presence or absence of a real object, If real objects exist, information such as the position, size and/or type of each real object) can be sent to the processor 16 . Note that the real object-related information may be transmitted to the processor 16 via another device (for example, the vehicle ECU 401). Also, when using a camera as a sensor, an infrared camera or a near-infrared camera is desirable so that a real object can be detected even when the surroundings are dark, such as at night. Moreover, when using a camera as a sensor, a stereo camera that can acquire distance and the like by parallax is desirable.

自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ－ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。 The host vehicle 1 may include a line-of-sight direction detection unit 409 including an infrared camera or the like that captures an image of the face of the driver 4 to detect the line-of-sight direction of the driver 4 (hereinafter also referred to as "line-of-sight direction"). The processor 16 acquires an image captured by the infrared camera (an example of information for estimating the line-of-sight direction), and can identify the line-of-sight direction of the driver 4 by analyzing the captured image. Note that the processor 16 may acquire from the I/O interface 14 the line-of-sight direction of the driver 4 specified by the line-of-sight direction detection unit 409 (or another analysis unit) from the captured image of the infrared camera. In addition, the method of acquiring the line-of-sight direction of the driver 4 of the own vehicle 1 or the information capable of estimating the line-of-sight direction of the driver 4 is not limited to these. may be obtained using other known gaze direction detection (estimation) techniques such as method, scleral reflectance method, Purkinje image detection method, search coil method, infrared fundus camera method.

自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。 The own vehicle 1 may include an eye position detector 411 such as an infrared camera that detects the positions of the eyes of the driver 4 . The processor 16 acquires an image captured by the infrared camera (an example of information that can estimate the position of the eyes), and can identify the positions of the eyes of the driver 4 by analyzing the captured image. Note that the processor 16 may acquire from the I/O interface 14 the information on the positions of the eyes of the driver 4 specified from the captured image of the infrared camera. Note that the method of acquiring the position of the eyes of the driver 4 of the own vehicle 1 or the information that allows the position of the eyes of the driver 4 to be estimated is not limited to the above. may be obtained using technology. The processor 16 adjusts at least the position of the image 200 based on the position of the eyes of the driver 4 so that the image 200 superimposed on the desired position of the foreground 300 is displayed by the viewer (driver 4) who detected the eye position. may be visually recognized.

携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３とペアリングすることで、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。 The mobile information terminal 413 is a smart phone, a notebook computer, a smart watch, or other information equipment that can be carried by the driver 4 (or other occupants of the own vehicle 1). By pairing with the mobile information terminal 413, the I/O interface 14 can communicate with the mobile information terminal 413, and the data recorded in the mobile information terminal 413 (or the server through the mobile information terminal) can be transmitted. to get The mobile information terminal 413 has, for example, the same functions as the road information database 403 and the own vehicle position detection unit 405 described above, acquires the road information (an example of real object related information), and transmits it to the processor 16. good too. Also, the mobile information terminal 413 may acquire commercial information (an example of real object related information) related to commercial facilities near the own vehicle 1 and transmit it to the processor 16 . In addition, the mobile information terminal 413 transmits schedule information of the owner of the mobile information terminal 413 (for example, the driver 4), incoming call information at the mobile information terminal 413, mail reception information, etc. to the processor 16, and the processor 16 and Image processing circuitry 20 may generate and/or transmit image data for these.

車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ Ｔｏ Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ Ｔｏ Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ Ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ Ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。 The external communication connection device 420 is a communication device for exchanging information with the own vehicle 1, for example, other vehicles connected to the own vehicle 1 by vehicle-to-vehicle communication (V2V: vehicle-to-vehicle), pedestrian-to-vehicle communication (V2P: Pedestrian (mobile information terminal carried by pedestrian) connected by Vehicle To Pedestrian), network communication equipment connected by road-to-vehicle communication (V2I: Vehicle To roadside Infrastructure). communication (V2X: Vehicle To Everything). The external communication connection device 420 acquires the positions of, for example, pedestrians, bicycles, motorcycles, other vehicles (preceding vehicles, etc.), road surfaces, lane markings, roadside objects, and/or features (buildings, etc.), and processor 16 may be sent to In addition, the external communication connection device 420 has the same function as the vehicle position detection unit 405 described above, may acquire the position information of the vehicle 1 and transmit it to the processor 16, and furthermore, the road information database described above may be obtained. 403 , and may acquire the road information (an example of real object-related information) and transmit it to the processor 16 . Information acquired from external communication connection device 420 is not limited to the above.

記憶部１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、報知必要度検出モジュール５０４、画像種類決定モジュール５０６、画像位置決定モジュール５０８、画像サイズ決定モジュール５１０、目位置検出モジュール５１２、視認検出モジュール５１４、行動判定モジュール５１６、及びグラフィックモジュール５１８を含む。 The software components stored in the storage unit 18 are a real object related information detection module 502, a notification necessity detection module 504, an image type determination module 506, an image position determination module 508, an image size determination module 510, and an eye position detection module 512. , a sight detection module 514 , a behavior determination module 516 , and a graphics module 518 .

実オブジェクト関連情報検出モジュール５０２は、後述する画像２００の座標やサイズを決定する元となる、自車両１の前景３００に存在する実オブジェクトの位置やサイズを検出する。実オブジェクト関連情報検出モジュール５０２は、例えば、道路情報データベース４０３、車外センサ４０７、又は車外通信接続機器４２０から、自車両１の前景３００に存在する実オブジェクト３１０（例えば、図５Ａに示された路面３１１、先行車３１２、歩行者３１３、及び建物３１４など）の位置（自車両１の運転者４が運転席から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクト３１０のサイズ（高さ方向、横方向のサイズ）、を取得してもよい。 The real object related information detection module 502 detects the position and size of a real object existing in the foreground 300 of the own vehicle 1, which are the basis for determining the coordinates and size of the image 200, which will be described later. The real object related information detection module 502 detects real objects 310 existing in the foreground 300 of the own vehicle 1 (for example, the road surface shown in FIG. 311, a preceding vehicle 312, a pedestrian 313, a building 314, etc.) (height direction (vertical direction) when the driver 4 of the own vehicle 1 visually recognizes the traveling direction (forward) of the own vehicle 1 from the driver's seat , horizontal (horizontal) position, and the depth direction (forward) position may be added), and the size of the real object 310 (height direction, horizontal size). You may

また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７による実オブジェクトの位置やサイズを検出する際、検出精度が低下する環境（雨、霧、雪などの悪天候）であるかを判定してもよい。例えば、実オブジェクトの位置検出精度を計算し、検出精度の低下の度合い、検出精度が低下している位置、検出精度が低下するような環境（悪天候）であるか否かの判定結果を、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３、車外通信接続機器４２０などから自車両１が走行する位置の天候情報を取得することで悪天候を判定してもよい。 Further, the real object-related information detection module 502 may determine whether the environment (bad weather such as rain, fog, or snow) lowers the detection accuracy when detecting the position and size of the real object by the sensor 407 outside the vehicle. good. For example, the position detection accuracy of a real object is calculated, and the degree of deterioration of the detection accuracy, the position where the detection accuracy is deteriorated, and the determination result of whether or not the environment (bad weather) is such that the detection accuracy is deteriorated are stored in the processor. 16 may be sent. It should be noted that bad weather may be determined by acquiring weather information for the location where the vehicle 1 travels from the mobile information terminal 413, the external communication connection device 420, or the like.

また、実オブジェクト関連情報検出モジュール５０２は、後述する画像２００の内容（以下では、適宜「画像の種類」ともいう）を決定する元となる、自車両１の前景３００に存在する実オブジェクトに関する情報（実オブジェクト関連情報）を検出してもよい。実オブジェクト関連情報は、例えば、実オブジェクトが、歩行者である、又は他車両であるなどの実オブジェクトの種類を示す種類情報、実オブジェクトの移動方向を示す移動方向情報、実オブジェクトまでの距離や到達時間を示す距離時間情報、又は駐車場（実オブジェクト）の料金などの実オブジェクトの個別詳細情報、である（但し、これらに限定されない）。例えば、実オブジェクト関連情報検出モジュール５０２は、道路情報データベース４０３又は携帯情報端末４１３から種類情報、距離時間情報、又は／及び個別詳細情報を取得し、車外センサ４０７から種類情報、移動方向情報、又は／及び距離時間情報を取得し、車外通信接続機器４２０から種類情報、移動方向情報、距離時間情報、又は／及び個別詳細情報を検出してもよい。 The real object related information detection module 502 also detects information about real objects existing in the foreground 300 of the vehicle 1, which is the basis for determining the content of the image 200 (hereinafter also referred to as "image type" as appropriate), which will be described later. (real object related information) may be detected. The real object-related information includes, for example, type information indicating the type of the real object, such as whether the real object is a pedestrian or another vehicle, moving direction information indicating the moving direction of the real object, distance to the real object, Distance-time information indicating time of arrival, or individual detailed information of real objects, such as parking lot (real object) fees (but not limited to these). For example, the real object related information detection module 502 acquires type information, distance time information, and/or individual detailed information from the road information database 403 or the mobile information terminal 413, and acquires type information, moving direction information, or / And the distance time information may be acquired, and the type information, the moving direction information, the distance time information, and/or the individual detailed information may be detected from the external communication connection device 420 .

報知必要度検出モジュール５０４は、実オブジェクト関連情報検出モジュール５０２が検出した実オブジェクトの位置情報とともに、実オブジェクト関連情報検出モジュール５０２が検出した実オブジェクト関連情報を運転者４に報知する必要度（報知必要度）を検出する。報知必要度検出モジュール５０４は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から報知必要度を検出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度検出モジュール５０４が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。 The notification necessity level detection module 504 detects the necessity (notification degree of necessity). Notification necessity detection module 504 may detect notification necessity from various other electronic devices connected to I/O interface 14 . 2, the electronic device connected to the I/O interface 14 transmits information to the vehicle ECU 401, and the notification necessity detection module 504 detects (obtains) the notification necessity determined by the vehicle ECU 401 based on the received information. ). The "report necessity level" is, for example, the degree of danger derived from the degree of severity of the occurrence itself, the degree of urgency derived from the length of the reaction time required to take a reaction action, the own vehicle 1 or the driver 4 ( or other occupants of the own vehicle 1), or a combination thereof, etc. (the indicator of the necessity of notification is not limited to these).

また、報知必要度検出モジュール５０４は、画像２００の報知必要度を推定する元となる必要度関連情報を検出し、これから報知必要度を推定してもよい。画像２００の報知必要度を推定する元となる必要度関連情報は、例えば、実オブジェクトや交通規制（道路情報の一例）の位置、種類などで推定されてもよく、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。なお、車両用表示システム１０は、前記報知必要度を推定する機能を有していなくてもよく、前記報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。 Further, the notification necessity detection module 504 may detect necessity-related information that serves as a basis for estimating the notification necessity of the image 200, and estimate the notification necessity from this information. Necessity-related information that serves as a basis for estimating the notification necessity of the image 200 may be estimated, for example, from the position and type of a real object or traffic regulation (an example of road information), and connected to the I/O interface 14. It may be estimated based on other information input from various other electronic devices, or in consideration of other information. Note that the vehicle display system 10 may not have the function of estimating the necessity of notification, and part or all of the function of estimating the necessity of notification may be the display control device of the display system 10 for the vehicle. 13 may be provided separately.

画像種類決定モジュール５０６は、例えば、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの種類、位置、実オブジェクト関連情報検出モジュール５０２で検出された実オブジェクト関連情報の種類、数、又は／及び報知必要度検出モジュール５０４で検出された（推定された）報知必要度の大きさに基づいて、実オブジェクトに対して表示する画像２００の種類を決定することができる。また、画像種類決定モジュール５０６は、後述する視認検出モジュール５１４による判定結果により、表示する画像２００の種類を増減させてもよい。具体的には、実オブジェクト３１０が運転者４によって視認されにくい状態である場合、実オブジェクトの近傍に運転者４によって視認される画像２００の種類を多くしてもよい。 The image type determination module 506 determines, for example, the type and position of the real object detected by the real object-related information detection module 502, the type, number, and/or of the real object-related information detected by the real object-related information detection module 502. Based on the magnitude of the notification necessity detected (estimated) by the notification necessity detecting module 504, the type of image 200 to be displayed for the real object can be determined. Also, the image type determination module 506 may increase or decrease the type of the image 200 to be displayed based on the determination result of the visual recognition detection module 514, which will be described later. Specifically, when the real object 310 is in a state where it is difficult for the driver 4 to visually recognize it, the number of types of images 200 visually recognized by the driver 4 may be increased in the vicinity of the real object.

画像位置決定モジュール５０８は、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。特定の実オブジェクトに関連する画像２００を表示する場合、画像位置決定モジュール５０８は、特定の実オブジェクトと所定の位置関係になるように画像２００の座標を決定する。例えば、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。また、画像位置決定モジュール５０８は、画像２００が直接関連しない実オブジェクトを基準に、所定の位置関係になるように、画像２００の座標を決定することができる。例えば、図５Ａに示すように、自車両１が走行する車線（路面３１０）の左側の区画線３１１ａ（実オブジェクトの一例）や右側の区画線３１１ｂ（実オブジェクトの一例）を基準に、区画線とは直接関連しない先行車３１２（特定の実オブジェクトの一例）に関連する後述する第１ＦＣＷ画像２２１の座標を決定（又は補正）してもよい。なお、『所定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。 The image position determination module 508 calculates the coordinates of the image 200 (when the driver 4 looks at the display area 100 from the driver's seat of the vehicle 1) based on the position of the real object detected by the real object related information detection module 502. (including at least the horizontal direction (X-axis direction) and the vertical direction (Y-axis direction)). When displaying an image 200 associated with a particular real object, the image positioning module 508 determines the coordinates of the image 200 to have a predetermined positional relationship with the particular real object. For example, the horizontal and vertical positions of the image 200 are determined so that the center of the image 200 overlaps the center of the real object. Also, the image position determination module 508 can determine the coordinates of the image 200 so as to have a predetermined positional relationship based on a real object to which the image 200 is not directly related. For example, as shown in FIG. 5A , the lane (road surface 310) on which the vehicle 1 is traveling is based on the left lane marking 311a (an example of a real object) and the right lane marking 311b (an example of a real object). Coordinates of a first FCW image 221 (to be described later) related to a preceding vehicle 312 (an example of a specific real object) that is not directly related to the vehicle may be determined (or corrected). The "predetermined positional relationship" can be adjusted depending on the situation of the real object or the host vehicle 1, the type of real object, the type of image to be displayed, and the like.

画像サイズ決定モジュール５１０は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、位置、実オブジェクト関連情報検出モジュール５０２で検出された実オブジェクト関連情報の種類、数、又は／及び報知必要度検出モジュール５０４で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定することができる。また、画像サイズ決定モジュール５１０は、画像２００の種類の数に応じて、画像サイズを変更できる。例えば、画像２００の種類が多くなれば、画像サイズを小さくしてもよい。 The image size determination module 510 determines the type and position of the real object to be displayed in association with the image 200 detected by the real object-related information detection module 502, and the type of real object-related information detected by the real object-related information detection module 502. , the number, and/or the magnitude of the alertness detected (estimated) by the alertness detection module 504, the size of the image 200 can be determined. Also, the image size determination module 510 can change the image size according to the number of types of images 200 . For example, if the number of types of images 200 increases, the image size may be reduced.

目位置検出モジュール５１２は、自車両１の運転者４の眼の位置を検出する。目位置検出モジュール５１２は、複数段階で設けられた高さ領域のどこに運転者４の眼の高さがあるかの判定、運転者４の眼の高さ（Ｙ軸方向の位置）の検出、運転者４の眼の高さ（Ｙ軸方向の位置）及び奥行方向の位置（Ｚ軸方向の位置）の検出、又は／及び運転者４の眼の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５１２は、例えば、目位置検出部４１１から運転者４の眼の位置を取得する、又は、目位置検出部４１１から運転者４の目の高さを含む目の位置を推定可能な情報を受信し、運転者４の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。 The eye position detection module 512 detects the eye positions of the driver 4 of the own vehicle 1 . The eye position detection module 512 determines where the eye height of the driver 4 is in height areas provided in multiple stages, detects the height of the eye of the driver 4 (position in the Y-axis direction), Detection of the driver's 4 eye height (Y-axis position) and depth direction position (Z-axis direction position), or/and detection of the eye position of the driver 4 (X-, Y-, Z-axis position) ), including various software components for performing various operations related to detection of The eye position detection module 512 can, for example, acquire the eye positions of the driver 4 from the eye position detection unit 411, or estimate the eye positions including the height of the eyes of the driver 4 from the eye position detection unit 411. information, and estimates the position of the eyes of the driver 4, including the height of the eyes. Information from which the position of the eyes can be estimated includes, for example, the position of the driver's seat of the vehicle 1, the position of the face of the driver 4, the height of the sitting height, and the value input by the driver 4 through an operation unit (not shown). good too.

視認検出モジュール５１４は、自車両１の運転者４が所定の画像２００を視認したかを検出する。視認検出モジュール５１４は、運転者４が所定の画像２００を視認したかの判定、運転者４が所定の画像２００の周辺（近傍）を視認したかの判定、に関する様々な動作を実行するための様々なソフトウェア構成要素を含む。視認検出モジュール５１４は、視線方向検出部４０９から取得した運転者４の後述する注視位置ＧＺと、グラフィックモジュール５１８から取得した画像２００の位置と、を比較して、画像２００を運転者４が視認したかを判定し、視認しているか否かの判定結果と、視認された画像２００を特定する情報を、プロセッサ１６に送信してもよい。 The visual recognition detection module 514 detects whether the driver 4 of the own vehicle 1 has visually recognized the predetermined image 200 . The visual recognition detection module 514 performs various operations related to determining whether the driver 4 visually recognizes the predetermined image 200 and determining whether the driver 4 visually recognizes the periphery (neighborhood) of the predetermined image 200. Contains various software components. The visual recognition detection module 514 compares the later-described gaze position GZ of the driver 4 obtained from the line-of-sight direction detection unit 409 with the position of the image 200 obtained from the graphic module 518, so that the driver 4 can visually recognize the image 200. It may be determined whether the image 200 has been viewed, and information specifying the viewed image 200 may be transmitted to the processor 16 .

また、視認検出モジュール５１４は、運転者４が所定の画像２００の周辺（近傍）を視認したかの判定を行うために、画像２００の外縁から外側に予め設定された所定の幅の領域を、画像２００の周辺として設定し、この画像２００の周辺に後述する注視位置ＧＺが入ると、自車両１の運転者４が所定の画像２００を視認したと判定してもよい。なお、視認判定は、これらの手段に限定されない。 In addition, the visual recognition detection module 514, in order to determine whether or not the driver 4 has visually recognized the periphery (nearby) of the predetermined image 200, detects an area having a predetermined width set in advance outward from the outer edge of the image 200. It may be determined that the driver 4 of the own vehicle 1 visually recognizes the predetermined image 200 when the image 200 is set as the periphery thereof and the gaze position GZ, which will be described later, enters the periphery of the image 200 . Note that the visual recognition determination is not limited to these means.

また、視認検出モジュール５１４は、運転者４が画像２００以外の何を視認しているかを検出してもよい。例えば、視認検出モジュール５１４は、実オブジェクト関連情報検出モジュール５０２が検出した自車両１の前景３００に存在する実オブジェクト３１０の位置と、視線方向検出部４０９から取得した運転者４の後述する注視位置ＧＺと、を比較することで、注視している実オブジェクト３１０を特定し、視認された実オブジェクト３１０を特定する情報を、プロセッサ１６に送信してもよい。 The sight detection module 514 may also detect what the driver 4 sees other than the image 200 . For example, the visual recognition detection module 514 detects the position of the real object 310 existing in the foreground 300 of the own vehicle 1 detected by the real object related information detection module 502, and the gaze position of the driver 4 obtained from the line-of-sight direction detection unit 409, which will be described later. By comparing GZ and , the gazed real object 310 may be identified, and information identifying the viewed real object 310 may be sent to the processor 16 .

行動判定モジュール５１６は、後述する第１情報画像２１０が示す情報に対して適当ではない運転者４の行動を検出する。いくつかの第１情報画像２１０には、それぞれ適当ではない運転者４の行動が対応づけて記憶部１８に記憶されている。行動判定モジュール５１６は、特に、視認性が低下した第１情報画像２１０に対応付けられた適当ではない運転者４の行動が検出されたか否かを判定する。例えば、第１情報画像２１０が、経路案内情報を含む場合、経路案内が示す方向とは異なる分岐路を運転者４が注視していた場合、適当ではない運転者４の行動が検出されたと判定してもよい。また、第１情報画像２１０が、交通規制情報を含む場合、この交通規制を違反しそうな行動がなされた場合、適当ではない運転者４の行動が検出されたと判定してもよい。行動判定モジュール５１６が、行動を判定するために収集する情報は、車両ＥＣＵ４０１から入力する自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）、視線方向検出部４０９から入力する視線方向などであるが、これらに限定されない。 The behavior determination module 516 detects behavior of the driver 4 that is inappropriate for the information indicated by the first information image 210, which will be described later. Some of the first information images 210 are stored in the storage unit 18 in association with inappropriate actions of the driver 4 . The behavior determination module 516 particularly determines whether or not an inappropriate behavior of the driver 4 associated with the first information image 210 with reduced visibility has been detected. For example, when the first information image 210 includes route guidance information, if the driver 4 gazes at a fork in a direction different from the direction indicated by the route guidance, it is determined that an inappropriate behavior of the driver 4 has been detected. You may Further, when the first information image 210 includes traffic regulation information, it may be determined that an inappropriate behavior of the driver 4 has been detected when the driver behaves in a manner likely to violate the traffic regulation. The information collected by the action determination module 516 to determine the action is the state of the own vehicle 1 input from the vehicle ECU 401 (for example, travel distance, vehicle speed, accelerator pedal opening, engine throttle opening, injector fuel injection amount, engine rotation speed, motor rotation speed, steering angle, shift position, drive mode, various warning states), line-of-sight direction input from the line-of-sight direction detection unit 409, etc., but are not limited to these.

グラフィックモジュール５１８は、表示される画像２００の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、表示距離（運転者４から画像２００までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５１８は、画像種類決定モジュール５０６が設定した種類、画像位置決定モジュール５０８が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１０が設定した画像サイズで運転者４に視認されるように画像２００を表示する。 The graphics module 518 controls the visual effects (e.g., brightness, transparency, saturation, contrast, or other visual characteristics), size, display position, display distance (from the driver 4 to the image 200) of the displayed image 200. distance). The graphic module 518 stores the type set by the image type determination module 506 and the coordinates set by the image position determination module 508 (left and right direction (X (including at least the axial direction) and the vertical direction (Y-axis direction)), the image 200 is displayed in the image size set by the image size determination module 510 so as to be visually recognized by the driver 4 .

グラフィックモジュール５１８は、自車両１の前景３００の実オブジェクト３１０と所定の位置関係となるように配置される拡張現実画像（ＡＲ画像）である、第１情報画像２１０と、第２情報画像２２０と、を少なくとも表示する。第１情報画像２１０は、視認検出モジュール５１４により、視認されたと判定されると、視認性を低下させる（非表示も含む）。他方、第２情報画像２２０は、視認検出モジュール５１４により、視認されたと判定されると、第１情報画像２１０より視認性を低下させない（第１情報画像２１０の視認性の低下の度合いより小さく（少なく）視認性を低下させること、又は視認性を変化させないこと、又は視認性を上昇させることも含む）。 The graphic module 518 generates a first information image 210 and a second information image 220, which are augmented reality images (AR images) arranged so as to have a predetermined positional relationship with the real object 310 in the foreground 300 of the own vehicle 1. , at least. The visibility of the first information image 210 is reduced (including non-display) when the visibility detection module 514 determines that the first information image 210 has been viewed. On the other hand, when the visibility detection module 514 determines that the second information image 220 has been viewed, the visibility of the second information image 220 does not decrease from that of the first information image 210 (the degree of decrease in visibility of the first information image 210 is smaller than that of the first information image 210 ( less), or leaving the visibility unchanged, or increasing the visibility).

「視認性を低下させる」とは、輝度を低くする、透明度を高くする、彩度を低くする、コントラストを低くする、サイズを小さくする、画像の種類を少なくする、これらの組み合わせ、又はこれらと他の要素の組み合わせを含んでもよい。逆に、「視認性を上昇させる」とは、輝度を高くする、透明度を低くする、彩度を高くする、コントラストを高くする、サイズを大きくする、画像の種類を多くする、これらの組み合わせ、又はこれらと他の要素の組み合わせを含んでもよい。 "Reduce visibility" means lower brightness, higher transparency, lower saturation, lower contrast, lower size, fewer types of images, combinations thereof, or Combinations of other elements may also be included. Conversely, "increasing visibility" means increasing brightness, decreasing transparency, increasing saturation, increasing contrast, increasing size, increasing the number of types of images, combinations of these, or may include a combination of these and other elements.

第１情報画像２１０は、起こり得る自体の重大さの程度から導き出される危険度が比較的低い情報であり、例えば、路面に重ねて表示され経路を示す矢印画像（ナビゲーション情報の一例）、目的地のテキスト画像（ナビゲーション情報の一例）、次ターニング地点までの距離を示す画像（ナビゲーション情報の一例）、前景３００に存在する店舗や施設などを指示するＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）画像（地物情報の一例）、道路標識（案内標識、警戒標識、規制標識、指示標識、補助標識）に関する画像、先行車に追従走行する際に設定される車間距離を路面に重ねて表示するＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）画像などである。 The first information image 210 is information with a relatively low degree of danger derived from the degree of seriousness that can occur. text image (an example of navigation information), an image indicating the distance to the next turning point (an example of navigation information), and a POI (Point of Interest) image indicating a store or facility existing in the foreground 300 (an example of feature information ACC (Adaptive Cruise Control), which superimposes on the road surface the distance between vehicles that is set when following the vehicle ahead such as images.

第２情報画像２２０は、起こり得る自体の重大さの程度から導き出される危険度が比較的高い情報であり、例えば、自車両１の前景３００に存在する障害物の近傍に視認される前方衝突予測警報（ＦＣＷ：Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ）の画像である。 The second information image 220 is information with a relatively high degree of danger derived from the severity of the possible occurrence itself. It is an image of a warning (FCW:Forward Collision Warning).

図３は、いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。まず、自車両１の運転者４の視線方向（後述する注視位置ＧＺ）を取得（ステップＳ１１）し、表示されている画像２００の位置を取得する（ステップＳ１２）。 FIG. 3 is a flow diagram of a process for reducing image visibility, according to some embodiments. First, the line-of-sight direction of the driver 4 of the own vehicle 1 (the gaze position GZ described later) is obtained (step S11), and the position of the displayed image 200 is obtained (step S12).

次に、プロセッサ１６は、ステップＳ１１で取得した視線方向と、ステップＳ１２で取得した画像２００の位置と、を比較して、運転者４が視認した対象を特定する（ステップＳ１３）。具体的には、プロセッサ１６は、第１情報画像２１０が視認されているか、第２情報画像２２０が視認されているか、又は第１情報画像２１０あるいは第２情報画像２２０が視認されていないか判定する。第１情報画像２１０が視認されていれば、第１情報画像２１０のどの画像が視認されているかを特定する。 Next, the processor 16 compares the line-of-sight direction acquired in step S11 and the position of the image 200 acquired in step S12 to identify the target visually recognized by the driver 4 (step S13). Specifically, the processor 16 determines whether the first information image 210 is viewed, the second information image 220 is viewed, or the first information image 210 or the second information image 220 is not viewed. do. If the first information image 210 is visually recognized, it specifies which image of the first information image 210 is visually recognized.

プロセッサ１６は、ステップＳ１３で運転者４が第１情報画像２１０を視認したと判定した場合、視認された第１情報画像２１０の視認性を低下させる。この際、プロセッサ１６は、第１情報画像２１０を非表示とさせてもよい。また、プロセッサ１６は、ステップＳ１３で運転者４が第２情報画像２２０を視認したと判定した場合、第２情報画像２２０の視認性を低下させない、又は第２情報画像２２０の視認性を第１情報画像２１０の視認性の低下の度合いより小さく（少なく）低下させる。 When the processor 16 determines that the driver 4 has viewed the first information image 210 in step S13, the processor 16 reduces the visibility of the viewed first information image 210 . At this time, the processor 16 may hide the first information image 210 . Further, when the processor 16 determines in step S13 that the driver 4 has visually recognized the second information image 220, the processor 16 does not reduce the visibility of the second information image 220, or sets the visibility of the second information image 220 to the first level. The visibility is reduced to be smaller (less) than the degree of deterioration of the visibility of the information image 210 .

図４は、いくつかの実施形態に係る、第２情報画像の視認性を上昇させる処理のフロー図である。少なくとも１つの第１情報画像２１０が、ステップＳ１４の処理により、視認性が低下している場合に、処理が開始される。 FIG. 4 is a flow diagram of a process for increasing the visibility of a second information image, according to some embodiments. The process is started when the visibility of at least one first information image 210 is reduced by the process of step S14.

まず、プロセッサ１６は、運転者４の行動を取得し（ステップＳ２１）、ステップＳ１４の処理により視認性が低下している第１情報画像２１０が示す情報に対して適当ではない運転者４の行動が検出されたかを判定し（ステップＳ２２）、適当ではない運転者４の行動がなされたと判定された場合、視認性を低下させていた第２情報画像２２０の視認性を上昇させる（ステップＳ２３）。 First, the processor 16 acquires the behavior of the driver 4 (step S21), and determines whether the behavior of the driver 4 is inappropriate for the information indicated by the first information image 210 whose visibility has been reduced by the processing of step S14. is detected (step S22), and if it is determined that the driver 4 has made an inappropriate action, the visibility of the second information image 220, which has been reduced, is increased (step S23). .

上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る一般的なハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。 The operations of the processing processes described above may be implemented by executing one or more functional modules of an information processing device such as a general purpose processor or an application specific chip. All of these modules, combinations of these modules, and/or combinations with common hardware that can replace their functions fall within the scope of protection of the present invention.

車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。 The functional blocks of vehicle display system 10 are optionally implemented in hardware, software, or a combination of hardware and software to carry out the principles of the various described embodiments. It is noted that the functional blocks illustrated in FIG. 2 may optionally be combined or separated into two or more sub-blocks to implement the principles of the described embodiments. will be understood by those skilled in the art. Accordingly, the description herein optionally supports any possible combination or division of the functional blocks described herein.

図５Ａ、図５Ｂは、第１情報画像２１０が視認されたと判定された場合の、車両用表示システム１０が表示する画像２００の変化を示す図である。図５Ａでは、第１情報画像２１０は、路面３１１に重畳して視認され、案内経路を示すナビゲーション画像２１１と、建物３１４（実オブジェクト３１０）を指示する駐車場を示す「Ｐ」の表記を含むイラストであるＰＯＩ画像２１２と、を含む。第２情報画像２２０は、自車両１の前方を走行する先行車３１２の後方の路面３１１に線状（ライン状）に視認される第１ＦＣＷ画像２２１と、自車両１の走行車線の対向車線側の歩道を歩行する歩行者３１３の周囲の路面３１１に円弧状に視認される第２ＦＣＷ画像２２２と、を含む。この他に、自車両１の前景３００の実オブジェクト３１０と所定の位置関係となるように配置される拡張現実画像（ＡＲ画像）ではない第３情報画像として、制限速度を示す「８０」の表記を含むイラストである道路情報画像２３１と、自車両１の速度を示す「３５ｋｍ／ｈ」と表記される速度画像２３２と、が表示される。表示領域１００は、第１表示領域１１０と、自車両１の運転席から前方を視認した際に第１表示領域１１０より上下方向下側（Ｙ軸負方向）に配置される第２表示領域１２０と、を含み、ＡＲ画像である第１情報画像２１０と第２情報画像２２０は、第１表示領域１１０に表示され、第３情報画像２３１，２３２は、第２表示領域１２０に表示される。 5A and 5B are diagrams showing changes in the image 200 displayed by the vehicle display system 10 when it is determined that the first information image 210 has been visually recognized. In FIG. 5A, the first information image 210 is superimposed on the road surface 311 and visually recognized, and includes a navigation image 211 indicating a guidance route and a notation of "P" indicating a parking lot indicating a building 314 (real object 310). and a POI image 212 that is an illustration. The second information image 220 includes a first FCW image 221 visually recognized linearly (in a line) on the road surface 311 behind the preceding vehicle 312 traveling in front of the own vehicle 1, and an oncoming lane side of the traveling lane of the own vehicle 1. and a second FCW image 222 visually recognized in an arc shape on the road surface 311 around the pedestrian 313 walking on the sidewalk. In addition, as a third information image that is not an augmented reality image (AR image) and is arranged so as to have a predetermined positional relationship with the real object 310 in the foreground 300 of the own vehicle 1, the notation of "80" indicating the speed limit , and a speed image 232 written as "35 km/h" indicating the speed of the own vehicle 1 are displayed. The display area 100 includes a first display area 110 and a second display area 120 arranged below the first display area 110 in the vertical direction (negative Y-axis direction) when the front is viewed from the driver's seat of the vehicle 1. and , the first information image 210 and the second information image 220 , which are AR images, are displayed in the first display area 110 , and the third information images 231 and 232 are displayed in the second display area 120 .

図５Ａに示すように、注視位置ＧＺが、第１情報画像２１０であるナビゲーション画像２１１にある場合、プロセッサ１６は、図３のステップＳ１４の命令を実行し、図５Ｂに示すように、視認されたナビゲーション画像２１１（第１情報画像２１０）を非表示にする（視認性低下の一例）。この際、表示される位置が実オブジェクト３１０の位置に関係する拡張現実画像（ＡＲ画像）であるナビゲーション画像２１１の代わりに、表示される位置が実オブジェクト３１０の位置に関係しない非ＡＲ画像である第１ナビゲーション画像２１３（関連画像の一例）と、第２ナビゲーション画像２１４（関連画像の一例）と、が第２表示領域１２０に表示される。第１ナビゲーション画像２１３は、次の分岐路のおおよその方向を示す簡略化された画像である。また、第２ナビゲーション画像２１４は、次の分岐路までの距離を示す「２００ｍ先」と表記されたテキストである。 As shown in FIG. 5A, when the gaze position GZ is in the navigation image 211, which is the first information image 210, the processor 16 executes the instruction of step S14 of FIG. navigation image 211 (first information image 210) is hidden (an example of reduced visibility). At this time, instead of the navigation image 211, which is an augmented reality image (AR image) whose displayed position is related to the position of the real object 310, it is a non-AR image whose displayed position is not related to the position of the real object 310. A first navigation image 213 (an example of a related image) and a second navigation image 214 (an example of a related image) are displayed in the second display area 120 . The first navigation image 213 is a simplified image showing the approximate direction of the next fork. Also, the second navigation image 214 is a text written as "200 m ahead" indicating the distance to the next branch road.

なお、図５Ｂに示す第１情報画像２１０であるナビゲーション画像２１１の視認性が低下している状況で、注視位置ＧＺが直近の交差点の分岐路にあった場合、運転者４が直近の交差点で曲がろうとしていると推測することができる。ナビゲーション画像２１１が提示する分岐路が直近の交差点の分岐路ではないとすると、直近の交差点で曲がろうと推測できる運転者４の行動（直近の交差点の分岐路を注視している行動）は適当ではない行動である。したがって、このように適当ではない行動が検出された場合、プロセッサ１６は、視認性を低下させていた第１情報画像２１０であるナビゲーション画像２１１の視認性を上昇させる。つまり、図５Ｂに示す状態から図５Ａに示す状態に変化させる。これにより、運転者４に、直近の交差点で曲がるべきでないことを認識させることができる。 Note that when the visibility of the navigation image 211, which is the first information image 210 shown in FIG. It can be inferred that it is about to turn. Assuming that the fork road presented by the navigation image 211 is not the fork road at the nearest intersection, the behavior of the driver 4 that can be inferred to turn at the nearest intersection (the behavior of watching the fork road at the nearest intersection) is appropriate. It is an action that is not Therefore, when inappropriate behavior is detected in this way, the processor 16 increases the visibility of the navigation image 211, which is the first information image 210, which has reduced the visibility. That is, the state shown in FIG. 5B is changed to the state shown in FIG. 5A. This makes it possible for the driver 4 to recognize that he or she should not turn at the nearest intersection.

図６は、いくつかの実施形態に係る、画像の視認性を低下させる処理のフロー図である。図６のフロー図は、図３のフロー図に対応しており、図６のステップＳ３１，３２，３３は、図３のステップＳ１１，Ｓ１２，Ｓ１３にそれぞれ対応している。ここでは、図３との変化点であるステップＳ３４について説明する。 FIG. 6 is a flow diagram of a process for reducing image visibility, according to some embodiments. The flow chart in FIG. 6 corresponds to the flow chart in FIG. 3, and steps S31, 32 and 33 in FIG. 6 correspond to steps S11, S12 and S13 in FIG. 3, respectively. Here, step S34, which is a point of change from FIG. 3, will be described.

プロセッサ１６は、ステップＳ１３で運転者４が第１情報画像２１０を視認したと判定した場合、視認された第１情報画像２１０の視認性を低下させる。また、プロセッサ１６は、ステップＳ３３で運転者４が第２情報画像２２０を視認したと判定した場合、視認された第２情報画像２２０を静止画から動画に変える、又は視認された第２情報画像２２０及び近くの他の第２情報画像２２０を静止画から動画に変えてもよい。 When the processor 16 determines that the driver 4 has viewed the first information image 210 in step S13, the processor 16 reduces the visibility of the viewed first information image 210 . If the processor 16 determines in step S33 that the driver 4 has viewed the second information image 220, the processor 16 changes the viewed second information image 220 from a still image to a moving image, or changes the viewed second information image 220 to a moving image. 220 and other nearby second information images 220 may be changed from still images to moving images.

いくつかの実施形態では、プロセッサ１６は、視認された第２情報画像２２０及び近くの他の第２情報画像２２０の数を連続的に変化させてもよい。具体的には、注視位置ＧＺが第２情報画像２２０である第１ＦＣＷ画像２２１の近傍にある場合、プロセッサ１６は、視認された第１ＦＣＷ画像２２１及び近くの他の第２ＦＣＷ画像２２２を、図７Ａに示す画像の数が少ない状態と、図７Ｂに示す画像の数が多い状態とで連続的／又は断続的に変化させてもよい。動画については、特に定義しないが、連続的／又は断続的に、画像の形状が繰り返し変化すること、画像の数が繰り返し変化すること、画像の位置が繰り返し変化すること、繰り返し点滅すること、繰り返しサイズが変化すること、などを含んでいてもよい。 In some embodiments, processor 16 may continuously vary the number of viewed second information images 220 and other nearby second information images 220 . Specifically, when the gaze position GZ is in the vicinity of the first FCW image 221, which is the second information image 220, the processor 16 calculates the viewed first FCW image 221 and other nearby second FCW images 222 as shown in FIG. 7A. and the state with a large number of images shown in FIG. 7B continuously/or intermittently. Moving images are not particularly defined, but continuously/or intermittently, the shape of the image repeatedly changes, the number of images repeatedly changes, the position of the image repeatedly changes, the image repeatedly blinks, and the repetition change in size, and the like.

以上に説明したように、本実施形態の表示制御装置は、自車両１の運転者４から見て前景３００に重なる領域に画像２００を表示する画像表示部１１（１２）を制御する表示制御装置１３であって、１つ又はそれ以上のＩ／Ｏインタフェース１４と、１つ又はそれ以上のプロセッサ１６と、メモリ１８と、メモリ１８に格納され、１つ又はそれ以上のプロセッサ１６によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、運転者４の視線方向を取得し、視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像２１０と、視認されたと判定されると第１情報画像２１０より視認性を低下させない第２情報画像２２０と、を表示させる、命令を実行する。これにより、画像の種類により、視認された後の視認性の変化が異なり、第１情報画像であれば、視認性が低下することで運転者４の視界前方の実景を見やすくすることができ、第２情報画像であれば、あまり視認性が低下しないので、視認したあとでも画像を見やすくすることができる。 As described above, the display control device of the present embodiment controls the image display unit 11 (12) that displays the image 200 in the area overlapping the foreground 300 as seen from the driver 4 of the own vehicle 1. 13, one or more I/O interfaces 14, one or more processors 16, memory 18, stored in memory 18 and executed by one or more processors 16 and one or more computer programs configured to: the one or more processors 16 obtain the line-of-sight direction of the driver 4 from the one or more I/O interfaces 14; Then, based on the line-of-sight direction, a first information image 210 whose visibility is lowered when it is determined to be visually recognized, and a second information image 220 whose visibility is not lowered more than that of the first information image 210 when it is determined to be visually recognized. , display, and execute commands. As a result, the change in visibility after being visually recognized differs depending on the type of image, and in the case of the first information image, the visibility decreases, making it easier for the driver 4 to see the actual scene in front of the field of vision. With the second information image, the visibility does not deteriorate so much, so the image can be easily viewed even after viewing.

また、いくつかの実施形態では、第２情報画像２２０が示す情報のリスクポテンシャルの大きさに応じて、視線が向けられた際の第２情報画像２２０の視認性の変化度合いを決めてもよい。プロセッサ１６は、第２情報画像２２０が示す情報のリスクポテンシャルが高いほど、視線が向けられた際の視認性の低下度合いを小さくしてもよい。すなわち、リスクポテンシャルが低ければ、視線が向けられた際の第２情報画像２２０の視認性を大きく低下させる（低下度合いを大きくする）。なお、プロセッサ１６は、第２情報画像２２０の種類によって予め定められたリスクポテンシャルに応じて、視認性の低下度合いを変化させてもよく、第２情報画像２２０が表示されている状況（Ｉ／Ｏインタフェース１４から得られる情報）に応じて算出されたリスクポテンシャルに応じて変化させてもよい。 Further, in some embodiments, the degree of change in visibility of the second information image 220 when the line of sight is directed may be determined according to the magnitude of the risk potential of the information indicated by the second information image 220. . The processor 16 may reduce the degree of decrease in visibility when the line of sight is directed, as the risk potential of the information indicated by the second information image 220 is higher. That is, if the risk potential is low, the visibility of the second information image 220 when the line of sight is directed is greatly reduced (the degree of reduction is increased). Note that the processor 16 may change the degree of decrease in visibility according to the risk potential predetermined according to the type of the second information image 220, and the situation in which the second information image 220 is displayed (I/ information obtained from the O interface 14).

また、いくつかの実施形態では、第２情報画像２２０に視線が向いた後、又は第２情報画像２２０に視線が向いて視認性を低下させた後、第２情報画像２２０が示す情報のリスクポテンシャルが高まらない場合、第２情報画像２２０の視認性を低下させてもよい。プロセッサ１６は、第２情報画像２２０に視線が向いた後、又は第２情報画像２２０に視線が向いて視認性を低下させた後、第２情報画像２２０が示す情報のリスクポテンシャルを所定の期間だけ監視し、リスクポテンシャルが、定められた閾値より高くならない、大きく上昇しない、又は低下している場合、視認性をそのまま維持しておく必要度は低いと判定し、第２情報画像２２０の視認性を低下させてもよい。 Further, in some embodiments, after the line of sight is turned to the second information image 220, or after the line of sight is turned to the second information image 220 to reduce the visibility, the risk of the information shown by the second information image 220 is reduced. If the potential does not increase, the visibility of the second information image 220 may be lowered. After the line of sight is turned to the second information image 220, or after the line of sight is turned to the second information image 220 and visibility is reduced, the processor 16 measures the risk potential of the information indicated by the second information image 220 for a predetermined period of time. is monitored, and if the risk potential does not exceed a predetermined threshold value, does not increase significantly, or decreases, it is determined that there is little need to maintain the visibility, and the second information image 220 is visually recognized. may be reduced.

また、いくつかの実施形態では、視線が第２情報画像２２０に向くと、第２情報画像２２０を動画表示させてもよい。プロセッサ１６は、通常、第２情報画像２２０を静止画で表示しておき、視線が向くと、一部又は全部の第２情報画像２２０を動画にする。第１情報画像２１０は、視認されると視認性が低下するが、第２情報画像２２０が視認されると動画となるため、第１情報画像２１０が示す情報とは異なる情報であることを認識させ、第２情報画像２２０へ注意を向けさせることができる。なお、第２情報画像２２０は、一定期間、動画表示された後、再び静止画に変化させてもよい。また、プロセッサ１６は、第２情報画像２２０を動画表示させるのと同じタイミングで視認された第２情報画像２２０の視認性を低下させてもよく、又は、動画表示された後、視認性を低下させてもよい。 Also, in some embodiments, the second information image 220 may be animated when the line of sight is directed toward the second information image 220 . The processor 16 normally displays the second information image 220 as a still image, and changes part or all of the second information image 220 to animation when the line of sight is directed. When the first information image 210 is visually recognized, the visibility decreases, but when the second information image 220 is visually recognized, it becomes a moving image. and direct attention to the second information image 220 . It should be noted that the second information image 220 may be changed to a still image again after being displayed as a moving image for a certain period of time. In addition, the processor 16 may reduce the visibility of the second information image 220 viewed at the same timing as the second information image 220 is displayed as a moving image, or may reduce the visibility after the moving image is displayed. You may let

また、いくつかの実施形態では、第２情報画像２２０が複数表示されている際、視線が所定の第２情報画像２２０に向くと、所定の第２情報画像２２０、及び他の第２情報画像２２０を動画表示させてもよい。例えば、図５Ａにおいて、歩行者３１３に対応して表示された第２ＦＣＷ画像２２２を運転者４が視認した場合、第２ＦＣＷ画像２２２、及び他の先行車３１２に対応して表示された第１ＦＣＷ画像２２１を動画としてもよい。このように他の情報画像も同様に動画表示させることで、視認した画像だけではなく、同様の画像にも視覚的注意を向かせることができる。 Further, in some embodiments, when a plurality of second information images 220 are displayed, when the line of sight is directed to a predetermined second information image 220, the predetermined second information image 220 and other second information images are displayed. 220 may be displayed as a moving image. For example, in FIG. 5A, when the driver 4 visually recognizes the second FCW image 222 displayed corresponding to the pedestrian 313, the second FCW image 222 and the first FCW image displayed corresponding to the other preceding vehicle 312 221 may be a moving image. By similarly displaying other information images as moving images, it is possible to direct visual attention not only to the visually recognized image but also to similar images.

また、いくつかの実施形態では、第２情報画像２２０が複数表示されている際、視線が所定の第２情報画像２２０に向くと、所定の第２情報画像２２０、及び所定の第２情報画像２２０の近くの他の第２情報画像２２０を動画表示させてもよい。 Further, in some embodiments, when a plurality of second information images 220 are displayed and the line of sight is directed to the predetermined second information image 220, the predetermined second information image 220 and the predetermined second information image are displayed. Other second information images 220 near 220 may be animated.

また、いくつかの実施形態では、第２情報画像２２０が複数表示されている際、視線が所定の第２情報画像２２０に向くと、所定の第２情報画像２２０、及び他の第２情報画像２２０を同じ周期で動画表示させてもよい。これにより、視野を向けた画像と同様の画像がどのあたりに表示されているか識別しやすくすることができる。 Further, in some embodiments, when a plurality of second information images 220 are displayed, when the line of sight is directed to a predetermined second information image 220, the predetermined second information image 220 and other second information images are displayed. 220 may be displayed as a moving image in the same period. This makes it easier to identify where an image similar to the image to which the field of view is directed is displayed.

また、いくつかの実施形態では、第１情報画像２１０が示す情報に対して適当ではない行動に関する情報を取得し、第１情報画像２１０の視認性を低下させた後、第１情報画像２１０が示す情報に対して適当ではない行動を運転者４がすると判定できる場合、第１情報画像２１０の視認性を上昇させてもよい。 Further, in some embodiments, after acquiring information about behavior that is inappropriate for the information indicated by the first information image 210 and reducing the visibility of the first information image 210, the first information image 210 The visibility of the first information image 210 may be increased when it can be determined that the driver 4 behaves inappropriately in response to the displayed information.

また、いくつかの実施形態では、第１情報画像２１０の視認性を低下させた後、第１情報画像２１０に関連する関連画像（２１３、２１４）を、第１情報画像２１０又は第２情報画像２２０が表示される第１表示領域１０１とは異なる第２表示領域１０２に表示させてもよい。すなわち、第１情報画像２１０と重なる前景３００の領域を見やすくすることができ、かつ第１情報画像２１０が示す情報を他の第２表示領域１０２で確認することができる。なお、プロセッサ１６は、１つの第１情報画像２１０の視認性を低下させ、新たに２つ又はそれ以上の関連画像を表示させてもよい。これにより、関連画像により多くの情報を認識させることができ、ＡＲ画像である第１情報画像２１０の視認性の低下による情報の認識性の低下を抑制することができる。 Further, in some embodiments, after reducing the visibility of the first information image 210, the related images (213, 214) related to the first information image 210 are replaced with the first information image 210 or the second information image. 220 may be displayed in a second display area 102 different from the first display area 101 where 220 is displayed. That is, the area of the foreground 300 overlapping the first information image 210 can be easily seen, and the information indicated by the first information image 210 can be confirmed in the other second display area 102 . Note that the processor 16 may reduce the visibility of one first information image 210 and display two or more related images anew. As a result, more information can be recognized from the related image, and deterioration in information recognition due to deterioration in visibility of the first information image 210, which is an AR image, can be suppressed.

１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…記憶部、２０…画像処理回路、２２…メモリ、１００…表示領域、１１０…第１表示領域、１２０…第２表示領域、２００…画像、２１０…第１情報画像、２１１…ナビゲーション画像、２１２…ＰＯＩ画像、２１３…第１ナビゲーション画像、２１４…第２ナビゲーション画像、２２０…第２情報画像、２２１…第１ＦＣＷ画像、２２２…第２ＦＣＷ画像、２３１…道路情報画像（第３情報画像）、２３２…速度画像（第３情報画像）、３００…前景、３１０…実オブジェクト、３１１…路面、３１１ａ…区画線、３１１ｂ…区画線、３１２…先行車、３１３…歩行者、３１４…建物、３２０…車線、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…報知必要度検出モジュール、５０６…画像種類決定モジュール、５０８…画像位置決定モジュール、５１０…画像サイズ決定モジュール、５１２…目位置検出モジュール、５１４…視認検出モジュール、５１６…行動判定モジュール、５１８…グラフィックモジュール、ＧＺ…注視位置
DESCRIPTION OF SYMBOLS 1... Own vehicle, 2... Front windshield, 4... Driver, 5... Dashboard, 10... Vehicle display system, 11... Image display part, 11a... Display light, 13... Display control device, 14... I/O Interface 16 Processor 18 Storage unit 20 Image processing circuit 22 Memory 100 Display area 110 First display area 120 Second display area 200 Image 210 First information image , 211... navigation image, 212... POI image, 213... first navigation image, 214... second navigation image, 220... second information image, 221... first FCW image, 222... second FCW image, 231... road information image ( third information image), 232... speed image (third information image), 300... foreground, 310... real object, 311... road surface, 311a... lane marking, 311b... lane marking, 312... preceding vehicle, 313... pedestrian, 314 Building 320 Lane 401 Vehicle ECU 403 Road information database 405 Vehicle position detector 407 Exterior sensor 409 Line of sight direction detector 411 Eye position detector 413 Portable information Terminal 420 External communication connection device 502 Real object related information detection module 504 Notification necessity detection module 506 Image type determination module 508 Image position determination module 510 Image size determination module 512 eyes Position detection module 514 Visual recognition detection module 516 Action determination module 518 Graphic module GZ Gaze position

Claims (16)

車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得し、
前記視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、視認されたと判定されると前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示させ、
前記第２情報画像（２２０）に視線が向いた後、又は前記第２情報画像（２２０）に視線が向いて視認性を低下させた後、前記第２情報画像（２２０）が示す情報のリスクポテンシャルが高まらない場合、前記第２情報画像（２２０）の視認性を低下させる、
命令を実行する、表示制御装置。 In a display control device (13) for controlling image display units (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1),
one or more I/O interfaces (14);
one or more processors (16);
a memory (18);
one or more computer programs stored in said memory (18) and configured to be executed by said one or more processors (16);
The one or more processors (16) are
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
Based on the line-of-sight direction, a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (210) that does not reduce visibility compared to the first information image (210) when determined to be visually recognized. display an information image (220) ,
The risk of the information indicated by the second information image (220) after the line of sight is turned to the second information image (220) or after the line of sight is turned to the second information image (220) to reduce visibility. reducing the visibility of the second information image (220) if the potential does not increase;
A display controller that executes instructions. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得し、
前記視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、視認されたと判定されると前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示させ、
前記視線が前記第２情報画像（２２０）に向くと、前記第２情報画像（２２０）を動画表示させる、
命令を実行する、表示制御装置。 In a display control device (13) for controlling image display units (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1),
one or more I/O interfaces (14);
one or more processors (16);
a memory (18);
one or more computer programs stored in said memory (18) and configured to be executed by said one or more processors (16);
The one or more processors (16) are
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
Based on the line-of-sight direction, a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (210) that does not reduce visibility compared to the first information image (210) when determined to be visually recognized. display an information image (220) ,
When the line of sight turns to the second information image (220), displaying the second information image (220) as a moving image;
A display controller that executes instructions. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得し、
前記視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、視認されたと判定されると前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示させ、
前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２～）を動画表示させる、
命令を実行する、表示制御装置。 In a display control device (13) for controlling image display units (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1),
one or more I/O interfaces (14);
one or more processors (16);
a memory (18);
one or more computer programs stored in said memory (18) and configured to be executed by said one or more processors (16);
The one or more processors (16) are
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
Based on the line-of-sight direction, a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (210) that does not reduce visibility compared to the first information image (210) when determined to be visually recognized. display an information image (220) ,
When a plurality of second information images (220) are displayed, when the line of sight is directed to a predetermined second information image (221), the predetermined second information image (221) and other second information images (222 ~) is displayed as a video,
A display controller that executes instructions. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得し、
前記視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、視認されたと判定されると前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示させ、
前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び前記所定の第２情報画像（２２１）の近くの他の第２情報画像（２２２～）を動画表示させる、
命令を実行する、表示制御装置。 In a display control device (13) for controlling image display units (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1),
one or more I/O interfaces (14);
one or more processors (16);
a memory (18);
one or more computer programs stored in said memory (18) and configured to be executed by said one or more processors (16);
The one or more processors (16) are
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
Based on the line-of-sight direction, a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (210) that does not reduce visibility compared to the first information image (210) when determined to be visually recognized. display an information image (220) ,
When a plurality of the second information images (220) are displayed, when the line of sight turns to the predetermined second information image (221), the predetermined second information image (221) and the predetermined second information animately display other second information images (222-) near the image (221);
A display controller that executes instructions. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得し、
前記視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、視認されたと判定されると前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示させ、
前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２～）を同じ周期で動画表示させる、
命令を実行する、表示制御装置。 In a display control device (13) for controlling image display units (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1),
one or more I/O interfaces (14);
one or more processors (16);
a memory (18);
one or more computer programs stored in said memory (18) and configured to be executed by said one or more processors (16);
The one or more processors (16) are
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
Based on the line-of-sight direction, a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (210) that does not reduce visibility compared to the first information image (210) when determined to be visually recognized. display an information image (220) ,
When a plurality of second information images (220) are displayed, when the line of sight is directed to a predetermined second information image (221), the predetermined second information image (221) and other second information images (222 ~) is displayed in the same cycle as a video,
A display controller that executes instructions. 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得し、
前記視線方向に基づき、視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、視認されたと判定されると前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示させ、
前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすることを推測可能な推測情報を取得し、
前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすると判定できる場合、前記推測情報に対応する前記第１情報画像（２１０）の視認性を上昇させる、
命令を実行する、表示制御装置。 In a display control device (13) for controlling image display units (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1),
one or more I/O interfaces (14);
one or more processors (16);
a memory (18);
one or more computer programs stored in said memory (18) and configured to be executed by said one or more processors (16);
The one or more processors (16) are
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
Based on the line-of-sight direction, a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (210) that does not reduce visibility compared to the first information image (210) when determined to be visually recognized. display an information image (220) ,
Acquiring inferred information from which it can be inferred that the driver will act inappropriately in response to the information indicated by the first information image (210);
After the visibility of the first information image (210) is lowered, if it can be determined that the driver behaves inappropriately with respect to the information indicated by the first information image (210), then the speculation information is supported. increasing the visibility of the first information image (210) to
A display controller that executes instructions. 前記１つ又はそれ以上のプロセッサ（１６）は、
前記第２情報画像（２２０）が示す情報のリスクポテンシャルの大きさに応じて、前記視線が向けられた際の前記第２情報画像（２２０）の前記視認性の変化度合いを決める、
命令を実行する、請求項１乃至６のいずれか１項に記載の表示制御装置。 The one or more processors (16) are
Determining the degree of change in the visibility of the second information image (220) when the line of sight is directed according to the risk potential of the information indicated by the second information image (220);
7. A display control device according to any one of the preceding claims, for executing instructions. 前記１つ又はそれ以上のプロセッサ（１６）は、
前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）に関連する関連画像（２１３、２１４）を、前記第１情報画像（２１０）又は前記第２情報画像（２２０）が表示される第１表示領域（１０１）とは異なる第２表示領域（１０２）に表示させる、
命令を実行する、請求項１乃至６のいずれか１項に記載の表示制御装置。 The one or more processors (16) are
After reducing the visibility of the first information image (210), the related images (213, 214) related to the first information image (210) are replaced with the first information image (210) or the second information image (210). causing the image (220) to be displayed in a second display area (102) different from the first display area (101) in which it is displayed;
7. A display control device according to any one of the preceding claims, for executing instructions. 前記第２情報画像（２２０）は、前記前景（３００）に存在する障害物、歩行者、他車両のうち少なくとも１つを強調するように近傍に表示される画像である、
請求項１乃至６のいずれか１項に記載の表示制御装置。 The second information image (220) is an image displayed nearby so as to emphasize at least one of obstacles, pedestrians, and other vehicles existing in the foreground (300).
The display control device according to any one of claims 1 to 6 . 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する方法であって、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得することと、
視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、前記視線が向いても前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示することと、
前記視線が前記第２情報画像（２２０）に向くと、前記第２情報画像（２２０）を動画表示させること、
を含む、方法。 A method for controlling an image display unit (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1), comprising:
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (220) that does not reduce visibility more than the first information image (210) even if the line of sight is directed; and displaying
displaying a moving image of the second information image (220) when the line of sight is directed toward the second information image (220);
A method, including 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する方法であって、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得することと、
視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、前記視線が向いても前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示することと、
前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２～）を動画表示させること、
を含む、方法。 A method for controlling an image display unit (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1), comprising:
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (220) that does not reduce visibility more than the first information image (210) even if the line of sight is directed; and displaying
When a plurality of second information images (220) are displayed, when the line of sight is directed to a predetermined second information image (221), the predetermined second information image (221) and other second information images (222 ~) is displayed as a moving image,
A method, including 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する方法であって、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得することと、
視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、前記視線が向いても前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示することと、
前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び前記所定の第２情報画像（２２１）の近くの他の第２情報画像（２２２～）を動画表示させること、
を含む、方法。 A method for controlling an image display unit (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1), comprising:
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (220) that does not reduce visibility more than the first information image (210) even if the line of sight is directed; and displaying
When a plurality of the second information images (220) are displayed, when the line of sight turns to the predetermined second information image (221), the predetermined second information image (221) and the predetermined second information animately display other second information images (222-) near the image (221);
A method, including 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する方法であって、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得することと、
視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、前記視線が向いても前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示することと、
前記第２情報画像（２２０）が複数表示されている際、前記視線が所定の第２情報画像（２２１）に向くと、前記所定の第２情報画像（２２１）、及び他の第２情報画像（２２２～）を同じ周期で動画表示させること、
を含む、方法。 A method for controlling an image display unit (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1), comprising:
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (220) that does not reduce visibility more than the first information image (210) even if the line of sight is directed; and displaying
When a plurality of second information images (220) are displayed, when the line of sight is directed to a predetermined second information image (221), the predetermined second information image (221) and other second information images (222-) are displayed as a moving image at the same cycle,
A method, including 車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する画像表示部（１１、１２）を制御する方法であって、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、前記運転者の視線方向を取得することと、
視認されたと判定されると視認性を低下させる第１情報画像（２１０）と、前記視線が向いても前記第１情報画像（２１０）より視認性を低下させない第２情報画像（２２０）と、を表示することと、
前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすることを推測可能な推測情報を取得することと、
前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）が示す情報に対して適当ではない行動を前記運転者がすると判定できる場合、前記推測情報に対応する前記第１情報画像（２１０）の視認性を上昇させること、
を含む、方法。 A method for controlling an image display unit (11, 12) for displaying an image (200) in a region overlapping a foreground (300) viewed from a driver of a vehicle (1), comprising:
obtaining the driver's gaze direction from the one or more I/O interfaces (14);
a first information image (210) that reduces visibility when determined to be visually recognized, and a second information image (220) that does not reduce visibility more than the first information image (210) even if the line of sight is directed; and displaying
Acquiring inferred information from which it can be inferred that the driver will act inappropriately in response to the information indicated by the first information image (210);
After the visibility of the first information image (210) is lowered, if it can be determined that the driver behaves inappropriately with respect to the information indicated by the first information image (210), then the speculation information is supported. increasing the visibility of the first information image (210) to
A method, including 前記第１情報画像（２１０）の視認性を低下させた後、前記第１情報画像（２１０）に関連する関連画像（２１３、２１４）を、前記第１情報画像（２１０）又は前記第２情報画像（２２０）が表示される第１表示領域（１０１）とは異なる第２表示領域（１０２）に表示させること、
を含む、請求項１０乃至１４のいずれか１項に記載の方法。 After reducing the visibility of the first information image (210), the related images (213, 214) related to the first information image (210) are replaced with the first information image (210) or the second information image (210). displaying in a second display area (102) different from the first display area (101) in which the image (220) is displayed;
15. The method of any one of claims 10-14 , comprising 請求項１０乃至１５のいずれかに記載の方法を実行するための命令を含む、コンピュータ・プログラム。 A computer program product comprising instructions for performing the method of any of claims 10-15 .
JP2020557598A 2018-11-23 2019-11-20 DISPLAY CONTROLLER, METHOD, AND COMPUTER PROGRAM Active JP7255608B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018219802 2018-11-23
JP2018219802 2018-11-23
PCT/JP2019/045494 WO2020105685A1 (en) 2018-11-23 2019-11-20 Display control device, method, and computer program

Publications (2)

Publication Number Publication Date
JPWO2020105685A1 JPWO2020105685A1 (en) 2021-11-04
JP7255608B2 true JP7255608B2 (en) 2023-04-11

Family

ID=70773132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557598A Active JP7255608B2 (en) 2018-11-23 2019-11-20 DISPLAY CONTROLLER, METHOD, AND COMPUTER PROGRAM

Country Status (4)

Country Link
JP (1) JP7255608B2 (en)
CN (1) CN113165510B (en)
DE (1) DE112019005849T5 (en)
WO (1) WO2020105685A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434620A (en) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 Display method, device, equipment, storage medium and computer program product
EP4265463A1 (en) * 2022-04-19 2023-10-25 Volkswagen Ag Vehicle, head-up display, augmented reality device, apparatuses, methods and computer programs for controlling an augmented reality device and for controlling a visualization device
CN116572837A (en) * 2023-04-27 2023-08-11 江苏泽景汽车电子股份有限公司 Information display control method and device, electronic equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017039373A (en) 2015-08-19 2017-02-23 トヨタ自動車株式会社 Vehicle video display system
JP2017226272A (en) 2016-06-21 2017-12-28 日本精機株式会社 Information providing device for vehicle

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330812B2 (en) * 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
JP3877127B2 (en) * 2000-06-15 2007-02-07 マツダ株式会社 Vehicle display device
JP4698002B2 (en) * 2000-07-11 2011-06-08 マツダ株式会社 Vehicle display device
JP3870409B2 (en) * 2000-08-03 2007-01-17 マツダ株式会社 Vehicle display device
JP2002293162A (en) * 2001-03-30 2002-10-09 Yazaki Corp Vehicular display device
JP4026144B2 (en) * 2004-01-20 2007-12-26 マツダ株式会社 Image display device for vehicle
JP2007045169A (en) * 2005-08-05 2007-02-22 Aisin Aw Co Ltd Information processor for vehicle
JP4715718B2 (en) * 2006-10-24 2011-07-06 株式会社デンソー Vehicle display device
JP2008282168A (en) * 2007-05-09 2008-11-20 Toyota Motor Corp Consciousness detector
JP2009292409A (en) * 2008-06-09 2009-12-17 Yazaki Corp Head-up display
JP5245930B2 (en) * 2009-03-09 2013-07-24 株式会社デンソー In-vehicle display device
JP5842419B2 (en) * 2011-07-06 2016-01-13 日本精機株式会社 Head-up display device
JP5406328B2 (en) * 2012-03-27 2014-02-05 株式会社デンソーアイティーラボラトリ VEHICLE DISPLAY DEVICE, ITS CONTROL METHOD AND PROGRAM
JP6232691B2 (en) * 2012-07-27 2017-11-22 株式会社Ｊｖｃケンウッド VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY DEVICE, AND VEHICLE DISPLAY CONTROL METHOD
WO2014097404A1 (en) * 2012-12-18 2014-06-26 パイオニア株式会社 Head-up display, control method, program and storage medium
JP6037923B2 (en) * 2013-04-08 2016-12-07 三菱電機株式会社 Display information generating apparatus and display information generating method
JP6413207B2 (en) * 2013-05-20 2018-10-31 日本精機株式会社 Vehicle display device
JP2015041969A (en) * 2013-08-23 2015-03-02 ソニー株式会社 Image acquisition apparatus, image acquisition method, and information distribution system
JP6225379B2 (en) * 2013-12-23 2017-11-08 日本精機株式会社 Vehicle information projection system
JP6253417B2 (en) * 2014-01-16 2017-12-27 三菱電機株式会社 Vehicle information display control device
JP6443716B2 (en) * 2014-05-19 2018-12-26 株式会社リコー Image display device, image display method, and image display control program
JP6379779B2 (en) * 2014-07-16 2018-08-29 日産自動車株式会社 Vehicle display device
JP6348791B2 (en) * 2014-07-16 2018-06-27 クラリオン株式会社 Display control apparatus and display control method
JP2016031603A (en) * 2014-07-28 2016-03-07 日本精機株式会社 Display system for vehicle
JP2016055801A (en) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 On-vehicle display device
JP2016107947A (en) * 2014-12-10 2016-06-20 株式会社リコー Information providing device, information providing method, and control program for providing information
JP6504431B2 (en) * 2014-12-10 2019-04-24 株式会社リコー IMAGE DISPLAY DEVICE, MOBILE OBJECT, IMAGE DISPLAY METHOD, AND PROGRAM
US10232772B2 (en) * 2015-03-26 2019-03-19 Mitsubishi Electric Corporation Driver assistance system
JP2017097687A (en) * 2015-11-26 2017-06-01 矢崎総業株式会社 Vehicular information presentation device
US20180356641A1 (en) * 2015-12-01 2018-12-13 Nippon Seiki Co., Ltd. Head-up display
JP2017138350A (en) * 2016-02-01 2017-08-10 アルプス電気株式会社 Image display device
JP6272375B2 (en) * 2016-03-18 2018-01-31 株式会社Ｓｕｂａｒｕ Display control device for vehicle
JP2017200786A (en) * 2016-05-02 2017-11-09 本田技研工業株式会社 Vehicle control system, vehicle control method and vehicle control program
JP2016193723A (en) * 2016-06-24 2016-11-17 パイオニア株式会社 Display device, program, and storage medium
JP2018022958A (en) * 2016-08-01 2018-02-08 株式会社デンソー Vehicle display controller and vehicle monitor system
JP6643969B2 (en) * 2016-11-01 2020-02-12 矢崎総業株式会社 Display device for vehicles
JP2018120135A (en) * 2017-01-26 2018-08-02 日本精機株式会社 Head-up display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017039373A (en) 2015-08-19 2017-02-23 トヨタ自動車株式会社 Vehicle video display system
JP2017226272A (en) 2016-06-21 2017-12-28 日本精機株式会社 Information providing device for vehicle

Also Published As

Publication number Publication date
CN113165510A (en) 2021-07-23
JPWO2020105685A1 (en) 2021-11-04
WO2020105685A1 (en) 2020-05-28
DE112019005849T5 (en) 2021-09-02
CN113165510B (en) 2024-01-30

Similar Documents

Publication Publication Date Title
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
KR102000929B1 (en) Mirror replacement system for a vehicle
US20160185219A1 (en) Vehicle-mounted display control device
JP7255608B2 (en) DISPLAY CONTROLLER, METHOD, AND COMPUTER PROGRAM
JP2018203169A (en) Operation awareness estimation device
JP2020032866A (en) Vehicular virtual reality providing device, method and computer program
US9836814B2 (en) Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio
JP2024029051A (en) In-vehicle display device, method and program
JP7459883B2 (en) Display control device, head-up display device, and method
WO2022230995A1 (en) Display control device, head-up display device, and display control method
WO2020158601A1 (en) Display control device, method, and computer program
JP2020086884A (en) Lane marking estimation device, display control device, method and computer program
WO2021200914A1 (en) Display control device, head-up display device, and method
JP2020117105A (en) Display control device, method and computer program
JP2020121607A (en) Display control device, method and computer program
JP2020121704A (en) Display control device, head-up display device, method and computer program
JP7434894B2 (en) Vehicle display device
WO2021200913A1 (en) Display control device, image display device, and method
WO2023145852A1 (en) Display control device, display system, and display control method
JP2020154468A (en) Driving support device, method, and computer program
JP2021160409A (en) Display control device, image display device, and method
JP2020199883A (en) Display control device, head-up display device, method and computer program
JP2020086882A (en) Display control device, method and computer program
JP2020106911A (en) Display control device, method, and computer program
WO2023003045A1 (en) Display control device, head-up display device, and display control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R150 Certificate of patent or registration of utility model

Ref document number: 7255608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150