CN113677553A - 显示控制装置以及显示控制方法 - Google Patents

显示控制装置以及显示控制方法 Download PDF

Info

Publication number
CN113677553A
CN113677553A CN201980094889.5A CN201980094889A CN113677553A CN 113677553 A CN113677553 A CN 113677553A CN 201980094889 A CN201980094889 A CN 201980094889A CN 113677553 A CN113677553 A CN 113677553A
Authority
CN
China
Prior art keywords
yaw
vehicle
display
deviation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980094889.5A
Other languages
English (en)
Inventor
太田脩平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN113677553A publication Critical patent/CN113677553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

偏航信息获取部(22)获取车辆(1)的偏航角。偏离可能性预测部(23)使用乘客的视线信息、说话信息、或者交通信息中的至少一个，来预测车辆1偏离假定行驶路径(401)的可能性。偏航变化预测部(24)使用偏航角及偏离可能性，判定车辆(1)偏离所述假定行驶路径(401)。在通过偏航变化预测部(24)判定出偏离的情况下，图像生成部(25)进行重叠对象物(403)的变更、以及变更后的重叠对象物(403)与显示物(201)的偏差校正。

Description

显示控制装置以及显示控制方法
技术领域
本发明涉及控制车辆用的显示装置的显示控制装置及显示控制方法。
背景技术
车辆用的头部显示器(以下称为“HUD”)是乘员无需从前方视野大幅移动视线、就能够观察图像信息的显示装置。特别是利用了AR(Augmented Reality：扩展现实)的AR-HUD装置中，通过在道路等前景上重叠显示道路引导箭头等图像信息，从而与现有的显示装置相比能够直观且易懂地向乘客提示信息(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：
日本专利特开2018－140714号公报
发明内容
发明所要解决的技术问题
AR-HUD装置在前景的重叠对象物(例如，交叉点)上显示显示物(例如，道路引导箭头)的情况下，需要校正重叠对象物和显示物的偏差。AR-HUD装置通过使乘客观察到重叠对象物和显示物重叠，从而能够向乘客提供易于理解的显示。如果通过假设显示物偏离重叠对象物从而重叠在前景中的其它重叠对象物上，或者显示在什么也没有的地方，则有可能会使乘客观察到错误的信息。因此，AR-HUD装置重要的是校正显示偏差。
AR-HUD装置的显示偏差能够分为上下方向和左右方向来考虑。重叠对象物和显示物在上下方向上偏移的原因主要是道路形状的变化。例如，由于道路的坡度而导致重叠对象物的位置比车辆的位置要高的情况下，AR-HUD装置需要向上方校正显示物的位置。另外，在由于道路的凹凸而导致车辆在上下方向振动的情况下，AR-HUD装置需要根据随着车辆的振动而上下移动的重叠对象物，在上下方向上校正显示物的位置。在专利文献1中，提及了上下方向的显示偏差的校正，但未提及左右方向的显示偏差的校正。
重叠对象物和显示物在左右方向上偏移的原因主要是驾驶员的车辆操作。驾驶员左右移动方向盘，一边调整车辆的偏航方向的倾斜，一边沿着假定行驶路径使车辆行驶。因此，即使车辆在同一车道上持续行驶，相对于车辆的重叠对象物在左右方向的位置也发生变化。因此，AR-HUD装置需要校正左右方向的显示偏差，以使得显示物继续重叠在重叠对象物上。
在以往的AR-HUD装置中，在校正左右方向的显示偏差以使显示物继续重叠在重叠对象物上的情况下，是以即使车辆通过驾驶员的车辆操作而在左右方向上发生摇晃，车辆也沿着假定行驶路径行驶为前提的。因此，如变更车道和避开障碍物那样，当车辆大幅移动超过驾驶员的车辆操作引起的左右方向摇晃时，会发生以下(1)、(2)、(3)的问题。
(1)显示物可能会在与车辆的移动方向相反的方向上移动，从而有可能妨碍驾驶。
(2)显示物的一部分或全部不能显示在AR-HUD装置的显示区域中，并且不能将显示物所具有的原始信息传达给乘客。
(3)当重叠对象物随着车辆的移动而被变更时，显示物突然移动到变更后的重叠对象物，从而有可能妨碍驾驶。
为了防止上述(1)、(2)、以及(3)那样的问题，需要判定车辆偏离假定行驶路线，并在开始偏离时开始校正显示物与重叠对象物在左右方向的显示偏差。然而，如以往的AR-HUD装置那样，在只使用车辆的偏航角或偏航率的变化的情况下，很难判定车辆开始偏离假定行驶路径。
本发明是为了解决上述那样的问题而完成的，其目的在于判定车辆偏离假定行驶路径，并校正车辆偏离了假定行驶路径时的显示物与重叠对象物在左右方向的偏差。
用于解决技术问题的技术手段
本发明所涉及的显示控制装置是对将显示物重叠显示于车辆前方的重叠对象物的显示装置进行控制的显示控制装置，包括：偏航信息获取部，该偏航信息获取部获取偏航角或偏航角的每单位时间的变化量即偏航率来作为偏航信息，所述偏航角是车辆的实际行进方向相对于车辆预定行驶的假定行驶路径的角度；偏离可能性预测部，该偏离可能性预测部使用车辆的乘客的视线信息、乘客的说话信息、或交通信息中的至少一个，来预测车辆偏离假定行驶路径的偏离可能性；偏航变化预测部，该偏航变化预测部使用通过偏航信息获取部获取的偏航信息以及通过偏离可能性预测部预测到的偏离可能性，来判定车辆偏离假定行驶路径；以及图像生成部，在通过偏航变化预测部判定出车辆偏离假定行驶路径的情况下，该图像生成部进行重叠对象物的变更以及变更后的重叠对象物与显示物的偏差校正。
发明效果
根据本发明，利用使用偏航角或偏航率、车辆的乘客的视线信息、说话信息或交通信息中的至少一个而预测到的偏离可能性，来判定车辆偏离假定行驶路径，并且在判定出偏离的情况下变更重叠对象物进行变更后的重叠对象物与显示物的偏差校正，因此，能够校正车辆偏离了假定行驶路径时的显示物与重叠对象物在左右方向的偏差。
附图说明
图1是表示实施方式1所涉及的显示***的主要部分的框图。
图2是实施方式1所涉及的显示***的车辆搭载时的结构图。
图3是说明偏航信息的图。
图4是表示实施方式1所涉及的显示控制装置的动作例的流程图。
图5A是用于帮助理解实施方式1所涉及的显示***的参考例，是表示车辆变更前驾驶员视点的前方景象的图。
图5B是用于帮助理解实施方式1所涉及的显示***的参考例，是表示车辆变更中驾驶员视点的前方景象的图。
图5C是用于帮助理解实施方式1所涉及的显示***的参考例，是表示车辆变更后驾驶员视点的前方景象的图。
图6A是表示实施方式1所涉及的显示***中车辆变更前驾驶员视点的前方景象的图。
图6B是表示实施方式1所涉及的显示***中车辆变更中驾驶员视点的前方景象的图。
图6C是表示实施方式1所涉及的显示***中车辆变更后驾驶员视点的前方景象的图。
图7是表示图5A和图6A的状况的鸟瞰图
图8是表示图5B的状况的鸟瞰图。
图9是表示图6B的状况的鸟瞰图。
图10是表示图5C和图6C的状况的鸟瞰图。
图11是用于帮助理解实施方式1所涉及的显示***的参考例，是表示偏离假定行驶路径时的偏航变化的图。
图12是表示实施方式1所涉及的显示***中偏离假定行驶路径时的偏航变化的图。
图13是表示实施方式1所涉及的显示***的硬件结构的一个示例的图。
图14是表示实施方式1所涉及的显示***的硬件结构的另一个示例的图。
具体实施方式
下面，为了更详细地说明本发明，根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是表示实施方式1所涉及的显示***的主要部分的框图。图2是实施方式1所涉及的显示***的车辆搭载时的结构图。如图1及图2所示，在车辆1中搭载有包含显示控制装置2及显示装置3的显示***和信息源装置4。显示控制装置2生成显示物的图像信息，显示装置3向挡风玻璃300投影图像信息的显示光，由此，驾驶员从该驾驶员的眼睛100的位置观察透过挡风玻璃300而成像的虚像200的显示物201。
显示控制装置2包括眼睛位置信息获取部21、偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24、图像生成部25和虚像位置信息获取部26。显示控制装置2的详细情况将在后文中阐述。
显示装置3包括图像显示部31、反射镜32和反射镜调整部33。
图像显示部31将图像生成部25生成的图像信息的显示光向反射镜32输出。图像显示部31是液晶等显示器或投影仪或激光光源。另外，在图像显示部31是液晶显示器的情况下，需要背光源。
反射镜32反射图像显示部31输出的显示光，并投影到挡风玻璃300。
反射镜调整部33调整反射镜32的倾斜角度，从而对图像显示部31输出的显示光的反射角度进行变更，调整虚像200的位置。反射镜调整部33将表示反射镜32的倾斜角度的反射镜角度信息输出至虚像位置信息取得部26。在反射镜32是可动式的情况下，能够根据驾驶员的眼睛100的位置变更驾驶员能够观察虚像200的区域，因此与固定式相比，能够使反射镜32小型化。另外，反射镜调整部33所进行的角度调整方法可以使用已知技术，因此省略说明。
挡风玻璃300是虚像200的被投影面。被投影面不限于挡风玻璃300，也可以是被称为组合器的半反射镜等。即，显示装置3并不限定于利用挡风玻璃300的HUD，也可以是组合器型HUD和HMD(Head-Mounted Display：头戴式显示器)。由此，显示装置3只要是将虚像200重叠显示在车辆1的前景上的显示装置即可。
信息源装置4包含车内摄像头41、车外摄像头42、ECU(Electronic Control Unit：发动机控制单元)43、GPS(Global Positioning System：全球定位***)接收机44、导航装置45、雷达传感器46、无线通信装置47以及车内麦克风48等。该信息源装置4与显示控制装置2相连接。
车内摄像头41是对车辆1的乘客中相当于虚像200的观测者的乘客进行拍摄的摄像头。实施方式1的显示***是假设驾驶员来作为相当于虚像200的观测者的乘客的结构。因此，车内摄像头41对驾驶员进行拍摄。
车外摄像头42是对车辆1的周边进行拍摄的摄像头。例如，车外摄像头42对车辆1正在行驶的车道(以下称为“行驶车道”)以及存在于车辆1周边的其他车辆等障碍物进行拍摄。
ECU43是控制车辆1的各种动作的控制单元。ECU43通过未图示的线束连接到显示控制装置2，并且以基于CAN(Controller Area Network)标准的通信方式，在与显示控制装置2之间自由通信。ECU43与未图示出的各种传感器相连接，从各种传感器获取与车辆1的各种动作相关的车辆信息。车辆信息中包含车辆角度、加速度、角速度、车速、转向角、及转向灯等信息。角速度是围绕与车辆1正交的3个轴的各轴所产生的角速度，是偏航率、俯仰率(pitch rate)和滚转率(roll rate)。
GPS接收机44从未图示的GPS卫星接收GPS信号，并计算与GPS信号所示的坐标相对应的位置信息。GPS接收机44计算出的位置信息相当于表示车辆1的当前位置的当前位置信息。
导航装置45基于从ECU43获取到的角速度，对GPS接收机44计算出的当前位置信息进行校正。导航装置45将校正后的当前位置信息作为出发地，使用存储在未图示的存储装置中的地图信息来搜索从该出发地到由乘客设定的目的地为止的车辆1的行驶路径。此外，在图1中，导航装置45和GPS接收机44的连接线以及导航装置45和ECU43的连接线省略了图示。导航装置45将用于行路径引导的道路引导信息输出至显示控制装置2，并使显示装置3显示。道路引导信息包含行驶路径上的引导地点(例如交叉口)中的车辆1的行进方向、经由地或目的地的到达预计时刻、以及行驶路径和周边道路的堵塞信息等。
另外，导航装置45可以是搭载于车辆1的信息设备，也可以是携带到车辆1上的PDN(Portable Navigation Device：便携式导航设备)或智能手机等移动通信终端。
雷达传感器46对存在于车辆1周边的障碍物的方向和形状、以及车辆1与障碍物之间的距离进行检测。雷达传感器46例如由毫米波带的电波传感器、超声波传感器或光雷达传感器来实现。
无线通信装置47与车外的网络进行通信连接来获取各种信息。无线通信装置47例如由搭载于车辆1的收发机或携带到车辆1的智能手机等移动通信终端来实现。车外的网络例如为互连网。无线通信装置47获取的各种信息包含车辆1周边的天气信息或设施信息等。
车内麦克风48是设置在车辆1的车室中的麦克风。车内麦克风48收集包含驾驶员在内的乘客的对话或说话，并作为说话信息来输出。
接着，对显示控制装置2的各结构要素进行说明。
眼睛位置信息获取部21获取表示驾驶员的眼睛100的位置的眼睛位置信息和表示视线的方向的视线信息。例如，眼睛位置信息获取部21分析由车内摄像头41拍摄的图像，检测驾驶员的眼睛100的位置，将检测出的眼睛100的位置设为眼睛位置信息。驾驶员的眼睛100的位置可以是驾驶员的左眼和左眼各自的位置，也可以是左眼和右眼的中心位置。此外，眼睛位置信息获取部21可以根据通过车内摄像头41拍摄到的图像中的驾驶员的脸位置来推测右眼和左眼的中心位置。另外，眼睛位置信息获取部21也可以分析车内摄像头41的拍摄图像中相当于检测出的驾驶员的眼睛100的位置的图像，并对驾驶员的视线的方向进行检测。
另外，眼睛位置信息获取部21可以包括信息源装置4而不是显示控制装置2。在这种情况下，眼睛位置信息获取部21通过监视驾驶员状态的DMS(Driver MonitoringSystem：驾驶员监控***)或者监视乘客状态的OMS(Occupant Monitoring System：乘客监控***)等来实现。
偏航信息获取部22获取表示车辆1的行进方向相对于车辆1的假定行驶路径的角度的偏航信息。偏航是以车辆1的上下方向为轴的旋转。偏航信息是作为其旋转角的偏航角(单位：deg)或者是作为每单位时间的偏航角的变化量的偏航率(单位：deg/sec)。
假定行驶路径是车辆1的行驶路径，包含行驶车道以及行驶车道上的车辆1的位置。例如，偏航信息获取部22从导航装置45获取表示下一个交叉口处的行进方向等的道路引导信息，根据获取到的道路引导信息计算车辆1的行驶路径。另外，例如，偏航信息获取部22从GPS接收机44获取本车位置信息，并且从导航装置45获取包含行驶车道信息的地图信息，基于这些信息计算行驶车道以及行驶车道上的车辆1的位置。另外，例如，偏航信息获取部22从车外摄像头42获取拍摄图像，从获取到的拍摄图像中检测白线或路肩等，根据检测出的白线或路肩等与本车位置的关系来计算行驶车道以及行驶车道上的车辆1的位置。另外，偏航信息获取部22所进行的假定行驶路径的计算方法并不限于上述例子。另外，偏航信息获取部22也可以获取由偏航信息获取部22以外计算出的假定行驶路径的信息。在这种情况下，例如，导航装置45可以单独计算假定行驶路径，导航装置45也可以从信息源装置4中的任一个装置中获取信息来计算假定行驶路径。
图3是说明偏航信息的图。
在图3的例子中，偏航信息获取部22将偏航角的基准(0度)设为假定行驶路径401，获取车辆1的行进方向相对于假定行驶路径401的角度即偏航角。或者，偏航信息获取部22使用获取到的偏航角来计算偏航率。设为偏航角和偏航率相对于基准(0度)顺时针是正值，逆时针是负值。在图3中，显示区域402相当于挡风玻璃300中显示装置3能投影虚像200的区域。
例如，偏航信息获取部22基于从车外摄像头42的拍摄图像检测出的白线或路肩等位置或斜率，计算相对于假定行驶路径401的偏航角。另外，例如，偏航信息获取部22将连接到ECU43的传感器检测出的角速度和上述的本车位置信息或道路引导信息相组合来计算偏航角度。另外，偏航信息获取部22将车外摄像头42的拍摄周期、角速度的检测周期、以及本车位置的获取周期等、以及这些信息的精度考虑在内，来实施例如求出通过多个计算方法计算出的偏航角度的平均值等统计处理，从而可以求出准确度更高的偏航角。
偏离可能性预测部23基于从信息源装置4获取到的信息，预测车辆1偏离假定行驶路径401的可能性。使用从导航装置45获取的路线引导信息、从导航装置45或车外摄像头42获取的行驶车道信息、从车外摄像头42或雷达传感器46获取的障碍物信息、从眼睛位置信息获取部21获取的驾驶员的视线信息、从连接到ECU43的传感器获取的转向灯信息、或者从车内麦克风48获取的车辆1的乘客的说话信息中的至少一个，来预测从假定行驶路径401的偏离。障碍物信息是表示存在于车辆1周边的、妨碍车辆1行驶的障碍物的位置等的信息。驾驶员的视线信息是表示车辆1的驾驶员的视线方向的信息。转向灯信息是表示车辆1的右转向灯及左转向等是否点亮的信息。
例如，在道路引导信息为“在下一个交叉口右转”，行驶车道信息为“左车道”或“中央车道”的情况下，偏离可能性预测部23预测在车辆1进入下一个交叉口之前将车道变更为右车道的可能性较高。例如，在车辆1的行驶车道前方存在妨碍停车车辆等假定行驶路径401的行驶的障碍物的情况下，偏离可能性预测部23预测车辆1绕道以回避障碍物的可能性较高。有时根据障碍物的行驶车道上的位置等进行绕道，从而即使当车辆1在行驶车道内绕道以回避障碍物的情况下，车辆1从行驶车道超道到旁边的车道来回避障碍物，当回避后再次返回行驶车道。例如，在驾驶员的视线朝向侧视镜或后方等的情况下，偏离可能性预测部23预测为车辆1变更车道的可能性较高。例如，偏离可能性预测部23在转向灯点亮的情况下，车辆1变更车道的可能性较高。例如，在车辆1的乘客说出“从后方没有车辆过来，请向右变更车道”的情况下，偏离可能性预测部23预测为车辆1变更车道的可能性较高。
偏离可能性预测部23通过上述预测方法预测偏离可能性的高度。偏离可能性预测部23可以用“高”、“中”、“低”这样的两个阶段以上的离散值来表示偏离可能性的高度，也可以用“0％”到“100％”这样的连续值来表示。
例如，偏离可能性预测部23在基于道路引导信息和行驶车道信息的车道变更的可能性较低的情况下，预测偏离可能性的高度为“低”。另外，偏离可能性预测部23在基于道路引导信息和行驶车道信息的车道变更的可能性较高的情况下，预测偏离可能性的高度为“中”。另外，偏离可能性预测部23在基于道路引导信息和行驶车道信息的车道变更的可能性较高的情况下，并且，在基于转向灯信息的车道变更的可能性较高的情况下，预测偏离可能性的高度为“高”。如上所述，偏离可能性预测部23可以根据预测方法的组合来预测偏离可能性的高度。
例如，偏离可能性预测部23在基于道路引导信息和行驶车道信息的车道变更的可能性较高的情况下，对偏离可能性的高度加上“+30％”的点。另外，偏离可能性预测部23在基于转向灯信息的车道变更的可能性较高的情况下，对偏离可能性的高度加上“+30％”的点。如上所述，偏离可能性预测部23也可以对每个预定的预测方法的点数进行加点，预测偏离可能性的高度。
另外，偏离可能性预测部23也可以在偏离可能性的预测中使用车辆1的过去的行驶履历信息。例如，偏离可能性预测部23基于行驶履历信息，在道路引导信息为“在下一个交叉口右转”，行驶车道信息为“左车道”或“中央车道”的情况下，推测在车辆1进入下一个交叉口之前将车道变更为右车道的频率较高。在这种情况下，偏离可能性预测部23对偏离可能性的高度加上比通常的“+30％”要大的“+40％”的点。
另外，偏离可能性预测部23也可以利用机械学习等预测偏离可能性。
偏航变化预测部24基于由偏航信息获取部22获取到的偏航信息和由偏离可能性预测部23预测到的偏离可能性，预测伴随车辆1偏离假定行驶路径401而产生的重叠显示物和显示物201在左右方向的偏差，根据预测出的偏差来计算用于使重叠显示物重叠显示显示物201的校正量。然后，偏航变化预测部24基于伴随车辆1偏离假定行驶路径401而产生的重叠显示物和显示物201在左右方向的偏差预测结果，将重叠显示显示物201的重叠对象物的变更或显示物201的显示方式的校正指示给图像生成部25。
图像生成部25生成显示物201的图像信息，输出到显示装置3的图像显示部31，使图像显示部31显示该图像信息。例如，图像生成部25从车内摄像头41和车外摄像头42获取摄像信息，从GPS接收机44获取本车位置信息，从连接到ECU43的各种传感器获取车辆信息，从导航装置45获取道路引导信息，从雷达传感器46获取障碍物信息，从无线通信装置47获取设施信息。图像生成部25使用所获取到的这些信息中的至少一个，生成表示车辆1的行驶速度或道路引导箭头等的显示物201的图像信息。另外，图像生成部25可以使用所获取到的这些信息中的至少一个，生成表示行驶车道或障碍物这样的重叠对象物的位置或相关信息的显示物201的图像信息。
图像生成部25在图像信息生成时，基于来自偏航变化预测部24的指示，进行重叠对象物的变更或显示物201的显示方式的校正。作为显示方式的修正，图像生成部25进行基于由偏航变化预测部24计算出的校正量的显示物201的位置校正、或者进行显示物201从显示向非显示的变更等。图像生成部25将所生成的图像信息输出到图像显示部31。
显示物201是图像信息中所包含的道路引导箭头等物体，被驾驶员观察为虚像200。重叠对象物是位于车辆1的前方景象中的重叠了显示物201的物体。重叠对象物是车辆1所朝向的下一个交叉口、存在于车辆1周边的其他车辆或行人等、行驶车道的白线、或者存在于车辆1周边的设施等。
图像生成部25以能看到虚像200的显示物201重叠在重叠对象物上的位置、大小和颜色在图像中绘制显示物201，并将绘制出的图像定义为图像信息。另外，在图像显示部31能够显示双眼视差图像的情况下，图像生成部25可以生成将显示物在左右方向上错开配置的双眼视差图像来作为显示物201的图像信息。
如图1所示，在显示装置3是能够通过反射镜32的倾斜角度调整来调整虚像200的位置的结构的情况下，图像生成部25从虚像位置信息获取部26获取表示与反射镜32的倾斜角度相对应的虚像200的位置的虚像位置信息。然后，图像生成部25基于所获取到的虚像位置信息来变更显示物201的位置。
虚像位置虚像获取部26从反射镜调整部33获取表示反射镜32的倾斜角度的反射镜角度信息。虚像位置信息获取部26例如具有定义了反射镜32的倾斜角度与驾驶员观察到的虚像200的位置之间的对应关系的数据库。虚像位置信息获取部26参照该数据库，确定与反射镜32的倾斜角度相对应的虚像200的位置，作为虚像位置信息并输出到图像生成部25。
另外，虚像位置信息获取部26基于反射镜32的倾斜角度来确定虚像200的位置，但是也可以通过其他方法来确定。
另外，在反射镜32被固定且为角度不能调整的结构的情况下，可以将虚像200的位置预先设定在虚像位置信息获取部26或图像生成部25中。在将虚像200的位置预先设定在图像生成部25中的情况下，不需要虚像位置信息获取部26。
接着，对显示控制装置2的动作进行说明。
图4是表示实施方式1所涉及的显示控制装置2的动作例的流程图。显示控制装置2例如在车辆1的点火开关导通时开始图4的流程图所示的动作，并重复该动作直到点火开关断开为止。
在步骤ST1中，显示控制装置2从信息源装置4获取各种信息。例如，眼睛位置信息获取部21从车内摄像头41获取拍摄图像，使用获取到的拍摄图像来获取驾驶员的眼睛位置信息和视线信息。另外，偏航信息获取部22从车外摄像头42、ECU43、GPS接收机44及导航装置45中的至少一个来获取信息，使用获取到的信息来计算假定行驶路径401和偏航信息。
下面，偏航信息获取部22计算偏航角作为偏航信息。
在步骤ST2中，偏离可能性预测部23使用在步骤ST1中从信息源装置4获取到的视线信息、说话信息和交通信息中的至少一个，来预测车辆1偏离假定行驶路径401的可能性。交通信息中包含道路引导信息、行驶车道信息和障碍物信息中的至少一个。
在由偏离可能性预测部23预测出的偏离可能性小于预定的基准的情况下(步骤ST2“否”)，偏航变化预测部24进行步骤ST3的动作。在偏离可能性小于上述基准的情况是车辆1沿着假定行驶路径401行驶的状态。另一方面，在由偏离可能性预测部23预测出的偏离可能性为上述基准以上的情况下(步骤ST2“是”)，偏航变化预测部24进行步骤ST4的动作。在偏离可能性为上述基准以上的情况是车辆1容易偏离假定行驶路径401的状态。
在步骤ST3，偏航变化预测部24将重叠对象物变更判定用的偏航信息的阈值设定为第一阈值。另外，第一阈值的值可以是固定值，也可以是根据偏离可能性的高度等而变化的可变值。该第一阈值是一种阈值，用于在偏离可能性小于基准且车辆1沿着道路形状行驶的情况下，判定为车辆1偏离了假定行驶路径401的情况,并且判定为变更重叠对象物。在车辆1从假定行驶路径401偏离的可能性较低的情况下，由于驾驶员一边微调整车辆1的偏航角一边沿着道路形状行驶，所以车辆1的偏航角的变化较小。在实施方式1中，第1阈值设定为比伴随驾驶员的操作及道路形状而产生的车辆1的偏航角的变化量要大、且比伴随着车道变更或障碍物回避而产生的车辆1的偏航角的变化量要小的值，从而当车辆1的偏航角伴随着驾驶员的操作及道路形状而发生变化时不变更重叠对象物，当车辆1的偏向角伴随着车道变更或障碍物回避而发生变化时变更重叠对象物。
在步骤ST4中，偏航变化预测部24将重叠对象物变更判定用的偏航信息的阈值设定为第二阈值。另外，第二阈值的值可以是固定值，也可以是根据偏离可能性的高度等而变化的可变值。该第二阈值是一种阈值，用于在偏离可能性为基准以上且车辆1容易偏离假定行驶路径401的情况下，判定为车辆1偏离了假定行驶路径401的情况，并且判定为变更重叠对象物。在车辆1偏离假定行驶路径401的可能性较高的情况下，在车辆1变更车道或回避障碍物的时刻，车辆1的偏航角的变化变大。在实施方式1中，为了判定为车辆1已经开始变更车道或回避障碍物，第二阈值被设定为其绝对值是小于第一阈值的绝对值的值。
另外，在第一阈值和第二阈值是可变值的情况下，例如，偏航变化预测部24使用每个驾驶员的过去的行驶履历信息，设定与驾驶员的驾驶特性相对应的值。另外，偏航变化预测部24也可以根据是变更车道或是回避障碍物来变更值。
在步骤ST5中，当从偏航信息获取部22获取到的偏航角为在步骤ST3中设定的第一阈值以上或在步骤ST4中设定的第二阈值以上的情况下(步骤ST5“是”)，偏航变化预测部24进行步骤ST6的动作。另一方面，当从偏航信息获取部22获取到的偏航角小于在步骤ST3中设定的第一阈值或小于在步骤ST4中设定的第二阈值的情况下(步骤ST5“否”)，偏航变化预测部24进行步骤ST7的动作。
在步骤ST6中，偏航变化预测部24判定为车辆1偏离了假定行驶路径401，并从偏航信息获取部22获取假定在偏离后行驶的假定行驶路径401(以下称为“变更后的假定行驶路径401”)。另外，为了校正由于车辆1偏离了假定行驶路径401而导致的显示物201和重叠对象物在左右方向的偏差，偏航变化预测部24将变更基于变更后的假定行进路径401的重叠对象物的指示、以及校正显示物201的显示方式从而与变更后的重叠对象物相匹配的指示输出至图像生成部25。另外，在偏航角与第一阈值的差或者偏航角与第二阈值的差为预定的值以上的情况下，或者在由于车辆1偏离假定行驶路径401而使得重叠对象物偏离图像显示部31的显示区域402的情况下，偏航变化预测部24可以向图像生成部25输出不显示显示物201的指示而输出变更重叠对象物的指示。
在步骤ST7中，偏航变化预测部24向图像生成部25输出校正显示物201的显示方式的指示，从而消除伴随驾驶员的驾驶操作或道路形状而产生的显示物201和重叠对象物在左右方向的偏差。另外，在步骤ST7中，由于车辆1没有偏离假定行驶路径401，所以偏航变化预测部24不变更重叠对象物。
在步骤ST8，图像生成部25使用从信息源装置4获取到的各种信息来生成显示物201的图像信息。另外，图像生成部25校正显示物201的位置及大小等显示方式，以使显示物201重叠在偏航变化预测部24指示的重叠对象物上。例如，图像生成部25在指示了用于校正重叠对象物和显示物201在左右方向的偏差的校正量的情况下，从偏航信息获取部22获取偏航角，使用获取到的偏航角和所述校正量来校正显示物201的位置。然后，图像生成部25将显示物201的图像信息输出到图像显示部31，并投影到挡风玻璃300。另外，在显示装置3已经显示了显示物201的图像信息的情况下，图像生成部25根据来自偏航变化预测部24的指示对该图像信息的显示物201进行校正。
接着，对用于变更重叠对象物的阈值只有一个的情况和有第一阈值和第二阈值这两个的情况的不同进行说明。以下，将用于变更重叠对象物的阈值仅有一个的情况称为“参考例”，并且将第一阈值例示为该阈值。
图5A、图5B、图5C是用于帮助理解实施方式1所涉及的显示***的参考例，是表示驾驶员视点的前方景象的图。图6A、图6B、图6C是表示实施方式1所涉及的显示***中的驾驶员视点的前方景象的图。图5A和图6A表示在车道变更前的驾驶员视点的前景、图5B和图6B表示车道变更中的驾驶员视点的前方景象、图5C和图6C表示在车道变更后的驾驶员视点的前方景象。
图7是表示图5A和图6A的状况的鸟瞰图图8是表示图5B的状况的鸟瞰图。图9是表示图6B的状况的鸟瞰图。图10是表示图5C和图6C的状况的鸟瞰图。
图11是用于帮助理解实施方式1所涉及的显示***的参考例，是表示偏离假定行驶路径时的偏航变化的图。图12是表示实施方式1所涉及的显示***中偏离假定行驶路径时的偏航变化的图。
此外，在图11和图12中，仅示出了正的第一阈值和第二阈值，而省略了负的第一阈值和第二阈值。正的第一阈值的绝对值和负的第一阈值的绝对值可以相同或不同。同样地，正的第二阈值的绝对值和负的第二阈值的绝对值可以相同或不同。
首先，对参考例进行说明。
在参考例中，如图5A所示，在挡风玻璃300的显示区域402中，透过挡风玻璃300能看到重叠对象物403(例如中央车道的交叉点)。在显示区域402中，作为虚像的显示物201(例如，道路引导箭头)重叠显示在重叠对象物403上。另外，如图7所示，车辆1沿着假定行驶路径401在中央车道上行驶(图11的时间T0～时间T2)。
如图8所示，车辆1为了按照假定行驶路径401在交叉口右转，开始从中央车道向右车道进行变更车道(图11的时间T2)。由于伴随着车道变更而变化后的偏航角小于第一阈值，所以如图5B所示，显示物201重叠显示在重叠对象物403上保持不变。另一方面，显示区域402伴随着车辆1的车道变更而向右侧移动。因此，在图5B中，显示物201在与车辆1的移动方向相反的方向上移动，有可能妨碍驾驶。另外，由于显示物201的一部分偏离显示区域402而未被显示，有可能无法将显示物201所具有的本来的信息正确地传达给驾驶员。
车道变更开始(图11的时间T2)，之后偏航角成为了第一阈值以上，在此情况下(图11的时间T3)，偏航变化预测部24判定为发生了从假定行驶路径401的偏离。在该时间T3，偏航变化预测部24判断为需要变更假定行驶路径401以及变更重叠对象物403。并且，偏航变化预测部24基于变更后的假定行驶路径401及偏航角的变化量等，并将重叠对象物403的变更指示给图像生成部25。图像生成部25在接收到来自偏航变化预测部24的指示后，基于偏航角的变化量等，将重叠对象物403从变更前的假定行走路径401即中央车道的交叉点变更为变更后的假定行驶路径401即右车道的交叉点。因此，如图5C和图10所示，显示物201重叠显示在右车道的交叉点即重叠对象物403上。车辆1沿着假定行驶路径401在右车道上行驶。在图11的时间T3，驾驶员视点的前方景象从图5B变化为图5C，由于显示物201突然地从中央车道移动到右车道，所以有可能妨碍驾驶。
这样，在用于变更重叠对象物的阈值只有一个的情况下，为了区别用于沿着道路形状行驶的偏航角的变化和由于车辆1偏离假定行驶路径401而引起的偏航角的变化，需要对阈值设定大的值。因此，变更车道或回避障碍物的判定会延迟。另外，如图8和图9所示，即使车辆1的朝向相同，在阈值只有一个的情况下，假定行驶路径401的变更定时延迟，因此时间T2、T12以后的偏航角不同。其结果是，当只有一个阈值时，不能适当地校正显示物201和重叠对象物403的显示偏差，包含显示物201的前方景象的观察性降低。
接着，对实施方式1的示例进行说明。
在实施方式1中，如图6A所示，在挡风玻璃300的显示区域402中，透过挡风玻璃300能看到重叠对象物403(例如中央车道的交叉点)。在显示区域402中，作为虚像的显示物201(例如，道路引导箭头)重叠显示在重叠对象物403上。另外，如图7所示，车辆1沿着假定行驶路径401在中央车道上行驶(图12的时间T10～时间T12)。
车辆1为了按照假定行驶路径401在交叉点右转而预定从中央车道向右车道变更车道，所以偏离可能性预测部23预测为在交叉口前的偏离可能性较高。由于偏离可能性在基准以上，所以偏航变化预测部24将重叠对象物变更判定用的阈值设定为第二阈值(图12的时间T11)。
如图9所示，车辆1为了按照假定行驶路径401在交叉口右转，开始从中央车道向右车道变更车道(图12的时间T12)。由于伴随着车道变更而变化后的偏航角马上成为第二阈值以上(图12的时间T13)，所以偏航变化预测部24判定为发生了从假定行驶路径401的偏离。在该时间T13，偏航变化预测部24判断为需要变更假定行驶路径401以及变更重叠对象物403。并且，偏航变化预测部24基于变更后的假定行驶路径401及偏航角的变化量等，将重叠对象物403的变更指示给图像生成部25。另外，偏航变化预测部24基于偏航角的变化量等，计算变更后的重叠对象物403和显示物201在左右方向的偏差的修正量，并将校正量指示给图像生成部25。图像生成部25在接收到来自偏航变化预测部24的指示后，基于偏航角的变化量等，将重叠对象物403从中央车道的交叉点变更为右车道的交叉点(图12的时间T13)。另外，图像生成部25基于由偏航变化预测部24指示的校正量，如图6B和图9那样对显示物201的显示方式进行校正。因此，显示物201移动到与车辆1的移动方向相同的方向上，显示物201不会从显示区域402偏离。另外，驾驶员视点的前方景象从图6B变化为图6C，防止显示物201的突然移动。
如上所述，实施方式1所涉及的显示控制装置2具备偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24和图像生成部25。偏航信息获取部22获取车辆1的偏航角或偏航率来作为偏航信息。偏离可能性预测部23使用车辆1的乘客的视线信息、乘客的说话信息、或者交通信息中的至少一个，来预测车辆1偏离假定行驶路径401的可能性。偏航变化预测部24使用偏航信息及偏离可能性，判定车辆1从假定行驶路径401的偏离。在通过偏航变化预测部24判定出车辆1偏离假定行驶路径401的情况下，图像生成部25进行重叠对象物403的变更、以及变更后的重叠对象物403与显示物201的偏差校正。如上所述，显示控制装置2可以通过使用偏航角或偏航率、视线信息、说话信息或交通信息中的至少一个而预测出的偏离可能性来判定车辆1偏离预期行驶路径401。此外，显示控制装置2在偏离判定时变更重叠对象物403，并且进行变更后的重叠对象物403和显示物201在左右方向的偏差校正，从而能够防止先前所说明的(1)、(2)和(3)那样的问题。因此，显示控制装置2能够校正车辆1偏离假定行驶路径401时的显示物201和重叠对象物403在左右方向的偏差。
另外，根据实施方式1，在通过偏离可能性预测部23预测出的偏离可能性小于预定的基准的情况下(图4的步骤ST2“否”)，偏航变化预测部24将重叠对象物变更判定用的阈值设定为第一阈值(图4的步骤ST3)。然后，当通过偏航信息获取部22获取到的偏航信息为第一阈值以上时(图4的步骤ST5“是”)，偏航变化预测部24向图像生成部25指示变更重叠对象物403，或者使显示物201不显示(图4的步骤ST6)。因此，即使在偏离可能性较低的情况下，显示控制装置2也能够判定车辆1偏离假定行驶路径401。此外，显示控制装置2在判定偏离时不进行维持变更前的重叠对象物403和显示物201的重叠显示的校正，由于变更重叠对象物403或使显示物201不显示，所以能够进行没有违和感的显示。
另外，根据实施方式1，在通过偏离可能性预测部23预测出的偏离可能性为预定的基准以上的情况下(图4的步骤ST2“是”)，偏航变化预测部24将重叠对象物变更判定用的阈值设定为第二阈值(图4的步骤ST4)。然后，当通过偏航信息获取部22获取出的偏航信息为第二阈值以上时(图4的步骤ST5“是”)，偏航变化预测部24向图像生成部25指示变更重叠对象物403，或者使显示物201不显示(图4的步骤ST6)。因此，在偏离可能性较高的情况下，显示控制装置2能够使用小于第一阈值的第二阈值来判定车辆1开始偏离假定行驶路径401。另外，显示控制装置2在判定开始偏离时不进行维持变更前的重叠对象物403和显示物201的重叠显示的校正，由于变更重叠对象物403或使显示物201不显示，所以能够进行没有违和感的显示。
另外，根据实施方式1，在由偏离可能性预测部23预测出的偏离可能性小于预定的基准的情况下(图4的步骤ST2“否”)，并且在由偏航信息获取部22获取出的偏航信息小于第一阈值的情况下(图4的步骤ST5“否”)，偏航变化预测部24对图像生成部25指示校正重叠对象物403和显示物201的偏差(图4的步骤ST7)。
另外，在由偏离可能性预测部23预测出的偏离可能性为预定的基准以上的情况下(图4的步骤ST2“是”)，并且在由偏航信息获取部22获取出的偏航信息小于第二阈值的情况下(图4的步骤ST5“否”)，偏航变化预测部24对图像生成部25指示校正重叠对象物403和显示物201的偏差(图4的步骤ST7)。
无论哪种情况下，显示控制装置2在车辆1沿着假定行驶路径401行驶的期间，能够进行维持显示物201在重叠对象物403上的重叠显示的校正，所以能够进行没有违和感的显示。
接着，对实施方式1所涉及的显示控制装置2的变形例进行说明。
实施方式1的偏航变化预测部24使用偏航角来作为偏航信息，设定了与偏航角的值匹配的第一阈值和第二阈值，但也可以使用偏航率来作为偏航信息，设定与偏航率的值批匹配的第一阈值和第二阈值。在该变形例的情况下，偏航变化预测部24在图4的步骤ST5中，在偏航率为第一阈值以上或第二阈值以上的情况下，判断为车辆1偏离假定行驶路径401。在使用偏航率的情况下，与使用偏航角的情况相比，能够尽早判定车辆1开始偏离假定行驶路径401，也有可能加快变更重叠对象物403。
作为实施方式1的变形例，在由偏离可能性预测部23预测出的偏离可能性为预定的基准以上的情况下(图4的步骤ST2“是”)，即在车辆1偏离假定行驶路径401的可能性较高的情况下，偏航变化预测部24对图像生成部25指示暂时停止重叠对象物403和显示物201的偏差校正。然后，在变更后的重叠对象物403进入显示区域402的情况下，或者变更后的重叠对象物403和显示物201接近预定的距离的情况下，偏航变化预测部24对图像生成部25指示重新开始变更后的重叠对象物403和显示物201的偏差校正。在该变形例的情况下，随着重叠对象物的变更而产生的显示物的移动根据偏航角的变化而产生，从而能够进行没有违和感的显示。
作为实施方式1的变形例，偏航变化预测部24在偏离可能性为基准以上且车辆1偏离假定行驶路径401的可能性较高的情况下，在该时刻(图12的时间T11)，预测变更后的重叠对象物403。另外，在偏航变化预测部24中预测出偏离可能性为基准以上且车辆1偏离假定行驶路径401的可能性较高的情况下，偏航信息获取部22也在该时刻(图12的时间T11)预测变更后的假定行驶路径401。在该变形例的情况下，与在车辆1开始偏离假定行驶路径401并判定出偏航信息为第一阈值以上或第二阈值以上时计算变更后的重叠对象物403及假定行驶路径401的情况相比，能够缩短直到图像生成部25校正显示物201为止的时间。另外，利用偏航信息、视线信息、说话信息、交通信息或者其他各种信息中的至少一个来预测变更后的重叠对象物403以及假定行驶路径401。
作为实施方式1的变形例，图像生成部25基于车速和偏航信息，预测显示显示物201的时刻时车辆1的位置。图像生成部25考虑在图4的步骤ST1中显示控制装置2的各部获取到信息时刻时车辆1的位置、与在步骤ST8中生成图像信息并使图像显示部31显示的时刻时车辆1的预测位置之间的差分，来校正显示物201的位置。在该变形例的情况下，能够校正因车辆1行驶而产生的显示物201与重叠对象物403的偏差。
另外，在实施方式1中，使用示例对构成为用于驾驶员的显示***进行了说明，但显示***还可以构成为用于驾驶员以外的乘客。
另外，在实施方式1中，显示装置3是HUD或HMD等，但也可以是设置在车辆1的仪表盘上的中央显示器等。中央显示器将由显示控制装置2的图像生成部25生成的显示物201的图像信息重叠显示在由车外摄像头42拍摄的车辆1的前方景象的拍摄图像上。如上所述，显示装置3只要能够将显示物201重叠显示在透过车辆1的挡风玻璃300的前方景象或由车外摄像头42拍摄得到的前方景象上即可。
最后，对实施方式1所涉及的显示***的硬件结构进行说明。
图13是表示实施方式1所涉及的显示***的硬件结构的一个示例的图。图13中，处理电路500连接到显示装置3和信息源装置4，并且能交换信息。图14是表示实施方式1所涉及的显示***的硬件结构的另一个示例的图。在图14中，处理器501和存储器502分别连接到显示装置3和信息源装置4。处理器501可以在显示装置3和信息源装置4之间交换信息。
显示控制装置2中的眼睛位置信息获取部21、偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24、图像生成部25和虚像位置信息获取部26的功能通过处理电路来实现。即，显示控制装置2具备用于实现上述功能的处理电路。处理电路可以是作为专用硬件的处理电路500，也可以是执行存储于存储器502的程序的处理器501。
如图13所示那样，在处理电路是专用硬件的情况下，处理电路500例如相当于单一电路、复合电路、程序化后的处理器、并联程序化后的处理器、ASIC(Application SpecificIntegrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或它们的组合。眼睛位置信息获取部21、偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24、图像生成部25和虚像位置信息获取部26的功能可以由多个处理电路500来实现，也可以汇总各个部的功能在一个处理电路500中实现。
如图14所示，当处理电路是处理器501的情况下，眼睛位置信息获取部21、偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24、图像生成部25以及虚像位置信息获取部26的功能通过软件、固件或软件和固件的组合来实现。软件或固件以程序的形式来表述，并存储于存储器502。处理器501读取存储于存储器502的程序并执行，从而实现各部的功能。即，显示控制装置2具备存储器502，该存储器502用于存储在由处理器501执行时最终执行图4的流程图所示的步骤的程序。此外，该程序也称为是使计算机执行眼睛位置信息获取部21、偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24、图像生成部25以及虚像位置信息获取部26的步骤或方法的程序。
此处，处理器501是指CPU(Central Processing Unit：中央处理单元)、处理装置、运算装置或微处理器等。
存储器502可以是RAM(Random Access Memory：随机存储器)、ROM(Read OnlyMemory：只读存储器)、EPROM(Erasable Programmable ROM：电可编程只读存储器)、或闪存等非易失性或易失性半导体存储器，也可以是硬盘、软盘等磁盘，也可以是CD(CompactDisc：压缩盘)或DVD(Digital Versatile Disc：数字通用光盘)等光盘。
另外，关于眼睛位置信息获取部21、偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24、图像生成部25以及虚像位置信息获取部26的功能，其中一部分可以用专用的硬件来实现，一部分用软件或固件来实现。另外，关于眼睛位置信息获取部21的功能，用专用的硬件来实现，关于偏航信息获取部22、偏离可能性预测部23、偏航变化预测部24、图像生成部25以及虚像位置信息获取部26的功能，用软件或固件来实现。如上所述，显示控制装置2中的处理电路可以利用硬件、软件、固件或它们的组合来实现上述功能。
本发明可以在该发明的范围内对各实施方式的任意结构要素进行变形，或省略实施方式的任意的结构要素。
工业上的实用性
本发明所涉及的显示控制装置校正显示物与重叠对象物在左右方向的偏差，因此，适于用于控制搭载在车辆上的HUD等的显示控制装置。
标号说明
1车辆
2显示控制装置
3显示装置
4信息源装置
21眼睛位置信息获取部
22偏航(yawing)信息获取部
23偏离可能性预测部
24偏航变化预测部
25图像生成部
26虚像位置信息获取部
31图像显示部
32反射镜
33反射镜调整部
41车内摄像头
42车外摄像头
43ECU
44GPS接收机
45导航装置
46雷达
47无线通信装置
48车内麦克风
100驾驶员的眼睛
200虚像
201显示物
300挡风玻璃
401假定行驶路径
402显示区域
403重叠对象物
500处理电路
501处理器
502存储器。

Claims (8)

1.一种显示控制装置，
该显示控制装置对将显示物重叠显示于车辆前方的重叠对象物的显示装置进行控制，其特征在于，包括：
偏航信息获取部，该偏航信息获取部获取偏航角或所述偏航角的每单位时间的变化量即偏航率来作为偏航信息，所述偏航角是所述车辆的实际行进方向相对于所述车辆预定行驶的假定行驶路径的角度；
偏离可能性预测部，该偏离可能性预测部使用所述车辆的乘客的视线信息、所述乘客的说话信息、以及交通信息中的至少一个，来预测所述车辆偏离所述假定行驶路径的可能性；
偏航变化预测部，该偏航变化预测部使用由所述偏航信息获取部获取的偏航信息以及由所述偏离可能性预测部预测出的偏离可能性，来判定所述车辆偏离所述假定行驶路径；以及
图像生成部，在由所述偏航变化预测部判定为所述车辆偏离所述假定行驶路径的情况下，该图像生成部进行所述重叠对象物的变更以及变更后的所述重叠对象物与所述显示物的偏差校正。
2.如权利要求1所示的显示控制装置，其特征在于，
所述交通信息是导航装置输出的道路引导信息、与所述车辆正在行驶的车道相关的车道信息、以及与所述车辆的周边存在的障碍物相关的障碍物信息中的至少一个。
3.如权利要求1所示的显示控制装置，其特征在于，
所述偏航变化预测部在由所述偏离可能性预测部预测出的偏离可能性小于预定的基准的情况下，将用于判定是否变更所述重叠对象物的阈值设定为第一阈值，在通过所述偏航信息获取部获取的偏航信息为所述第一阈值以上的情况下，对所述图像生成部指示变更所述重叠对象物或使所述显示物不显示。
4.如权利要求3所示的显示控制装置，其特征在于，
所述偏航变化预测部在由所述偏离可能性预测部预测出的偏离可能性为所述预定的基准以上的情况下，将用于判定是否变更所述重叠对象物的所述阈值设定为比所述第一阈值要小的第二阈值，在由所述偏航信息获取部获取的偏航信息为所述第二阈值以上的情况下，对所述图像生成部指示变更所述重叠对象物或使所述显示物不显示。
5.如权利要求3所示的显示控制装置，其特征在于，
所述偏航变化预测部在由所述偏离可能性预测部预测出的偏离可能性小于所述预定的基准的情况下，并且，由所述偏航信息获取部获取的偏航信息小于所述第一阈值的情况下，对所述图像生成部指示校正所述重叠对象物和所述显示物的偏差。
6.如权利要求4所示的显示控制装置，其特征在于，
所述偏航变化预测部在由所述偏离可能性预测部预测出的偏离可能性为所述预定的基准以上的情况下，并且，由所述偏航信息获取部获取的偏航信息小于所述第二阈值的情况下，对所述图像生成部指示校正所述重叠对象物和所述显示物的偏差。
7.如权利要求4所示的显示控制装置，其特征在于，
所述偏航变化预测部在由所述偏离可能性预测部预测出的偏离可能性为所述预定的基准以上的情况下，对所述图像生成部指示不校正所述重叠对象物和所述显示物的偏差，之后，在变更后的所述重叠对象物与所述显示物接近预定的距离的情况下，指示校正变更后的所述重叠对象物和所述显示物的偏差。
8.一种显示控制方法，
该显示控制方法对将显示物重叠显示于车辆前方的重叠对象物的显示装置进行控制，其特征在于，
偏航信息获取部获取偏航角或所述偏航角的每单位时间的变化量即偏航率来作为偏航信息，所述偏航角是所述车辆的实际行进方向相对于所述车辆预定行驶的假定行驶路径的角度，
偏离可能性预测部使用所述车辆的乘客的视线信息、所述乘客的说话信息、以及交通信息中的至少一个，来预测所述车辆偏离所述假定行驶路径的可能性，
偏航变化预测部使用由所述偏航信息获取部获取的偏航信息以及由所述偏离可能性预测部预测出的偏离可能性，来判定所述车辆偏离所述假定行驶路径，
在由所述偏航变化预测部判定为所述车辆偏离所述假定行驶路径的情况下，图像生成部进行所述重叠对象物的变更以及变更后的所述重叠对象物与所述显示物的偏差校正。
CN201980094889.5A 2019-04-11 2019-04-11 显示控制装置以及显示控制方法 Pending CN113677553A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/015815 WO2020208779A1 (ja) 2019-04-11 2019-04-11 表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
CN113677553A true CN113677553A (zh) 2021-11-19

Family

ID=72751033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980094889.5A Pending CN113677553A (zh) 2019-04-11 2019-04-11 显示控制装置以及显示控制方法

Country Status (5)

Country Link
US (1) US20220146840A1 (zh)
JP (1) JP6873350B2 (zh)
CN (1) CN113677553A (zh)
DE (1) DE112019006964T5 (zh)
WO (1) WO2020208779A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7157780B2 (ja) * 2020-08-27 2022-10-20 本田技研工業株式会社 自動運転車用情報提示装置
JP7487713B2 (ja) 2021-08-16 2024-05-21 トヨタ自動車株式会社 車両用表示制御装置、車両用表示装置、車両用表示制御方法およびプログラム
WO2024018497A1 (ja) * 2022-07-19 2024-01-25 三菱電機株式会社 投影制御装置および投影制御方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170130A1 (en) * 2009-09-28 2012-07-05 Kabushiki Kaisha Toshiba Display device and display method
JP2016037187A (ja) * 2014-08-08 2016-03-22 マツダ株式会社 車両の運転感覚調整装置
JP2017013590A (ja) * 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
US20170038595A1 (en) * 2014-04-16 2017-02-09 Denson Corporation Head-up display device
CN106687327A (zh) * 2014-09-29 2017-05-17 矢崎总业株式会社 车辆显示装置
WO2018070193A1 (ja) * 2016-10-13 2018-04-19 マクセル株式会社 ヘッドアップディスプレイ装置
CN108058713A (zh) * 2016-11-08 2018-05-22 本田技研工业株式会社 信息显示装置、信息显示方法及信息显示程序的记录介质
CN108139224A (zh) * 2015-09-30 2018-06-08 日产自动车株式会社 车辆用显示装置
CN108473055A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置
JP2018140646A (ja) * 2017-02-24 2018-09-13 日本精機株式会社 ヘッドアップディスプレイ装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013136374A1 (ja) * 2012-03-16 2013-09-19 三菱電機株式会社 運転支援装置
JP6601441B2 (ja) 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
JP2018156063A (ja) * 2017-03-15 2018-10-04 株式会社リコー 表示装置及び機器
JP6731644B2 (ja) * 2017-03-31 2020-07-29 パナソニックＩｐマネジメント株式会社 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体
JP6361794B2 (ja) * 2017-07-07 2018-07-25 日本精機株式会社 車両情報投影システム
JP7194906B2 (ja) * 2018-03-30 2022-12-23 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
WO2020208989A1 (ja) * 2019-04-09 2020-10-15 株式会社デンソー 表示制御装置及び表示制御プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170130A1 (en) * 2009-09-28 2012-07-05 Kabushiki Kaisha Toshiba Display device and display method
US20170038595A1 (en) * 2014-04-16 2017-02-09 Denson Corporation Head-up display device
JP2016037187A (ja) * 2014-08-08 2016-03-22 マツダ株式会社 車両の運転感覚調整装置
CN106687327A (zh) * 2014-09-29 2017-05-17 矢崎总业株式会社 车辆显示装置
JP2017013590A (ja) * 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
CN108139224A (zh) * 2015-09-30 2018-06-08 日产自动车株式会社 车辆用显示装置
CN108473055A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置
WO2018070193A1 (ja) * 2016-10-13 2018-04-19 マクセル株式会社 ヘッドアップディスプレイ装置
CN108058713A (zh) * 2016-11-08 2018-05-22 本田技研工业株式会社 信息显示装置、信息显示方法及信息显示程序的记录介质
JP2018140646A (ja) * 2017-02-24 2018-09-13 日本精機株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
WO2020208779A1 (ja) 2020-10-15
DE112019006964T5 (de) 2021-11-18
US20220146840A1 (en) 2022-05-12
JPWO2020208779A1 (ja) 2021-09-13
JP6873350B2 (ja) 2021-05-19

Similar Documents

Publication Publication Date Title
CN111433067B (zh) 平视显示装置及其显示控制方法
CN110573369B (zh) 平视显示器装置及其显示控制方法
JP6138634B2 (ja) ヘッドアップディスプレイ装置
EP3312658B1 (en) Virtual image presentation system and virtual image presentation method
US9946078B2 (en) Head-up display device
JP5723106B2 (ja) 車両用ディスプレイ装置及び車両用ディスプレイ方法
CN110001400B (zh) 车辆用显示装置
JP6695049B2 (ja) 表示装置及び表示制御方法
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
US20210104212A1 (en) Display control device, and nontransitory tangible computer-readable medium therefor
CN109968977B (zh) 显示***
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP6873350B2 (ja) 表示制御装置及び表示制御方法
WO2019224922A1 (ja) ヘッドアップディスプレイ制御装置、ヘッドアップディスプレイシステム、及びヘッドアップディスプレイ制御方法
US20210152812A1 (en) Display control device, display system, and display control method
US11367417B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
CN112470212A (zh) 信息处理设备、信息处理方法、程序和移动体
JP6825433B2 (ja) 虚像表示装置及びコンピュータプログラム
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
JP7450230B2 (ja) 表示システム
JP6196840B2 (ja) ヘッドアップディスプレイ装置
WO2018030320A1 (ja) 車両用表示装置
JP2009005054A (ja) 運転支援装置、運転支援方法及びプログラム
KR20160068488A (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
US11945310B2 (en) Display system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240621