CN116343698A - 一种显示方法、装置及*** - Google Patents
一种显示方法、装置及*** Download PDFInfo
- Publication number
- CN116343698A CN116343698A CN202210324495.8A CN202210324495A CN116343698A CN 116343698 A CN116343698 A CN 116343698A CN 202210324495 A CN202210324495 A CN 202210324495A CN 116343698 A CN116343698 A CN 116343698A
- Authority
- CN
- China
- Prior art keywords
- display
- ambient light
- vehicle
- intensity
- hud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 230000007613 environmental effect Effects 0.000 claims abstract description 40
- 230000000875 corresponding effect Effects 0.000 claims description 205
- 238000003384 imaging method Methods 0.000 claims description 191
- 230000003287 optical effect Effects 0.000 claims description 182
- 230000015654 memory Effects 0.000 claims description 40
- 230000002596 correlated effect Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 22
- 238000012545 processing Methods 0.000 description 77
- 230000006870 function Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 39
- 230000002829 reductive effect Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 16
- 230000003190 augmentative effect Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 239000003550 marker Substances 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000001105 regulatory effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000893313 Helochara delta Species 0.000 description 1
- 108091034117 Oligonucleotide Proteins 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K37/00—Dashboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/142—Adjusting of projection optics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G1/00—Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0196—Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Instrument Panels (AREA)
Abstract
本申请涉及一种显示方法、装置及***,其中,该方法包括:获取车辆对应的环境信息;所述环境信息包括光强信息和/或位置信息;根据所述环境信息,调节所述车辆的显示设备的显示方式;所述显示方式包括:显示亮度、显示位置、显示内容、显示颜色、显示风格、或显示大小中的至少一项;通过本申请,根据环境信息调节显示设备的显示方式,从而使得显示设备的显示方式能够适应当前环境,提高显示效果及驾驶安全性。
Description
本申请要求于2021年12月23日提交中国专利局、申请号为202111593514.9、发明名称为“一种显示方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及智能车技术领域,尤其涉及一种显示方法、装置及***。
背景技术
随着经济的发展,车辆的保有量的迅速增加,车辆技术与计算机技术发生越来越多的融合。智能车辆已经成为车辆发展的新趋势,除了自动驾驶、高精地图等技术,智能座舱的人机交互也成为备受关注的热点技术。
智能座舱中通常可设置有多种显示设备,车辆是安全高敏感场景,保持显示设备良好的显示效果具有重要意义。
发明内容
本申请提出了一种显示方法、装置、***、存储介质及计算机程序产品,以提升显示的稳定性和用户体验。应理解,本申请实施例提供的显示方法可以应用于处理装置,其中,处理装置可以是处理器、处理芯片、显示设备(例如,车载显示屏、抬头显示设备HUD等)、具有处理功能的车载装置以及车。处理器、处理芯片可以位于显示设备或车载装置中,也可以与电子装置或车载装置通过有线或无线的方式进行通信,例如,HUD的处理器、车机的处理器。在实现过程中,处理装置可以是一个或多个处理装置。例如,车机中的处理芯片对数据进行处理,并把关键信息发送给HUD中的处理装置进行待投影图像的产生。上述处理装置可以包括一个处理装置或多个处理装置。在具体实现过程中,可以由一个处理装置处理数据,另一处理装置根据处理的数据获得待投影图像,并生成待投影图像,通过光机投影至挡风玻璃上。或者,还可以由同一个处理器进行数据处理和待投影图像的生成。再例如,车机的处理器将图像进行处理后,在车载显示屏上显示。
第一方面,本申请实施例提供了一种显示方法,所述方法包括:获取车辆对应的环境信息;所述环境信息包括光强信息和/或位置信息;根据所述环境信息,调节所述车辆的显示设备的显示方式;所述显示方式包括:显示亮度、显示位置、显示内容、显示颜色、显示风格、或显示大小中的至少一项。
其中,显示设备可以是车载显示器,例如中控显示屏、娱乐屏等,也可以是抬头显示设备,例如,HUD或AR HUD设备。
通过获取车辆对应的环境信息,并根据环境信息调节显示设备的显示方式,从而使得显示设备的显示方式能够适应当前环境,提高显示效果及驾驶安全性。在车辆的环境信息发生较大变化时,例如,车辆因驶入隧道,或者遇到较大的遮挡时,驾驶员看到的环境光线发生了较大的变化,此时,通过调整显示方式,以保障驾驶员的视线不受影响,保障驾驶安全。例如,在车辆驶入隧道时,调整车辆的显示亮度降低,避免车辆的显示设备过亮而对驾驶安全造成影响。在车辆驶出隧道时,调整车辆的显示亮度升高,以便于驾驶员可以正常看向车载导航等信息,保障车辆的驾驶安全。再例如,在车辆驶入隧道时,调整车辆的显示模式为夜间显示模式,在车辆驶出隧道时,调整车辆的显示模式为日间显示模式,以保障驾驶员的驾驶安全。例如,在车辆驶入隧道时,通过将车辆上的显示图标、信息等移动到离驾驶员视线较远区域或者不显示或者提高显示的透明度或者降低显示的颜色、亮度等,以减少对驾驶员眼睛的影响。还可以在车辆驶出隧道时,恢复图标、信息的显示。
根据第一方面,在所述第一方面的第一种可能的实现方式中,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;所述根据所述环境信息,调节所述车辆的显示设备的显示方式,包括:根据所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置,调节所述车辆的显示设备的显示方式。
作为一个示例,可以获取车辆的位置,确定车辆所处的场景,并可以根据车辆所处的场景,例如隧道、高架下、高速上、平缓的道路上等,调节车辆的显示设备的显示方式。作为另一个示例,可以获取车辆行进方向上环境光被遮挡区域的位置,根据车辆行进方向上环境光被遮挡区域的位置,调节车辆的显示设备的显示方式。作为另一个示例,可以获取车辆的位置及车辆行进方向上环境光被遮挡区域的位置,从而调节车辆的显示设备的显示方式,例如,可以根据自车的位置及隧道的位置,在车辆即将驶入隧道时,调节车辆的显示设备的显示方式。
根据第一方面,在所述第一方面的第二种可能的实现方式中,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;所述根据所述环境信息,调节所述车辆的显示设备的显示方式,包括:根据所述车辆的位置和/或所述环境光被遮挡区域的位置,确定所述车辆与所述环境光被遮挡区域之间的第一距离;根据所述第一距离,调节所述显示设备的显示方式。
基于上述技术方案,在车辆即将驶入环境光被遮挡区域时,根据车辆与环境光被遮挡区域之间的距离,预先调节显示设备的显示方式,有效解决了调节滞后的问题,从而保证车辆驶入环境光被遮挡区域时,显示设备的显示方式可以更好的适应环境光被遮挡区域,不会对驾驶员视线进行干扰,有效降低了驾驶员或乘客感受到的环境光强度变化对视线的影响,提升了用户体验,保证行车安全。
根据第一方面或第一方面的各种可能的实现方式,在所述第一方面的第三种可能的实现方式中,所述显示方式包括第一显示亮度;所述光强信息包括:所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度;所述根据所述环境信息,调节所述车辆的显示设备的显示方式,还包括:根据所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度,调节所述显示设备的第一显示亮度;其中,所述第一显示亮度与所述显示设备的光学元件接收到的环境光的强度正相关、与所述显示设备成像位置对应的环境光的强度正相关。
基于上述技术方案,考虑到入射到显示设备光学元件的环境光,将光学元件反射后沿显示设备的光路进入驾驶员或乘客的人眼,从而影响驾驶员或乘客对显示设备的观感,且显示设备成像位置对应的环境光也会对驾驶员或乘客的视线造成影响,因此,综合考虑多个来源的环境光对驾驶员或乘客对显示设备的观感带来的影响,融合显示设备的光学元件接收到的环境光的强度及显示设备成像区域对应的环境光的强度,从而能够真实还原驾驶员或乘客观察到显示设备成像的真实光强,通过融合后的环境光的强度对显示设备的显示亮度进行自动调节,调节后的显示亮度更符合人眼的真实观感,满足清晰显示的需求,有效解决了仅考虑单一来源的环境光所导致驾驶员或乘客看不清显示设备成像的问题,提高了驾驶安全;且无需驾驶员或乘客手动操作,提升了用户体验,具有较强实用性。
根据第一方面或上述第一方面的各种可能的实现方式,在所述第一方面的第四种可能的实现方式中,所述光强信息还包括所述显示设备至少一个成像区域对应的环境光的强度,所述显示方式包括显示位置;所述根据所述环境信息,调节所述车辆的显示设备的显示方式,还包括:根据所述显示设备至少一个成像区域对应的环境光的强度,确定目标成像区域;根据所述目标成像区域,调节所述显示设备的显示位置。
基于上述技术方案,根据显示设备至少一个成像区域对应的环境光的强度,动态调整显示设备的显示位置,从而保证驾驶员可以看清显示设备所呈现内容,避免成像区域对应的环境光的强度过高或过低等对驾驶员视线造成的影响,大大提升驾驶安全。
根据上述第一方面的各种可能的实现方式,在所述第一方面的第五种可能的实现方式中,所述根据所述第一距离,调节所述显示设备的显示方式,还包括:在所述第一距离小于预设距离的情况下,调节所述显示设备的显示方式。
基于上述技术方案,在车辆与环境光被遮挡区域的距离小于预设距离时,表明车辆即将驶入环境光被遮挡区域,此时,预先调节显示设备的显示方式,以使车辆到达环境光被遮挡区域时显示方式与环境光被遮挡区域相适应,有效避免调节滞后对驾驶员或乘客视线造成影响,大大提高驾驶安全。
根据上述第一方面的各种可能的实现方式,在所述第一方面的第六种可能的实现方式中,所述显示方式包括第二显示亮度;所述根据所述第一距离,调节所述显示设备的显示方式,还包括:根据所述第一距离,调节所述第二显示亮度,其中,所述第二显示亮度与所述第一距离负相关。
基于上述技术方案,在车辆即将驶入环境光被遮挡区域的过程中,根据车辆与环境光被遮挡区域的第一距离,对显示亮度进行加权修正,随着车辆不断接近环境光被遮挡区域,不断调整显示亮度,从而使得显示亮度逐渐降低,平滑过渡,并保证在车辆到达环境光被遮挡区域之前,完成显示亮度调节。
根据上述第一方面的各种可能的实现方式,在所述第一方面的第七种可能的实现方式中,所述显示设备包括抬头显示器(head-up display,HUD),所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;所述获取车辆对应的环境信息,包括:获取所述HUD光机的出光口处接收到的环境光对应的入射角度、所述HUD出射光线对应的出射角度及所述HUD光机的出光口处接收到的环境光的强度;根据所述入射角度、所述出射角度及所述出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述出光口处接收到的环境光的强度正相关,与所述入射角度和所述出射角度的差值负相关。
基于上述技术方案,由于环境光的入射角度及HUD光机的出光口处环境光的强度,会影响到达HUD光机的光学元件的环境光的强度,因此,根据环境光的入射角度与HUD出射光线对应的出射角度的偏差及HUD光机的出光口处接收到的环境光的强度,从而更加精准地确定HUD光机的光学元件接收到的环境光的强度。
根据上述第一方面的各种可能的实现方式,在所述第一方面的第八种可能的实现方式中,所述显示设备包括HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;所述获取车辆对应的环境信息,还包括:确定所述环境光与水平面的第一夹角、所述环境光在水平面的投影与所述车辆的行进方向的第二夹角;确定所述HUD出射光线与水平面的第三夹角、所述HUD出射光线在水平面的投影与所述车辆的行进方向的第四夹角;确定所述第一夹角与所述第三夹角的第一差值,以及所述第二夹角与所述第四夹角的第二差值;根据所述第一差值、第二差值及所述HUD光机的出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述HUD光机的出光口处接收到的环境光的强度正相关、与所述第一差值负相关、与所述第二差值负相关。
基于上述技术方案,由于环境光与水平面的夹角相对于HUD出射光线与水平面的夹角的偏差,环境光在水平面的投影与车辆的行进方向的夹角相对于HUD出射光线在水平面的投影与车辆的行进方向的夹角的偏差,及HUD光机的出光口处的环境光的强度,会影响到达HUD光机的光学元件的环境光的强度,因此,根据环境光与水平面的夹角相对于HUD出射光线与水平面的夹角的偏差,环境光在水平面的投影与车辆的行进方向的夹角相对于HUD出射光线在水平面的投影与车辆的行进方向的夹角的偏差,及HUD光机的出光口处接收到的环境光的强度,从而更加精准地确定HUD光机的光学元件接收到的环境光的强度。
根据上述第一方面的各种可能的实现方式,在所述第一方面的第九种可能的实现方式中,所述获取车辆对应的环境信息,还包括:获取所述车辆前方的图像信息及人眼位置;根据所述图像信息及所述人眼位置,确定所述显示设备至少一个成像区域对应的环境光的强度。
基于上述技术方案,根据车辆前方的图像信息及人眼位置,实现准确地确定显示设备各成像区域对应的环境光的强度。在一些示例中,车辆前方的图像可以包括显示设备至少一个成像区域对应的地面背景,车辆前方的图像信息可以包括车辆前方图像中各像素点的灰度值;成像区域对应的环境光的强度可以包括成像区域对应的灰度值;这样,根据人眼位置可以准确确定各成像区域对应的地面背景,利用车辆前方图像中各像素点的灰度值,得到显示设备中各成像区域对应的灰度值,从而实现准确地确定显示设备各成像区域对应的灰度值。
根据上述第一方面的各种可能的实现方式,在所述第一方面的第十种可能的实现方式中,所述环境光包括直射的太阳光和/或经由反光物体反射的太阳光。
在一些示例中,直射的太阳光和经由反光物体反射的太阳光均可能入射到HUD光机,到达HUD光机中光学元件后,经过光学元件反射,沿该反射光路经光机口投射到风挡玻璃上,最终进入驾驶员人眼,这样,综合考虑多个来源的环境光对驾驶员或乘客对HUD虚像面的观感带来的影响,通过确定HUD光机的光学元件接收到的直射的太阳光的强度以及经由反光物体反射的太阳光的强度,进一步提升调节HUD虚像面显示亮度的效果。
根据上述第一方面的各种可能的实现方式,在所述第一方面的第十一种可能的实现方式中,所述方法还包括:获取所述环境光被遮挡区域对应的标志点与所述环境光被遮挡区域之间的距离,其中,所述标志点设置于所述环境光被遮挡区域外;所述根据所述第一距离,调节所述显示设备的显示方式,包括:根据所述第一距离、所述预设距离及所述标志点与所述环境光被遮挡区域之间距离,调节所述显示设备的显示方式。
基于上述技术方案,根据第一距离、预设距离及标志点与环境光被遮挡区域之间的距离,预先调节显示设备的显示方式,从而可以在车辆驶入环境光被遮挡区域之前即可完成显示方式调节,调节后的显示方式可以更好的适应环境光被遮挡区域,进一步提高驾驶安全性。
第二方面,本申请实施例提供了一种电子装置,包括:获取模块,用于获取车辆对应的环境信息;所述环境信息包括光强信息和/或位置信息;调节模块,用于根据所述环境信息,调节所述车辆的显示设备的显示方式;所述显示方式包括:显示亮度、显示位置、显示内容、显示颜色、显示风格、或显示大小中的至少一项。
基于上述技术方案,获取车辆对应的环境信息,并根据环境信息调节显示设备的显示方式,从而使得显示设备的显示方式能够适应当前环境,提高显示效果及驾驶安全性。
根据第二方面,在所述第二方面的第一种可能的实现方式中,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;所述调节模块,还用于:根据所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置,调节所述车辆的显示设备的显示方式。
根据第二方面,在所述第二方面的第二种可能的实现方式中,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;所述调节模块,还用于:根据所述车辆的位置和/或所述环境光被遮挡区域的位置,确定所述车辆与所述环境光被遮挡区域之间的第一距离;根据所述第一距离,调节所述显示设备的显示方式。
基于上述技术方案,在车辆即将驶入环境光被遮挡区域时,根据车辆与环境光被遮挡区域之间的距离,预先调节显示设备的显示方式,有效解决了调节滞后的问题,从而保证车辆驶入环境光被遮挡区域时,显示设备的显示方式可以更好的适应环境光被遮挡区域,不会对驾驶员视线进行干扰,有效降低了驾驶员或乘客感受到的环境光强度变化对视线的影响,提升用户体验,保证行车安全。
根据第二方面或第二方面的各种可能的实现方式,在所述第二方面的第三种可能的实现方式中,所述显示方式包括第一显示亮度;所述光强信息包括:所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度;所述调节模块,还用于:根据所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度,调节所述显示设备的第一显示亮度;其中,所述第一显示亮度与所述显示设备的光学元件接收到的环境光的强度正相关、与所述显示设备成像位置对应的环境光的强度正相关。
基于上述技术方案,考虑到入射到显示设备光学元件的环境光,将光学元件反射后沿显示设备的光路进入驾驶员或乘客的人眼,从而影响驾驶员或乘客对显示设备的观感,且显示设备成像位置对应的环境光也会对驾驶员或乘客的视线造成影响,因此,综合考虑多个来源的环境光对驾驶员或乘客对显示设备的观感带来的影响,融合显示设备的光学元件接收到的环境光的强度及显示设备成像区域对应的环境光的强度,从而能够真实还原驾驶员或乘客观察到显示设备成像的真实光强,通过融合后的环境光的强度对显示设备的显示亮度进行自动调节,调节后的显示亮度更符合人眼的真实观感,满足清晰显示的需求,有效解决了仅考虑单一来源的环境光所导致驾驶员或乘客看不清显示设备成像的问题,提高了驾驶安全;且无需驾驶员或乘客手动操作,提升了用户体验,具有较强实用性。
根据第二方面或上述第二方面的各种可能的实现方式,在所述第二方面的第四种可能的实现方式中,所述光强信息还包括所述显示设备至少一个成像区域对应的环境光的强度,所述显示方式包括显示位置;所述调节模块,还用于:根据所述显示设备至少一个成像区域对应的环境光的强度,确定目标成像区域;根据所述目标成像区域,调节所述显示设备的显示位置。
基于上述技术方案,根据显示设备至少一个成像区域对应的环境光的强度,动态调整显示设备的显示位置,从而保证驾驶员可以看清显示设备所呈现内容,避免成像区域对应的环境光的强度过高或过低等对驾驶员视线造成的影响,大大提升驾驶安全。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第五种可能的实现方式中,所述调节模块,还用于:在所述第一距离小于预设距离的情况下,调节所述显示设备的显示方式。
基于上述技术方案,在车辆与环境光被遮挡区域的距离小于预设距离时,表明车辆即将驶入环境光被遮挡区域,此时,预先调节显示设备的显示方式,以使车辆到达环境光被遮挡区域时显示方式与环境光被遮挡区域相适应,有效避免调节滞后对驾驶员或乘客视线造成影响,大大提高驾驶安全。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第六种可能的实现方式中,所述显示方式包括第二显示亮度;所述调节模块,还用于:根据所述第一距离,调节所述第二显示亮度,其中,所述第二显示亮度与所述第一距离负相关。
基于上述技术方案,在车辆即将驶入环境光被遮挡区域的过程中,根据车辆与环境光被遮挡区域的第一距离,对显示亮度进行加权修正,随着车辆不断接近环境光被遮挡区域,不断调整显示亮度,从而使得显示亮度逐渐降低,平滑过渡,并保证在车辆到达环境光被遮挡区域之前,完成显示亮度调节。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第七种可能的实现方式中,所述显示设备包括抬头显示器HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;所述获取模块,还用于:获取所述HUD光机的出光口处接收到的环境光对应的入射角度、所述HUD出射光线对应的出射角度及所述HUD光机的出光口处接收到的环境光的强度;根据所述入射角度、所述出射角度及所述出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述出光口处接收到的环境光的强度正相关,与所述入射角度和所述出射角度的差值负相关。
基于上述技术方案,由于环境光的入射角度及HUD光机的出光口处环境光的强度,会影响到达HUD光机的光学元件的环境光的强度,因此,根据环境光的入射角度与HUD出射光线对应的出射角度的偏差及HUD光机的出光口处接收到的环境光的强度,从而更加精准地确定HUD光机的光学元件接收到的环境光的强度。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第八种可能的实现方式中,所述显示设备包括HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;所述获取模块,还用于:确定所述环境光与水平面的第一夹角、所述环境光在水平面的投影与所述车辆的行进方向的第二夹角;确定所述HUD出射光线与水平面的第三夹角、所述HUD出射光线在水平面的投影与所述车辆的行进方向的第四夹角;确定所述第一夹角与所述第三夹角的第一差值,以及所述第二夹角与所述第四夹角的第二差值;根据所述第一差值、第二差值及所述HUD光机的出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述HUD光机的出光口处接收到的环境光的强度正相关、与所述第一差值负相关、与所述第二差值负相关。
基于上述技术方案,由于环境光与水平面的夹角相对于HUD出射光线与水平面的夹角的偏差,环境光在水平面的投影与车辆的行进方向的夹角相对于HUD出射光线在水平面的投影与车辆的行进方向的夹角的偏差,及HUD光机的出光口处的环境光的强度,会影响到达HUD光机的光学元件的环境光的强度,因此,根据环境光与水平面的夹角相对于HUD出射光线与水平面的夹角的偏差,环境光在水平面的投影与车辆的行进方向的夹角相对于HUD出射光线在水平面的投影与车辆的行进方向的夹角的偏差,及HUD光机的出光口处接收到的环境光的强度,从而更加精准地确定HUD光机的光学元件接收到的环境光的强度。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第九种可能的实现方式中,所述获取模块,还用于:获取所述车辆前方的图像信息及人眼位置;根据所述图像信息及所述人眼位置,确定所述显示设备至少一个成像区域对应的环境光的强度。
在一些示例中,车辆前方的图像可以包括显示设备至少一个成像区域对应的地面背景,车辆前方的图像信息可以包括车辆前方图像中各像素点的灰度值;成像区域对应的环境光的强度可以包括成像区域对应的灰度值;这样,根据人眼位置可以准确确定各成像区域对应的地面背景,利用车辆前方图像中各像素点的灰度值,得到显示设备中各成像区域对应的灰度值,从而实现准确地确定显示设备各成像区域对应的环境光的强度。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第十种可能的实现方式中,所述环境光包括直射的太阳光和/或经由反光物体反射的太阳光。
在一些示例中,直射的太阳光和经由反光物体反射的太阳光均可能入射到HUD光机,到达HUD光机中光学元件后,经过光学元件反射,沿该反射光路经光机口投射到风挡玻璃上,最终进入驾驶员人眼,这样,综合考虑多个来源的环境光对驾驶员或乘客对HUD虚像面的观感带来的影响,通过确定HUD光机的光学元件接收到的直射的太阳光的强度以及经由反光物体反射的太阳光的强度,进一步提升调节HUD虚像面显示亮度的效果。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第十一种可能的实现方式中,所述获取模块,还用于:获取所述环境光被遮挡区域对应的标志点与所述环境光被遮挡区域之间的距离,其中,所述标志点设置于所述环境光被遮挡区域外;所述调节模块,还用于:根据所述第一距离、所述预设距离及所述标志点与所述环境光被遮挡区域之间距离,调节所述显示设备的显示方式。
基于上述技术方案,根据第一距离、预设距离及标志点与环境光被遮挡区域之间的距离,预先调节显示设备的显示方式,从而可以在车辆驶入环境光被遮挡区域之前即可完成显示方式调节,调节后的显示方式可以更好的适应环境光被遮挡区域,进一步提高驾驶安全性。
第三方面,本申请实施例提供了一种电子装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令时以实现如第一方面或第一方面中任一可能的实施方式所提供的技术方案。
第四方面,本申请实施例提供的一种电子装置,包括:存储单元,用于存储程序指令;处理单元,用于执行该存储单元中的程序指令,以实现如第一方面或第一方面中任一可能的实施方式所提供的技术方案。
第五方面,本申请实施例提供了一种显示***,包括:显示设备;采集设备,用于采集环境信息;如上述第二方面至第四方面任一方面或者其中任一方面中任一可能的实施方式所提供的电子装置。
作为一个示例,显示***可以是车辆,也可以是车机及显示设备组成的显示***,还可以是具有处理器和显示器的显示设备;例如,显示设备可以为HUD、AR-HUD、显示器等车载部件中具有显示能力的设备,采集设备可以为具有采集或测量功能的传感装置。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储了程序代码,所述程序代码电子装置或电子装置中的处理器执行时实现以实现如第一方面或第一方面中任一可能的实施方式所提供的技术方案。。
第七方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包含的程序代码被电子装置或电子装置中的处理器执行时,以实现如第一方面或第一方面中任一可能的实施方式所提供的技术方案。。
应理解,第二方面至第七方面以及相应任一可能的实施方式所提供的技术方案,对应的技术效果和技术实施细节可参考第一方面所提供的技术方案的技术效果和技术实施细节,此处不再重复赘述。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面,并且用于解释本申请的原理,并不对本申请实施例的范围造成限定。
图1示出根据本申请一实施例的一种车辆座舱内的结构示意图。
图2-图4示出根据本申请一实施例的一种应用场景的示意图。
图5示出根据本申请一实施例的一种显示方法的流程图。
图6示出根据本申请一实施例的调节显示大小的示意图。
图7示出根据本申请一实施例的环境光被遮挡区域的示意图。
图8示出根据本申请一实施例的一种显示方法的流程图。
图9示出根据本申请一实施例的环境光被遮挡区域对应的标志点的示意图。
图10示出根据本申请一实施例的一种显示方法的流程图。图11示出根据本申请一实施例的影响HUD显示亮度的环境光来源的示意图。
图12示出根据本申请一实施例的一种显示方法的流程图。
图13示出根据本申请一实施例的HUD光机出光口处入射角度与出射角度的示意图。
图14示出根据本申请一实施例的直射的太阳光光线及HUD出射光线的示意图。
图15示出根据本申请一实施例的直射的太阳光与地球相对位置关系的示意图。
图16示出根据本申请一实施例的直射的太阳光在水平面的投影与经线EF的夹角示意图
图17示出根据本申请一实施例的经由反光物体反射的太阳光光线及HUD出射光线的示意图。
图18示出根据本申请一实施例的HUD的虚像面中多个成像区域的示意图。
图19示出根据本申请一实施例的车外侧向视角HUD的虚像面所对应的地面背景的示意图。
图20示出根据本申请一实施例的车内前向视角HUD虚像面所对应的地面背景的示意图。
图21示出根据本申请一实施例的一种显示方法的流程图。
图22示出根据本申请一实施例的HUD的虚像面中各成像区域的灰度图。
图23示出根据本申请一实施例的调节HUD虚像面中的显示位置的示意图。
图24示出根据本申请一实施例的一种电子装置的结构图。
图25示出根据本申请一实施例的一种电子装置的结构示意图。
图26示出根据本申请一实施例的一种显示***的结构示意图。
图27为本申请实施例提供的一种汽车座舱内的结构示意图。
图28-图29示出了本申请实施例提供的投影方法的一种应用场景的示意图。
图30示出了本申请实施例提供的一种显示方法的流程图。
图31为AR-HUD光线来源示意图。
图32为本申请实施例提供一种***架构。
图33为各模块间的详细数据流。
图34为本申请实施例提供一种显示方法的流程图。
图35示出了太阳光光线与车辆夹角示意图。
图36是太阳光与地球关系的抽象图。
图37为阳光投影与经线的夹角示意图。
图38为反射光线与车辆夹角示意图。
图39为特殊路段修正流程图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:包括单独存在A,同时存在A和B,以及单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本申请,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本申请同样可以实施。
图1示出根据本申请一实施例的一种车辆座舱内的结构示意图。在车辆座舱内,车机(automobile head unit),也称为车载影音娱乐***,可以设置于车辆的中控区域,其连接的屏幕也可以称为中控显示屏或者中控屏。随着座舱内的数字化显示逐步扩展,在一些车辆中,座舱内设置有多块显示屏,或者一块可以分屏的大屏,用于显示数字仪表盘、车载娱乐***、相关资讯等内容。如图1所示,座舱内设置有多块显示屏,包括数字仪表显示屏101、中控屏102、位于副驾驶乘客前方的娱乐显示屏103,后排乘客面前的娱乐显示屏104和105。为了实现座舱内不同的视觉功能,一般可以在座舱内的不同位置安装多颗独立的摄像头106,例如,在A柱(pillar)、B柱、转向柱、中控区域、内后视镜区域、方向盘区域等位置。此外,座舱内还可以设置有一个或多个具有投影功能的显示设备,例如,HUD、增强现实抬头显示器(areality head-up display,AR-HUD)或其他类型的投影仪,其中,HUD是一种将图像投射到驾驶员或乘客前方视野中的显示设备。HUD可以利用光学反射的原理,将重要的相关资讯以二维图像的方式投影到车辆的前挡风玻璃或独立显示的透明屏幕上,如图1所示,可以投影到挡风玻璃100上面,高度大致与驾驶员或乘客的眼睛成水平,驾驶员或乘客透过挡风玻璃100往前方看的时候,可看到HUD投影的二维图像显示在挡风玻璃100前方的一虚像面上。相比传统仪表和中控屏幕,驾驶员或乘客在观察HUD图像时,无需低头,避免了在图像和路面之间来回切换,减小了危机反应时间,提高了驾驶安全性。此外,AR-HUD可以将HUD的显示图像与真实路面信息融合起来,增强驾驶员或乘客对路面信息的获取,实现虚拟显示(areality,AR)导航、AR预警等功能。图2-图4示出根据本申请一实施例的一种应用场景的示意图,参照图2-图4,本实施例的应用场景可以涉及一种车辆,该车辆1具有采集设备10、显示设备20、显示设备30。
示例性地,采集设备10可以包括车外采集设备和车内采集设备,其中,车外采集设备可以是具有采集或测量功能的传感装置,例如可以采用激光雷达、红外传感器、亮度传感器、车载摄像头、数字视频录像机(Digital Video Recorder,DVR)、或其他具有图像采集或光学扫描或光线强度检测功能的一个设备或多个组合设备;车外采集设备可以设置在车辆1的顶部、头部或车辆座舱的后视镜的朝向车外的一侧,可以安装在车辆的内部,也可以安装在车辆的外部。车外采集设备主要用于对车辆1前方的环境信息进行检测和采集,车辆1前方的环境可以包括前方路面、前方车辆、障碍物、道路指示(如隧道、天桥、高架等指示)、环境光线等相关信息中的一种或多种,例如,可以通过激光雷达检测车辆1前方的环境的位置信息,还可以通过亮度传感器采集车辆1前方环境的光强信息;还可以通过车载摄像头或DVR采集车辆1前方的环境的图像信息。其中,车内采集设备具体可以采用车载摄像头、人眼检测仪等设备,车内采集设备在具体实现过程中,可以按照需求设置安装位置,例如,可以设置在车辆座舱的A柱、B柱或车辆座舱的后视镜的朝向驾驶员或乘客的一侧,还可以设置在方向盘、中控台附近区域,还可以设置在座椅后方显示屏上方等位置。其主要用于对车辆座舱的驾驶员或乘客的人眼位置信息进行检测和采集;车内采集设备可以是一台,也可以是多台,本申请实施例对其安装位置、数量、类型等不做限定。
示例性地,显示设备20可以为HUD、AR-HUD或其他具有投影功能的设备,可以安装于车辆座舱的中控台上方或中控台内部,其通常可以包括投影仪、反射镜、投影镜、调节电机及控制单元中的一种或多种,所述控制单元为电子设备,具体可以为中央处理器(Central Processing Unit,CPU)、微处理器(Microcontroller Unit,MCU)等常规的芯片处理器,也可以为手机、平板等终端硬件。该控制单元可以与采集设备10通信连接,该控制单元内可以预设有成像模型或通过获取车辆其他器件内预设的成像模型,该成像模型的参数与车内采集设备采集的人眼位置信息具有关联关系,能够根据人眼位置信息进行参数校准,然后根据车外采集设备采集的环境信息,生成投影图像,并在投影仪输出。如图3所示,投影的图像中可以包括根据环境信息生成的增强现实显示图像,还可以包括车速、导航等图像。也可以是一些提示信息、车辆的状态信息等,例如,电量等。
示例性地,成像设备30可以为车辆的前挡风玻璃或独立显示的透明屏幕,用于反射所述显示设备20发出的图像光线后进入到驾驶员或乘客的眼中,使驾驶员或乘客透过该成像设备30望向车外时,能够看到具有景深效果的虚拟图像,并与现实世界的环境产生重合,向驾驶员或乘客呈现增强现实的显示效果。
示例性地,采集设备10、显示设备20以及其他设备可以分别通过有线通信或无线通信(如蓝牙、wifi)等方式进行数据的通信,例如,采集设备10在采集到环境信息后,可以通过蓝牙通信将该环境信息传输给显示设备20。再例如,显示设备20可以通过蓝牙通信,将控制信令发送给采集设备10,并调整采集设备10的采集参数,如拍摄角度等。应理解的是,数据的处理可以在显示设备20中完成,也可以在采集设备10中完成,还可以在其他处理设备中完成,例如车机、车载电脑等设备。
通过上述结构,如图4所示,车辆能够实现基于现实世界的环境信息的增强现实显示效果,并且能够根据驾驶员或乘客的人眼位置信息调整生成的投影图像,以使投影显示的增强现实显示图像尽量与现实世界的环境信息重合,提高驾驶员或乘客的沉浸式观看体验。
本申请提供了一种显示方法(详细描述参见下文),本申请实施例的显示方法能够获取车辆对应的环境信息,并根据环境信息调节显示设备的显示方式;该方法可以由一个或多个装置执行,从而使得显示设备的显示方式能够适应当前环境,提高显示效果及驾驶安全性。
本申请实施例不限定执行显示方法的装置类型。示例性地,执行显示方法的装置可以为上述车辆1,或者,车辆1中的其他具有数据处理功能的部件,例如:车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载传感器,车辆1可通过该车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载传感器等执行显示方法。示例性地,执行显示方法的装置还可以为除了车辆1之外的其他具有数据处理能力的智能终端,或设置在智能终端中的部件或者芯片;其中,智能终端可以是一个通用设备或者是一个专用设备;在具体实现中,智能终端可以包括台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant,PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备或其他具有数据处理功能的设备。示例性地,执行显示方法的装置还可以是具有处理功能的芯片或处理器,执行显示方法的装置可以包括多个处理器。处理器可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。
作为一个示例,执行显示方法的装置可以包括显示设备、处理装置或控制装置中的一个或多个;示例性地,处理装置和控制装置可以是处理器、控制器等装置。显示设备、处理装置和控制装置可以分开设置,也可以集成在同一设备中。其中,显示设备可以是HUD、AR-HUD、显示器等车载部件中具有显示能力的设备,例如,显示设备可以为上述图3中显示设备20;处理装置可以用于获取环境信息进行处理,例如,处理装置可以为上述图3中显示设备20或采集设备10,还可以为车机、车载电脑等设备;控制装置还可以用于控制显示设备的显示方式,例如,控制装置可以为上述图3中显示设备20。
需要说明的是,本申请实施例描述的上述应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,针对其他相似的或新的显示场景的出现;本申请实施例提供的技术方案对于类似的技术问题,同样适用。
下面对本申请实施例提供的显示方法进行详细说明。
图5示出了根据本申请一实施例的一种显示方法的流程图,如图5所示,可以包括以下步骤:
步骤501、获取车辆对应的环境信息;其中,环境信息可以包括光强信息和/或位置信息。
作为一个示例,光强信息可以包括显示设备的显示亮度、显示设备成像区域对应的环境光的强度、显示设备的光学元件接收到的环境光的强度、显示设备成像位置对应的环境光的强度等中的一个或多个;例如,显示设备可以为HUD,光强信息可以包括HUD光机的出射光线的强度、HUD光机的光学元件接收到的环境光的强度、HUD的虚像面对应的环境光的强度中的一个或多个。作为另一个示例,光强信息可以包括显示设备至少一个成像区域对应的环境光的强度;例如,可以包括HUD虚像面中各成像区域对应的环境光的强度。示例性地,光强信息可以为由亮度传感器直接采集到的信息,也可以是经过亮度传感器或其他装置处理的信息。
示例性地,显示设备可以为车载显示屏,例如,可以为上述图1中数字仪表显示屏101、中控屏102、显示屏103、显示屏104或显示屏105;显示设备还可以为HUD、AR-HUD或其他具有投影功能的设备,例如,可以为上述图3中显示设备20。显示设备还可以为车辆氛围灯,例如,可以为设置在车辆的方向盘、中控、脚灯、杯架、车顶、迎宾灯、迎宾踏板、车门、后备箱或车灯等位置的氛围灯。
示例性地,环境光可以包括直射的太阳光和/或经由反光物体反射的太阳光;其中,反光物体可以包括地面、安装有玻璃墙面的建筑物等。
作为一个示例,位置信息可以包括车辆的位置及车辆前方环境的位置;示例性地,车辆的位置可以包括车辆的定位位置,例如,全球定位***(Global Positioning System,GPS)、经纬度信息等,车辆的位置还可以包括当前车辆所处的场景,例如隧道、高架下、高速上、平缓的道路上等;示例性地,车辆前方环境的位置可以包括车辆行进方向上环境光被遮挡区域的位置、环境光被遮挡区域对应标志点的位置、反光物体的位置等等中的一种或多种,例如,环境光被遮挡区域可以包括天桥、隧道或高架等中的一种或多种,可以获取导航地图中所标记的或者车载传感器实时感知的车辆前方一定范围内天桥、隧道、高架等环境光被遮挡区域的位置或环境光被遮挡区域对应标志点的位置,以及车辆前方一定范围内安装有玻璃墙面的建筑物的位置。
示例性地,在一些场景中还可以获取时间信息,其中,时间信息可以包括当前的时间点、当前季节、目的地的预估到达时间、环境光被遮挡区域的预估到达时间、环境光被遮挡区域对应标志点的预估到达时间等中的一个或多个。
步骤502、根据环境信息,调节车辆的显示设备的显示方式;其中,显示方式可以包括:显示亮度、显示位置、显示内容、显示颜色、显示风格、或显示大小中的至少一项。
作为一个示例,可以根据环境信息,调节显示设备的显示亮度;示例性地,在车辆行驶的过程中,在环境光的强度发生突变或者预测即将发生突变的情况下,可以调整车辆的显示亮度;例如,通过车辆的位置及隧道的位置,或者,隧道预估到达时间,判定车辆将驶入隧道时,可以相应的预先调低显示设备的显示亮度,以使显示亮度适应隧道内较暗光线。示例性地,在确定出太阳光照射影响了驾驶员或乘客观感,驾驶员或乘客看不清前方路面,或者看到光斑等场景下,对显示设备的显示亮度进行调整,例如,在显示设备的光学元件接收到的太阳光的强度及显示设备成像位置对应的太阳光的强度均较高时,可以将显示设备的显示亮度调高。
作为另一个示例,可以根据环境信息,调节显示设备的显示位置,示例性地,可以根据显示设备多个成像区域对应的环境光的强度,将显示设备的显示位置由环境光的强度过强或过低的成像区域,调节为环境光的强度不会对驾驶员或乘客视线带来干扰的成像区域。例如,在当前显示位置存在较强的太阳光照射时,根据各成像区域对应的太阳光的强度,可以将显示位置调整为受太阳光照射较小的成像区域。
作为另一个示例,可以根据环境信息,调节显示设备的显示内容;示例性地,显示内容可以包括仪表、路况信息(如行人、车辆、障碍物等信息)、道路信息(如,限速信息、信号灯状态信息等)、导航信息、娱乐信息或提示信息等等中的一种或多种。例如,车辆在环境光强度较高的路段行驶,光线好,可以将显示内容调节为更加丰富;而在车辆进入隧道等环境光强度较低的路段后,光线较暗,驾驶员需要更加集中精力驾驶,可以将显示内容调节为更少,以避免驾驶员分神,保证行车安全,或者可以将显示内容调节为提示信息,以提示驾驶员小心驾驶。
作为另一个示例,可以根据环境信息,调节显示设备的显示颜色,例如,在车辆即将驶入隧道时,可以预先调节车内氛围灯的颜色,例如,可以将氛围灯颜色调整为更加暗淡的颜色。
作为另一个示例,可以根据环境信息,调节显示设备的显示风格;示例性地,显示风格可以包括简约风格、丰富风格等等中的一种或多种,其中,简约风格对应的显示内容、显示图标等相对更少、更加简洁,在环境光的强度较低的路段行驶时,可以将显示风格调节为简约风格。
作为另一个示例,可以根据环境信息,调节显示设备的显示大小;示例性地,显示大小可以包括显示设备所显示的图像、图标、文字等中一种或多种的大小;例如,在车辆驶入隧道时,光线变暗,可以将所显示的图像、图标、文字等调小,以减少对驾驶员视线的遮挡。例如,图6示出根据本申请一实施例的调节显示大小的示意图,如图6所示,在车辆驶入隧道前,显示器所显示的图像、图标、文字等如图6(a)所示,在车辆驶入隧道时,将显示器所显示的图像、图标、文字等调小,如图6(b)所示,从而减少对驾驶员视线的影响;示例性地,在车辆驶驶出隧道时,可以将显示器所显示的图像、图标、文字调整为原大小,例如,可以从图6(b)所示的图像、图标、文字的大小调整为图6(a)所示的图像、图标、文字的大小。
本申请实施例中,获取车辆对应的环境信息,并根据环境信息调节显示设备的显示方式,从而使得显示设备的显示方式能够适应当前环境,有效减少了驾驶员或乘客感受到的环境信息变化对观感的影响,提高显示效果及驾驶安全性。
下面以位置信息包括车辆的位置和/或车辆行进方向上环境光被遮挡区域的位置为例,对本申请实施例提供的显示方法进行示例性说明。
在车辆行驶过程中,从环境光未遮挡区域驶入环境光遮挡区域时,环境光的强度会发生突变,在环境光未遮挡区域的显示设备的显示方式不能很好的适应环境光遮挡区域,需要进行调节;例如,以显示设备为HUD为例,图7示出根据本申请一实施例的环境光被遮挡区域的示意图,如图7所示,车辆在白天驶入隧道时,光线会发生突变,相对于隧道外的环境光,隧道中的环境光的强度突然降低,需要对HUD的显示亮度进行调节;由于车速通常较快,HUD的虚像面与车头的距离一般在10米以内,从检测到虚像面附近光强变弱到HUD干扰驾驶员视线之间的时间非常短,若通过驾驶员或乘客手动或者在检测到虚像面附近光强变弱时调节HUD虚像面的亮度,则无法保证在车辆进入隧道之前完成HUD显示亮度调节,调节滞后导致车辆进入隧道之后,较亮的虚像面遮挡驾驶员视线,增加了驾驶的危险性。
图8示出根据本申请一实施例的一种显示方法的流程图,该显示方法可以应用于处理装置,其中,处理装置可以是处理器、处理芯片、显示设备、具有处理功能的车载装置以及车。处理器、处理芯片可以位于显示设备或车载装置中,也可以与显示设备或车载装置通过有线或无线的方式进行通信,例如,HUD的处理器、车机的处理器。如图8所示,可以包括以下步骤:
步骤701、获取车辆的位置和/或车辆行进方向上环境光被遮挡区域的位置。
示例性地,可以获取车载定位***中车辆的位置及姿态等数据。其中,车载定位***可以包括全球定位***、北斗***或者其他定位***、惯性测量单元(inertialmeasurement unit,IMU)等等中的一项或多项。
其中,车辆行进方向上环境光被遮挡区域可以包括车辆行驶方向上,车辆即将驶入的环境光被遮挡区域;示例性地,环境光被遮挡区域可以包括隧道、天桥、高架等遮挡环境光的区域的一种或多种,如图7中隧道。示例性地,可以基于车辆的位置及导航地图,如高精地图、标精地图;或者基于预估到达时间,对未来即将通过的道路或路况环境等进行预测,预先确定环境光被遮挡区域的位置;例如,在车辆前方存在隧道时,可以通过车辆位置及导航地图获取前方隧道入口的位置。示例性地,还可以通过车载图像采集设备,获取车辆前方的图像,从而确定环境光被遮挡区域;例如,可以通过安装在车辆前方的摄像头,拍摄道路指示牌,进而利用现有的神经网络等图像识别算法,识别出道路指示牌所指示的隧道标识及隧道入口的位置。
步骤702、根据车辆的位置和/或车辆行进方向上环境光被遮挡区域的位置,确定车辆与环境光被遮挡区域之间的第一距离。
可以理解的是,随着车辆向前行驶,车辆与环境光被遮挡区域之间的第一距离不断变化,示例性地,在车辆行驶过程中,在车辆即将驶入环境光被遮挡区域时,可以周期性获取车辆的位置及环境光被遮挡区域的位置,进而周期性确定车辆与环境光被遮挡区域之间的第一距离。
示例性地,可以周期性获取来自定位数据及导航数据,该导航数据可以包括环境光被遮挡区域的位置,从而周期性确定车辆与环境光被遮挡区域之间的第一距离,为了避免定位数据及导航数据的帧数通常较低,所导致的确定第一距离的频率较低,可以对第一距离进行插帧处理,例如,可以获取IMU实时采集的车辆的加速度(如线性加速度和角加速度)以及车辆的当前速度,进而利用车辆的加速度对第一距离进行插帧,从而实现以较高频率(60hz以上)确定第一距离,满足实时性要求。示例性地,可以在第一距离小于预设距离的情况下,对第一距离进行插帧。
例如,假设在当前时刻t,基于导航数据所确定的车辆与环境光被遮挡区域之间的距离为St,则经过IMU数据补偿得到的t+1时刻车辆与被遮挡区域之间的距离St+1为:
其中,a是t时刻车辆的加速度,vt为t时刻车辆的速度。
步骤703、根据第一距离,调节显示设备的显示方式。
本申请实施例中,在车辆即将驶入环境光被遮挡区域时,根据车辆与环境光被遮挡区域之间的距离,预先调节显示设备的显示方式,有效解决了调节滞后的问题,从而保证车辆驶入环境光被遮挡区域时,显示设备的显示方式可以更好的适应环境光被遮挡区域,不会对驾驶员视线进行干扰,有效降低了驾驶员或乘客感受到的环境光强度变化对视线的影响,提升用户体验,保证行车安全。
在一种可能的实现方式中,在第一距离小于预设距离的情况下,调节显示设备的显示方式。其中,预设距离可以根据需求预设设定,对此不作限定。这样,在车辆与环境光被遮挡区域的距离小于预设距离时,表明车辆即将驶入环境光被遮挡区域,此时,预先调节显示设备的显示方式,以使车辆到达环境光被遮挡区域时显示方式与环境光被遮挡区域相适应,有效避免调节滞后对驾驶员或乘客视线造成影响,大大提高驾驶安全。
在一种可能的实现方式中,可以获取环境光被遮挡区域对应的标志点与环境光被遮挡区域之间的距离,进而可以根据第一距离、预设距离及标志点与环境光被遮挡区域之间距离,调节显示设备的显示方式。其中,标志点设置于环境光被遮挡区域外;图9示出根据本申请一实施例的环境光被遮挡区域对应的标志点的示意图,如图9所示,标志点可以预先设置在车辆驶入环境光被遮挡区域前,与环境光被遮挡区域相距一定距离的位置。示例性地,可以计算第一距离和标志点与环境光被遮挡区域之间距离的第一差值,以及预设距离和标志点与环境光被遮挡区域之间距离的第二差值,进而根据第一差值与第二差值的比值,调节显示设备的显示方式;其中,该比值越大,则相应的显示方式越适用于环境光被遮挡区域;这样,根据第一距离、预设距离及标志点与环境光被遮挡区域之间的距离,预先调节显示设备的显示方式,从而可以在车辆驶入环境光被遮挡区域之前即可完成显示方式调节,调节后的显示方式可以更好的适应环境光被遮挡区域,进一步提高驾驶安全性。
其中,该步骤中调节显示方式的可选方式可参照上述步骤502中相关表述。作为一个示例,可以根据第一距离,调节显示设备的显示亮度;示例性地,可以根据第一距离、预设距离及标志点与环境光被遮挡区域之间距离,调节显示设备的显示亮度。其中,显示设备的显示亮度与第一距离负相关。即车辆与环境光被遮挡区域之间的距离越小,则显示亮度越低,这样,在车辆即将驶入环境光被遮挡区域的过程中,根据车辆与环境光被遮挡区域的第一距离,对显示亮度进行加权修正,随着车辆不断接近环境光被遮挡区域,不断调整显示亮度,从而使得显示亮度逐渐降低,平滑过渡,并保证在车辆到达环境光被遮挡区域之前,完成显示亮度调节。
举例来说,以显示设备为HUD为例,可以根据车辆与环境光被遮挡区域之间的距离,通过下述公式(2)调节HUD虚像面的显示亮度:
L=LN+(LM-Lw)*qt…………………………(2)
其中,L表示时刻t对应的HUD的显示亮度;LN表示标志点对应的HUD的目标显示亮度,LN的数值可以根据需求进行设定;LM表示HUD的调节前的亮度,例如,可以为车辆与环境光被遮挡区域之间相距预设距离时HUD的亮度;qt表示时刻t车辆与环境光被遮挡区域之间的距离St对应的权重因子。
示例性地,权重因子qt可以如下述公式(3)所示:
其中,SM表示预设距离,即调节开始时车辆与环境光被遮挡区域之间的距离;SN表示标志点与被遮挡区域的距离,即调节完成时车辆与环境光被遮挡区域之间的距离;St表示当前时刻t车辆与环境光被遮挡区域之间的距离。
由上述公式(2)及(3)可知,当车辆与环境光被遮挡区域相距SM时,即St=SM时,对应的权重因子qt为1,相应的L=LM,即HUD的显示亮度L维持HUD的原有亮度;车辆继续向环境光被遮挡区域行驶,车辆与环境光被遮挡区域之间的距离逐渐缩小,即St逐渐减小,对应的权重因子qt不断减小,相应的HUD的显示亮度L逐渐调低;直到车辆与环境光被遮挡区域相距SN时,即St=SN时,对应的权重因子qt为0时,相应的L=LN,即HUD的显示亮度L调整为标志点对应的HUD的亮度,从而完成显示亮度预先调节,这样,在车辆与环境光被遮挡区域距离SN处时,即车辆到达标志点时,已经完成显示亮度的预先调节,从而保证车辆驶入环境光被遮挡区域时,HUD显示亮度不会对驾驶员视线进行遮挡,保证行车安全。
下面以位置信息包括:车辆的位置或所述车辆行进方向上环境光被遮挡区域的位置为例,对本申请实施例提供的显示方法进行示例性说明。图10示出根据本申请一实施例的一种显示方法的流程图,如图10所示,包括:
步骤901、获取车辆的位置和/或车辆行进方向上环境光被遮挡区域的位置。
其中,车辆的位置及环境光被遮挡区域的位置的具体说明可参照上述步骤701,在此不再赘述。
步骤902、根据车辆的位置和/或车辆行进方向上环境光被遮挡区域的位置,调节所述车辆的显示设备的显示方式。
这样,在车辆的环境信息发生较大变化时,例如,车辆因驶入隧道,或者遇到较大的遮挡时,驾驶员看到的环境光线发生了较大的变化,此时,可以通过调整显示方式,以保障驾驶员的视线不受影响,保障驾驶安全。
作为一个示例,可以获取车辆的位置,确定车辆所处的场景,并可以根据车辆所处的场景,例如隧道、高架下、高速上、平缓的道路上等,调节车辆的显示设备的显示方式。例如,在车辆在隧道内行驶时,光线较暗,可以将车辆的显示器的显示亮度降低,避免车辆的显示设备过亮而对驾驶安全造成影响。车辆在高速上行驶时,视线开阔,外部光线充足,可以将车辆的显示器的显示亮度提高,以便驾驶员可以更清楚的查看显示器所显示的车载导航等信息,保障车辆的驾驶安全。
作为另一个示例,可以获取车辆行进方向上环境光被遮挡区域的位置,根据车辆行进方向上环境光被遮挡区域的位置,调节车辆的显示设备的显示方式;例如,在车辆行进方向上存在隧道时,驾驶员看到的环境光线发生了较大的变化,此时,通过调整显示方式,以保障驾驶员的视线不受影响,保障驾驶安全。例如,在车辆驶入隧道时,调整车辆的显示亮度降低,避免车辆的显示设备过亮而对驾驶安全造成影响。在车辆驶出隧道时,调整车辆的显示亮度升高,以便于驾驶员可以正常看向车载导航等信息,保障车辆的驾驶安全。再例如,在车辆驶入隧道时,调整车辆的显示模式为夜间显示模式,在车辆驶出隧道时,调整车辆的显示模式为日间显示模式,以保障驾驶员的驾驶安全。例如,在车辆驶入隧道时,通过将车辆上的显示图标、信息等移动到离驾驶员视线较远区域或者不显示或者提高显示的透明度或者降低显示的颜色、亮度等,以减少对驾驶员眼睛的影响。还可以在车辆驶出隧道时,恢复图标、信息的显示。
作为另一个示例,可以获取车辆的位置及车辆行进方向上环境光被遮挡区域的位置,从而调节车辆的显示设备的显示方式,例如,可以根据自车的位置及车辆行进方向上隧道的位置,在车辆即将驶入隧道时,调节车辆的显示设备的显示方式。例如,可以将车辆的显示器的显示亮度降低,从而避免车辆的显示设备过亮而对驾驶安全造成影响。
下面以显示方式包括显示亮度;光强信息包括:显示设备的光学元件接收到的环境光的强度和/或显示设备成像位置对应的环境光的强度为例,对本申请实施例提供的显示方法进行示例性说明。
在车辆行驶过程中,环境光的强度不断变化,环境光强度的变化会影响到驾驶员或乘客对显示设备的观感及驾驶安全,为了保证驾驶的安全性,需要对显示设备的显示亮度进行适应性调节。影响到驾驶员或乘客对显示设备的观感的环境光来源广泛,例如,以显示设备为HUD为例,图11示出根据本申请一实施例的影响HUD显示亮度的环境光来源的示意图;如图11所示,驾驶员在观看HUD虚像面时,HUD虚像面对应的路面所反射的环境光会进入驾驶员人眼,会对驾驶员对HUD虚像面的观感带来影响,可能会造成看不清HUD虚像面的情况;此外,由于HUD光机工作原理是通过多个反射镜构成反射光路将出射光线经光机口投射到风挡玻璃上,再由风挡玻璃反射进入人眼,如果环境光沿该反射光路进入光机,环境光到达上述反射镜后,经过反射镜反射,会沿该反射光路经光机口投射到风挡玻璃上,进而由风挡玻璃反射进入人眼,同样会对驾驶员对HUD虚像面的观感带来影响,造成看不清HUD虚像面的情况。相关技术中,仅考虑HUD虚像面附近的环境光对驾驶员对HUD虚像面的观感的影响,依据HUD虚像面附近的环境光的强度进行HUD虚像面的显示亮度调节,单一来源的环境光的强度可能会与驾驶员观察到的HUD虚像面的光强存在偏差,调节后的显示亮度可能没有达到清晰的显示需求,驾驶员需要手动对显示亮度进行调节,操作繁琐,且增加了驾驶危险性。
图12示出根据本申请一实施例的一种显示方法的流程图,如图12所示,可以包括以下步骤:
步骤1001、获取车辆的显示设备的光学元件接收到的环境光的强度和/或显示设备成像位置对应的环境光的强度。
在一种可能的实现方式中,可以在车辆与环境光遮挡区域之间的第一距离大于或等于预设距离的情况下,获取车辆的显示设备的光学元件接收到的环境光的强度和/或显示设备成像位置对应的环境光的强度;示例性地,可以获取亮度传感器所采集的显示设备的光学元件接收到的环境光的强度和/或显示设备成像位置对应的环境光的强度。
示例性地,可以获取显示设备成像位置对应的环境光的强度Ed;或者,可以获取显示设备的光学元件接收到的环境光的强度Es;或者,可以获取显示设备成像位置对应的环境光的强度和显示设备的光学元件接收到的环境光的强度,即获取融合光强E,其中,E=Ed+Es。
举例来说,以显示设备为HUD为例,可以获取HUD的光学元件接收到的环境光的强度和HUD虚像面所在位置对应的环境光的强度,进而可以得到融合后的光强。示例性地,可以获取安装在车辆前方的亮度传感器采集的HUD虚像面处的环境光的强度;还可以通过下述示例性方式确定HUD光机的光学元件接收到的环境光的强度。
方式一,可以获取HUD光机的出光口处接收到的环境光对应的入射角度、HUD出射光线对应的出射角度及HUD光机的出光口处接收到的环境光的强度;根据入射角度、出射角度及出光口处接收到的环境光的强度,确定HUD光机的光学元件接收到的环境光的强度;其中,HUD光机的光学元件接收到的环境光的强度与出光口处接收到的环境光的强度正相关,与入射角度和出射角度的差值负相关。
由于环境光的入射角度及HUD光机的出光口处环境光的强度,会影响到达HUD光机的光学元件的环境光的强度,因此,根据环境光的入射角度与HUD出射光线对应的出射角度的偏差及HUD光机的出光口处接收到的环境光的强度,从而更加精准地确定HUD光机的光学元件接收到的环境光的强度。
示例性地,可以获取安装于HUD光机的出光口处的光线角度传感器所采集环境光的入射角度,及HUD出射光线对应的出射角度;此外,HUD出射光线对应的出射角度也可以预先标定。示例性地,可以获取亮度传感器采集HUD光机的出光口处接收到的环境光的强度。
图13示出根据本申请一实施例的HUD光机出光口处入射角度与出射角度的示意图,如图13所示,θ1为HUD光机的出光口处接收到的环境光对应的入射角度,θ2为HUD出射光线对应的出射角度,其中,入射角度θ1与出射角度θ2的差值越小,则表明射入HUD光机的环境光与HUD出射光线越接***行,相应的,在HUD光机的出光口处接收到的环境光的强度不变的情况下,HUD光机的光学元件接收到的环境光的强度越高;反之,入射角度θ1与出射角度θ2的差值越大,HUD光机的光学元件接收到的环境光的强度越低;此外,在入射角度θ1与出射角度θ2的差值不变的情况下,HUD光机的出光口处接收到的环境光的强度越高,则HUD光机的光学元件接收到的环境光的强度越高。
示例性地,环境光可以包括直射的太阳光和经由反光物体反射的太阳光。如上述图11所示,直射的太阳光和经由车辆附近的高反光建筑反射的太阳光均可能入射到HUD光机,到达HUD光机中光学元件后,经过光学元件反射,沿该反射光路经光机口投射到风挡玻璃上,最终进入驾驶员人眼,这样,综合考虑多个来源的环境光对驾驶员或乘客对HUD虚像面的观感带来的影响,通过确定HUD光机的光学元件接收到的直射的太阳光的强度以及经由反光物体反射的太阳光的强度,进一步提升调节HUD虚像面显示亮度的效果。
方式二、确定环境光与水平面的第一夹角、环境光在水平面的投影与车辆的行进方向的第二夹角;确定HUD出射光线与水平面的第三夹角、HUD出射光线在水平面的投影与车辆的行进方向的第四夹角;确定第一夹角与第三夹角的第一差值,以及第二夹角与第四夹角的第二差值;根据第一差值、第二差值及HUD光机的出光口处接收到的环境光的强度,确定HUD光机的光学元件接收到的环境光的强度;其中,HUD光机的光学元件接收到的环境光的强度与HUD光机的出光口处接收到的环境光的强度正相关、与第一差值负相关、与第二差值负相关。
由于环境光与水平面的夹角相对于HUD出射光线与水平面的夹角的偏差,环境光在水平面的投影与车辆的行进方向的夹角相对于HUD出射光线在水平面的投影与车辆的行进方向的夹角的偏差,及HUD光机的出光口处的环境光的强度,会影响到达HUD光机的光学元件的环境光的强度,因此,根据环境光与水平面的夹角相对于HUD出射光线与水平面的夹角的偏差,环境光在水平面的投影与车辆的行进方向的夹角相对于HUD出射光线在水平面的投影与车辆的行进方向的夹角的偏差,及HUD光机的出光口处接收到的环境光的强度,从而更加精准地确定HUD光机的光学元件接收到的环境光的强度。
示例性地,可以获取车载定位***采集的车辆姿态数据,从而确定车辆的行进方向;可以获取亮度传感器采集HUD光机的出光口处接收到的环境光的强度。
作为一个示例,以环境光为直射的太阳光为例,图14示出根据本申请一实施例的直射的太阳光光线及HUD出射光线的示意图,如图14所示,为驾驶员在车内的前向视角,其中,θs为直射的太阳光与水平面的夹角,即当前时刻的太阳高度角,θs′为当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角,θh为HUD出射光线与水平面的夹角θh,θh′为HUD出射光线在水平面的投影与车辆的行进方向的夹角。可以理解的是,在θs′与θh′的差值及HUD光机的出光口处接收到的直射的太阳光的强度不变的情况下,θs与θh的差值越小,则表明直射进入HUD光机的太阳光与HUD出射光线越接***行,相应的,HUD光机的光学元件接收到直射的太阳光的强度越高;反之,θs与θh的差值越大,则HUD光机的光学元件接收到的直射的太阳光的强度越低;同理,在θs与θh的差值及HUD光机的出光口处接收到的直射的太阳光的强度不变的情况下,HUD光机的光学元件接收到的直射的太阳光的强度随着θs′与θh′的差值的减小而增强;此外,在θs与θh的差值及θs′与θh′的差值均不变的情况下,HUD光机的出光口处接收到的直射的太阳光的强度越高,则HUD光机的光学元件接收到的直射的太阳光的强度越高。
示例性地,可以通过下述公式(4)计算HUD光机的光学元件接收到的直射的太阳光的强度E1′:
其中,k和w分别代表水平、垂直的两个维度各自的光线收缩强度,示例性地,k与w均可以为1;E1为HUD光机的出光口处接收到的直射的太阳光的强度;θs为当前时刻的太阳高度角,θs′为当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角;θh为HUD出射光线与水平面的夹角,θh′为HUD出射光线在水平面的投影与车辆的行进方向的夹角。
示例性地,可以获取预先标定的HUD出射光线与水平面的夹角θh及HUD出射光线在水平面的投影与车辆的行进方向的夹角θh′。示例性地,参照图15及图16,可以通过下述方式(5)计算当前时刻的太阳高度角θs及当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角θs′。图15示出根据本申请一实施例的直射的太阳光与地球相对位置关系的示意图,图16示出根据本申请一实施例的直射的太阳光在水平面的投影与经线EF的夹角示意图;如图15所示,O点为地球球心,假设当前时刻车辆正行驶在A点,EF为过A点的经线,h是赤道坐标系下的时角,也就是A点所在经线与赤经的夹角;δ是当前时刻太阳光的赤纬,也就是太阳光直射点与赤道的开合角;是当前时刻车辆所在地的纬线与赤道的开合角。
示例性地,可以通过下述公式(5)计算太阳高度角θs:
示例性地,可以通过先求取直射的太阳光在水平面的投影与正北或正南方向的夹角,并计算车辆行进方向与正北或正南方向的夹角,例如,可以计算直射的太阳光在水平面的投影与车辆所在位置对应经线的夹角(可以设经线的正方向为正北方向)及车辆行进方向与车辆所在位置对应经线的夹角,从而计算求得直射的太阳光在水平面的投影与车辆的行进方向的夹角θs′。由于照射在地球上的太阳光可看作为平行光,如图15所示,B点为太阳和地球中心连线与地表的交点,经过A点的直射的太阳光与OB平行,且与平面OAB相交,即经过A点的直射的太阳光在平面OAB上。因此,可以求取直射的太阳光在水平面的投影与经线的夹角,如图16所示,可以求取经过A点的直射的太阳光在水平面的投影与经线EF的夹角θN,即求得平面OAB与平面OEF的夹角。
由于经过A点的直射的太阳光在水平面的投影与经线EF的夹角θN和∠COD互余,则可以通过下述公式(8)计算得到θN:
从而通过车辆的航向角确定车辆行进方向与经线EF的夹角;进而可以根据经过A点的直射的太阳光在水平面的投影与经线EF的夹角θN及车辆行进方向与经线EF的夹角,确定当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角θs′。
作为另一个示例,以环境光为经由反光物体反射的太阳光为例;图17示出根据本申请一实施例的经由反光物体反射的太阳光光线及HUD出射光线的示意图,如图17所示,为驾驶员在车内的前向视角,其中,θr为经由反光物体反射的太阳光与水平面的夹角,θr′为经由反光物体反射的太阳光在水平面的投影与车辆的行进方向的夹角,θs为直射的太阳光与水平面的夹角,即当前时刻的太阳高度角,θs′为当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角,θh为HUD出射光线与水平面的夹角θh,θh′为HUD出射光线在水平面的投影与车辆的行进方向的夹角。可以理解的是,在θr′与θh′的差值及HUD光机的出光口处接收到的经由反光物体反射的太阳光的强度不变的情况下,θr与θh的差值越小,则表明经由反光物体反射进入HUD光机的太阳光与HUD出射光线越接***行,相应的,HUD光机的光学元件接收到的经由反光物体反射的太阳光的强度越高;反之,θr与θh的差值越大,则HUD光机的光学元件接收到的经由反光物体反射的太阳光的强度越低;同理,在θr与θh的差值及HUD光机的出光口处接收到的经由反光物体反射的太阳光的强度不变的情况下,HUD光机的光学元件接收到的经由反光物体反射的太阳光的强度随着θr′与θh′的差值的减小而增强;此外,在θr与θh的差值及θr′与θh′的差值均不变的情况下,HUD光机的出光口处接收到的经由反光物体反射的太阳光的强度越高,则HUD光机的光学元件接收到的经由反光物体反射的太阳光的强度越高。
示例性地,可以获取预先标定的HUD出射光线与水平面的夹角θh及HUD出射光线在水平面的投影与车辆的行进方向的夹角θh′;示例性地,可以通过下述方式(9)及公式(10)计算当前时刻的经由反光物体反射的太阳光与水平面的夹角θr及当前时刻的经由反光物体反射的太阳光在水平面的投影与车辆的行进方向的夹角θr′。
由于反光物体的反光面与地面垂直,则经由反光物体反射的太阳光与水平面的夹角θr可以表示为:
θr=θs………………………………………(9)
其中,θs为当前时刻的太阳高度角,θs的数值可以通过上述公式(5)求取。
示例性地,可以通过先求取经由反光物体反射的太阳光在水平面的投影与正北或正南方向的夹角,并计算车辆行进方向与正北或正南方向的夹角,例如,可以计算经由反光物体反射的太阳光的投影与车辆所在位置对应经线的夹角及车辆行进方向与车辆所在位置对应经线的夹角,从而计算求得经由反光物体反射的太阳光在水平面的投影与车辆的行进方向的夹角θr′。假设当前时刻,从导航数据中获取车辆附近的n个反光物体的的反光面与经线的夹角集合Θ={θi}i=1:n,可以参照上述公式(6)-公式(8)所示求取θN的方式,求取第i个反光物体的反光面与经线的夹角θi;则经由第i个反光物体反射的太阳光在水平面的投影与车辆的行进方向的夹角θ′ri可以表示为:
θ′ri=(2θi-θ′s)mod2π…………………………(10)
其中,θi为第i个反光物体的反光面与经线的夹角,mod表示取余,θs′为当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角。
示例性地,可以通过下述公式(11)计算HUD光机的光学元件接收到的经由反光物体反射的太阳光的强度E1″:
其中,k和w分别代表水平、垂直的两个维度各自的光线收缩强度,示例性地,k与w均可以为1;n为反光物体的数量,θi为第i个反光物体的反光面与经线的夹角;E1为HUD光机的出光口处接收到的太阳光的强度;θr为当前时刻的经由反光物体反射的太阳光与水平面的夹角;θh为HUD出射光线与水平面的夹角,θh′为HUD出射光线在水平面的投影与车辆的行进方向的夹角,θs′为当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角。
作为另一个示例,以环境光为直射的太阳光和经由反光物体反射的太阳光为例,可以参照上述示例,计算HUD光机的光学元件接收到的直射的太阳光的强度E1′及HUD光机的光学元件接收到的经由反光物体反射的太阳光的强度E1″,可以通过下述公式(12)得到HUD光机的光学元件接收到的太阳光的融合强度Es:
其中,E1′为HUD光机的光学元件接收到的直射的太阳光的强度,E1″为HUD光机的光学元件接收到的经由反光物体反射的太阳光的强度,k和w分别代表水平、垂直的两个维度各自的光线收缩强度,示例性地,k与w均可以为1;n为反光物体的数量,θi为第i个反光物体的反光面与正北方向的夹角;E1为HUD光机的出光口处接收到的太阳光的强度;θr为当前时刻经由反光物体反射的太阳光与水平面的夹角;θh为HUD出射光线与水平面的夹角,θh′为HUD出射光线在水平面的投影与车辆的行进方向的夹角,θs为当前时刻的太阳高度角,θs′为当前时刻的直射的太阳光在水平面的投影与车辆的行进方向的夹角。
步骤1002、根据显示设备的光学元件接收到的环境光的强度和/或显示设备成像位置对应的环境光的强度,调节显示设备的显示亮度。其中,显示设备的显示亮度与显示设备的光学元件接收到的环境光的强度正相关、与显示设备成像位置对应的环境光的强度正相关。
示例性地,可以根据显示设备的光学元件接收到的环境光的强度和显示设备成像位置对应的环境光的强度,调节显示设备的显示亮度。可以理解的是,显示设备的光学元件接收到的环境光的强度越高,或者,显示设备成像位置对应的环境光的强度越高,则表明环境光对驾驶员观看显示设备成像的干扰越强,相应的,显示设备的显示亮度可以调整为较大值。同理,显示设备的光学元件接收到的环境光的强度越低,或者,显示设备成像位置对应的环境光的强度越低,则表明环境光对驾驶员观看显示设备成像的干扰越小,相应的,显示设备的显示亮度可以调整为较低值。
举例来说,以显示设备为HUD为例,可以根据HUD的光学元件接收到的环境光的强度和HUD成像位置对应的环境光的强度,调节HUD的显示亮度。
示例性地,可以通过下述公式(13),计算当前时刻对应的目标显示亮度L,进而调节HUD的显示亮度:
其中,E表示HUD成像位置对应的环境光的强度与HUD的光学元件接收到的环境光的强度的融合光强,例如,可以为上述公式(12)所示HUD光机的光学元件接收到的太阳光的融合强度Es;a为调节系数,可以根据经验值确定,例如,a可以取35;MIN_VALUE和MAX_VALUE分别为HUD虚像面所能达到的最小亮度和最大亮度,示例性地,可以预先标定或设置MIN_VALUE和MAX_VALUE的数值;Clamp函数可以将L的数值限制在显示设备对应的正常工作区间[MIN_VALUE,MAX_VALUE]内,即计算的数值,若/>数值在区间[MIN_VALUE,MAX_VALUE]内,则当前时刻对应的L为/>若/>数值大于MAX_VALUE,则当前时刻对应的L为MAX_VALUE,若/>数值小于MIN_VALUE,则当前时刻对应的L为MIN_VALUE。这样,可以在显示设备对应的正常工作区间内,根据HUD成像位置对应的环境光的强度与HUD的光学元件接收到的环境光的强度的融合光强进行动态调节。
本申请实施例中,考虑到入射到显示设备光学元件的环境光,将光学元件反射后沿显示设备的光路进入驾驶员或乘客的人眼,从而影响驾驶员或乘客对显示设备的观感,且显示设备成像位置对应的环境光也会对驾驶员或乘客的视线造成影响,因此,综合考虑多个来源的环境光对驾驶员或乘客对显示设备的观感带来的影响,融合显示设备的光学元件接收到的环境光的强度及显示设备成像区域对应的环境光的强度,从而能够真实还原驾驶员或乘客观察到显示设备成像的真实光强,通过融合后的环境光的强度对显示设备的显示亮度进行自动调节,调节后的显示亮度更符合人眼的真实观感,满足清晰显示的需求,有效解决了仅考虑单一来源的环境光所导致驾驶员或乘客看不清显示设备成像的问题,提高了驾驶安全;且无需驾驶员或乘客手动操作,提升了用户体验,具有较强实用性。
下面以显示方式包括显示位置;光强信息包括:显示设备至少一个成像区域对应的环境光的强度为例,对本申请实施例提供的显示方法进行示例性说明。
在显示设备包括多个成像区域的情况下,不同成像区域对应的环境光的强度不同,相应的,对驾驶员或乘客的视线干扰不同;例如,以显示设备为HUD为例,图18示出根据本申请一实施例的HUD的虚像面中多个成像区域的示意图,如图18所示,HUD的虚像面中可以包括A、B、C、D四个成像区域,HUD可以在A、B、C、D中一个或多个成像区域内成像;需要说明的是,图18中所示成像区域仅为示例,本申请实施例对成像区域的数量及形状等不作限定。图19示出根据本申请一实施例的车外侧向视角HUD的虚像面所对应的地面背景的示意图,图20示出根据本申请一实施例的车内前向视角HUD虚像面所对应的地面背景的示意图;如图19及图20所示,车内驾驶员在看向HUD虚像面时,驾驶员人眼视线与虚像面范围所确定地面覆盖域即为HUD的虚像面所对应的地面背景,图20所示,其中,A’、B’、C’、D’分别为成像区域A、B、C、D所对应的地面背景。由于地面背景会反射环境光,且不同成像区域所对应的地面背景反射的环境光的强度不同,即不同成像区域对应的环境光的强度不同;当某一成像区域对应的地面背景反射的环境光的强度较高时,会导致驾驶员无法看清该成像区域所呈现内容,增加驾驶危险性,因此,可以根据不同成像区域对应的环境光的强度,动态调整HUD虚像面中显示位置。
图21示出根据本申请一实施例的一种显示方法的流程图,如图21所示,可以包括以下步骤:
步骤1901、获取车辆的显示设备至少一个成像区域对应的环境光的强度。
示例性地,显示设备可以包括多个成像区域,在显示设备工作时,多个成像区域中的一个或多个成像区域用于呈现内容;示例性地,可以获取车辆的显示设备各成像区域对应的环境光的强度;或者,可以获取当前用于呈现内容的成像区域对应的环境光的强度。
作为一个示例,可以获取安装在车辆前方的亮度传感器采集的至少一个成像区域对应的环境光的强度;示例性地,可以获取多个亮度传感器采集的成像区域对应的环境光的强度,其中,不同亮度传感器采集不同的成像区域对应的环境光的强度。
作为另一个示例,可以获取车辆前方的图像信息及人眼位置;根据图像信息及人眼位置,确定显示设备至少一个成像区域对应的环境光的强度。其中,车辆前方的图像可以包括显示设备至少一个成像区域对应的地面背景,示例性地,车辆前方的图像信息可以包括车辆前方图像中各像素点的灰度值,可以理解的是,车辆前方图像中像素点的灰度值越高,则表明该像素点所对应地面位置反射环境光的强度越高,反之,该像素点所对应地面位置反射环境光的强度越低;因此,可以通过显示设备中各成像区域对应的地面背景的灰度值,表示显示设备中各成像区域对应的地面背景反射环境光的强度,即各成像区域对应的环境光的强度;此外,显示设备中各成像区域对应的地面背景由驾驶员人眼位置及显示设备各成像区域的位置确定,其中,显示设备各成像区域的位置通常固定,而驾驶员人眼位置可能会发生变化,因此,根据人眼位置准确确定各成像区域对应的地面背景;这样,根据车辆前方的图像信息及人眼位置,实现准确地确定显示设备各成像区域对应的环境光的强度。
示例性地,可以获取车辆的DVR采集的车辆前方的图像,并得到图像中各像素点的灰度值;根据车辆前方的图像中各像素点的灰度值可以得到车辆前方的地面反射环境光的强度信息;根据人眼位置,将显示设备各成像区域与车辆前方的图像进行坐标对齐,从而确定车辆前方的图像中各成像区域所对应的地面背景;进而根据车辆前方的图像中各成像区域所对应的地面背景及车辆前方的地面反射环境光的强度信息确定显示设备中各成像区域对应的环境光的强度。
举例来说,以上述图19及图20中HUD为例,示例性地,可以获取DVR相机采集的车辆前方的图像,例如,可以通过车辆控制器局域网络(Controller Area Network,CAN)获取DVR采集的车辆前方的图像,进而将车辆前方的图像的格式转化为红绿蓝(Red GreenBlue,RGB)三通道格式,设转化后的RGB图像的表示方式为G={(Ri,Gi,Bi)}i=1:w*h,其中,w和h表示图像分辨率,则将RGB图像转化为灰度图并进行归一化处理,得到最终的灰度图像Ggray如下述公式(14)所示:
Ggray={(Ri*0.299+Gi*0.587+Bi*0.114)/255}i=1:w*h…………(14)
其中,w和h表示RGB图像的图像分辨率,Ri为第i个RGB图像中第i个像素点的红光通道的光强,Gi为第i个RGB图像中第i个像素点的绿光通道的光强,Bi为第i个RGB图像中第i个像素点的蓝光通道的光强。
由于HUD虚像面在车身坐标系中的位置固定,DVR相机采集的车辆前方的图像中各像素点所对应的空间点在车身坐标系下的坐标可以预先标定得到,假设在车身坐标系下这些空间点的坐标集合为Pw、DVR相机的内参假设为K、DVR相机坐标系相对车身坐标系的外参假设为Rx、Tx,DVR相机坐标系中像素点的坐标集合为Px,则DVR相机采集的车辆前方的图像中像素点所对应的空间点在车身坐标系下的坐标与DVR相机坐标系下对应点的坐标,存在下述公式(15)所示的映射关系:
其中,Z为DVR相机到Pw中空间点的直线距离。
假设当前驾驶员人眼在车身坐标系下的位置坐标为{xe,ye,ze}、在HUD虚像面的2D平面中,各成像区域中点在HUD虚像面坐标系下的坐标集合为Pv、当前HUD虚像面的下视角为θ,则人眼坐标系相对车身坐标系的外参Re、Te为:
则DVR相机采集的车辆前方的图像中像素点所对应的空间点在车身坐标系下的坐标与HUD虚像面坐标系下对应点的坐标,存在下述公式(18)所示的映射关系:
其中,LVID为驾驶员人眼到HUD虚像面中心的直线距离,Ze为驾驶员人眼到集合Pw中的空间点的直线距离。
结合上述公式(15)-(18),可得,DVR相机采集的车辆前方的图像中像素点在DVR相机坐标系中的坐标与HUD虚像面下对应点的坐标,存在下述公式(19)所示的映射关系:
其中,Px为DVR相机坐标系中像素点的坐标集合,Pv为各成像区域中点在HUD虚像面坐标系下的坐标集合;Ze为驾驶员人眼到集合Pw中的空间点的直线距离;Z为DVR相机到Pw中空间点的直线距离;Pw为,DVR相机采集的车辆前方的图像中各像素点所对应的空间点在车身坐标系下的坐标集合;LVID为驾驶员人眼到HUD虚像面中心的直线距离;K为DVR相机坐标系的内参;Rx、Tx为DVR相机坐标系相对于车身坐标系的外参;Re、Te为人眼坐标系相对车身坐标系的外参。
这样,可以根据公式(19),根据人眼位置及HUD各成像区域中点在HUD虚像面坐标系下的坐标,将HUD各成像区域中点与DVR相机采集的车辆前方的图像进行坐标对齐,从而得到HUD各成像区域中点在DVR相机坐标系中对应的像素点,即确定车辆前方的图像中各成像区域所对应的地面背景;进而在上述公式(14)所得到的灰度图像选取出HUD各成像区域中点在DVR相机坐标系中对应像素点的灰度值;进一步地,可以根据HUD各成像区域中点在DVR相机坐标系中对应像素点的灰度值,计算各成像区域的平均灰度值,从而实现将DVR相机采集的车辆前方的图像中各成像区域所对应的地面背景的灰度值转化为HUD虚像面上各成像区域的灰度值,这样,动态确定的HUD虚像面上各成像区域的灰度值能够更加贴切的表示各成像区域对应的环境光的强度。例如,图22示出根据本申请一实施例的HUD的虚像面中各成像区域的灰度图;如图22所示,为上述图18所示的成像区域A、B、C、D对应的灰度图。
步骤1902、根据显示设备至少一个成像区域对应的环境光的强度,确定目标成像区域。
示例性地,可以根据显示设备中各成像区域对应的环境光的强度,确定目标成像区域。
示例性地,若当前显示设备用于呈现内容的成像区域对应的环境光的强度未对驾驶员或乘客的视线造成干扰或者干扰很小,则当前时刻显示设备用于呈现内容的成像区域即为目标成像区域;若当前时刻显示设备用于呈现内容的成像区域对应的环境光的强度对驾驶员或乘客的视线造成干扰或者干扰较大,则将显示设备的其他成像区域中对驾驶员或乘客的视线造成干扰最小的成像区域作为目标成像区域。
示例性地,可以通过各成像区域对应的平均灰度值的大小,确定目标成像区域;例如,若当前用于呈现内容的成像区域的对应的平均灰度值大于预设值,如0.8,则认为该成像区域过曝,对驾驶员或乘客的视线造成干扰,则需要选择其他成像区域作为目标成像区域;再例如,若当前用于呈现内容的成像区域的对应的平均灰度值小于预设值,如0.1,则认为该成像区域欠曝,对驾驶员或乘客的视线造成干扰,则需要选择其他成像区域作为目标成像区域。
步骤1903、根据目标成像区域,调节显示设备的显示位置。
可以理解的是,若上述所确定的目标成像区域为当前呈现内容的成像区域,则显示设备的显示位置仍旧为当前呈现内容的成像区域;若上述所确定的目标成像区域不是当前呈现内容的成像区域,则将显示设备的显示位置调整为目标成像区域,即通过目标成像区域呈现内内容。
例如,图23示出根据本申请一实施例的调节HUD虚像面中的显示位置的示意图,如图23所示,成像区域A为当前呈现2D仪表的成像区域,成像区域B为所确定的目标成像区域,则将显示位置调整为成像区域B,成像区域B用于呈现2D仪表。
本申请实施例中,可以根据显示设备各成像区域对应的环境光的强度,例如,可以根据各成像区域对应的灰度值,动态调整显示设备的显示位置,从而保证驾驶员可以看清显示设备所呈现内容,避免成像区域对应的环境光的强度过高或过低等对驾驶员视线造成的影响,大大提升驾驶安全。
应理解,上述图5、图8、图12或图21中所示的显示方法可以互相结合,图5、图8、图12或图21任一所示的显示方法以及各可选实施例相关实现细节可互相参考,此处不再重复赘述。
基于上述方法实施例的同一发明构思,本申请实施例还提供了一种电子装置,该电子装置用于执行上述方法实施例所描述的技术方案。例如,可以执行上述图5、图8、图12或图21中所示显示方法的各步骤。
图24示出根据本申请一实施例的一种电子装置的结构图,如图24所示,可以包括:获取模块2201,用于获取车辆对应的环境信息;所述环境信息包括光强信息和/或位置信息;调节模块2202,用于根据所述环境信息,调节所述车辆的显示设备的显示方式;所述显示方式包括:显示亮度、显示位置、显示内容、显示颜色、显示风格、或显示大小中的至少一项。
本申请实施例中,获取车辆对应的环境信息,并根据环境信息调节显示设备的显示方式,从而使得显示设备的显示方式能够适应当前环境,提高显示效果及驾驶安全性。
在一种可能的实现方式中,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;所述调节模块2202,还用于:根据所述车辆的位置和/或所述环境光被遮挡区域的位置,确定所述车辆与所述环境光被遮挡区域之间的第一距离;根据所述第一距离,调节所述显示设备的显示方式。
在一种可能的实现方式中,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;所述调节模块2202,还用于:根据所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置,调节所述车辆的显示设备的显示方式。
在一种可能的实现方式中,所述显示方式包括第一显示亮度;所述光强信息包括:所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度;所述调节模块2202,还用于:根据所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度,调节所述显示设备的第一显示亮度;其中,所述第一显示亮度与所述显示设备的光学元件接收到的环境光的强度正相关、与所述显示设备成像位置对应的环境光的强度正相关。
在一种可能的实现方式中,所述光强信息还包括所述显示设备至少一个成像区域对应的环境光的强度,所述显示方式包括显示位置;所述调节模块2202,还用于:根据所述显示设备至少一个成像区域对应的环境光的强度,确定目标成像区域;根据所述目标成像区域,调节所述显示设备的显示位置。
在一种可能的实现方式中,所述调节模块2202,还用于:在所述第一距离小于预设距离的情况下,调节所述显示设备的显示方式。
在一种可能的实现方式中,所述显示方式包括第二显示亮度;所述调节模块2202,还用于:根据所述第一距离,调节所述第二显示亮度,其中,所述第二显示亮度与所述第一距离负相关。
在一种可能的实现方式中,所述显示设备包括抬头显示器HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;所述获取模块2201,还用于:获取所述HUD光机的出光口处接收到的环境光对应的入射角度、所述HUD出射光线对应的出射角度及所述HUD光机的出光口处接收到的环境光的强度;根据所述入射角度、所述出射角度及所述出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述出光口处接收到的环境光的强度正相关,与所述入射角度和所述出射角度的差值负相关。
在一种可能的实现方式中,所述显示设备包括HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;所述获取模块2201,还用于:确定所述环境光与水平面的第一夹角、所述环境光在水平面的投影与所述车辆的行进方向的第二夹角;确定所述HUD出射光线与水平面的第三夹角、所述HUD出射光线在水平面的投影与所述车辆的行进方向的第四夹角;确定所述第一夹角与所述第三夹角的第一差值,以及所述第二夹角与所述第四夹角的第二差值;根据所述第一差值、第二差值及所述HUD光机的出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述HUD光机的出光口处接收到的环境光的强度正相关、与所述第一差值负相关、与所述第二差值负相关。
在一种可能的实现方式中,所述获取模块2201,还用于:获取所述车辆前方的图像信息及人眼位置;根据所述图像信息及所述人眼位置,确定所述显示设备至少一个成像区域对应的环境光的强度。
在一种可能的实现方式中,所述环境光包括直射的太阳光和/或经由反光物体反射的太阳光。
在一种可能的实现方式中,所述获取模块2201,还用于:获取所述环境光被遮挡区域对应的标志点与所述环境光被遮挡区域之间的距离,其中,所述标志点设置于所述环境光被遮挡区域外;所述调节模块2202,还用于:根据所述第一距离、所述预设距离及所述标志点与所述环境光被遮挡区域之间距离,调节所述显示设备的显示方式。
上述图24所示的电子装置及其各种可能的实现方式的技术效果及具体描述可参见上述显示方法,此处不再赘述。
应理解以上装置中各模块的划分仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。此外,装置中的模块可以以处理器调用软件的形式实现;例如装置包括处理器,处理器与存储器连接,存储器中存储有指令,处理器调用存储器中存储的指令,以实现以上任一种方法或实现该装置各模块的功能,其中处理器例如为通用处理器,例如中央处理单元(Central Processing Unit,CPU)或微处理器,存储器为装置内的存储器或装置外的存储器。或者,装置中的模块可以以硬件电路的形式实现,可以通过对硬件电路的设计实现部分或全部模块的功能,该硬件电路可以理解为一个或多个处理器;例如,在一种实现中,该硬件电路为专用集成电路(application-specific integrated circuit,ASIC),通过对电路内元件逻辑关系的设计,实现以上部分或全部模块的功能;再如,在另一种实现中,该硬件电路为可以通过可编程逻辑器件(programmable logic device,PLD)实现,以现场可编程门阵列(Field ProgrammableGate Array,FPGA)为例,其可以包括大量逻辑门电路,通过配置文件来配置逻辑门电路之间的连接关系,从而实现以上部分或全部模块的功能。以上装置的所有模块可以全部通过处理器调用软件的形式实现,或全部通过硬件电路的形式实现,或部分通过处理器调用软件的形式实现,剩余部分通过硬件电路的形式实现。
在本申请实施例中,处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如CPU、微处理器、图形处理器(graphicsprocessing unit,GPU)(可以理解为一种微处理器)、或数字信号处理器(digital signalprocessor,DSP)等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为ASIC或PLD实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部模块的功能的过程。
可见,以上装置中的各模块可以是被配置成实施以上实施例方法的一个或多个处理器(或处理电路),例如:CPU、GPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。
此外,以上装置中的各模块可以全部或部分可以集成在一起,或者可以独立实现。在一种实现中,这些模块集成在一起,以SOC的形式实现。该SOC中可以包括至少一个处理器,用于实现以上任一种方法或实现该装置各模块的功能,该至少一个处理器的种类可以不同,例如包括CPU和FPGA,CPU和人工智能处理器,CPU和GPU等。
本申请实施例还提供了一种电子装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令时实现上述实施例的方法。示例性地,可以实现上述图5、图8、图12或图21中所示显示方法的各步骤。
图25示出根据本申请一实施例的一种电子装置的结构示意图,如图25所示,该电子装置可以包括:至少一个处理器2301,通信线路2302,存储器2303以及至少一个通信接口2304。
处理器2301可以是一个通用中央处理器,微处理器,特定应用集成电路,或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路2302可包括一通路,在上述组件之间传送信息。
通信接口2304,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,RAN,无线局域网(wireless local area networks,WLAN)等。
存储器2303可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路2302与处理器相连接。存储器也可以和处理器集成在一起。本申请实施例提供的存储器通常可以具有非易失性。其中,存储器2303用于存储执行本申请方案的计算机执行指令,并由处理器2301来控制执行。处理器2301用于执行存储器2303中存储的计算机执行指令,从而实现本申请上述实施例中提供的方法;示例性地,可以实现上述图5、图8、图12或图21中所示显示方法的各步骤。
本申请实施例中的处理器、处理芯片、处理装置等也可以称为控制器、控制芯片和控制装置。应理解以上装置中各单元的划分仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。此外,装置中的单元可以以处理器调用软件的形式实现;例如装置包括处理器,处理器与存储器连接,存储器中存储有指令,处理器调用存储器中存储的指令,以实现以上任一种方法或实现该装置各单元的功能,其中处理器例如为通用处理器,例如中央处理单元(Central Processing Unit,CPU)或微处理器,存储器为装置内的存储器或装置外的存储器。或者,装置中的单元可以以硬件电路的形式实现,可以通过对硬件电路的设计实现部分或全部单元的功能,该硬件电路可以理解为一个或多个处理器;例如,在一种实现中,该硬件电路为专用集成电路(application-specific integrated circuit,ASIC),通过对电路内元件逻辑关系的设计,实现以上部分或全部单元的功能;再如,在另一种实现中,该硬件电路为可以通过可编程逻辑器件(programmable logic device,PLD)实现,以现场可编程门阵列(Field ProgrammableGate Array,FPGA)为例,其可以包括大量逻辑门电路,通过配置文件来配置逻辑门电路之间的连接关系,从而实现以上部分或全部单元的功能。以上装置的所有单元可以全部通过处理器调用软件的形式实现,或全部通过硬件电路的形式实现,或部分通过处理器调用软件的形式实现,剩余部分通过硬件电路的形式实现。
在本申请实施例中,处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如中央处理单元(Central ProcessingUnit,CPU)、微处理器、图形处理器(graphics processing unit,GPU)(可以理解为一种微处理器)、或数字信号处理器(digital singnal processor,DSP)等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为专用集成电路(application-specific integrated circuit,ASIC)或可编程逻辑器件(programmable logic device,PLD)实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部单元的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如神经网络处理单元(Neural Network Processing Unit,NPU)张量处理单元(Tensor Processing Unit,TPU)、深度学习处理单元(Deep learningProcessing Unit,DPU)等。
可见,以上装置中的各单元可以是被配置成实施以上方法的一个或多个处理器(或处理电路),例如:CPU、GPU、NPU、TPU、DPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
示例性地,处理器2301可以包括一个或多个CPU,例如图25中的CPU0和CPU1。
示例性地,电子装置可以包括多个处理器,例如图25中的处理器2301和处理器2307。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,电子装置还可以包括输出设备2305和输入设备2306。输出设备2305和处理器2301通信,可以以多种方式来显示信息。例如,输出设备2305可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等,例如,可以为车载HUD、AR-HUD、显示器等显示设备。输入设备2306和处理器2301通信,可以以多种方式接收用户的输入。例如,输入设备2306可以是鼠标、键盘、触摸屏设备或传感设备等。
作为一个示例,结合图25所示的电子装置,上述图24中的获取模块2201可以由图25中的通信接口2304来实现;上述图24中的调节模块2202可以由图25中的处理器2301来实现。
本申请实施例提供了一种显示***,包括:显示设备;采集设备,用于采集环境信息;上述任一实施例所述的电子装置。
作为一个示例,显示***可以是车辆,也可以是车机及显示设备组成的显示***,还可以是具有处理器和显示器的显示设备;例如,显示设备可以为HUD、AR-HUD、显示器等车载部件中具有显示能力的设备,采集设备可以为具有采集或测量功能的传感装置。示例性地,显示设备可以为上述图2或图3所示的显示设备20,采集设备可以为上述图3所示的采集设备10,电子装置可以包括上述图24所示的电子装置。
作为另一个示例,上述图24所示的电子装置可以部署在车机中,显示设备可以为AR-HUD,图26示出根据本申请一实施例的一种显示***的结构示意图,如图26所示,电子装置可以部署在车机应用程序框架层的AR-HUD引擎中;获取模块2201可以通过车载智能终端(telematics box,TBOX)获取采集设备所采集的环境信息,还可以从高级驾驶辅助***(Advanced Driving Assistance System,ADAS)获取导航数据;调节模块2202对获取模块2201所获取的数据进行处理,得到AR-HUD光机的显示参数数值,并将该显示参数数值发送至AR-HUD,AR-HUD根据显示参数数值调节显示方式,从而完成显示方式的调节。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储了程序代码,所述程序代码电子装置或电子装置中的处理器执行时实现上述实施例中的方法。示例性地,可以实现上述图5、图8、图12或图21中所示显示方法的各步骤。
本申请实施例提供了一种计算机程序产品,例如,可以包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质;计算机程序产品包含的程序代码被电子装置或电子装置中的处理器执行时,以实现上述实施例中的方法。示例性地,可以执行上述图5、图8、图12或图21中所示显示方法的各步骤。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
随着经济的发展,车辆的保有量的迅速增加,车辆技术与计算机技术发生越来越多的融合。智能车辆已经成为车辆发展的新趋势,除了自动驾驶、高精地图等技术,智能座舱的人机交互也成为备受关注的热点技术。
图27为本申请实施例提供的一种汽车座舱内的结构示意图。在汽车座舱内,车机(automobile head unit),也称为车载影音娱乐***,可以设置于车辆的中控区域,其连接的屏幕也可以称为中控显示屏或者中控屏。随着座舱内的数字化显示逐步扩展,在一些车辆中,座舱内设置有多块显示屏,或者一块可以分屏的大屏,用于显示数字仪表盘、车载娱乐***等内容。如图27所示,座舱内设置有多块显示屏,包括数字仪表显示屏2701、中控屏2702、位于副驾驶乘客前方的娱乐显示屏2703,后排乘客面前的娱乐显示屏2704和2705。为了实现座舱内不同的视觉功能,一般可以在座舱内的不同位置安装多颗独立的摄像头2706,例如,在A柱(pillar)、B柱、转向柱、中控区域、内后视镜区域、方向盘区域等位置。
车辆是高敏感场景,车辆的显示体验值得研究。
参考图27至图29所示,抬头显示器(head-up display,HUD)是一种将图像投射到驾驶员前方视野中的显示装置。HUD可以利用是利用光学反射的原理,将重要的相关资讯以二维图像的方式投影显示在汽车的挡风玻璃上面,高度大致与驾驶员的眼睛成水平,驾驶员透过挡风玻璃往前方看的时候,可看到HUD投影的二维图像显示在挡风玻璃前方的一虚像面上。相比传统仪表和中控屏幕,驾驶员在观察HUD图像时,无需低头,避免了在图像和路面之间来回切换,减小了危机反应时间,提高了驾驶安全性。近年来提出的增强现实抬头显示器(AR-HUD),可以将HUD的显示图像与真实路面信息融合起来,增强驾驶员对路面信息的获取,实现虚拟显示(areality,AR)导航、AR预警等功能。
要实现AR-HUD的道路导航、预警等功能,需要将传感器获得的三维感知数据送入虚拟三维空间进行增强现实效果绘制,绘制完成后映射到HUD显示的二维虚像面,最后通过人眼再映射回三维空间。
图28-图29示出了本申请实施例提供的投影方法的一种应用场景的示意图,参照如图28-图29,本实施例的应用场景具体涉及一种车辆,该车辆291具有采集装置2910、投影装置2920、显示装置2930。
采集装置2910可以包括车外采集装置和车内采集装置,其中车外采集装置具体可以采用激光雷达、车载摄像头或其他具有图像采集或光学扫描功能的一个设备或多个组合设备,可以设置在车辆1的顶部、头部或车辆座舱的后视镜的朝向车外的一侧,可以安装在车辆的内部,也可以安装在车辆的外部。其主要用于对车辆前方的环境进行图像信息和位置信息进行检测和采集,车辆前方的环境可以包括前方车辆、障碍物、道路指示等相关信息;车内采集装置具体可以采用车载摄像头、人眼检测仪等设备,车内采集装置在具体实现过程中,可以按照需求设置按照位置,例如,可以设置在车辆座舱的A柱、B柱或车辆座舱的后视镜的朝向用户的一侧,还可以设置在方向盘、中控台附近区域,还可以设置在座椅后方显示屏上方等位置。其主要用于对车辆座舱的驾驶员或乘客的人眼位置信息进行检测和采集。车内采集装置可以是一台,也可以是多台,本申请对其位置和数量不做限定。
投影装置2920可以为HUD、AR-HUD或其他具有投影功能的设备,可以安装于车辆座舱的中控台上方或中控台内部,其通常包括投影仪、反射镜、投影镜、调节电机及控制单元,所述控制单元为电子设备,具体可以为中央处理器(CPU)、微处理器(MCU)等常规的芯片处理器,也可以为手机、平板等终端硬件。该控制单元分别与所述采集装置2910和显示装置2930通信连接,该控制单元内可以预设有成像模型或通过获取车辆其他器件内预设的成像模型,该成像模型的参数与车内采集装置采集的人眼位置信息具有关联关系,能够根据人眼位置信息进行参数校准,然后根据车外采集装置采集的环境信息,生成投影图像,并在投影仪输出。如图29所示,投影的图像中可以包括根据环境信息生成的增强现实显示图像,还可以包括车速、导航等图像。
显示装置2930可以为车辆的前挡风玻璃或独立显示的透明屏幕,用于反射所述投影装置发出的图像光线后进入到用户的眼中,使驾驶员透过该显示装置30望向车外时,能够看到具有景深效果的虚拟图像,并与现实世界的环境产生重合,向用户呈现增强现实的显示效果。
作为一个示例,采集装置2910可以为上述图2-图4中采集设备10,投影装置2920可以为上述图2-图4中显示设备20,显示装置2930可以为上述图2-图4中成像设备30。
其中,采集装置2910、投影装置2920以及其他装置可以分别通过有线通信或无线通信(如蓝牙、wifi)等方式进行数据的通信,例如,采集装置10在采集到图像信息后,可以通过蓝牙通信将该图像信息传输给投影装置2920。再例如,投影装置2920可以通过蓝牙通信,将控制信令发送给采集装置2910,并调整采集装置2910的采集参数,如拍摄角度等。应理解的是,数据的处理可以在投影装置2920中完成,也可以在采集装置2910中完成,还可以在其他处理设备中完成,例如车机、车载电脑等设备。
通过上述结构,车辆能够实现基于现实世界的环境信息的增强现实显示效果,并且能够根据用户的人眼位置信息调整生成的投影图像,以使投影显示的增强现实显示图像尽量与现实世界的环境信息重合,提高用户的沉浸式观看体验。
图30示出了本申请实施例提供的一种显示方法,该方法可以由显示装置、处理装置或控制装置中的一个或多个执行。其中,显示装置可以是HUD、AR-HUD、显示器等车载装置中具有显示能力的设备,处理装置可以用于获取信息和数据进行处理,控制装置还可以用于控制显示装置进行显示。处理装置和控制装置可以是处理器、控制器等装置。
S401:获取车辆的环境信息;
这里,车辆的环境信息可以是车辆的位置信息、环境亮度、高度、路况信息、时间信息、周围建筑信息以及传感信息等参数中的一个或多个。其中,车辆的位置信息可以包括车辆的定位位置,例如,GPS定位、经纬度等,车辆的位置信息还可以包括当前所处的场景,例如隧道、高架下、高架上、平缓的道路上等,时间信息可以包括当前的时间点、目的地的预估到达时间、路程关键节点的预估到达时间等参数中的一个或多个。传感信息可以是传感器获取到的HUD光机的光线强度、入射角度、以及车辆的环境光亮度、显示屏的显示亮度、座舱内亮度中的一个或多个。传感器可以是亮度传感器、地理位置传感器等。上述信息可以是传感器直接采集到的信息,也可以是经过传感器或其他装置处理的信息。
S402:根据该车辆的环境信息,调整车辆的显示亮度。
根据上述车辆信息,可以调整车辆的显示亮度。例如,调整车辆的车载显示器的显示亮度,其中,车载显示器可以是车内的中控屏、数字仪表显示屏、娱乐屏等。车载显示器还可以是HUD或AR-HUD等显示装置。
例如,当车辆即将或已经行驶到隧道环境,可以调整车辆的显示亮度。再例如,当车辆行驶的过程中,发现光亮被其他建筑(例如高楼、高架、天桥等建筑物)遮挡,显示效果不佳时,可以调整车辆的显示亮度。再例如,在车辆行驶的过程中,外部存在强光或亮度突变的情况下,可以调整车辆的显示亮度。再例如,如果存在阳光照射影响用户的情况下,可以调整车辆的显示亮度。其中,可以根据季节、天气、车辆的位置等参数中的一个或多个,确定出阳光照射对人眼的影响,例如,在影响用户观感,看不清前方路面,或者看到光斑等场景下,对车辆的显示亮度进行调整。
通过上述调整,可以以减少用户感受到的光亮变化对显示效果的影响,提升驾驶的安全性。可以通过对未来即将通过的道路或路况环境等进行预测,进而提前一段时间进行调整,可以降低用户感知,降低HUD光窗对用户视线的影响,降低特殊路段对驾驶的危险概率。
在日常行车使用AR-HUD的过程中,通常情况下,AR-HUD虚像面的亮度是通过用户手动或者根据传感器感知环境光强度值来进行调节,这种情况下,当遇到光线突变路段如隧道路段,由于车身较快,***无法再进入隧道之前完成调节,导致进入隧道之后,虚像面太亮遮挡驾驶员视线,增加驾驶的危险性。由于HUD光机原理是通过多个反射镜构成反射通路将光线反射到风挡上,再由风挡反射进入人眼,如果外界光线沿同样光路进入光机,也会进入人眼,造成看不清虚像面的结果,图31为AR-HUD光线来源示意图;如图31所示,所以进入光机太阳光的强度和入射角度,同样会对HUD虚像面的亮度产生巨大的影响。
本申请提出了一种基于地理位置信息的调节方法,解决了特殊路段调节滞后、亮度调节影响因素引入不全面的问题,能够快速响应亮度突变路段、更加准确的进行亮度调节,在使得亮度调节更加准确的同时,大大降低了驾驶危险,非常具有现实意义。
如图32所示,本申请实施例提供一种***架构,可以部署在车机应用程序框架层的AR-HUD Engine中。ADAS和TBOX的信号接入AR-HUD Engine的各个算法模块中,并将计算所得的亮度调节值发送给AR-HUD光机进行亮度调节。
各模块间的详细数据流如图33所示,姿态估计模块结合GNSS信号和IMU信号,计算汽车当前车身位姿,包括汽车当前的地理位置和朝向姿态;照度计算模块可以根据当前的时间和季节计算太阳高度角,并结合车身当前姿态和当前地理位置信息,计算出太阳直射或反射进入HUD光机光线的入射角度和光强;特殊路段管理模块负责依据当前车身位置动态改变HUD调节亮度的权重因子,达到在进入光强突变路段前完成HUD亮度调整的目的;光强融合模块结合HUD光机口的光线信息、虚像面附近光强度以及到达特殊路段的距离进行HUD调节亮度的融合修正,得到HUD某一时刻应调亮度的最终值;亮度调节模块根据计算得到的最终值对HUD光机进行亮度调节。
本申请实施例可以应用于车载AR-HUD设备中,解决了特殊路段调节滞后、亮度调节影响因子引入不全面的问题,可以同AR-HUD光机一起以硬件的方式,也可以以软件的形式单独并加载于其他HUD硬件中。
本申请实施例中,可以通过特殊路段管理模块,实时感知车身与光强突变区域的距离,并以此进行亮度调节的修正,以确保在到达该区域之前就已经完成调节。还可以通过照度计算模块,实时计算太阳光在HUD表面的入射角度,并结合HUD光机的传感器,综合计算得进入光机的光强。还可以通过亮度调节模块,结合光强突变区域距离、进入光机光强与虚像面附近光强进行建模,进行亮度调节。从而可以更全面的考虑特殊路段调节滞后、亮度调节等影响因素,避免视野遮挡,保障了驾驶的安全性。
如图34所示,本申请实施例提供一种方法:第一步,开启HUD功能,算法模块同时启动;第二步,依据当前车身位置、路况信息、当前时刻点信息以及光线传感器等计算HUD光机口的光线强度和入射角度,得到入射光机的光强,这部分光线会直接经过光机光路反射进入人眼从而影响人眼对虚像面的亮度观感;第三步,通过传感器获取HUD虚像面附近环境光光强,与入射光机光强建模,初步得到融合后的光线强度;第四步,通过导航信号计算当前车辆距离亮度突变区域的距离,计算亮度调节权重因子;第五步,根据得到的融合光强和权重因子,获得最终亮度调整值,以确保在突变点之前一段距离就已经完成HUD亮度调整。
其中,计算融合光强可以通过下面一种可选的方式实现:
为了更加准确的还原驾驶员观察到的虚像面亮度,需要计算出入射光机光强对人眼感官的影响程度。因此,需要先计算入射光机的太阳光光强和入射角度,入射进入光机的光线可以分为太阳直射进入光机的光线和太阳光经过汽车附近高反建筑物反射进入光机的光线。
图35示出了太阳光光线与车辆夹角示意图。图35中为驾驶员在车中的前向时角,其中,黄色箭头表示当前太阳光线方向,θs为当前时刻的太阳高度角,θs′为太阳光在地面的投影与汽车前向方向的夹角。
首先计算太阳光线直射进入HUD光机的光线入射角,计算直射入光机光强需要计算夹角θs′与太阳高度角θs。因为无法直接获得太阳光于车身的夹角,所以本实施例中先求得太阳光在地面的投影与正北方向的夹角,再计算车身与正北方向的夹角,从而计算求得θs′。
太阳高度角θs的计算公式如下:
其中,图36是太阳光与地球关系的抽象图,假设汽车正行驶在A点,h是赤道坐标系下的时角,也就是A点所在经线与赤经的夹角;δ是目前太阳的赤纬,也就是太阳直射点与赤道的开合角;φ是汽车所在地的纬度与赤道的开合角。图37为阳光投影与经线的夹角示意图。
在图36中,图中的地球球心为O,由于照射在地球上的太阳光可看做是平行光,B点为太阳和地球中心连线与地表的交点,所以经过A点的阳光与OB平行且与OAB平面相交,得经过A点的阳光一定是在OAB平面上。所以求太阳光在地面的投影与经度的夹角,也就是经过A的阳光在地面的投影与EF的夹角,就相当于求OAB平面与OEF平面的夹角。
所以角θs′最后的公式为:
用θh代表HUD出射光线与水平面的夹角,用θh′代表出射光线在水平面的投影与车身的夹角,亮度传感器获得的光强为E1,则直射入光机的光强为:
其中,k和w分别代表两个维度各自的光线收缩强度,在本实施例中,k与w均为1。
其次是计算由车辆附近高反建筑的反射光线与汽车前进方向的夹角,图38为反射光线与车辆夹角示意图,如图38所示,其中θr为当前时刻的太阳光经过反射之后与地面的夹角,θr′为反射光在地面的投影与汽车前向方向的夹角。
某一时刻,***从导航信号中获取车辆附近的n个高反建筑的墙面与正北方向的夹角Θ={θi}i=1:n,假设经线的正方向为正北方向,墙面向量的正方向为面向墙面时的左方向,此时定义θ为右手坐标系下,墙面向量到经线的夹角。
由于建筑物与地面垂直,易得:
θr=θs
θ′r=(2θi-θ′s)mod360
所以经过高反建筑反射进入光机的光强为:
将直射入光机光强与反射入光机光强结合可得进入光机的融合光强Es,
***再结合通过传感器获得的虚像面附近光强Ed,综合得到融合后的光强:
E=Ed+Es
特殊路段亮度快速调整
在经过亮度突变的特殊路段,需要在到达突变点之前完成亮度调节,但由于汽车速度较快,传统的调节技术无法达到要求,较亮的虚像面会在如隧道这种较暗路段形成视野遮挡,大大增加驾驶的危险系数。
图39为特殊路段修正流程图,如图39所示,在驾驶过程中,实时获取来自导航的信号,如果前方有光线突变点,比如隧道、天桥下等,则打开特殊路段修正,当汽车距离光强突变点m米时开始定期获取车身距离突变点距离,由于导航数据的帧数通常较低,很难达到需求,需要在两次信号传入的中间,对信号进行插帧,以满足60hz以上的车身位置的获取。IMU可以实时获取汽车的线性加速度和角加速度,可以利用加速度对车身的位置进行插帧。假设某一时刻,来自导航数据的汽车位置与突变点的距离为St,则t+1时刻经过IMU数据补偿的距离为:
其中,a是从加速度计中获取的汽车的加速度。
用SM和LM代表修正开始处与突变点的距离和HUD的亮度,SN和LN代表调整结束处于突变点距离和HUD的亮度,则在距离突变点S米处的权重因子为:
当汽车在SM处时,s为1,即维持原有亮度,当汽车在SN处时,s为0,即已经修正完毕,使得汽车在距离突变点SN米处时,亮度已经达到低亮度,具体修正公式在见小节3。
HUD亮度调节
本实施例中,自动亮度调节函数采用标定加修正的方式给出,在非特殊路段的亮度调节曲线为:
其中MIN_VALUE和MAX_VALUE分别为HUD虚像面所能达到的最小亮度和最大亮度值。
在通过特殊路段时,当前计算求得的权重因子为s,亮度调节函数为:
L=LN+(LM-LN)*s
亮度值通过亮度调节模块传输给车机硬件,最终通过底软对HUD光机亮参数进行调整。
本申请实施例中,结合地理信息位置,融合虚像面环境光强与入射光机的光强进行亮度调节,调节结果更准确,更贴近驾驶员真实观感。
本申请实施例中,考虑汽车车身位置与光强突变区域的距离,进行HUD虚像面亮度预调整,避免光窗由于调整的滞后遮挡视线,大大降低驾驶危险,保障随车人员的安全。
本申请实施例中通过采用特殊路段管理模块实时结算车身与突变点的距离,利用距离对亮度调整进行加权修正。从而在距离突变点规定的距离之外完成调节,避免调节滞后光窗遮挡视线。
本申请实施例中通过获取虚像面附近光强同时,计算入射光机的光强,综合这两部分光线来为后续亮度调节提供依据;从而更加全面的考虑光强来源,HUD虚像面亮度调节更符合人眼的真实观感,调节更加准确。
本申请实施例涉及的部分缩略语:增强现实(Augmented Reality,AR)、抬头显示(head up display,HUD)、全球定位***(Global Positioning System,GPS)、惯性测量单元(Inertial Measurement Unit,IMU)
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现上述任一方法实施例中的方法流程。
本申请实施例还提供了一种计算机程序或包括计算机程序的一种计算机程序产品,该计算机程序在某一计算机上执行时,将会使所述计算机实现上述任一方法实施例中的方法流程。
本申请实施例还提供了一种芯片,包括:处理模块与通信接口,所述处理模块能执行上述任一方法实施例中的方法流程。
应理解,本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解,本文中涉及的第一、第二以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请的范围。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,部分或全部步骤可以并行执行或先后执行,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,网络设备或者终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请各方法实施例之间相关部分可以相互参考;各装置实施例所提供的装置用于执行对应的方法实施例所提供的方法,故各装置实施例可以参考相关的方法实施例中的相关部分进行理解。
本申请各装置实施例中给出的装置结构图仅示出了对应的装置的简化设计。在实际应用中,该装置可以包含任意数量的发射器,接收器,处理器,存储器等,以实现本申请各装置实施例中该装置所执行的功能或操作。
本申请各实施例中提供的消息/帧/指示信息、模块或单元等的名称仅为示例,可以使用其他名称,只要消息/帧/指示信息、模块或单元等的作用相同即可。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关硬件来完成,所述的程序可以存储于一个设备的可读存储介质中,该程序在执行时,包括上述全部或部分步骤,所述的存储介质,如:FLASH、EEPROM等。
Claims (28)
1.一种显示方法,其特征在于,所述方法包括:
获取车辆对应的环境信息;所述环境信息包括光强信息和/或位置信息;
根据所述环境信息,调节所述车辆的显示设备的显示方式;所述显示方式包括:显示亮度、显示位置、显示内容、显示颜色、显示风格、或显示大小中的至少一项。
2.根据权利要求1所述的方法,其特征在于,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;
所述根据所述环境信息,调节所述车辆的显示设备的显示方式,包括:
根据所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置,调节所述车辆的显示设备的显示方式。
3.根据权利要求1所述的方法,其特征在于,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;
所述根据所述环境信息,调节所述车辆的显示设备的显示方式,包括:
根据所述车辆的位置和/或所述环境光被遮挡区域的位置,确定所述车辆与所述环境光被遮挡区域之间的第一距离;
根据所述第一距离,调节所述显示设备的显示方式。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述显示方式包括第一显示亮度;所述光强信息包括:所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度;
所述根据所述环境信息,调节所述车辆的显示设备的显示方式,还包括:
根据所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度,调节所述显示设备的第一显示亮度;其中,所述第一显示亮度与所述显示设备的光学元件接收到的环境光的强度正相关、与所述显示设备成像位置对应的环境光的强度正相关。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述光强信息还包括所述显示设备至少一个成像区域对应的环境光的强度,所述显示方式包括显示位置;
所述根据所述环境信息,调节所述车辆的显示设备的显示方式,还包括:
根据所述显示设备至少一个成像区域对应的环境光的强度,确定目标成像区域;
根据所述目标成像区域,调节所述显示设备的显示位置。
6.根据权利要求3-5中任一项所述的方法,其特征在于,所述根据所述第一距离,调节所述显示设备的显示方式,还包括:
在所述第一距离小于预设距离的情况下,调节所述显示设备的显示方式。
7.根据权利要求3-6中任一项所述的方法,其特征在于,所述显示方式包括第二显示亮度;
所述根据所述第一距离,调节所述显示设备的显示方式,还包括:
根据所述第一距离,调节所述第二显示亮度,其中,所述第二显示亮度与所述第一距离负相关。
8.根据权利要求4-6中任一项所述的方法,其特征在于,所述显示设备包括抬头显示器HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;
所述获取车辆对应的环境信息,包括:
获取所述HUD光机的出光口处接收到的环境光对应的入射角度、所述HUD出射光线对应的出射角度及所述HUD光机的出光口处接收到的环境光的强度;
根据所述入射角度、所述出射角度及所述出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述出光口处接收到的环境光的强度正相关,与所述入射角度和所述出射角度的差值负相关。
9.根据权利要求4-7中任一项所述的方法,其特征在于,所述显示设备包括HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;
所述获取车辆对应的环境信息,还包括:
确定所述环境光与水平面的第一夹角、所述环境光在水平面的投影与所述车辆的行进方向的第二夹角;确定所述HUD出射光线与水平面的第三夹角、所述HUD出射光线在水平面的投影与所述车辆的行进方向的第四夹角;
确定所述第一夹角与所述第三夹角的第一差值,以及所述第二夹角与所述第四夹角的第二差值;
根据所述第一差值、第二差值及所述HUD光机的出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述HUD光机的出光口处接收到的环境光的强度正相关、与所述第一差值负相关、与所述第二差值负相关。
10.根据权利要求5-8中任一项所述的方法,其特征在于,所述获取车辆对应的环境信息,还包括:
获取所述车辆前方的图像信息及人眼位置;
根据所述图像信息及所述人眼位置,确定所述显示设备至少一个成像区域对应的环境光的强度。
11.根据权利要求3-10中任一项所述的方法,其特征在于,所述环境光包括直射的太阳光和/或经由反光物体反射的太阳光。
12.根据权利要求6-11中任一项所述的方法,其特征在于,所述方法还包括:获取所述环境光被遮挡区域对应的标志点与所述环境光被遮挡区域之间的距离,其中,所述标志点设置于所述环境光被遮挡区域外;
所述根据所述第一距离,调节所述显示设备的显示方式,包括:
根据所述第一距离、所述预设距离及所述标志点与所述环境光被遮挡区域之间距离,调节所述显示设备的显示方式。
13.一种电子装置,其特征在于,包括:
获取模块,用于获取车辆对应的环境信息;所述环境信息包括光强信息和/或位置信息;
调节模块,用于根据所述环境信息,调节所述车辆的显示设备的显示方式;所述显示方式包括:显示亮度、显示位置、显示内容、显示颜色、显示风格、或显示大小中的至少一项。
14.根据权利要求13所述的装置,其特征在于,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;
所述调节模块,还用于:根据所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置,调节所述车辆的显示设备的显示方式。
15.根据权利要求13所述的装置,其特征在于,所述位置信息包括所述车辆的位置和/或所述车辆行进方向上环境光被遮挡区域的位置;
所述调节模块,还用于:根据所述车辆的位置和/或所述环境光被遮挡区域的位置,确定所述车辆与所述环境光被遮挡区域之间的第一距离;根据所述第一距离,调节所述显示设备的显示方式。
16.根据权利要求13-15中任一项所述的装置,其特征在于,所述显示方式包括第一显示亮度;所述光强信息包括:所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度;
所述调节模块,还用于:根据所述显示设备的光学元件接收到的环境光的强度和/或所述显示设备成像位置对应的环境光的强度,调节所述显示设备的第一显示亮度;其中,所述第一显示亮度与所述显示设备的光学元件接收到的环境光的强度正相关、与所述显示设备成像位置对应的环境光的强度正相关。
17.根据权利要求13-16中任一项所述的装置,其特征在于,所述光强信息还包括所述显示设备至少一个成像区域对应的环境光的强度,所述显示方式包括显示位置;
所述调节模块,还用于:根据所述显示设备至少一个成像区域对应的环境光的强度,确定目标成像区域;根据所述目标成像区域,调节所述显示设备的显示位置。
18.根据权利要求15-17中任一项所述的装置,其特征在于,所述调节模块,还用于:在所述第一距离小于预设距离的情况下,调节所述显示设备的显示方式。
19.根据权利要求15-18中任一项所述的装置,其特征在于,所述显示方式包括第二显示亮度;
所述调节模块,还用于:根据所述第一距离,调节所述第二显示亮度,其中,所述第二显示亮度与所述第一距离负相关。
20.根据权利要求16-18中任一项所述的装置,其特征在于,所述显示设备包括抬头显示器HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;
所述获取模块,还用于:获取所述HUD光机的出光口处接收到的环境光对应的入射角度、所述HUD出射光线对应的出射角度及所述HUD光机的出光口处接收到的环境光的强度;根据所述入射角度、所述出射角度及所述出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述出光口处接收到的环境光的强度正相关,与所述入射角度和所述出射角度的差值负相关。
21.根据权利要求16-19中任一项所述的装置,其特征在于,所述显示设备包括HUD,所述光强信息包括:所述HUD光机的光学元件接收到的环境光的强度;
所述获取模块,还用于:确定所述环境光与水平面的第一夹角、所述环境光在水平面的投影与所述车辆的行进方向的第二夹角;确定所述HUD出射光线与水平面的第三夹角、所述HUD出射光线在水平面的投影与所述车辆的行进方向的第四夹角;确定所述第一夹角与所述第三夹角的第一差值,以及所述第二夹角与所述第四夹角的第二差值;根据所述第一差值、第二差值及所述HUD光机的出光口处接收到的环境光的强度,确定所述HUD光机的光学元件接收到的环境光的强度;其中,所述HUD光机的光学元件接收到的环境光的强度与所述HUD光机的出光口处接收到的环境光的强度正相关、与所述第一差值负相关、与所述第二差值负相关。
22.根据权利要求17-20中任一项所述的装置,其特征在于,所述获取模块,还用于:获取所述车辆前方的图像信息及人眼位置;根据所述图像信息及所述人眼位置,确定所述显示设备至少一个成像区域对应的环境光的强度。
23.根据权利要求15-22中任一项所述的装置,其特征在于,所述环境光包括直射的太阳光和/或经由反光物体反射的太阳光。
24.根据权利要求18-23中任一项所述的装置,其特征在于,所述获取模块,还用于:获取所述环境光被遮挡区域对应的标志点与所述环境光被遮挡区域之间的距离,其中,所述标志点设置于所述环境光被遮挡区域外;
所述调节模块,还用于:根据所述第一距离、所述预设距离及所述标志点与所述环境光被遮挡区域之间距离,调节所述显示设备的显示方式。
25.一种电子装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令时实现权利要求1-12中任意一项所述的方法。
26.一种显示***,其特征在于,包括:
显示设备;
采集设备,用于采集环境信息;
如权利要求13-25中任意一项所述的电子装置。
27.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储了程序代码,所述程序代码电子装置或电子装置中的处理器执行时,以实现如权利要求1至12任一所示的显示方法。
28.一种计算机程序产品,其特征在于:所述计算机程序产品包含的程序代码被电子装置或电子装置中的处理器执行时,以实现如权利要求1至12任一所示的显示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280040437.0A CN117940301A (zh) | 2021-12-23 | 2022-11-30 | 一种显示方法、装置及*** |
PCT/CN2022/135510 WO2023116377A1 (zh) | 2021-12-23 | 2022-11-30 | 一种显示方法、装置及*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021115935149 | 2021-12-23 | ||
CN202111593514 | 2021-12-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116343698A true CN116343698A (zh) | 2023-06-27 |
Family
ID=86879528
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210324495.8A Pending CN116343698A (zh) | 2021-12-23 | 2022-03-29 | 一种显示方法、装置及*** |
CN202280040437.0A Pending CN117940301A (zh) | 2021-12-23 | 2022-11-30 | 一种显示方法、装置及*** |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280040437.0A Pending CN117940301A (zh) | 2021-12-23 | 2022-11-30 | 一种显示方法、装置及*** |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN116343698A (zh) |
WO (1) | WO2023116377A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116974417A (zh) * | 2023-07-25 | 2023-10-31 | 江苏泽景汽车电子股份有限公司 | 显示控制方法及装置、电子设备、存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009265061A (ja) * | 2008-04-30 | 2009-11-12 | Hitachi Ltd | ナビゲーション装置 |
CN105501123A (zh) * | 2016-02-03 | 2016-04-20 | 苏州全谱光电科技有限公司 | 一种车载平视增强显示*** |
JP6750531B2 (ja) * | 2017-02-21 | 2020-09-02 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
CN112396998B (zh) * | 2019-08-14 | 2022-09-16 | 海信视像科技股份有限公司 | 车载显示的控制***、方法及装置 |
CN113077747A (zh) * | 2021-03-25 | 2021-07-06 | 广州小鹏汽车科技有限公司 | 车载显示屏控制方法、装置、车辆及存储介质 |
CN113442833B (zh) * | 2021-08-30 | 2021-11-30 | 宁波均联智行科技股份有限公司 | 一种车辆出入隧道时的辅助显示方法及装置 |
-
2022
- 2022-03-29 CN CN202210324495.8A patent/CN116343698A/zh active Pending
- 2022-11-30 CN CN202280040437.0A patent/CN117940301A/zh active Pending
- 2022-11-30 WO PCT/CN2022/135510 patent/WO2023116377A1/zh active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116974417A (zh) * | 2023-07-25 | 2023-10-31 | 江苏泽景汽车电子股份有限公司 | 显示控制方法及装置、电子设备、存储介质 |
CN116974417B (zh) * | 2023-07-25 | 2024-03-29 | 江苏泽景汽车电子股份有限公司 | 显示控制方法及装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023116377A1 (zh) | 2023-06-29 |
CN117940301A (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11287651B2 (en) | Reconfigurable optics for multi-plane heads-up displays | |
EP3544283B1 (en) | Image processing device | |
US8733938B2 (en) | Virtual convertible tops, sunroofs, and back windows, and systems and methods for providing same | |
JP5181939B2 (ja) | 車両用計器表示装置、車両用計器表示方法及びコンピュータプログラム | |
US9267808B2 (en) | Visual guidance system | |
US8536995B2 (en) | Information display apparatus and information display method | |
US20190016256A1 (en) | Projection of a Pre-Definable Light Pattern | |
US11295702B2 (en) | Head-up display device and display control method | |
CN109690634A (zh) | 增强现实显示器 | |
US20070003162A1 (en) | Image generation device, image generation method, and image generation program | |
GB2544884A (en) | Utilization of video see-through to make an occupant of a vehicle aware of an imminent event that will cause a sudden decrease in ride smoothness | |
US20130194110A1 (en) | Automotive augmented reality head-up display apparatus and method | |
CN110869901A (zh) | 车辆用的用户界面装置和车辆 | |
WO2014162182A1 (en) | Head-up display apparatus and control method of head-up display apparatus | |
JP6750531B2 (ja) | 表示制御装置及び表示制御プログラム | |
US11610342B2 (en) | Integrated augmented reality system for sharing of augmented reality content between vehicle occupants | |
EP3811326B1 (en) | Heads up display (hud) content control system and methodologies | |
CN117916706A (zh) | 在行驶期间在机动车中运行智能眼镜的方法、可相应运行的智能眼镜及机动车 | |
WO2023116377A1 (zh) | 一种显示方法、装置及*** | |
US11828947B2 (en) | Vehicle and control method thereof | |
US20210318560A1 (en) | Information processing device, information processing method, program, and mobile object | |
US11747628B2 (en) | AR glasses | |
US11836964B2 (en) | Devices, systems and methods for scene image acquisition | |
JPWO2019111307A1 (ja) | 表示制御装置及び表示制御方法 | |
WO2023145852A1 (ja) | 表示制御装置、表示システム、及び表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |