CN113986165B - 显示控制方法、电子装置及可读存储介质 - Google Patents
显示控制方法、电子装置及可读存储介质 Download PDFInfo
- Publication number
- CN113986165B CN113986165B CN202111177747.0A CN202111177747A CN113986165B CN 113986165 B CN113986165 B CN 113986165B CN 202111177747 A CN202111177747 A CN 202111177747A CN 113986165 B CN113986165 B CN 113986165B
- Authority
- CN
- China
- Prior art keywords
- electronic device
- dimensional environment
- environment video
- video
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 230000007613 environmental effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 208000002173 dizziness Diseases 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 14
- 201000003152 motion sickness Diseases 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000931705 Cicada Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种显示控制方法、电子装置及可读存储介质。该方法应用于电子装置,电子装置处于车辆设备运行下的乘车环境中,包括:获取车辆设备外部的三维环境视频;获取电子装置与车辆设备之间的相对姿态信息;根据相对姿态信息和三维环境视频生成与电子装置视角对应的二维环境视频;根据二维环境视频控制电子装置的显示画面。通过上述方式,本申请能够根据二维环境视频控制电子装置的显示画面,使得用户可以通过观看电子装置的显示屏获知二维环境视频的信息,即便电子装置发生移动,也能通过同步变化的二维环境视频降低用户的眩晕感。
Description
技术领域
本申请涉及电子装置显示领域,特别是涉及显示控制方法、电子装置及可读存储介质。
背景技术
经过长期研究发现,在乘坐交通工具的同时玩手机、平板电脑或操作其他电子设备,容易引发晕车。目前有3种常用的防晕车方式,一是药物防晕车方式,包括晕车药、防晕车饮料等,二是佩戴型设备防晕车方式,包括防晕车耳机、防晕车手环、防晕车眼镜等;第三是环境防晕车方式,包括防晕车座椅、防晕车车窗等,没有应对因玩电子设备而晕车的方案。
发明内容
本申请主要提供一种显示控制方法、电子装置及可读存储介质,能够解决现有技术电子装置无法显示与用户视角一致的环境视频的问题。
为解决上述技术问题,本申请第一方面提供了一种显示控制方法,所述方法应用于电子装置,所述电子装置处于车辆设备运行下的乘车环境中,包括:获取车辆设备外部的三维环境视频;获取电子装置与车辆设备之间的相对姿态信息;根据相对姿态信息和三维环境视频生成与电子装置视角对应的二维环境视频;根据二维环境视频控制电子装置的显示画面。
为解决上述技术问题,本申请第二方面提供了一种电子装置,电子装置处于车辆设备运行下的乘车环境中,所述电子装置包括:获取模块,用于获取车辆设备外部的三维环境视频,以及获取电子装置与车辆设备之间的相对姿态信息;视频生成模块,用于根据所述相对姿态信息生成与用户视角对应的二维环境视频;显示模块,用于根据所述二维环境视频控制所述电子装置的显示画面。
为解决上述技术问题,本申请第三方面提供了一种电子装置,包括相互耦接的处理器和存储器,所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序,以实现上述第一方面提供的电子装置的显示控制方法。
为解决上述技术问题,本申请第四方面提供了一种计算机可读存储介质,计算机可读存储介质存储有程序数据,所述程序数据被处理器执行时,实现上述第一方面提供的电子装置的显示控制方法。
本申请的有益效果是:区别于现有技术的情况,本申请上述方法应用于电子装置,电子装置处于车辆设备运行下的乘车环境中,该方法通过获取车辆设备外部的三维环境视频,以及获取电子装置与车辆设备之间的相对姿态信息,后根据相对姿态信息和三维环境视频生成与用户视角对应的二维环境视频,根据二维环境视频控制电子装置的显示画面。上述方式生成的二维环境视频的角度变化与电子装置的自身姿态高度适配,同时,根据二维环境视频控制电子装置的显示画面,使得用户可以通过观看电子装置的显示屏获知二维环境视频的信息,即便电子装置发生移动,也能通过同步变化的二维环境视频降低用户的眩晕感。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请显示控制方法一实施例的流程示意框图;
图2是本申请车辆设备姿态信息一实施例的示意图;
图3是本申请车辆设备与电子装置相对姿态一实施例的示意图;
图4是本申请步骤S20一实施例的流程示意框图;
图5是本申请二维环境视频与当前显示画面进行叠加显示一实施例的示意图;
图6是本申请当前显示画面缩小后与背景画面叠加显示一实施例的示意图;
图7是本申请当前显示画面缩小后与背景画面叠加显示另一实施例的示意图;
图8是本申请当前显示画面缩小后与背景画面叠加显示又一实施例的示意图;
图9是本申请当前显示画面缩小后与背景画面叠加显示再一实施例的示意图;
图10是本申请将当前显示画面中背景显示内容替换成二维环境视频一实施例的示意图;
图11是本申请车辆设备一实施例的电路结构示意框图;
图12是本申请电子装置一实施例的电路结构示意框图;
图13是本申请车辆设备另一实施例的电路结构示意框图;
图14是本申请计算机可读存储介质一实施例的电路结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解是,本文所描述的实施例可以与其他实施例结合。
请参阅图1,图1是本申请电子装置的显示控制方法一实施例的流程示意框图。本实施例包括以下步骤:
S10:获取车辆设备外部的三维环境视频,以及获取电子装置与车辆设备之间的相对姿态信息。
应当理解,本申请所提出的电子装置为可以是手机、平板电脑、笔记本电脑等用于显示图文信息或视频信息,并可与车辆设备建立通信连接的设备。车辆设备则可以是汽车、轨道交通工具等,只要是可供载人的均包括在内。
其中,电子装置可位于车辆设备的座舱内,其处于车辆设备运行下的乘车环境中。具体地,对于用户而言,用户在车辆设备的行进过程中通过电子装置获取资讯时,由于车辆设备内部发动机运转或其他外界因素影响,导致车辆设备的轻微颤动甚至颠簸,带动人体和电子装置晃动,会使用户产生眩晕感,体验感差。
请参阅图2和图3,图2是本申请车辆设备姿态信息一实施例的示意图;图3是本申请车辆设备与电子装置相对姿态一实施例的示意图。
本实施例所指姿态指的是电子装置和车辆设备在三维空间中的姿态角度。如图2所示,以飞机为例,一般的三维空间中,一个物体可以沿三个相对垂直的轴(图中所示的Pitch Axis、Roll Axis、Yaw Axis)转动,我们将沿这些轴转动的角度称为姿态角,通过定义姿态角,我们可以知道一个物体的三维空间姿态。
如图3所示,车辆设备700以汽车为例,电子装置600以手机为例,相对姿态信息是指车辆设备700和电子装置600之间姿态角的不同。如图示出了车辆设备700和电子装置600的pitch Axis姿态方向,电子装置600和车辆设备700的相对姿态是X度,因此相对姿态则为角度X。三维空间的相对姿态则可以用Pitch Axis、Roll Axis、Yaw Axis三个方向的相对姿态角来描述。
具体地,本步骤先获取电子装置与车辆设备各自的姿态信息,电子装置和车辆设备的姿态信息均可利用设于其自身的感知单元来获取,例如是惯性测量单元(IMU,Inertial Measurement Unit)来测量获得。
惯性测量单元(IMU,Inertial Measurement Unit),包含了三个单轴的加速度计和三个单轴的陀螺仪,加速度计检测物体在载体坐标***独立三轴的加速度信号,而陀螺仪检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。
其中,车辆设备外部的三维环境视频可以是车辆设备所处环境的三维环境视频,也可以是根据车辆设备的运动状态所创建的虚拟环境,再根据车辆设备的速度和角度信息生成该虚拟环境对应的三维环境视频,该虚拟环境对应的三维环境视频可以体现出相对于车辆设备运动的状态。
其中,可通过1)~3)三种实施方式获取该三维环境视频:
1)从不同视角对车辆设备的外部场景进行拍摄,并通过三维重建生成三维环境视频。
此方式可在车辆设备的各个视角安装摄像装置,利用摄像装置获取车辆设备的外部场景各个角度的图像信息,再利用这些图像信息进行三维重建,以得到三维环境视频。
2)以环视方式对车辆设备的外部场景进行拍摄直接获取三维环境视频。
此方式可利用安装于车辆设备的360度环视摄像装置直接获取车辆设备的外部场景的三维环境视频。
上述两种方式均是利用车辆设备来获取三维环境视频,电子装置与车辆设备通过WIFI(wireless fidelity,无线保真)/蓝牙等无线通信方式建立通信连接,车辆设备将三维环境视频发送到电子装置,电子装置进行后续步骤的处理并显示。
3)根据车辆设备的运动速度和姿态虚拟构建三维环境视频。
本实施方式可基于车辆设备的运动速度和姿态信息,利用虚拟三维环境构建三维环境视频。具体而言,虚拟三维环境例如可以是动漫场景或游戏场景,还可以结合卫星导航地图数据构建与车辆设备的实际外部场景结构相似度较高的三维环境视频。
在一种情况下,车辆设备的计算处理中心利用车辆设备自身的运动速度和姿态虚拟构建三维环境视频,再通过无线通信方式发送给电子装置,电子装置进行后续处理并最终显示。另一种情况是,车辆设备将其运动速度和姿态信息发送给电子装置,由电子装置来构建三维环境视频。
以上三种获取三维环境视频的方式中:
1)、2)两种方式根据车辆设备的实际外部场景重建或直接拍摄得到,获得的三维环境视频与实际外部场景完全相同,例如,对于车辆类型的车辆设备而言,所获得的三维环境视频即当前所经道路的道路及周边环境的信息,对于船舶类车辆设备而言,所获得的三维环境视频即当前所经水域及四周环境的信息,还原度高。在实现方式上,均可利用摄像装置按照设定拍摄频率高频率拍摄获取外部环境图像信息,在车辆设备的行进过程中,摄像装置不间断拍摄,便能实时获取三维环境视频,且在观感上,该三维环境视频表现出的移动速度和转向角度与车辆设备相对于外部环境的运动速度和姿态一致。
3)则是构建的虚拟场景,用户可对虚拟场景的类型或画风进行个性化设置,以使呈现出来的场景更加符合用户的偏好。在实现方式上,可先按照选择生成相应类型的静态三维场景,然后将车辆设备的运动速度和姿态信息应用于该静态三维场景,生成如上所述的三维环境视频,该三维环境视频也表现出与车辆设备一致的移动速度和转向角度。
可以理解地,上述三种方式构建三维环境视频可以是构建数字孪生体(DigitalTwin),也被称为数字映射、数字镜像。数字孪生,是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。例如,上述方式1)则是利用车辆设备的外部场景各个视角的图像,进行三维重建生成数字孪生体,在车辆设备的行进过程中,车辆设备外部场景在不断变化,实时构建的数字孪生体表现出来的速度和转向角度等与车辆设备保持一致;上述方式2)与之相似;上述方式3)将车辆设备的运动速度和姿态应用到静态数字孪生体,使之成为动态的,且表现出来的移动速度和角度与车辆设备视角的外部环境变化情况一致。
S20:根据相对姿态信息和三维环境视频生成与用户视角对应的二维环境视频。
请参阅图4,图4是本申请步骤S20一实施例的流程示意框图。具体可包括以下步骤:
S21:根据相对姿态信息和三维环境视频的视角,确定电子装置视角对应的三维环境视频的图像信息。
由于三维环境视频表现出的是车辆设备相对于环境的运动状态,其视角是车辆设备的视角。
本步骤根据车辆设备和电子装置的相对姿态信息,获取与带脑子装置视角对应的二维环境视频,使得电子装置呈现出来的二维环境视频是用户视角相符的。例如,电子装置为手机时,用户握持该手机使得手机背面朝向前方偏下的角度时,手机显示屏上显示的二维环境视频就会是三维环境视频中前方偏下角度的景象;如果手机背面朝向侧方,手机显示屏上显示的二维环境视频就会是三维环境视频中侧方的景象;在手机晃动的时候,手机显示屏上显示的二维环境视频就会跟随手机的位姿,同步变化为三维环境视频中相应角度,提高二维环境视频角度与用户视角的一致性,且,在用户改变手机角度的过程中,背景视频的变化也是连续的。
具体而言,本步骤按照设定时间间隔,截取三维环境视频中与用户视角相对应的图像信息,截取到的图像信息通过电子装置的显示屏显示出来,即构成了二维环境视频中的每一帧。
其中,电子装置的视角可通过电子装置的姿态反应,其姿态信息则可通过电子装置的IMU感知单元来获取。
S22:将连续多帧图像信息输出为二维环境视频。
将以上根据电子装置视角确定的图像信息,输出多帧,以多帧图像信息按输出时间拼接,即得到二维环境视频。
如此一来,电子装置实现了二维AR显示,且其显示的环境角度变换与用户视角高度一致,用户的体验就像是拿着一个可以移动的窗口在观察车辆设备外部环境的实时影像,在手机晃动的时候,可以降低用户的眩晕感。
S30:根据所述二维环境视频控制所述电子装置的显示画面。
在一实施例中,显示方式为:将电子装置的当前显示画面与二维环境视频进行叠加显示,使得用户可以通过电子装置同时获取操作页面的信息以及二维环境视频信息。当前显示画面为用户操作页面,例如,用户在浏览新闻时,前显示画面为新闻网页,叠加显示的方式能够将新闻网页内容和二维环境视频的内容同时显示出来,用户则可通过电子装置的显示屏同时获取到新闻网页的信息和二维环境视频信息。叠加显示的具体方式将在后文详细介绍。
在其他的实施例中,显示方式还可以是将电子装置的当前显示画面和二维环境视频分区域显示。例如,将电子装置的显示页面划分为2个或2个以上的显示区域,其至少包括第一显示区域和第二显示区域,第一显示区域用于显示当前显示画面,第二显示区域用于显示二维环境视频,如此,可通过显示屏同时将电子显示装置的当前显示画面和二维环境视频同时显示出来,使得当前显示画面和二维环境视频可被用户同时获知。
进一步地,叠加显示的方式为:以二维环境视频为背景画面,与电子装置的当前显示画面进行叠加显示。
请参阅图5,图5是本申请二维环境视频与当前显示画面进行叠加显示一实施例的示意图。该电子装置100的显示界面上,包括前景画面显示窗口102和背景画面显示窗口101,背景显示画面通过背景画面显示窗口101显示出来,前景画面通过前景画面显示窗口102显示出来,且前景画面显示窗口102叠加于背景画面显示窗口101之上显示。
可以理解地,当前显示画面可以是图像信息、视频信息或文字信息。例如,电子装置为手持电子设备时,用户可操作手持电子设备浏览新闻、读取短消息或者观看视频,用户所要获取的新闻、短消息或视频信息显示界面则为当前显示画面。
本步骤将当前显示画面作为前景画面,二维环境视频作为背景画面与当前显示画面叠加显示,能够同时将要浏览的信息和二维环境视频提供给用户,对用户而言,用户能够通过当前显示画面获取所关注的新闻、图像或视频信息,同时还能通过二维环境视频实时感知电子装置相对于环境的位置变化情况,能够有效降低由于显示设备的晃动造成的眩晕感,从而缓解晕车症状。
在一实施例中,上述以二维环境视频为背景画面与电子装置的当前显示画面进行叠加显示,具体为:将当前显示画面进行缩小并居中显示,并将二维环境视频作为背景画面。本实施例所述情况与图3中的显示状况一致。
具体而言,当前显示画面可按预设尺寸缩小,预设尺寸小于全屏显示界面的尺寸,预设尺寸与全屏显示界面的尺寸的比值在1/2-5/6之间,该比值具体可以是预设尺寸的一边与全屏显示界面的相应边之间的比值。如此,电子装置的显示屏的中央位置显示当前显示画面,背景画面则以全屏显示方式平铺于当前显示画面的下一层,背景画面可通过当前显示画面周边留出的显示区域,将其二维环境视频的部分影像信息提供给用户。
上述方式将当前显示画面进行缩小、居中,并与全屏显示的二维环境视频叠加显示,一方面能够保证当前显示页面的完整性,另一方面能够将二维环境视频的影像信息尽量完整地呈现出来。
可以理解地,请结合参阅图6和图7,背景画面显示窗口101以全屏方式显示,当前显示画面进行缩小显示后,前景画面显示窗口102可位于全屏显示界面的正中央位置,即背景画面显示窗口101的中心点O与前景画面显示窗口102的中心点O’重合;前景画面显示窗口102的中心点O’亦可不与背景画面显示窗口101的中心点O重合。
请结合参阅图8和图9,除了上述情况之外,缩小显示的前景画面显示窗口102的一边或两相邻边还可以与背景画面显示窗口101的相应边重合,即,前景画面显示窗口102在边缘位置显示。例如,图6所示前景显示窗口102的第一边1021与背景画面显示窗口101的第一边1011重合;图7所示前景显示窗口102的第一边1021与背景画面显示窗口101的第一边1011重合,前景显示窗口102的第二边1022与背景画面显示窗口101的第二边1012重合,方便单手操作。
在其他叠加显示方式中,缩小显示的前景画面显示窗口102为可移动操作的窗口,用户可按照观看习惯,设置前景画面显示窗口在显示屏上的位置。
在另一实施例中,上述以二维环境视频为背景画面与电子装置的当前显示画面进行叠加显示,具体为:确定当前显示画面中的前景显示内容和背景显示内容,将背景显示内容替换成二维环境视频。
请参参阅图10,图10是本申请将当前显示画面中的背景显示内容替换成二维环境视频一实施例的示意图,电子装置100的显示界面上叠加显示当前显示画面中的前景显示内容103和背景显示内容104,前景显示内容为文字信息。
具体而言,在前景画面的内容为文字或桌面图标时,例如在用户阅读新闻资讯、阅读电子书、读取短信消息时,前景画面的内容主要为文字,返回桌面时,前景画面的内容主要为桌面图标,此时,文字、图标才是用户主要关注的内容,其背景显示内容中的背景底色、图案、桌面壁纸等则不是需要关注的信息,则将显示内容替换成二维环境视频,使得二维环境视频与文字或桌面图标叠加显示,在视觉上,桌面图标或文字浮于二维环境视频之上,环境视频数据仍可通过图标或文字之间的间隙显示出来,二维环境视频的显示范围达到最大限度,能够增强用户对环境因素的感知,进一步降低由于乘车时操作电子装置而导致的眩晕感。
在其他实施例中,还可对二维环境视频进行透明度调节。具体而言,在二维环境视频的色度、饱和度等颜色参数超过设定值时,由于显示屏同时显示前景画面和内容为二维环境视频的背景画面,二维环境视频会对用户获取前景画面信息产生干扰,用户体验差,对二维环境视频进行透明度调节后,其可以为用户提供环境信息,又不至于对用户产生过分的视觉干扰。
其中,可按预设透明度对二维环境视频进行透明度调节,预设透明度在20%-80%之间。调节透明度的操作既可由电子装置的计算处理模块完成,也可在显示界面提供UI操作模块,以供用户手动操作调节。
此外,还可以根据车辆设备所检测的外部环境亮度和车辆设备或电子装置所检测车辆设备座舱内的内部环境亮度对二维环境视频进行亮度或透明度调节。具体来说,大部分车辆设备的窗户都进行贴膜,导致用户在座舱内感受的外部环境明显暗于实际的外部环境。因为,为了更好地模拟真实情况,可通过外部环境亮度和内部环境亮度之间的差异对二维环境视频进行亮度或透明度调节,二者的差异越大,二维环境视频的亮度越低或透明度越高。
区别于现有技术,本申请上述方案可以同时显示用户要操作的页面信息和二维环境视频信息,能够最大限度地保证显示出来的二维环境视频与电子装置的姿态相一致,实现AR显示以及二维环境视频与图像、视频或文字的叠加显示,降低用户在车辆设备行进过程中操作电子装置而导致的眩晕。
请参阅图11,图11是本申请车辆设备一实施例的电路结构示意框图。该车辆设备200设有摄像模块201、处理模块202以及通信模块203,如上所述,摄像模块201可包括多个摄像头,以采集到各个角度的环境图像,也可只包括一360度环视摄像头,用于获取车辆设备200的外部场景三维环境视频;处理模块202连接摄像模块201,在需要利用图像信息进行三维重建时,接收摄像模块201发送的图像信息,以利用图像信息重构得到三维环境视频;通信模块203连接处理模块202和摄像模块201,并与电子装置通信连接,用于将三维环境视频发送给电子装置。
处理模块202还可用于根据车辆设备200自身的运动速度和姿态虚拟构建三维环境视频,通信模块203将三维环境视频发送给电子装置。
其中,通信模块203例如为WIFI或蓝牙等无线通信模块。
请参阅图12,图12是本申请电子装置一实施例的电路结构示意框图。电子装置300处于车辆设备运行下的乘车环境中,电子装置300包括获取模块301、视频生成模块302以及显示模块303,其中,获取模块301用于获取车辆设备外部的三维环境视频,以及获取电子装置300与车辆设备之间的相对姿态信息,其中;视频生成模块302用于根据相对姿态信息和三维环境视频生成与电子装置300视角对应的二维环境视频;显示模块303用于根据二维环境视频控制电子装置300的显示画面。
可选地,显示模块303还用于以所述二维环境视频为背景画面与所述电子装置的当前显示画面进行叠加显示。
可选地,显示模块303还用于将所述当前显示画面进行缩小并居中显示,并将所述二维环境视频作为所述背景画面进行叠加显示。
可选地,显示模块303还用于确定所述当前显示画面中的前景显示内容和背景显示内容,并将所述背景显示内容替换成所述二维环境视频。
可选地,电子装置300还包括调节模块,用于对所述二维环境视频进行透明度和/或亮度调节。
可选地,电子装置300还可包括通信模块,用于接收车辆设备发送的三维环境视频,视频生成模块302根据三维环境视频生成二维环境视频;或者,电子装置300还可包括构建模块,通信模块用于接收车辆设备发送的车辆设备的运动速度和姿态信息,并发送给构建模块,构建模块根据车辆设备的运动速度和姿态信息生成三维环境视频。
关于电子装置300的各模块处理执行的各步骤的描述请参照上述本申请电子装置的显示控制方法实施例的各步骤的描述,在此不再赘述。
请参阅图13,图13为本申请电子装置另一实施例的电路结构示意框图。电子装置400包括相互耦接的处理器401和存储器402,存储器402中存储有计算机程序,处理器401用于执行计算机程序以实现上述各实施例所述的电子装置的显示控制方法。
关于处理执行的各步骤的描述请参照上述本申请电子装置的显示控制方法实施例的各步骤的描述,在此不再赘述。
存储器402可用于存储程序数据以及模块,处理器401通过运行存储在存储器402的程序数据以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子装置400的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
在一些具体实施例中,电子装置400不限于包括电视机、桌面型计算机、膝上型计算机、手持计算机、可穿戴设备、头戴式显示器、阅读器设备、便携式音乐播放器、便携式游戏机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,简称:UMPC)、上网本,以及蝉窝电话、个人数字助理(personaldigital assistant,简称:PDA)、增强现实(augmented reality,简称:AR)。
在本申请的各实施例中,所揭露的电子装置的显示控制方法、电子装置,可以通过其它的方式实现。例如,以上所描述的车辆设备和电子装置的各实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中。
参阅图14,图14为本申请计算机可读存储介质一实施例的电路结构示意框图,计算机可读存储介质500存储有程序数据510,程序数据510被执行时实现如上述显示控制方法各实施例的步骤。
关于处理执行的各步骤的描述请参照上述本申请电子装置的显示控制方法实施例的各步骤的描述,在此不再赘述。
计算机可读存储介质500可以是U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种显示控制方法,其特征在于,应用于电子装置,所述电子装置处于车辆设备运行下的乘车环境中,所述方法包括:
获取所述车辆设备外部的三维环境视频;
获取所述电子装置与所述车辆设备之间的相对姿态信息;其中,所述相对姿态信息实时变化;
根据所述相对姿态信息和所述三维环境视频生成与所述电子装置视角对应的二维环境视频;其中,所述二维环境视频的角度变化与所述电子装置的自身姿态高度适配,以及所述二维环境视频的角度与用户视角一致;
将所述电子装置的当前显示画面进行缩小并居中,并将所述二维环境视频作为背景画面进行叠加显示;或者
确定所述电子装置的当前显示画面中的前景显示内容和背景显示内容,将所述背景显示内容替换成所述二维环境视频。
2.根据权利要求1所述的方法,其特征在于,所述根据所述相对姿态信息和所述三维环境视频生成与所述电子装置视角对应的二维环境视频的步骤包括:
根据所述相对姿态信息和所述三维环境视频的视角,确定所述电子装置视角对应的所述三维环境视频的图像信息;
将连续多帧所述图像信息输出为二维环境视频。
3.根据权利要求1所述的方法,其特征在于,所述三维环境视频通过以下方式获得:
从不同视角对所述车辆设备的外部场景进行拍摄,并通过三维重建生成所述三维环境视频。
4.根据权利要求1所述的方法,其特征在于,所述三维环境视频通过以下方式获得:
以环视方式对所述车辆设备的外部场景进行拍摄直接获取所述三维环境视频。
5.根据权利要求1所述的方法,其特征在于,所述三维环境视频通过以下方式获得:
根据所述车辆设备的运动速度和姿态虚拟构建所述三维环境视频。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述二维环境视频显示过程中,对所述二维环境视频进行透明度和/或亮度调节。
7.一种电子装置,其特征在于,所述电子装置处于车辆设备运行下的乘车环境中,所述电子装置包括:
获取模块,用于获取车辆设备外部的三维环境视频,以及获取电子装置与车辆设备之间的相对姿态信息;其中,所述相对姿态信息实时变化;
视频生成模块,用于根据所述相对姿态信息和三维环境视频生成与所述电子装置视角对应的二维环境视频;其中,所述二维环境视频的角度变化与所述电子装置的自身姿态高度适配,以及所述二维环境视频的角度与用户视角一致;
显示模块,用于将所述电子装置的当前显示画面进行缩小并居中,并将所述二维环境视频作为背景画面进行叠加显示;或者,确定所述电子装置的当前显示画面中的前景显示内容和背景显示内容,将所述背景显示内容替换成所述二维环境视频。
8.一种电子装置,其特征在于,所述电子装置包括相互耦接的处理器和存储器;所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如权利要求1-6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序数据,所述程序数据被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111177747.0A CN113986165B (zh) | 2021-10-09 | 2021-10-09 | 显示控制方法、电子装置及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111177747.0A CN113986165B (zh) | 2021-10-09 | 2021-10-09 | 显示控制方法、电子装置及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113986165A CN113986165A (zh) | 2022-01-28 |
CN113986165B true CN113986165B (zh) | 2024-04-26 |
Family
ID=79737960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111177747.0A Active CN113986165B (zh) | 2021-10-09 | 2021-10-09 | 显示控制方法、电子装置及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113986165B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107089191A (zh) * | 2016-02-18 | 2017-08-25 | 索尼公司 | 用于车辆信息学和虚拟现实的主动窗户 |
CN109416842A (zh) * | 2016-05-02 | 2019-03-01 | 华纳兄弟娱乐公司 | 在虚拟现实和增强现实中的几何匹配 |
CN109823173A (zh) * | 2019-03-08 | 2019-05-31 | 浙江吉利汽车研究院有限公司 | 一种防晕车的动态显示方法及*** |
CN110036635A (zh) * | 2016-12-28 | 2019-07-19 | 微软技术许可有限责任公司 | 用于使用视频捕获设备经由针对乘客的增强的显示来缓解晕动病的***、方法和计算机可读介质 |
CN110769905A (zh) * | 2017-06-16 | 2020-02-07 | 本田技研工业株式会社 | 车内演出装置、车内演出***、车内演出方法、程序及指示计测装置 |
CN111103688A (zh) * | 2019-12-11 | 2020-05-05 | 塔普翊海(上海)智能科技有限公司 | 一种防晕眩设备、***和方法 |
CN111103584A (zh) * | 2018-10-10 | 2020-05-05 | Zf 腓德烈斯哈芬股份公司 | 用于获知车辆的环境中的物体的高度信息的设备和方法 |
CN111182940A (zh) * | 2017-10-04 | 2020-05-19 | 奥迪股份公司 | 在车辆中无晕动症地观看数字式内容 |
CN111491584A (zh) * | 2017-12-15 | 2020-08-04 | 美敦力公司 | 用于优化介入心脏病学工具的定向接近和治疗递送的增强现实解决方案 |
CN111824177A (zh) * | 2019-04-10 | 2020-10-27 | 重庆金康新能源汽车有限公司 | 一种车辆仪表***、提醒方法、汽车以及存储介质 |
CN112369051A (zh) * | 2018-05-18 | 2021-02-12 | 法雷奥舒适驾驶助手公司 | 用于车辆乘员和远程用户的共享环境 |
CN112839190A (zh) * | 2021-01-22 | 2021-05-25 | 九天华纳(北京)科技有限公司 | 虚拟图像与现实场景同步视频录制或直播的方法 |
CN113377482A (zh) * | 2021-07-06 | 2021-09-10 | 浙江商汤科技开发有限公司 | 显示方法、装置、电子设备以及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201702309D0 (en) * | 2017-02-13 | 2017-03-29 | Jaguar Land Rover Ltd | An apparatus and a method for controlling a head-up display of a vehicle |
-
2021
- 2021-10-09 CN CN202111177747.0A patent/CN113986165B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107089191A (zh) * | 2016-02-18 | 2017-08-25 | 索尼公司 | 用于车辆信息学和虚拟现实的主动窗户 |
CN109416842A (zh) * | 2016-05-02 | 2019-03-01 | 华纳兄弟娱乐公司 | 在虚拟现实和增强现实中的几何匹配 |
CN110036635A (zh) * | 2016-12-28 | 2019-07-19 | 微软技术许可有限责任公司 | 用于使用视频捕获设备经由针对乘客的增强的显示来缓解晕动病的***、方法和计算机可读介质 |
CN110769905A (zh) * | 2017-06-16 | 2020-02-07 | 本田技研工业株式会社 | 车内演出装置、车内演出***、车内演出方法、程序及指示计测装置 |
CN111182940A (zh) * | 2017-10-04 | 2020-05-19 | 奥迪股份公司 | 在车辆中无晕动症地观看数字式内容 |
CN111491584A (zh) * | 2017-12-15 | 2020-08-04 | 美敦力公司 | 用于优化介入心脏病学工具的定向接近和治疗递送的增强现实解决方案 |
CN112369051A (zh) * | 2018-05-18 | 2021-02-12 | 法雷奥舒适驾驶助手公司 | 用于车辆乘员和远程用户的共享环境 |
CN111103584A (zh) * | 2018-10-10 | 2020-05-05 | Zf 腓德烈斯哈芬股份公司 | 用于获知车辆的环境中的物体的高度信息的设备和方法 |
CN109823173A (zh) * | 2019-03-08 | 2019-05-31 | 浙江吉利汽车研究院有限公司 | 一种防晕车的动态显示方法及*** |
CN111824177A (zh) * | 2019-04-10 | 2020-10-27 | 重庆金康新能源汽车有限公司 | 一种车辆仪表***、提醒方法、汽车以及存储介质 |
CN111103688A (zh) * | 2019-12-11 | 2020-05-05 | 塔普翊海(上海)智能科技有限公司 | 一种防晕眩设备、***和方法 |
CN112839190A (zh) * | 2021-01-22 | 2021-05-25 | 九天华纳(北京)科技有限公司 | 虚拟图像与现实场景同步视频录制或直播的方法 |
CN113377482A (zh) * | 2021-07-06 | 2021-09-10 | 浙江商汤科技开发有限公司 | 显示方法、装置、电子设备以及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113986165A (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11914147B2 (en) | Image generation apparatus and image generation method using frequency lower than display frame rate | |
US11826649B2 (en) | Water wave rendering of a dynamic object in image frames | |
KR102256706B1 (ko) | 부드럽게 변화하는 포비티드 렌더링 | |
CN108241213B (zh) | 头戴式显示器及其控制方法 | |
US20200241731A1 (en) | Virtual reality vr interface generation method and apparatus | |
US20170076425A1 (en) | Electronic device and method for displaying an image on head mounted display device | |
US10999412B2 (en) | Sharing mediated reality content | |
CN104394452A (zh) | 一种智能移动终端的浸入式视频呈现方法 | |
US11244496B2 (en) | Information processing device and information processing method | |
US11698258B1 (en) | Relative inertial measurement system with visual correction | |
CN114514493A (zh) | 增强设备 | |
CN114174957A (zh) | 使用事件相机的像素传感器进行跟踪 | |
CN112396705A (zh) | 使用过渡视觉内容缓解小视场显示 | |
CN113986165B (zh) | 显示控制方法、电子装置及可读存储介质 | |
US11366318B2 (en) | Electronic device and control method thereof | |
US20200097707A1 (en) | Camera Module and Extended Reality System Using the Same | |
JP5660573B2 (ja) | 表示制御装置、表示制御方法、プログラム及び記録媒体 | |
WO2023179442A1 (zh) | 一种3d显示方法以及装置 | |
US20170052684A1 (en) | Display control apparatus, display control method, and program | |
KR101923640B1 (ko) | 가상 현실 방송을 제공하는 방법 및 장치 | |
CN115770386A (zh) | 控制运动物体运动的方法、装置、设备及介质 | |
CN116248849A (zh) | 一种图片显示方法、装置、移动设备及存储介质 | |
CN117765207A (zh) | 虚拟界面的显示方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |