CN111240626A - 一种基于Hypervisor智能座舱操作***双屏互动的方法和*** - Google Patents
一种基于Hypervisor智能座舱操作***双屏互动的方法和*** Download PDFInfo
- Publication number
- CN111240626A CN111240626A CN202010023848.1A CN202010023848A CN111240626A CN 111240626 A CN111240626 A CN 111240626A CN 202010023848 A CN202010023848 A CN 202010023848A CN 111240626 A CN111240626 A CN 111240626A
- Authority
- CN
- China
- Prior art keywords
- central control
- screen
- screen end
- hypervisor
- frame buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims abstract description 44
- 230000001360 synchronised effect Effects 0.000 claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 25
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 3
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000004083 survival effect Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000009977 dual effect Effects 0.000 abstract description 3
- 238000005266 casting Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004224 protection Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种基于Hypervisor智能座舱操作***的双屏互动方法，包括以下步骤：在中控显示触摸屏端构建中控显示虚拟扩展屏端，并创建与中控显示虚拟扩展屏对应的framebuffer物理地址，然后将需要交互的中控显示虚拟扩展屏端显示界面与仪表显示屏端显示界面进行合成后写入该framebuffer物理地址中进行传输；利用Hypervisor***创建用于传输该framebuffer物理地址的通讯机制，用于图像信息控制的异步通知机制、用于实时的图像信息信号同步机制和用于同步等待的图像保活信息心跳通知机制。本发明采用一个处理器，在Hypervisor虚拟化技术上实现在双***两个屏上，不需要额外的硬件物理连接方式，同时开启独立应用显示图像信息的功能，并实现双屏交互方式，降低智能座舱操作***的硬件成本。
Description
技术领域
本发明属于虚拟机技术领域，具体涉及一种基于Hypervisor智能座舱操作***双屏互动的方法和***。
背景技术
Hypervisor是一种运行在基础物理服务器和操作***之间的中间软件层，可允许多个操作***和应用共享硬件，Hypervisor也可称做虚拟机监视器(virtual machinemonitor，VMM)。Hypervisors是一种在虚拟环境中的“元”操作***，其可以访问服务器上包括磁盘和内存在内的所有物理设备。Hypervisors不但协调着这些硬件资源的访问，也同时在各个虚拟机之间施加防护。当服务器启动并执行Hypervisor时，它会加载所有虚拟机客户端的操作***同时会分配给每一台虚拟机适量的内存，CPU，网络和磁盘。随着虚拟化技术的发展，利用Hypervisor提供的虚拟机分区机制来提供安全性、隔离性、复用性，广泛应用与高性能计算、商业服务器领域，并衍生出诸多采用虚拟化方法实现ARINC653标准的嵌入式实时操作***，如XtratuM、Integrity、PikeOS等。
现有技术中，智能座舱部分的两个显示屏需要添加额外的硬件进行物理连接，无法采用一个处理器实现双屏互动，这会增加智能座舱操作***的硬件成本。
发明内容
本发明目的在于提供一种基于Hypervisor智能座舱操作***双屏互动的方法和***，用于解决现有技术中智能座舱部分的两个显示屏需要添加额外的硬件进行物理连接，无法采用一个处理器实现双屏互动，从而增加智能座舱操作***的硬件成本的问题。
为实现上述目的，本发明所采用的技术方案是：
一种基于Hypervisor智能座舱操作***的双屏互动方法，包括以下步骤：
S1、在中控显示触摸屏端构建中控显示虚拟扩展屏端，并创建与中控显示虚拟扩展屏对应的framebuffer物理地址，然后将需要交互的中控显示虚拟扩展屏端显示界面与仪表显示屏端显示界面进行合成后写入该framebuffer物理地址中进行传输；其中，中控显示屏端：用于生成车载娱乐应用的中控显示内容和生成车载仪表显示屏端交互的显示内容，还用于显示车载娱乐应用界面；中控显示虚拟扩展屏端：用于显示交互到仪表端显示屏端的内容；
S2、利用Hypervisor***创建用于传输该framebuffer物理地址的通讯机制，用于图像信息控制的异步通知机制、用于实时的图像信息信号同步机制和用于同步等待的图像保活信息心跳通知机制，从而完成中控显示触摸屏端与仪表显示屏端的双屏互动。
通过上述方案，采用一个处理器，在Hypervisor虚拟化技术上实现在双***两个屏上，不需要额外的硬件物理连接方式，同时开启独立应用显示图像信息的功能，并实现双屏交互方式，降低智能座舱操作***的硬件成本。
优选的，步骤S2中所述通讯机制的具体步骤如下：在Hypervisor***中传输中控显示虚拟扩展屏端的framebuffer物理地址，Hypervisor***中启动的中控显示触摸屏端和仪表显示屏均可申请访问，使仪表显示屏端在显示车载参数的画面同时，可进一步获取该framebuffer物理地址的数据，从而增加一个中控显示虚拟扩展屏端图层进行呈现。
通过上述方案，将仪表操作***的一个图层，抽象出一个显示屏驱动/进程为一个虚拟显示接口，而将中控虚拟扩展屏直接对接到这个显示接口，保证两个***之间能够稳定和高效的实现同步显示；在对双屏同步显示场景中，Hypervisor提供实时传输的共享内存方式，对两个***间对图像信息的显示进行同步控制，在中控扩展虚拟屏图像数据进行送显到仪表显示时，投屏管理程序同时发送图像同步信号fence字段，等待仪表完成图像呈现后，返回对应的fence字段值，然后中控扩展虚拟屏再进行下一帧图像数据的传输，保证仪表显示能完整的显示一帧图像数据，而不产生花屏的场景；在跨***的双屏显示时，能保证图像信息的稳定高效传输，保证图像不失真，0延迟，而且图像数据传输不额外占用CPU，仪表显示操作***接收的图像信息也不需要进行内存拷贝，直接送显，高效完成跨***见的双屏交互。
优选的，步骤S1中该framebuffer物理地址的传输步骤如下：
S11、由输入事件触发，投屏应用接收到事件触发后，判断当前投屏是否被占用，当投屏未被占用空闲或该输入事件优先级高的场景下，设置Status字段置为1；
S12、Hypervisor***的通讯机制收到开始传输该framebuffer物理地址的指令，根据当前中控显示虚拟扩展屏端图像帧率进行传输，设置name字段为当前终端名称、index为索引值、hys_addr为该framebuffer物理地址、bpp字段为像素点、mode字段为该framebuffer物理地址分配内存的方式、size字段为该framebuffer物理地址大小、width字段为该framebuffer物理地址长度、height字段为该framebuffer物理地址高度；
S13、仪表显示屏端收到该framebuffer物理地址图像信息后，在应用态把该framebuffer物理地址图像信息进行绘制，并显示在仪表显示屏端。
优选的，步骤S2中所述异步通知机制的具体步骤如下：
Status字段置为1时，是步骤S11允许进行传输该framebuffer物理地址的图像信息；
Status字段置为0时，通过Hypeivisor***的通讯机制，异步通知仪表显示屏端的扩展屏控制程序，关闭中控扩展虚拟屏幕端的显示。
优选的，步骤S2中所述图像信息信号同步机制的具体步骤如下：
(1)通过Hypervisor***提供共享内存的方式传输图像的同步信号；
(2)在中控显示虚拟扩展屏端显示界面与仪表显示屏端显示界面交互图像信息合成完成后，在传输该framebuffer物理地址的同时，将同步信号fence字段写入空闲的共享内存块中，在name字段写入客户端名称，index字段写入客户端的索引，size字段写入客户端共享内存的大小，share_len字段写入共享内存的长度，构造shmen_array数组，next成员和data成员用于指向一块内存共享；
(3)仪表显示屏端在显示完虚拟扩展屏图像后，根据索引查询对应的管理列表，并读取队列指针对应的同步数据，读取完成后对同步信号fence加1操作，并将修改后的数据写入共享内存块中；
(4)中控显示虚拟扩展屏端接收到回传的同步数据后，结束当前图像同步流程，如在阈值时间内未收到同步信号回值，则判断此次同步超时，发送超时标记，并结束当前同步流程。
优选的，步骤S2中所述图像保活信息心跳通知机制的具体步骤如下：
(1)投屏管理程序定时发送图像保活信息心跳值，写入字段name为当前终端名称，写入time_out字段为超时时间，写入字段heartbeat_flag为心跳标记，写入heartbeat_count字段为心跳计数；
(2)仪表显示屏端定时通过Hypervisor通知的中控显示虚拟扩展屏端存活信号数组，用于判断客户机终端图像信息传输是否正常；
(3)当投屏管理程序不再发送图像保活信息心跳值数组时，仪表显示屏端主动通过Hypervisor***查询客户机运行状态，确定客户机是否异常；
(4)当确定客户机已经异常，仪表显示屏端关闭图像信息的交互界面，并清空图像保活信息心跳值数组，当客户机重新正常后，再重置图像信息的交互功能。
一种基于Hypervisor智能座舱操作***的双屏互动***，，包括核心处理器、中控显示屏端、仪表显示屏端和中控显示虚拟扩展屏端；
核心处理器：通过Hypervisor***启动中控显示虚拟扩展屏端和仪表显示屏端，在Hypervisor***中构建一个通信管理机制，将中控显示虚拟扩展屏的framebuffer物理地址传递给仪表显示屏端；
中控显示屏端：用于生成车载娱乐应用的中控显示内容和生成车载仪表显示屏交互的显示内容，还用于显示车载娱乐应用界面；
中控显示虚拟扩展屏端：用于显示交互到仪表显示屏端的内容；
仪表显示屏端：显示车辆仪表参数和车载娱乐***的中控显示虚拟扩展屏内容。
优选的，所述通信管理机制的具体包括：用于中控显示屏端和仪表显示端之间的frambuffer物理地址的传输、图像控制信息的通讯、图像信息同步的交互和图像保活信息的心跳通知。
本发明的有益技术效果是：1、采用一个处理器，在Hypervisor虚拟化技术上实现在双***两个屏上，不需要额外的硬件物理连接方式，同时开启独立应用显示图像信息的功能，并实现双屏交互方式，降低智能座舱操作***的硬件成本。
2、将仪表操作***的一个图层，抽象出一个显示屏驱动/进程为一个虚拟显示接口，而将中控虚拟扩展屏直接对接到这个显示接口，保证两个***之间能够稳定和高效的实现同步显示；在对双屏同步显示场景中，Hypervisor提供实时传输的共享内存方式，对两个***间对图像信息的显示进行同步控制，在中控扩展虚拟屏图像数据进行送显到仪表显示时，投屏管理程序同时发送图像同步信号fence字段，等待仪表完成图像呈现后，返回对应的fence字段值，然后中控扩展虚拟屏再进行下一帧图像数据的传输，保证仪表显示能完整的显示一帧图像数据，而不产生花屏的场景；在跨***的双屏显示时，能保证图像信息的稳定高效传输，保证图像不失真，0延迟，而且图像数据传输不额外占用CPU，仪表显示操作***接收的图像信息也不需要进行内存拷贝，直接送显，高效完成跨***见的双屏交互。
附图说明
图1显示为本发明的实施例1的双屏互动方法的处理流程示意图。
图2显示为本发明的实施例2的双屏互动***框图。
具体实施方式
下面结合本发明的附图1-2，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，在车载娱乐操作***中构建中控显示虚拟扩展屏，并创建对应的framebuffer，然后将需要交互的界面进行合成后写入该framebuffer中进行传输。
Hypervisor提供车载娱乐操作***和仪表显示***交互通道，创建传输framebuffer物理地址的通讯机制，图像信息控制的异步通知机制，实时的图像信息同步信号，同步等待的图像保活信息心跳通知机制；在本实施例中，基于Hypervisor***中，上述的各个机制解决双屏显示互动问题，通过传递中控显示虚拟扩展屏的framebuffer物理地址，下文统称为extra framebuffer,Hypervisor启动的***都可申请访问，使仪表显示操作***在显示车载参数的画面同时，在仪表屏的中间位置，把extra framebuffer的数据获取后，增加一个图层进行呈现即可，将仪表操作***的一个图层，抽象出一个显示屏驱动/进程为一个虚拟显示接口，而将中控虚拟扩展屏直接对接到这个显示接口，保证两个***之间能够稳定和高效的实现同步显示。
具体实现上，在对双屏同步显示场景中，Hypervisor提供实时传输的共享内存方式，对两个***间对图像信息的显示进行同步控制，在中控扩展虚拟屏图像数据进行送显到仪表显示时，投屏管理程序同时发送图像同步信号fence字段，等待仪表完成图像呈现后，返回对应的fence字段值，然后中控扩展虚拟屏再进行下一帧图像数据的传输，保证仪表显示能完整的显示一帧图像数据，而不产生花屏的场景。
本实施例在跨***的双屏显示时，能保证图像信息的稳定高效传输，保证图像不失真，0延迟，而且图像数据传输不额外占用CPU，仪表显示操作***接收的图像信息也不需要进行内存拷贝，直接送显，高效完成跨***见的双屏交互。
通过name字段、index字段、hys_addr字段、vir_addr字段、bpp字段、mode字段、size字段、width字段、height字段将图像信息相关字段记录和传输，其中name字段表示发起通讯方的名称，index字段记录通讯段的索引，hys_addr字段保存framebuffer的物理地址，vir_addr字段保存framebuffer虚拟地址，bpp字段记录framebuffer的像素值，mode字段保存framebuffer内存的分配方式，size字段表示framebuffe图像信息的大小，width字段表示图像信息的长度，height字段表示图像信息的高度。
extra framebuffer传输步骤如下：
1)由输入事件触发(蓝牙电话、方向盘上的功能按键控制触发、导航应用启动、音乐播放等)，投屏应用接收到事件触发后，判断当前投屏是否被占用，空闲或优先级高的场景下，设置Status字段置为1；
2)Hypervisor通讯管理机制收到开始传输extra framebuffer指令，根据当前娱乐操作***图像帧率(可修改)进行传输，设置name字段为当前终端名称，index索引值，hys_addr为extra framebuffer物理地址，bpp字段为像素点，mode字段为extraframebuffer分配内存的方式，size字段为extra framebuffer大小，width字段为extraframebuffer长度，height字段为extra framebuffer高度。
3)仪表显示操作***收到extra framebuffer图像信息后，在应用态把extraframebuffer图像信息进行绘制，并显示在仪表盘的中间。
extra framebuffer控制传输机制，步骤如下：
1)Status字段置为1，是进行第7步骤进行传输extra framebuffer图像信息；
2)Status字段置为0，通过Hypeivisor通讯管理机制，异步通知仪表操作***的扩展屏控制程序，关闭中控扩展虚拟屏幕的显示。
extra framebuffer图像同步机制，步骤如下：
1)通过Hypervisor提供共享内存的方式传输图像的同步信号；
2)在交互图像信息合成完成后，在传输extra framebuffer物理地址的同时，将同步信号fence写入空闲的共享内存块中，在name字段写入客户端名称，index字段写入客户端的索引；size字段写入客户端共享内存的大小；share_len字段写入共享内存的长度；构造shmen_array数组，next成员和data成员用于指向一块内存共享。
3)仪表显示操作***在显示完虚拟扩展屏图像后，根据索引查询对应的管理列表，并读取队列指针对应的同步数据，读取完成后对同步信号fence加1操作，并将修改后的数据写入共享内存块中；
4)车载娱乐操作***接收到回传的同步数据后，结束当前图像同步流程，如在32ms内未收到同步信号回值，则判断此次同步超时，发送超时标记，并结束当前同步流程。
extra framebuffer图像信息存活心跳机制，步骤如下：
1)投屏管理程序定时发送心跳值，写入字段name为当前终端名称，写入time_out字段为超时时间(默认为1S)，写入字段heartbeat_flag为心跳标记，写入heartbeat_count字段为心跳计数；
2)仪表显示操作***定时通过Hypervisor通知的虚拟扩展屏存活信号数组，用于判断客户机终端图像信息传输是否正常；
3)当投屏管理程序不再发送保活信息数组时，仪表显示操作***主动通过Hypervisor查询客户机运行状态，确定客户机是否异常；
当确定交互已经异常，仪表显示操作***关闭图像信息的交互界面，并清空心跳数组，当车载娱乐操作***重新正常后，再重启启动图像信息的交互功能。
实施例2：
如图2所示，一种基于Hypervisor智能座舱操作***双屏互动的方法和***，其特征在于，包括：
核心处理器，通过Hypervisor虚拟化技术启动两个操作***，分别是车载娱乐操作***和仪表显示操作***；
车载娱乐操作***，用于生成车载娱乐应用的中控显示内容和生成车载仪表交互的显示内容；
中控显示屏，与车载娱乐操作***连接，用于显示车载娱乐应用界面；
中控显示虚拟扩展屏，由车载娱乐操作***生成，用于显示交互到仪表显示屏的内容；
仪表显示屏，与仪表显示操作***连接，显示车辆仪表参数和车载娱乐***的中控显示虚拟扩展屏内容；
通信管理机制，由Hypervisor***构建，将车载娱乐操作***的中控显示虚拟扩展屏的framebuffer物理地址传递给仪表显示操作***。
需要一个核心处理器，连接一个存储器单元，用于存储Hypervisor，车载娱乐操作***和仪表显示操作***，连接2路LVDS串行芯片和LVDS解串器芯片，用于2路LCD图像信息显示，其中中控显示屏为触摸屏，仪表显示屏不带触摸功能。
车载娱乐操作***，提供车载娱乐应用的中控显示内容，提供在其***启动时创建中控显示虚拟扩展屏，完成虚拟扩展屏framebuffer的申请，并在投屏应用向扩展屏投射导航、电话、音乐等图形信息时，把虚拟扩展屏framebuffer的物理地址发送给通信管理机制，实现多屏异显。
仪表显示操作***，提供车辆仪表信息显示，提供单独图层显示中控显示虚拟扩展屏图像信息。提供从布置在方向盘上的功能按键控制虚拟扩展屏的打开和关闭功能、图形信息切换功能。
中控显示屏，用于显示车载娱乐应用界面，并接收双屏互动指令，将指令发送给车载娱乐操作***；
中控显示虚拟扩展屏，图像信息由投屏应用生成，交给车载娱乐操作***合成并，存储在车载娱乐操作***申请的framebuffer地址中。
通讯管理机制，由Hypervisor***构建,用于车载娱乐操作***和仪表显示操作***之间的frambuffer地址的传输、图像控制信息的通讯、图像信息同步的交互，图像保活信息的心跳通知功能。
通讯管理机制管理车载娱乐操作***和仪表显示操作***的交互图像信息，具体包括：通过name字段、index字段、hys_addr字段、vir_addr字段、bpp字段、mode字段、size字段、width字段、height字段将图像信息相关字段记录和传输，其中name字段表示发起通讯方的名称，index字段记录通讯段的索引，hys_addr字段保存framebuffer的物理地址，vir_addr字段保存framebuffer虚拟地址，bpp字段记录framebuffer的像素值，mode字段保存framebuffer内存的分配方式，size字段表示framebuffe图像信息的大小，width字段表示图像信息的长度，height字段表示图像信息的高度。
通讯管理机制管理车载娱乐操作***和仪表显示操作***之前图像信息的控制，具体包括：通过异步通信方式传输status字段控制信息，status字段1值表示需要显示虚拟扩展屏图像信息，0值表示关闭虚拟扩展屏图像信息。
通讯管理机制管理图像信息同步的交互，具体包括：通过Hypervisor提供共享内存的方式传输图像的同步信号。其中name字段用于表示客户端名称；index字段用来记录客户端的索引；size字段用来记录客户端共享内存的大小，单位为字节；share_len字段表示客户端操作共享内存的长度；share_b字段表示数组的可用位表；queue_tab字段用于标记队列头和队列尾；shmen_array数组包含next成员和data成员，next成员用于构建队列指针，data成员用于指向一块内存共享。车载娱乐操作***在交互图像信息合成完成后，在传输framebuffer的同时，将同步信号写入空闲的共享内存块中，判断数据是否发送完成，若未完成则将数据加入队尾，并进行标记。仪表显示操作***在显示完虚拟扩展屏图像后，根据索引查询对应的管理列表，并读取队列指针对应的同步数据，读取完成后进行加1操作，并将修改后的同步数据写入共享内存块中，车载娱乐操作***接收到回传的同步数据后，结束当前图像同步流程，如在32ms内未收到同步信号回值，则判断此次同步超时，发送超时标记，并结束当前同步流程。
通讯管理机制的图像保活信息心跳通知功能，该方法包括：仪表显示操作***定时接收车载娱乐操作***通知的虚拟扩展屏存活信号，当不再发送保活信息时，仪表显示操作***认为交互已经异常，关闭图像信息的交互界面，当车载娱乐操作***重新正常后，再重启启动图像信息的交互功能。
在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
Claims (8)
1.一种基于Hypervisor智能座舱操作***的双屏互动方法，其特征在于，包括以下步骤：
S1、在中控显示触摸屏端构建中控显示虚拟扩展屏端，并创建与中控显示虚拟扩展屏对应的framebuffer物理地址，然后将需要交互的中控显示虚拟扩展屏端显示界面与仪表显示屏端显示界面进行合成后写入该framebuffer物理地址中进行传输；
S2、利用Hypervisor***创建用于传输该framebuffer物理地址的通讯机制，用于图像信息控制的异步通知机制、用于实时的图像信息信号同步机制和用于同步等待的图像保活信息心跳通知机制，从而完成中控显示触摸屏端与仪表显示屏端的双屏互动。
2.根据权利要求1所述的一种基于Hypervisor智能座舱操作***的双屏互动方法，其特征在于，步骤S2中所述通讯机制的具体步骤如下：在Hypervisor***中传输中控显示虚拟扩展屏端的framebuffer物理地址，Hypervisor***中启动的中控显示触摸屏端和仪表显示屏均可申请访问，使仪表显示屏端在显示车载参数的画面同时，可进一步获取该framebuffer物理地址的数据，从而增加一个中控显示虚拟扩展屏端图层进行呈现。
3.根据权利要求1所述的一种基于Hypervisor智能座舱操作***的双屏互动方法，其特征在于，步骤S1中该framebuffer物理地址的传输步骤如下：
S11、由输入事件触发，投屏应用接收到事件触发后，判断当前投屏是否被占用，当投屏未被占用空闲或该输入事件优先级高的场景下，设置Status字段置为1；
S12、Hypervisor***的通讯机制收到开始传输该framebuffer物理地址的指令，根据当前中控显示虚拟扩展屏端图像帧率进行传输，设置name字段为当前终端名称、index为索引值、hys_addr为该framebuffer物理地址、bpp字段为像素点、mode字段为该framebuffer物理地址分配内存的方式、size字段为该framebuffer物理地址大小、width字段为该framebuffer物理地址长度、height字段为该framebuffer物理地址高度；
S13、仪表显示屏端收到该framebuffer物理地址图像信息后，在应用态把该framebuffer物理地址图像信息进行绘制，并显示在仪表显示屏端。
4.根据权利要求3所述的一种基于Hypervisor智能座舱操作***的双屏互动方法，其特征在于，步骤S2中所述异步通知机制的具体步骤如下：
Status字段置为1时，是步骤S11允许进行传输该framebuffer物理地址的图像信息；
Status字段置为0时，通过Hypeivisor***的通讯机制，异步通知仪表显示屏端的扩展屏控制程序，关闭中控扩展虚拟屏幕端的显示。
5.根据权利要求1所述的一种基于Hypervisor智能座舱操作***的双屏互动方法，其特征在于，步骤S2中所述图像信息信号同步机制的具体步骤如下：
(1)通过Hypervisor***提供共享内存的方式传输图像的同步信号；
(2)在中控显示虚拟扩展屏端显示界面与仪表显示屏端显示界面交互图像信息合成完成后，在传输该framebuffer物理地址的同时，将同步信号fence字段写入空闲的共享内存块中，在name字段写入客户端名称，index字段写入客户端的索引，size字段写入客户端共享内存的大小，share_len字段写入共享内存的长度，构造shmen_array数组，next成员和data成员用于指向一块内存共享；
(3)仪表显示屏端在显示完虚拟扩展屏图像后，根据索引查询对应的管理列表，并读取队列指针对应的同步数据，读取完成后对同步信号fence加1操作，并将修改后的数据写入共享内存块中；
(4)中控显示虚拟扩展屏端接收到回传的同步数据后，结束当前图像同步流程，如在阈值时间内未收到同步信号回值，则判断此次同步超时，发送超时标记，并结束当前同步流程。
6.根据权利要求1所述的一种基于Hypervisor智能座舱操作***的双屏互动方法，其特征在于，步骤S2中所述图像保活信息心跳通知机制的具体步骤如下：
(1)投屏管理程序定时发送图像保活信息心跳值，写入字段name为当前终端名称，写入time_out字段为超时时间，写入字段heartbeat_flag为心跳标记，写入heartbeat_count字段为心跳计数；
(2)仪表显示屏端定时通过Hypervisor通知的中控显示虚拟扩展屏端存活信号数组，用于判断客户机终端图像信息传输是否正常；
(3)当投屏管理程序不再发送图像保活信息心跳值数组时，仪表显示屏端主动通过Hypervisor***查询客户机运行状态，确定客户机是否异常；
(4)当确定客户机已经异常，仪表显示屏端关闭图像信息的交互界面，并清空图像保活信息心跳值数组，当客户机重新正常后，再重置图像信息的交互功能。
7.一种基于Hypervisor智能座舱操作***的双屏互动***，其特征在于，包括核心处理器、中控显示屏端、仪表显示屏端和中控显示虚拟扩展屏端；
核心处理器：通过Hypervisor***启动中控显示虚拟扩展屏端和仪表显示屏端，在Hypervisor***中构建一个通信管理机制，将中控显示虚拟扩展屏的framebuffer物理地址传递给仪表显示屏端；
中控显示屏端：用于生成车载娱乐应用的中控显示内容和生成车载仪表显示屏交互的显示内容，还用于显示车载娱乐应用界面；
中控显示虚拟扩展屏端：用于显示交互到仪表显示屏端的内容；
仪表显示屏端：显示车辆仪表参数和车载娱乐***的中控显示虚拟扩展屏内容。
8.根据权利要求7所述的一种基于Hypervisor智能座舱操作***的双屏互动***，其特征在于，所述通信管理机制的具体包括：用于中控显示屏端和仪表显示端之间的frambuffer物理地址的传输、图像控制信息的通讯、图像信息同步的交互和图像保活信息的心跳通知。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010023848.1A CN111240626A (zh) | 2020-01-09 | 2020-01-09 | 一种基于Hypervisor智能座舱操作***双屏互动的方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010023848.1A CN111240626A (zh) | 2020-01-09 | 2020-01-09 | 一种基于Hypervisor智能座舱操作***双屏互动的方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111240626A true CN111240626A (zh) | 2020-06-05 |
Family
ID=70864132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010023848.1A Pending CN111240626A (zh) | 2020-01-09 | 2020-01-09 | 一种基于Hypervisor智能座舱操作***双屏互动的方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111240626A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111976482A (zh) * | 2020-07-08 | 2020-11-24 | 南斗六星***集成有限公司 | 一种车载仪表屏和中控娱乐屏的双屏交互***及方法 |
| CN112153444A (zh) * | 2020-09-17 | 2020-12-29 | 中国第一汽车股份有限公司 | 车载多屏视频同步方法、装置、电子***和存储介质 |
| CN112202967A (zh) * | 2020-09-01 | 2021-01-08 | 武汉卡比特信息有限公司 | 基于手机互联的分屏显示方法 |
| CN112477780A (zh) * | 2021-01-14 | 2021-03-12 | 广州飞歌汽车音响有限公司 | 一种车载娱乐*** |
| CN112579014A (zh) * | 2019-09-27 | 2021-03-30 | 宝能汽车集团有限公司 | 基于Hypervisor的多屏显示方法、***以及车辆、存储介质 |
| CN112929343A (zh) * | 2021-01-22 | 2021-06-08 | 中汽创智科技有限公司 | 用于智能座舱的跨域通信方法、***、设备以及存储介质 |
| CN113504870A (zh) * | 2021-04-06 | 2021-10-15 | 惠州市德赛西威智能交通技术研究院有限公司 | Hypervisor智能驾驶舱输入法共享***及方法 |
| CN113535104A (zh) * | 2021-05-31 | 2021-10-22 | 惠州华阳通用电子有限公司 | 一种基于虚拟机的多屏显示切换方法及装置 |
| CN113810848A (zh) * | 2021-08-31 | 2021-12-17 | 延锋伟世通电子科技（南京）有限公司 | 一种车载以太网touchbar装置 |
| CN114461158A (zh) * | 2021-12-29 | 2022-05-10 | 沈阳中科创达软件有限公司 | 一种应用投屏方法、装置、车载终端及可读存储介质 |
| CN114489543A (zh) * | 2022-01-25 | 2022-05-13 | 广州小鹏汽车科技有限公司 | 智能座舱的多屏幕处理方法、装置、芯片、车辆及介质 |
| CN114579072A (zh) * | 2022-03-02 | 2022-06-03 | 南京芯驰半导体科技有限公司 | 一种跨多操作***的显示投屏方法及装置 |
| CN114756321A (zh) * | 2022-04-28 | 2022-07-15 | 重庆长安汽车股份有限公司 | 一种基于车机实现仪表交互界面并显示的***及方法 |
| CN115871560A (zh) * | 2023-01-29 | 2023-03-31 | 蔚来汽车科技(安徽)有限公司 | 倒车影像显示方法、控制装置、车辆和计算机存储介质 |
| CN115934603A (zh) * | 2023-01-30 | 2023-04-07 | 中瓴智行(成都)科技有限公司 | 一种基于模块化的智能座舱域控制器 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105830053A (zh) * | 2014-01-16 | 2016-08-03 | 英特尔公司 | 用于快速配置机制的装置、方法和*** |
| WO2017084174A1 (zh) * | 2015-11-19 | 2017-05-26 | 深圳市鹰硕技术有限公司 | 一种图像同步显示方法及装置 |
| US20180046374A1 (en) * | 2016-08-15 | 2018-02-15 | Oracle International Corporation | Efficient memory management for persistent memory |
| CN108984137A (zh) * | 2017-06-01 | 2018-12-11 | 福建星网视易信息***有限公司 | 双屏显示方法及其***、计算机可读存储介质 |
| CN109343929A (zh) * | 2018-09-05 | 2019-02-15 | 武汉光庭信息技术股份有限公司 | 一种基于虚拟化共享显存的多屏互动方法和*** |
| CA3088971A1 (en) * | 2018-01-26 | 2019-08-01 | Citrix Systems, Inc. | Virtual computing system providing local screen sharing from hosted collaboration applications and related methods |
| CN217360657U (zh) * | 2022-02-08 | 2022-09-02 | 长沙秉哲科技有限公司 | 一种沉浸式vr大屏交互显示设备 |
-
2020
- 2020-01-09 CN CN202010023848.1A patent/CN111240626A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105830053A (zh) * | 2014-01-16 | 2016-08-03 | 英特尔公司 | 用于快速配置机制的装置、方法和*** |
| WO2017084174A1 (zh) * | 2015-11-19 | 2017-05-26 | 深圳市鹰硕技术有限公司 | 一种图像同步显示方法及装置 |
| US20180046374A1 (en) * | 2016-08-15 | 2018-02-15 | Oracle International Corporation | Efficient memory management for persistent memory |
| US20180046556A1 (en) * | 2016-08-15 | 2018-02-15 | Oracle International Corporation | Persistent memory transactions with undo logging |
| CN108984137A (zh) * | 2017-06-01 | 2018-12-11 | 福建星网视易信息***有限公司 | 双屏显示方法及其***、计算机可读存储介质 |
| CA3088971A1 (en) * | 2018-01-26 | 2019-08-01 | Citrix Systems, Inc. | Virtual computing system providing local screen sharing from hosted collaboration applications and related methods |
| CN109343929A (zh) * | 2018-09-05 | 2019-02-15 | 武汉光庭信息技术股份有限公司 | 一种基于虚拟化共享显存的多屏互动方法和*** |
| CN217360657U (zh) * | 2022-02-08 | 2022-09-02 | 长沙秉哲科技有限公司 | 一种沉浸式vr大屏交互显示设备 |
Non-Patent Citations (2)
| Title |
|---|
| 刘秀玲等: "分布式多交互虚拟场景渲染的协同控制", 《计算机工程与应用》, no. 29, 11 October 2009 (2009-10-11), pages 82 - 85 * |
| 杨磊等: "《网络视频监控技术》", 中国传媒大学出版社, pages: 208 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112579014A (zh) * | 2019-09-27 | 2021-03-30 | 宝能汽车集团有限公司 | 基于Hypervisor的多屏显示方法、***以及车辆、存储介质 |
| CN111976482B (zh) * | 2020-07-08 | 2021-12-24 | 南斗六星***集成有限公司 | 一种车载仪表屏和中控娱乐屏的双屏交互***及方法 |
| CN111976482A (zh) * | 2020-07-08 | 2020-11-24 | 南斗六星***集成有限公司 | 一种车载仪表屏和中控娱乐屏的双屏交互***及方法 |
| CN112202967A (zh) * | 2020-09-01 | 2021-01-08 | 武汉卡比特信息有限公司 | 基于手机互联的分屏显示方法 |
| CN112153444A (zh) * | 2020-09-17 | 2020-12-29 | 中国第一汽车股份有限公司 | 车载多屏视频同步方法、装置、电子***和存储介质 |
| CN112477780A (zh) * | 2021-01-14 | 2021-03-12 | 广州飞歌汽车音响有限公司 | 一种车载娱乐*** |
| CN112929343B (zh) * | 2021-01-22 | 2022-10-18 | 中汽创智科技有限公司 | 用于智能座舱的跨域通信方法、***、设备以及存储介质 |
| CN112929343A (zh) * | 2021-01-22 | 2021-06-08 | 中汽创智科技有限公司 | 用于智能座舱的跨域通信方法、***、设备以及存储介质 |
| CN113504870A (zh) * | 2021-04-06 | 2021-10-15 | 惠州市德赛西威智能交通技术研究院有限公司 | Hypervisor智能驾驶舱输入法共享***及方法 |
| CN113535104A (zh) * | 2021-05-31 | 2021-10-22 | 惠州华阳通用电子有限公司 | 一种基于虚拟机的多屏显示切换方法及装置 |
| CN113535104B (zh) * | 2021-05-31 | 2023-09-26 | 惠州华阳通用电子有限公司 | 一种基于虚拟机的多屏显示切换方法及装置 |
| CN113810848A (zh) * | 2021-08-31 | 2021-12-17 | 延锋伟世通电子科技（南京）有限公司 | 一种车载以太网touchbar装置 |
| CN114461158A (zh) * | 2021-12-29 | 2022-05-10 | 沈阳中科创达软件有限公司 | 一种应用投屏方法、装置、车载终端及可读存储介质 |
| CN114461158B (zh) * | 2021-12-29 | 2024-02-09 | 沈阳中科创达软件有限公司 | 一种应用投屏方法、装置、车载终端及可读存储介质 |
| CN114489543A (zh) * | 2022-01-25 | 2022-05-13 | 广州小鹏汽车科技有限公司 | 智能座舱的多屏幕处理方法、装置、芯片、车辆及介质 |
| CN114579072A (zh) * | 2022-03-02 | 2022-06-03 | 南京芯驰半导体科技有限公司 | 一种跨多操作***的显示投屏方法及装置 |
| CN114756321A (zh) * | 2022-04-28 | 2022-07-15 | 重庆长安汽车股份有限公司 | 一种基于车机实现仪表交互界面并显示的***及方法 |
| CN114756321B (zh) * | 2022-04-28 | 2024-02-06 | 重庆长安汽车股份有限公司 | 一种基于车机实现仪表交互界面并显示的***及方法 |
| CN115871560A (zh) * | 2023-01-29 | 2023-03-31 | 蔚来汽车科技(安徽)有限公司 | 倒车影像显示方法、控制装置、车辆和计算机存储介质 |
| CN115934603A (zh) * | 2023-01-30 | 2023-04-07 | 中瓴智行(成都)科技有限公司 | 一种基于模块化的智能座舱域控制器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111240626A (zh) | 一种基于Hypervisor智能座舱操作***双屏互动的方法和*** | |
| EP2622463B1 (en) | Instant remote rendering | |
| US8957905B2 (en) | Cross-environment user interface mirroring | |
| US8819705B2 (en) | User interaction support across cross-environment applications | |
| US8933949B2 (en) | User interaction across cross-environment applications through an extended graphics context | |
| CN102053871B (zh) | 一种应用程序图像的显示方法和装置 | |
| EP3627319B1 (en) | Display resource scheduling method and device for embedded system | |
| WO2021227688A1 (zh) | 屏幕扩展方法、装置、终端设备及计算机可读存储介质 | |
| WO2023138020A1 (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN114398018A (zh) | 画面显示方法、装置、存储介质及电子设备 | |
| CN112698874B (zh) | 一种麒麟***中ast显卡和独立显卡同时显示的方法 | |
| CN111013144B (zh) | 一种游戏画面绘制渲染方法、装置和移动终端 | |
| CN116126272A (zh) | 投屏方法、装置、电子设备及非易失性存储介质 | |
| CN116483301A (zh) | 一种多屏显示方法、装置、设备及存储介质 | |
| CN115114019A (zh) | 应用的业务功能使用方法、装置、终端、存储介质及产品 | |
| CN117492607A (zh) | 多屏协同方法、车辆及计算机存储介质 | |
| JP2003256872A (ja) | 仮想空間通信システムにおける共有情報設定方法、仮想空間表示方法、プログラム、該プログラムを記録した記録媒体 | |
| CN118233685A (zh) | 一种显示设备及应用的显示方法 | |
| CN115374029A (zh) | 信息传输方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |