CN113132783B - 一种多机共享的多屏显示控制***及方法 - Google Patents
一种多机共享的多屏显示控制***及方法 Download PDFInfo
- Publication number
- CN113132783B CN113132783B CN202110430899.0A CN202110430899A CN113132783B CN 113132783 B CN113132783 B CN 113132783B CN 202110430899 A CN202110430899 A CN 202110430899A CN 113132783 B CN113132783 B CN 113132783B
- Authority
- CN
- China
- Prior art keywords
- display
- end processing
- screen
- processing module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 121
- 230000008569 process Effects 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract description 17
- 238000013461 design Methods 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种多机共享的多屏显示控制***及方法,涉及图像显示技术领域;该***包括控制面板、至少两个主机、显示设备、前端处理模块和应用处理器,其中,前端处理模块基于FPGA构建,采用融合视频切换矩阵,根据应用处理器的指令对多路输入图像进行图像缩放、拼接和多图层叠加的图像显示,将图像处理和矩阵切换功能融为一体,可以较低的成本实现视频矩阵,图像处理和预览的功能,极大简化在构建图像显示控制相关产品的设计,并降低整体的成本和功耗;同时前端能够准确定位触屏事件的坐标,并进行路由处理,可以实现在显示屏上同时对多机进行交互处理,极大增强了相关应用的体验感。
Description
技术领域
本发明涉及图像多屏显示技术领域,尤其涉及一种多机共享的多屏显示控制***及方法。
背景技术
在多媒体应用场景中(如多媒体教学,视频会议等),图像(包括单帧画面和视频)显示控制存在以下需求:
1.视频信号切换:将多个输入信号源按需切换到各个不同的显示设备上。
2.图像合成:将多个画面合成为一个显示画面,并输出到显示设备。
3.图像预览:在控制面版上,以窗口的方式显示一路或多路的信号源。
目前主要采用的视频切换矩阵大都采用ASIC视频矩阵芯片完成,当信号输入和输出端口增加时,将导致ASIC视频矩阵芯片的数量以及连接关系急剧增加,这将极大地增加了矩阵电路的复杂性,提高***的成本。
对于图像合成过程,主要由软件或者专用IC,或者FPGA完成。由于功能模块相对独立,在与视频切换矩阵对接时连接将及其复杂,并增加了对矩阵端口的数量的要求,将增加***的复杂性和成本。
对于图像预览过程,现有的图像预览过程主要是通过主CPU通过图像采集端口进行图像采集,然后由软件处理后再渲染到控制界面的窗口中。如果要同时预览多路,必须同时采集多路视频信号,或者增加图像合成模块,即将多路信号先合成一路然后再进行采集。因其本身的复杂性和过高的成本都限制了实际工程中的应用推广。
对于具有多主机的显示设备,在带有触摸功能的显示屏上预览其他主机画面时,触摸信号是由显示屏所述的主机驱动的,所以在预览界面上并无法直接操作其他主机,导致在多机和多屏交互的场景中的实际应用存在较大的局限性。
发明内容
本发明的目的在于提供一种多机共享的多屏显示控制***及方法,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种多机共享的多屏显示控制***,包括控制面板、至少两个主机、两个显示设备、前端处理模块和应用处理器,其中,所述控制面板、所述主机、所述显示设备和所述应用处理器均与所述前端处理模块相连;
所述控制面板用于实现人机交互;
所述主机用于输入视频或图像信号到所述前端处理模块,也能够接收所述前端处理模块所发出的触屏指令;
所述显示设备用于显示所述前端处理模块输出的视频或图像,也能够触发触控指令并发送给所述前端处理模块;
所述前端处理模块上设置有接收各个端口输入的各路信号,并对获取到的各路信号进行处理;
所述应用处理器通过控制端口与所述前端处理模块通信连接,能够获取前端处理设备传输的多路图像,制定前端处理模块所需要的图像、视频显示控制指令并发送给所述前端处理模块。
优选的,所述前端处理模块上设置有面板接口、主机接口、显示接口和控制端口,所述面板接口用于连接控制面板,所述主机接口用于连接主机,包括显示输入端口和触控输出端口;所述显示接口用于连接显示设备,包括显示输出端口和触屏输入端口;所述控制端口用于与所述应用处理器相连。
优选的,所述前端处理模块上还设置有图像采集端口和应用界面端口,所述图像采集端口用于通过所述应用处理器的图像输入端向所述应用处理器传输处理后的多路图像、视频信号,所述应用界面端口用于接收由所述应用处理器图像输出端输出的应用界面。
优选的,所述前端处理模块包括主控模块、输入适配模块、输出驱动模块、DDR、Video DMA和Mixer,所述主控模块通过与所述控制端口接收到所述应用处理器发出的控制指令后,设置所述输入适配模块、所述输出驱动模块、所述DDR、所述Video DMA和所述Mixer的工作参数和工作方式,也能够驱动所有触屏输入端口上的控制面板和显示设备,接收并处理所有触屏输入端口上的触控输入事件;所述输入适配模块用于接收各端口的图像、视频输入信号,并将不同格式的图像、视频输入信号统一转换格式后传送给所述Video DMA;所述Video DMA对接收到的图像、视频输入信号存储到DDR中;所述Mixer通过Video DMA读取相应的视频图像信号,根据设定的输出格式对图像、视频信号进行处理后,通过所述输出驱动模块输出。
优选的,所述驱动所有触屏输入端口上的控制面板和显示设备,接收并处理所有触屏输入端口上的触控输入事件具体为:读取触控事件在全触屏的坐标信息,再根据当前对应的显示屏上画面的内容,判断该坐标属于哪台主机的内容;将触控事件的全屏的绝对坐标转换根据所属画面的窗口位置和大小,转换为窗口内的相对坐标,然后封装成新的触控事件,通过触屏输出端口发送给相应的主机。
优选的,所述输入适配模块接收各端口的图像、视频输入信号,并将不同格式的图像、视频输入信号统一转换为AXI4-Stream格式格式;所述Mixer通过Video DMA读取相应的视频信号,根据设定的输出参数,对图像、视频信号进行处理的方式包括对图像进行缩放、合成、拼接和叠加中的至少一种。
优选的,根据设定的输出参数,对图像、视频图像信号进行处理具体为:根据输入的参数,设定Mixer的各路视频图像来源在DDR中Frame Buffer的地址,以及在合成后的各路画面的显示位置,由Mixer形成一路合成后的Axi4-Stream的视频流,再送入到相应接口的输出驱动中,按照实际接口的标准输出最终合成后的画面内容。
优选的,所述应用处理器制定前端处理模块所需要的图像、视频显示控制指令包括单画面输出和多画面输出,其中,
所述单画面输出指令具体为直接选取前端处理模块中一路显示输入直通至所述显示输出设备;
所述多画面输出指令具体为将根据显示要求,将多路显示输入画面经过所述前端处理模块进行处理后同时显示。
本发明的另一个目的在于提供一种多机共享的多屏显示方法,采用所述的多机共享的多屏显示***实现,包括以下步骤:
A1,应用处理器根据应用场景通过主控端口制定设置视频图像显示控制指令,确定前端处理模块上每个外接显示屏需要显示的内容,同时确定是单画面输出还是多画面输出,包括显示设备的显示器和控制面板上的液晶屏;
A2,若是单画面输出,则前端处理模块直接为每个显示屏上选取相应一路图像、视频图像信号进行显示;若是多画面输出,则前端处理模块需要对多路主机接入的视频图像信号进行缩放、叠加、拼接和合成处理后,再按照规定的显示格式输出到显示屏上进行显示;
A3,前端处理模块记录每个显示屏上的信号源,以及每个信号源所显示的位置信息。
本发明的最后一个目的在于提供一种多机共享的多屏控制方法,采用上述多机共享的多屏显示***,包括以下步骤:
A1,用户根据应用场景通过显示设备中的触摸屏或控制面板的触摸屏发生触控事件,若是通过显示设备中的触摸屏发生触控事件,则进入步骤B2;若是控制面板的触摸屏发生触控事件,则进入步骤B4;
B2,外接触控信号通过前端处理模块中的触控输入端口以HID协议传入前端处理模块;
B3,所述前端处理设备读取触控事件在全触屏的坐标信息,该模块根据当前的显示区域的信号源,判断出所属区域的主机,并进行相应的坐标转换后,再将触控事件重新封装成HID协议,发送给对应的主机;
B4,当控制面板上未进行窗口预览时,触控事件将直接传给应用处理器进行处理;当控制面板上有预览窗口时,前端处理模块将预览窗口外的触控事件透传给应用处理器,而预览窗口内的事件则封装为HID协议传送给相应的外接主机处理。
本发明的有益效果是:
本发明公开了一种多机共享的多屏显示控制***及方法,该***包括控制面板、至少两个主机、显示设备、前端处理模块和应用处理器,其中,前端处理模块基于FPGA构建,采用融合视频切换矩阵,根据应用处理器的指令对多路输入图像进行图像缩放、拼接和多图层叠加的图像显示,将图像处理和矩阵切换功能融为一体,可以较低的成本实现视频矩阵,图像处理和预览的功能,极大简化在构建图像显示控制相关产品的设计,并降低整体的成本和功耗;同时前端能够准确定位触屏事件的坐标,并进行路由处理,可以实现在显示屏上同时对多机进行交互处理,极大增强了相关应用的体验感。
附图说明
图1是实施例1中提供的多机共享的多屏显示控制***结构图;
图2是实施例1中提供的前端处理模块功能结构图;
图3是实施例2中提供的多机共享的多屏触屏控制流程图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
实施例1
本实施例提供了一种多机贡献的多屏显示控制***,如图1所示,包括控制面板、至少两个主机、两个显示设备、前端处理模块和应用处理器,其中,所述控制面板、所述主机、所述显示设备和所述应用处理器均通过接口与所述前端处理模块相连;
所述控制面板用于实现人机交互,控制面板的应用界面由应用处理器绘制,并通过应用处理器的图像输出接口输入到前端处理模块;
所述主机用于输入视频或图像信号到所述前端处理模块,也能够接收所述前端处理模块所发出的触屏指令;
所述显示设备用于显示所述前端处理模块输出的视频或图像,也能够触发触控指令并发送给所述前端处理模块;
所述前端处理模块上设置有接收各个端口输入的各路信号,并对获取到的各路信号进行处理;
所述应用处理器通过控制端口与所述前端处理模块通信连接,能够获取前端处理设备传输的多路图像,制定前端处理模块所需要的图像显示控制指令并发送给所述前端处理模块。
如图1可知,所述前端处理模块上设置有面板接口、主机接口、显示接口、图像采集端口、应用界面端口和控制端口,所述面板接口用于连接控制面板,可以全屏或者窗口预览的方式实现其他视频源信号的预览:其中,窗口预览:应用处理器绘制控制面板的主界面时预留预览窗口,通过控制端口将预览窗口的位置和大小告知前端处理模块,由模块直接在前端处理模块通过Mixer将其他视频源的图像叠加到窗口上进行显示。全屏预览的实现方式则与其他显示设备的显示输出端口实现方式一致。
所述主机接口用于连接主机,包括显示输入端口和触控输出端口,其中显示输入端口用于接入主机的显示输出,形成一路视频信号源;触控输出端口用于将控制面板或者显示设备的触控事件输出给主机进行处理;
所述显示接口用于连接显示设备,包括显示输出端口和触屏输入端口,显示输出端口用于输出驱动显示屏显示的视频信号;触屏输入端口用于接入触摸屏的输入事件,并根据相应的显示屏的内容路由到对应的主机或者嵌入式***进行处理。
所述图像采集端口用于通过所述应用处理器的图像输入端向所述应用处理器传输处理后的多路图像信号,用于实现图像录制或者远程互动等应用。所述应用界面端口用于接收由所述应用处理器图像输出端输出的应用界面;所述控制端口用于与所述应用处理器相连。
本实施例中的所述前端处理模块包括主控模块、输入适配模块、输出驱动模块、DDR、Video DMA和Mixer,所述主控模块通过与所述控制端口接收到所述应用处理器发出的控制指令后,设置所述输入适配模块、所述输出驱动模块、所述DDR、所述Video DMA和所述Mixer的工作参数和工作方式,也能够驱动所有触屏输入端口上的控制面板和显示设备,接收并处理所有触屏输入端口上的触控输入事件;读取触控事件在全触屏的坐标信息,再根据当前对应的显示屏上画面的内容,判断该坐标属于哪台主机的内容;将触控事件的全屏的绝对坐标转换根据所属画面的窗口位置和大小,转换为窗口内的相对坐标,然后封装成新的触控事件,通过触屏输出端口发送给相应的主机。
所述输入适配模块用于接收各端口的图像输入信号,并将不同格式的图像输入信号统一转换格式后传送给所述Video DMA;所述Video DMA对接收到的图像输入信号存储到DDR中;所述Mixer通过Video DMA读取相应的视频信号,根据设定的输出格式对图像信号进行处理后,通过所述输出驱动模块输出。
本实施例中,所述输入适配模块接收各端口的图像输入信号,并将不同格式的图像输入信号统一转换为AXI4-Stream格式格式;所述Mixer通过Video DMA读取相应的视频信号,根据应用处理器通过控制端口设置在所述前端处理模块中的显示屏输出参数,对图像信号进行处理的方式包括对图像进行缩放、合成、拼接和叠加中的至少一种。
根据应用处理器所输入的参数,设定Mixer的各路视频源在DDR中Frame Buffer的地址,以及在合成后的各路画面的显示位置,由Mixer形成一路合成后的Axi4-Stream的视频流,再送入到相应接口的输出驱动中,按照实际接口的标准输出最终合成后的画面内容。
本实施例中,对于所述应用处理器制定前端处理模块所需要的图像显示控制指令包括单画面输出和多画面输出,其中,
所述单画面输出指令具体为直接选取前端处理模块中一路显示输入直通至所述显示输出设备;
所述多画面输出指令具体为将根据显示要求,将多路显示输入画面经过所述前端处理模块进行处理后同时显示。
实施例2
本实施例提供了一种多机共享的多屏显示方法,采用实施例1中记载的多机共享的多屏显示控制***实现,具体包括以下步骤:
A1,应用处理器根据实际的应用场景,确定前端处理模块上每个外接显示屏和控制面板需要显示的内容,同时确定是单画面输出还是多画面输出,以及每个画面的信号源,缩放比例等内容。然后通过主控端口将图像显示控制指令下发到前端处理模块;通过控制指令,应用处理器可以设置单个屏幕或者控制面板的显示内容,也可以同时设置多个屏幕的显示内容;
A2.前端处理模块记录每个显示屏上的信号源,以及每个信号源所显示的位置信息;
A3.前端处理模块汇总所有屏幕输出信号所需要的信号源,配置输入适配层,选通对应的端口,将输入的图像统一转换为AXI4-Stream格式的数据流输出,其中,对于单画面输出的信号源,将AXI4-Stream格式的数据流直接送入到输出驱动子模块进行输出;
对于多画面输出的信号源,则在DDR中为其分配Frame Buffer,和VDMA输出通道,由VDMA将AXI4-Stream格式的数据流写入到Frame Buffer中。
A4.前端处理模块配置输出驱动子模块,如果为单画面输出,则选取输入的Axi4-Stream格式的数据流,由输出电路转换为该接口对应的格式输出。如果是多画面输出,则为该接口分配VDMA输入通道,和Mixer模块,由VDMA从DDR中读取所需的图像数据,然后由Mixer将多路Axi4-stream的图像数据流进行图像缩放,然后合成为一路,最后送入输出电路转换该接口对应的格式输出。
在显示屏或控制面板上有画面显示的情况下,可以通过触屏进行操作,包括以下步骤:;
B1,用户通过显示设备中的触摸屏或控制面板的触摸屏发生触控事件,若是通过显示设备中的触摸屏发生触控事件,则进入步骤B2;若是控制面板的触摸屏发生触控事件,则进入步骤B4;
B2,外接触控信号通过前端处理模块中的触控输入端口以HID协议传入前端处理模块;
B3,所述前端处理设备读取触控事件在全触屏的坐标信息,该模块根据当前的显示区域的信号源,判断出所属区域的主机,并进行相应的坐标转换后,再将触控事件重新封装成HID协议,发送给对应的主机;
B4,当控制面板上未进行窗口预览时,触控事件将直接传给应用处理器进行处理;当控制面板上有预览窗口时,前端处理模块将预览窗口外的触控事件透传给应用处理器,而预览窗口内的事件则封装为HID协议传送给相应的外接主机处理。
需要注意的是,本发明中的创新点主要在于以下几点内容:
1.对于多端口的视频切换矩阵和画面叠加过程,本发明在FPGA中实现矩阵切换和图像合成上进行集成,简化了设计。
2.在控制面板上,目前所有的做法都是由CPU将所有需要的视频源采集进来,再由显卡进行渲染。这样在处理输出的画面和输入的触控事件上均有CPU统一处理,但是***的开销比较大。
而本方案,是将画面合成和触控事件的分发交由前端进行处理,无需CPU对预览画面进行图像采集,再由显卡集中渲染,直接在前端由硬件(FPGA)通过图层叠加的方式,进行画面融合。
同时,触控事件现有的方案也是由CPU统一处理,然后根据控制画面的窗口实现事件的分发。这个方案是由前端根据各个图层的坐标和来源(主机),实现事件的分发,简化了在CPU这端的处理。
3.控制面板的显示输入和触控输出处理的方案,扩展到其他的外接显示屏上,同时实现了多个屏同时进行多个主机交互的处理过程。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明公开了一种多机共享的多屏显示控制***及方法,该***包括控制面板、至少两个主机、显示设备、前端处理模块和应用处理器,其中,前端处理模块基于FPGA构建,采用融合视频切换矩阵,根据应用处理器的指令对多路输入图像进行图像缩放、拼接和多图层叠加的图像显示,将图像处理和矩阵切换功能融为一体,可以较低的成本实现视频矩阵,图像处理和预览的功能,极大简化在构建图像显示控制相关产品的设计,并降低整体的成本和功耗;同时前端能够准确定位触屏事件的坐标,并进行路由处理,可以实现在显示屏上同时对多机进行交互处理,极大增强了相关应用的体验感。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (5)
1.一种多机共享的多屏显示控制***,其特征在于,包括控制面板、至少两个主机、两个显示设备、前端处理模块和应用处理器,其中,所述控制面板、所述主机、所述显示设备和所述应用处理器均与所述前端处理模块相连;
所述控制面板用于实现人机交互;
所述主机用于输入视频或图像信号到所述前端处理模块,也能够接收所述前端处理模块所发出的触屏指令;
所述显示设备用于显示所述前端处理模块输出的图像,也能够触发触控指令并发送给所述前端处理模块;
所述前端处理模块上设置有接收各个端口输入的各路信号,并对获取到的各路信号进行处理;
所述应用处理器通过控制端口与所述前端处理模块通信连接,能够获取前端处理设备传输的多路图像,制定前端处理模块所需要的图像、视频显示控制指令并发送给所述前端处理模块;
所述前端处理模块上设置有面板接口、主机接口、显示接口和控制端口,所述面板接口用于连接控制面板,所述主机接口用于连接主机,包括显示输入端口和触控输出端口;所述显示接口用于连接显示设备,包括显示输出端口和触屏输入端口;所述控制端口用于与所述应用处理器相连;
所述前端处理模块包括主控模块、输入适配模块、输出驱动模块、DDR、Video DMA和Mixer,所述主控模块通过与所述控制端口接收到所述应用处理器发出的控制指令后,设置所述输入适配模块、所述输出驱动模块、所述DDR、所述Video DMA和所述Mixer的工作参数和工作方式,也能够驱动所有触屏输入端口上的控制面板和显示设备,接收并处理所有触屏输入端口上的触控输入事件;所述输入适配模块用于接收各端口的图像输入信号,并将不同格式的图像输入信号统一转换格式后传送给所述Video DMA;所述Video DMA对接收到的图像、视频输入信号存储到DDR中;所述Mixer通过Video DMA读取相应的图像信号,根据设定的输出格式对图像信号进行处理后,通过所述输出驱动模块输出;
所述驱动所有触屏输入端口上的控制面板和显示设备,接收并处理所有触屏输入端口上的触控输入事件具体为:读取触控事件在全触屏的坐标信息,再根据当前对应的显示屏上画面的内容,判断该坐标属于哪台主机的内容;将触控事件的全屏的绝对坐标转换根据所属画面的窗口位置和大小,转换为窗口内的相对坐标,然后封装成新的触控事件,通过触屏输出端口发送给相应的主机;
采用多屏显示控制***进行多屏显示的方法,包括以下步骤:
A1,应用处理器根据应用场景通过主控端口设置图像显示控制指令,确定前端处理模块上每个外接显示屏需要显示的内容,同时确定是单画面输出还是多画面输出,包括显示设备的显示器和控制面板上的液晶屏;
A2,若是单画面输出,则前端处理模块直接为每个显示屏上选取相应一路图像信号进行显示;若是多画面输出,则前端处理模块需要对多路主机接入的图像信号进行缩放、叠加、拼接和合成处理后,再按照规定的显示格式输出到显示屏上进行显示;
A3,前端处理模块记录每个显示屏上的信号源,以及每个信号源所显示的位置信息;
采用多屏显示控制***进行多屏控制的方法,包括以下步骤:
B1,用户根据应用场景通过显示设备中的触摸屏或控制面板的触摸屏发生触控事件,若是通过显示设备中的触摸屏发生触控事件,则进入步骤B2;若是控制面板的触摸屏发生触控事件,则进入步骤B4;
B2,外接触控信号通过前端处理模块中的触控输入端口以HID协议传入前端处理模块;
B3,所述前端处理设备读取触控事件在全触屏的坐标信息,该模块根据当前的显示区域的信号源,判断出所属区域的主机,并进行相应的坐标转换后,再将触控事件重新封装成HID协议,发送给对应的主机;
B4,当控制面板上未进行窗口预览时,触控事件将直接传给应用处理器进行处理;当控制面板上有预览窗口时,前端处理模块将预览窗口外的触控事件透传给应用处理器,而预览窗口内的事件则封装为HID协议传送给相应的外接主机处理。
2.根据权利要求1所述的多机共享的多屏显示控制***,其特征在于,所述前端处理模块上还设置有图像采集端口和应用界面端口,所述图像采集端口用于通过所述应用处理器的图像输入端向所述应用处理器传输处理后的多路图像信号,所述应用界面端口用于接收由所述应用处理器图像输出端输出的应用界面。
3.根据权利要求1所述的多机共享的多屏显示控制***,其特征在于,所述输入适配模块接收各端口的图像输入信号,并将不同格式的图像输入信号统一转换为AXI4-Stream格式;所述Mixer通过Video DMA读取相应的视频信号,根据设定的输出参数,对图像信号进行处理的方式包括对图像进行缩放、合成、拼接和叠加中的至少一种。
4.根据权利要求1所述的多机共享的多屏显示控制***,其特征在于,根据设定的输出参数,对图像信号进行处理具体为:根据输入的参数,设定Mixer的各路图像来源在DDR中Frame Buffer的地址,以及在合成后的各路画面的显示位置,由Mixer形成一路合成后的Axi4-Stream的视频流,再送入到相应接口的输出驱动中,按照实际接口的标准输出最终合成后的画面内容。
5.根据权利要求1所述的多机共享的多屏显示控制***,其特征在于,所述应用处理器制定前端处理模块所需要的图像、视频显示控制指令包括单画面输出和多画面输出,其中,
所述单画面输出指令具体为直接选取前端处理模块中一路显示输入直通至所述显示设备;
所述多画面输出指令具体为将根据显示要求,将多路显示输入画面经过所述前端处理模块进行处理后同时显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110430899.0A CN113132783B (zh) | 2021-04-21 | 2021-04-21 | 一种多机共享的多屏显示控制***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110430899.0A CN113132783B (zh) | 2021-04-21 | 2021-04-21 | 一种多机共享的多屏显示控制***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113132783A CN113132783A (zh) | 2021-07-16 |
CN113132783B true CN113132783B (zh) | 2023-08-25 |
Family
ID=76778546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110430899.0A Active CN113132783B (zh) | 2021-04-21 | 2021-04-21 | 一种多机共享的多屏显示控制***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113132783B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117785995B (zh) * | 2024-02-28 | 2024-06-28 | 江西方兴科技股份有限公司 | 一种基于物联网屏的数据展示方法及*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201214215A (en) * | 2010-09-23 | 2012-04-01 | Acer Inc | Multi-host touch control display device |
CN102855108A (zh) * | 2011-06-29 | 2013-01-02 | 锋厚科技股份有限公司 | 显示控制装置 |
CN106201413A (zh) * | 2016-06-24 | 2016-12-07 | 青岛海信电器股份有限公司 | 一屏多窗口显示的触控分配方法、装置及液晶显示装置 |
CN205946014U (zh) * | 2016-07-25 | 2017-02-08 | 厦门视诚科技有限公司 | 多信号输入多画面合成的装置 |
CN106791491A (zh) * | 2017-01-19 | 2017-05-31 | 深圳市捷视飞通科技股份有限公司 | 一种视频矩阵切换的装置及其方法 |
US10021348B1 (en) * | 2017-07-21 | 2018-07-10 | Lenovo (Singapore) Pte. Ltd. | Conferencing system, display method for shared display device, and switching device |
CN110851011A (zh) * | 2019-09-17 | 2020-02-28 | 丁建华 | 一种对大屏多信号源复杂显示内容进行交互的***和方法 |
CN111459393A (zh) * | 2020-03-13 | 2020-07-28 | 中天智领(北京)科技有限公司 | 一种多信号源交互操控的实现方法、***及设备 |
CN112565627A (zh) * | 2020-11-30 | 2021-03-26 | 天津津航计算技术研究所 | 一种基于位图叠加的多路视频集中显示设计方法 |
-
2021
- 2021-04-21 CN CN202110430899.0A patent/CN113132783B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201214215A (en) * | 2010-09-23 | 2012-04-01 | Acer Inc | Multi-host touch control display device |
CN102855108A (zh) * | 2011-06-29 | 2013-01-02 | 锋厚科技股份有限公司 | 显示控制装置 |
CN106201413A (zh) * | 2016-06-24 | 2016-12-07 | 青岛海信电器股份有限公司 | 一屏多窗口显示的触控分配方法、装置及液晶显示装置 |
CN205946014U (zh) * | 2016-07-25 | 2017-02-08 | 厦门视诚科技有限公司 | 多信号输入多画面合成的装置 |
CN106791491A (zh) * | 2017-01-19 | 2017-05-31 | 深圳市捷视飞通科技股份有限公司 | 一种视频矩阵切换的装置及其方法 |
US10021348B1 (en) * | 2017-07-21 | 2018-07-10 | Lenovo (Singapore) Pte. Ltd. | Conferencing system, display method for shared display device, and switching device |
CN110851011A (zh) * | 2019-09-17 | 2020-02-28 | 丁建华 | 一种对大屏多信号源复杂显示内容进行交互的***和方法 |
CN111459393A (zh) * | 2020-03-13 | 2020-07-28 | 中天智领(北京)科技有限公司 | 一种多信号源交互操控的实现方法、***及设备 |
CN112565627A (zh) * | 2020-11-30 | 2021-03-26 | 天津津航计算技术研究所 | 一种基于位图叠加的多路视频集中显示设计方法 |
Non-Patent Citations (1)
Title |
---|
卢万银.基于一机多屏技术的手术室集中控制***设计.《吉首大学学报(自然科学版)》.2012,(第4期),72-75. * |
Also Published As
Publication number | Publication date |
---|---|
CN113132783A (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102857738B (zh) | 多屏控制的图像显示***、方法及多屏控制装置 | |
CN113014838B (zh) | 一种基于fpga的多格式高速数字视频融合*** | |
CN103544130B (zh) | 一种多窗口显示设备及显示方法 | |
CN204795335U (zh) | Kvm矩阵*** | |
WO2007059684A1 (en) | Device for managing video image and method thereof | |
CN106534780A (zh) | 三维全景视频监控装置及其视频图像处理方法 | |
CN103618869B (zh) | 多画面视频拼接方法及装置 | |
CN211184115U (zh) | 一种具有多路视频显示功能的车载显控终端 | |
CN100365701C (zh) | 多层实时图像叠加控制器 | |
CN211207311U (zh) | 基于显示器的一屏多显技术 | |
CN101329841A (zh) | Lcd大屏幕中拼接电路模块及其控制方法 | |
CN102724433A (zh) | 一种实现多种视频信号画面合成的方法与装置 | |
CN113132783B (zh) | 一种多机共享的多屏显示控制***及方法 | |
CN112822438A (zh) | 一种实时控制多路视频管理器 | |
CN102497526B (zh) | 一种同一链路显示多路视频的方法及*** | |
JP3483465B2 (ja) | 画像表示システム | |
US20060055626A1 (en) | Dual screen display using one digital data output | |
CN111405201B (zh) | 多时间处理及显示***、处理装置、显示设备 | |
CN206611512U (zh) | 三维全景视频监控装置 | |
CN110996090B (zh) | 一种2d-3d图像混合拼接*** | |
CN201060342Y (zh) | Lcd大屏幕中拼接电路模块 | |
CN116347016A (zh) | 一种用于视频会议的矩阵切换器 | |
CN114339106B (zh) | 一种超高清sdi、ip多画面信号处理器 | |
CN206585660U (zh) | 用于航天器研制的协同工作*** | |
WO2022184029A1 (zh) | 拼贴画显示***及其数据处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230721 Address after: Room 602, Floor 6, Building 3, No.1 Shujin Road, Qingyang District, Chengdu, Sichuan 610074 Applicant after: Sichuan Jiashi Information Technology Co.,Ltd. Address before: 610091 7-1-7-1, Shangri La garden, 65 Qingjiang Middle Road, Chengdu, Sichuan Applicant before: Zhan Huilai |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |