CN109831662B - Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质 - Google Patents

Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质 Download PDF

Info

Publication number
CN109831662B
CN109831662B CN201910223256.1A CN201910223256A CN109831662B CN 109831662 B CN109831662 B CN 109831662B CN 201910223256 A CN201910223256 A CN 201910223256A CN 109831662 B CN109831662 B CN 109831662B
Authority
CN
China
Prior art keywords
display
glasses
screen
interface
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910223256.1A
Other languages
English (en)
Other versions
CN109831662A (zh
Inventor
张复尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutou Technology Hangzhou Co Ltd
Original Assignee
Yutou Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yutou Technology Hangzhou Co Ltd filed Critical Yutou Technology Hangzhou Co Ltd
Priority to CN201910223256.1A priority Critical patent/CN109831662B/zh
Publication of CN109831662A publication Critical patent/CN109831662A/zh
Priority to PCT/CN2020/079222 priority patent/WO2020192451A1/en
Application granted granted Critical
Publication of CN109831662B publication Critical patent/CN109831662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种AR眼镜屏幕的实时画面投射方法、装置及控制器和介质，所述方法包括探测AR眼镜是否与外接扩展显示器连接；若是，则通过设置于所述AR眼镜的摄像头采集摄像头画面，通过所述AR眼镜的主屏幕采集虚拟UI；基于所述摄像头画面和虚拟UI进行画面合成，生成合成结果画面并发送至所述扩展显示器中；将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。本发明通过AR眼镜屏幕与扩展显示器的差异化内容显示，眼镜主屏幕无需显示摄像头画面，也无需额外设置服务器等来实现投射，降低了开发成本，且能实现快速部署，提升了用户体验。

Description

AR眼镜屏幕的实时画面投射方法、装置及控制器和介质
技术领域
本发明涉及增强现实技术领域，尤其涉及一种AR眼镜屏幕的实时画面投射方法、装置及控制器和介质。
背景技术
近年来，增强现实(Augmented Reality，简称AR)技术快速发展，AR产品也不断推陈出新，但是大部分产品都是朝向专业级或高端使用者为主要取向，很多民众难以去了解或接触，因此可采用AR眼镜将屏幕中所呈现的内容，即AR眼镜屏幕的实时画面投射到扩展显示器，以实现对AR技术及AR眼镜等产品的宣传，扩展显示器即连接于AR眼镜的外部显示器。
AR眼镜将屏幕中所呈现的内容是眼镜屏幕中的虚拟用户界面(User Interface，简称UI)与眼镜使用者的真实视场内容的叠加，AR眼镜屏幕往往是透明或者半透明的，眼镜屏幕只负责显示对应虚拟UI内容，真实的视场场景作为虚拟UI的背景，因此AR眼镜投射出去的最终结果画面是来自于AR眼镜摄像头拍摄到的场景即时画面与眼镜屏幕中所呈现的虚拟UI的合成结果画面，其中，AR眼镜摄像头拍摄到的场景即时画面即为眼镜使用者的真实视场内容，简称摄像头画面。
现有技术通常采用以下两种技术方案来实现：
(1)屏幕镜像技术：将安卓AR眼镜摄像头画面导入眼镜主显示器中并与虚拟UI内容一同展示在AR眼镜主显示器中，然后通过屏幕镜像将结果画面输出到扩展显示器中，安卓AR眼镜指的是搭载安卓***的AR眼镜。但是，通过单纯的屏幕镜像完成AR眼镜的实时真实画面投射到扩展显示器会导致AR眼镜使用者在投射眼镜屏幕画面时看到来自于眼镜摄像头的画面，同时也导致AR眼镜虚拟UI不能准确的附着在真实场景中，用户体验差。
(2)后台服务器合成技术：AR眼镜通过视频流技术向后台视频流服务器同时发送两组视频流，一组时来自于AR眼镜摄像头画面，一组来自于眼镜屏幕中的虚拟UI屏幕镜像画面。将两组视频流在后端视频流服务器中合成画面，并发送到扩展显示器中进行展示。该技术手段可以避免单纯屏幕镜像所导致的AR眼镜用户体验感的下降，但是，视频流画面的合成需要后端视频流服务器进行支持，且视频流画面的合成也会产生延迟，在结果画面的展示时还需要额外的带有独立计算单元的终端对视频流进行解码才能呈现在扩展显示器中，该技术方案需要依赖中间设备，同时在相关支持软件的开发和部署上存在额外负担，成本高，不适用于轻量级本地化的快速部署并，此外，大部分视频流服务依赖公网和无线网络支持，对于本地小型局域网、单点对点的Wi-Fi直连，甚至是有线传输支持极其有限。
发明内容
本发明目的在于，提供一种AR眼镜屏幕的实时画面投射方法、装置及控制器和介质，通过AR眼镜屏幕与扩展显示器的差异化内容显示，眼镜主屏幕无需显示摄像头画面，也无需额外设置服务器等来实现投射，降低了开发成本，且能实现快速部署，提升了用户体验。
为了解决上述技术问题，根据本发明第一实施例，提供了一种AR眼镜屏幕的实时画面投射方法，包括:
探测AR眼镜是否与外接扩展显示器连接；
若是，则通过设置于所述AR眼镜的摄像头采集摄像头画面，通过所述AR眼镜的主屏幕采集虚拟UI；
基于所述摄像头画面和虚拟UI进行画面合成，生成合成结果画面并发送至所述扩展显示器中；
将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
进一步的，所述探测AR眼镜是否与外接扩展显示器连接，包括：
通过第一接口探测眼镜是否与外接扩展显示器连接，所述第一接口包括显示管理器接口和媒体路由器接口。
进一步的，所述基于所述摄像头画面和虚拟UI进行画面合成，包括：
定义第二接口子类，所述第二接口包括展示接口；
在所述第二接口生命周期的初始创建周期中,为所述第二接口关联一个图层；
将所述摄像头画面呈现在所述第二接口图层的最底层；
将所述虚拟UI同步呈现在所述第二接口图层中，所述摄像头画面和虚拟UI进行画面叠加，生成所述合成结果画面。
进一步的，所述将所述虚拟UI同步呈现在所述第二接口图层中，包括：
获取所述虚拟UI的绘图缓存，所述绘图缓存为全屏虚拟UI绘图缓存或局部虚拟UI绘图缓存；
基于所述绘图缓存生成位图；
新建一个视图扩展子类定义为绘画板，声明画布绘制的背景颜色为透明，在所述绘画板中绘制所述位图，并加入到所述第二接口图层中，叠加在所述摄像头画面之上。
进一步的，当所需获取的绘图缓存为局部虚拟UI绘图缓存时，
构建一个视图或者框架布局的扩展子类作为视图容器；
监听回调事件在视图发生改变时获取对应的局部虚拟UI绘图缓存放置在所述视图容器中；
基于所述视图容器中的局部虚拟UI绘图缓存生成位图，并将所述位图绘制在所述绘画板上。
进一步的，当所述AR眼镜的屏幕分辨率和扩展显示器的分辨率不一致时，所述方法还包括：
设置所述视图容器的高度和宽度与所述扩展显示器的显示宽度和显示高度一致；
获取所述视图容器在所述AR眼镜屏幕中的实际显示高度和实际显示宽度；
在绘画板中获取扩展显示器的显示高度与显示宽度；
将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示的高度，得到高度倍数；
将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示宽度，得到宽度倍数；
根据所述高度倍数和所述宽度倍数对所述绘画板进行等比缩放。
进一步的，所述将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示，包括：
绑定定义好的第二接口子类与通过所述第一接口探测到的所述扩展显示器；
在所述扩展显示器中显示所述合成结果画面，同时，在所述AR眼镜的主屏幕显示所述虚拟UI。
进一步的，所述AR眼镜通过有线、无线Wi-Fi、Wi-Fi直连、谷歌投射、无线蓝牙、GSM、CDMA、局域网或英特网与所述扩展显示器通信连接。
根据本发明第二实施例，提供了一种AR眼镜屏幕的实时画面投射装置，包括:
显示器探测模块，配置为探测AR眼镜是否与外接扩展显示器连接；
图像采集模块，配置为AR眼镜与外接扩展显示器连接时，通过设置于所述AR眼镜的摄像头采集摄像头画面，通过所述AR眼镜的主屏幕采集虚拟UI；
画面合成模块，配置为基于所述摄像头画面和虚拟UI进行画面合成，生成合成结果画面并发送至所述扩展显示器中；
差异化显示模块，配置为将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
进一步的，所述显示器探测模块具体配置为：
通过第一接口探测AR眼镜是否与外接扩展显示器连接，所述第一接口包括显示管理器接口和媒体路由器接口。
进一步的，所述画面合成模块包括：
接口定义子模块，配置为定义第二接口子类，所述第二接口包括展示接口；
图层关联子模块，配置为在所述第二接口生命周期的初始创建周期中,为所述第二原生接口关联一个图层；
第一画面呈现子模块，配置为将所述摄像头画面呈现在所述第二接口图层的最底层；
第二画面呈现子模块，配置为将所述虚拟UI同步呈现在所述第二接口图层中，所述摄像头画面和虚拟UI进行画面叠加，生成所述合成结果画面。
进一步的，所述第二画面呈现子模块包括：
绘图缓存获取单元，配置为获取所述虚拟UI的绘图缓存，所述绘图缓存为全屏虚拟UI绘图缓存或局部虚拟UI绘图缓存；
位图生成单元，配置为基于所述绘图缓存生成位图；
图层叠加单元，配置为新建一个视图扩展子类定义为绘画板，声明画布绘制的背景颜色为透明，在所述绘画板中绘制所述位图，并加入到所述第二接口图层中，叠加在所述摄像头画面之上。
进一步的，当所述绘图缓存为局部虚拟UI绘图缓存时，所述第二画面呈现子模块还包括：
容器构建子单元，配置为构建一个视图或者框架布局的扩展子类作为视图容器；
容器存储子单元，配置为监听回调事件在视图发生改变时获取对应的局部虚拟UI绘图缓存放置在所述视图容器中；
绘制子单元，配置为基于所述视图容器中的局部虚拟UI绘图缓存生成位图，并将所述位图绘制在所述绘画板上。
进一步的，当所述AR眼镜的屏幕分辨率和扩展显示器的分辨率不一致时，所述装置还包括：
参数设置单元，配置为设置所述视图容器的高度和宽度与所述扩展显示器的显示宽度和显示高度一致；
第一参数获取单元，配置为获取所述视图容器在所述AR眼镜屏幕中的实际显示高度和实际显示宽度；
第二参数获取单元，配置为在绘画板中获取扩展显示器的显示高度与显示宽度；
高度倍数确定单元，配置为将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示的高度，得到高度倍数；
宽度倍数确定模块，配置为将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示宽度，得到宽度倍数；
等比缩放单元，配置为根据所述高度倍数和所述宽度倍数对所述绘画板进行等比缩放。
进一步的，所述差异化显示模块包括：
绑定单元，配置为绑定定义好的第二接口子类与通过所述第一接口探测到的所述扩展显示器；
差异显示单元，配置为在所述扩展显示器中显示所述合成结果画面，同时，在所述AR眼镜的主屏幕显示所述虚拟UI。
进一步的，所述AR眼镜通过有线、无线Wi-Fi、Wi-Fi直连、谷歌投射、无线蓝牙、GSM、CDMA、局域网或英特网与所述扩展显示器通信连接。
根据本发明第三实施例，提供一种控制器，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现所述方法的步骤。
根据本发明第四实施，提供一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现所述方法的步骤。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明一种AR眼镜屏幕的实时画面投射方法、装置及控制器和介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
本发明通过AR眼镜屏幕与扩展显示器的差异化内容显示，无需依赖屏幕镜像，眼镜主屏幕无需显示摄像头画面，不会降低眼镜使用者观看体验；本发明也无需额外设置服务器等来实现投射，降低了开发成本，且能实现快速部署，提升了用户体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本发明一实施例提供的AR眼镜屏幕的实时画面投射场景示意图；
图2为本发明一实施例提供的基于安卓AR眼镜屏幕的实时画面投射方法流程图；
图3为本发明一实施例提供的扩展屏幕构建示意图；
图4为本发明一实施例提供的虚拟UI同步呈现在所述第二安卓原生接口图层示意图；
图5为本发明一实施例提供的AR眼镜屏幕的实时画面投射装置示意图。
【符号说明】
1：显示器探测模块 2：图像采集模块
3：画面合成模块 4：差异化显示模块
10：AR眼镜屏幕的实时画面投射装置
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种AR眼镜屏幕的实时画面投射方法、装置及控制器和介质的具体实施方式及其功效，详细说明如后。为了描述方便，本发明的具体实施方式基于安卓平台进行详细描述，本领域的技术人员可以理解，本发明的实施方式可以实施在非安卓的平台(例如IOS，Windows等)上。
本发明的一个或多个实施例提供了一种基于安卓的AR眼镜屏幕的实时画面投射方法，采用安卓AR眼镜将屏幕中所呈现的内容投射到扩展显示器，应用场景如图1所示。
本发明实施例所述方法具体包括以下步骤，如图2所示:
步骤S1、探测安卓AR眼镜是否与外接扩展显示器连接。
安卓***提供了原生的探测移动设备是否有接入扩展显示器的接口，在安卓***中如果设备接入扩展显示器后，可以通过显示管理器(DisplayManager)或者媒体路由器(MediaRouter)获取到相关扩展显示器信息。因此作为示例，所述步骤S1包括：
通过第一安卓原生接口探测安卓AR眼镜是否与外接扩展显示器连接，所述第一安卓原生接口包括DisplayManager接口和MediaRouter接口，所述第一安卓原生接口为权利要求书中的第一接口的一个实施例。其中，DisplayManger接口用于管理多个显示器及其相关属性，MediaRouter接口允许应用程序控制从当前设备到外部扬声器和目标设备的媒体通道和流的路由。
所述安卓AR眼镜可通过以下方式与外接扩展显示器通信连接：
有线：例如高清晰度多媒体接口(High-Definition Multimedia Interface，简称HDMI)线缆，通用串行总线(Universal Serial Bus，简称USB)线缆等；
无线Wi-Fi(Wireless Fidelity)：在中文里又称作无线热点；
Wi-Fi直连(Wi-Fi Direct)；
Miracast标准:以Wi-Fi直连为基础的无线显示标准，支援此标准的3C(Computer电脑，Communications通信，Consumer-Electronics消费电子产品)装置可透过无线方式分享视讯画面，例如手机可透过Miracast将影片或照片直接在电视或其他装置播放而无需任何连接线，也不需透过无线热点。
谷歌投射(Google Cast)，是谷歌的一项服务,用于将支援Google Cast的应用程式，如YouTube(表示视频网站名称)等的画面投放到安卓电视上；
无线蓝牙；
全球移动通信***(Global System/Standard for MobileCommunication(s)简称GSM)；
码分多址(Code Division Multiple Access简称CDMA)；
局域网；
英特网。
安卓AR眼镜与外接扩展显示器支持多种通信连接方式，开发难度低且部署快速。
步骤S2、若是，则通过设置于所述AR眼镜的摄像头采集摄像头画面，通过所述AR眼镜的主屏幕采集虚拟UI。
AR眼镜摄像头采集到的场摄像头画面与眼镜使用者的真实视场内容一致，AR眼镜的主屏幕采集虚拟UI即眼镜屏幕中的虚拟用户界面。作为示例，可通过安卓摄像头(Camera1或Camera2)接口，捕获摄像头画面，管理及操作摄像头的相关功能及属性。
步骤S3、基于所述摄像头画面和虚拟UI进行画面合成，生成合成结果画面并发送至所述扩展显示器中，如图3所示；
作为示例，可通过安卓展示(Presentation)接口为扩展显示器构建显示内容，Presentation是一种特殊的对话框，其目的是在辅助显示屏上显示内容，Presentation在创建时与目标显示相关联，并根据显示的度量标准配置其上下文和资源配置。步骤S3中，所述基于所述摄像头画面和虚拟UI进行画面合成具体包括以下步骤：
步骤S31、定义第二安卓原生接口子类，所述第二安卓原生接口包括Presentation接口，所述第二安卓原生接口为权利要求中第二接口的一个实施例；
步骤S32、在所述第二安卓原生接口生命周期的初始创建周期中,为所述第二原生接口关联一个图层；
步骤S33、将所述摄像头画面呈现在所述第二安卓原生接口图层的最底层，具体通过在应用内调用摄像头的接口以及声明对摄像头的操作权限来实现；
步骤S34、将所述虚拟UI同步呈现在所述第二安卓原生接口图层中，所述摄像头画面和虚拟UI进行画面叠加，生成所述合成结果画面。
在将AR眼镜摄像头画面引入扩展显示器后，需要将AR眼镜屏幕中的虚拟UI同步动态的展示在扩展显示器中，这样才能真正的将眼镜使用者通过AR眼镜观看到的内容真正的呈现在扩展显示器中供其他人观看。实时动态的将AR眼镜屏幕中的虚拟UI同步在扩展显示器中，是指是一个连续对AR眼镜主屏幕UI图层的连续获取绘图缓存的动作，并在扩展显示器屏幕中通过画布(Canvas)工具进行再次绘制的过程，Canvas为安卓原生接口，允许开发者在Canvas上渲染自定义的图形或修改已存在的视图并定制它们的外观。作为示例，步骤S34中，将所述虚拟UI同步呈现在所述第二安卓原生接口图层中，如图4所示，包括：
步骤S341、获取所述虚拟UI的绘图缓存，所述绘图缓存为全屏虚拟UI绘图缓存或局部虚拟UI绘图缓存。可以根据开发需求考虑对屏幕中的虚拟UI进行局部获取绘图缓存，或者获取屏幕中的全屏虚拟UI绘图缓存，安卓对于视图提供获取绘图的缓存的接口，开发者只需要依据开发需求对特定的视图或者根视图声明获取视图缓存并生成对应位图即可。
步骤S342、基于所述绘图缓存生成位图；
步骤S343、新建一个视图扩展子类定义为绘画板，声明画布绘制的背景颜色为透明，在所述绘画板中绘制所述位图，并加入到所述第二安卓原生接口图层中，叠加在所述摄像头画面之上。
为了减少不间断的获取绘图缓存给设备带来的运行负担，可以只在视图发生改变时进行连续的获取绘图缓存动作，即获取局部虚拟UI绘图缓存，当所需获取的绘图缓存为局部虚拟UI绘图缓存时，所述步骤S34还包括：
步骤S3411、构建一个视图或者框架布局的扩展子类作为视图容器，可在视图容器中声明获取本视图容器的绘图缓存。
步骤S3412、监听回调事件在视图发生改变时获取对应的局部虚拟UI绘图缓存放置在所述视图容器中。
需要说明的是，步骤S341中，也可通过监听回调事件在视图发生改变时获取对应的全屏虚拟UI绘图缓存。
步骤S3413、基于所述视图容器中的局部虚拟UI绘图缓存生成位图，并将所述位图绘制在所述绘画板上。通过步骤S3411-步骤S3413，将所有需要同步到扩展显示器中的虚拟UI绘图缓存内容放置在视图容器中，视图容器将会把它所包含的这些虚拟UI转换成并绘制在对应的绘画板上。视图容器之外的虚拟UI内容将不会被绘制在扩展显示器中。这样，开发者可以决定AR眼镜中哪些虚拟UI可以被绘制在扩展显示器中，哪些虚拟UI无需绘制在扩展显示器中，从而减少了不间断的获取绘图缓存给设备带来的运行负担。
通过在视图容器中声明获取本视图容器的绘图缓存，并通过即将绘图监听(OnPreDrawListener)接口和发生滚动监(OnScrollChangedListener)接口监听的回调事件将视图容器的位图绘制在Presentation中的绘画板上。OnPreDrawLi stener表示在即将绘制视图树时要调用的回调的接口定义，OnScrollChangedListener表示滚动视图树中的某些内容时要调用的回调的接口定义。可以通过实现这两个监听的回调事件来保证只有在视图发生任何改变时触发获取绘图缓存的动作，从而节省设备资源。将获取的绘图缓存生成位图并为其定义一个***，用以监听新位图的生成，每当生成一张新的位图时就触发一次回调事件，并在绘画板中声明实现新位图生成的***，新位图的回调事件是将生成的新位图绘制在当前的绘画板，并声明画布绘制的背景颜色为透明，将绘画板加入到Presentation的绑定图层中，并叠加在摄像头浏览画面之上，这样就会在扩展显示器中同时呈现出包含AR眼镜摄像头画面以及AR眼镜主屏幕UI画面的叠加画面。
步骤S4、将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
作为示例，所述步骤S4包括：
步骤S41、绑定定义好的第二安卓原生接口子类与通过所述第一安卓原生接口探测到的所述扩展显示器；
步骤S42、在所述扩展显示器中显示所述合成结果画面，同时，在所述AR眼镜的主屏幕显示所述虚拟UI，从而实现了所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
需要说明的是，用户可能使用了与AR眼镜分辨率不相通的扩展显示器作为投射画面的输出。若单纯按照扩展显示器的分辨率将UI绘制出来时会产生形变，所以需要考虑按照眼镜分辨率为基准或按照扩展显示器分辨率为基准来设定相关尺寸或者根据需求等比缩放来达到更好的输出效果。作为示例，当所述AR眼镜的屏幕分辨率和扩展显示器的分辨率不一致时，所述方法还包括：
步骤S51、设置所述视图容器的高度和宽度与所述扩展显示器的显示宽度和显示高度一致；
步骤S52、获取所述视图容器在所述AR眼镜屏幕中的实际显示高度和实际显示宽度；作为示例，可在测量函数onMeanure()中声明周期中返回视图容器的在AR眼镜中实际显示高度与宽度，创建一个类称为显示尺寸助手，并在尺寸记录类中定义一个高度和宽度，数据类型是整型，建立两个获取方法和两个设置方法，分别用来设置和获取高度和宽度，调用显示尺寸助手中的设置方法分别将视图容器的在AR眼镜中实际显示高度与宽度存储下来。
步骤S53、在绘画板中获取扩展显示器的显示高度与显示宽度，作为示例，可在绘画板中通过显示指标(DisplayMetrics)接口获取扩展显示器的显示高度与显示宽度，DisplayMetrics为安卓原生接口，是描述有关显示的一般信息的结构，例如其大小，密度和字体缩放。
步骤S54、将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示的高度，得到高度倍数；
步骤S55、将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示宽度，得到宽度倍数；
步骤S56、根据所述高度倍数和所述宽度倍数对所述绘画板进行等比缩放，具体可通过绘画版的横向缩放比例(ScaleX)接口和纵向缩放比例(ScaleY)接口，对绘画板进行等比缩放，这样在从AR眼镜中传递过来的位图在再次绘制时将以等比缩放的形式呈现在扩展显示器中，从而实现良好的扩展显示器观看体验。
本发明实施例基还可于安卓AR眼镜上搭载的安卓平台，根据安卓UI架构，面向安卓主屏幕中的二维UI虚拟画面的同步到扩展显示器中，开发者可以通过此构架实现三维的虚拟UI画面的同步到扩展显示器中，例如在AR眼镜和扩展显示器中分别加入一个图形语言表面视图(GLSurfaceView，安卓原生视图组件，可呈现复杂的三维图像对象)视图，两个GLSurfaceView视图同时渲染相同的图像对象，并维护两个GLSurfaceView的渲染同步，从而进一步加强本方案的实现效果。
本发明实施例所述方法不依赖安卓屏幕镜像，而是采用扩展显示器和AR眼镜的主屏幕进行差异化内容显示的方式，眼镜主屏幕不会显示摄像头的浏览画面，眼镜使用者在使用眼镜时无需降低体验。此外，本发明实施例本身并不依赖任何后台多媒体流服务，可通过Wi-Fi直连支持相关协议的多媒体，例如支持Google Cast和MirrorCast的智能电视或者机顶盒，还支持有线链接，例如通过连接高清晰度多媒体接口线缆使用OTG协议将AR眼镜画面的投射至扩展显示器中。USB On-The-Go通常缩写为USB OTG，是USB 2.0规格的补充标准。它可使USB设备，例如播放器或手机，从USB周边设备变为USB主机，与其他USB设备连接通信。在正常情况下，这些支持OTG的USB设备和USB主机，如桌上型电脑或者手提电脑，仍然作为USB周边设备使用。本发明实施例还支持来自云端的多媒体流服务的画面投射。还可通过局域网中的后端多媒流服务在局域网中的指定显示设备中进行画面投射，适用范围广泛。
根据本发明第二实施例，提供了一种基于安卓AR眼镜屏幕的实时画面投射装置10，如图5所示，包括显示器探测模块1、图像采集模块2、画面合成模块3和差异化显示模块4，其中，显示器探测模块1，配置为探测安卓AR眼镜是否与外接扩展显示器连接；图像采集模块2，配置为AR眼镜与外接扩展显示器连接时，通过设置于所述AR眼镜的摄像头采集摄像头画面，通过所述AR眼镜的主屏幕采集虚拟UI；画面合成模块3，配置为基于所述摄像头画面和虚拟UI进行画面合成，生成合成结果画面并发送至所述扩展显示器中；差异化显示模块4，配置为将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
所述安卓AR眼镜可通过以下方式与外接扩展显示器通信连接：
有线：例如高清晰度多媒体接口(High-Definition Multimedia Interface，简称HDMI)线缆，通用串行总线(Universal Serial Bus，简称USB)线缆等；
无线Wi-Fi(Wireless Fidelity)：在中文里又称作无线热点；
Wi-Fi直连(Wi-Fi Direct)；
Miracast标准:以Wi-Fi直连为基础的无线显示标准，支援此标准的3C(Computer电脑，Communications通信，Consumer-Electronics消费电子产品)装置可透过无线方式分享视讯画面，例如手机可透过Miracast将影片或照片直接在电视或其他装置播放而无需任何连接线，也不需透过无线热点。
谷歌投射(Google cast)，是谷歌的一项服务,用于将支援Google Cast的应用程式，如YouTube(表示视频网站名称)等的画面投放到安卓电视上；
无线蓝牙；
全球移动通信***(Global System/Standard for MobileCommunication(s)简称GSM)；
码分多址(Code Division Multiple Access简称CDMA)；
局域网；
英特网。
安卓AR眼镜与外接扩展显示器支持多种通信连接方式，开发难度低且部署快速。
作为一种示例，所述显示器探测模块1具体配置为：通过第一安卓原生接口探测安卓AR眼镜是否与外接扩展显示器连接，所述第一安卓原生接口包括显示管理器接口和媒体路由器接口。
作为示例，可通过安卓Presentation为扩展显示器构建显示内容，所述画面合成模块3包括接口定义子模块、图层关联子模块、第一画面呈现子模块和第二画面呈现子模块，其中，接口定义子模块配置为定义第二安卓原生接口子类，所述第二安卓原生接口包括展示接口；图层关联子模块配置为在所述第二安卓原生接口生命周期的初始创建周期中,为所述第二原生接口关联一个图层；第一画面呈现子模块配置为将所述摄像头画面呈现在所述第二安卓原生接口图层的最底层；第二画面呈现子模块配置为将所述虚拟UI同步呈现在所述第二安卓原生接口图层中，所述摄像头画面和虚拟UI进行画面叠加，生成所述合成结果画面。
在将AR眼镜摄像头画面引入扩展显示器后，需要将AR眼镜屏幕中的虚拟UI同步动态的展示在扩展显示器中，这样才能真正的将眼镜使用者通过AR眼镜观看到的内容真正的呈现在扩展显示器中供其他人观看。实时动态的将AR眼镜屏幕中的虚拟UI同步在扩展显示器中，是指是一个连续对AR眼镜主屏幕UI图层的连续获取绘图缓存的动作，并在扩展显示器屏幕中通过Canvas工具进行再次绘制的过程，Canvas为安卓原生接口，允许开发者在Canvas上渲染自定义的图形或修改已存在的视图并定制它们的外观。作为示例，所述第二画面呈现子模块包括绘图缓存获取单元、位图生成单元和图层叠加单元，其中，绘图缓存获取单元配置为获取所述虚拟UI的绘图缓存，所述绘图缓存为全屏虚拟UI绘图缓存或局部虚拟UI绘图缓存，可以根据开发需求考虑对屏幕中的虚拟UI进行局部获取绘图缓存，或者获取屏幕中的全屏虚拟UI绘图缓存，安卓对于视图提供获取绘图的缓存的接口，开发者只需要依据开发需求对特定的视图或者根视图声明获取视图缓存并生成对应位图即可。位图生成单元配置为基于所述绘图缓存生成位图；图层叠加单元配置为声明画布绘制的背景颜色为透明，在所述绘画板中绘制所述位图，并加入到所述第二安卓原生接口图层中，叠加在所述摄像头画面之上。
为了减少不间断的获取绘图缓存给设备带来的运行负担，可以只在视图发生改变时进行连续的获取绘图缓存动作，即获取局部虚拟UI绘图缓存，所需获取的绘图缓存为局部虚拟UI绘图缓存时，所述第二画面呈现子模块还包括容器构建子单元、容器存储子单元和绘制子单元，其中，容器构建子单元配置为构建一个视图或者框架布局的扩展子类作为视图容器；容器存储子单元配置为监听回调事件在视图发生改变时获取对应的局部虚拟UI绘图缓存放置在所述视图容器中；绘制子单元配置为基于所述视图容器中的局部虚拟UI绘图缓存生成位图，并将所述位图绘制在所述绘画板上。
所述绘图缓存为局部虚拟UI绘图缓存时，所述绘图缓存获取单元将所有需要同步到扩展显示器中的虚拟UI绘图缓存内容放置在视图容器中，视图容器将会把它所包含的这些虚拟UI转换成并绘制在对应的绘画板上。视图容器之外的虚拟UI内容将不会被绘制在扩展显示器中。这样，开发者可以决定AR眼镜中哪些虚拟UI可以被绘制在扩展显示器中，哪些虚拟UI无需绘制在扩展显示器中，从而减少了不间断的获取绘图缓存给设备带来的运行负担。
通过在视图容器中声明获取本视图容器的绘图缓存，并通过即将绘图监听(OnPreDrawListener)接口和发生滚动监(OnScrollChangedListener)接口监听的回调事件将视图容器的位图绘制在Presentation中的绘画板上。OnPreDrawListener表示在即将绘制视图树时要调用的回调的接口定义，OnScrollChangedListener表示滚动视图树中的某些内容时要调用的回调的接口定义。可以通过实现这两个监听的回调事件来保证只有在视图发生任何改变时触发获取绘图缓存的动作，从而节省设备资源。将获取的绘图缓存生成位图并为其定义一个***，用以监听新位图的生成，每当生成一张新的位图时就触发一次回调事件，并在绘画板中声明实现新位图生成的***，新位图的回调事件是将生成的新位图绘制在当前的绘画板，并声明画布绘制的背景颜色为透明，将绘画板加入到Presentation的绑定图层中，并叠加在摄像头浏览画面之上，这样就会在扩展显示器中同时呈现出包含AR眼镜摄像头画面以及AR眼镜主屏幕UI画面的叠加画面。
作为示例，所述差异化显示模块4包括绑定单元和差异显示单元，其中，绑定单元配置为绑定定义好的第二安卓原生接口子类与通过所述第一安卓原生接口探测到的所述扩展显示器；差异显示单元配置为在所述扩展显示器中显示所述合成结果画面，同时，在所述AR眼镜的主屏幕显示所述虚拟UI，从而实现了所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
需要说明的是，用户可能使用了与AR眼镜分辨率不相通的扩展显示器作为投射画面的输出。若单纯按照扩展显示器的分辨率将UI绘制出来时会产生形变，所以需要考虑按照眼镜分辨率为基准或按照扩展显示器分辨率为基准来设定相关尺寸或者根据需求等比缩放来达到更好的输出效果。作为示例，当所述AR眼镜的屏幕分辨率和扩展显示器的分辨率不一致时，所述装置还包括参数设置单元、第一参数获取单元、第二参数获取单元、高度倍数确定单元、宽度倍数确定模块和等比缩放单元，其中，参数设置单元配置为创建视图容器，设置所述视图容器的高度和宽度与所述扩展显示器的显示宽度和显示高度一致；第一参数获取单元配置为获取所述视图容器在所述AR眼镜屏幕中的实际显示高度和实际显示宽度；第二参数获取单元配置为在绘画板中获取扩展显示器的显示高度与显示宽度；高度倍数确定单元配置为将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示的高度，得到高度倍数；宽度倍数确定模块配置为将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示宽度，得到宽度倍数；等比缩放单元配置为根据所述高度倍数和所述宽度倍数对所述绘画板进行等比缩放。
本发明实施例还提供一种控制器，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现所述基于安卓AR眼镜屏幕的实时画面投射方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现所述基于安卓AR眼镜屏幕的实时画面投射方法的步骤。
本发明实施例通过AR眼镜屏幕与扩展显示器的差异化内容显示，无需依赖安卓屏幕镜像，眼镜主屏幕无需显示摄像头画面，不会降低眼镜使用者观看体验；本发明也无需额外设置服务器等来实现投射，降低了开发成本，且能实现快速部署，提升了用户体验。
尽管本发明的实施例是基于安卓***进行描述，本领域的技术人员可以理解，本发明的一个或多个实施例可以在使用与上述接口相同或相似功能的操作***上实施。
此外，尽管本发明的实施例是基于AR眼镜进行描述，但是本发明并不限于此。本领域的技术人员可以理解，对于VR眼镜、AR头盔等实现虚拟用户界面和真实视场叠加的产品的投射，均适用于本发明的技术方案。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (16)

1.一种AR眼镜屏幕的实时画面投射方法，其特征在于，包括:
探测AR眼镜是否与外接扩展显示器连接；
若是，则通过设置于所述AR眼镜的摄像头采集摄像头画面，通过所述AR眼镜的主屏幕采集虚拟UI；
定义第二接口子类，所述第二接口包括展示接口；
在所述第二接口生命周期的初始创建周期中,为所述第二接口关联一个图层；
将所述摄像头画面呈现在所述第二接口图层的最底层；
将所述虚拟UI同步呈现在所述第二接口图层中，所述摄像头画面和虚拟UI进行画面叠加，生成合成结果画面并发送至所述扩展显示器中；
将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
2.根据权利要求1所述的AR眼镜屏幕的实时画面投射方法，其特征在于，
所述探测AR眼镜是否与外接扩展显示器连接，包括：
通过第一接口探测AR眼镜是否与外接扩展显示器连接，所述第一接口包括显示管理器接口和媒体路由器接口。
3.根据权利要求1所述的AR眼镜屏幕的实时画面投射方法，其特征在于，
所述将所述虚拟UI同步呈现在所述第二接口图层中，包括：
获取所述虚拟UI的绘图缓存，所述绘图缓存为全屏虚拟UI绘图缓存或局部虚拟UI绘图缓存；
基于所述绘图缓存生成位图；
新建一个视图扩展子类定义为绘画板，声明画布绘制的背景颜色为透明，在所述绘画板中绘制所述位图，并加入到所述第二接口图层中，叠加在所述摄像头画面之上。
4.根据权利要求3所述的AR眼镜屏幕的实时画面投射方法，其特征在于，
当所需获取的绘图缓存为局部虚拟UI绘图缓存时，
构建一个视图或者框架布局的扩展子类作为视图容器；
监听回调事件在视图发生改变时获取对应的局部虚拟UI绘图缓存放置在所述视图容器中；
基于所述视图容器中的局部虚拟UI绘图缓存生成位图，并将所述位图绘制在所述绘画板上。
5.根据权利要求4所述的AR眼镜屏幕的实时画面投射方法，其特征在于，
当所述AR眼镜的屏幕分辨率和扩展显示器的分辨率不一致时，所述方法还包括：
设置所述视图容器的高度和宽度与所述扩展显示器的显示宽度和显示高度一致；
获取所述视图容器在所述AR眼镜屏幕中的实际显示高度和实际显示宽度；
在绘画板中获取扩展显示器的显示高度与显示宽度；
将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示的高度，得到高度倍数；
将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示宽度，得到宽度倍数；
根据所述高度倍数和所述宽度倍数对所述绘画板进行等比缩放。
6.根据权利要求2所述的AR眼镜屏幕的实时画面投射方法，其特征在于，
所述将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示，包括：
绑定定义好的第二接口子类与通过所述第一接口探测到的所述扩展显示器；
在所述扩展显示器中显示所述合成结果画面，同时，在所述AR眼镜的主屏幕显示所述虚拟UI。
7.根据权利要求1-6中任意一项所述的AR眼镜屏幕的实时画面投射方法，其特征在于，
所述AR眼镜通过有线、无线Wi-Fi、Wi-Fi直连、谷歌投射、无线蓝牙、GSM、CDMA、局域网或英特网与所述扩展显示器通信连接。
8.一种AR眼镜屏幕的实时画面投射装置，其特征在于，包括:
显示器探测模块，配置为探测AR眼镜是否与外接扩展显示器连接；
图像采集模块，配置为AR眼镜与外接扩展显示器连接时，通过设置于所述AR眼镜的摄像头采集摄像头画面，通过所述AR眼镜的主屏幕采集虚拟UI；
画面合成模块，包括：
接口定义子模块，配置为定义第二接口子类，所述第二接口包括展示接口；
图层关联子模块，配置为在所述第二接口生命周期的初始创建周期中,为所述第二接口关联一个图层；
第一画面呈现子模块，配置为将所述摄像头画面呈现在所述第二接口图层的最底层；
第二画面呈现子模块，配置为将所述虚拟UI同步呈现在所述第二接口图层中，所述摄像头画面和虚拟UI进行画面叠加，生成合成结果画面并发送至所述扩展显示器中；
差异化显示模块，配置为将所述扩展显示器和所述AR眼镜的主屏幕进行差异化内容显示。
9.根据权利要求8所述的AR眼镜屏幕的实时画面投射装置，其特征在于，
所述显示器探测模块具体配置为：
通过第一接口探测AR眼镜是否与外接扩展显示器连接，所述第一接口包括显示管理器接口和媒体路由器接口。
10.根据权利要求8所述的AR眼镜屏幕的实时画面投射装置，其特征在于，
所述第二画面呈现子模块包括：
绘图缓存获取单元，配置为获取所述虚拟UI的绘图缓存，所述绘图缓存为全屏虚拟UI绘图缓存或局部虚拟UI绘图缓存；
位图生成单元，配置为基于所述绘图缓存生成位图；
图层叠加单元，配置为新建一个视图扩展子类定义为绘画板，声明画布绘制的背景颜色为透明，在所述绘画板中绘制所述位图，并加入到所述第二接口图层中，叠加在所述摄像头画面之上。
11.根据权利要求10所述的AR眼镜屏幕的实时画面投射装置，其特征在于，
当所需获取的绘图缓存为局部虚拟UI绘图缓存时，所述第二画面呈现子模块还包括：
容器构建子单元，配置为构建一个视图或者框架布局的扩展子类作为视图容器；
容器存储子单元，配置为监听回调事件在视图发生改变时获取对应的局部虚拟UI绘图缓存放置在所述视图容器中；
绘制子单元，配置为基于所述视图容器中的局部虚拟UI绘图缓存生成位图，并将所述位图绘制在所述绘画板上。
12.根据权利要求11所述的AR眼镜屏幕的实时画面投射装置，其特征在于，
当所述AR眼镜的屏幕分辨率和扩展显示器的分辨率不一致时，所述装置还包括：
参数设置单元，配置为设置所述视图容器的高度和宽度与所述扩展显示器的显示宽度和显示高度一致；
第一参数获取单元，配置为获取所述视图容器在所述AR眼镜屏幕中的实际显示高度和实际显示宽度；
第二参数获取单元，配置为在绘画板中获取扩展显示器的显示高度与显示宽度；
高度倍数确定单元，配置为将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示的高度，得到高度倍数；
宽度倍数确定模块，配置为将所述扩展显示器的显示高度除以视图容器在所述AR眼镜屏幕中的实际显示宽度，得到宽度倍数；
等比缩放单元，配置为根据所述高度倍数和所述宽度倍数对所述绘画板进行等比缩放。
13.根据权利要求9所述的AR眼镜屏幕的实时画面投射装置，其特征在于，
所述差异化显示模块包括：
绑定单元，配置为绑定定义好的第二接口子类与通过所述第一接口探测到的所述扩展显示器；
差异显示单元，配置为在所述扩展显示器中显示所述合成结果画面，同时，在所述AR眼镜的主屏幕显示所述虚拟UI。
14.根据权利要求8-13中任意一项所述的AR眼镜屏幕的实时画面投射装置，其特征在于，
所述AR眼镜通过有线、无线Wi-Fi、Wi-Fi直连、谷歌投射、无线蓝牙、GSM、CDMA、局域网或英特网与所述扩展显示器通信连接。
15.一种控制器，其包括存储器与处理器，其特征在于,所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现权利要求1至7中任意一项权利要求所述的方法的步骤。
16.一种计算机可读存储介质，用于存储计算机程序，其特征在于,所述程序在由一计算机或处理器执行时实现如权利要求1至7中任意一项权利要求所述的方法的步骤。
CN201910223256.1A 2019-03-22 2019-03-22 Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质 Active CN109831662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910223256.1A CN109831662B (zh) 2019-03-22 2019-03-22 Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
PCT/CN2020/079222 WO2020192451A1 (en) 2019-03-22 2020-03-13 Real-time picture projection method and apparatus of ar glasses screen, controller and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910223256.1A CN109831662B (zh) 2019-03-22 2019-03-22 Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质

Publications (2)

Publication Number Publication Date
CN109831662A CN109831662A (zh) 2019-05-31
CN109831662B true CN109831662B (zh) 2021-10-08

Family

ID=66871004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910223256.1A Active CN109831662B (zh) 2019-03-22 2019-03-22 Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质

Country Status (2)

Country Link
CN (1) CN109831662B (zh)
WO (1) WO2020192451A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684813A (zh) * 2019-06-14 2020-09-18 深圳市大疆创新科技有限公司 数据处理方法、***、移动平台、终端及存储介质
CN110866979A (zh) * 2019-11-14 2020-03-06 联想(北京)有限公司 数据处理方法、装置、计算设备以及介质
CN111246261A (zh) * 2020-02-28 2020-06-05 北京视博云信息技术有限公司 一种内容投放的方法、装置及***
CN112243219A (zh) * 2020-10-15 2021-01-19 北京字节跳动网络技术有限公司 显示设备和终端的控制方法、装置、终端和存储介质
CN114020231B (zh) * 2021-11-11 2023-12-26 京东方科技集团股份有限公司 一种用户界面显示的方法及设备
CN114363489B (zh) * 2021-12-29 2022-11-15 珠海惠中智能技术有限公司 一种将摄像头和眼部显示装置直接耦合的增强现实***
CN114900530B (zh) * 2022-04-22 2023-05-05 冠捷显示科技（厦门）有限公司 一种显示设备与元宇宙虚实切换与整合***及其方法
CN116074487A (zh) * 2023-01-31 2023-05-05 杭州易现先进科技有限公司 一种ar眼镜的投屏方法、设备、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103558691A (zh) * 2013-11-01 2014-02-05 王洪亮 3d智能设备及其3d图像显示方法
CN105959666A (zh) * 2016-06-30 2016-09-21 乐视控股（北京）有限公司 一种虚拟现实***中分享3d影像的方法和装置
CN106201259A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种虚拟现实***中分享全景影像的方法和装置
CN106790553A (zh) * 2016-12-24 2017-05-31 珠海市魅族科技有限公司 虚拟现实设备的界面共享方法和装置
CN107272224A (zh) * 2017-08-03 2017-10-20 苏州医视医疗科技有限公司 具有双向调节功能的智能眼镜
CN207651021U (zh) * 2018-04-11 2018-07-24 成都普望智能科技有限公司 基于ar/vr技术的智慧培训、测评及考试***
CN108421240A (zh) * 2018-03-31 2018-08-21 成都云门金兰科技有限公司 基于ar的球场弹幕***
CN109496293A (zh) * 2018-10-12 2019-03-19 北京小米移动软件有限公司 扩展内容显示方法、装置、***及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US10168788B2 (en) * 2016-12-20 2019-01-01 Getgo, Inc. Augmented reality user interface
US20180275766A1 (en) * 2017-03-27 2018-09-27 MindMaze Holdiing SA System, method and apparatus for providing a user interface
CN106997618A (zh) * 2017-04-14 2017-08-01 陈柳华 一种虚拟现实与真实场景融合的方法
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
CN108924538B (zh) * 2018-05-30 2021-02-26 太若科技(北京)有限公司 Ar设备的屏幕拓展方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103558691A (zh) * 2013-11-01 2014-02-05 王洪亮 3d智能设备及其3d图像显示方法
CN105959666A (zh) * 2016-06-30 2016-09-21 乐视控股（北京）有限公司 一种虚拟现实***中分享3d影像的方法和装置
CN106201259A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种虚拟现实***中分享全景影像的方法和装置
CN106790553A (zh) * 2016-12-24 2017-05-31 珠海市魅族科技有限公司 虚拟现实设备的界面共享方法和装置
CN107272224A (zh) * 2017-08-03 2017-10-20 苏州医视医疗科技有限公司 具有双向调节功能的智能眼镜
CN108421240A (zh) * 2018-03-31 2018-08-21 成都云门金兰科技有限公司 基于ar的球场弹幕***
CN207651021U (zh) * 2018-04-11 2018-07-24 成都普望智能科技有限公司 基于ar/vr技术的智慧培训、测评及考试***
CN109496293A (zh) * 2018-10-12 2019-03-19 北京小米移动软件有限公司 扩展内容显示方法、装置、***及存储介质

Also Published As

Publication number Publication date
CN109831662A (zh) 2019-05-31
WO2020192451A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN109831662B (zh) Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
US11895426B2 (en) Method and apparatus for capturing video, electronic device and computer-readable storage medium
WO2021204296A1 (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
CN106708452B (zh) 一种信息共享方法及终端
US20230291980A1 (en) Method and apparatus for video generation and displaying, device, and medium
CN110569013B (zh) 基于展示屏幕的图像展示方法以及装置
WO2016150281A1 (zh) 一种预览视频文件的展示方法及移动终端和***
WO2020220773A1 (zh) 图片预览信息的显示方法、装置、电子设备及计算机可读存储介质
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
WO2015072194A1 (ja) 表示制御装置、表示制御方法およびプログラム
CN113778360B (zh) 投屏方法和电子设备
CN111796826B (zh) 一种弹幕的绘制方法、装置、设备和存储介质
CN113747199A (zh) 视频编辑方法、装置、电子设备、存储介质及程序产品
CN111352560B (zh) 分屏方法、装置、电子设备和计算机可读存储介质
WO2022052742A1 (zh) 多终端屏幕组合方法、装置、设备和计算机存储介质
CN107995538B (zh) 视频批注方法及***
CN111221444A (zh) 分屏特效处理方法、装置、电子设备和存储介质
CN112202958B (zh) 截图方法、装置及电子设备
CN109241304B (zh) 图片处理方法、装置及设备
CN116847147A (zh) 特效视频确定方法、装置、电子设备及存储介质
CN111311477B (zh) 图像编辑方法、装置及对应的存储介质
CN111367598B (zh) 动作指令的处理方法、装置、电子设备及计算机可读存储介质
CN113114955B (zh) 一种视频的生成方法、装置及电子设备
CN113587812B (zh) 显示设备、测量方法及装置
WO2023134537A1 (zh) 分屏特效道具生成方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant