CN110267029A - 一种基于ar眼镜的远程全息人物显示技术 - Google Patents

一种基于ar眼镜的远程全息人物显示技术 Download PDF

Info

Publication number
CN110267029A
CN110267029A CN201910660472.2A CN201910660472A CN110267029A CN 110267029 A CN110267029 A CN 110267029A CN 201910660472 A CN201910660472 A CN 201910660472A CN 110267029 A CN110267029 A CN 110267029A
Authority
CN
China
Prior art keywords
image
glasses
processing unit
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910660472.2A
Other languages
English (en)
Inventor
孙磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mingwei Software Co Ltd
Original Assignee
Guangzhou Mingwei Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mingwei Software Co Ltd filed Critical Guangzhou Mingwei Software Co Ltd
Priority to CN201910660472.2A priority Critical patent/CN110267029A/zh
Publication of CN110267029A publication Critical patent/CN110267029A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种基于AR眼镜的远程全息人物显示技术，包括数据采集端、控制端和AR眼镜端，数据采集端包括深度摄像头、彩色摄像头和麦克风，控制端包括中央处理器、图像采集单元、音频采集单元、图像处理单元，AR眼镜端包括图像数据接收单元和图像数据显示单元，数据采集端连接控制端，控制端连接AR眼镜端，本发明工作原理简单，具有沉浸感和真实感，能够让不在同一空间内的沟通交流的双方或者多方，可以处在同一空间进行交流、交互。

Description

一种基于AR眼镜的远程全息人物显示技术
技术领域
本发明涉及图像显示技术领域，具体为一种基于AR眼镜的远程全息人物显示技术。
背景技术
展望历史，人类对于如何在技术上解决近距离沟通的探索从未停止，从早期的书信沟通，到电话沟通，互联网时代的可视沟通，再到科幻电影中通过全息人物实现双方沟通。无不是想通过技术，将沟通的另一方带到自己的三维空间，从而实现面对面沟通。那么随着AR增强现实技术的进一步发展，通过技术手段完全可以实现将沟通的双方或者多方带到另一方的三维空间中，从而实现真正意义上的面对面沟通方式。当然沟通的主要设备就是目前的AR眼镜。
目前的可视沟通方式存在如下问题：
(一)真实感缺失：目前的可视沟通方式虽然可以通过PC或者手机看到对方的实时视频信息，但双方依旧分属在各自空间内，导致没有任何真实感。
(二)沟通双方的人物形象无法做到无背景显示：这里无背景显示是指对方人物形象相关的背景信息会通过技术方式过滤掉。目前的可视沟通技术无法做到。
(三)沟通双方无法交互：这里的交互是指，由于沟通双方同时存在于一个空间，这样双方可以在同一空间中操纵同一物体，比如父亲可以与孩子在同一空间内玩游戏，学英语等。目前的可视沟通技术无法做到。
发明内容
本发明的目的在于提供一种基于AR眼镜的远程全息人物显示技术，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于AR眼镜的远程全息人物显示技术，包括数据采集端、控制端和AR眼镜端，所述数据采集端包括深度摄像头、彩色摄像头和麦克风，所述控制端包括中央处理器、图像采集单元、音频采集单元、图像处理单元，所述AR眼镜端包括图像数据接收单元和图像数据显示单元，所述数据采集端连接控制端，所述控制端连接AR眼镜端，所述深度摄像头、彩色摄像头分别通过图像采集单元连接图像处理单元，所述图像处理单元连接中央处理器，所述麦克风通过音频采集单元连接中央处理器，所述中央处理器通过数据传输单元连接AR眼镜端。
优选的，其显示方法包括以下步骤：
A、首先图像采集单元通过深度摄像头采集到被采集对象的空间信息，彩色摄像头负责采集到被采集对象的彩色信息；
B、图像处理单元根据这些信息将对象的彩色信息及空间信息叠加整合并过滤掉背景数据后，形成该对象在三维空间里的彩色对象，并传输至中央处理器；
C、中央处理器将这些整合后的对象数据信息，通过数据传输单元，将数据传输给网络另一端的AR眼镜端；
D、AR眼镜端收到对象数据后，AR眼镜端中的图像数据接收单元接收数据，图像数据显示单元负责将对象信息显示在***三维空间内，实现三维空间内的全息对象的显示。
优选的，所述步骤B中图像处理单元处理方法如下：
a、将采集的图像的像素根据亮度值分成若干个图层，每个图层的亮度均不同，并将每个图层按亮度值，由低到高进行排列，且每一图层中的图像的边界都是由闭合曲线构成；
b、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；
c、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；
d、最后将处理过后的所有图层合并为一幅图像增强后的图像。
优选的，所述数据传输单元采用UDP或者TCP传输协议。
与现有技术相比，本发明的有益效果是：本发明工作原理简单，由于沟通的一方或者多方可以存在于同一空间内，提升了沟通的真实感和沉浸感，能够让不在同一空间内的沟通交流的双方或者多方，可以处在同一空间进行交流、交互。
附图说明
图1为本发明实施例一原理框图；
图2为本发明实施例一流程图；
图3为本发明实施例二原理框图；
图4为本发明实施例二流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1-2，本发明提供一种技术方案：一种基于AR眼镜的远程全息人物显示技术，包括数据采集端1、控制端2和AR眼镜端3，所述数据采集端1包括深度摄像头4、彩色摄像头5和麦克风6，所述控制端2包括中央处理器7、图像采集单元8、音频采集单元9、图像处理单元10，所述AR眼镜端3包括图像数据接收单元11和图像数据显示单元12，所述数据采集端1连接控制端2，所述控制端2连接AR眼镜端3，所述深度摄像头4、彩色摄像头5分别通过图像采集单元8连接图像处理单元10，所述图像处理单元10连接中央处理器7，所述麦克风6通过音频采集单元9连接中央处理器7，所述中央处理器7通过数据传输单元13连接AR眼镜端3。
本实施例的显示方法包括以下步骤：
A、首先图像采集单元通过深度摄像头采集到被采集对象的空间信息，彩色摄像头负责采集到被采集对象的彩色信息；
B、图像处理单元根据这些信息将对象的彩色信息及空间信息叠加整合并过滤掉背景数据后，形成该对象在三维空间里的彩色对象，并传输至中央处理器；
C、中央处理器将这些整合后的对象数据信息，通过数据传输单元，将数据传输给网络另一端的AR眼镜端，数据传输单元采用UDP或者TCP传输协议；
D、AR眼镜端收到对象数据后，AR眼镜端中的图像数据接收单元接收数据，图像数据显示单元负责将对象信息显示在***三维空间内，实现三维空间内的全息对象的显示。
本实施例中，步骤B中图像处理单元处理方法如下：
a、将采集的图像的像素根据亮度值分成若干个图层，每个图层的亮度均不同，并将每个图层按亮度值，由低到高进行排列，且每一图层中的图像的边界都是由闭合曲线构成；
b、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；
c、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；
d、最后将处理过后的所有图层合并为一幅图像增强后的图像。
图像处理单元处理方法降低了图像的全局亮度差异，增强了图像对比度，有效的抑制了噪声，进一步提高了图像的清晰度。
实施例二：
一种基于AR眼镜的远程全息人物显示技术，包括数据采集端1、控制端2和AR眼镜端3，所述数据采集端1包括深度摄像头4、彩色摄像头5和麦克风6，所述控制端2包括中央处理器7、图像采集单元8、音频采集单元9，所述AR眼镜端3包括图像处理单元10、图像数据接收单元11和图像数据显示单元12，所述数据采集端1连接控制端2，所述控制端2连接AR眼镜端3，所述深度摄像头4、彩色摄像头5分别通过图像采集单元8连接中央处理器7，所述麦克风6通过音频采集单元9连接中央处理器7，所述中央处理器7通过数据传输单元13连接AR眼镜端3，所述AR眼镜端3中的图像数据接收单元11通过图像处理单元10连接图像数据显示单元12。
本实施例的显示方法包括以下步骤：
A、首先图像采集单元通过深度摄像头采集到被采集对象的空间信息，彩色摄像头负责采集到被采集对象的彩色信息并传输至中央处理器；
B、中央处理器将采集的对象数据信息，通过数据传输单元，将数据传输给网络另一端的AR眼镜端，数据传输单元采用UDP或者TCP传输协议；
C、AR眼镜端收到对象数据后，AR眼镜端中的图像数据接收单元接收数据，图像处理单元根据这些信息将对象的彩色信息及空间信息叠加整合并过滤掉背景数据后，形成该对象在三维空间里的彩色对象；
D、图像数据显示单元负责将对象信息显示在***三维空间内，实现三维空间内的全息对象的显示。
本实施例中，图像处理单元处理方法如下：
a、将采集的图像的像素根据亮度值分成若干个图层，每个图层的亮度均不同，并将每个图层按亮度值，由低到高进行排列，且每一图层中的图像的边界都是由闭合曲线构成；
b、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；
c、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；
d、最后将处理过后的所有图层合并为一幅图像增强后的图像。
图像处理单元处理方法降低了图像的全局亮度差异，增强了图像对比度，有效的抑制了噪声，进一步提高了图像的清晰度。
综上所述，本发明工作原理简单，由于沟通的一方或者多方可以存在于同一空间内，提升了沟通的真实感和沉浸感，能够让不在同一空间内的沟通交流的双方或者多方，可以处在同一空间进行交流、交互。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于AR眼镜的远程全息人物显示技术，包括数据采集端(1)、控制端(2)和AR眼镜端(3)，其特征在于：所述数据采集端(1)包括深度摄像头(4)、彩色摄像头(5)和麦克风(6)，所述控制端(2)包括中央处理器(7)、图像采集单元(8)、音频采集单元(9)、图像处理单元(10)，所述AR眼镜端(3)包括图像数据接收单元(11)和图像数据显示单元(12)，所述数据采集端(1)连接控制端(2)，所述控制端(2)连接AR眼镜端(3)，所述深度摄像头(4)、彩色摄像头(5)分别通过图像采集单元(8)连接图像处理单元(10)，所述图像处理单元(10)连接中央处理器(7)，所述麦克风(6)通过音频采集单元(9)连接中央处理器(7)，所述中央处理器(7)通过数据传输单元(13)连接AR眼镜端(3)。
2.根据权利要求1所述的一种基于AR眼镜的远程全息人物显示技术，其特征在于：其显示方法包括以下步骤：
A、首先图像采集单元通过深度摄像头采集到被采集对象的空间信息，彩色摄像头负责采集到被采集对象的彩色信息；
B、图像处理单元根据这些信息将对象的彩色信息及空间信息叠加整合并过滤掉背景数据后，形成该对象在三维空间里的彩色对象，并传输至中央处理器；
C、中央处理器将这些整合后的对象数据信息，通过数据传输单元，将数据传输给网络另一端的AR眼镜端；
D、AR眼镜端收到对象数据后，AR眼镜端中的图像数据接收单元接收数据，图像数据显示单元负责将对象信息显示在***三维空间内，实现三维空间内的全息对象的显示。
3.根据权利要求2所述的一种基于AR眼镜的远程全息人物显示技术，其特征在于：所述步骤B中图像处理单元处理方法如下：
a、将采集的图像的像素根据亮度值分成若干个图层，每个图层的亮度均不同，并将每个图层按亮度值，由低到高进行排列，且每一图层中的图像的边界都是由闭合曲线构成；
b、对于亮度最低的图层以及亮度最大的图层，先单独进行直方图均衡化处理，再去除背景噪声，最后进行噪点去除；
c、将处于最低亮度和最高亮度中间的图层先去除噪点，再去除背景噪声，最后进行直方图均衡化处理；
d、最后将处理过后的所有图层合并为一幅图像增强后的图像。
4.根据权利要求2所述的一种基于AR眼镜的远程全息人物显示技术，其特征在于：所述数据传输单元采用UDP或者TCP传输协议。
CN201910660472.2A 2019-07-22 2019-07-22 一种基于ar眼镜的远程全息人物显示技术 Pending CN110267029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910660472.2A CN110267029A (zh) 2019-07-22 2019-07-22 一种基于ar眼镜的远程全息人物显示技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910660472.2A CN110267029A (zh) 2019-07-22 2019-07-22 一种基于ar眼镜的远程全息人物显示技术

Publications (1)

Publication Number Publication Date
CN110267029A true CN110267029A (zh) 2019-09-20

Family

ID=67927553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910660472.2A Pending CN110267029A (zh) 2019-07-22 2019-07-22 一种基于ar眼镜的远程全息人物显示技术

Country Status (1)

Country Link
CN (1) CN110267029A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491125A (zh) * 2020-04-20 2020-08-04 深圳市谦视智能科技有限责任公司 一种ar智能眼镜及记录仪

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318542A (zh) * 2014-11-20 2015-01-28 上海华力创通半导体有限公司 图像增强处理算法
CN104392045A (zh) * 2014-11-25 2015-03-04 沈阳建筑大学 一种基于智能移动终端的实时增强虚拟现实***及方法
CN107277429A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar进行远程会议的方法
JP6275087B2 (ja) * 2015-08-03 2018-02-07 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
CN108053489A (zh) * 2017-12-08 2018-05-18 快创科技（大连）有限公司 基于ar技术的商品的商标展示***
CN108076307A (zh) * 2018-01-26 2018-05-25 南京华捷艾米软件科技有限公司 基于ar的视频会议***和基于ar的视频会议方法
CN108174183A (zh) * 2018-01-11 2018-06-15 鲁东大学 一种基于物联网的vr影像数据控制***
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动***
CN109691980A (zh) * 2019-01-07 2019-04-30 哈尔滨理工大学 一种糖尿病视网膜图像病变检测方法
CN109886975A (zh) * 2019-02-19 2019-06-14 武汉大学 一种基于生成对抗网络的图像优化处理去雨滴方法和***
CN109975258A (zh) * 2019-03-25 2019-07-05 武汉理工大学 一种信号增强的微流控检测***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318542A (zh) * 2014-11-20 2015-01-28 上海华力创通半导体有限公司 图像增强处理算法
CN104392045A (zh) * 2014-11-25 2015-03-04 沈阳建筑大学 一种基于智能移动终端的实时增强虚拟现实***及方法
JP6275087B2 (ja) * 2015-08-03 2018-02-07 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
CN107277429A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar进行远程会议的方法
CN108053489A (zh) * 2017-12-08 2018-05-18 快创科技（大连）有限公司 基于ar技术的商品的商标展示***
CN108174183A (zh) * 2018-01-11 2018-06-15 鲁东大学 一种基于物联网的vr影像数据控制***
CN108076307A (zh) * 2018-01-26 2018-05-25 南京华捷艾米软件科技有限公司 基于ar的视频会议***和基于ar的视频会议方法
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动***
CN109691980A (zh) * 2019-01-07 2019-04-30 哈尔滨理工大学 一种糖尿病视网膜图像病变检测方法
CN109886975A (zh) * 2019-02-19 2019-06-14 武汉大学 一种基于生成对抗网络的图像优化处理去雨滴方法和***
CN109975258A (zh) * 2019-03-25 2019-07-05 武汉理工大学 一种信号增强的微流控检测***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491125A (zh) * 2020-04-20 2020-08-04 深圳市谦视智能科技有限责任公司 一种ar智能眼镜及记录仪
CN111491125B (zh) * 2020-04-20 2022-05-13 深圳市谦视智能科技有限责任公司 一种ar智能眼镜及记录仪

Similar Documents

Publication Publication Date Title
DE102015100926B4 (de) Präsentation von verbesserter Kommunikation zwischen entfernten Telnehmern /Teilnehmerinnen mittels erweiterter und virtueller Realität
CN104392045B (zh) 一种基于智能移动终端的实时增强虚拟现实***及方法
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
CN101345843B (zh) 可视移动终端全景视频的实现方法及***
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及***
CN101431613A (zh) 网络合影的实现方法
CN108377355A (zh) 一种视频数据处理方法、装置及设备
KR20190140396A (ko) 화상 처리장치, 방법 및 기억매체
CN104902263A (zh) 一种图像信息展现***和方法
CA2926235A1 (en) Image blur with preservation of detail
CN105959620A (zh) 一种全景视频的同步显示方法及设备
CN109716769A (zh) 在多媒体信息中提供面向对象的缩放的***和方法
CN108076307A (zh) 基于ar的视频会议***和基于ar的视频会议方法
CN103442137A (zh) 一种在手机通话中查看对方虚拟人脸的方法
CN110120049A (zh) 由单张图像联合估计场景深度与语义的方法
CN105391984A (zh) 一种无人飞行器驾驶体验***及其方法
CN109964481A (zh) 体验共享***
CN104601930A (zh) 一种视频图像和桌面图像自动切换显示的***及方法
CN104900111A (zh) 一种高保真模拟驾驶***及方法
CN110267029A (zh) 一种基于ar眼镜的远程全息人物显示技术
CN112492231A (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
WO2018154589A1 (en) An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on
CN205545426U (zh) 立体全景摄像组手机装置
CN202721763U (zh) 一种全景视频采集装置
CN115086686A (zh) 视频处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190920

RJ01 Rejection of invention patent application after publication