CN109714588A - 多视点立体图像定位输出方法、装置、设备以及存储介质 - Google Patents

多视点立体图像定位输出方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN109714588A
CN109714588A CN201910126050.7A CN201910126050A CN109714588A CN 109714588 A CN109714588 A CN 109714588A CN 201910126050 A CN201910126050 A CN 201910126050A CN 109714588 A CN109714588 A CN 109714588A
Authority
CN
China
Prior art keywords
output
equipment
external equipment
viewpoint
device identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910126050.7A
Other languages
English (en)
Inventor
张小龙
刘志愿
陈小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Future Perception Technology Co Ltd
Original Assignee
Shenzhen Future Perception Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Future Perception Technology Co Ltd filed Critical Shenzhen Future Perception Technology Co Ltd
Priority to CN201910126050.7A priority Critical patent/CN109714588A/zh
Publication of CN109714588A publication Critical patent/CN109714588A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种多视点立体图像定位输出方法、装置、设备以及存储介质,该方法包括:获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。解决了现有的立体渲染技术及3D显示不适用于多人虚拟空间交互场景的技术问题。

Description

多视点立体图像定位输出方法、装置、设备以及存储介质
技术领域
本发明涉及图像输出技术领域,尤其涉及一种多视点立体图像定位输出方法、装置、设备以及存储介质。
背景技术
在虚拟现实及3D显示领域中,立体渲染及3D显示提供给用户沉浸感。目前可以通过单视点立体投影机、单视点立体液晶显示器或单视点裸眼3D显示器等显示设备,来实现单一视点的立体渲染技术及3D显示。
但是在这种单一视点的场景下,只有一个用户能看到合适空间位置的立体图像,在其旁边的用户将会看到一个被拉伸或存在其它畸变的图像,长时间观看不合适的立体图像会使得用户产生不适感。因此目前的立体渲染技术及3D显示不适用于多人虚拟空间交互的场景。
发明内容
本发明的主要目的在于提供一种多视点立体图像定位输出方法、装置、设备以及可读存储介质,旨在解决现有的立体渲染技术及3D显示不适用于多人虚拟空间交互场景的技术问题。
为实现上述目的,本发明提供一种多视点立体图像定位输出方法,所述多视点立体图像定位输出方法包括步骤:
获取作为视点的外部设备的设备标识,并计算所述设备标识相对显示设备的空间位置;
根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;
根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。
可选地,所述根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列的步骤,包括:
基于预设定位装置获取在显示设备展示方向上所述外部设备的定位信息;
根据所述定位信息确定所述外部设备上标记点对应特征点,以及所述特征点相对于所述显示设备的空间坐标;
根据各所述特征点的特征属性和空间坐标,从所述特征点中分类出符合预设特征属性关系和预设位置关系的特征点组合,基于各所述特征点组合和所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列。
可选地,所述基于各所述特征点组合和所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列的步骤,包括:
基于所述设备标识的标识个数和预设规则计算各所述特征点组合的总数量;
根据所述总数量和各所述特征点组合确定所述显示设备待输出单元图像的输出频率和输出序列。
可选地,所述根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像的步骤,包括:
获取所述外部设备的当前渲染模式,并判断所述当前渲染模式是否为中心模式;
若所述当前渲染模式为中心模式,则根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
若所述当前渲染模式不是中心模式,则确定所述当前渲染模式是否为固定模式,并当所述当前模式为固定模式时,获取所述固定模式对应的固定单元图像,并同步控制所述外部设备对各自的固定单元图像的接收。
可选地,所述若所述当前渲染模式为中心模式,则根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像的步骤,包括:
若所述当前渲染模式为中心模式,则基于所述显示设备中的预设算法计算所述外部设备的空间位置对应的基础视图矩阵和基础投影矩阵;
根据所述基础视图矩阵和所述基础投影矩阵计算所述显示设备中待输出的图形纹理,并基于所述图形纹理确定所述外部设备对应的目标单元图像。
可选地,所述获取作为视点的外部设备的设备标识和相对显示设备的空间位置的步骤,包括:
获取作为视点的外部设备的设备标识,并确定各所述设备标识相对于显示设备的各三维坐标;
并通过预设测量计算方法计算各三维坐标,以获取所述外部设备相对于所述显示设备的空间位置。
可选地,所述并通过预设测量计算方法计算各三维坐标,以获取所述外部设备相对于所述显示设备的空间位置的步骤之后,包括:
获取显示设备中的预设时间,并通过所述预设时间再次计算所述外部设备相对于所述显示设备的新空间坐标;
通过所述新空间坐标更新所述显示设备中的基础视图矩阵和基础投影矩阵,基于更新后的基础视图矩阵和基础投影矩阵更新所述目标单元图像。
此外,为实现上述目的,本发明还提供一种多视点立体图像定位输出装置,所述多视点立体图像定位输出装置包括:
获取模块,用于获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;
确定模块,用于根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;
计算模块,用于根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
输出模块,用于控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。
此外,为实现上述目的,本发明还提供一种多视点立体图像定位输出设备;
所述多视点立体图像定位输出设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中:
所述计算机程序被所述处理器执行时实现如上所述的多视点立体图像定位输出方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质;
所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的多视点立体图像定位输出方法的步骤。
在本实施例中,通过获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。通过获取外部设备上的设备标识,确定各个显示设备的输出频率和输出序列,从而保证每个外部设备获取到的目标单元图像均是效果最好的,并且相对于现有技术中采用立体渲染及显示功能,避免了当错误延时较高的立体渲染和显示会给用户带来明显眩晕感的现象发生。而且由于每个外部设备均能接收到各自对应的目标单元图像,从而解决了虚拟显示领域中由于单视点而带来的3D图畸变的问题,也解决了现有的立体渲染技术及3D显示不适用于多人虚拟空间交互场景的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图;
图2为本发明多视点立体图像定位输出方法第一一实施例的流程示意图;
图3为本发明多视点立体图像定位输出方法第二实施例的流程示意图;
图4为本发明多视点立体图像定位输出方法中功能模块示意图;
图5为本发明多视点立体图像定位输出设备中显示设备的工作原理图;
图6为本发明多视点立体图像定位输出方法中渲染模式判断选择流程图;
图7为本发明多视点立体图像定位输出方法中显示设备安装及畸变调整流程图;
图8为本发明多视点立体图像定位输出设备中定位装置图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为激光打标设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在终端设备移动到耳边时,关闭显示屏和/或背光。当然,终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及多视点立体图像定位输出程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的多视点立体图像定位输出程序,并执行以下操作:
获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;
根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;
根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。
参照图2,本发明提供一种多视点立体图像定位输出方法,在多视点立体图像定位输出方法第一实施例中,多视点立体图像定位输出方法包括以下步骤:
步骤S10,获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;
外部设备可以是用户观看3D画面的设备,如用户佩戴的3D眼镜等,并且外部设备包括多结构话特征的被动跟踪或主动***及其交互外设及传输介质等。视点可以是外部设备上的某一标记点。设备标识可以是外部设备在视点上的标记。显示设备可以是投影机,也可以是液晶显示器,而在本实施例中,显示设备包括但不限于多个具有单视点立体投影机或具有多视点裸眼3D显示显示设备或屏幕刷新率大于等于240Hz的液晶显示器、结合屏幕刷新率大于等于240Hz的液晶显示器及高刷新率液晶光阀组成的主动式偏光显示器、刷新率大于等于240Hz的led矩阵显示设备等。并且在本实施例中,显示设备的安装方式可以是水平,垂直或为任意角度,具体在此不做限制。另外,为辅助理解显示设备的工作原理,下面进行举例说明,如图5所示,以大于等于24寸刷新率大于等于240Hz液晶屏结合高刷新率液晶光阀组成的主动式偏振多视点显示设备为例,该多视点显示设备由液晶光阀、液晶光阀驱动电路、电源管理电路、高刷新率液晶显示器及驱动电路、USB2.0/3.0驱动电路、液晶面板驱动电路及相关辅助电路组成。该显示设备一般放置在桌面,与水平桌面夹角可从180度连续调整至0度,方便使用者观看。
在***中,先需要先获取作为视点的外部设备的设备标识,再根据设备标识来计算各个外部设备相对于显示设备的空间位置。即需要先确定有几个用户正在观看3D画面,也可以是根据用户佩戴的3D眼镜(可以是主动式3D眼镜也可以是被动式3D眼镜)来确定的,并且由于3D眼镜上设置有反光体或者发光体,又或者是声波发生器,而每个3D眼镜可以至少设置有3个反光体,每个眼镜上面的反光体所构成的刚体形状不一样,每个反光体的形状也不一样。因此可以根据设置在显示设备上的至少两个相机,拍摄到正在使用的眼镜的图片,然后识别图中的点,以及点构成的刚体形状,就可以知道有几个眼镜,由于预先可以录入每个眼镜的对应什么样的结构的点,就可以知道当前有几个眼镜在使用,以及都是哪几个眼镜在使用。然后根据反光点在至少两张拍摄的图片中的位置,可以计算出该点相对于显示设备的坐标,得到每个眼镜上面的至少3个点的坐标后,就可以定位这个眼镜所在的平面,以及平面的法线,就是知道了这个眼镜相对于显示设备的位置以及角度,也就是各个外部设备相对于显示设备的空间位置。
其中,空间位置计算逻辑可以为:第一步,逻辑控制及数据中心获取所有的电信号数据(下面有描述),分为多图像数据信号,多惯性测量单元信号,多声波定位***信号;第二步,根据图像数据信号中的固定结构特征,区分每个结构ID,通过三角测量方法计算距离,并进行实时跟踪;第三步,区分声波单元编码,对每种编码进行距离计算,并进行实时跟踪。第四步,针对第二步和第三步的计算结果,融合第一步的惯性测量单元的信号,技能计算和预测出空间中用户的位置和姿态信息。
步骤S20,根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;
当获取到外部设备上的设备标识的标识个数后,可以是先确定有多少个外部设备,然后再确定显示设备待输出单元图像的输出频率和输出序列,即根据多个用户的多个视点,渲染出多个视点的立体图像,然后进行输出。为辅助理解输出频率和输出序列,下面进行举例说明。例如,用户在以前观看3D画面时,***是以120hz的频率输出一个用户的左眼图像和右眼图像,进行交替输出,而现在是以输出用户1的左眼,用户2的左眼,用户1的右眼,用户2的右眼,这样是一个周期,然后按这个顺序循环,由于对于用户每只眼镜来说,是60hz的频率就可以没有闪烁感,所以就保证每只眼镜的频率在60hz以上就可以。即本来2d图像的时候,最低60hz的频率,3d的一个用户的时候,因为有两只眼镜,所以就是120hz,3d的两个人,就是240hz,3个人就是360hz,根据正在观看的人数来确定频率。如现在正在观看的人是3个人,就确定频率是360hz,输出顺序就可以是用户1左眼,用户2左眼,用户3左眼,用户1右眼,用户2右眼,用户3右眼。
步骤S30,根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
当获取到各个外部设备的空间位置后,则可以根据***中的相关规则获取与外部设备对应的目标单元图像。例如,如图6所示,先判断当前用户渲染模式,一般渲染模式分为中心模式与固定模式两种,再根据不同模式下,获得不同的基础视图矩阵和基础投影矩阵,并由于已获取到每个用户头部空间位置和每个用户交互外设空间位置,因此可以根据上述三个结果,来动态调整虚拟世界相机中的空间姿态和位置。其中,需要说明的是每个外部设备都有一个与之对应的如投影机一样的装置,以保证,每个用户能够同时观看到具有景深的3D图形或虚拟场景。而对投影机的设置,下面进行举例说明。例如,显示设备可由多个多个刷新率大于等于120Hz的高清立体投影机、高反射率投影幕布,DLP 3D眼镜或2.4G频率3D眼镜+2.4G信号同步发射器及相关安装零配件及辅料组成。每个刷新率大于等于120Hz的高清立体投影机提供了一个单视点,N个该类投影机提供N个视点,在安装该类多视点显示设备时,需要进行多投影区域安装和2D图像畸变调整工作,即让每个刷新率大于等于120Hz的高清立体投影机往相同的投影区域。而安装及畸变调整流程则如图7所示,根据投射比设定基准投影机;根据基准投影机投射画面调整其余投影机安装位置及调整其畸变参数;投各投影机投射不同颜色相同特征的校正图片到基准投影机投射区域;校正软件根据自动计算每个投影机的偏差参数;根据上一步结果微调其余投影机X、Y、Z位置。
步骤S40,控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。
再控制显示设备已获取到的输出频率和输出序列输出各个外部设备的目标单元图像,并同步控制外部设备对各自的目标单元图像的接收,以实现各个外部设备所在视点的立体图像输出,即保证每个用户能够同时观看到相同的最好效果的画面。
并且,在本实施例中,***的整体工作流程如下:1、通过4把渲染出来的多视点图形显示出来;2、负责提供多结构化的特征,提供多个逻辑功能事件触发信号及对应惯性测量单元信息通过有线或者无线的传输介质传输至4;3、通过有线或无线传输介质收集和传输每个用户的空间位置电信号信息,该电信号信息包括连续图像信息或声波信息或组合而成的信息等;同时4负责接收2和3输出的的各种信息,通过多传感器数据融合并计算,标记出对应的用户及用户手持的交互外加以区分。4、通过本地内存共享、本地网络通讯、远程访问等形式把第二步的多组空间姿态和位置信息提供给应用层软件。
在本实施例中,通过获取作为视点的外部设备的设备标识和相对显示设备的空间位置;根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。通过获取外部设备上的设备标识,确定各个显示设备的输出频率和输出序列,从而保证每个外部设备获取到的目标单元图像均是效果最好的,并且相对于现有技术中采用立体渲染及显示功能,避免了当错误延时较高的立体渲染和显示会给用户带来明显眩晕感的现象发生。而且由于每个外部设备均能接收到各自对应的目标单元图像,从而解决了虚拟显示领域中由于单视点而带来的3D图畸变的问题,也解决了现有的立体渲染技术及3D显示不适用于多人虚拟空间交互场景的技术问题。
进一步地,在本发明第一实施例的基础上,提出了本发明多视点立体图像定位输出方法的第二实施例,本实施例是本发明第一实施例的步骤S20的细化,参照图3,包括:
步骤S21,基于预设定位装置获取在显示设备展示方向上所述外部设备的定位信息;
预设定位装置可以是用户提前设置的定位装置。定位信息可以包括外部设备相对于显示设备的方向和空间位置坐标。根据预设定位装置获取在显示设备展示方向上的外部设备的定位信息。例如,如图8所示,在本***中具有n个工业相机、n个惯性单元、n个声波单元和高速外部同步***、高带宽数据转送中心、逻辑控制及数据中心。在正常工作之前,需要快速自动化光学及惯性***标定单元进行多传感器标定,该标定单元采用具有特定结构参数的主动发射红外光的标定杆及电信号零飘标定仪组成。标定过程如下:第一步:安装好所有传感器;第二步:在红外工业相机前,在空中任意挥动所述标定杆;第三步:重复第二步,确保至少两个相机能看到标定杆所有的发光点;第四步:把所有惯性单元通过高速同步***采集在静止状态下的姿态数据进行零位数据采集及统计;第五步:把所有声波单元通过高速同步***采集并在标定电压下下进行零飘记录,并写入到某种存储介质中。
步骤S22,根据所述定位信息确定所述外部设备上标记点对应特征点,以及所述特征点相对于所述显示设备的空间坐标;
特征点可以认为外部设备上的标记点相对于显示设备的虚拟坐标点。当确定外部设备的位置信息后,需要获取外部设备上所有的标记点,并确定所有的标记点相对于显示设备的特征点,及特征点的空间坐标。
步骤S23,根据各所述特征点的特征属性和空间坐标,从所述特征点中分类出符合预设特征属性关系和预设位置关系的特征点组合,基于各所述特征点组合和所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列。
特征属性可以是特征点的结构或者其它区别信息。特征点组合可以是满足预设特征属性关系和预设位置关系的各个特征点。由于在显示设备上已预先录入每个眼镜对应什么样结构的点,因此当获取到外部设备的标记点对应的特征点后,就可以从这些特征点中筛选出符合预设特征属性关系和预设位置关系的特征点组合。例如,预先录入了眼镜1对应结构1,眼镜2对应结构2,眼镜3对应结构3,当获取到的特征点所结构为1和2时,则可以知道正在被使用的眼镜是眼镜1和眼镜2,并由于对于用户每只眼睛来说是60hz的频率就可以默认为没有闪烁感,所以需要保证每只眼镜的频率在60hz就可以了,固此时就可以确定输出频率为240h,也可以确定输出顺序,眼镜1左眼,眼镜2左眼,眼镜1右眼,眼镜2右眼,一定是左眼输出完再输出右眼,至于是左眼在前还是右眼在前都可以随用户自行设置。
在本实施例中,通过获取定位装置来确定外部设备的定位信息,并基于定位信息来确定特征点组合,再基于特征点组合确定显示设备待输出单元图像的输出频率和输出序列,从而保障了每个外部设备都能准确地获取到各自最佳效果的单元图像,提高了用户的使用体验感,并提高了确定各个外部设备的准确性。
具体地,基于各所述特征点组合和所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列的步骤,包括:
步骤S231,基于所述设备标识的标识个数和预设规则计算各所述特征点组合的总数量;
预设规则可以是用户基于自身喜好需求自行设置的任意规则。当获取到设备标识的标识个数后,可以根据预设规则计算所有特征点组合的总数量,例如,假设每个眼镜上至少有3个标记点,则此时一个特征点组合就具有3个特征点,并由于标识个数和特征点数量相同,因此就可以计算出各个特征点组合的总数量。
步骤S232,根据所述总数量和各所述特征点组合确定所述显示设备待输出单元图像的输出频率和输出序列。
当获取到各个特征点组合的总数量后,则需根据此总数量来确定显示设备待输出单元图像的输出频率,并确定哪些特征点组合接收显示设备待输出单元图像在前,哪些特征点组合接收显示设备待输出单元图像在后,即确定显示设备待输出单元图像的输出序列。
在本实施例中,通过获取各个特征点组合的总数量来确定显示设备待输出单元图像的输出频率和输出序列,从而保证了向外部设备输出单元图像的准确性。
进一步地,在本发明第一至第二实施例任意一个的基础上,提出了本发明多视点立体图像定位输出方法的第三实施例,本实施例是本发明第一实施例的步骤S30,根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像的步骤的细化,包括:
步骤S31,获取所述外部设备的当前渲染模式,并判断所述当前渲染模式是否为中心模式;
当前渲染模式可以是用户基于自身喜好需求自行选择的渲染模式,类似于观看模式。中心模式可以是随着外部设备空间位置的改变,外部设备接收到的目标单元图像也会自动进行调整。在显示设备中需要先获取用户在外部设备选择的当前渲染模式,并判断当前渲染模式是否为中心模式,再基于不同的判断结果通过计算输出不同的基础视图矩阵和基础投影矩阵。
步骤S32,若所述当前渲染模式为中心模式,则根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
当经过判断发现当前渲染模式为中心模式时,则可以根据外部设备的空间位置,得到与外部设备对应的目标单元图像,即此时的目标单元图像可以不用随着外部设备的空间位置的改变而改变。
步骤S33,若所述当前渲染模式不是中心模式,则确定所述当前渲染模式是否为固定模式,并当所述当前模式为固定模式时,获取所述固定模式对应的固定单元图像,并同步控制所述外部设备对各自的固定单元图像的接收。
固定模式可以是保持用户观看画面时,其镜框的位置保持不变。当经过判断发现当前渲染模式不是中心模式,则需要确定当前渲染模式是否为固定模式,并当确定当前渲染模式是固定模式时,则需要先确定此外部设备的空间位置是否为最佳位置,由于在固定模式下,用户能够观看到画面的最好效果只有在最佳位置处,并且当外部设备的空间位置发生改变时,用户通过外部设备观看到的画面也会随之改变,也就是外部设备接收到的固定单元图像不一定是效果最好的图像。其中,固定单元图像可以是外部设备在当前空间位置接收到的单元图像。
在本实施例中,通过判断外部设备的当前渲染模式,并基于不同的模式,输出不同的单元图像,从而调高了该***的适用性,做到让绝大部分用户满意。
具体地,若所述当前渲染模式为中心模式,则根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像的步骤,包括:
步骤S321,若所述当前渲染模式为中心模式,则基于所述显示设备中的预设算法计算所述外部设备的空间位置对应的基础视图矩阵和基础投影矩阵;
预设算法可以是用户提前设置的计算算法。当经过判断发现当前渲染模式为中心模式时,则可以先获取显示设备中的预设算法,再根据此预设算法计算出外部设备的空间位置对应的基础视图矩阵和基础投影矩阵,即可以是通过计算外部设备的空间位置和方向,例如眼镜所在的位置和方向,得到眼镜的获得所述虚拟相机的视图矩阵,并基于观察模式获得所述虚拟相机的投影矩阵。
步骤S322,根据所述基础视图矩阵和所述基础视图矩阵计算所述显示设备中待输出的图形纹理,并基于所述图形纹理确定所述外部设备对应的目标单元图像。
当获取到基础视图矩阵和基础投影矩阵后,可以根据基础视图矩阵和基础投影矩阵计算出待输出的图形纹理,并渲染待输出的图形纹理,从而形成目标单元图像,需要说明的每个外部设备均有各自对应的目标单元图像。
在本实施例中,通过确定当前渲染模式为中心模式时,确定显示设备和外部设备各自能够播放画面的大小,从而提高了用户的使用体验感。
进一步地,在本发明第一至第三实施例任意一个的基础上,提出了本发明多视点立体图像定位输出方法的第四实施例,本实施例是本发明第一实施例的步骤S10,获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置的步骤的细化,包括:
步骤S11,获取作为视点的外部设备的设备标识,并确定各所述设备标识相对于显示设备的各三维坐标;
在显示设备中获取作为视点的外部设备的设备标识,并建立基于显示设备的虚拟三维坐标系,再根据声波定位或者光学定位等方式来确定各个设备标识相对于显示设备的各个三维坐标。例如,假设是声波定位的场景,就是设置在显示设备上的至少两个声波***,接收每个眼镜上的每个声波发生器发送的声波信号,再根据声波信号的频率,来区分不同的点。两个声波接收器接收到同一个声波发生器发送的声波,就可以确定一个声波发生器的位置,即外部设备的设备标识所在位置。
步骤S12,并通过预设测量计算方法计算各三维坐标,以获取所述外部设备相对于所述显示设备的空间位置。
预设测量计算方法可以是用户基于自身的应用场景的不同需求自行设备的测量计算方法。当获取到各个设备标识相对于显示设备的各个三维坐标之后就可以通过三维计算等方式得到外部设备相对于显示设备的空间位置。
在本实施例中,通过获取各个设备标识的三维坐标,并通过预设测量计算方法获取外部设备相对于显示设备的空间位置,从而保障了获取到的空间位置的准确性,提高了用户的使用体验感。
具体地,并通过预设测量计算方法计算各三维坐标,以获取所述外部设备相对于所述显示设备的空间位置的步骤之后,包括:
步骤S13,获取显示设备中的预设时间,并通过所述预设时间再次计算所述外部设备相对于所述显示设备的新空间坐标;
步骤S14,通过所述新空间坐标更新所述显示设备中的基础视图矩阵和基础投影矩阵,基于更新后的基础视图矩阵和基础投影矩阵更新所述目标单元图像。
预设时间可以是用户提前设置的时间,获取显示设备中的预设时间,并每隔预设时间就再次计算外部设备相对于显示设备的新空间坐标,再通过新空间坐标来更新显示设备中的基础视图矩阵和基础投影矩阵,并通过更新后的基础视图矩阵和基础投影矩阵来更新带渲染的纹理,并根据更新后的纹理来更新目标单元图像,以保障用户能随时通过外部设备观看到最好的图像效果。
在本实施例中,通过不断去计算外部设备的空间坐标,并不断更新其视图矩阵和投影矩阵,然后不断更新带渲染的纹理,从而保障了外部设备随时可以接收到效果最好的画面,提高了用户的使用体验感。
此外,参照图4,本发明实施例还提出一种多视点立体图像定位输出装置,所述多视点立体图像定位输出装置包括:
获取模块,用于获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;
确定模块,用于根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;
计算模块,用于根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
输出模块,用于控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。
可选地,所述确定模块,还用于:
基于预设定位装置获取在显示设备展示方向上所述外部设备的定位信息;
根据所述定位信息确定所述外部设备上标记点对应特征点,以及所述特征点相对于所述显示设备的空间坐标;
根据各所述特征点的特征属性和空间坐标,从所述特征点中分类出符合预设特征属性关系和预设位置关系的特征点组合,基于各所述特征点组合和所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列。
可选地,所述确定模块,还用于:
基于所述设备标识的标识个数和预设规则计算各所述特征点组合的总数量;
根据所述总数量和各所述特征点组合确定所述显示设备待输出单元图像的输出频率和输出序列。
可选地,所述计算模块还用于:
获取所述外部设备的当前渲染模式,并判断所述当前渲染模式是否为中心模式;
若所述当前渲染模式为中心模式,则根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
若所述当前渲染模式不是中心模式,则确定所述当前渲染模式是否为固定模式,并当所述当前模式为固定模式时,获取所述固定模式对应的固定单元图像,并同步控制所述外部设备对各自的固定单元图像的接收。
可选地,所述计算模块还用于:
若所述当前渲染模式为中心模式,则基于所述显示设备中的预设算法计算所述外部设备的空间位置对应的基础视图矩阵和基础投影矩阵;
根据所述基础视图矩阵和所述基础投影矩阵计算所述显示设备中待输出的图形纹理,并基于所述图形纹理确定所述外部设备对应的目标单元图像。
可选地,所述获取模块,还用于:
获取作为视点的外部设备的设备标识,并确定各所述设备标识相对于显示设备的各三维坐标;
并通过预设测量计算方法计算各三维坐标,以获取所述外部设备相对于所述显示设备的空间位置。
可选地,所述获取模块,还用于:
获取显示设备中的预设时间,并通过所述预设时间再次计算所述外部设备相对于所述显示设备的新空间坐标;
通过所述新空间坐标更新所述显示设备中的基础视图矩阵和基础投影矩阵,基于更新后的基础视图矩阵和基础投影矩阵更新所述目标单元图像。
其中,多视点立体图像定位输出装置的各个功能模块实现的步骤可参照本发明多视点立体图像定位输出方法的各个实施例,此处不再赘述。
本发明还提供一种多视点立体图像定位输出设备,所述多视点立体图像定位输出设备包括:存储器、处理器、通信总线以及存储在所述存储器上的多视点立体图像定位输出程序:
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行所述多视点立体图像定位输出程序,以实现上述多视点立体图像定位输出方法各实施例的步骤。
本发明还提供了一种存储介质,所述存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述多视点立体图像定位输出方法各实施例的步骤。
本发明存储介质具体实施方式与上述多视点立体图像定位输出方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多视点立体图像定位输出方法,其特征在于,所述多视点立体图像定位输出方法包括以下步骤:
获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;
根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;
根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。
2.如权利要求1所述的多视点立体图像定位输出方法,其特征在于,所述根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列的步骤,包括:
基于预设定位装置获取在显示设备展示方向上所述外部设备的定位信息;
根据所述定位信息确定所述外部设备上标记点对应特征点,以及所述特征点相对于所述显示设备的空间坐标;
根据各所述特征点的特征属性和空间坐标,从所述特征点中分类出符合预设特征属性关系和预设位置关系的特征点组合,基于各所述特征点组合和所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列。
3.如权利要求2所述的多视点立体图像定位输出方法,其特征在于,所述基于各所述特征点组合和所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列的步骤,包括:
基于所述设备标识的标识个数和预设规则计算各所述特征点组合的总数量;
根据所述总数量和各所述特征点组合确定所述显示设备待输出单元图像的输出频率和输出序列。
4.如权利要求1所述的多视点立体图像定位输出方法,其特征在于,所述根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像的步骤,包括:
获取所述外部设备的当前渲染模式,并判断所述当前渲染模式是否为中心模式;
若所述当前渲染模式为中心模式,则根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
若所述当前渲染模式不是中心模式,则确定所述当前渲染模式是否为固定模式,并当所述当前模式为固定模式时,获取所述固定模式对应的固定单元图像,并同步控制所述外部设备对各自的固定单元图像的接收。
5.如权利要求4所述的多视点立体图像定位输出方法,其特征在于,所述若所述当前渲染模式为中心模式,则根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像的步骤,包括:
若所述当前渲染模式为中心模式,则基于所述显示设备中的预设算法计算所述外部设备的空间位置对应的基础视图矩阵和基础投影矩阵;
根据所述基础视图矩阵和所述基础投影矩阵计算所述显示设备中待输出的图形纹理,并基于所述图形纹理确定所述外部设备对应的目标单元图像。
6.如权利要求1所述的多视点立体图像定位输出方法,其特征在于,所述获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置的步骤,包括:
获取作为视点的外部设备的设备标识,并确定各所述设备标识相对于显示设备的各三维坐标;
并通过预设测量计算方法计算各三维坐标,以获取所述外部设备相对于所述显示设备的空间位置。
7.如权利要求6所述的多视点立体图像定位输出方法,其特征在于,所述并通过预设测量计算方法计算各三维坐标,以获取所述外部设备相对于所述显示设备的空间位置的步骤之后,包括:
获取显示设备中的预设时间,并通过所述预设时间再次计算所述外部设备相对于所述显示设备的新空间坐标;
通过所述新空间坐标更新所述显示设备中的基础视图矩阵和基础投影矩阵,基于更新后的基础视图矩阵和基础投影矩阵更新所述目标单元图像。
8.一种多视点立体图像定位输出装置,其特征在于,所述多视点立体图像定位输出装置包括:
获取模块,用于获取作为视点的外部设备的设备标识,并计算各所述设备标识相对显示设备的空间位置;
确定模块,用于根据所述设备标识的标识个数确定所述显示设备待输出单元图像的输出频率和输出序列;
计算模块,用于根据所述外部设备的空间位置,得到与所述外部设备对应的目标单元图像;
输出模块,用于控制所述显示设备按照所述输出频率和输出序列,输出各所述外部设备的目标单元图像,并同步控制所述外部设备对各自的目标单元图像的接收,以实现各所述外部设备所在视点的立体图像输出。
9.一种多视点立体图像定位输出设备,其特征在于,所述多视点立体图像定位输出设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多视点立体图像定位输出程序,所述多视点立体图像定位输出程序被所述处理器执行时实现如权利要求1至7中任一项所述的多视点立体图像定位输出方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有多视点立体图像定位输出程序,所述多视点立体图像定位输出程序被处理器执行时实现如权利要求1至7中任一项所述的多视点立体图像定位输出方法的步骤。
CN201910126050.7A 2019-02-16 2019-02-16 多视点立体图像定位输出方法、装置、设备以及存储介质 Pending CN109714588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910126050.7A CN109714588A (zh) 2019-02-16 2019-02-16 多视点立体图像定位输出方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910126050.7A CN109714588A (zh) 2019-02-16 2019-02-16 多视点立体图像定位输出方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN109714588A true CN109714588A (zh) 2019-05-03

Family

ID=66264621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910126050.7A Pending CN109714588A (zh) 2019-02-16 2019-02-16 多视点立体图像定位输出方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN109714588A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757010A (zh) * 2019-05-23 2020-10-09 深圳市瑞立视多媒体科技有限公司 主动光刚体配置方法、***及终端设备
WO2023056803A1 (zh) * 2021-10-09 2023-04-13 深圳市瑞立视多媒体科技有限公司 一种全息展示方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160008357A (ko) * 2014-07-14 2016-01-22 삼성전자주식회사 영상 통화 방법 및 장치
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影***及其方法
CN107888900A (zh) * 2017-11-28 2018-04-06 宁波高新区锦众信息科技有限公司 一种全视差三维显示的投影机器人及该机器人的投影方法
CN108616752A (zh) * 2018-04-25 2018-10-02 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160008357A (ko) * 2014-07-14 2016-01-22 삼성전자주식회사 영상 통화 방법 및 장치
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影***及其方法
CN107888900A (zh) * 2017-11-28 2018-04-06 宁波高新区锦众信息科技有限公司 一种全视差三维显示的投影机器人及该机器人的投影方法
CN108616752A (zh) * 2018-04-25 2018-10-02 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757010A (zh) * 2019-05-23 2020-10-09 深圳市瑞立视多媒体科技有限公司 主动光刚体配置方法、***及终端设备
CN111757010B (zh) * 2019-05-23 2021-10-22 深圳市瑞立视多媒体科技有限公司 主动光刚体配置方法、***及终端设备
WO2023056803A1 (zh) * 2021-10-09 2023-04-13 深圳市瑞立视多媒体科技有限公司 一种全息展示方法及装置

Similar Documents

Publication Publication Date Title
US11868675B2 (en) Methods and systems of automatic calibration for dynamic display configurations
CN108830939B (zh) 一种基于混合现实的场景漫游体验方法及体验***
US10019831B2 (en) Integrating real world conditions into virtual imagery
US10187635B2 (en) Method and system for displaying three-dimensional objects
CN102274633B (zh) 图像显示***、装置以及方法
US9507147B2 (en) Wearable display system with detached projector
US11663689B2 (en) Foveated rendering using eye motion
CN107147899B (zh) 一种采用led 3d屏幕的cave显示***及方法
CN108292489A (zh) 信息处理装置和图像生成方法
US20190129192A1 (en) Method for rendering three-dimensional image, imaging method and system
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
US10871823B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
US11463795B2 (en) Wearable device with at-ear calibration
CN110267028B (zh) 一种用于五面led-cave的信号同步显示***
CN109032357A (zh) 多人全息桌面交互***及方法
KR20220070485A (ko) 자동화된 비디오 캡처 및 합성 시스템
CN108616752A (zh) 支持增强现实交互的头戴设备及控制方法
CN111095348A (zh) 基于摄像头的透明显示器
CN109714588A (zh) 多视点立体图像定位输出方法、装置、设备以及存储介质
CN113875230B (zh) 混合模式三维显示方法
WO2022036692A1 (zh) 一种裸眼3d显示方法及智能终端
CN206775654U (zh) 一种采用led 3d屏幕的cave显示***
KR20230025911A (ko) 시각적 관성 오도메트리 시스템들에 대한 동적 센서 선택
KR101287251B1 (ko) 능동적 가상현실 서비스 제공 장치
JP2002300612A (ja) 画像生成装置、プログラム及び情報記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503

RJ01 Rejection of invention patent application after publication