CN105334692B - 信息处理方法及电子设备 - Google Patents
信息处理方法及电子设备 Download PDFInfo
- Publication number
- CN105334692B CN105334692B CN201510629512.9A CN201510629512A CN105334692B CN 105334692 B CN105334692 B CN 105334692B CN 201510629512 A CN201510629512 A CN 201510629512A CN 105334692 B CN105334692 B CN 105334692B
- Authority
- CN
- China
- Prior art keywords
- frame image
- panoramic frame
- viewing orientation
- viewing
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 101000894525 Homo sapiens Transforming growth factor-beta-induced protein ig-h3 Proteins 0.000 description 4
- 102100021398 Transforming growth factor-beta-induced protein ig-h3 Human genes 0.000 description 4
- 208000028485 lattice corneal dystrophy type I Diseases 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种信息处理方法及电子设备；方法包括：检测观看者在环境中所处的第一观看方位；基于至少一个显示单元呈现第一观看方位对应的第一全景帧图像，第一全景帧图像为基于与所述第一观看方位对应的第一视场区域在全景帧图像中确定；当检测到观看者处于与第一观看方位不同的第二观看方位时，基于至少一个显示单元呈现第一全景帧图像、以及第二观看方位对应的第二全景帧图像。实施本发明，能够跟随观看者的观看方位显示对应的全景帧图像，还能显示历史观看方位的全景帧图像。
Description
技术领域
本发明涉及通信领域的全景技术，尤其涉及一种信息处理方法及电子设备。
背景技术
全景眼镜等设备向观看者呈现全景视频时，只能跟随观看者的观看方位的变化而显示显示对应观看方位的视频，但是，观看者观察一个方位的视频时，往往还需要关注其他特定方位的全景视频，对于此问题，相关技术尚无解决方案。
发明内容
本发明实施例提供一种信息处理方法及电子设备，能够跟随观看者的观看方位显示对应的全景帧图像，还能显示历史观看方位的全景帧图像。
本发明实施例的技术方案是这样实现的：
本发明实施例记载一种信息处理方法，所述方法包括：
检测观看者在环境中所处的第一观看方位；
基于至少一个显示单元呈现所述第一观看方位对应的第一全景帧图像，所述第一全景帧图像为基于与所述第一观看方位对应的第一视场区域在全景帧图像中确定；
当检测到所述观看者处于与所述第一观看方位不同的第二观看方位时，基于所述至少一个显示单元呈现所述第一全景帧图像、以及所述第二观看方位对应的第二全景帧图像，以使所述观看者基于所述至少一个显示单元呈现的图像而至少感知到所述环境中的所述第一视场区域以及所述第二视场区域，所述第二全景帧图像为基于与所述第二观看方位对应的第二视场区域在所述全景帧图像中确定。
优选地，所述方法还包括：
检测到所述观看者实施的针对所述第一观看方位的标记指令；
响应所述标记指令，将所述第一观看方位标记为所述观看者持续关注的观看方位。
优选地，所述基于至少一个显示单元呈现所述第一全景帧图像、以及所述第二观看方位对应的第二全景帧图像，包括：
解析出投射模型中与所述第一观看方位对应的所述第一视场区域；
从位于所述投射模型的环境的所述全景帧图像中提取与所述第一视场区域对应的所述第一全景帧图像，并从位于所述投射模型的环境的所述全景帧图像中提取与所述第二视场区域对应的所述第二全景帧图像；
将所述第一全景帧图像与所述第二全景帧图像在所述投射模型中进行合成得到合成全景帧图像；
基于所述合成全景帧图像控制所述至少一个显示单元进行显示。
优选地，所述将第一全景帧图像与所述第二全景帧图像在所述投射模型中进行合成得到合成全景帧图像，包括：
在所述投射模型的所述第二全景帧图像中选取部分区域；
将所述第一全景帧图像覆盖所述选取的部分区域，从所述投射模型中提取出覆盖有所述第一全景帧图像的所述第二全景帧图像。
优选地，所述方法还包括：
获取到切换至所述第一视场区域显示的指令；
响应所述指令，基于所述第一全景帧图像控制所述至少一个显示单元进行显示，以替代基于所述第一全景帧图像、所述第二全景帧图像控制所述至少一个显示单元进行显示，使所述观看者基于所述至少一个显示单元呈现的图像而感知到所述第一视场区域。
优选地，所述方法还包括：
基于所述第一全景帧图像控制所述至少一个显示单元进行显示时，更新设置所述投射模型中所述第二观看方位与所述第一视场区域对应，以替代所述投射模型中所述第二观看方位与所述第二视场区域对应。
本发明实施例还记载一种电子设备，所述电子设备包括处理单元和至少一个显示单元：其中，
所述处理单元，用于检测观看者在环境中所处的第一观看方位；
所述处理单元，还用于基于至少一个显示单元呈现所述第一观看方位对应的第一全景帧图像，所述第一全景帧图像为基于与所述第一观看方位对应的第一视场区域在全景帧图像中确定；
所述处理单元，还用于当检测到所述观看者处于与所述第一观看方位不同的第二观看方位时，基于所述至少一个显示单元呈现所述第一全景帧图像、以及所述第二观看方位对应的第二全景帧图像，以使所述观看者基于所述至少一个显示单元呈现的图像而至少感知到所述环境中的所述第一视场区域以及所述第二视场区域，所述第二全景帧图像为基于与所述第二观看方位对应的第二视场区域在所述全景帧图像中确定。
优选地，所述处理单元，还用于检测到所述观看者实施的针对所述第一观看方位的标记指令；
所述处理单元，还用于响应所述标记指令，将所述第一观看方位标记为所述观看者持续关注的观看方位。
优选地，所述处理单元，还用于解析出投射模型中与所述第一观看方位对应的所述第一视场区域；
所述处理单元，还用于从位于所述投射模型的环境的所述全景帧图像中提取与所述第一视场区域对应的所述第一全景帧图像，并从位于所述投射模型的环境的所述全景帧图像中提取与所述第二视场区域对应的所述第二全景帧图像；
所述处理单元，还用于将所述第一全景帧图像与所述第二全景帧图像在所述投射模型中进行合成得到合成全景帧图像；
所述处理单元，还用于基于所述合成全景帧图像控制所述至少一个显示单元进行显示。
优选地，所述处理单元，还用于在所述投射模型的所述第二全景帧图像中选取部分区域；将所述第一全景帧图像覆盖所述选取的部分区域，从所述投射模型中提取出覆盖有所述第一全景帧图像的所述第二全景帧图像。
优选地，所述处理单元，还用于获取到切换至所述第一视场区域显示的指令；响应所述指令，基于所述第一全景帧图像控制所述至少一个显示单元进行显示，以替代基于所述第一全景帧图像、所述第二全景帧图像控制所述至少一个显示单元进行显示，使所述观看者基于所述至少一个显示单元呈现的图像而感知到所述第一视场区域。
优选地，所述处理单元，还用于基于所述第一全景帧图像控制所述至少一个显示单元进行显示时，更新设置所述投射模型中所述第二观看方位与所述第一视场区域对应，以替代所述投射模型中所述第二观看方位与所述第二视场区域对应。
本发明实施例通过将观看者当前的观看方位(第二观看方位)对应的全景帧图像(第二全景帧图像)、与观看者的历史观看方位(第一观看方位)对应的全景帧图像结合显示，能够根据观看者的观看方位实时显示与观看者的最新观看方位对应的全景帧图像，还能够使观看者观看到历史观看方位的全景帧图像，不需要频繁调整观看方位来观看不同的视场区域，节省了观看者的操作。
附图说明
图1为本发明实施例中电子设备的外观示意图；
图2为本发明实施例中电子设备内部结构示意图；
图3为本发明实施例中信息处理方法的实现流程示意图一；
图4为本发明实施例中信息处理方法的实现流程示意图二；
图5为本发明实施例中信息处理方法的实现流程示意图三；
图6为本发明实施例中电子设备的显示示意图一；
图7为本发明实施例中电子设备的显示示意图二；
图8为本发明实施例中电子设备的显示示意图三；
图9为本发明实施例中电子设备的显示示意图四；
图10为本发明实施例中信息处理方法的实现流程示意图四；
图11为本发明实施例中信息处理方法的实现流程示意图五；
图12为本发明实施例中电子设备的显示示意图五；
图13为本发明实施例中电子设备的功能结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明实施例中记载的电子设备，如图1所示，电子设备在形态上可以是一种虚拟现实眼镜，观看者佩戴电子设备并通过电子设备中的两个视窗观看视频时，能够获得视频所承载的环境的全景的视觉效果。
电子设备的内部结构图如图2所示，观看者通过电子设备的视窗(透镜)观看时，基于观看者当前的观看方位从全景帧图像中提取位于观看者视场区域的全景帧图像并在液晶显示屏(LCD)1和LCD2上显示，帧图像在LCD1和LCD2上对应的虚像分别为B1和B2，以帧图像中的一个像素为例，观看者眼睛到虚像显示屏上的一个像素的视线在三维空间中相交(如图2中示出的C点)，C点就是观看者看到的像素在三维空间中的位置；其中，当同一时刻在LCD1和LCD2上呈现的帧图像相同时，环境的全景帧图像在观看者眼镜中呈现二维的显示效果；当LCD1和LCD2上呈现的帧图像对应为三维全景帧图像的左视图和与右视图时，环境的全景帧图像在观看者眼睛中呈现三维的显示效果。
基于上述记载的电子设备提出本发明以下各实施例。
实施例一
本实施例记载一种信息处理方法，参见图3，包括以下步骤：
步骤101，检测观看者在环境中所处的第一观看方位。
电子设备中可以内置各种传感器(如陀螺仪、重力感应计)等检测观看者佩戴电子设备时的位姿；基于位姿确定出观看者在三维空间中的观看方位(也即第一观看方位。
步骤102，基于至少一个显示单元呈现第一观看方位对应的第一全景帧图像。
采集环境的图像并进行拼接得到环境的拼接全景帧图像，将环境的拼接全景帧渲染到投射模型(如柱状投射模型或球状投射模型)进行空间变换，得到可以进行显示的全景帧图像；由于位于(渲染至)投射模型中的全景帧图像是对应三维空间，需要在投射模型中的全景帧图像中提取对应观看者的视场区域的全景帧图像以进行显示。
例如，从位于投射模型的环境的全景帧图像中提取得到与第一视场区域对应的第一全景帧图像；基于图2示出的至少一个显示单元(包括LCD1和LCD2)是呈现第一全景帧图像。
步骤103，检测到观看者的观看方位是否发生变化，如果是，则执行步骤104；否则继续执行步骤103。
通过步骤101的方式检测观看者的观看方位，并将检测到的最新的观看方位与第一观看方位进行比较以确定观看者的观看方位是否发生变化。
步骤104，观看者处于与第一观看方位不同的第二观看方位时，基于至少一个显示单元呈现第一全景帧图像、以及第二观看方位对应的第二全景帧图像。
第二观看方位并非特指观测者的第二个观看方位，而是指通过步骤101的检测方式所检测到的观看者的最新的观看方位，同理，第一观看方位也并非特指第一个观看方位，而是指相对最新的观看方位的历史观看方位，因此，如果观看者的观看方位频繁发生变化，则第一观看方位的数量可以有多个。
环境的全景帧图像是基于投射模型(如柱状投射模型或球状投射模型)进行显示的，当环境的全景帧图像渲染到投射模型之后，参见图4，当检测到第二观看方位时，解析出投射模型中与第二观看方位对应的第二视场区域(步骤201)，从位于投射模型的环境的全景帧图像中提取得到与第二视场区域对应的第二全景帧图像(步骤202)，将第一全景帧图像与第二全景帧图像在投射模型中进行合成得到合成全景帧图像；利用电子设备中的至少一个显示单元基于合成全景帧图像进行显示，可以使感知到环境中的第一视场区域和第二视场区域。
在合成第一全景帧图像和第二全景帧图像时，参见图5，在投射模型的第二全景帧图像中选取部分区域(步骤301)；将第一全景帧图像覆盖选取的部分区域(步骤302)，其中覆盖区域的位置、以及覆盖区域的面积根据实际的显示需求设定；在覆盖完成之后，从投射模型中提取出覆盖有第一全景帧图像的第二全景帧图像(步骤303)，例如选取的部分区域较小、且位于第二全景帧图像的边缘区域时，将实现第一全景帧图像以小窗口的形式在第二全景帧图像之上叠加显示。
其中，当第一观看方位的数量为两个以上时，可以结合全部第一观看方位对应的第一全景帧图像、以及第二全景帧图像进行显示，以使观看者感知到当前观看方位(第二观看方位)的全景帧图像(第二全景帧图像)以及全部历史观看方位(第一观看方位)的全景帧图像(第一观看方位)；或者，结合全部观看方位中的部分第一观看方位(例如最近检测到的一个第一观看方位)对应的第一全景帧图像、以及第二全景帧图像进行显示，以使观看者感知到当前观看方位(第二观看方位)的全景帧图像(第二全景帧图像)以及最近(在时间轴上距离最近)的一个历史观看方位(第一观看方位)的全景帧图像(第一全景帧图像)，下面结合具体示例进行说明。
第一观看方位对应的第一全景帧图像和第二观看方位对应的第二全景帧图像共同显示的一个示意图如图6所示，在图6中第二全景帧图像占用的显示区域大于第一全景帧图像占用的显示区域；需要指出的是，第一全景帧图像和第二全景帧图像的相对位置关系仅为示例，第一全景帧图像和第二全景帧图像占用的显示区域的相对位置关系可以有多种变化，如图7所示，第一全景帧图像和第二全景帧图像可以平分电子设备的显示区域。
本实施例实现了以下技术效果：电子设备根据观看者的观看方位显示对应的全景帧图像(也即全景帧图像处于第二视场区域的部分)，并显示观看者的历史观看方位(第一观看方位)对应的全景帧图像(全景帧图像中处于第一视场区域的部分)。
当观看者的观看方位多次变化时，电子设备相应检测到多个第一观看方位(历史观看方位)，每个第一观看方位对应的视场区域(第一视场区域)不同，假设观测者的观测方向发生两次变化时，电子设备依次检测到的观看方位是：观看方位1、观看方位2、观看方位3，其中观看方位1、观看方位2是观看者的历史观看方位(第一观看方位)，观看方位3是观看者的当前观看方位(第二观看方位)，视场区域1、视场区域2、视场区域3，上述的视场区域对应环境中的全景帧图像中的部分全景帧图像，设为全景帧图像1、全景帧图像2和全景帧图像3；
作为呈现第一观看方位对应的第一全景帧图像、以及第二观看方位对应的第二全景帧图的一种方式，如图8所示，可以显示全部的第一视场区域对应的第一全景帧图像(包括全景帧图像1、全景帧图像2)、第二视场区域对应的第二全景帧图像(全景帧图像3)，方便观看者观看所有的历史观看方位(第一观看方位)的第一全景帧图像、以及当前观看方位(第二观看方位)的第二全景帧图像；
作为呈现第一观看方位对应的第一视场区域的第一全景帧图像、以及第二观看方位对应的第二视场区域的第二全景帧图的方式，如图9所示，电子设备可以显示检测到的部分第一视场区域(例如最近一次检测到的观看方位2对应的视场区域2)对应的全景帧图像2、以及第二视场区域(包括视场区域3)对应的全景帧图像3，也就是说，观看者在看到当前观看方位对应的第二全景帧图像时，还能总是看到前一次的观看方位(也即最近一次检测到的第一观看方位)对应的第一全景帧图像。
实施例二
本实施例记载一种信息处理方法，参见图10，包括以下步骤：
步骤401，检测观看者在环境中所处的第一观看方位。
检测第一观看方位的具体实施可以参见实施例一的记载，这里不再赘述。
步骤402，基于至少一个显示单元呈现第一观看方位对应的第一全景帧图像。
基于至少一个显示单元呈现第一观看方位对应的第一全景帧图像的具体实施可以参见实施例一的记载，这里不再赘述。
步骤403，检测到观看者的观看方位是否发生变化，如果是，则执行步骤404；否则继续执行步骤403。
通过步骤401的方式检测观看者的观看方位，并将检测到的最新的观看方位与第一观看方位进行比较以确定观看者的观看方位是否发生变化。
步骤404，检测到是否接收到观看者实施的针对第一观看方位的标记指令，如果接收到，则执行步骤405和步骤406；否则，执行步骤407。
步骤405，响应标记指令，将第一观看方位标记为观看者持续关注的观看方位。
本实施例中对标记指令的具体形式不做限定，观看者可以通过特定的动作、语音等方式实施标记指令，相应地，电子设备中通过设置传感器来采集观看者的动作，如果观看者实施的动作的特征与预定的动作特征一致则标记对应的第一观看方位需要持续关注。
步骤406，观看者处于与第一观看方位不同的第二观看方位时，基于至少一个显示单元呈现第一全景帧图像、以及第二观看方位对应的第二全景帧图像。
基于至少一个显示单元呈现第一全景帧图像(这里的第一全景帧图像为标记的第一观看方位所对应的第一全景帧图像)、以及第二观看方位对应的第二全景帧图像的具体实施可以参见实施例一的记载，这里不再赘述。
步骤407，观看者处于与第一观看方位不同的第二观看方位时，基于至少一个显示单元呈现第二观看方位对应的第二全景帧图像。
本实施例实现了以下技术效果：电子设备根据观看者的观看方位显示对应的全景帧图像(也即全景帧图像处于第二视场区域的部分)，并并显示观看者标记的历史观看方位(第一观看方位)对应的全景帧图像(全景帧图像中处于第一视场区域的部分)，对于观看者没有标记的历史观看方位对应的全景帧图像则不予显示，使观看者可以根据需要来自主选择哪些观看方位是需要持续关注的，避免了显示观看者不需要关注的历史观看方位的全景帧图像对观看者造成干扰的问题。
当观看者的观看方位多次变化时，电子设备相应检测到多个第一观看方位(历史观看方位)，每个第一观看方位对应的视场区域(第一视场区域)不同，假设观测者的观测方向发生两次变化时，电子设备依次检测到的观看方位是：观看方位1、观看方位2、观看方位3，其中观看方位1、观看方位2是观看者的历史观看方位(第一观看方位)，观看方位3是观看者的当前观看方位(第二观看方位)，视场区域1、视场区域2、视场区域3，上述的视场区域对应环境中的全景帧图像中的部分全景帧图像，设为全景帧图像1、全景帧图像2和全景帧图像3；
场景1)，如果观看者在每个变换观看方位之前都实施了标记操作，则电子设备会将观看方位1、观看方位2标记为需要关注的观看方位；如图8所示，当观看者的观看方位变更到观看方位3时，显示全部标记的观看方位(也即全部标记的第一观看方位)对应的第一全景帧图像(包括全景帧图像1、全景帧图像2)、以及当前的观看方位对应的第二全景帧图像(全景帧图像3)，方便观看者观看所有标记的历史观看方位(第一观看方位)的第一全景帧图像、以及当前观看方位(第二观看方位)的第二全景帧图像；
场景2)，如果观看者在仅在从观看方位2切换到观看方位3之前实施了标记操作，则电子设备仅会将观看方位2标记为需要关注的观看方位；如，电子设备显示检测到的部分第一视场区域(也即最近一次检测到的第一观看方位2对应的第一视场区域2)对应的第一全景帧图像、以及第二视场区域(包括视场区域3)对应的第二全景帧图像，也就是说，观看者在看到当前观看方位对应的第二全景帧图像时，还能看到前一次的观看方位(也即最近一次检测到的第一观看方位)对应的第一全景帧图像。
实施例三
本实施例基于前述实施例，参见图6至图9，当电子设备跟随观看者的观看方位显示观看者的当前观看方位对应的第二全景帧图像，并显示观看者的历史观看方位(可以全部历史观看方位、部分历史观看方位或观看者标记的需要关注的历史观看方位)，其中第一观看方位对应的第一全景帧图像和第二观看方位对应的第二全景帧图像是在电子设备的显示区域中共同显示的，观看者可能需要使某一个历史观看方位的第一全景帧图像在电子设备的显示区域中进行独占性显示，即不再需要电子设备显示其他的全景帧图像(第二全景帧图像)；观看者可以实施切换指令(如特定动作或语音等)，参见图11，使电子设备获取到切换至第一视场区域显示的指令(步骤501)；响应指令，基于第一全景帧图像控制至少一个显示单元进行显示(步骤502)，以替代基于第一全景帧图像、第二全景帧图像控制至少一个显示单元进行显示，使观看者基于至少一个显示单元呈现的图像而感知到第一视场区域。
例如，观看者在观看演唱会的全景视频，观看者首先在舞台前方观看舞台中央方位(第一观看方位)，并标记舞台中央的方位为需要关注的观看方位，后续，观看者的观看方位发生变换至观众席方向(第二观看方位)，这里，假设朝向舞台中央方位为观看方位2，对应视场区域2，视场区域2在全景帧图像中对应的部分全景帧图像为全景帧图2，观众席方向为观看方位3，对应视场区域3，视场区域3在全景帧图像中对应的部分全景帧图像为全景帧图3；其中，观看方位、视场区域以及全景帧图像的对应关系如下表所示：
| 观看方位2 | 视场区域2 | 全景帧图像2 |
| 观看方位3 | 视场区域3 | 全景帧图像3 |
表1
参见图9，观看者在观看到观众席方位的全景帧图像的同时，还可以看到以小窗口形式呈现的舞台中央的全景帧图像；如果观看者通过小窗口的全景帧图像发现舞台出现精彩情节需要在电子设备的显示区域全屏显示时，通过实施切换指令，参见图12，使电子设备完全基于舞台中央方位的全景帧图像(也即全景帧图像2)进行显示，观看者不需要调整观看方位，即可切换回历史观看方位观看全景视频。
实施例四
本实施例基于实施例三，参见图8，在观看者处于观看方位3(第二观看方位)时，利用电子设备的至少一个显示单元显示一个历史观看方位也即观看方位2(第一观看方位)对应的全景帧图像(第一全景帧图像)、以及观看者当前的观看方位3(第二观看方位)的全景帧图像(第二全景帧图像)；需要注意的是，观看者此时处于第二观看方位，如果观看者需要将观看方位2的全景帧图像在电子设备的显示区域中进行独占性显示，可以针对观看方位2的全景帧图像实施切换指令，使电子设备向处于观看方位3的观看者呈现观看方位2对应的全景帧图像，也就是在电子设备在观看方位3呈现了观看方位2的全景帧图像，相应地，更新设置投射模型中观看方位3(第二观看方位)与观看方位2的对应视场区域2(也即第一视场区域)对应，由于在投射模型中视场区域2与全景帧图像2是对应的，因此相当于使观看方位3与全景帧图像2对应；这就替代投射模型中观看方位3(第二观看方位)与观看方位3的视场区域3的对应关系，由于在投射模型中视场区域3与全景帧图像3是对应的，因此相当于使观看方位2与全景帧图像3对应。
| 观看方位2 | 视场区域3 | 全景帧图像3 |
| 观看方位3 | 视场区域2 | 全景帧图像2 |
表2
从而，当观看者在观看方位3观看到全景帧图像2的基础上，如果观看者的观看方位相对于观看方位3发生变更，则在视场区域2(表2中的观看方位3对应视场区域3，而非表1中的观看方位2对应的视场区域2)的基础上叠加观看方位的变更量，确定基于观看方位3变更后的视场区域，从而在位于投射模型的全景帧图像中提取位于变更后的视场区域的全景帧图像以进行显示。
本实施例实现了以下技术效果，观看者切换至第一视场区域显示时，将第一视场区域对应的第一全景帧图像进行全屏显示，并将观看者的当前观看方位(第二观看方位)与第一视场区域对应，此时如果观察者的观看方位相对第二观看方位发生变化，则跟随观看者的观看方位而显示对应第一全景帧图像发生方位变化的全景帧图像(而非相对第二全景帧图像发生方位变化的全景帧图像)，这样观看者在需要观看通过切换指令显示的第一视场区域的相邻区域的图像时，不需要从第二观看方位调整至第一观看方位，节省了观看者操作，操作体验流畅。
本实施例记载一种电子设备，参见图13，电子设备包括处理单元100和至少一个显示单元200：其中，
处理单元100，用于检测观看者在环境中所处的第一观看方位；
处理单元100，还用于基于至少一个显示单元200呈现第一观看方位对应的第一全景帧图像，第一全景帧图像为基于与第一观看方位对应的第一视场区域在全景帧图像中确定；
处理单元100，还用于当检测到观看者处于与第一观看方位不同的第二观看方位时，基于至少一个显示单元200呈现第一全景帧图像、以及第二观看方位对应的第二全景帧图像，以使观看者基于至少一个显示单元200呈现的图像而至少感知到环境中的第一视场区域以及第二视场区域，第二全景帧图像为基于与第二观看方位对应的第二视场区域在全景帧图像中确定。
示例性地，处理单元100，还用于检测到观看者实施的针对第一观看方位的标记指令；
处理单元100，还用于响应标记指令，将第一观看方位标记为观看者持续关注的观看方位。
示例性地，处理单元100，还用于解析出投射模型中与第一观看方位对应的第一视场区域；
处理单元100，还用于从位于投射模型的环境的全景帧图像中提取与第一视场区域对应的第一全景帧图像，并从位于投射模型的环境的全景帧图像中提取与第二视场区域对应的第二全景帧图像；
处理单元100，还用于将第一全景帧图像与第二全景帧图像在投射模型中进行合成得到合成全景帧图像；
处理单元100，还用于基于合成全景帧图像控制至少一个显示单元200进行显示。
示例性地，处理单元100，还用于在投射模型的第二全景帧图像中选取部分区域；将第一全景帧图像覆盖选取的部分区域，从投射模型中提取出覆盖有第一全景帧图像的第二全景帧图像。
示例性地，处理单元100，还用于获取到切换至第一视场区域显示的指令；响应指令，基于第一全景帧图像控制至少一个显示单元200进行显示，以替代基于第一全景帧图像、第二全景帧图像控制至少一个显示单元200进行显示，使观看者基于至少一个显示单元200呈现的图像而感知到第一视场区域。
示例性地，处理单元100，还用于基于第一全景帧图像控制至少一个显示单元200进行显示时，更新设置投射模型中第二观看方位与第一视场区域对应，以替代投射模型中第二观看方位与第二视场区域对应。
当然，电子设备除了包括上述必要的组件，还可以具有容置上述组件的壳体300，参见图2，还可以具有供观看者观看显示单元200成像的光学单元400(透镜)，处理单元100可以处理器、微处理器(MCU)、专用集成电路(ASIC)或逻辑可编程门阵列(FPGA)实现。
本发明实施例通过将观看者当前的观看方位(第二观看方位)对应的全景帧图像(第二全景帧图像)、与观看者的历史观看方位(第一观看方位)对应的全景帧图像结合显示，能够根据观看者的观看方位实时显示与观看者的最新观看方位对应的全景帧图像，还能够使观看者观看到历史观看方位的全景帧图像，不需要频繁调整观看方位来观看不同的视场区域，节省了观看者的操作。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种信息处理方法，其特征在于，所述方法包括：
检测观看者在环境中所处的第一观看方位；
基于至少一个显示单元呈现所述第一观看方位对应的第一全景帧图像，所述第一全景帧图像为基于与所述第一观看方位对应的第一视场区域在全景帧图像中确定；
当检测到所述观看者处于与所述第一观看方位不同的第二观看方位时，基于所述至少一个显示单元呈现所述第一全景帧图像、以及所述第二观看方位对应的第二全景帧图像，以使所述观看者基于所述至少一个显示单元呈现的图像而至少感知到所述环境中的所述第一视场区域以及第二视场区域，所述第二全景帧图像为基于与所述第二观看方位对应的所述第二视场区域在所述全景帧图像中确定。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
检测到所述观看者实施的针对所述第一观看方位的标记指令；
响应所述标记指令，将所述第一观看方位标记为所述观看者持续关注的观看方位。
3.如权利要求1所述的方法，其特征在于，所述基于至少一个显示单元呈现所述第一全景帧图像、以及所述第二观看方位对应的第二全景帧图像，包括：
解析出投射模型中与所述第一观看方位对应的所述第一视场区域；
从位于所述投射模型的所述全景帧图像中提取与所述第一视场区域对应的所述第一全景帧图像，并从位于所述投射模型的所述全景帧图像中提取与所述第二视场区域对应的所述第二全景帧图像；
将所述第一全景帧图像与所述第二全景帧图像在所述投射模型中进行合成得到合成全景帧图像；
基于所述合成全景帧图像控制所述至少一个显示单元进行显示。
4.如权利要求3所述的方法，其特征在于，将所述第一全景帧图像与所述第二全景帧图像在所述投射模型中进行合成得到合成全景帧图像，包括：
在所述投射模型的所述第二全景帧图像中选取部分区域；
将所述第一全景帧图像覆盖所述选取的部分区域，从所述投射模型中提取出覆盖有所述第一全景帧图像的所述第二全景帧图像。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取到切换至所述第一视场区域显示的指令；
响应所述指令，基于所述第一全景帧图像控制所述至少一个显示单元进行显示，以替代基于所述第一全景帧图像、所述第二全景帧图像控制所述至少一个显示单元进行显示，使所述观看者基于所述至少一个显示单元呈现的图像而感知到所述第一视场区域。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
基于所述第一全景帧图像控制所述至少一个显示单元进行显示时，更新设置投射模型中所述第二观看方位与所述第一视场区域对应，以替代所述投射模型中所述第二观看方位与所述第二视场区域对应。
7.一种电子设备，其特征在于，所述电子设备包括处理单元和至少一个显示单元：其中，
所述处理单元，用于检测观看者在环境中所处的第一观看方位；
所述处理单元，还用于基于至少一个显示单元呈现所述第一观看方位对应的第一全景帧图像，所述第一全景帧图像为基于与所述第一观看方位对应的第一视场区域在全景帧图像中确定；
所述处理单元，还用于当检测到所述观看者处于与所述第一观看方位不同的第二观看方位时，基于所述至少一个显示单元呈现所述第一全景帧图像、以及所述第二观看方位对应的第二全景帧图像，以使所述观看者基于所述至少一个显示单元呈现的图像而至少感知到所述环境中的所述第一视场区域以及第二视场区域，所述第二全景帧图像为基于与所述第二观看方位对应的第二视场区域在所述全景帧图像中确定。
8.如权利要求7所述的电子设备，其特征在于，
所述处理单元，还用于检测到所述观看者实施的针对所述第一观看方位的标记指令；
所述处理单元，还用于响应所述标记指令，将所述第一观看方位标记为所述观看者持续关注的观看方位。
9.如权利要求7所述的电子设备，其特征在于，
所述处理单元，还用于解析出投射模型中与所述第一观看方位对应的所述第一视场区域；
所述处理单元，还用于从位于所述投射模型的所述全景帧图像中提取与所述第一视场区域对应的所述第一全景帧图像，并从位于所述投射模型的所述全景帧图像中提取与所述第二视场区域对应的所述第二全景帧图像；
所述处理单元，还用于将所述第一全景帧图像与所述第二全景帧图像在所述投射模型中进行合成得到合成全景帧图像；
所述处理单元，还用于基于所述合成全景帧图像控制所述至少一个显示单元进行显示。
10.如权利要求9所述的电子设备，其特征在于，
所述处理单元，还用于在所述投射模型的所述第二全景帧图像中选取部分区域；将所述第一全景帧图像覆盖所述选取的部分区域，从所述投射模型中提取出覆盖有所述第一全景帧图像的所述第二全景帧图像。
11.如权利要求7所述的电子设备，其特征在于，
所述处理单元，还用于获取到切换至所述第一视场区域显示的指令；响应所述指令，基于所述第一全景帧图像控制所述至少一个显示单元进行显示，以替代基于所述第一全景帧图像、所述第二全景帧图像控制所述至少一个显示单元进行显示，使所述观看者基于所述至少一个显示单元呈现的图像而感知到所述第一视场区域。
12.如权利要求11所述的电子设备，其特征在于，
所述处理单元，还用于基于所述第一全景帧图像控制所述至少一个显示单元进行显示时，更新设置投射模型中所述第二观看方位与所述第一视场区域对应，以替代所述投射模型中所述第二观看方位与所述第二视场区域对应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510629512.9A CN105334692B (zh) | 2015-09-28 | 2015-09-28 | 信息处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510629512.9A CN105334692B (zh) | 2015-09-28 | 2015-09-28 | 信息处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105334692A CN105334692A (zh) | 2016-02-17 |
| CN105334692B true CN105334692B (zh) | 2018-06-29 |
Family
ID=55285312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510629512.9A Active CN105334692B (zh) | 2015-09-28 | 2015-09-28 | 信息处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105334692B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203361A (zh) * | 2016-03-17 | 2017-09-26 | 丰唐物联技术（深圳）有限公司 | 浏览器界面的显示方法及浏览器 |
| CN106067877A (zh) * | 2016-05-27 | 2016-11-02 | 大连楼兰科技股份有限公司 | 车联网虚拟现实全景回放方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2214115A1 (es) * | 2002-10-15 | 2004-09-01 | Universidad De Malaga | Sistema de reconocimiento automatico de objetos por proyeccion en una base algebraica y controlado remotamente por realidad virtual. |
| TW201327019A (zh) * | 2011-11-28 | 2013-07-01 | Hewlett Packard Development Co | 利用多畫面三維相機拍攝具視角彈性視點合成全景三維影像的技術 |
| CN103597810A (zh) * | 2011-05-27 | 2014-02-19 | 诺基亚公司 | 图像拼接 |
| EP2730998A1 (en) * | 2011-07-04 | 2014-05-14 | NEC CASIO Mobile Communications, Ltd. | Image processing device, image processing method, and image processing program |
| CN103970258A (zh) * | 2013-01-28 | 2014-08-06 | 联想(北京)有限公司 | 穿戴式电子设备以及显示方法 |
| CN203786393U (zh) * | 2013-03-25 | 2014-08-20 | 精工爱普生株式会社 | 虚像显示装置以及投影仪 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7224326B2 (en) * | 2004-03-03 | 2007-05-29 | Volo, Llc | Virtual reality system |
| US20110216160A1 (en) * | 2009-09-08 | 2011-09-08 | Jean-Philippe Martin | System and method for creating pseudo holographic displays on viewer position aware devices |
-
2015
- 2015-09-28 CN CN201510629512.9A patent/CN105334692B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2214115A1 (es) * | 2002-10-15 | 2004-09-01 | Universidad De Malaga | Sistema de reconocimiento automatico de objetos por proyeccion en una base algebraica y controlado remotamente por realidad virtual. |
| CN103597810A (zh) * | 2011-05-27 | 2014-02-19 | 诺基亚公司 | 图像拼接 |
| EP2730998A1 (en) * | 2011-07-04 | 2014-05-14 | NEC CASIO Mobile Communications, Ltd. | Image processing device, image processing method, and image processing program |
| TW201327019A (zh) * | 2011-11-28 | 2013-07-01 | Hewlett Packard Development Co | 利用多畫面三維相機拍攝具視角彈性視點合成全景三維影像的技術 |
| CN103970258A (zh) * | 2013-01-28 | 2014-08-06 | 联想(北京)有限公司 | 穿戴式电子设备以及显示方法 |
| CN203786393U (zh) * | 2013-03-25 | 2014-08-20 | 精工爱普生株式会社 | 虚像显示装置以及投影仪 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105334692A (zh) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170195664A1 (en) | Three-dimensional viewing angle selecting method and apparatus | |
| EP2854402B1 (en) | Multi-view image display apparatus and control method thereof | |
| US10715791B2 (en) | Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes | |
| US9848184B2 (en) | Stereoscopic display system using light field type data | |
| JP5427035B2 (ja) | 複数の個別設定を用いた画像観察 | |
| US20110304613A1 (en) | Autospectroscopic display device and method for operating an auto-stereoscopic display device | |
| US20110234475A1 (en) | Head-mounted display device | |
| CN108259883B (zh) | 图像处理方法、头戴式显示器以及可读存储介质 | |
| CN103533340A (zh) | 移动终端的裸眼3d播放方法和移动终端 | |
| US20160044305A1 (en) | Multiview image display apparatus and control method thereof | |
| JP5464130B2 (ja) | 情報表示システム、装置、方法及びプログラム | |
| US10650507B2 (en) | Image display method and apparatus in VR device, and VR device | |
| WO2012073336A1 (ja) | 立体映像表示装置及び方法 | |
| EP3182702B1 (en) | Multiview image display device and control method therefor | |
| EP3526639A1 (en) | Display of visual data with a virtual reality headset | |
| US9918066B2 (en) | Methods and systems for producing a magnified 3D image | |
| CN105334692B (zh) | 信息处理方法及电子设备 | |
| US20130076738A1 (en) | 3d display method and system with automatic display range and display mode determination | |
| CN102457756A (zh) | 一种可裸眼观看视频的3d视频监控***的结构和方法 | |
| CN106095375B (zh) | 显示控制方法和装置 | |
| JP6377155B2 (ja) | 多視点映像処理装置及びその映像処理方法 | |
| US10212414B2 (en) | Dynamic realignment of stereoscopic digital consent | |
| CN108111837B (zh) | 双目近眼显示的图像融合方法和装置 | |
| CN109218701B (zh) | 裸眼3d的显示设备、方法、装置及可读存储介质 | |
| WO2020059486A1 (ja) | 表示制御装置および表示制御方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |