CN111142825A - 多屏视野的显示方法、***及电子设备 - Google Patents
多屏视野的显示方法、***及电子设备 Download PDFInfo
- Publication number
- CN111142825A CN111142825A CN201911399512.9A CN201911399512A CN111142825A CN 111142825 A CN111142825 A CN 111142825A CN 201911399512 A CN201911399512 A CN 201911399512A CN 111142825 A CN111142825 A CN 111142825A
- Authority
- CN
- China
- Prior art keywords
- display screen
- image
- camera
- display
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明实施例提供的一种多屏视野的显示方法、***及电子设备，包括：采集用户观看点相对于显示屏的坐标；其中，显示屏为多个；根据预先采集的多个显示屏的数据，在虚拟场景中建立与显示屏对应的显示屏参照物体系；在虚拟场景中建立与用户观看点对应的多个摄像机；基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示。本发明可以修正拼接图像的畸变，减少图像错误的透视关系，提升用户的体验感。
Description
技术领域
本发明涉及多媒体技术领域，尤其是涉及一种多屏视野的显示方法、***及电子设备。
背景技术
为了提升用户体验，越来越多的多媒体交互***会采用“多屏拼接”的显示方案，来扩展用户的可视范围，从而使得用户沉浸感得到了极大的提升。但是，传统的“多屏拼接”显示方案不仅受限于显示屏的拼接角度，而且还限制了用户的观看点的位置，若拼接角度过大或用户的观看点与图像中心偏离过多，用户所看到的图像就会出现严重的畸变、透视关系错误等问题，导致用户无法准确感知3D图像中的空间感与距离感，体验感差。
发明内容
有鉴于此，本发明的目的在于提供一种多屏视野的显示方法、***及电子设备，以修正拼接图像的畸变，减少图像错误的透视关系，提升用户的体验感。
第一方面，本发明实施例提供了一种多屏视野的显示方法，包括：采集用户观看点相对于显示屏的坐标；其中，显示屏为多个；根据预先采集的多个显示屏的数据，在虚拟场景中建立与显示屏对应的显示屏参照物体系；在虚拟场景中建立与用户观看点对应的多个摄像机；基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示。
在一种实施方式中，基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示的步骤之前，还包括：如果检测到用户观看点相对于显示屏的坐标发生变化，更新每个摄像机的坐标。
在一种实施方式中，基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示的步骤，包括：基于显示屏的数据和用户观看点相对于各个显示屏的坐标，确定各个摄像机拍到的图像与该摄像机对应的显示屏参照物映射图像的横向偏移量和纵向偏移量；确定各个摄像机的FOV角度；基于FOV角度、横向偏移量和纵向偏移量，采用矩阵算法对各个摄像机拍到的图像进行处理，截取各个显示屏参照物映射的图像；将截取的图像在该显示屏参照物对应的显示屏上进行显示。
在一种实施方式中，基于FOV角度、横向偏移量和纵向偏移量，采用矩阵算法截取各个显示屏参照物映射的图像的步骤，包括：按照如下公式计算截取的各个显示屏参照物映射的图像：
其中，offsetX为摄像机拍到的图像与对应的显示屏参照物映射图像的横向偏移量；offsetY为摄像机拍到的图像与对应的显示屏参照物映射图像的纵向偏移量；NearPlane为计算机图形学中视锥体近裁剪平面到摄像机的距离；halfFOV为FOV角度的一半。
在一种实施方式中，显示屏的数据至少包括：各个显示屏的尺寸、摆放角度和摆放位置。
在一种实施方式中，各个摄像机的位置与用户观看点相对于各个显示屏的坐标相同，各个摄像机垂直面向于该摄像机对应的显示屏参照物。
第二方面，本发明实施例提供了多屏视野的显示***，包括：数据采集模块，用于采集用户观看点相对于显示屏的坐标；其中，显示屏为多个；显示屏参照物建立模块，用于根据预先采集的多个显示屏的数据，在虚拟场景中建立与显示屏对应的显示屏参照物体系；摄像机建立模块，用于在虚拟场景中建立与用户观看点对应的多个摄像机；图像处理模块，用于基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示。
在一种实施方式中，图像处理模块包括：第一计算单元，用于基于显示屏的数据和用户观看点相对于各个显示屏的坐标，确定各个摄像机拍到的图像与该摄像机对应的显示屏参照物映射图像的横向偏移量和纵向偏移量；第二计算单元，用于确定各个摄像机的FOV角度；图像截取单元，用于基于FOV角度、横向偏移量和纵向偏移量，采用矩阵算法对各个摄像机拍到的图像进行处理，截取各个显示屏参照物映射的图像；图像显示单元，用于将截取的图像在该显示屏参照物对应的显示屏上进行显示。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。
本发明实施例提供了一种多屏视野的显示方法、***及电子设备，能够采集用户观看点相对于显示屏(显示屏为多个)的坐标和多个显示屏的数据，根据采集到的数据结合虚拟场景，建立与显示屏对应的显示屏参照物体系和与用户观看点对应的多个摄像机(摄像机垂直于显示屏参照物)，并对摄像机拍到的图像进行处理后在该摄像机对应的显示屏上进行显示。上述实施例提供的方法，能够根据显示屏的数据和用户观看点数据，对显示屏显示的拼接图像进行修正，从而消除图像的畸变，减少图像错误的透视关系，提升用户的体验感。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多屏视野的显示方法的流程示意图；
图2为本发明实施例提供的一种虚拟场景中显示屏参照物与摄像机的摆放示例顶视图；
图3为本发明实施例提供的另一种多屏视野的显示方法的流程示意图；
图4为本发明实施例提供的一种摄像机图像与显示屏参照物映射图像的偏移示意图；
图5为本发明实施例提供的一种摄像机垂直面向于显示屏参照物的顶视图；
图6为本发明实施例提供的一种传统方案与本方案的多屏显示效果对比示意图；
图7为本发明实施例提供的一种多屏视野的显示***的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，“多屏拼接”显示方案中，用户所看到的图像会出现严重的畸变、透视关系错误等问题，导致用户无法准确感知3D图像中的空间感与距离感。基于此，本发明实施例提供的一种多屏视野的显示方法、***及电子设备，可以修正拼接图像的畸变，减少图像错误的透视关系，提升用户的体验感。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种多屏视野的显示方法进行详细介绍，参见图1所示的一种多屏视野的显示方法的流程示意图，该方法由电子设备执行，该电子设备能够将显示图像进行拼接显示，示意出多屏视野的显示方法包括以下步骤S101至步骤S104：
步骤S101：采集用户观看点相对于显示屏的坐标。
其中，显示屏为多个，多个显示屏可以以任意角度进行拼接。显示屏可以是任何能够进行拼接的显示图像的设备或介质，包括但不限于投影机、投影墙、投影幕布、二维显示器、三维显示器等。
用户观看点相对于显示屏的坐标可以是固定的，也可以是实时改变的，该坐标可以通过测量用户观看点与各个显示屏的相对距离、相对偏移、相对高度，然后将这些数据换算成空间坐标获取。用户观看点与各个显示屏的相对距离、相对偏移、相对高度灯数据可以通过人为利用测量工具进行采集，也可以通过用户身上佩戴的定位仪或者眼动仪进行采集后上传进行处理。
步骤S102：根据预先采集的多个显示屏的数据，在虚拟场景中建立与显示屏对应的显示屏参照物体系。
在一种具体应用中，显示屏的数据至少包括：各个显示屏的尺寸、摆放角度和摆放位置，可以是人工通过测量仪器进行采集后，保存到3D软件中备用。显示屏的尺寸可以包括显示屏的长度和宽度；摆放角度可以包括各个显示器之间拼接的角度和显示器本身与水平面的角度；摆放位置可以通过在现实中设定一个坐标原点(可以灵活设置，不影响最终结果)，然后分别测量各个显示屏与坐标原点的相对距离、相对偏移、相对高度。
进一步，虚拟场景可以是通过多个显示屏显示的图像内容，而图像内容可以是通过3D软件预先制作或还原的虚拟的场景。将采集到的各个显示器的数据代入到3D软件中，可以在虚拟场景中模拟建立多个与显示屏对应的显示屏参照物，显示屏参照物与现实中的显示屏完全一致，即尺寸、摆放角度和摆放位置完全相同。
参见图2所示的一种虚拟场景中显示屏参照物与摄像机的摆放示例顶视图，示意出三个显示屏参照物(即左屏参照物、中屏参照物和右屏参照物)和三个摄像机。其中，左屏参照物与右屏参照物平行，且分别与中屏参照物垂直；三个摄像机分别垂直面向于对应的显示屏参照物。
可以理解的是，图2仅为便于理解的示意性说明，不应当视为限制，在实际应用中，显示屏参照物和摄像机的数量与图2相比可以更多或更少，显示屏之间的摆放角度也可以更大或者更小，而且摄像机的位置也可以和图2不同。
步骤S103：在虚拟场景中建立与用户观看点对应的多个摄像机。
在一种具体应用中，可以将采集到的用户观看点相对于显示屏的坐标代入到3D软件中，在虚拟场景中模拟建立与用户观看点对应的多个摄像机。其中，各个摄像机的位置与用户观看点相对于各个显示屏的坐标相同，并且各个摄像机垂直面向于该摄像机对应的显示屏参照物。
步骤S104：基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示。
在一种具体应用中，可以采用矩阵算法对每个摄像机拍到的图像进行二次处理，截取显示屏参照物所映射的图像，并将处理后的图像在该摄像机对应的显示屏上(也就是显示器参照物对应的显示屏上)进行显示。
本发明实施例提供的上述多屏视野的显示方法，能够采集用户观看点相对于显示屏(显示屏为多个)的坐标和多个显示屏的数据，根据采集到的数据结合虚拟场景，建立与显示屏对应的显示屏参照物体系和与用户观看点对应的多个摄像机(摄像机垂直于显示屏参照物)，并对摄像机拍到的图像进行处理后在该摄像机对应的显示屏上进行显示。上述实施例提供的方法，能够根据显示屏的数据和用户观看点数据，对显示屏显示的拼接图像进行修正，从而消除图像的畸变，减少图像错误的透视关系，提升用户的体验感。
进一步，对于上述用户观看点与相对于显示屏的坐标可以试试实时改变的情况，为了更好的修正新的观看点所带来的画面畸变以及错误的透视关系，本发明实施例提供了另一种多屏视野的显示方法，参见图3所示的另一种多屏视野的显示方法的流程示意图，示意出该方法主要包括以下步骤S301至步骤S305：
步骤S301：采集用户观看点相对于显示屏的坐标。
步骤S302：根据预先采集的多个显示屏的数据，在虚拟场景中建立与显示屏对应的显示屏参照物体系。
步骤S303：在虚拟场景中建立与用户观看点对应的多个摄像机。
步骤S304：如果检测到用户观看点相对于显示屏的坐标发生变化，更新每个摄像机的坐标。
其中，用户观看点坐标的变化可以通过佩戴在用户身上的定位仪或者眼动仪进行检测，当检测到坐标发生变化后，将测量到的新的用户观看点相对于显示屏的坐标上传，虚拟场景中的摄像机可以实时同步这些数据，更新每个摄像机的坐标。
步骤S305：基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示。
进一步，执行完步骤S305后，返回执行步骤S304，实时检测更新用户观看点的变化，以持续修正新的观看点所带来的画面畸变以及错误的透视关系。
在一种实施方式中，为了更好的理解本发明是如何修正显示图像畸变以及错误的透视关系的，对于上述步骤S104可以按照以下步骤b1至步骤b4执行：
步骤b1：基于显示屏的数据和用户观看点相对于各个显示屏的坐标，确定各个摄像机拍到的图像与该摄像机对应的显示屏参照物映射图像的横向偏移量和纵向偏移量。
为了更好的理解，本发明实施例提供了一种摄像机图像与显示屏参照物映射图像的偏移示意图，参见图4所示，示意出offsetX为摄像机图像与显示屏参照物映射图像的横向偏移量；offsetY为摄像机图像与显示屏参照物映射图像的纵向偏移量。
步骤b2：确定各个摄像机的FOV角度。
FOV角度即为摄像机的视场角，视场角的大小可以决定摄像机的视野范围。进一步，本发明实施例提供了一种摄像机垂直面向于显示屏参照物的顶视图，参见图5所示，示意出摄像机和显示屏参照物。其中，halfFOV为FOV角度的一半，a为摄像机(也就是用户观看点)垂直面向显示屏参照物的距离，b为摄像机与显示屏参照物较远边沿的横向距离，也可以认为是观看点的偏移量(也就是摄像机图像与显示屏参照物映射图像的横向偏移量)加上显示屏参照物的一半宽度。
因此，可以根据上述数据按照如下公式确定各个摄像机的FOV角度：
步骤b3：基于FOV角度、横向偏移量和纵向偏移量，采用矩阵算法对各个摄像机拍到的图像进行处理，截取各个显示屏参照物映射的图像。
具体的，可以按照如下公式计算截取的各个显示屏参照物映射的图像：
其中，NearPlane为计算机图形学中视锥体近裁剪平面到摄像机的距离。
步骤b4：将截取的图像在该显示屏参照物对应的显示屏上进行显示。
为了更好的理解上述方法，本发明实施例提供了一种传统方案与本方案的多屏显示效果对比示意图，参见图6所示，示意出在相同数量的显示屏、显示屏拼接角度也相同的情况下，传统方案中显示的图像产生了畸变，而本方案显示的图像没有产生畸变。
可以理解的是，图5和图6仅为便于理解的示意性说明，不应当视为限制。
本发明实施例提供的上述方法能够根据每台显示屏的尺寸、位置、角度、用户的观看点等数据，并结合3D引擎中的虚拟场景，对每台显示屏的图像进行二次处理，修正畸变与错误的透视关系，还能一比一还原现实中的透视关系，让用户可以准确感知3D图像中的空间感与距离感，且极大的降低了用户的视觉疲劳与眩晕感，提升用户的体验。
对于前述实施例提供的多屏视野的显示方法，本发明实施例还提供了一种多屏视野的显示***，参见图7所示的一种多屏视野的显示***的结构示意图，该***可以包括以下部分：
数据采集模块701，用于采集用户观看点相对于显示屏的坐标；其中，显示屏为多个。
显示屏参照物建立模块702，用于根据预先采集的多个显示屏的数据，在虚拟场景中建立与显示屏对应的显示屏参照物体系。
摄像机建立模块703，用于在虚拟场景中建立与用户观看点对应的多个摄像机。
图像处理模块704，用于基于每个摄像机拍到的图像，在该摄像机对应的显示屏上进行显示。
本发明实施例提供的上述多屏视野的显示***，能够采集用户观看点相对于显示屏(显示屏为多个)的坐标和多个显示屏的数据，根据采集到的数据结合虚拟场景，建立与显示屏对应的显示屏参照物体系和与用户观看点对应的多个摄像机(摄像机垂直于显示屏参照物)，并对摄像机拍到的图像进行处理后在该摄像机对应的显示屏上进行显示。上述实施例提供的***，能够根据显示屏的数据和用户观看点数据，对显示屏显示的拼接图像进行修正，从而消除图像的畸变，减少图像错误的透视关系，提升用户的体验感。
在一种实施方式中，上述多屏视野的显示***还包括更新模块，用于如果检测到用户观看点相对于显示屏的坐标发生变化，更新每个摄像机的坐标。
在一种实施方式中，上述图像处理模块704包括：
第一计算单元，用于基于显示屏的数据和用户观看点相对于各个显示屏的坐标，确定各个摄像机拍到的图像与该摄像机对应的显示屏参照物映射图像的横向偏移量和纵向偏移量。
第二计算单元，用于确定各个摄像机的FOV角度。
图像截取单元，用于基于FOV角度、横向偏移量和纵向偏移量，采用矩阵算法对各个摄像机拍到的图像进行处理，截取各个显示屏参照物映射的图像。
图像显示单元，用于将截取的图像在该显示屏参照物对应的显示屏上进行显示。
在一种实施方式中，上述图像截取单元还用于：按照如下公式计算截取的各个所述显示屏参照物映射的图像：
式中，offsetX为摄像机拍到的图像与对应的显示屏参照物映射图像的横向偏移量；offsetY为摄像机拍到的图像与对应的显示屏参照物映射图像的纵向偏移量；NearPlane为计算机图形学中视锥体近裁剪平面到摄像机的距离；halfFOV为FOV角度的一半。
本发明实施例所提供的***，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，***实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上实施方式的任一项所述的方法。
图8为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器80，存储器81，总线82和通信接口83，所述处理器80、通信接口83和存储器81通过总线82连接；处理器80用于执行存储器81中存储的可执行模块，例如计算机程序。
其中，存储器81可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线82可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器81用于存储程序，所述处理器80在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的***所执行的方法可以应用于处理器80中，或者由处理器80实现。
处理器80可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器，包括中央处理器(CPU，Central Processing Unit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP，Digital SignalProcessing)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器80读取存储器81中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种多屏视野的显示方法，其特征在于，包括：
采集用户观看点相对于显示屏的坐标；其中，所述显示屏为多个；
根据预先采集的多个显示屏的数据，在虚拟场景中建立与所述显示屏对应的显示屏参照物体系；
在所述虚拟场景中建立与用户观看点对应的多个摄像机；
基于每个所述摄像机拍到的图像，在该摄像机对应的所述显示屏上进行显示。
2.根据权利要求1所述的多屏视野的显示方法，其特征在于，所述基于每个所述摄像机拍到的图像，在该摄像机对应的所述显示屏上进行显示的步骤之前，还包括：
如果检测到所述用户观看点相对于显示屏的坐标发生变化，更新每个所述摄像机的坐标。
3.根据权利要求1所述的多屏视野的显示方法，其特征在于，所述基于每个所述摄像机拍到的图像，在该摄像机对应的所述显示屏上进行显示的步骤，包括：
基于所述显示屏的数据和所述用户观看点相对于各个所述显示屏的坐标，确定各个所述摄像机拍到的图像与该摄像机对应的所述显示屏参照物映射图像的横向偏移量和纵向偏移量；
确定各个所述摄像机的FOV角度；
基于所述FOV角度、所述横向偏移量和所述纵向偏移量，采用矩阵算法对各个所述摄像机拍到的图像进行处理，截取各个所述显示屏参照物映射的图像；
将截取的所述图像在该显示屏参照物对应的所述显示屏上进行显示。
4.根据权利要求3所述的多屏视野的显示方法，其特征在于，所述基于所述FOV角度、所述横向偏移量和所述纵向偏移量，采用矩阵算法截取各个所述显示屏参照物映射的图像的步骤，包括：
按照如下公式计算截取的各个所述显示屏参照物映射的图像：
其中，offsetX为摄像机拍到的图像与对应的显示屏参照物映射图像的横向偏移量；offsetY为摄像机拍到的图像与对应的显示屏参照物映射图像的纵向偏移量；NearPlane为计算机图形学中视锥体近裁剪平面到摄像机的距离；halfFOV为FOV角度的一半。
5.根据权利要求1所述的多屏视野的显示方法，其特征在于，所述显示屏的数据至少包括：各个所述显示屏的尺寸、摆放角度和摆放位置。
6.根据权利要求1所述的多屏视野的显示方法，其特征在于，各个所述摄像机的位置与所述用户观看点相对于各个显示屏的坐标相同，各个所述摄像机垂直面向于该摄像机对应的所述显示屏参照物。
7.一种多屏视野的显示***，其特征在于，包括：
数据采集模块，用于采集用户观看点相对于显示屏的坐标；其中，所述显示屏为多个；
显示屏参照物建立模块，用于根据预先采集的多个显示屏的数据，在虚拟场景中建立与所述显示屏对应的显示屏参照物体系；
摄像机建立模块，用于在所述虚拟场景中建立与用户观看点对应的多个摄像机；
图像处理模块，用于基于每个所述摄像机拍到的图像，在该摄像机对应的所述显示屏上进行显示。
8.根据权利要求7所述的多屏视野的显示***，其特征在于，所述图像处理模块包括：
第一计算单元，用于基于所述显示屏的数据和所述用户观看点相对于各个所述显示屏的坐标，确定各个所述摄像机拍到的图像与该摄像机对应的所述显示屏参照物映射图像的横向偏移量和纵向偏移量；
第二计算单元，用于确定各个所述摄像机的FOV角度；
图像截取单元，用于基于所述FOV角度、所述横向偏移量和所述纵向偏移量，采用矩阵算法对各个所述摄像机拍到的图像进行处理，截取各个所述显示屏参照物映射的图像；
图像显示单元，用于将截取的所述图像在该显示屏参照物对应的所述显示屏上进行显示。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911399512.9A CN111142825B (zh) | 2019-12-27 | 2019-12-27 | 多屏视野的显示方法、***及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911399512.9A CN111142825B (zh) | 2019-12-27 | 2019-12-27 | 多屏视野的显示方法、***及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111142825A true CN111142825A (zh) | 2020-05-12 |
| CN111142825B CN111142825B (zh) | 2024-04-16 |
Family
ID=70522038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911399512.9A Active CN111142825B (zh) | 2019-12-27 | 2019-12-27 | 多屏视野的显示方法、***及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111142825B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115243029A (zh) * | 2022-09-22 | 2022-10-25 | 苏州域光科技有限公司 | 图像显示方法、装置、设备、***及存储介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
| CN103119547A (zh) * | 2010-09-29 | 2013-05-22 | 高通股份有限公司 | 用于多个显示器的图像同步 |
| CN103678221A (zh) * | 2013-12-27 | 2014-03-26 | 广东威创视讯科技股份有限公司 | 获取拼接墙运行信息的方法与移动设备 |
| US20150049201A1 (en) * | 2013-08-19 | 2015-02-19 | Qualcomm Incorporated | Automatic calibration of scene camera for optical see-through head mounted display |
| CN104536714A (zh) * | 2015-01-07 | 2015-04-22 | 深圳市众进思创科技开发有限公司 | 一种设备间对显示信息分屏显示的方法及*** |
| US20150370322A1 (en) * | 2014-06-18 | 2015-12-24 | Advanced Micro Devices, Inc. | Method and apparatus for bezel mitigation with head tracking |
| CN105282532A (zh) * | 2014-06-03 | 2016-01-27 | 天津拓视科技有限公司 | 3d显示方法和装置 |
| CN106133674A (zh) * | 2014-01-17 | 2016-11-16 | 奥斯特豪特集团有限公司 | 透视计算机显示*** |
| CN107392853A (zh) * | 2017-07-13 | 2017-11-24 | 河北中科恒运软件科技股份有限公司 | 双摄像头视频融合畸变校正与视点微调整方法及*** |
| WO2018068719A1 (zh) * | 2016-10-12 | 2018-04-19 | 腾讯科技（深圳）有限公司 | 一种图像拼接方法及装置 |
| CN108415174A (zh) * | 2018-02-05 | 2018-08-17 | 上海溯石文化传播有限公司 | 多屏拼接式异型屏幕影院实现裸眼3d观看效果的方法 |
| CN108429905A (zh) * | 2018-06-01 | 2018-08-21 | 宁波视睿迪光电有限公司 | 一种裸眼3d显示方法、装置、电子设备及存储介质 |
| CN108629830A (zh) * | 2018-03-28 | 2018-10-09 | 深圳臻迪信息技术有限公司 | 一种三维环境信息显示方法及设备 |
| US20180322683A1 (en) * | 2017-05-05 | 2018-11-08 | Nvidia Corporation | Method and apparatus for rendering perspective-correct images for a tilted multi-display environment |
| CN109640070A (zh) * | 2018-12-29 | 2019-04-16 | 上海曼恒数字技术股份有限公司 | 一种立体显示方法、装置、设备及存储介质 |
| CN109729338A (zh) * | 2018-11-28 | 2019-05-07 | 利亚德光电股份有限公司 | 显示数据的处理方法、装置和*** |
| CN109840949A (zh) * | 2017-11-29 | 2019-06-04 | 深圳市掌网科技股份有限公司 | 基于光学定位的增强现实图像处理方法和装置 |
| CN110099268A (zh) * | 2019-05-28 | 2019-08-06 | 吉林大学 | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 |
| CN110544208A (zh) * | 2019-09-06 | 2019-12-06 | 深圳市泰沃德自动化技术有限公司 | 工业级图像拼接方法及*** |
| CN110610454A (zh) * | 2019-09-18 | 2019-12-24 | 上海云绅智能科技有限公司 | 透视投影矩阵的计算方法及装置、终端设备、存储介质 |
-
2019
- 2019-12-27 CN CN201911399512.9A patent/CN111142825B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
| CN103119547A (zh) * | 2010-09-29 | 2013-05-22 | 高通股份有限公司 | 用于多个显示器的图像同步 |
| US20150049201A1 (en) * | 2013-08-19 | 2015-02-19 | Qualcomm Incorporated | Automatic calibration of scene camera for optical see-through head mounted display |
| CN103678221A (zh) * | 2013-12-27 | 2014-03-26 | 广东威创视讯科技股份有限公司 | 获取拼接墙运行信息的方法与移动设备 |
| CN106133674A (zh) * | 2014-01-17 | 2016-11-16 | 奥斯特豪特集团有限公司 | 透视计算机显示*** |
| CN105282532A (zh) * | 2014-06-03 | 2016-01-27 | 天津拓视科技有限公司 | 3d显示方法和装置 |
| US20150370322A1 (en) * | 2014-06-18 | 2015-12-24 | Advanced Micro Devices, Inc. | Method and apparatus for bezel mitigation with head tracking |
| CN104536714A (zh) * | 2015-01-07 | 2015-04-22 | 深圳市众进思创科技开发有限公司 | 一种设备间对显示信息分屏显示的方法及*** |
| WO2018068719A1 (zh) * | 2016-10-12 | 2018-04-19 | 腾讯科技（深圳）有限公司 | 一种图像拼接方法及装置 |
| US20180322683A1 (en) * | 2017-05-05 | 2018-11-08 | Nvidia Corporation | Method and apparatus for rendering perspective-correct images for a tilted multi-display environment |
| CN107392853A (zh) * | 2017-07-13 | 2017-11-24 | 河北中科恒运软件科技股份有限公司 | 双摄像头视频融合畸变校正与视点微调整方法及*** |
| CN109840949A (zh) * | 2017-11-29 | 2019-06-04 | 深圳市掌网科技股份有限公司 | 基于光学定位的增强现实图像处理方法和装置 |
| CN108415174A (zh) * | 2018-02-05 | 2018-08-17 | 上海溯石文化传播有限公司 | 多屏拼接式异型屏幕影院实现裸眼3d观看效果的方法 |
| CN108629830A (zh) * | 2018-03-28 | 2018-10-09 | 深圳臻迪信息技术有限公司 | 一种三维环境信息显示方法及设备 |
| CN108429905A (zh) * | 2018-06-01 | 2018-08-21 | 宁波视睿迪光电有限公司 | 一种裸眼3d显示方法、装置、电子设备及存储介质 |
| CN109729338A (zh) * | 2018-11-28 | 2019-05-07 | 利亚德光电股份有限公司 | 显示数据的处理方法、装置和*** |
| CN109640070A (zh) * | 2018-12-29 | 2019-04-16 | 上海曼恒数字技术股份有限公司 | 一种立体显示方法、装置、设备及存储介质 |
| CN110099268A (zh) * | 2019-05-28 | 2019-08-06 | 吉林大学 | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 |
| CN110544208A (zh) * | 2019-09-06 | 2019-12-06 | 深圳市泰沃德自动化技术有限公司 | 工业级图像拼接方法及*** |
| CN110610454A (zh) * | 2019-09-18 | 2019-12-24 | 上海云绅智能科技有限公司 | 透视投影矩阵的计算方法及装置、终端设备、存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115243029A (zh) * | 2022-09-22 | 2022-10-25 | 苏州域光科技有限公司 | 图像显示方法、装置、设备、***及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111142825B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200366838A1 (en) | Panoramic image generation method and device | |
| EP3163535A1 (en) | Wide-area image acquisition method and device | |
| CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
| EP3252715A1 (en) | Two-camera relative position calculation system, device and apparatus | |
| US20170186219A1 (en) | Method for 360-degree panoramic display, display module and mobile terminal | |
| US20190289205A1 (en) | Panoramic image generating method and apparatus | |
| CN106570907B (zh) | 一种相机标定方法及装置 | |
| US9749612B2 (en) | Display device and display method for three dimensional displaying | |
| KR102450236B1 (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
| EP3594907B1 (en) | Method and apparatus for augmenting reality | |
| CN111275801A (zh) | 一种三维画面渲染方法及装置 | |
| US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
| CN113256742A (zh) | 界面展示方法、装置、电子设备和计算机可读介质 | |
| CN108805799B (zh) | 全景图像合成装置、方法及计算机可读存储介质 | |
| CN113724391A (zh) | 三维模型构建方法、装置、电子设备和计算机可读介质 | |
| CN111798374A (zh) | 一种图像拼接方法、装置、设备及介质 | |
| CN111142825B (zh) | 多屏视野的显示方法、***及电子设备 | |
| CN114520893B (zh) | 画面投影方法、装置、投影设备及可读存储介质 | |
| CN107888892B (zh) | Vr设备的视场测试方法及*** | |
| CN108734791B (zh) | 全景视频的处理方法和装置 | |
| US20150215602A1 (en) | Method for ajdusting stereo image and image processing device using the same | |
| JP6168597B2 (ja) | 情報端末装置 | |
| US10339702B2 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
| CN113486941B (zh) | 直播图像的训练样本生成方法、模型训练方法及电子设备 | |
| CN111968245B (zh) | 三维空间的标线展示方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |