CN107241610A - 一种基于增强现实的虚拟内容******和方法 - Google Patents

一种基于增强现实的虚拟内容******和方法 Download PDF

Info

Publication number
CN107241610A
CN107241610A CN201710311427.7A CN201710311427A CN107241610A CN 107241610 A CN107241610 A CN 107241610A CN 201710311427 A CN201710311427 A CN 201710311427A CN 107241610 A CN107241610 A CN 107241610A
Authority
CN
China
Prior art keywords
virtual content
display area
telltale mark
picture
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710311427.7A
Other languages
English (en)
Inventor
王恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongan Information Technology Service Co Ltd
Original Assignee
Zhongan Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongan Information Technology Service Co Ltd filed Critical Zhongan Information Technology Service Co Ltd
Priority to CN201710311427.7A priority Critical patent/CN107241610A/zh
Publication of CN107241610A publication Critical patent/CN107241610A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0252—Targeted advertisements based on events or environment, e.g. weather or festivals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实的虚拟内容******，其包括：定位标记；摄像装置，其拍摄物理区域内的画面并捕捉定位标记；处理单元，其基于定位标记信息计算摄像装置的投影矩阵以及确定展示区域的范围，并计算表征待***的虚拟内容的范围的像素坐标到表征展示区域的范围的物理坐标的变换矩阵；处理单元采用变换矩阵将待***的虚拟内容进行三维变换，再采用投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。相应地还公开了一种虚拟内容***方法。本发明使得可以在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待***的虚拟内容，从而实现非侵入式个性化直播广告***。

Description

一种基于增强现实的虚拟内容******和方法
技术领域
本发明涉及一种虚拟内容******和方法，尤其涉及一种基于增强现实的虚拟内容******和方法。
背景技术
目前越来越多的赛事、表演的直播正朝着全球化的方向发展，NBA、英超等赛事都面向全世界观众转播，因此赛场内的广告牌也出现了许多国际化的元素。然而，如果是实体广告牌，只能展示单一的广告内容，实际上限制了广告的受众范围，在全球范围内有大量观众的直播中尤其明显，比如英国的观众看到现场的中文广告牌就会完全不知所云。
此外，在现行的体制中，以赛事直播为例，通常是由当地的内容提供商提供直播画面信号，购买了版权的各级转播商在拿到原始信号后配上解说、字幕等内容播出给观众。对于不同地区的广告主而言，要想在赛事直播中投放广告，为了不影响直播画面的观感，保证良好的用户体验，要么只能在比赛间歇插播，要么就需要花大价钱去到赛事场地购买现场广告牌。
为了克服上述缺陷，期望获得一种基于增强现实的虚拟内容******和方法，该***和方法使得转播商可以在直播画面中无违和感地***广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告***，从而在***广告的同时保证了良好的用户体验。
发明内容
本发明的目的之一是提供一种基于增强现实的虚拟内容******，该***使得可以在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待***的虚拟内容，从而使得转播商可以在直播画面中无违和感地***广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告***。
根据上述目的之一，本发明提出了一种基于增强现实的虚拟内容******，其包括：
定位标记，其设于物理区域内的至少一个展示区域内；
摄像装置，其拍摄物理区域内的画面并捕捉所述定位标记，所述摄像装置将拍摄到的画面以及捕捉到的定位标记信息传输出去；
处理单元，其与所述摄像装置数据连接，所述处理单元接收摄像装置传输的画面以及捕捉到的定位标记信息，并基于所述捕捉到的定位标记信息计算所述摄像装置的投影矩阵以及确定展示区域的范围，并计算表征待***的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵；所述处理单元采用所述变换矩阵将待***的虚拟内容进行三维变换，再采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
本发明所述的基于增强现实的虚拟内容******的基本构思是利用增强现实技术将待***的虚拟内容以后期制作的形式实时***到画面中对应物理区域的展示区域的范围。其中：所述待***的虚拟内容可以是个性化的广告内容；所述画面可以是直播画面；所述物理区域该物理区域通常是一个现实三维空间，例如真实赛场；所述展示区域可以是真实赛场内广告牌的位置。由于利用了增强现实技术，使得可以在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待***的虚拟内容，从而使得转播商可以在直播画面中无违和感地***广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告***。
本发明所述的基于增强现实的虚拟内容******涉及的原理具体包括：
一、定位标记的设置和捕捉
本发明要求在物理区域的展示区域内设置有定位标记，该定位标记用于确定展示区域的范围，以及作为计算摄像装置的投影矩阵的特征点。
定位标记的特征：通常，定位标记应当容易被计算机视觉算法捕捉，并且具有一定的抗干扰能力。例如具备固定简单模式的高对比度图片即可满足要求。定位标记可以是可见光范围内的贴纸或者LED显示，也可以是可见光范围外的可以被摄像机捕捉的标记，例如红外/紫外标记，对于现场观众而言体验更好，但是摄像装置需要能够支持识别。定位标记的大小通常需要满足在摄像装置原生分辨率下捕捉远景画面时仍然能够分辨。
定位标记的数量和分布：通常，定位标记的数量以同时满足确定展示区域的范围和同一画面内特征点的数量要求为准。为了确定展示区域范围，通常对于矩形的广告区域可以在至少三个顶点的位置对应设置至少三个定位标记；对于复杂图形例如多边形，通常需要在多边形的每个顶点的位置设置一个定位标记。此外，需要保证在需要***虚拟内容的画面内捕捉到的定位标记即特征点的数量能够解出摄像装置的投影矩阵的所有参数。
定位标记的捕捉：定位标记的捕捉主要体现为识别画面中的定位标记并生成相应的定位标记信息，该定位标记信息通常包括定位标记在画面中的位置信息。需要说明的是，通常对可见光范围内的定位标记不需要额外的捕捉动作，因为画面本身包含了定位标记信息，可以留给后续处理单元利用计算机视觉算法进行提取，这样可以提高画面传输的实时性。对可见光范围外的定位标记可以通过专门识别的摄像装置进行识别。
二、投影矩阵的计算
由于定位标记即特征点固定设置在物理区域，对定位标记的物理区域位置和摄像装置拍摄的画面中相应位置列方程可以解出一个表示摄像装置投影变换的投影矩阵，该投影矩阵通常是3×3投影矩阵，其包含摄像装置投影变换导致的透视关系以及摄像装置镜头导致的畸变信息。通过该投影矩阵可以将三维空间中的坐标点投射到二维画面中的坐标点。记该投影矩阵为C。
当当前画面中特征点数量超过计算当前投影矩阵需要的最低数量时，可以利用诸如随机采样一致性等方法来增强投影矩阵参数计算的稳定性。
三、展示区域范围的确定
对于在顶点设置定位标记的展示区域，通常按顺序连接一组定位标记即可相应得到一个展示区域的范围，按同样方法即可得到各展示区域的范围，即输出各展示区域的顶点在画面中的二维坐标。记展示区域A的顶点在在画面中的二维坐标为ai，其集合为[a1，a2，...，an]。
四、变换矩阵的计算
变换矩阵反映的是待***的虚拟内容的像素坐标到展示区域的物理坐标的变换关系。由于展示区域A的顶点上设置的定位标记是固定的，对表征待***的虚拟内容的范围的像素坐标和表征展示区域的范围的物理坐标列方程可以解出一个表示待***的虚拟内容的像素坐标到展示区域的物理坐标的变换关系的变换矩阵，该变换矩阵通常是3×3变换矩阵。记该变换矩阵为C′，其满足方程其中pi为表征待***的虚拟内容的范围的像素坐标，通常为与ai相应的待***的虚拟内容的顶点坐标。由此可解出变换矩阵C′。
五、虚拟内容的***
设待***的虚拟内容的像素点集合为P，需要***到展示区域A在画面中以ai确定的相应范围内。首先需要将P中的每个像素点坐标找到其在画面中的***位置。对P中的某一像素点的坐标p，可以利用CpC′计算出其在画面中的***位置，即采用变换矩阵C′将待***的虚拟内容进行三维变换，再采用投影矩阵C对经过三维变换的虚拟内容再次进行变换。然后，最简单的情况下，将该像素点的RGB值覆盖显示到原始画面中的***位置则完成了虚拟内容的***。
将两个二维坐标变换为三维坐标的原因在于，摄像装置的投影变换是发生在三维空间的，所以无法直接建立两个二维坐标点之间的线性变换关系。
进一步地，本发明所述的基于增强现实的虚拟内容******中，所述定位标记为可见的标记。
上述方案中，所述可见的标记可以是可见光范围内的贴纸或者LED显示。
进一步地，本发明所述的基于增强现实的虚拟内容******中，所述定位标记为不可见的标记。
上述方案中，所述不可见的标记可以是可见光范围外的可以被摄像机捕捉的标记，例如红外/紫外标记。
进一步地，本发明所述的基于增强现实的虚拟内容******中，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。
上述方案中，对于多边形的展示区域，通常将定位标记设置在多边形的顶点处。
更进一步地，上述基于增强现实的虚拟内容******中，对应每一个画面，所述定位标记的数量至少为7个。
上述方案中，由于摄像装置投影变换理论证明，每个画面内至少需要有7个特征点被检测到才能解出摄像装置投影矩阵。本发明中定位标记具有作为特征点使用的功能，因此对应每一个画面，定位标记的数量至少为7个。需要说明的是特征点不必属于同一个展示区域，只要是同一画面内即可。
本发明的另一目的是提供一种基于增强现实的虚拟内容***方法，该方法使得可以在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待***的虚拟内容，从而使得转播商可以在直播画面中无违和感地***广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告***。
基于上述发明目的，本发明还提供了一种基于增强现实的虚拟内容***方法，其包括步骤：
(1)在物理区域内的至少一个展示区域内设置定位标记；
(2)采用摄像装置拍摄物理区域内的画面并捕捉所述定位标记；
(3)根据所述定位标记确定展示区域的范围以及计算摄像装置的投影矩阵，计算表征待***的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵，并采用所述变换矩阵将待***的虚拟内容进行三维变换，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
本发明所述的基于增强现实的虚拟内容***方法，其基本构思和涉及的原理与上述***部分相应的解释基本相同，因此不再赘述。
进一步地，本发明所述的基于增强现实的虚拟内容***方法中，采用可见光摄像机捕捉视觉可见的定位标记。
上述方案中，所述可见的定位标记可以是可见光范围内的贴纸或者LED显示。
进一步地，本发明所述的基于增强现实的虚拟内容***方法中，采用红外摄像机捕捉视觉不可见的定位标记。
上述方案中，所述不可见的定位标记可以是可见光范围外的可以被红外摄像机捕捉的标记，例如红外标记。
进一步地，本发明所述的基于增强现实的虚拟内容***方法中，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。
更进一步地，上述基于增强现实的虚拟内容***方法中，对于形状基本为矩形的展示区域，设置至少三个定位标记；对于多边形的展示区域，在多边形展示区域的每一个顶点均设置一个定位标记。
上述方案中，可以通过按顺序连接一组定位标记从而相应得到一个展示区域的范围。例如按顺序连接三个定位标记从而相应得到矩形展示区域的范围，按顺序连接多个定位标记从而相应得到多边形展示区域的范围。
进一步地，本发明所述的基于增强现实的虚拟内容***方法中，将待***的虚拟内容进行三维变换后，对虚拟内容进行增强处理，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
上述方案中，对虚拟内容进行增强处理是因为：如果直接将待***的虚拟内容通过线性变换之后覆盖到原始画面，其表现会比较不自然，因为缺乏真实环境中物体的光照、纹理特性。由于计算了变换矩阵C′，可以将待***的虚拟内容中的任意点转换到三维空间，即构造一个展示区域A的虚拟内容三维模型。因此可以通过后处理的方式加入光照和纹理的模拟，使得***的虚拟内容更好地融入真实环境。
本发明所述的基于增强现实的虚拟内容******，其优点和有益效果包括：
(1)可用于在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待***的虚拟内容。
(2)可用于转播商在直播画面中无违和感地***广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告***。
(3)可用于直播广告的后处理***，并且通过模拟真实***位置和画面增强的方法降低***的虚拟内容的违和感，提高用户体验。
本发明所述的基于增强现实的虚拟内容***方法，其同样具有上述效果。
附图说明
图1为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的结构示意图。
图2为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的定位标记的一种设置场景和范围示意图。
图3为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的定位标记的第一种图形样式示意图。
图4为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的定位标记的第二种图形样式示意图。
图5为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的定位标记的第三种图形样式示意图。
图6为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的定位标记的第四种图形样式示意图。
图7为一种广告内容的示意图。
图8为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的工作流程示意图。
具体实施方式
下面将结合说明书附图和具体的实施例来对本发明所述的基于增强现实的虚拟内容******和方法进行进一步地详细说明，但是该详细说明不构成对本发明的限制。
图1显示了本实施例的基于增强现实的虚拟内容******的结构。图2显示了本实施例的基于增强现实的虚拟内容******的定位标记的设置场景和范围。图3-图6显示了本实施例的基于增强现实的虚拟内容******的定位标记1的图形样式。图7示意了广告内容7。
如图1所示，结合参考图2-图3，本实施例的基于增强现实的虚拟内容******利用增强现实技术将作为待***的虚拟内容的广告内容7以后期制作的形式实时***到画面中对应作为物理区域的赛场4的展示区域(包括场边广告牌5以及场边空地指定范围6)的范围。该***包括：定位标记1、作为摄像装置的摄像机2以及作为处理单元的计算机3，其中：
结合参考图2，定位标记1设于赛场4内的若干展示区域内(图1中示意了单个矩形展示区域的三个定位标记)，用于确定展示区域的范围，以及作为计算摄像机2的投影矩阵的特征点。
摄像机2拍摄赛场4内的画面并捕捉定位标记1，摄像机2将拍摄到的画面以及捕捉到的定位标记信息传输出去。
本实施例中，定位标记1的设置和捕捉满足以下条件：
定位标记1可以为具备固定简单模式的高对比度图片，例如按图3-图6所示的图形样式中的一种或几种制作的图片。在其它实施例中，也可以是可见光范围外的可以被摄像机捕捉的标记，例如红外标记，对于现场观众而言体验更好，但是需要采用能够支持识别红外标记的红外摄像机。定位标记的大小需要满足在摄像机2原生分辨率下捕捉远景画面时仍然能够分辨。需要说明的是，定位标记不限于本文所列举的样式，其也可以为本领域内技术人员知晓的其他样式。
定位标记1环绕展示区域地设置以勾勒出展示区域的边缘。对于矩形的广告区域在至少三个顶点的位置对应设置至少三个定位标记1；对于复杂图形例如多边形，在多边形的每个顶点的位置设置一个定位标记1。此外，需要保证在需要***广告内容7的画面内捕捉到的定位标记即特征点的数量至少为七个。
定位标记1的捕捉体现为识别画面中的定位标记1并生成相应的定位标记信息，该定位标记信息包括定位标记1在画面中的位置信息。需要说明的是，本实施例中，由于画面本身包含了定位标记信息，因此对可见光范围内的定位标记不需要额外的捕捉动作，而是留给后续计算机3利用计算机视觉算法进行提取。
计算机3与摄像机2数据连接，计算机3被配置为具有以下信息处理功能：
(1)接收摄像机2传输的画面以及捕捉到的定位标记信息。
(2)基于捕捉到的定位标记信息计算摄像机2的投影矩阵以及确定展示区域的范围。
本实施例中：
对定位标记1的赛场4位置和摄像机2拍摄的画面中相应位置列方程解出表示摄像机2投影变换的投影矩阵，该投影矩阵是3×3投影矩阵。记该投影矩阵为C。
当当前画面中特征点数量超过计算当前投影矩阵需要的最低数量时，利用随机采样一致性来增强投影矩阵参数计算的稳定性。
(3)计算表征如图7所示的广告内容7的范围的像素坐标到表征展示区域的范围的物理坐标的变换矩阵。
本实施例中：
首先确定展示区域的范围：
按顺序连接一组定位标记1即相应得到一个展示区域的范围，按同样方法即得到各展示区域的范围，即输出各展示区域的顶点在画面中的二维坐标。记展示区域A的顶点在在画面中的二维坐标为ai，其集合为[a1，a2，...，an]。
然后进行变换矩阵的计算：
变换矩阵反映的是广告内容7的像素坐标到展示区域的物理坐标的变换关系。对表征广告内容7的范围的像素坐标和表征展示区域的范围的物理坐标列方程解出表示广告内容7的像素坐标到展示区域的物理坐标的变换关系的变换矩阵，该变换矩阵是3×3变换矩阵。记该变换矩阵为C′，其满足方程其中pi为表征广告内容7的范围的像素坐标，为与ai相应的广告内容7的顶点坐标。由此可解出变换矩阵C′。
(4)采用变换矩阵C′将广告内容7进行三维变换，之后先对广告内容7进行增强处理，例如通过后处理的方式加入光照和纹理的模拟，然后再采用投影矩阵C对经过三维变换的广告内容7再次进行变换。
本实施例中，设广告内容7的像素点集合为P，需要***到展示区域A在画面中以ai确定的相应范围内。首先需要将P中的每个像素点坐标找到其在画面中的***位置。对P中的某一像素点的坐标p，利用CpC′计算出其在画面中的***位置，即采用变换矩阵C′将广告内容7进行三维变换，再采用投影矩阵C对经过三维变换的广告内容7再次进行变换。
(5)将变换后的广告内容7***到画面显示的展示区域内。
本实施例中，将变换后的广告内容7像素点的RGB值覆盖显示到原始画面中的***位置(即画面显示的相应的展示区域内)则完成广告内容7的***。
图8为本发明所述的基于增强现实的虚拟内容******在一种实施方式下的工作流程示意图。
如图8所示，结合参考图1-图7，本实施例的基于增强现实的虚拟内容******的工作流程包括步骤(各步骤的细节在上面相应部分已有详细描述，在此不再赘述)：
步骤110：在赛场4内的若干展示区域内设置定位标记1。
步骤120：摄像机2拍摄赛场4内的画面并捕捉定位标记1，摄像机2将拍摄到的画面以及捕捉到的定位标记信息传输出去。
步骤130：计算机3接收摄像机2传输的画面以及捕捉到的定位标记信息。
步骤140：计算机3基于捕捉到的定位标记信息计算摄像机2的投影矩阵以及确定展示区域的范围。
步骤150：计算机3计算表征如图7所示的广告内容7的范围的像素坐标到表征展示区域的范围的物理坐标的变换矩阵。
步骤160：计算机3采用变换矩阵C′将广告内容7进行三维变换，之后先对广告内容7进行增强处理，例如通过后处理的方式加入光照和纹理的模拟，然后再采用投影矩阵C对经过三维变换的广告内容7再次进行变换。
步骤170：计算机3将变换后的广告内容7***到画面显示的展示区域内。
下面对本发明所述的基于增强现实的虚拟内容***方法进行简要描述，由于其实质内容可以体现在上述***实施例的相应部分，因此在此不再赘述。
本发明所述的基于增强现实的虚拟内容***方法包括步骤：
(1)在物理区域内的至少一个展示区域内设置定位标记；
(2)采用摄像装置拍摄物理区域内的画面并捕捉所述定位标记；
(3)根据所述定位标记确定展示区域的范围以及计算摄像装置的投影矩阵，计算表征待***的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵，并采用所述变换矩阵将待***的虚拟内容进行三维变换，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
在某些实施方式中，采用可将光摄像机捕捉视觉可见的定位标记。
在某些实施方式中，采用红外摄像机捕捉视觉不可见的定位标记。
在某些实施方式中，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。其中，对于形状基本为矩形的展示区域，设置至少三个定位标记；对于多边形的展示区域，在多边形展示区域的每一个顶点均设置一个定位标记。
在某些实施方式中，将待***的虚拟内容进行三维变换后，对虚拟内容进行增强处理，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
由上述说明可知，本发明的基于增强现实的虚拟内容******和方法可用于在画面中对应物理区域的展示区域的范围内以增强现实的方式实时显示待***的虚拟内容。例如，可用于转播商在直播画面中无违和感地***广告，并且可以很方便地匹配不同地区，不同渠道甚至不同观众的个性，实现非侵入式个性化直播广告***，通过模拟真实***位置和画面增强的方法降低***的广告内容的违和感，提高用户体验。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。

Claims (11)

1.一种基于增强现实的虚拟内容******，其特征在于，包括：
定位标记，其设于物理区域内的至少一个展示区域内；
摄像装置，其拍摄物理区域内的画面并捕捉所述定位标记，所述摄像装置将拍摄到的画面以及捕捉到的定位标记信息传输出去；
处理单元，其与所述摄像装置数据连接，所述处理单元接收摄像装置传输的画面以及捕捉到的定位标记信息，并基于所述捕捉到的定位标记信息计算所述摄像装置的投影矩阵以及确定展示区域的范围，计算表征待***的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵；所述处理单元采用所述变换矩阵将待***的虚拟内容进行三维变换，再采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
2.如权利要求1所述的基于增强现实的虚拟内容******，其特征在于，所述定位标记为可见的标记。
3.如权利要求1所述的基于增强现实的虚拟内容******，其特征在于，所述定位标记为不可见的标记。
4.如权利要求1所述的基于增强现实的虚拟内容******，其特征在于，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。
5.如权利要求4所述的基于增强现实的虚拟内容******，其特征在于，对应每一个画面，所述定位标记的数量至少为7个。
6.一种基于增强现实的虚拟内容***方法，其特征在于，包括步骤：
(1)在物理区域内的至少一个展示区域内设置定位标记；
(2)采用摄像装置拍摄物理区域内的画面并捕捉所述定位标记；
(3)根据所述定位标记确定展示区域的范围以及计算摄像装置的投影矩阵，计算表征待***的虚拟内容的范围的像素坐标到表征所述展示区域的范围的物理坐标的变换矩阵，并采用所述变换矩阵将待***的虚拟内容进行三维变换，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
7.如权利要求6所述的基于增强现实的虚拟内容***方法，其特征在于，采用可见光摄像机捕捉视觉可见的定位标记。
8.如权利要求6所述的基于增强现实的虚拟内容***方法，其特征在于，采用红外摄像机捕捉视觉不可见的定位标记。
9.如权利要求6所述的基于增强现实的虚拟内容***方法，其特征在于，所述定位标记具有若干个，该若干个定位标记环绕展示区域地设置以勾勒出展示区域的边缘。
10.如权利要求9所述的基于增强现实的虚拟内容***方法，其特征在于，对于形状基本为矩形的展示区域，设置至少三个定位标记；对于多边形的展示区域，在多边形展示区域的每一个顶点均设置一个定位标记。
11.如权利要求6所述的基于增强现实的虚拟内容***方法，其特征在于，将待***的虚拟内容进行三维变换后，对虚拟内容进行增强处理，然后采用所述投影矩阵对经过三维变换的虚拟内容再次进行变换，以将变换后的虚拟内容***到画面显示的展示区域内。
CN201710311427.7A 2017-05-05 2017-05-05 一种基于增强现实的虚拟内容******和方法 Pending CN107241610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710311427.7A CN107241610A (zh) 2017-05-05 2017-05-05 一种基于增强现实的虚拟内容******和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710311427.7A CN107241610A (zh) 2017-05-05 2017-05-05 一种基于增强现实的虚拟内容******和方法

Publications (1)

Publication Number Publication Date
CN107241610A true CN107241610A (zh) 2017-10-10

Family

ID=59985672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710311427.7A Pending CN107241610A (zh) 2017-05-05 2017-05-05 一种基于增强现实的虚拟内容******和方法

Country Status (1)

Country Link
CN (1) CN107241610A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596105A (zh) * 2018-04-26 2018-09-28 李辰 增强现实书画***
CN109523297A (zh) * 2018-10-17 2019-03-26 成都索贝数码科技股份有限公司 一种体育比赛中实现虚拟广告的方法
CN110119190A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 定位方法、装置、识别跟踪***及计算机可读介质
WO2021088973A1 (zh) * 2019-11-07 2021-05-14 广州虎牙科技有限公司 直播流显示方法、装置、电子设备及可读存储介质
GB2590735A (en) * 2019-12-20 2021-07-07 Move Ai Ltd Method of inserting an object into a sequence of images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
CN101976463A (zh) * 2010-11-03 2011-02-16 北京师范大学 一种虚实融合的交互式立体图书制作方法
CN102110379A (zh) * 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物
CN102521859A (zh) * 2011-10-19 2012-06-27 中兴通讯股份有限公司 基于人工标志的增强现实方法及装置
CN103530594A (zh) * 2013-11-05 2014-01-22 深圳市幻实科技有限公司 一种提供增强现实的方法、***及终端
CN105987683A (zh) * 2015-04-16 2016-10-05 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位***及方法
CN106373197A (zh) * 2016-09-06 2017-02-01 广州视源电子科技股份有限公司 一种增强现实的方法及增强现实装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
CN101976463A (zh) * 2010-11-03 2011-02-16 北京师范大学 一种虚实融合的交互式立体图书制作方法
CN102110379A (zh) * 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物
CN102521859A (zh) * 2011-10-19 2012-06-27 中兴通讯股份有限公司 基于人工标志的增强现实方法及装置
CN103530594A (zh) * 2013-11-05 2014-01-22 深圳市幻实科技有限公司 一种提供增强现实的方法、***及终端
CN105987683A (zh) * 2015-04-16 2016-10-05 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位***及方法
CN106373197A (zh) * 2016-09-06 2017-02-01 广州视源电子科技股份有限公司 一种增强现实的方法及增强现实装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119190A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 定位方法、装置、识别跟踪***及计算机可读介质
CN108596105A (zh) * 2018-04-26 2018-09-28 李辰 增强现实书画***
CN108596105B (zh) * 2018-04-26 2023-02-03 李辰 增强现实书画***
CN109523297A (zh) * 2018-10-17 2019-03-26 成都索贝数码科技股份有限公司 一种体育比赛中实现虚拟广告的方法
CN109523297B (zh) * 2018-10-17 2022-02-22 成都索贝数码科技股份有限公司 一种体育比赛中实现虚拟广告的方法
WO2021088973A1 (zh) * 2019-11-07 2021-05-14 广州虎牙科技有限公司 直播流显示方法、装置、电子设备及可读存储介质
GB2590735A (en) * 2019-12-20 2021-07-07 Move Ai Ltd Method of inserting an object into a sequence of images
GB2597227A (en) * 2019-12-20 2022-01-19 Move Ai Ltd Method of inserting an object into a sequence of images
GB2590735B (en) * 2019-12-20 2022-03-02 Move Ai Ltd Method of inserting an object into a sequence of images
GB2597227B (en) * 2019-12-20 2022-07-20 Move Ai Ltd Method of inserting an object into a sequence of images

Similar Documents

Publication Publication Date Title
CN107241610A (zh) 一种基于增强现实的虚拟内容******和方法
CN105931186B (zh) 基于相机自动标定和颜色校正的全景视频拼接***与方法
JP6587421B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105654471B (zh) 应用于互联网视频直播的增强现实ar***及方法
US20200358996A1 (en) Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene
JP4774346B2 (ja) 画像処理方法、画像処理装置およびプログラム
US20120180084A1 (en) Method and Apparatus for Video Insertion
EP3295663B1 (en) Digitally overlaying an image with another image
HU220409B (hu) Eljárás, berendezés és rendszer betétkép videoképbe ültetésére
JP7447077B2 (ja) 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム
US10482652B2 (en) Image conversion for signage
JP2008097599A (ja) 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体（模擬視差および視野変化を伴う仮想ウィンドウ）
JP2006189708A (ja) 表示装置
CN106940897A (zh) 一种在ar场景中介入现实光影的方法
JP7476375B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN113692734A (zh) 用于采集和投影图像的***和方法，以及该***的应用
CN208506731U (zh) 图像展示***
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
CN110035275B (zh) 基于大屏幕融合投影的城市全景动态显示***及方法
CN108269288A (zh) 智能异形投影非接触式交互***和方法
CN112866507B (zh) 智能化的全景视频合成方法、***、电子设备及介质
JP7271095B2 (ja) 画像生成装置、画像生成方法、及びプログラム
AU2012203857B2 (en) Automatic repositioning of video elements
JP7182915B2 (ja) 画像生成装置、画像生成方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171010