CN113763566A - 图像生成***及图像生成方法 - Google Patents
图像生成***及图像生成方法 Download PDFInfo
- Publication number
- CN113763566A CN113763566A CN202010504225.6A CN202010504225A CN113763566A CN 113763566 A CN113763566 A CN 113763566A CN 202010504225 A CN202010504225 A CN 202010504225A CN 113763566 A CN113763566 A CN 113763566A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional model
- predetermined object
- image generation
- generation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 239000002131 composite material Substances 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 abstract description 13
- 238000013519 translation Methods 0.000 abstract description 9
- 239000011159 matrix material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 241000283973 Oryctolagus cuniculus Species 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种图像生成***及图像生成方法。在这方法中，取得捕获图像。根据捕获图像确定对应的预定物件。确定预定物件与对应的三维模型之间的转换关系。根据转换关系将预定内容新增到图像平面，以形成合成图像。将合成图像结合捕获图像，以形成增强图像。转换关系相关于预定物件在捕获图像所处的图像平面上的第一坐标与三维模型在三维空间上的第二坐标之间转换的关系。合成图像包括预定内容预定内容。藉此，可在捕获图像中的真实物件上形成自然的虚拟效果。
Description
技术领域
本发明涉及一种模拟仿真技术，且特别是有关于虚拟融合现实的图像生成***及图像生成方法。
背景技术
当今，例如虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)及扩展现实(extended reality，XR)等用于模拟感觉、感知和/或环境的技术受到欢迎。上述技术可应用于多种领域中，例如游戏、军事训练、医疗保健、远程工作等。
在AR应用中，虚拟世界/物件可与现实世界场景结合与交互。例如，手拿着空瓶，屏幕图像中可呈现瓶子长出不同的花。又例如，手持奶粉罐，屏幕图像中可在罐体上以超大字体及跑马灯式展现出营养信息。再例如，在屏幕图像中，将灯光明亮的真实大楼，罩上中古世纪的外观。还例如，在屏幕图像中，模特儿的皮肤被换色。
值得注意的是，前述AR应用中可能会面临到以下问题：由于真实物件具有曲面表面，且捕获图像中的真实物件可能受其他遮蔽物覆盖，因此额外贴上的虚拟效果可能不自然。
发明内容
本发明是针对一种图像生成***及图像生成方法，基于三维模型形成虚拟效果，并判断遮蔽区域，使增强图像中的虚拟效果更加自然。
根据本发明的实施例，图像生成方法包括下列步骤：取得捕获图像。确定捕获图像中的预定物件。确定预定物件与对应的三维模型之间的转换关系。根据转换关系将预定内容新增到图像平面，以形成合成图像。将合成图像结合捕获图像，以形成增强图像。转换关系相关于预定物件在捕获图像所处的图像平面上的第一坐标与三维模型在三维空间上的第二坐标之间转换的关系。合成图像包括预定内容，且预定内容先前未出现于预定物件或三维模型上。
根据本发明的实施例，图像生成***包括(但不限于)图像捕获设备、存储器及处理器。图像捕获设备用以捕获图像。存储器用以存储用于图像生成***的图像生成方法所对应的程序代码。处理器耦接图像捕获设备与存储器，并经配置用以执行程序代码。图像生成方法包括下列步骤：取得捕获图像。确定捕获图像中的预定物件。确定预定物件与对应的三维模型之间的转换关系。根据转换关系将预定内容新增到图像平面，以形成合成图像。将合成图像结合捕获图像，以形成增强图像。转换关系相关于预定物件在捕获图像所处的图像平面上的第一坐标与三维模型在三维空间上的第二坐标之间转换的关系。合成图像包括预定内容，且预定内容先前未出现于预定物件或三维模型上。
基于上述，本发明实施例图像生成***及图像生成方法，找出预定物件对应的三维模型，基于三维模型增加预定内容并将三维模型转换到图像平面上，最后将所形成的合成图像与捕获图像结合，即可形成适于曲面表面及受遮蔽物覆盖的增强图像，进而提供自然的虚拟效果。
附图说明
包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
图1为依据本发明实施例的图像生成***的组件方块图；
图2为依据本发明实施例的图像生成方法的流程图；
图3为捕获图像的实例；
图4为实例说明捕获图像与三维模型转换的示意图；
图5为遮蔽图像的实例。
附图标号说明
100：图像生成***；
110：图像捕获设备；
130：存储器；
150：显示器；
170：处理器；
S210～S290：步骤；
TO：预定物件；
OO：遮蔽物；
C1、C2：特征点；
TM：三维模型；
FP：图像平面；
OR：遮蔽图像。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在图式和描述中用来表示相同或相似部分。
图1为依据本发明实施例的图像生成***100的组件方块图。请参照图1，图像生成***100包括但不限于：图像捕获设备110、存储器130、显示器150及处理器170。图像生成***100可以是一台或更多台智能手机、平板、或头戴式显示器(head-mounted display,HMD)等电子装置。
图像捕获设备110可以是单色照相机或彩色照相机、立体照相机、数字摄像机或、飞行时间(Time-of-Flight,ToF)探测器或其他能够捕获图像的传感器。在一实施例中，图像捕获设备110用以捕获图像。
存储器130可以是任何类型的固定的或可移动的随机存取存储器(Random-AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪速存储器、相似装置或者以上装置的组合。在一实施例中，存储器130用以记录程序代码、装置配置、缓冲数据或永久数据(例如图像数据、物件数据、三维模型、转换关系、图像捕获设备110的内部参数等)，且稍后将介绍这些数据。
显示器150可以是液晶显示器(liquid-crystal display，LCD)、发光二极管(light-emitting diode，LED)显示器、有机发光二极管(organic light-emitting diode，OLED)显示器或其他显示器。在一实施例中，显示器150用于显示图像。应注意，在一些实施例中，显示器150可为外部装置(例如智能手机、平板等)的显示器，且外部装置可放置在头戴式显示器的主体上。
处理器170耦接图像捕获设备110、存储器130及显示器150，且处理器170被配置成加载并执行存储在存储器130中的程序代码，以执行本发明示例性实施例的过程。
在一些实施例中，处理器170的功能可使用例如中央处理单元(centralprocessing unit，CPU)、微处理器、微控制器、数字信号处理(digital signalprocessing，DSP)芯片、现场可编程门阵列(field programmable gate array，FPGA)等可编程单元来实施。处理器170的功能也可通过独立的电子装置或集成电路(integratedcircuit，IC)来实施，且处理器170的操作也可通过软件来实施。
应注意，处理器170可不与图像捕获设备110和/或显示器150设置在同一设备。然而，分别配备有图像捕获设备110、显示器150及处理器170的设备可进一步包括具有兼容通信技术的通信收发器(例如蓝牙、无线保真(wireless fidelity，Wi-Fi)、红外线(IR)或物理传输线)，以彼此相互传送或接收数据。例如，存储器130及处理器170可能被独立出来而成为运算装置。这运算装置可以是桌面计算机、膝上型电脑、服务器、智能手机、或平板的装置。而图像捕获设备110和显示器150也被独立出来成为另一台电子装置(例如智能手机或平板)，两装置可通过无线或有线方式通信。
为了方便理解本发明实施例的操作流程，以下将举诸多实施例详细说明本发明实施例中图像生成***100的运作流程。下文中，将搭配图像生成***100中的各项组件和模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整，且并不仅限于此。
图2为依据本发明实施例的图像生成方法的流程图。请参照图2，处理器170通过图像捕获设备110取得一张或更多张捕获图像(步骤S210)。具体而言，在例如是AR、XR或其他现实相关技术的应用中，虚拟世界/物件可与现实场景结合与交互。因此，图像生成***100会取得实时(real-time)的捕获图像。而捕获图像即是图像捕获设备110捕捉其视场(fieldof view，FoV)内真实场景中的画面。
接着，处理器170根据捕获图像确定对应的预定物件(步骤S230)。具体而言，处理器170可基于影像辨识技术来侦测预定物件。在一实施例中，真实场景中的三维预定物件的表面具有参考图案。参考图案可以是一维、二维或三维码等图形标识符，也可以是预定几何形状、物体外观、文字、数字、符号或其组合。此外，参考图案具有代表预定物件的类型、编号、型号、或序号等识别信息。处理器170可对捕获图像中的参考图案对应的影像译码，以得出前述识别信息，并据以辨识出预定物件。例如，图3为捕获图像的实例。请参照图3，处理器170可基于图中所示兔头图案辨识出预定物件TO为药罐。
在一些实施例中，处理器170还根据参考图案的辨识结果取得对应的三维模型。其中，存储器130存储复数种类型、型号或样式的三维模型(例如，点云图、STL、FBX、COLLADA、3DS、OBJ或其他格式)，以形成三维模型数据库。各三维模型具有独立且对应的识别信息。处理器170即可将辨识结果所得出的识别信息与三维模型数据库，并取得三维模型数据库中相符识别信息的三维模型。这些三维模型的使用方式将稍后介绍。
在另一实施例中，处理器170自捕获图像中侦测一个或更多个特征信息。处理器170可基于影像辨识技术(例如尺度不变特征转换(scale-invariant feature transform，SIFT)、haar特征、Adaboost、支持向量机器(SVM)、或神经网络等算法)取得捕获图像中的特征信息。特征信息可以是特征点和其位置、尺度、旋转不变数、灰阶度、色彩、方向或其他特征提取(feature extraction)所设定的信息。另一方面，三维模型数据库中的各三维模型具有独立且对应的特征信息。处理器170即将捕获图像中的特征信息与三维模型数据库中的三维模型比对，并根据比对结果取得三维模型数据库中相符特征信息所对应的三维模型，从而辨识出预定物件。
确定预定物件之后，处理器170可进一步确定预定物件与对应的三维模型之间的转换关系(步骤S250)。具体而言，二维的捕获图像通常能提供预定物件在其所处图像平面(或称成像平面)的二维位置信息(例如相机坐标)。其中，图像平面是指：真实世界中的物件所折射的光线，通过针孔后所投影到的平面。然而，真实世界中的任何物件事实上都是立体的。单凭二维位置信息通常难以推论出正确或准确的物件真实表面信息(例如曲面信息)。而本发明实施例通过二維物件对应的三维模型来推论预定物件的表面信息,进而得知预定物件的曲面，或者推论预定物件是否被遮蔽。
值得注意的是，图像捕获设备110对预定物件在真实世界中的物件的方位和距离可能不同于三维模型的默认朝向和观看相对距离。为了进行捕获图像中的预定物件与三维空间的三维模型之间的转换，需先取得转换所需的转换关系。转换关系相关于预定物件在捕获图像所处的图像平面上的一个或更多个第一坐标与所对应的三维模型在三维空间上的一个或更多个对应第二坐标之间转换的关系。其中，第一坐标对应的第一特征点经转换后将相同于第二坐标对应的第二特征点，或第二坐标对应的第二特征点经转换后将相同于第一坐标对应的第一特征点。
举例来说，图4为实例说明捕获图像与三维模型转换的示意图。请参照图4，某一个第一坐标对应的第一特征点C1(假设位于兔头图案的耳尖)经位移和/或旋转的转换后到达三维模型上的某一个对应的第二特征点C2(假设位于兔头图案的耳尖)的位置。或者，由第二特征点C2转换到第一特征点C1。
以数学观点而言，转换关系可以是转换矩阵。第二坐标(以向量形式)与转换矩阵的乘积即为第一坐标(以向量形式)，且数学关系式如下：
预定物件中的某一个第一特征点的第一坐标为[u1 v1 1]T，三维模型中的某一个第二特征点的第二坐标为[x1 y1 z1]T，k可被称为内部参数矩阵(intrinsic parametermatrix)(与图像捕获设备110的焦距、原点位置、分辨率、像素的夹角、光学特性和/或失真因素相关)，且转换矩阵为[R|t]。转换矩阵也可被称为外部参数矩阵(extrinsicparameter matrix)且是由第二坐标转换成第一坐标所需要的位移量和/或旋转量所组成。
对于转换关系的确定，在预定物件的表面具有参考图案的实施例中，处理器170可根据参考图案在图像平面上的一个或更多个第一坐标确定转换关系。也就是说，前述第一特征点是位于参考图案上。处理器170可基于三维模型上的参考图案在三维空间中的一个或更多个第二坐标及对应的第一坐标来得出转换关系。即，第二坐标如何转换到第一坐标、或第一坐标如何转换到第二坐标的关系。以数学观点而言，输入已知的第一坐标、第二坐标及内部参数矩阵即可得出转换矩阵。
而在特征比对的实施例中，处理器170可根据预定物件的特征信息中的第一特征点在图像平面上的第一坐标确定转换关系。而前述第一特征点位于预定物件上。相似地，处理器170可基于三维模型上的对应第二特征点在三维空间中的一个或更多个第二坐标及对应的第一坐标来得出转换关系。
处理器170可根据转换关系将预定内容新增到图像平面，以形成合成图像(步骤S270)。具体而言，预定内容为先前未出现于预定物件或三维模型上，且合成图像最终将包括预定内容。在一实施例中，预定内容包括先前未出现于三维模型和预定物件上的纹理。纹理是预先设定或经使用者选择的虚拟特效，例如，颜色转变、呈现预定图案、文字或画面，可能是预定物件对应真实物件的相关信息或广告等内容等。处理器170可在三维模型的特征兴趣区域上贴上/覆盖这纹理，使三维模型上形成额外的虚拟特效，并使虚拟特效考虑了曲面特性。接着，处理器170可将三维模型上的纹理根据转换关系投影到图像平面上，以形成合成图像。投影即是将纹理上的第二特征点的第二坐标转换到图像平面上的第一坐标。例如，输入已知的转换矩阵、第二坐标及内部参数矩阵即可得出第一坐标。
在另一实施例中，预定内容包括先前未出现于三维模型上的遮蔽图像。遮蔽图像为在捕获图像中遮蔽物件(即，不同于预定物件)覆盖预定物件的区域。以图3为例，预定物件TO的一部分受遮蔽物件OO(以橘子为例)遮蔽。处理器170可根据转换关系将三维模型投影到图像平面上，以形成参考图像。参考图像即可代表预定物件未受任何遮蔽物件遮蔽的情况。而投影的方式如同前述转换，于此不再赘述。接着，处理器170可根据参考图像与捕获图像中的预定物件之间的差异(即，确定预定物件是否受遮蔽)得出遮蔽图像(作为合成图像中的一部分)。例如，由两图像之间的特征比对结果得出参考图像不同于预定物件对应图像的区域。图5为遮蔽图像OR的实例。请参照图5，遮蔽图像OR为预定物件TO与遮蔽物件OO重叠的区域。
应注意，在一些实施例中，处理器170也可能侦测到预定物件未受遮蔽。此外，预定内容还可能是原先预定物件或三维模型上已存在的内容，且处理器170重新生成在即将投影到图像平面的三维模型上。
预定内容对应的图像(例如，投影后的纹理图像和/或遮蔽图像等)确定之后，处理器170可将合成图像结合捕获图像，以形成增强图像(步骤S290)。具体而言，处理器170可先将投影后的纹理覆盖在捕获图像上(即，形成新的捕获图像)，再将遮蔽图像覆盖在新的捕获图像上(即，形成新的增强图像)。即，遮蔽图像是在前述虚拟效果投影到捕获图像后再被覆盖在捕获图像上，使虚拟效果可自然地生成于物件表面(不像被强硬贴上似)。在一实施例中，合成图像是投影后的纹理图像与遮蔽图像的组合。在其他实施例中，合成图像只是投影后的纹理图像(例如预定物件未受遮蔽)。
在一些实施例中，处理器170可进一步通过显示器150显示增强图像。这增强图像即是将真实场景结合虚拟效果的结果。此外，随图像捕获设备110的朝向改变或位移，合成图像也能根据前述位置对应关系来覆盖在捕获图像上。即，投影后的纹理图像和/或遮蔽图像也随着转向或位移。藉此，使用者可实时观看AR效果。
综上所述，在本发明实施例图像生成***及图像生成方法中，基于预定物件对应的三维模型形成预定内容，并将纹理和遮蔽图像等预定内容分别覆盖在捕获图像，使虚拟效果更加自然。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种图像生成方法，其特征在于，包括：
取得捕获图像；
根据所述捕获图像确定对应的预定物件；
确定所述预定物件与对应的三维模型之间的转换关系，其中所述转换关系相关于所述预定物件在所述捕获图像所处的图像平面上的至少一第一坐标与所述三维模型在三维空间上的至少一第二坐标之间转换的关系；
根据所述转换关系将至少一预定内容新增到所述图像平面，以形成合成图像，其中所述合成图像包括所述至少一预定内容预定内容；以及
将所述合成图像结合所述捕获图像，以形成增强图像。
2.根据权利要求1所述的图像生成方法，其特征在于，所述至少一预定内容包括先前未出现于所述三维模型和所述预定物件上的纹理，且根据所述转换关系将所述至少一预定内容新增到所述图像平面的步骤包括：
在所述三维模型上形成所述纹理；以及。
将所述三维模型上的所述纹理根据所述转换关系投影到所述图像平面上，以形成所述合成图像。
3.根据权利要求1所述的图像生成方法，其特征在于，所述至少一预定内容包括先前未出现于所述三维模型上的遮蔽图像，且根据所述转换关系将所述至少一预定内容新增到所述图像平面的步骤包括：
根据所述转换关系将所述三维模型投影到所述图像平面上，以形成参考图像；以及
根据所述参考图像与所述捕获图像中的所述预定物件之间的差异得出所述遮蔽图像，其中所述遮蔽图像为在所述捕获图像中遮蔽物件覆盖所述预定物件的区域，且所述遮蔽图像被覆盖在所述捕获图像上。
4.根据权利要求1所述的图像生成方法，其特征在于，所述预定物件的表面具有参考图案，且确定所述捕获图像中的所述预定物件的步骤包括：
自所述捕获图像中侦测所述参考图案，以辨识出所述预定物件；以及
根据辨识结果取得对应的所述三维模型。
5.根据权利要求4所述的图像生成方法，其特征在于，取得对应的所述三维模型的步骤之后，还包括：
根据所述参考图案在所述图像平面上的所述至少一第一坐标确定所述转换关系。
6.根据权利要求1所述的图像生成方法，其特征在于，确定所述捕获图像中的所述预定物件的步骤包括：
自所述捕获图像中侦测至少一特征信息；
将所述至少一特征信息与三维模型数据库比对；以及
根据比对结果取得对应的所述三维模型。
7.根据权利要求6所述的图像生成方法，其特征在于，取得对应的所述三维模型的步骤之后，还包括：
根据所述至少一特征信息中的特征点在所述图像平面上所述至少一第一坐标确定所述转换关系。
8.一种图像生成***，其特征在于，包括：
图像捕获设备，捕获图像；
存储器，存储用于所述图像生成***的图像生成方法所对应的程序代码；
处理器，耦接所述图像捕获设备与所述存储器，并经配置用以执行所述程序代码，所述图像生成方法包括：
通过所述图像捕获设备取得捕获图像；
根据所述捕获图像确定对应的预定物件；
确定所述预定物件与对应的三维模型之间的转换关系，其中所述转换关系相关于所述预定物件在所述捕获图像所处的图像平面上的至少一第一坐标与所述三维模型在三维空间上的至少一第二坐标之间转换的关系；
根据所述转换关系将至少一预定内容新增到所述图像平面，以形成合成图像，其中所述合成图像包括所述至少一预定内容；以及
将所述合成图像结合所述捕获图像，以形成增强图像。
9.根据权利要求8所述的图像生成***，其特征在于，所述至少一预定内容包括先前未出现于所述三维模型和所述预定物件上的纹理，且所述图像生成方法还包括：
在所述三维模型上形成所述纹理；以及。
将所述三维模型上的所述纹理根据所述转换关系投影到所述图像平面上，以形成所述合成图像。
10.根据权利要求8所述的图像生成***，其特征在于，所述至少一预定内容包括先前未出现于所述三维模型上的遮蔽图像，且所述图像生成方法还包括：
根据所述转换关系将所述三维模型投影到所述图像平面上，以形成参考图像；以及
根据所述参考图像与所述捕获图像中的所述预定物件之间的差异得出所述遮蔽图像，其中所述遮蔽图像为在所述捕获图像中遮蔽物件覆盖所述预定物件的区域，且所述遮蔽图像被覆盖在所述捕获图像上。
11.根据权利要求8所述的图像生成***，其特征在于，所述预定物件的表面具有参考图案，且所述图像生成方法还包括：
自所述捕获图像中侦测所述参考图案，以辨识出所述预定物件；以及
根据辨识结果取得对应的三维模型。
12.根据权利要求11所述的图像生成***，其特征在于，且所述图像生成方法还包括：
根据所述参考图案在所述图像平面上的所述至少一第一坐标确定所述转换关系。
13.根据权利要求8所述的图像生成***，其特征在于，所述图像生成方法还包括：
自所述捕获图像中侦测至少一特征信息；
将所述至少一特征信息与三维模型数据库比对；以及
根据比对结果取得对应的所述三维模型。
14.根据权利要求13所述的图像生成***，其特征在于，所述图像生成方法还包括：
根据所述至少一特征信息中的特征点在所述图像平面上的所述至少一第一坐标确定所述转换关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010504225.6A CN113763566A (zh) | 2020-06-05 | 2020-06-05 | 图像生成***及图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010504225.6A CN113763566A (zh) | 2020-06-05 | 2020-06-05 | 图像生成***及图像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763566A true CN113763566A (zh) | 2021-12-07 |
Family
ID=78783988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010504225.6A Pending CN113763566A (zh) | 2020-06-05 | 2020-06-05 | 图像生成***及图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763566A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093426A (zh) * | 2012-12-14 | 2013-05-08 | 西安电子科技大学 | 恢复定标板遮挡区域的纹理和光照的方法 |
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及*** |
| CN105913485A (zh) * | 2016-04-06 | 2016-08-31 | 北京小小牛创意科技有限公司 | 一种三维虚拟场景的生成方法及装置 |
| CN109427199A (zh) * | 2017-08-24 | 2019-03-05 | 北京三星通信技术研究有限公司 | 用于辅助驾驶的增强现实的方法及装置 |
| CN109685907A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的图像结合方法及*** |
| CN109771052A (zh) * | 2018-12-28 | 2019-05-21 | 合刃科技（深圳）有限公司 | 基于多目成像和多偏振态成像的三维图像建立方法及*** |
| CN109840949A (zh) * | 2017-11-29 | 2019-06-04 | 深圳市掌网科技股份有限公司 | 基于光学定位的增强现实图像处理方法和装置 |
| CN110262763A (zh) * | 2018-03-21 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 基于增强现实的显示方法和装置以及存储介质和电子设备 |
-
2020
- 2020-06-05 CN CN202010504225.6A patent/CN113763566A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093426A (zh) * | 2012-12-14 | 2013-05-08 | 西安电子科技大学 | 恢复定标板遮挡区域的纹理和光照的方法 |
| CN105913485A (zh) * | 2016-04-06 | 2016-08-31 | 北京小小牛创意科技有限公司 | 一种三维虚拟场景的生成方法及装置 |
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及*** |
| CN109427199A (zh) * | 2017-08-24 | 2019-03-05 | 北京三星通信技术研究有限公司 | 用于辅助驾驶的增强现实的方法及装置 |
| CN109685907A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的图像结合方法及*** |
| CN109840949A (zh) * | 2017-11-29 | 2019-06-04 | 深圳市掌网科技股份有限公司 | 基于光学定位的增强现实图像处理方法和装置 |
| CN110262763A (zh) * | 2018-03-21 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 基于增强现实的显示方法和装置以及存储介质和电子设备 |
| CN109771052A (zh) * | 2018-12-28 | 2019-05-21 | 合刃科技（深圳）有限公司 | 基于多目成像和多偏振态成像的三维图像建立方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102434402B1 (ko) | 혼합현실 콘텐츠를 제공하는 장치 및 방법 | |
| US9855496B2 (en) | Stereo video for gaming | |
| US9424461B1 (en) | Object recognition for three-dimensional bodies | |
| JP2020529084A (ja) | 画像処理方法、装置及記憶媒体 | |
| US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
| CN109147037B (zh) | 基于三维模型的特效处理方法、装置和电子设备 | |
| US12020383B2 (en) | Facial synthesis in augmented reality content for third party applications | |
| CN111768479B (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
| US20180182171A1 (en) | Systems and Methods for Real-time Multimedia Augmented Reality | |
| CN112784621B (zh) | 图像显示方法及设备 | |
| KR20170134513A (ko) | 오브젝트를 표시하는 방법 | |
| CN115428034A (zh) | 消息传送***中的包括3d数据的增强现实内容生成器 | |
| CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| CN111638784A (zh) | 人脸表情互动方法、互动装置以及计算机存储介质 | |
| CN110262763B (zh) | 基于增强现实的显示方法和装置以及存储介质和电子设备 | |
| CN112230765A (zh) | Ar显示方法、ar显示设备和计算机可读存储介质 | |
| CN113538321A (zh) | 基于视觉的体积测量方法及终端设备 | |
| KR102000960B1 (ko) | 벡터를 이용한 증강 현실 영상 구현 방법 | |
| CN110288714B (zh) | 一种虚拟仿真实验*** | |
| CN110597397A (zh) | 增强现实的实现方法、移动终端及存储介质 | |
| CN113763566A (zh) | 图像生成***及图像生成方法 | |
| CN114758041A (zh) | 虚拟对象展示方法、装置、电子设备及存储介质 | |
| WO2022165463A1 (en) | Object reconstruction using media data | |
| CN115690363A (zh) | 虚拟物体显示方法、装置和头戴式显示装置 | |
| CN114299263A (zh) | 增强现实ar场景的展示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |