CN107230199A - 图像处理方法、装置和增强现实设备 - Google Patents

图像处理方法、装置和增强现实设备 Download PDF

Info

Publication number
CN107230199A
CN107230199A CN201710487271.8A CN201710487271A CN107230199A CN 107230199 A CN107230199 A CN 107230199A CN 201710487271 A CN201710487271 A CN 201710487271A CN 107230199 A CN107230199 A CN 107230199A
Authority
CN
China
Prior art keywords
image
matrix
camera
coordinate transform
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710487271.8A
Other languages
English (en)
Inventor
李祥艳
徐梁栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710487271.8A priority Critical patent/CN107230199A/zh
Publication of CN107230199A publication Critical patent/CN107230199A/zh
Priority to PCT/CN2017/113578 priority patent/WO2018233217A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法、装置和增强现实设备，该方法包括：接收第一图像和第二图像，第一图像和第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；获取与第一图像对应的坐标变换矩阵，坐标变换矩阵以第二图像为基准图像；采用坐标变换矩阵对第一图像进行坐标变换；对坐标变换后的第一图像与第二图像进行图像融合处理，以融合两者的优势特征，增强融合后的图像质量。

Description

图像处理方法、装置和增强现实设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和增强现实设备。
背景技术
增强现实(Augmented Reality，简称AR)技术是一种实时的计算摄像头摄像的位置和角度，结合图像处理技术将虚拟世界的场景叠加到现实世界的场景中并显示给用户。AR技术具有实时交互性、真实世界和虚拟世界的信息集成以及在三维尺度空间中增加定位虚拟物体的特点，为人们带来新的视觉体验。
AR场景中的现实场景是由摄像头拍得的。一般地，会在AR设备中设置某种类型的摄像头，以用于采集现实场景图像，比如通常设置电荷耦合元件(Chargecoupled Device，简称CCD)摄像头。但是，如果拍摄现实场景的实际环境是处于较暗的低照度环境中，此时拍得的图像的清晰度往往会很不理想，使得用户最终看到的图像质量不佳，影响用户体验。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法、装置和增强现实设备，通过对同一场景的非同源图像进行图像融合处理，提高图像质量。
第一方面，本发明实施例提供一种图像处理方法，包括：
接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；
获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；
采用所述坐标变换矩阵对所述第一图像进行坐标变换；
对坐标变换后的第一图像与所述第二图像进行图像融合处理。
第二方面，本发明实施例提供一种图像处理装置，包括：
接收模块，用于接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；
获取模块，用于获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；
变换模块，用于采用所述坐标变换矩阵对所述第一图像进行坐标变换；
融合模块，用于对坐标变换后的第一图像与所述第二图像进行图像融合处理。
第三方面，本发明实施例提供一种增强现实设备，包括：
第一摄像头、第二摄像头、存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如上所述的图像处理方法。
第四方面，本发明实施例提供另一种增强现实设备，包括：
第一摄像头、第二摄像头、FPGA组件；其中，
所述FPGA组件中包含有实现如上所述的图像处理方法的功能逻辑。
本发明实施例提供的图像处理方法和装置，在AR设备中设置两种不同类型的摄像头即第一摄像头和第二摄像头，通过第一摄像头和第二摄像头同时拍摄同一场景来获得非同源的第一图像和第二图像；以第二图像为基准图像，获取与第一图像对应的坐标变换矩阵，以采用该坐标变换矩阵对第一图像进行坐标变换，以使得变换后的第一图像与第二图像中的各像素点对应；进而，对坐标变换后的第一图像与第二图像进行图像融合处理。由于第一图像和第二图像是非同源图像，两者的优势特征不同，通过对两者进行融合，有利于融合两者的优势特征，增强融合后的图像质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法实施例一的流程图；
图2为本发明实施例提供的图像处理方法实施例二的流程图；
图3为本发明实施例提供的图像处理方法实施例三的流程图；
图4为本发明实施例提供的图像处理装置实施例一的结构示意图；
图5为本发明实施例提供的图像处理装置实施例二的结构示意图；
图6为本发明实施例提供的图像处理装置实施例三的结构示意图；
图7为本发明实施例提供的增强现实设备实施例一的结构示意图；
图8为本发明实施例提供的增强现实设备实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
进一步值得说明的是，本发明各实施例中各步骤之间的顺序是可以调整的，不是必须按照以下举例的顺序执行。
图1为本发明实施例提供的图像处理方法实施例一的流程图，本实施例提供的该图像处理方法可以由一图像处理装置来执行，该图像处理装置可以实现为现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)组件中的部分硬件器件的组合，该FPGA组件可以集成设置在AR设备中。如图1所示，该方法包括如下步骤：
101、接收第一图像和第二图像，第一图像和第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像。
102、获取与第一图像对应的坐标变换矩阵，坐标变换矩阵以第二图像为基准图像。
103、采用坐标变换矩阵对第一图像进行坐标变换。
104、对坐标变换后的第一图像与第二图像进行图像融合处理。
本发明实施例中，在同一AR设备中可以设置不同类型的摄像头，比如上述第一摄像头和第二摄像头，用于对同一场景进行拍摄。其中，第一摄像头和第二摄像头在AR设备中的设置可以是：在一水平面上，左右分别设置第一摄像头和第二摄像头。
可选地，第一摄像头可以是红外摄像头，第二摄像头可以是CCD摄像头。相应地，第一摄像头拍得的第一图像为红外图像，第二摄像头拍得的第二图像为可见光图像。
下面结合红外摄像头和CCD摄像头来说明本发明实施例考虑采用不同类型的摄像头进行同一场景的图像采集以及图像融合的初衷：采用红外摄像头和CCD摄像头同时对同一场景进行拍照，并将获取的红外图像和可见光图像的优势特征信息进行融合，最终可以得到特征点明显，信息量丰富的融合图像。
具体来说，自然界中温度高于绝对零度时，物体就会产生红外辐射，红外成像就是利用红外摄像头将不可见的红外辐射转换成可见的温度分布图像。红外图像不易受环境影响，在雨雪、烟雾以及黑暗的环境下，都可以获取物体的温度分布图。但红外摄像头的分辨率往往较低，使得获得的红外图像的清晰度差、场景细节信息不明显并且所成的图像不符合人的视觉习惯。反之，CCD摄像头获取的图像是根据物体反射光的能量来实现的，这种图像能够较好的刻画场景的细节信息，分辨率高，更是符合人的视觉***的要求。但CCD摄像头同时也存在着一些不足之处：在恶劣天气下，图像的捕捉能力差，丢失有用信息，不能获取描述场景中全面细致的图像信息。由此可见，红外图像和可见光图像各有优点和缺点，因此，如果能够采用融合算法将红外图像和可见光图像的优势特征融合，使融合后的图像含有丰富的特征点信息，适合人眼视觉***，将大大提高用户观看的视觉体验。
另外，本发明实施例提供的图像处理方法可以基于FPGA组件这一硬件平台实现，即基于FPGA实现多源图像的融合。相比于单纯的软件处理方法，FPGA的存储资源等资源丰富，运算速度更快。当在视频图像采集与展示的场景中，会使得融合后的视频流畅度更高，能够实时输出融合后的图像，达到更好的视觉体验效果。
在某些情景中，集成上述第一摄像头和第二摄像头的AR设备往往用于采集现实场景的视频图像。可以理解的是，由于第一摄像头和第二摄像头用于对同一场景进行拍摄，因此，需要保证两者的时钟同步，即在同一时刻，这两个摄像头是对场景中的同一对象进行拍摄。但是，由于这两个摄像头的拍摄位置、拍摄角度等拍摄参数会有所差异，即使是对同一对象进行拍摄，拍得的图像也往往会有所不同。
在上述情景中，第一摄像头和第二摄像头将拍得的视频图像通过FPGA组件的视频接口同时输入到FPGA组件，经过FPGA组件的视频解码芯片后，解码为比如BT.656格式的YCbCr视频图像。此情景中，本发明实施例提供的图像处理方法是对各时刻分别对应的两幅图像进行融合处理。为便于描述，仅以任一时刻对应的上述第一图像和第二图像为例进行图像融合过程的说明。
由于第一图像和第二图像在分辨率、拍摄角度等拍摄参数方面存在差异，因此，要实现第一图像和第二图像的图像融合，首先需要对第一图像和第二图像进行图像配准处理，以建立第一图像和第二图像中各像素点的对应关系，从而，才能基于像素点的对应关系进行第一图像和第二图像的融合。
以第一图像为红外图像、第二图像为可见光图像为例进行图像配准处理过程的说明。
图像配准处理包括了图像的缩放、旋转和平移操作。由于相比于红外图像来说，可见光图像具有更高的分辨率，更符合人眼视觉***移操作。而对红外图像进行缩放、旋转和平移操作是基于获得的坐标变换矩阵进行的，也就是说，该坐标变换矩阵中包含了进行缩放操作所需的缩放参数，进行旋转操作所需的旋转参数，以及进行平移操作所需的平移参数。而这些缩放参数、旋转参数和平移参数可以是预先获得的，从而，基于预先获得的这些参数可以生成得到坐标变换矩阵。
值得说明的是，本实施例中，之所以采用坐标变换矩阵的方式对红外图像进行变换，是因为相比于对红外图像依次分别进行三种变换的方式，这样变换的效率更高，因为只需用一个矩阵就可以对红外图像中的各像素点一次进行了三种变换。
在获得上述坐标变换矩阵之后，可以基于红外图像与该坐标变换矩阵的矩阵乘法运算，得到坐标变换后的红外图像。由于上述坐标变换矩阵中的变换参数是以可见光图像为基准的，因此，基于该变换，可以得到坐标变换后的红外图像中的像素点与可见光图像中的像素点间的对应关系。从而，基于该对应关系，可以对坐标变换后的红外图像和可见光图像进行图像融合。
在FPGA硬件平台实施图像的融合，要考虑到的硬件平台的资源，存储空间和处理速度等问题。为了得到较好的融合效果并充分利用FPGA的资源，本实施例中选择采用基于像素级的融合方法：灰度值加权平均的方法，即通过对应像素点的灰度值的加权平均计算，实现两幅图像的融合。
综上，本实施例中，在AR设备中设置两种不同类型的摄像头即第一摄像头和第二摄像头，通过第一摄像头和第二摄像头同时拍摄同一场景来获得非同源的第一图像和第二图像；以第二图像为基准图像，获取与第一图像对应的坐标变换矩阵，以采用该坐标变换矩阵对第一图像进行坐标变换，以使得变换后的第一图像与第二图像中的各像素点对应；进而，对坐标变换后的第一图像与第二图像进行图像融合处理。由于第一图像和第二图像是非同源图像，两者的优势特征不同，通过对两者进行融合，有利于融合两者的优势特征，增强融合后的图像质量。
图2为本发明实施例提供的图像处理方法实施例二的流程图，如图2所示，在图1所示实施例基础上，步骤103之后，还可以包括如下步骤：
201、接收第一图像和第二图像，第一图像和第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像。
202、对第一图像和第二图像进行预处理，预处理包括：对第一图像进行灰度值取逆处理，对第二图像进行图像增强处理。
203、根据本地存储的旋转参数和缩放参数，分别生成旋转矩阵B和缩放矩阵C。
204、将预处理后的第一图像、预处理后的第二图像以及旋转参数和缩放参数发送至图像配准处理组件，以使图像配准处理组件以预处理后的第二图像为基准图像，结合旋转参数和缩放参数对预处理后的第一图像进行配准处理，以获得平移参数。
205、根据图像配准处理组件反馈的平移参数，生成平移矩阵A。206、确定与第一图像对应的坐标变换矩阵T为：平移矩阵A、旋转矩阵B和缩放矩阵C依次相乘的结果。
207、采用坐标变换矩阵对第一图像进行坐标变换。
208、对坐标变换后的第一图像与第二图像进行图像融合处理。
本实施例中，为了保证后续的融合图像的质量，可选地，可以对接收到的第一图像和第二图像进行一定的预处理。
以第一图像为红外图像、第二图像为可见光图像为例。
由于红外图像根据物体的热辐射成像的，亮度太高，不适合人的视觉***。本实施例中，通过对第一图像进行灰度值取逆处理来降低红外图像的亮度，突出特征点。
具体地，假设红外图像Simage1的大小为M*N，每个像素点的灰度值是8bits，即灰度等级划分为28即256个灰度级，构造M*N的单位矩阵E，取逆后的红外图像为Simage2，则根据如下公式确定取逆后的红外图像：Simage2＝256*E-Simage1。
可见光图像是根据能量的反射原理所成的像，由于是在低照度的恶劣环境下获取的可见光图像，画面比较暗，突出的特征点少，因此，需要对可见光图像进行图像增强处理。具体地，可以对可见光图像的像素点的灰度值进行阈值划分，采用传统的三段式图像增强的方法，对不同阈值范围内的像素点通过拉伸变换系数的方法，实现图像画面的增强。
在对红外图像和可见光图像进行预处理之后，可以以预处理后的红外图像和可见光图像为基础，获取与预处理后的红外图像对应的坐标变换矩阵。
具体地，该坐标变换矩阵可以根据平移矩阵A、旋转矩阵B和缩放矩阵C获得，其中，平移矩阵A、旋转矩阵B和缩放矩阵C分别是用于表现平移参数、旋转参数和缩放参数的。因此，需要先根据平移参数、旋转参数和缩放参数分别生成对应的平移矩阵A、旋转矩阵B和缩放矩阵C，进而，可以确定与预处理后的红外图像对应的坐标变换矩阵T为：平移矩阵A、旋转矩阵B和缩放矩阵C依次进行矩阵相乘的结果：T＝ABC。
针对缩放参数来说，图像的缩放变换操作主要是针对不同分辨率的图像进行的。由于红外图像与可见光图像的分辨率不同，因此，需要以预处理后的可见光图像为基准，对预处理后的红外图像进行缩放操作，以使得其分辨率与预处理后的可见光图像的分辨率一致。
假设像素点P(x,y)为预处理后的红外图像中的任一像素点，在X轴方向的缩放系数为tx，Y轴方向的缩放系数为ty，经过缩放变换后得到对应像素点为P'(x',y')，则有：x'＝x*tx；y'＝y*ty。若用矩阵表示，则为：
从而，缩放矩阵
由此可知，若要生成上述缩放矩阵C，需要获得缩放参数tx和ty。而缩放参数tx和ty可以根据红外摄像头和CCD摄像头的分辨率确定，即两者X轴分辨率的比值即可确定tx，两者Y轴分辨率的比值即可确定ty。因此，当AR设备中的红外摄像头和CCD摄像头设定后，即可确定出缩放参数tx和ty，该缩放参数tx和ty可以被预先存储在FPGA组件的存储空间中。
针对旋转参数来说，图像的旋转变换操作主要由于拍摄红外图像和可见光图像时，由于人为因素使得红外图像和可见光图像之间存在角度的偏移，为了使两幅图像中对应的特征点能够准确的匹配，需要以预处理后的可见光图像为基准，对预处理后的红外图像在二维空间内做图像的旋转变换。
假设像素点P(x,y)为预处理后的红外图像中的任一像素点，经过旋转变换后得到对应像素点为P'(x',y')，若用矩阵表示P'(x',y')与P(x,y)的旋转关系，则为：
其中，以预处理后的红外图像中的原点为中心，建立直角坐标系。假设P(x,y)与原点的连接与X轴的夹角为第一角度；P'(x',y')与原点的连接与X轴的夹角为第二角度，则第二角度与第一角度的差值即为θ，代表的含义是：P'(x',y')与P(x,y)之间的偏转角度。
从而，旋转矩阵
由此可知，若要生成上述旋转矩阵B，需要获得旋转参数θ。而旋转参数θ可以根据红外摄像头和CCD摄像头的在AR设备中的设置情况确定，具体来说，可以测量红外摄像头的镜头中心与水平面表面的夹角，以及CCD摄像头的镜头中心与水平面表面的夹角，两个夹角的角度差即为旋转参数θ。因此，当AR设备中的红外摄像头和CCD摄像头设定后，即可确定出旋转参数θ，该旋转参数θ可以被预先存储在FPGA组件的存储空间中。
针对平移参数来说，与上述旋转参数、缩放参数不同，当需要对红外图像进行平移变换操作时，平移参数需要基于当前的红外图像和可见光图像计算获得。也就是说，旋转参数和缩放参数可以认为是与当前拍得的图像无关的，不需依赖于当前拍得的图像确定，但是，平移参数是与当前拍得的图像有关的，需要依赖于当前拍得的图像确定。
平移参数的确定需要涉及到负责的计算过程，由于本发明实施例提供的图像处理方法是可基于FPGA组件这一硬件平台来实现的，若用FPGA组件来计算该平移参数，则比较受限，因此，可选地，可以基于图像配准处理组件来计算该平移参数，该图像配准处理组件可以实现为软件程序，经过该图像配准处理组件的计算处理，得到平移参数，反馈至FPGA组件，以便FPGA组件生成对应的平移矩阵A。
而图像配准处理组件主要是以预处理后的可见光图像为基准图像，以预处理后的红外图像为待配准图像，对预处理后的红外图像进行图像配准处理后得到平移参数。而该图像配准处理过程中，也会涉及到对预处理后的红外图像的缩放、旋转变换操作，因此，FPGA可以将预处理后的红外图像、预处理后的可见光图像以及本地存储的旋转参数和缩放参数发送至图像配准处理组件，以使图像配准处理组件以预处理后的可见光图像为基准图像，结合该旋转参数和缩放参数对预处理后的红外图像进行图像配准处理，以获得平移参数。
简单来说明下图像配准处理组件的图像配准过程：
首先，基于缩放参数和旋转参数，分别对预处理后的红外图像进行缩放变换和旋转变换；其次，识别变换后的红外图像和预处理后的可见光图像的公共区域，识别公共区域的特征点；之后，建立变换后的红外图像和预处理后的可见光图像之间公共区域特征点的对应关系，以基于该对应关系确定出平移参数。
其中，对公共区域的识别可以通过比如感兴趣区域提取(ROI)算法进行识别，主要思路为：把像素点在颜色、亮度、方向等方面与背景的对比定义为该像素点的显著值(Saliency)，对比越强，该像素点的显著值就越大。所有像素点的显著值构成一张显著图。这里显著图是一副表明图像各像素点显著性的灰度图像，越亮表明该像素点的显著度越大。基于该显著图可以获得图像的感兴趣区域。两幅图像各自的感兴趣区域可以认为是公共区域。
对于特征点来说，可以采用差分的高斯金字塔算法进行特征点的检测。
在得到两幅图像中的特征点之后，建立两幅图像中的特征点之间的对应关系。举例来说，假设变换后的红外图像中任意一特征点的坐标为(x,y),预处理后的可见光图像上所有检测出的特征点的坐标为(X1,Y1)、(X2,Y2)…(XN,YN),确定(x,y)分别与(X1,Y1)、(X2,Y2)…(XN,YN)之间的余弦的最小值：即min(arctan(x-X1,y-Y1),arctan(x-X2,y-Y2)......arctan(x-XN,y-YN))，(X1,Y1)、(X2,Y2)…(XN,YN)中对应于该最小值的特征点即为与(x,y)对应的特征点，假设对应于该最小值的特征点为(X1,Y1)。则(x,y)相对于(X1,Y1)在X轴方向的偏移量Δx可以根据x与X1的坐标差确定，在Y轴方向的偏移量Δy可以根据y与Y1的坐标差确定。最后，对于所有特征点对，可以求取所述特征点对的偏移量的均值，以得到平移参数(dx,dy)。
从而，FPGA基于该平移参数可以生成如下的平移矩阵A：
平移矩阵
从而，在FPGA中，假设像素点P(x,y)为预处理后的红外图像中的任一像素点，经过平移变换后得到对应像素点为P'(x',y')，则有：
FPGA在生成平移矩阵A、旋转矩阵B和缩放矩阵C，可以计算获得坐标变换矩阵T。
在基于前述过程得到坐标变换矩阵T后，FPGA组件可以将预处理后的红外图像与该矩阵T相乘，得到坐标变换后的红外图像，进而，将坐标变换后的红外图像与预处理后的可见光图像进行图像融合处理。
具体地，该图像融合处理过程可以包括：
根据如下公式对坐标变换后的红外图像与预处理后的可见光图像进行灰度融合处理，以获得融合后的灰度图像：
g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)为坐标变换后的红外图像中的任一像素点(x,y)的灰度值，f2(x,y)为预处理后的可见光图像中的对应像素点的灰度值,g(x,y)为灰度图像中对应像素点的灰度值；w1(x,y)和w2(x,y)为加权系数，w1(x,y)+w2(x,y)＝1；
进而，以预处理后的可见光图像中各像素点的色度值渲染灰度图像中的对应像素点，以获得最终的融合后图像。由于该融合后的图像相当于是红外图像和可见光图像的优势特征的互补融合结果，图像质量较佳。
图3为本发明实施例提供的图像处理方法实施例三的流程图，如图3所示，在图1所示实施例基础上，步骤101之前，还可以包括如下步骤：
301、接收第二摄像头拍得的第三图像。
302、根据第三图像的平均灰度值与预设灰度阈值的比较结果，确定是否触发第一摄像头和第二摄像头同时工作，若是，则执行步骤101-104。
由于在实际应用中，包含了不同类型的第一摄像头和第二摄像头的AR设备不光仅用于恶劣环境中，比如光线较暗的环境中，还会被用于正常的环境中。而在正常的环境中，如果AR设备中的第一摄像头和第二摄像头都同时工作，可能是没有必要的。
因此，本实施例还提供了基于当前环境的不同，控制第一摄像头和第二摄像头是否工作的方案。
以第一摄像头为红外摄像头、第二摄像头为CCD摄像头为例。在正常环境中，可以仅让CCD摄像头工作，而在某些恶劣环境中，可以让红外摄像头和CCD摄像头同时工作。
本实施例中，对于当前的环境是正常环境还是恶劣环境的识别，可以通过识别CCD摄像头拍得的图像的像素灰度值的情况来判定。
具体来说，当AR设备被启动时，可以先控制CCD摄像头随机拍得一幅图像，即上述第三图像。通过对该第三图像中全部或部分像素的灰度值进行求平均运算，得到平均灰度值。进而，将该平均灰度值与某预设的灰度阈值进行比较，如果大于该灰度阈值，说明此时CCD摄像头拍得的图像分辨率即可满足观看需求，当前的环境属于正常环境，此时控制CCD摄像头单独工作即可。相反地，如果小于该灰度阈值，说明此时CCD摄像头拍得的图像分辨率不足以满足观看需求，当前的环境属于恶劣环境，此时需控制红外摄像头和CCD摄像头同时工作。
本实施例中，通过对当前环境是正常环境还是异常的恶劣环境的识别，对AR设备中设置的不同摄像头进行工作与否的控制，提高AR设备的智能化。
以下将详细描述本发明的一个或多个实施例的图像处理装置。本领域技术人员可以理解，这些图像处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图4为本发明实施例提供的图像处理装置实施例一的结构示意图，如图5所示，该装置包括：接收模块11、获取模块12、变换模块13、融合模块14。
接收模块11，用于接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像。
获取模块12，用于获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像。
变换模块13，用于采用所述坐标变换矩阵对所述第一图像进行坐标变换。
融合模块14，用于对坐标变换后的第一图像与所述第二图像进行图像融合处理。
图4所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。
图5为本发明实施例提供的图像处理装置实施例二的结构示意图，如图5所示，在图4所示实施例基础上，还包括：预处理模块21。
预处理模块21，用于对所述第一图像和所述第二图像进行预处理，所述预处理包括：对所述第一图像进行灰度值取逆处理，对所述第二图像进行图像增强处理。
可选地，所述获取模块12包括：生成单元121、确定单元122。
生成单元121，用于分别生成平移矩阵A、旋转矩阵B和缩放矩阵C。
确定单元122，用于确定与所述第一图像对应的坐标变换矩阵T为：所述平移矩阵A、所述旋转矩阵B和所述缩放矩阵C依次相乘的结果。
可选地，所述生成单元121具体用于：
根据本地存储的旋转参数和缩放参数，分别生成所述旋转矩阵B和所述缩放矩阵C；
将所述第一图像、所述第二图像以及所述旋转参数和所述缩放参数发送至图像配准处理组件，以使所述图像配准处理组件以所述第二图像为基准图像，结合所述旋转参数和所述缩放参数对所述第一图像进行配准处理，以获得平移参数；
根据所述图像配准处理组件反馈的所述平移参数，生成所述平移矩阵A。
可选地，所述融合模块14包括：灰度融合单元141、色度渲染单元142。
灰度融合单元141，用于根据如下公式对所述坐标变换后的第一图像与所述第二图像进行灰度融合处理，以获得融合后的灰度图像：
g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)为所述坐标变换后的第一图像中的任一像素点(x,y)的灰度值，f2(x,y)为所述第二图像中的对应像素点的灰度值,g(x,y)为灰度图像中对应像素点的灰度值；w1(x,y)和w2(x,y)为加权系数，w1(x,y)+w2(x,y)＝1；
色度渲染单元142，用于以所述第二图像中各像素点的色度值渲染所述灰度图像中的对应像素点。
图5所示装置可以执行图2所示实施例的方法，本实施例未详细描述的部分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。
图6为本发明实施例提供的图像处理装置实施例三的结构示意图，如图6所示，在前述实施例基础上，所述接收模块11，还用于接收所述第二摄像头拍得的第三图像。
该装置还可以包括：确定模块31。
确定模块31，用于根据所述第三图像的平均灰度值与预设灰度阈值的比较结果，确定是否触发所述第一摄像头和所述第二摄像头同时工作。
图6所示装置可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
图7为本发明实施例提供的增强现实设备实施例一的结构示意图，如图7所示，该AR设备可以包括：第一摄像头41、第二摄像头42、存储器43和处理器44；其中，
所述存储器43用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器44执行时实现如图1至图3所示实施例提供的图像处理方法。
第一摄像头41和第二摄像头42在AR设备中的设置可以是：在一水平面上，左右分别设置第一摄像头41和第二摄像头42，即第一摄像头和第二摄像头距离用户AR设备的显示屏的垂直距离相等。
可选地，所述第一摄像头41为红外摄像头，所述第二摄像头42为CCD摄像头。
图8为本发明实施例提供的增强现实设备实施例二的结构示意图，如图8所示，该AR设备中包括：
第一摄像头51、第二摄像头52、FPGA组件53；其中，
所述FPGA组件53中包含有实现如图1至图3所示实施例提供的图像处理方法的功能逻辑。FPGA组件可以设置在AR设备的主板上。
基于FPGA组件这一平台实现多源图像的融合，由于FPGA的存储资源等资源丰富，运算速度会更快。在视频图像采集与展示的场景中，会使得融合后的视频流畅度更高，能够实时输出融合后的图像，达到更好的视觉体验效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；
获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；
采用所述坐标变换矩阵对所述第一图像进行坐标变换；
对坐标变换后的第一图像与所述第二图像进行图像融合处理。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述第一图像对应的坐标变换矩阵之前，还包括：
对所述第一图像和所述第二图像进行预处理，所述预处理包括：对所述第一图像进行灰度值取逆处理，对所述第二图像进行图像增强处理。
3.根据权利要求1所述的方法，其特征在于，所述获取与所述第一图像对应的坐标变换矩阵，包括：
分别生成平移矩阵A、旋转矩阵B和缩放矩阵C；
确定与所述第一图像对应的坐标变换矩阵T为：所述平移矩阵A、所述旋转矩阵B和所述缩放矩阵C依次相乘的结果。
4.根据权利要求3所述的方法，其特征在于，所述分别生成平移矩阵A、旋转矩阵B和缩放矩阵C，包括：
根据本地存储的旋转参数和缩放参数，分别生成所述旋转矩阵B和所述缩放矩阵C；
将所述第一图像、所述第二图像以及所述旋转参数和所述缩放参数发送至图像配准处理组件，以使所述图像配准处理组件以所述第二图像为基准图像，结合所述旋转参数和所述缩放参数对所述第一图像进行配准处理，以获得平移参数；
根据所述图像配准处理组件反馈的所述平移参数，生成所述平移矩阵A。
5.根据权利要求1所述的方法，其特征在于，所述对坐标变换后的第一图像与所述第二图像进行图像融合处理，包括：
根据如下公式对所述坐标变换后的第一图像与所述第二图像进行灰度融合处理，以获得融合后的灰度图像：
g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)为所述坐标变换后的第一图像中的任一像素点(x,y)的灰度值，f2(x,y)为所述第二图像中的对应像素点的灰度值,g(x,y)为灰度图像中对应像素点的灰度值；w1(x,y)和w2(x,y)为加权系数，w1(x,y)+w2(x,y)＝1；
以所述第二图像中各像素点的色度值渲染所述灰度图像中的对应像素点。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述接收第一图像和第二图像之前，还包括：
接收所述第二摄像头拍得的第三图像；
根据所述第三图像的平均灰度值与预设灰度阈值的比较结果，确定是否触发所述第一摄像头和所述第二摄像头同时工作。
7.一种图像处理装置，其特征在于，包括：
接收模块，用于接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；
获取模块，用于获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；
变换模块，用于采用所述坐标变换矩阵对所述第一图像进行坐标变换；
融合模块，用于对坐标变换后的第一图像与所述第二图像进行图像融合处理。
8.根据权利要求7所述的装置，其特征在于，还包括：
预处理模块，用于对所述第一图像和所述第二图像进行预处理，所述预处理包括：对所述第一图像进行灰度值取逆处理，对所述第二图像进行图像增强处理。
9.根据权利要求7所述的装置，其特征在于，所述获取模块包括：
生成单元，用于分别生成平移矩阵A、旋转矩阵B和缩放矩阵C；
确定单元，用于确定与所述第一图像对应的坐标变换矩阵T为：所述平移矩阵A、所述旋转矩阵B和所述缩放矩阵C依次相乘的结果。
10.根据权利要求9所述的装置，其特征在于，所述生成单元具体用于：
根据本地存储的旋转参数和缩放参数，分别生成所述旋转矩阵B和所述缩放矩阵C；
将所述第一图像、所述第二图像以及所述旋转参数和所述缩放参数发送至图像配准处理组件，以使所述图像配准处理组件以所述第二图像为基准图像，结合所述旋转参数和所述缩放参数对所述第一图像进行配准处理，以获得平移参数；
根据所述图像配准处理组件反馈的所述平移参数，生成所述平移矩阵A。
11.根据权利要求7所述的装置，其特征在于，所述融合模块包括：
灰度融合单元，用于根据如下公式对所述坐标变换后的第一图像与所述第二图像进行灰度融合处理，以获得融合后的灰度图像：
g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)为所述坐标变换后的第一图像中的任一像素点(x,y)的灰度值，f2(x,y)为所述第二图像中的对应像素点的灰度值,g(x,y)为灰度图像中对应像素点的灰度值；w1(x,y)和w2(x,y)为加权系数，w1(x,y)+w2(x,y)＝1；
色度渲染单元，用于以所述第二图像中各像素点的色度值渲染所述灰度图像中的对应像素点。
12.根据权利要求7至11中任一项所述的装置，其特征在于，所述接收模块，还用于接收所述第二摄像头拍得的第三图像；
所述装置还包括：
确定模块，用于根据所述第三图像的平均灰度值与预设灰度阈值的比较结果，确定是否触发所述第一摄像头和所述第二摄像头同时工作。
13.一种增强现实设备，其特征在于，包括：
第一摄像头、第二摄像头、存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像处理方法。
14.一种增强现实设备，其特征在于，包括：
第一摄像头、第二摄像头、FPGA组件；其中，
所述FPGA组件中包含有实现如权利要求1至6中任一项所述的图像处理方法的功能逻辑。
CN201710487271.8A 2017-06-23 2017-06-23 图像处理方法、装置和增强现实设备 Pending CN107230199A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710487271.8A CN107230199A (zh) 2017-06-23 2017-06-23 图像处理方法、装置和增强现实设备
PCT/CN2017/113578 WO2018233217A1 (zh) 2017-06-23 2017-11-29 图像处理方法、装置和增强现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710487271.8A CN107230199A (zh) 2017-06-23 2017-06-23 图像处理方法、装置和增强现实设备

Publications (1)

Publication Number Publication Date
CN107230199A true CN107230199A (zh) 2017-10-03

Family

ID=59935307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710487271.8A Pending CN107230199A (zh) 2017-06-23 2017-06-23 图像处理方法、装置和增强现实设备

Country Status (2)

Country Link
CN (1) CN107230199A (zh)
WO (1) WO2018233217A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233217A1 (zh) * 2017-06-23 2018-12-27 歌尔科技有限公司 图像处理方法、装置和增强现实设备
CN109389630A (zh) * 2018-09-30 2019-02-26 北京精密机电控制设备研究所 可见光图像与红外图像特征点集确定、配准方法及装置
CN109727188A (zh) * 2017-10-31 2019-05-07 比亚迪股份有限公司 图像处理方法及其装置、安全驾驶方法及其装置
CN109840881A (zh) * 2018-12-12 2019-06-04 深圳奥比中光科技有限公司 一种3d特效图像生成方法、装置及设备
CN110160749A (zh) * 2019-06-05 2019-08-23 歌尔股份有限公司 应用于增强现实设备的校准装置及校准方法
WO2020061789A1 (zh) * 2018-09-26 2020-04-02 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
CN111127528A (zh) * 2019-12-10 2020-05-08 Oppo广东移动通信有限公司 图像配准方法、终端及存储介质
CN111247558A (zh) * 2018-12-04 2020-06-05 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
WO2021197190A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、***、装置及投影设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510436A (zh) * 2011-10-17 2012-06-20 河海大学常州校区 高速微小目标仿蝇视觉在线实时检测装置及检测方法
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN104535978A (zh) * 2014-12-19 2015-04-22 西安工程大学 基于互信息的3DInISAR图像配准融合方法
CN104680559A (zh) * 2015-03-20 2015-06-03 青岛科技大学 基于运动行为模式的多视角室内行人跟踪方法
CN105701828A (zh) * 2016-01-14 2016-06-22 广州视睿电子科技有限公司 一种图像处理方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN106296624B (zh) * 2015-06-11 2020-05-26 联想(北京)有限公司 一种图像融合方法及装置
CN107230199A (zh) * 2017-06-23 2017-10-03 歌尔科技有限公司 图像处理方法、装置和增强现实设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510436A (zh) * 2011-10-17 2012-06-20 河海大学常州校区 高速微小目标仿蝇视觉在线实时检测装置及检测方法
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN104535978A (zh) * 2014-12-19 2015-04-22 西安工程大学 基于互信息的3DInISAR图像配准融合方法
CN104680559A (zh) * 2015-03-20 2015-06-03 青岛科技大学 基于运动行为模式的多视角室内行人跟踪方法
CN105701828A (zh) * 2016-01-14 2016-06-22 广州视睿电子科技有限公司 一种图像处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾峦 等: "《侦察图像获取与融合技术》", 31 May 2015 *
蔡辉跃 等: "基于光线跟踪的虚拟场景立体图像对视差研究", 《南京工程学院学报(自然科学版)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233217A1 (zh) * 2017-06-23 2018-12-27 歌尔科技有限公司 图像处理方法、装置和增强现实设备
CN109727188A (zh) * 2017-10-31 2019-05-07 比亚迪股份有限公司 图像处理方法及其装置、安全驾驶方法及其装置
CN111164962B (zh) * 2018-09-26 2021-11-30 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
WO2020061789A1 (zh) * 2018-09-26 2020-04-02 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
CN111164962A (zh) * 2018-09-26 2020-05-15 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
CN109389630A (zh) * 2018-09-30 2019-02-26 北京精密机电控制设备研究所 可见光图像与红外图像特征点集确定、配准方法及装置
CN109389630B (zh) * 2018-09-30 2020-10-23 北京精密机电控制设备研究所 可见光图像与红外图像特征点集确定、配准方法及装置
CN111247558A (zh) * 2018-12-04 2020-06-05 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、***及存储介质
CN109840881A (zh) * 2018-12-12 2019-06-04 深圳奥比中光科技有限公司 一种3d特效图像生成方法、装置及设备
CN110160749A (zh) * 2019-06-05 2019-08-23 歌尔股份有限公司 应用于增强现实设备的校准装置及校准方法
CN110160749B (zh) * 2019-06-05 2022-12-06 歌尔光学科技有限公司 应用于增强现实设备的校准装置及校准方法
CN111127528A (zh) * 2019-12-10 2020-05-08 Oppo广东移动通信有限公司 图像配准方法、终端及存储介质
WO2021114883A1 (zh) * 2019-12-10 2021-06-17 Oppo广东移动通信有限公司 图像配准方法、终端及存储介质
WO2021197190A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、***、装置及投影设备

Also Published As

Publication number Publication date
WO2018233217A1 (zh) 2018-12-27

Similar Documents

Publication Publication Date Title
CN107230199A (zh) 图像处理方法、装置和增强现实设备
CN110503725B (zh) 图像处理的方法、装置、电子设备及计算机可读存储介质
CN108875900B (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
WO2023024697A1 (zh) 图像拼接方法和电子设备
CN111263066B (zh) 构图指导方法、装置、电子设备及存储介质
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN107169924A (zh) 三维全景图像的建立方法和***
CN109660782A (zh) 减少立体深度传感器成像中的纹理化ir图案
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
CN113329172B (zh) 拍摄方法、装置及电子设备
CN110598139A (zh) 基于5G云计算的Web浏览器增强现实实时定位的方法
CN105791793A (zh) 图像处理方法及其电子装置
CN115035147A (zh) 基于虚拟拍摄的抠图方法、装置、***及图像融合方法
CN111836058B (zh) 用于实时视频播放方法、装置、设备以及存储介质
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
CN116860112B (zh) 一种基于xr技术的组合场景体验生成方法、***及介质
CN116153061A (zh) 一种基于ar与物联网道路车辆可视化展示***及方法
US12001746B2 (en) Electronic apparatus, and method for displaying image on display device
CN116261043A (zh) 对焦距离确定方法、装置、电子设备和可读存储介质
US11941171B1 (en) Eye gaze tracking method, apparatus and system
CN115278049A (zh) 拍摄方法及其装置
CN113066011B (zh) 一种图像处理方法、装置、***、介质和电子设备
CN113139913B (zh) 一种面向人物肖像的新视图修正生成方法
Oliveira et al. Lenslet light field panorama creation: A sub-aperture image stitching approach
JP6341540B2 (ja) 情報端末装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201112

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003