CN116468917A - 图像处理方法、电子设备及存储介质 - Google Patents

图像处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116468917A
CN116468917A CN202310283069.9A CN202310283069A CN116468917A CN 116468917 A CN116468917 A CN 116468917A CN 202310283069 A CN202310283069 A CN 202310283069A CN 116468917 A CN116468917 A CN 116468917A
Authority
CN
China
Prior art keywords
image frame
points
feature
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310283069.9A
Other languages
English (en)
Inventor
顾晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xingji Meizu Technology Co ltd
Original Assignee
Hubei Xingji Meizu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xingji Meizu Technology Co ltd filed Critical Hubei Xingji Meizu Technology Co ltd
Priority to CN202310283069.9A priority Critical patent/CN116468917A/zh
Publication of CN116468917A publication Critical patent/CN116468917A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种图像处理方法、电子设备及存储介质，方法包括：获取多个时间等间隔的图像帧；对每一个图像帧进行特征提取，确定当前图像帧的特征点，其中，特征点的特征点数据包括描述特征点周围图像区域的描述子；将每一特征点和上一图像帧的所有特征点进行特征匹配，确定和特征点匹配的上一图像帧特征点；将匹配关系数据和图像数据发送到终端，使得终端基于匹配关系数据与图像数据确定目标的三维模型，其中，匹配关系数据包括已匹配的特征点、上一图像帧特征点的特征点ID和特征点数据，图像数据包括当前图像帧的图像数据。本申请能够得到参数精确的三维模型，从而提高三维影像的生成效果，提高用户体验。

Description

图像处理方法、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备及存储介质。
背景技术
智能头戴设备(例如AR眼镜、VR眼镜或者MR眼镜等)发展迅速，应用越来越广泛。智能头戴设备具有三维内容显示与交互功能，但目前三维内容的生产还主要依靠专业的设备和专业的人员。对三维影像的拍摄和分享还不能像二维影像那样方便，配备了摄像头的智能头戴设备在拍摄方面比手持终端(例如手机)更加自然和方便。
发明内容
第一方面，本申请实施例提供一种图像处理方法，应用于智能穿戴设备，包括：
获取多个时间等间隔的图像帧；
对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；
将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据。
在一些实施例中，还包括：
对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定每一所述特征点和所述上一图像帧的所有特征点的欧氏距离；
基于各所述欧氏距离确定和所述特征点匹配的所述上一图像帧特征点；
或，基于快速近邻匹配算法对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的所述上一图像帧特征点。
在一些实施例中，还包括：
确定所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述特征点；
确定每一所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述当前图像帧。
在一些实施例中，还包括：
确定所述特征点和所述上一图像帧的所有特征点不匹配，保留所述特征点；
确定每一所述特征点和所述上一图像帧的所有特征点不匹配，保留所述当前图像帧，舍弃所述上一图像帧。
第二方面，本申请实施例提供一种图像处理方法，应用于终端，包括：
接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
基于所述匹配关系数据、所述当前图像帧以及所述上一图像帧，确定所述当前图像帧的相机位姿和三维空间点；
对所有已确定的所述相机位姿和所述三维空间点进行BA优化；
确定未接收到新的图像帧，对所有已确定的所述相机位姿和所述三维空间点进行BA优化，得到最终的相机位姿和三维空间点；
基于接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。
在一些实施例中，还包括：
将所述当前图像帧的相机位姿设定为单位矩阵，并基于所述单位矩阵和所述匹配关系数据确定目标矩阵；
将所述目标矩阵分解获得所述当前图像帧的相机位姿；
基于所述当前图像帧的相机位姿、所述上一图像帧的相机位姿以及所述匹配关系数据进行三角测量，确定所述三维空间点。
在一些实施例中，还包括：
将接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点输入至目标算法中，输出所述三维模型，其中，所述目标算法为MVS算法或NeRF算法。
在一些实施例中，还包括：
基于所述三维模型输出多视角渲染视频或者三维数据文件。
第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像处理方法。
第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像处理方法。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像处理方法。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的智能穿戴设备的结构示意图
图2是本申请一个实施例提供的图像处理方法的流程示意图之一；
图3是本申请一个实施例提供的图像处理方法的流程示意图之二；
图4是本申请一个实施例提供的图像处理方法的流程示意图之三；
图5是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的一些图像处理方法可以应用于可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备等智能穿戴设备上，本申请实施例对智能穿戴设备的具体类型不作任何限制。
示例性地，图1为本申请一个实施例提供的智能穿戴设备的结构示意图，如图1所示，智能穿戴设备100可以包括处理器110，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，无线通信模块160，传感器模块180、按键190、发光二极管(light emitting diode，LED)灯191、摄像头193、显示部件194和光机195等；其中，传感器模块180包括触摸传感器180K；光机195包括镜头和显示屏。
可以理解的是，本申请实施例示意的结构并不构成对智能穿戴设备100的具体限定。在本申请另一些实施例中，智能穿戴设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，通用异步收发传输器(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobile industryprocessorinterface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universalserialbus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，DCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现智能穿戴设备100的触摸功能。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。
MIPI接口可以被用于连接处理器110与显示部件194，摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现智能穿戴设备100的拍摄功能。处理器110和显示部件194通过DSI接口通信，实现智能穿戴设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示部件194，无线通信模块160，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为智能穿戴设备100充电，也可以用于智能穿戴设备100与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他智能穿戴设备，例如智能手环、智能指环或者智能手机等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对智能穿戴设备100的结构限定。在本申请另一些实施例中，智能穿戴设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过智能可穿戴设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为智能穿戴设备100供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示部件194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
智能穿戴设备100的无线通信功能可以通过天线1，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1用于发射和接收电磁波信号。智能可穿戴设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
无线通信模块160可以提供应用在智能穿戴设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线1转为电磁波辐射出去。
在一些实施例中，智能穿戴设备100的天线1和无线通信模块160耦合，使得智能穿戴设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultipleaccess，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(longterm evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(globalnavigationsatellite system，GLONASS)，北斗卫星导航***(beidou navigationsatellitesystem，BDS)，准天顶卫星***(quasi-zenith satellite system，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。
智能穿戴设备100通过GPU，显示部件194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示部件194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示部件194用于显示图像，视频等。显示部件194可以包括显示镜片或显示面罩，显示部件194还可以包括显示屏。显示镜片或显示面罩可以为光波导(例如衍射光波导或者几何光波导)、自由曲面棱镜或自由空间等；显示镜片或显示面罩为成像光路的传播途径，可以将虚像传输到人眼。为了使AR眼镜能同时看清现实与虚拟画面，可以使用波导传递虚拟画面光线进入人眼。
上述显示屏可以为显示面板，显示面板可以采用液晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emittingdiode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。
在一些实施例中，智能穿戴设备100可以包括1个或N个显示部件194，N为大于1的正整数。
智能穿戴设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示部件194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，智能可穿戴设备100可以包括1个或N个摄像头193，N为大于1的正整数。本申请实施例中，摄像头193可以包括至少一个红外摄像头。
示例性地，摄像头193可以用于获取多个图像帧，从多个图像帧中获取多个时间等间隔的图像帧用于执行本申请实施例的图像处理方法。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当智能可穿戴设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。智能可穿戴设备100可以支持一种或多种视频编解码器。这样，智能可穿戴设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现智能可穿戴设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储智能可穿戴设备100使用过程中所创建的数据(比如音频数据，电话本等)。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行智能可穿戴设备100的各种功能应用以及数据处理。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示部件194，由触摸传感器180K与显示部件194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示部件194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于智能穿戴设备100的表面，与显示部件194所处的位置不同。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。智能可穿戴设备100可以接收按键输入，产生与智能可穿戴设备100的用户设置以及功能控制有关的键信号输入。
光机195主要用来成像，其中包括镜头和显示屏，这里的镜头可以为光学元器件。
本申请实施例提供的另一些图像处理方法可以应用于手机、平板电脑、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，还可以应用于数据库、服务器以及基于终端人工智能的服务响应***，通常，本申请实施例中描述的终端设备的处理能力比智能穿戴设备的处理能力更强，例如终端设备具有包括更多内核的图形处理单元等，本申请实施例对终端设备的具体类型不作任何限制。本申请实施例中的移动终端(终端设备)包括各种具有无线通信功能的手持设备、车载设备、计算设备、或连接到无线调制解调器的其它处理设备，例如，手机、平板、台式笔记本以及可以运行应用程序的智能设备，包括智能汽车的中央控制台等。具体可以指用户设备(user equipment，UE)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。终端设备还可以是卫星电话、蜂窝电话、智能手机、无线数据卡、无线调制解调器、机器类型通信设备、可以是无绳电话、会话启动协议(session initiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字处理(personaldigital assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备，工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、5G网络或者未来通信网络中的终端设备等。移动终端可以由电池供电，还可以附接到车辆或者船舶的电源***，并由车辆或者船舶的电源***供电。车辆或者船舶的电源***还可以为移动终端的电池充电，以延长移动终端通信时间。
参照图2，本申请一个实施例还提供一种图像处理方法，应用于智能穿戴设备，包括但不限于以下步骤：
步骤201、获取多个时间等间隔的图像帧；
步骤202、对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
步骤203、将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；
步骤204、将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据。
在上述步骤201中，智能穿戴设备可通过接收用户的输入指令，开启摄像头进行拍摄获取视频段，从视频段中使用等间隔的策略实时的选取多个时间等间隔的图像帧，或者，智能穿戴设备也可以通过摄像头进行时间等间隔的拍摄来获取多个时间等间隔的图像帧，这不成为本申请的限定。智能穿戴设备可以为AR(Augmented Reality，增强现实)眼镜、VR(Virtual reality，虚拟现实)眼镜等。示例性地，该时间间隔可设置为500ms，即每个图像帧的获取间隔为500ms，上述时间间隔也可根据具体情况进调整。
可以理解，上述每个图像帧可以包括一个或者多个目标，或者不包括任何目标，每个图像帧之间的目标可以是相同的目标，也可以是不同的目标，例如一个图像帧包括目标Ⅰ、目标Ⅱ，一个图像帧的上一图像帧包括目标Ⅰ、目标Ⅱ以及目标Ⅲ，这不成为本申请的限定。
在上述步骤202中，对每一个图像帧进行特征提取，获取每个图像帧的特征点，并从所有特征点中确定当前图像帧的特征点。
本实施例中进行匹配的特征可以为SIFT特征。
SIFT(Scale Invariant Feature Transform，尺度不变特征变换)，通过提取图像的局部特征，在尺度空间寻找极值点，并提取出其位置、尺度、方向信息。SIFT的应用范围包括物体辨别、机器人地图感知与导航、影响拼接、三维模型建立、手势识别、影像追踪等。
SIFT特征的特点如下所示：
1、对旋转、尺度缩放、亮度变化保持不变性，对视角变化、噪声等也存在一定程度的稳定性；
2、独特性，信息量丰富，适用于在海量特征数据中进行快速，准确的匹配；
3、多量性，即使少数几个物体也可以产生大量的SIFT特征向量；
4、可扩展性，可以很方便的与其他形式的特征向量进行联合；
SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述的问题。
需要说明的是，本实施例中的特征点的特征点数据包括描述特征点周围图像区域的描述子。在本实施例中描述子可以是一个描述特征点周边16*16像素点区域的图像信息的128维向量，也就是说，在两个相邻图像帧的特征点进行匹配时，可以将两个图像帧的每个特征点的描述子进行匹配，当描述子匹配时表示两个特征点匹配成功。
在上述步骤203中，将当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配，确定匹配成功的上一图像帧特征点。
需要说明的是，本实施例中的特征匹配方法可以根据特征点的相似度进行匹配或者根据快速近邻匹配算法进行匹配。在上述步骤204中，将匹配关系数据和图像数据发送到终端，使得终端基于匹配关系数据与图像数据确定目标的三维模型。
需要说明的是，匹配关系数据包括已匹配的特征点、上一图像帧特征点的特征点ID和特征点数据，图像数据包括当前图像帧的图像数据。
将各目标特征和上一待处理帧的特征点进行特征匹配，得到匹配关系数据，并将匹配关系数据和当前待处理帧的图像数据发送到终端，终端接收到匹配关系数据和当前待处理帧的图像数据可利用终端计算资源进行计算，从而确定目标的三维模型。
本申请实施例提供的图像处理方法，通过获取多个时间等间隔的图像帧，然后对每一个图像帧进行特征提取，确定当前图像帧的特征点，并将每一特征点和上一图像帧的所有特征点进行特征匹配，确定和特征点匹配的上一图像帧特征点，最后将匹配关系数据和图像数据发送到终端，使终端基于匹配关系数据与图像数据确定目标的三维模型。本申请实施例通过智能穿戴设备获取目标影像并利用计算资源进行计算之后再发送到终端进行计算，通过终端和智能穿戴设备共同完成计算，可以有效解决智能穿戴设备端算力和功耗的限制，以得到精细度较高的三维模型。
在一些实施例中，还包括：
对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定每一所述特征点和所述上一图像帧的所有特征点的欧氏距离；
基于各所述欧氏距离确定和所述特征点匹配的所述上一图像帧特征点；
或，基于快速近邻匹配算法对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的所述上一图像帧特征点。
可以理解，上述每一特征点和上一图像帧的所有特征点的欧氏距离，或者基于快速近邻匹配算法对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配时，可以使用描述子来表示上述特征点。
本实施例给出了特征匹配的具体方式。
在进行特征匹配的过程中，需要确定每个特征点和上一图像帧的所有特征点的欧氏距离，可分别记当前特征点1到上一图像帧特征点A、特征点B、特征点C的欧式距离为x1、x2、x3……然后根据这些欧氏距离判断与当前特征点1的相似度。如上所述，若x1＜x2＜x3，那么特征点A与当前特征点1的欧氏距离最小，即相似度最大，也就是说上一图像帧的特征点A为与当前特征点1匹配成功的特征点。
在一些场景下，当特征点对应的描述子的维度很高，加之由于复杂场景导致的更多的特征点数量，则可以通过快速近邻匹配(Approximate Nearest Neighbors Match)算法实现。如随机K-d树和优先搜索K均值树。在一些实施例中，还包括：
确定所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述特征点；
确定每一所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述当前图像帧。
具体地，在本实施例中，特征匹配的过程中当前图像帧存在特征点与上一图像帧中所有特征点不匹配的现象，比如每一特征点与上一图像帧的所有特征点的欧氏距离均大于预设值，也就是相似度均不满足预设值，则可判定特征点和上一图像帧的所有特征点不匹配，则可以舍弃特征点。
若当前图像帧的每一特征点与上一图像帧的每一特征点均不匹配，则可以舍弃当前图像帧。
可以理解的是，本实施例在舍弃当前图像帧和上一图像帧中选择舍弃当前图像帧，可以理解为将下一图像帧作为当前图像帧与上一图像帧进行特征点的匹配。
在一些实施例中，还包括：
确定所述特征点和所述上一图像帧的所有特征点不匹配，保留所述特征点；
确定每一所述特征点和所述上一图像帧的所有特征点不匹配，保留所述当前图像帧，舍弃所述上一图像帧。
具体地，本实施例与上述实施例不同的是，本实施例在判定当前图像帧的特征点和上一图像帧的所有特征点不匹配时，保留该特征点，而舍弃上一图像帧的特征点。
遍历当前图像帧的每一特征点，将每一特征点均与上一图像帧进行匹配，若当前图像帧的每一特征点与上一图像帧的每一特征点均不匹配，则舍弃上一图像帧。
可以理解的是，本实施例在舍弃当前图像帧和上一图像帧中选择舍弃上一图像帧，即可以理解为将当前处理帧与上一图像帧的再上一图像帧进行特征点的匹配。
参照图3，为本申请一个实施例提供一种图像处理方法，应用于终端，包括但不限于以下步骤：
步骤301、接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
步骤302、基于所述匹配关系数据、所述当前图像帧以及所述上一图像帧，确定所述当前图像帧的相机位姿和三维空间点；
步骤303、对所有已确定的所述相机位姿和所述三维空间点进行BA优化；
步骤304、确定未接收到新的图像帧，对所有已确定的所述相机位姿和所述三维空间点进行BA优化，得到最终的相机位姿和三维空间点；
步骤305、基于接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。
首先需要说明的是，本实施例提供的图像处理方法，应用在终端，终端与智能穿戴设备可建立通信并进行数据传输，终端和智能穿戴设备的数据处理可并行，以提高立体影像整体的生成效率，上述通信可以通过前述的无线通信技术建立，或者有线通信技术建立，这不成为本申请的限定。
在上述步骤301中，终端接收智能穿戴设备发送的全部待处理帧的图像数据以及当前图像帧与上一图像帧的匹配关系数据。需要指出的是，终端接收的智能穿戴设备的图像帧数据可以是智能穿戴设备直接发送的，也可以是中转发送的，例如由智能穿戴设备先发送到云服务器，再通过云服务器发送到终端的。需要说明的是，本实施例中终端接收智能穿戴设备发送的多个连续的图像帧，每一个图像帧均对应一个图像数据。全部图像帧的图像数据可以理解为，将每一帧图像帧依次作为当前待处理帧，并将每一帧对应的图像数据均发送到终端进行处理，如此终端便可收到连续帧的图像数据，进而建立三维模型。
本实施例中的当前待处理帧是智能穿戴设备基于前述的等间隔策略进行实时选取确定的，上一待处理帧指的即为与当前待处理帧相邻的前一个待处理帧，此处不再赘述。
其中，匹配关系数据是智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的。匹配关系数据包括已匹配的特征点、上一图像帧特征点的特征点ID和特征点数据，图像数据包括当前图像帧的图像数据，特征点的特征点数据包括描述特征点周围图像区域的描述子。在本实施例中描述子可以是一个描述特征点周边16*16像素点区域的图像信息的128维向量。
在上述步骤302中，终端利用计算资源，利用手机端计算资源，根据智能穿戴设备端发送的匹配关系数据、当前图像帧以及上一图像帧，确定当前图像帧的相机位姿和三维空间点。
需要说明的是，当前图像帧的相机位姿即当前状态下相机的姿态矩阵，三维空间点即为将当前图像帧的相机位姿和上一图像帧的相机位姿进行三角化(triangulation)生成的三维空间点。
其次，通过上述步骤303，对相机位姿和三维空间点进行BA优化。BA(BundleAdjustment，光束法平差)，是为了提高相机位姿和三维空间点的精准度，以获取最优的相机位姿和三维空间点生成最终的三维影像，指从视觉图片中提炼出最优的三维模型和相机参数等作为每个待处理帧的优化数据。进一步地，通过上述步骤304，在确定未接收到新的图像帧时，即智能穿戴设备的图像采集结束时，对于所有相机位姿和三维空间点进行全局优化，从而得到最终的相机位姿和三维空间点。
在一些示例中，步骤303还包括：
或者，对第一帧序列内的图像帧的所述相机位姿和所述三维空间点进行局部BA优化；
上述第一帧序列是至少包括当前图像帧以及上一图像帧的帧序列，可以理解，第一帧序列还可以包括上一图像帧之前的图像帧，例如还包括上一图像帧之前的连续两帧或者三帧图像帧等，第一帧序列的图像帧数量不成为本申请的限定。
在一些示例中，步骤304还包括：
或者，对第二帧序列内的图像帧的所述相机位姿和所述三维空间点进行全局BA优化，得到最终的相机位姿和三维空间点；
示例性地，从每个第一帧序列中确定一个关键帧，上述第二帧序列可以是所有的关键帧组成的一个帧序列，在确定未接收到新的图像帧后，对第二帧序列中的所有关键帧进行全局BA优化确定关键帧进行全局BA优化后的相机位姿和三维空间点，其和不是关键帧的图像帧的相机位姿和三维空间点共同组成了最终的相机位姿和三维空间点。
需要说明的是，局部优化通常包括当前图像帧在内的帧序列进行优化，而全局优化则是对每一个帧序列的关键帧均进行优化，从而得到最终的相机位姿和三维空间点，本实施例中的所有图像帧最终的三维空间点组成三维稀疏点云。
可以理解，本申请实施例可以在接收到当前图像帧后对所有已生成三维点的图像帧都进行BA优化，也可以在接收到当前图像帧后对包括当前图像帧在内的部分图像帧(即第一帧序列内容的图像帧)进行局部BA优化。
本申请实施例也在确定未接收到新的图像帧时，对所有已生成三维点的图像帧都进行BA优化，也可以对由第一帧序列确定的关键帧组成的第二帧序列内的图像帧进行全局BA优化，以此来得到所有图像帧最终的相机位姿和三维空间点。
最后，基于接收到的所有图像帧，所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型，即得到最终的三维图像。
本实施例中，根据图像帧的图像数据进行三维成像，即可得到三维立体影像。
可选地，可以基于三维模型输出多视角渲染视频或者三维数据文件。
在一些实施例中，还包括：将接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点输入至目标算法中，输出所述三维模型，其中，所述目标算法为MVS算法或NeRF算法。
具体地，将接收到的所有图像帧，所有图像帧最终的相机位姿、相机内参以及三维空间点输入至MVS算法或NeRF算法中，得到三维模型。本实施例中的三维空间点为三维稀疏点云，通过为MVS算法或NeRF算法，可输出三维稠密点云，即形成三维图像。
需要说明的是，MVS算法(多视点立体视觉，Multi-view stereo)能够单独从图像中构造出高度细节化的三维模型，采集一个庞大的图像数据集，用其来构建出一个用来解析图像的3D几何模型。NeRF算法(神经辐射场)可以基于部分2D图像集生成复杂3D场景的新视图。在NeRF神经网络模型中，被训练使用渲染损失来重现场景的输入视图，通过获取代表场景的输入图像并在它们之间进行插值以渲染一个完整的场景。因此，NeRF算法是一种为合成数据生成图像的高效方法。
在一些实施例中，还包括：
将所述当前图像帧的相机位姿设定为单位矩阵，并基于所述单位矩阵和所述匹配关系数据确定目标矩阵；
将所述目标矩阵分解获得所述当前图像帧的相机位姿；
基于所述当前图像帧的相机位姿、所述上一图像帧的相机位姿以及所述匹配关系数据进行三角测量，确定所述三维空间点。
可以理解的是，本实施例为三维空间点的生成过程，
具体地，本实施例需要至少需要时序相邻的两个匹配帧，即当前图像帧和上一图像帧。设定第一帧(即上一图像帧)图像数据的相机位姿为单位矩阵，然后通过第一帧与第二帧(当前图像帧)图像数据之间的匹配特征点估计出目标矩阵，将目标矩阵进行分解即可获得第二帧图像的相机位姿。
在估计出最初两帧图像的位姿后，通过三角化(triangulation)来生成三维空间点。
本实施例中，对于后续不断添加的当前图像帧的图像数据，根据当前图像帧的图像数据与上一图像帧的图像数据进行2D-2D匹配，进而得到二者之间的2D-3D匹配，然后利用RANSAC-PNP解算出当前帧的相机位姿。然后通过三角化来生成当前帧中三维空间点，并将新增的三维空间点加入历史数据中。
举例而言，若将上一图像帧记为Frame1，当前图像帧记为Frame2，下一图像帧记为Frame3，依次类推。
首先对Frame1-Frame2之间进行2D-2D计算，得到当前帧的相机位姿R，和单位长度t，然后由三角化算出3D点。
然后对Frame2-Frame3之间进行3D-2D计算，得到当前帧的相机位姿R，和以t为单位长度的t1，然后由三角化算出3D点。
通过不断的循环，可不断地将当前图像帧的相机位姿和三维空间点添加到历史数据中，以便于下一图像帧进行相机位姿的确认和三维空间点的生成。
本申请实施例提供的图像处理方法，通过终端接收智能穿戴设备发送的全部图像帧的图像数据以及当前图像帧与上一图像帧的匹配关系数据，并基于匹配关系数据确定当前图像帧的图像数据中的匹配特征点，然后基于匹配特征点、当前图像帧的图像数据以及上一图像帧的图像数据，确定当前图像帧的相机位姿和三维空间点，最后基于接收到的所有图像帧，所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。本申请实施例可利用智能穿戴设备计算资源和终端计算资源协同完成，实现有效的算力分配，达到尽可能小的计算延迟和尽可能精细的三维图像重建效果。
并且通过对相机位姿和三维空间点进行优化，得到各图像帧的优化数据得到三维图像。即通过优化有的数据进一步提升三维图像的生成效果，提高了用户体验。
参照图4，图4是本申请一个实施例提供的图像处理方法的流程示意图，包括以下步骤：
步骤401、启动拍摄；
步骤402、智能穿戴设备的摄像头进拍摄；
步骤403、实时等间隔采集当前待处理帧；
步骤404、利用智能穿戴设备本地资源提取图像特征；
步骤405、利用智能穿戴设备本地计算资源计算当前待处理帧和上一待处理帧的匹配关系；
步骤406、上传匹配关系数据和当前图像帧的压缩数据至与智能穿戴设备连接的终端；
步骤407、在终端进行当前待处理帧的相机位姿估计；
步骤408、在终端对当前待处理帧进行三角化生成三维空间点；
步骤409、在终端对所有生成的三维空间点和以估计出的位姿进行BA优化；
步骤410、在终端对所有数据进行BA优化；
步骤411、得到所有待处理帧的目标位姿、相机内参和三维稀疏点云；
步骤412、终端利用MVS算法或NeRF算法计算得到三维模型；
步骤413、输出包括三维模型的三维影像。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行图像处理方法，该方法包括：
获取多个时间等间隔的图像帧；
对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；
将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据；
或，
接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
基于所述匹配关系数据、所述当前图像帧以及所述上一图像帧，确定所述当前图像帧的相机位姿和三维空间点；
对所有已确定的所述相机位姿和所述三维空间点进行BA优化；
确定未接收到新的图像帧，对所有已确定的所述相机位姿和所述三维空间点进行BA优化，得到最终的相机位姿和三维空间点；
基于接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像处理方法，该方法包括：
获取多个时间等间隔的图像帧；
对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；
将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据；
或，
接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
基于所述匹配关系数据、所述当前图像帧以及所述上一图像帧，确定所述当前图像帧的相机位姿和三维空间点；
对所有已确定的所述相机位姿和所述三维空间点进行BA优化；
确定未接收到新的图像帧，对所有已确定的所述相机位姿和所述三维空间点进行BA优化，得到最终的相机位姿和三维空间点；
基于接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像处理方法，该方法包括：
获取多个时间等间隔的图像帧；
对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；
将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据；
或，
接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
基于所述匹配关系数据、所述当前图像帧以及所述上一图像帧，确定所述当前图像帧的相机位姿和三维空间点；
对所有已确定的所述相机位姿和所述三维空间点进行BA优化；
确定未接收到新的图像帧，对所有已确定的所述相机位姿和所述三维空间点进行BA优化，得到最终的相机位姿和三维空间点；
基于接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，应用于智能穿戴设备，包括：
获取多个时间等间隔的图像帧；
对每一个所述图像帧进行特征提取，确定当前图像帧的特征点，其中，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
将每一所述特征点和上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的上一图像帧特征点；
将匹配关系数据和图像数据发送到终端，使得所述终端基于所述匹配关系数据与所述图像数据确定目标的三维模型，其中，所述匹配关系数据包括已匹配的所述特征点、所述上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据。
2.根据权利要求1所述的图像处理方法，其特征在于，还包括：
对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定每一所述特征点和所述上一图像帧的所有特征点的欧氏距离；
基于各所述欧氏距离确定和所述特征点匹配的所述上一图像帧特征点；
或，基于快速近邻匹配算法对每一所述特征点和所述上一图像帧的所有特征点进行特征匹配，确定和所述特征点匹配的所述上一图像帧特征点。
3.根据权利要求1所述的图像处理方法，其特征在于，还包括：
确定所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述特征点；
确定每一所述特征点和所述上一图像帧的所有特征点不匹配，舍弃所述当前图像帧。
4.根据权利要求1所述的图像处理方法，其特征在于，还包括：
确定所述特征点和所述上一图像帧的所有特征点不匹配，保留所述特征点；
确定每一所述特征点和所述上一图像帧的所有特征点不匹配，保留所述当前图像帧，舍弃所述上一图像帧。
5.一种图像处理方法，其特征在于，应用于终端，包括：
接收智能穿戴设备发送的匹配关系数据和图像数据，其中，所述匹配关系数据是所述智能穿戴设备基于当前图像帧的每一特征点和上一图像帧的所有特征点进行特征匹配确定的，所述匹配关系数据包括已匹配的所述特征点、上一图像帧特征点的特征点ID和特征点数据，所述图像数据包括所述当前图像帧的图像数据，所述特征点的特征点数据包括描述所述特征点周围图像区域的描述子；
基于所述匹配关系数据、所述当前图像帧以及所述上一图像帧，确定所述当前图像帧的相机位姿和三维空间点；
对所有已确定的所述相机位姿和所述三维空间点进行BA优化；
确定未接收到新的图像帧，对所有已确定的所述相机位姿和所述三维空间点进行BA优化，得到最终的相机位姿和三维空间点；
基于接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点，确定三维模型。
6.根据权利要求5所述的图像处理方法，其特征在于，还包括：
将所述当前图像帧的相机位姿设定为单位矩阵，并基于所述单位矩阵和所述匹配关系数据确定目标矩阵；
将所述目标矩阵分解获得所述当前图像帧的相机位姿；
基于所述当前图像帧的相机位姿、所述上一图像帧的相机位姿以及所述匹配关系数据进行三角测量，确定所述三维空间点。
7.根据权利要求5所述的图像处理方法，其特征在于，还包括：
将接收到的所有图像帧，所述所有图像帧最终的相机位姿、相机内参以及三维空间点输入至目标算法中，输出所述三维模型，其中，所述目标算法为MVS算法或NeRF算法。
8.根据权利要求5-7任一项所述的图像处理方法，其特征在于，还包括：
基于所述三维模型输出多视角渲染视频或者三维数据文件。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述图像处理方法，或5-8任一项所述图像处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述图像处理方法，或5-8任一项所述图像处理方法。
CN202310283069.9A 2023-03-17 2023-03-17 图像处理方法、电子设备及存储介质 Pending CN116468917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310283069.9A CN116468917A (zh) 2023-03-17 2023-03-17 图像处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310283069.9A CN116468917A (zh) 2023-03-17 2023-03-17 图像处理方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116468917A true CN116468917A (zh) 2023-07-21

Family

ID=87174269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310283069.9A Pending CN116468917A (zh) 2023-03-17 2023-03-17 图像处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116468917A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036758A (zh) * 2023-10-10 2023-11-10 湖北星纪魅族集团有限公司 二维图像目标匹配方法、电子设备和存储介质
CN117710695A (zh) * 2023-08-02 2024-03-15 荣耀终端有限公司 图像数据的处理方法及电子设备
CN117765168A (zh) * 2023-12-12 2024-03-26 之江实验室 一种卫星遥感图像的三维重建方法、装置及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710695A (zh) * 2023-08-02 2024-03-15 荣耀终端有限公司 图像数据的处理方法及电子设备
CN117036758A (zh) * 2023-10-10 2023-11-10 湖北星纪魅族集团有限公司 二维图像目标匹配方法、电子设备和存储介质
CN117036758B (zh) * 2023-10-10 2024-01-12 湖北星纪魅族集团有限公司 二维图像目标匹配方法、电子设备和存储介质
CN117765168A (zh) * 2023-12-12 2024-03-26 之江实验室 一种卫星遥感图像的三维重建方法、装置及设备
CN117765168B (zh) * 2023-12-12 2024-06-07 之江实验室 一种卫星遥感图像的三维重建方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111415388B (zh) 一种视觉定位方法及终端
CN116468917A (zh) 图像处理方法、电子设备及存储介质
CN111598776A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN115526983B (zh) 一种三维重建方法及相关设备
US20240029297A1 (en) Visual positioning method, storage medium and electronic device
CN113727012A (zh) 一种拍摄方法及终端
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US10929961B2 (en) Electronic device and method for correcting images using external electronic device
CN111741303B (zh) 深度视频处理方法、装置、存储介质与电子设备
US11948280B2 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
CN115565212B (zh) 图像处理方法、神经网络模型训练方法及装置
WO2022012019A1 (zh) 身高测量方法、身高测量装置和终端
CN114429495B (zh) 一种三维场景的重建方法和电子设备
CN115375827A (zh) 光照估计方法及电子设备
CN111598919A (zh) 运动估计方法、运动估计装置、存储介质与电子设备
CN114827442B (zh) 生成图像的方法和电子设备
CN113781548B (zh) 多设备的位姿测量方法、电子设备及***
CN112037157B (zh) 数据处理方法及装置、计算机可读介质及电子设备
CN116703995B (zh) 视频虚化处理方法和装置
CN114330633A (zh) 一种训练神经网络的方法、装置、服务器及***
US20240046560A1 (en) Three-Dimensional Model Reconstruction Method, Device, and Storage Medium
CN115423853A (zh) 一种图像配准方法和设备
CN115147492A (zh) 一种图像处理方法以及相关设备
CN116993875B (zh) 数字人的生成方法、装置、电子设备及存储介质
WO2023024036A1 (zh) 一种人物三维模型的重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination