CN116188612A - 图像重建方法、电子设备及存储介质 - Google Patents

图像重建方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116188612A
CN116188612A CN202310144251.6A CN202310144251A CN116188612A CN 116188612 A CN116188612 A CN 116188612A CN 202310144251 A CN202310144251 A CN 202310144251A CN 116188612 A CN116188612 A CN 116188612A
Authority
CN
China
Prior art keywords
image
radial basis
basis function
image reconstruction
function network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310144251.6A
Other languages
English (en)
Inventor
施正远
游祥杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinyang Technology Foshan Co ltd
Original Assignee
Xinyang Technology Foshan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinyang Technology Foshan Co ltd filed Critical Xinyang Technology Foshan Co ltd
Priority to CN202310144251.6A priority Critical patent/CN116188612A/zh
Publication of CN116188612A publication Critical patent/CN116188612A/zh
Priority to US18/220,313 priority patent/US20240281929A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种图像重建方法、电子设备及存储介质，所述方法包括：通过获取目标拍摄设备拍摄得到的物体的待重建图像，以及物体的样本图像；基于待重建图像与样本图像训练径向基函数网络；基于反卷积算法将径向基函数网络转换为图像重建模型，所述图像重建模型用于对目标拍摄设备拍摄的图像进行重建。本申请的方法能够辅助图像重建，提高待重建图像的清晰率。

Description

图像重建方法、电子设备及存储介质
技术领域
本申请涉及图像重建技术领域，特别是指一种图像重建方法、电子设备及存储介质。
背景技术
为了提高手机的屏占比从而为用户提供更好的使用体验，针对手机前置的屏下摄像头的设计不断往缩小式方向发展。屏下摄像头安装在显示屏下方，屏下摄像头对应位置上方的显示屏的显示区域的发光二极管之间的间隙将显示像素进行重新排列，让外部光线可以透过显示像素的间隙投射到屏下摄像头。然而由于显示像素的间隙很小，投射到屏下摄像头的光线会发生衍射现象，使得点光源投射到屏下摄像头时发生扩散现象，造成屏下摄像头拍摄得到的图像出现退化，例如屏下摄像头拍摄得到的图像中会出现模糊等。
发明内容
鉴于以上内容，有必要提供一种图像重建方法、电子设备及存储介质，能够辅助图像重建，提高待重建图像的清晰度。
所述图像重建方法包括：获取目标拍摄设备拍摄得到的物体的待重建图像，以及所述物体的样本图像；基于所述待重建图像与所述样本图像训练径向基函数网络；基于反卷积算法将所述径向基函数网络转换为图像重建模型，所述图像重建模型用于对所述目标拍摄设备拍摄的图像进行重建。
可选地，所述径向基函数网络包括输入层、隐藏层与输出层，其中：所述输入层用于作为所述径向基函数网络的输入端；所述隐藏层以径向基函数作为基底函数，所述隐藏层与所述输出层全连接；所述输出层基于累加函数输出所述径向基函数网络的输出结果。
可选地，所述基于所述待重建图像与所述样本图像训练径向基函数网络包括：初始化所述径向基函数网络的结构参数与损失函数。
可选地，所述基于所述待重建图像与所述样本图像训练径向基函数网络还包括：对所述径向基函数网络的结构参数进行优化，直至将所述样本图像作为所述径向基函数网络的输入后，所述径向基函数网络的输出结果对应的所述损失函数收敛至预设的数值。
可选地，所述径向基函数网络用于模拟所述目标拍摄设备对应的点扩散函数模型。
可选地，所述损失函数包括二范数。
可选地，对所述径向基函数网络进行优化使用的优化算法包括梯度下降算法。
可选地，所述反卷积算法包括Weiner反卷积算法。
所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述图像重建方法或所述图像重建方法。
所述电子设备包括存储器和至少一个处理器，所述存储器中存储有至少一个指令，所述至少一个指令被所述至少一个处理器执行时实现所述图像重建方法。
相较于现有技术，本申请实施例提供的图像重建方法，本申请提供的图像重建方法，通过获取目标拍摄设备拍摄得到的物体的待重建图像，以及所述物体的样本图像；基于所述待重建图像与所述样本图像训练径向基函数网络；基于反卷积算法将所述径向基函数网络转换为图像重建模型，所述图像重建模型用于对所述目标拍摄设备拍摄的图像进行重建。能够利用多个径向函数及误差函数，训练得到将未加屏幕的样本图像退化为趋近于迭加屏幕的待重建图像的径向基底网络，基于反卷积算法将径向基底网络转换为图像重建模型，利用图像重建模型对其他目标拍摄设备拍摄的图像进行重建，可以提高待重建图像的清晰度与图像重建的效率，还可以降低图像重建的成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的图像重建方法的流程图。
图2是本申请实施例提供的径向基函数网络的网络结构示例图一。
图3是本申请实施例提供的径向基函数网络的网络结构示例图二。
图4是本申请实施例提供的图像重建方法的示例图。
图5是本申请实施例提供的电子设备的架构图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
在一个实施例中，为了提高手机的屏占比从而为用户提供更好的使用体验，针对手机前置的屏下摄像头的设计不断往缩小式方向发展。屏下摄像头安装在显示屏下方，屏下摄像头对应位置上方的显示屏的显示区域的发光二极管之间的间隙将显示像素进行重新排列，让外部光线可以透过显示像素的间隙投射到屏下摄像头。然而由于显示像素的间隙很小，投射到屏下摄像头的光线会发生衍射现象，使得点光源投射到屏下摄像头时发生扩散现象，造成屏下摄像头拍摄得到的图像出现退化，例如屏下摄像头拍摄得到的图像中会出现模糊等。
为了消除光线衍射造成的屏下摄像头拍摄得到的图像的模糊，需要对屏下摄像头拍摄得到的图像进行重建，常用技术使用的方法直接使用深度学习网络建构一个庞大的处理网络，虽然往往可以呈现不错的重建效果，但这种方法非常耗时。
为了解决上述问题，本申请实施例提供的图像重建方法，通过获取目标拍摄设备拍摄得到的物体的待重建图像，以及所述物体的样本图像；基于所述待重建图像与所述样本图像训练径向基函数网络；基于反卷积算法将所述径向基函数网络转换为图像重建模型，所述图像重建模型用于对所述目标拍摄设备拍摄的图像进行重建。能够利用多个径向函数及误差函数，训练得到将未加屏幕的样本图像退化为趋近于迭加屏幕的待重建图像的径向基底网络，基于反卷积算法将径向基底网络转换为图像重建模型，利用图像重建模型对其他目标拍摄设备拍摄的图像进行重建，可以提高待重建图像的清晰度与图像重建的效率，还可以降低图像重建的成本。
参阅图1所示，为本申请较佳实施例的图像重建方法的流程图。
在本实施例中，所述图像重建方法可以应用于电子设备(例如图5所示的电子设备3)，电子设备上集成本申请实施例的方法所提供的图像重建的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在电子设备中，所述电子设备可以是计算机、服务器、笔记本电脑等设备。
如图1所示，所述图像重建方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S1，获取目标拍摄设备拍摄得到的物体的待重建图像，以及所述物体的样本图像。
在一个实施例中，所述目标拍摄设备可以是屏下摄像头(Under-Display Camera，UDC)，所述物体可以是任意的场景或物体。所述样本图像表示所述物体的标准图像(GroundTruth图像)，可以利用高分辨率的摄像装置拍摄所述物体得到所述样本图像。
具体地，所述待重建图像与所述样本图像是在同一角度、距离下拍摄得到的同一物体的图像，所述待重建图像与所述样本图像的尺寸、大小一致，仅有分辨率不同。
步骤S2，基于所述待重建图像与所述样本图像训练径向基函数网络。
在一个实施例中，目标设备(例如屏下摄像头)拍摄得到的待重建图像会出现模糊，是由于环境光源与点扩散函数(Point Spread Function,PSF)进行回旋积分(convolution integral)的结果。通过模拟目标设备对应的点扩散函数，就可以基于逆转换实现对待重建图像的重建还原。
因此，将样本图像作为径向基函数网络的输入，通过径向基函数网络来仿真回旋积分，使径向基函数网络的输出图像无限接近待重建图像，得到的径向基函数网络的神经元与网络权重的组合将近似于目标设备对应的点扩散函数模型。
在一个实施例中，所述径向基函数网络用于模拟所述目标拍摄设备对应的点扩散函数模型。
在一个实施例中，所述径向基函数网络(Radial basis function,RBF)是一种可以将n维的输入数据投影至m维空间的三层网络结构，其中，n、m都表示大于或等于1的正整数。因此可以将图像(例如，样本图像)转化为n维向量，从而将图像对应的n维向量作为所述径向基函数网络的输入数据，得到输出的m维向量对应的图像。
所述径向基函数网络包括输入层、隐藏层与输出层，其中：所述输入层用于作为所述径向基函数网络的输入端；所述隐藏层以径向基函数作为基底函数，所述隐藏层与所述输出层全连接；所述输出层基于累加函数输出所述径向基函数网络的输出结果。其中，所述径向基函数包括高斯径向基函数。
在一个实施例中，所述基于所述待重建图像与所述样本图像训练径向基函数网络包括：初始化所述径向基函数网络的结构参数与损失函数。其中，所述初始化包括但不限于随机初始化，所述结构参数包括但不限于所述径向基网络的隐藏层与输出层的神经元之间的连接权重，所述损失函数包括但不限于二范数。
在一个实施例中，所述损失函数用于指示所述径向基函数网络的输出图像与所述待重建图像之间的差异，当所述损失函数收敛至预设的数值(例如，0.02)时，可以确定所述输出图像已经无限接近所述待重建图像。
在一个实施例中，如图2所示，为本申请实施例提供的径向基函数网络的网络结构示例图一，其中左侧的黑色填充的圆形表示输入层的多个神经元，中间灰色填充的圆形表示隐藏层的多个神经元kj，右侧的白色填充的圆形表示输出层的多个神经元。
如图2所示，径向基函数网络中间的每个隐藏层的神经元都与右侧的输出层的所有神经元连接，并且具有对应的连接权重，例如图中的权重w0，0、权重w0，1等。
其中，x＝(x1,x2,…,xi,…xn)表示输入数据，y＝(y1,y2,…,yv,…ym)表示输出结果，并且基于高斯径向基函数可以得到：
Figure BDA0004088667950000051
其中，i、j、v、m、n的取值都为大于或等于1的正整数，μp表示高斯径向基函数的第p个中心点，σ表示xi的标准方差。
在一个实施例中，所述结构参数还包括所述中心点的取值。
在一个实施例中，如图3所示，为本申请实施例提供的径向基函数网络的网络结构示例图二。相较于图2，图3中的网络结构为简化后的示例图。其中，δn表示隐藏层的第n个神经元，其中每个隐藏层的神经元对应的高斯径向基函数被简化为高斯脉冲函数。
在一个实施例中，所述基于所述待重建图像与所述样本图像训练径向基函数网络还包括：对所述径向基函数网络的结构参数进行优化，直至将所述样本图像作为所述径向基函数网络的输入后，所述径向基函数网络的输出结果对应的所述损失函数收敛至预设的数值。
在一个实施例中，由于初始化所述径向基函数网络的结构参数与损失函数时采用了随机初始化方法，无法保证初始化得到的径向基函数网络达到预期的损失函数收敛的效果，因此需要对所述径向基函数网络的进行优化，对所述径向基函数网络进行优化使用的优化算法包括梯度下降算法。
具体地，参考图3中的权重w＝(w1,w2,…,wi,…wn)，二范数损失函数可以表示为：L(x,w)＝(y-y′)2＝(y-∑iwixi)2，梯度下降算法(Gradient Descent)可以表示为：
Figure BDA0004088667950000052
使用梯度下降算法对权重进行优化时的迭代更新可以表示为：wi,t+1＝wi,t-ηΔwi，wi,t表示第t次迭代更新后得到的权重，t表示大于或等于1的正整数，η表示梯度下降算法的学习率(Learning Rate)。
在一个实施例中，利用梯度下降算法能够使得所述损失函数不断收敛，直至收敛到预设的数值，得到对应的预期的径向基函数网络。
步骤S3，基于反卷积算法将所述径向基函数网络转换为图像重建模型，所述图像重建模型用于对所述目标拍摄设备拍摄的图像进行重建。
在一个实施例中，上述方法中使用径向基函数网络模拟了对样本图像进行退化得到待重建图像的点扩散函数，为了对其他待重建图像进行重建还原，需要对所述径向基函数进行反卷积(Deconvolution)，从而将所述径向基函数网络转换为图像重建模型。
在一个实施例中，所述反卷积算法包括Weiner反卷积算法。Weiner反卷积算法是一种非盲线性图像恢复算法，具体地，将清晰的样本图像x退化为模糊的待重建图像y的转化关系视为：
Figure BDA0004088667950000061
其中h表示模糊核，Q表示噪声，/>
Figure BDA0004088667950000062
表示卷积。Weiner反卷积算法的原理包括使用一个Wiener卷积核G，使得/>
Figure BDA0004088667950000063
与x之间的差异达到最小。
在一个实施例中，而由上述步骤S2中的径向基函数网络模型，已经可以得知模糊核与噪声的具体作用方式，因此，可以直接对径向基函数网络模型进行非盲的Weiner反卷积算法，得到所述图像重建模型。具体使用的公式为本领域常用手段，不再进行描述。
在一个实施例中，本申请提供的图像重建方法仅使用了样本图像与待重建图形进行网络与模型的训练，训练成本教下且训练过程的计算量较小，可以直接集成在目标拍摄设备内，例如，集成在包含屏下摄像头的手机中。当用户使用屏下摄像头拍摄图片后，可以快速得到拍摄的图像的重建图像，从而方便用户对重建图像进行预览。
在一个实施例中，如图4所示，为本申请实施例提供的图像重建方法的示例图。其中，x图像为高清晰度的样本图像，y图像为模糊的待重建图像，x′表示对待重建图像进行图像重建后的提高了清晰度的图像。可以看出，本申请实施例提供的图像重建方法能够有效降低待重建图像的模糊度，提高待重建图像的清晰度。
在一个实施例中，本申请提供的图像重建方法，通过获取目标拍摄设备拍摄得到的物体的待重建图像，以及所述物体的样本图像；基于所述待重建图像与所述样本图像训练径向基函数网络；基于反卷积算法将所述径向基函数网络转换为图像重建模型，所述图像重建模型用于对所述目标拍摄设备拍摄的图像进行重建。能够利用多个径向函数及误差函数，训练得到将未加屏幕的样本图像退化为趋近于迭加屏幕的待重建图像的径向基底网络，基于反卷积算法将径向基底网络转换为图像重建模型，利用图像重建模型对其他目标拍摄设备拍摄的图像进行重建，可以提高待重建图像的清晰度与图像重建的效率，还可以降低图像重建的成本。
上述图1详细介绍了本申请的图像重建方法，下面结合图5，对实现所述图像重建方法的软件***的功能模块以及实现所述图像重建方法的硬件装置架构进行介绍。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
参阅图5所示，为本申请较佳实施例提供的电子设备的结构示意图。
在本申请较佳实施例中，所述电子设备3包括存储器31、至少一个处理器32。本领域技术人员应该了解，图5示出的电子设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。
需要说明的是，所述电子设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储程序代码和各种数据。例如，所述存储器31可以用于存储安装在所述电子设备3中的图像重建***30，并在电子设备3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述电子设备3的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据，例如执行图1所示的图像重建的功能。
在一些实施例中，所述图像重建***30运行于电子设备3中。所述图像重建***30可以包括多个由程序代码段所组成的功能模块。所述图像重建***30中的各个程序段的程序代码可以存储于电子设备3的存储器31中，并由至少一个处理器32所执行，以实现图1所示的图像重建的功能。
本实施例中，所述图像重建***30根据其所执行的功能，可以被划分为多个功能模块。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
尽管未示出，所述电子设备3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障测试电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是服务器、个人电脑等)或处理器(processor)执行本申请各个实施例所述方法的部分。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。存储在所述存储器31中的程序代码可以由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到图像重建的目的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照以上较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种图像重建方法，应用于电子设备中，其特征在于，所述方法包括：
获取目标拍摄设备拍摄得到的物体的待重建图像，以及所述物体的样本图像；
基于所述待重建图像与所述样本图像训练径向基函数网络；
基于反卷积算法将所述径向基函数网络转换为图像重建模型，所述图像重建模型用于对所述目标拍摄设备拍摄的图像进行重建。
2.根据权利要求1所述的图像重建方法，其特征在于，所述径向基函数网络包括输入层、隐藏层与输出层，其中：
所述输入层用于作为所述径向基函数网络的输入端；
所述隐藏层以径向基函数作为基底函数，所述隐藏层与所述输出层全连接；
所述输出层基于累加函数输出所述径向基函数网络的输出结果。
3.根据权利要求1所述的图像重建方法，其特征在于，所述基于所述待重建图像与所述样本图像训练径向基函数网络包括：
初始化所述径向基函数网络的结构参数与损失函数。
4.根据权利要求3所述的图像重建方法，其特征在于，所述基于所述待重建图像与所述样本图像训练径向基函数网络还包括：
对所述径向基函数网络的结构参数进行优化，直至将所述样本图像作为所述径向基函数网络的输入后，所述径向基函数网络的输出结果对应的所述损失函数收敛至预设的数值。
5.根据权利要求1所述的图像重建方法，其特征在于，所述径向基函数网络用于模拟所述目标拍摄设备对应的点扩散函数模型。
6.根据权利要求3所述的图像重建方法，其特征在于，所述损失函数包括二范数。
7.根据权利要求3所述的图像重建方法，其特征在于，对所述径向基函数网络进行优化使用的优化算法包括梯度下降算法。
8.根据权利要求1所述的图像重建方法，其特征在于，所述反卷积算法包括Weiner反卷积算法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至8中任意一项所述的图像重建方法。
10.一种电子设备，其特征在于，该电子设备包括存储器和至少一个处理器，所述存储器中存储有至少一个指令，所述至少一个指令被所述至少一个处理器执行时实现如权利要求1至8中任意一项所述的图像重建方法。
CN202310144251.6A 2023-02-20 2023-02-20 图像重建方法、电子设备及存储介质 Pending CN116188612A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310144251.6A CN116188612A (zh) 2023-02-20 2023-02-20 图像重建方法、电子设备及存储介质
US18/220,313 US20240281929A1 (en) 2023-02-20 2023-07-11 Method for reconstructing images, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310144251.6A CN116188612A (zh) 2023-02-20 2023-02-20 图像重建方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116188612A true CN116188612A (zh) 2023-05-30

Family

ID=86437951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310144251.6A Pending CN116188612A (zh) 2023-02-20 2023-02-20 图像重建方法、电子设备及存储介质

Country Status (2)

Country Link
US (1) US20240281929A1 (zh)
CN (1) CN116188612A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145898A (zh) * 2017-04-14 2017-09-08 北京航星机器制造有限公司 一种基于神经网络的射线图像分类方法
JP2019220176A (ja) * 2018-06-15 2019-12-26 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
CN110991281A (zh) * 2019-11-21 2020-04-10 电子科技大学 一种动态人脸识别方法
CN114820849A (zh) * 2022-04-19 2022-07-29 浙江大学 基于深度学习的磁共振cest图像重建方法、装置及设备
DE102021114350A1 (de) * 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur faltungsfreien Bildverarbeitung
CN115456891A (zh) * 2022-08-31 2022-12-09 中国科学院深圳先进技术研究院 一种基于u型动态网络的屏下相机图像复原方法
CN115565213A (zh) * 2022-01-28 2023-01-03 荣耀终端有限公司 图像处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145898A (zh) * 2017-04-14 2017-09-08 北京航星机器制造有限公司 一种基于神经网络的射线图像分类方法
JP2019220176A (ja) * 2018-06-15 2019-12-26 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
CN110991281A (zh) * 2019-11-21 2020-04-10 电子科技大学 一种动态人脸识别方法
DE102021114350A1 (de) * 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur faltungsfreien Bildverarbeitung
CN115565213A (zh) * 2022-01-28 2023-01-03 荣耀终端有限公司 图像处理方法及装置
CN114820849A (zh) * 2022-04-19 2022-07-29 浙江大学 基于深度学习的磁共振cest图像重建方法、装置及设备
CN115456891A (zh) * 2022-08-31 2022-12-09 中国科学院深圳先进技术研究院 一种基于u型动态网络的屏下相机图像复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RATNAKAR DASH ET AL.: "Motion blur parameters estimation for image restoration", 《OPTIK》, vol. 125, no. 5, pages 1634 - 1640, XP028670593, DOI: 10.1016/j.ijleo.2013.09.026 *
李征;苏理云;马洪;琚生根;杨舰;: "基于神经网络和维纳滤波的半盲离焦图像复原", 激光杂志, no. 02, pages 41 - 42 *

Also Published As

Publication number Publication date
US20240281929A1 (en) 2024-08-22

Similar Documents

Publication Publication Date Title
CN112308200B (zh) 神经网络的搜索方法及装置
CN111669514B (zh) 高动态范围成像方法和装置
CN111402130B (zh) 数据处理方法和数据处理装置
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN111784821A (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN111626932A (zh) 图像的超分辨率重建方法及装置
US20210217151A1 (en) Neural network trained system for producing low dynamic range images from wide dynamic range images
US20230401672A1 (en) Video processing method and apparatus, computer device, and storage medium
CN113066017A (zh) 一种图像增强方法、模型训练方法及设备
WO2022100490A1 (en) Methods and systems for deblurring blurry images
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
EP3857457A1 (en) Neural network systems for decomposing video data into layered representations
Yuan et al. Single image dehazing via NIN-DehazeNet
CN113284055A (zh) 一种图像处理的方法以及装置
CN112241934B (zh) 一种图像处理方法以及相关设备
US20220058827A1 (en) Multi-view iterative matching pose estimation
Jin et al. Multi-task learning-based all-in-one collaboration framework for degraded image super-resolution
KR20230040111A (ko) 이미지 처리 장치 및 방법
Liu et al. Sensing diversity and sparsity models for event generation and video reconstruction from events
Zhang et al. Iterative multi‐scale residual network for deblurring
CN116188612A (zh) 图像重建方法、电子设备及存储介质
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN114708143A (zh) 一种hdr图像生成方法、设备、产品及介质
TWI848575B (zh) 圖像重建方法、電子設備及儲存介質
CN114581316A (zh) 图像重建方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230530

RJ01 Rejection of invention patent application after publication