CN114666573A - 一种光场相机校准方法及*** - Google Patents

一种光场相机校准方法及*** Download PDF

Info

Publication number
CN114666573A
CN114666573A CN202210293143.0A CN202210293143A CN114666573A CN 114666573 A CN114666573 A CN 114666573A CN 202210293143 A CN202210293143 A CN 202210293143A CN 114666573 A CN114666573 A CN 114666573A
Authority
CN
China
Prior art keywords
image data
calibration
error
similarity
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210293143.0A
Other languages
English (en)
Inventor
温建伟
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210293143.0A priority Critical patent/CN114666573A/zh
Publication of CN114666573A publication Critical patent/CN114666573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种光场相机校准方法及***，该方法包括：获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。通过该方法生成的校准数据高效便捷并且具有更高的精度和普适性。

Description

一种光场相机校准方法及***
技术领域
本申请涉及图像处理领域，更具体地，涉及一种光场相机校准方法及***。
背景技术
光场成像技术能够同时记录光线的空间和角度信息，突破常规透镜成像的局限，随着现代科技的发展，光场相机越来越多的企业和个人使用，在低光以及影响高速移动的情况下，能够准确对角拍出清晰照片。利用光场相机的光场数据可实现数字重聚焦、景深扩展、场景深度计算和场景三维重建等计算成像技术，被广泛应用于计算机视觉和计算成像领域。其中，光场成像***的误差分析是光场数据校准和实现计算成像技术的重要前提。
然而，现有的光场相机的误差分析仅考虑图像结构上的误差，而忽略了轮廓特征、方向特征所带来的误差，导致校准结果准确度低。
发明内容
本发明实施例的目的在于提供一种光场相机校准方法及***，其生成的校准数据高效便捷并且具有更高的精度和普适性。具体技术方案如下：
在本发明实施例的第一方面，提供一种光场相机校准方法，包括：获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。通过该方法生成的校准数据高效便捷并且具有更高的精度和普适性。
可选地，所述标准图像数据和所述误差图像数据之间的距离误差，包括：计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
可选地，所述计算所述标准图像数据和所述误差图像数据之间的轮廓校准值，包括：计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度；基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值；基于所述轮廓标准值，计算轮廓校准值。
可选地，所述计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度，包括：获取所述标准图像数据S(N×M)和所述误差图像数据E中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜N，1＜α＜M；计算所述标准图像数据S相对于所述误差图像数据E的轮廓特征GSE(i,j)和方向特征ASE(i,j)；通过如下公式计算轮廓特征相似度和方向特征相似度：
Figure BDA0003561029880000021
Figure BDA0003561029880000022
其中，
Figure BDA0003561029880000023
表示轮廓特征相似度，
Figure BDA0003561029880000024
表示方向特征相似度，GSE(i,j)表示轮廓特征，Γg、κg、σg、Γα、κα和σα均表示切线参数。
可选地，所述基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值，包括：通过如下公式计算轮廓标准值：
Figure BDA0003561029880000025
其中，
Figure BDA0003561029880000026
表示轮廓特征相似度，
Figure BDA0003561029880000027
表示方向特征相似度。
可选地，所述计算所述标准图像数据和所述误差图像数据之间的结构校准值，包括：计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度；基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
可选地，所述计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度，包括：计算所述标准图像数据S的灰度平均值μS和灰度标准差σS；计算所述误差图像数据E的灰度平均值μE和灰度标准差σE；计算所述标准图像数据S和所述误差图像数据E之间的灰度协方差σSE；通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
Figure BDA0003561029880000031
Figure BDA0003561029880000032
Figure BDA0003561029880000033
其中，l(S,E)表示亮度相似度，c(S,E)表示对比度相似度，s(S,E)表示结构相似度，C1、C2和C3是偏置项。
可选地，所述将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据，包括：将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据；所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
在本发明实施例的又一方面，提供一种光场相机校准***，包括：训练数据获取模块，用于获取训练数据，其中训练数据包括标准图像数据和误差图像数据；校准模型训练模块，用于基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；待处理图像获取模块，用于通过光场相机阵列中的成像相机获取待处理图像数据；校准数据生成模块，用于将所述待处理图像数据输入所述校准模型，生成所述成像相机的校准数据。
可选地，校准模型训练模块具体用于：计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
可选地，校准模型训练模块还用于：计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度；基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值；基于所述轮廓标准值，计算轮廓校准值。
可选地，校准模型训练模块还用于：获取所述标准图像数据S(N×M)和所述误差图像数据E中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜N，1＜α＜M；计算所述标准图像数据S相对于所述误差图像数据E的轮廓特征GSE(i,j)和方向特征ASE(i,j)；通过如下公式计算轮廓特征相似度和方向特征相似度：
Figure BDA0003561029880000041
Figure BDA0003561029880000042
其中，
Figure BDA0003561029880000043
表示轮廓特征相似度，
Figure BDA0003561029880000044
表示方向特征相似度，GSE(i,j)表示轮廓特征，Γg、κg、σg、Γα、κα和σα均表示切线参数。
可选地，校准模型训练模块还用于：通过如下公式计算轮廓标准值：
Figure BDA0003561029880000045
其中，
Figure BDA0003561029880000046
表示轮廓特征相似度，
Figure BDA0003561029880000047
表示方向特征相似度。
可选地，校准模型训练模块还用于：计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度；基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
可选地，校准模型训练模块还用于：计算所述标准图像数据S的灰度平均值μS和灰度标准差σS；计算所述误差图像数据E的灰度平均值μE和灰度标准差σE；计算所述标准图像数据S和所述误差图像数据E之间的灰度协方差σSE；通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
Figure BDA0003561029880000051
Figure BDA0003561029880000052
Figure BDA0003561029880000053
其中，l(S,E)表示亮度相似度，c(S,E)表示对比度相似度，s(S,E)表示结构相似度，C1、C2和C3是偏置项。
可选地，校准数据生成模块具体用于：将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据；所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
有益效果：
(1)获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据；通过该方法生成的校准数据高效便捷。
(2)引入轮廓校准值和结构校准值，确定所述距离误差、偏移误差以及角度误差，提高校准模型的精度和普适性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种光场相机校准方法的流程示意图；
图2是本申请实施例提供的校准模型训练的流程示意图；
图3是本申请实施例提供的一种光场相机校准***的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种光场相机校准方法，包括：获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。
其中，该光场相机校准方法及***具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，该光场相机校准方法及***还可以集成在多个电子设备中，比如，该光场相机校准方法及***可以集成在多个服务器中，由多个服务器来实现本申请的光场相机校准方法及***。
可以理解的是，本实施例的该光场相机校准方法及***可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
图1示出了本申请实施例提供的一种光场相机校准方法的流程示意图，请参考图1，一种光场相机校准方法包括如下步骤：
S110、获取训练数据，其中训练数据包括标准图像数据和误差图像数据。
可选地，若训练数据量不足，则可以使用数据增强的方法增加训练数据。
S120、基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型。
其中，距离误差是指拍摄平面与标准图像数据、误差图像数据之间的误差距离；偏移误差是指将标准图像数据进行偏移时，误差图像数据会随误差方向角从0°到360°周期性地变化，可选地，在计算时，根据光场相机在水平方向和垂直方向上的子孔径图像偏移，分别在水平和垂直方向上计算误差；角度误差是指拍摄平面的法向量与标准图像数据之间的误差角。
基于此，建立校准模型，利用距离误差、偏移误差以及角度误差来比较标准图像数据和所述误差图像数据之间的差异。
S130、通过光场相机阵列中的成像相机获取待处理图像数据。
其中，光场相机可以位于显示器后面，相机模块中的每个相机模块被布置为通过显示器捕获图像。光场相机还可以不包括显示器，相机模块位于远程呈现设备控制器相反的方向。
可选地，光场相机中包括成像相机，可以定位成使得当远程呈现设备***作时，光场相机捕获拍摄者周围和/或后面的环境的部分的图像数据。例如，成像相机可以跨越在大多数情况下至少足够大的水平距离，以从拍摄者的左侧和/或右侧周围捕获环境。
可选地，可以通过图像传感器对目标场景下的全景图像进行采集，并使用无线通信技术将数据上传到服务器。
需要说明的是，待处理图像数据可以采用实时采样方式或等效时间采样方式获取，在此不做具体限定。
S140、将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。
可选地，可以首先对所述待处理图像数据进行预处理，如降噪、灰度化处理等，然后将预处理后的图像数据输入训练好的校准模型。
在一种实施方式中，步骤S140可以具体包括如下步骤：
S141、将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据。
S142、所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
由上可知，本申请实施例可以生成高效便捷的校准数据。
图2是本申请实施例提供的校准模型训练的流程示意图，具体包括以下步骤：
S200、获取训练数据，其中训练数据包括标准图像数据和误差图像数据。
S210、获取所述标准图像数据S(N×M)和所述误差图像数据E中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜N，1＜α＜M。
进一步地，通过如下公式计算轮廓特征GSE(i,j)和方向特征ASE(i,j)：
Figure BDA0003561029880000081
Figure BDA0003561029880000091
其中，gS(i,j)和gE(i,j)分别表示标准图像数据和误差图像数据的子轮廓特征，αS(i,j)和αE(i,j)分别表示标准图像数据和误差图像数据的子方向特征。
S220、计算所述标准图像数据S相对于所述误差图像数据E的轮廓特征GSE(i,j)和方向特征ASE(i,j)。
其中，通常客观误差分析分为基于视觉、统计特性和信息内容的分析。视觉通过模拟人类视觉***的感知过程来评估图像质量，其精度较低；统计特性分析忽略了融合图像和基础图像之间的相关性；信息内容主要分析融合图像的信息丰富度，并进行灰度化处理和分布分析；因此本申请引入轮廓特征和方向特征，获取精确的误差分析结果。
在一种实施方式中，可以通过如下公式计算轮廓特征相似度和方向特征相似度：
Figure BDA0003561029880000092
Figure BDA0003561029880000093
其中，
Figure BDA0003561029880000094
表示轮廓特征相似度，
Figure BDA0003561029880000095
表示方向特征相似度，GSE(i,j)表示轮廓特征，Γg、κg、σg、Γα、κα和σα均表示切线参数。
S230、基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值。
在一种实施方式中，可以通过如下公式计算轮廓标准值：
Figure BDA0003561029880000096
其中，
Figure BDA0003561029880000097
表示轮廓特征相似度，
Figure BDA0003561029880000098
表示方向特征相似度。
S240、基于所述轮廓标准值，计算轮廓校准值。
在一种实施方式中，可以通过如下公式计算轮廓校准值：
Figure BDA0003561029880000101
其中，QSE(i,j)表示轮廓标准值，ωs(i,j)表示QSE(i,j)的权重值。
S250、计算标准图像数据和误差图像数据的灰度平均值、灰度标准差以及灰度协方差。
具体地，计算所述标准图像数据S的灰度平均值μS和灰度标准差σS；计算所述误差图像数据E的灰度平均值μE和灰度标准差σE；计算所述标准图像数据S和所述误差图像数据E之间的灰度协方差σSE。
S260、计算亮度相似度、对比度相似度以及结构相似度。
在一种实施方式中，可以通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
Figure BDA0003561029880000102
Figure BDA0003561029880000103
Figure BDA0003561029880000104
其中，l(S,E)表示亮度相似度，c(S,E)表示对比度相似度，s(S,E)表示结构相似度，C1、C2和C3是偏置项。
可见，亮度、对比度和结构相似性越好，图像质量越高。
S270、基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
具体地，通过如下公式计算结构校准值：
SSIM(S，E)＝[l(S，E)]α[c(S，E)]β[s(S，E)]γ
其中，α、β和γ表示权重参数，且α+β+γ＝1。
S280、基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
进一步地，重复步骤S210-S280，训练校准模型。
通过上述误差计算结果，经过多次训练，确定多种误差与光场相机产生的图像数据之间的函数关系，即误差图像函数。
本实施方式通过引入轮廓校准值和结构校准值，确定所述距离误差、偏移误差以及角度误差，能够提高校准模型的精度和普适性。
为实现上述方法类实施例，本实施例还提供一种光场相机校准***，图3示出了本申请实施例提供的一种光场相机校准***的结构示意图，该***包括：
训练数据获取模块310，用于获取训练数据，其中训练数据包括标准图像数据和误差图像数据；
校准模型训练模块320，用于基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；
待处理图像获取模块330，用于通过光场相机阵列中的成像相机获取待处理图像数据；
校准数据生成模块340，用于将所述待处理图像数据输入所述校准模型，生成所述成像相机的校准数据。
可选地，校准模型训练模块320具体用于：计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
可选地，校准模型训练模块320还用于：计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度；基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值；基于所述轮廓标准值，计算轮廓校准值。
可选地，校准模型训练模块320还用于：获取所述标准图像数据S(N×M)和所述误差图像数据E中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜N，1＜α＜M；计算所述标准图像数据S相对于所述误差图像数据E的轮廓特征GSE(i,j)和方向特征ASE(i,j)；通过如下公式计算轮廓特征相似度和方向特征相似度：
Figure BDA0003561029880000121
Figure BDA0003561029880000122
其中，
Figure BDA0003561029880000123
表示轮廓特征相似度，
Figure BDA0003561029880000124
表示方向特征相似度，GSE(i,j)表示轮廓特征，Γg、κg、σg、Γα、κα和σα均表示切线参数。
可选地，校准模型训练模块320还用于：通过如下公式计算轮廓标准值：
Figure BDA0003561029880000125
其中，
Figure BDA0003561029880000126
表示轮廓特征相似度，
Figure BDA0003561029880000127
表示方向特征相似度。
可选地，校准模型训练模块还用于：计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度；基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
可选地，校准模型训练模块320还用于：计算所述标准图像数据S的灰度平均值μS和灰度标准差σS；计算所述误差图像数据E的灰度平均值μE和灰度标准差σE；计算所述标准图像数据S和所述误差图像数据E之间的灰度协方差σSE；通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
Figure BDA0003561029880000131
Figure BDA0003561029880000132
Figure BDA0003561029880000133
其中，l(S,E)表示亮度相似度，c(S,E)表示对比度相似度，s(S,E)表示结构相似度，C1、C2和C3是偏置项。
可选地，校准数据生成模块340具体用于：将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据；所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
由此生成的校准数据高效便捷并且具有更高的精度和普适性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本申请提供的一种光场相机校准方法及***，该方法包括：获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。通过该方法生成的校准数据高效便捷并且具有更高的精度和普适性。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种光场相机校准方法，其特征在于，包括：
获取训练数据，其中训练数据包括标准图像数据和误差图像数据；
基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；
通过光场相机阵列中的成像相机获取待处理图像数据；
将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。
2.根据权利要求1所述的方法，其特征在于，所述标准图像数据和所述误差图像数据之间的距离误差，包括：
计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；
基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
3.根据权利要求2所述的方法，其特征在于，所述计算所述标准图像数据和所述误差图像数据之间的轮廓校准值，包括：
计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度；
基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值；
基于所述轮廓标准值，计算轮廓校准值。
4.根据权利要求3所述的方法，其特征在于，所述计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度，包括：
获取所述标准图像数据S(N×M)和所述误差图像数据E中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜N，1＜α＜M；
计算所述标准图像数据S相对于所述误差图像数据E的轮廓特征GSE(i,j)和方向特征ASE(i,j)；
通过如下公式计算轮廓特征相似度和方向特征相似度：
Figure FDA0003561029870000021
Figure FDA0003561029870000022
其中，
Figure FDA0003561029870000023
表示轮廓特征相似度，
Figure FDA0003561029870000024
表示方向特征相似度，GSE(i,j)表示轮廓特征，Γg、κg、σg、Γα、κα和σα均表示切线参数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值，包括：
通过如下公式计算轮廓标准值：
Figure FDA0003561029870000025
其中，
Figure FDA0003561029870000026
表示轮廓特征相似度，
Figure FDA0003561029870000027
表示方向特征相似度。
6.根据权利要求2所述的方法，其特征在于，所述计算所述标准图像数据和所述误差图像数据之间的结构校准值，包括：
计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度；
基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
7.根据权利要求6所述的方法，其特征在于，所述计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度，包括：
计算所述标准图像数据S的灰度平均值μS和灰度标准差σS；
计算所述误差图像数据E的灰度平均值μE和灰度标准差σE；
计算所述标准图像数据S和所述误差图像数据E之间的灰度协方差σSE；
通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
Figure FDA0003561029870000031
Figure FDA0003561029870000032
Figure FDA0003561029870000033
其中，l(S,E)表示亮度相似度，c(S,E)表示对比度相似度，s(S,E)表示结构相似度，C1、C2和C3是偏置项。
8.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据，包括：
将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据；
所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
9.一种光场相机校准***，其特征在于，包括：
训练数据获取模块，用于获取训练数据，其中训练数据包括标准图像数据和误差图像数据；
校准模型训练模块，用于基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；
待处理图像获取模块，用于通过光场相机阵列中的成像相机获取待处理图像数据；
校准数据生成模块，用于将所述待处理图像数据输入所述校准模型，生成所述成像相机的校准数据。
10.根据权利要求9所述的***，其特征在于，所述标准图像数据和所述误差图像数据之间的距离误差，包括：
计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；
基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
CN202210293143.0A 2022-03-23 2022-03-23 一种光场相机校准方法及*** Pending CN114666573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210293143.0A CN114666573A (zh) 2022-03-23 2022-03-23 一种光场相机校准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210293143.0A CN114666573A (zh) 2022-03-23 2022-03-23 一种光场相机校准方法及***

Publications (1)

Publication Number Publication Date
CN114666573A true CN114666573A (zh) 2022-06-24

Family

ID=82031221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210293143.0A Pending CN114666573A (zh) 2022-03-23 2022-03-23 一种光场相机校准方法及***

Country Status (1)

Country Link
CN (1) CN114666573A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009693A (zh) * 2019-04-01 2019-07-12 清华大学深圳研究生院 一种光场相机的快速盲标定方法
CN111340888A (zh) * 2019-12-23 2020-06-26 首都师范大学 一种无需白图像的光场相机检校方法及***
CN111351446A (zh) * 2020-01-10 2020-06-30 奕目(上海)科技有限公司 一种用于三维形貌测量的光场相机校准方法
US20210021785A1 (en) * 2019-07-18 2021-01-21 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
CN112381894A (zh) * 2021-01-15 2021-02-19 清华大学 一种自适应光场成像校准方法、设备及存储介质
CN114145011A (zh) * 2019-07-18 2022-03-04 微软技术许可有限责任公司 光场相机阵列错误校准的动态检测和校正

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009693A (zh) * 2019-04-01 2019-07-12 清华大学深圳研究生院 一种光场相机的快速盲标定方法
US20210021785A1 (en) * 2019-07-18 2021-01-21 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
CN114145011A (zh) * 2019-07-18 2022-03-04 微软技术许可有限责任公司 光场相机阵列错误校准的动态检测和校正
CN111340888A (zh) * 2019-12-23 2020-06-26 首都师范大学 一种无需白图像的光场相机检校方法及***
CN111351446A (zh) * 2020-01-10 2020-06-30 奕目(上海)科技有限公司 一种用于三维形貌测量的光场相机校准方法
CN112381894A (zh) * 2021-01-15 2021-02-19 清华大学 一种自适应光场成像校准方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110909693B (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
CN105740775B (zh) 一种三维人脸活体识别方法及其装置
US8754963B2 (en) Processing images having different focus
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
WO2006055514A1 (en) Variance-based event clustering
CN111401324A (zh) 图像质量评估方法、装置、存储介质及电子设备
CN112508887B (zh) 一种图像清晰度评价方法、***、存储介质、设备及应用
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
WO2018210308A1 (zh) 图像虚化处理方法、装置、存储介质及电子设备
US10529081B2 (en) Depth image processing method and depth image processing system
US20160245641A1 (en) Projection transformations for depth estimation
CN113421242B (zh) 基于深度学习的焊点外观质量检测方法、装置及终端
CN114841862A (zh) 一种基于亿像素阵列式相机的图像拼接方法及***
US20220392246A1 (en) Posture evaluating apparatus, method and system
US20060204091A1 (en) System and method for analyzing and processing two-dimensional images
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN112132925A (zh) 用于重建水下图像颜色的方法和装置
CN108876845B (zh) 菲涅尔纹中心的确定方法和装置
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN116958795A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
CN114666573A (zh) 一种光场相机校准方法及***
CN113840135A (zh) 色偏检测方法、装置、设备及存储介质
CN114677577B (zh) 一种光场相机的机动车检测方法及***
CN114913316B (zh) 工业设备表计识别的图像分类方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220624