CN117455876A - 场景颜色差异检测方法、装置、电子设备和存储介质 - Google Patents

场景颜色差异检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117455876A
CN117455876A CN202311459383.4A CN202311459383A CN117455876A CN 117455876 A CN117455876 A CN 117455876A CN 202311459383 A CN202311459383 A CN 202311459383A CN 117455876 A CN117455876 A CN 117455876A
Authority
CN
China
Prior art keywords
scene
sampling
color
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311459383.4A
Other languages
English (en)
Inventor
李宇宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantian Microchip Semiconductor Technology Co ltd
Original Assignee
Beijing Tiantian Microchip Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantian Microchip Semiconductor Technology Co ltd filed Critical Beijing Tiantian Microchip Semiconductor Technology Co ltd
Priority to CN202311459383.4A priority Critical patent/CN117455876A/zh
Publication of CN117455876A publication Critical patent/CN117455876A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Generation (AREA)

Abstract

本申请提供了一种场景颜色差异检测方法、装置、电子设备和存储介质，其中，该方法包括：根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取指定视角下的第一渲染图像以及第二渲染图像，计算第一渲染图像的像素点和第二渲染图像中对应像素点之间的像素点颜色差，根据像素点颜色差，从第一渲染图像的像素点中确定第一像素点，以及从第二渲染图像的像素点中确定第二像素点，根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测。实现了基于三维重建模型对不同场景进行颜色差异检测，进而实现对不同场景进行物体差异检测。

Description

场景颜色差异检测方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种场景颜色差异检测方法、装置、电子设备和存储介质。
背景技术
神经辐射场(Neural Radiance Fields，NeRF)实际上是一种隐式的三维场景表示，之所以是隐式的原因在于NeRF不能像点云、网格那样以直接的三维模型让人看见。
将不同相机视角的照片以及对应的该相机视角的外参和内参输入NeRF网络中进行训练，以更新NeRF网络的权重，根据输入的位置坐标和NeRF网络的权重计算得到场景空间中的点的密度值和颜色值，在此基础上，通过对场景进行渲染，从而得到新视角的模拟图。
然而，目前尚未存在基于NeRF网络对不同场景进行颜色差异检测的方案。
发明内容
有鉴于此，本申请实施例提供了一种场景颜色差异检测方法、装置、电子设备和存储介质，以基于NeRF模型对不同场景进行颜色差异检测。
第一方面，本申请实施例提供了一种场景颜色差异检测方法，包括：
根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像；其中，所述第一三维重建模型和所述第二三维重建模型为：具有同一模型坐标系的三维模型；
计算所述第一渲染图像的像素点和所述第二渲染图像中对应像素点之间的像素点颜色差；
根据所述像素点颜色差，从所述第一渲染图像的像素点中确定第一像素点，以及从所述第二渲染图像的像素点中确定第二像素点；
根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测，包括：
获取所述多个第一采样点的权重值和所述多个第二采样点的权重值；
根据所述多个第一采样点的权重值，对所述多个第一采样点的颜色值进行加权运算，得到所述第一像素点的第一加权颜色参数；
根据所述多个第二采样点的权重值，对所述多个第二采样点的颜色值进行加权运算，得到所述第二像素点的第二加权颜色参数；
根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述获取所述多个第一采样点的权重值和所述多个第二采样点的权重值，包括：
根据各第一采样点和下一个第一采样点之间的距离以及所述各第一采样点的密度，获取所述各第一采样点的不透明度；
根据所述各第一采样点的不透明度以及所述各第一采样点在所述第一像素点的采样射线上的累计透明度，计算所述各第一采样点的权重值；
根据各第二采样点和下一个第二采样点之间的距离以及所述各第二采样点的密度，获取所述各第二采样点的不透明度；
根据所述各第二采样点的不透明度以及所述各第二采样点在所述第二像素点的采样射线上的累计透明度，计算所述各第二采样点的权重值。
在一可选的实施方式中，所述根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测，包括：
根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点；
根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测，包括：
分别对所述第一三维重建模型的第一模型空间和所述第二三维重建模型的第二模型空间进行体素划分，得到多个第一空间体素和多个第二空间体素；
根据各第一空间体素中所述第一目标采样点的数量，和各第二空间体素中所述第二目标采样点的数量，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点，包括：
对所述第一加权颜色参数进行行累加处理，得到第一累加颜色参数；
对所述第二加权颜色参数进行行累加处理，得到第二累加颜色参数；
依次计算所述第一累加颜色参数和所述第二累加颜色参数的行差异；
根据所述行差异，从所述多个第一采样点中确定所述第一目标采样点，以及从所述多个第二采样点中确定所述第二目标采样点。
在一可选的实施方式中，所述根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像之前，所述方法还包括：
获取采用目标相机采集的所述第一场景的第一场景图像和所述第二场景的第二场景图像；
对所述第一场景图像和所述第一场景图像进行混合；
采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合；
从所述相机参数集合中确定所述第一场景图像的相机参数和所述第二场景图像的相机参数；
根据所述第一场景图像和所述第一场景图像的相机参数进行模型训练，得到所述第一三维重建模型；
根据所述第二场景图像和所述第二场景图像的相机参数进行模型训练，得到所述第二三维重建模型。
第二方面，本申请实施例还提供了一种场景颜色差异检测装置，包括：
获取模块，用于根据指定视角，采用第一场景的第一三维模型和第二场景的第二三维模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像；其中，所述第一三维模型和所述第二三维模型为：具有同一模型坐标系的三维模型；
计算模块，用于计算所述第一渲染图像的像素点和所述第二渲染图像中对应像素点之间的像素点颜色差；
确定模块，用于根据所述像素点颜色差，从所述第一渲染图像的像素点中确定第一像素点，以及从所述第二渲染图像的像素点中确定第二像素点；
检测模块，用于根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述检测模块，具体用于：
获取所述多个第一采样点的权重值和所述多个第二采样点的权重值；
根据所述多个第一采样点的权重值，对所述多个第一采样点的颜色值进行加权运算，得到所述第一像素点的第一加权颜色参数；
根据所述多个第二采样点的权重值，对所述多个第二采样点的颜色值进行加权运算，得到所述第二像素点的第二加权颜色参数；
根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述检测模块，具体用于：
根据各第一采样点和下一个第一采样点之间的距离以及所述各第一采样点的密度，获取所述各第一采样点的不透明度；
根据所述各第一采样点的不透明度以及所述各第一采样点在所述第一像素点的采样射线上的累计透明度，计算所述各第一采样点的权重值；
根据各第二采样点和下一个第二采样点之间的距离以及所述各第二采样点的密度，获取所述各第二采样点的不透明度；
根据所述各第二采样点的不透明度以及所述各第二采样点在所述第二像素点的采样射线上的累计透明度，计算所述各第二采样点的权重值。
在一可选的实施方式中，所述检测模块，具体用于：
根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点；
根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述检测模块，具体用于：
分别对所述第一三维重建模型的第一模型空间和所述第二三维重建模型的第二模型空间进行体素划分，得到多个第一空间体素和多个第二空间体素；
根据各第一空间体素中所述第一目标采样点的数量，和各第二空间体素中所述第二目标采样点的数量，对所述第一场景和所述第二场景进行颜色差异检测。
在一可选的实施方式中，所述检测模块，具体用于：
对所述第一加权颜色参数进行行累加处理，得到第一累加颜色参数；
对所述第二加权颜色参数进行行累加处理，得到第二累加颜色参数；
依次计算所述第一累加颜色参数和所述第二累加颜色参数的行差异；
根据所述行差异，从所述多个第一采样点中确定所述第一目标采样点，以及从所述多个第二采样点中确定所述第二目标采样点。
在一可选的实施方式中，所述获取模块，还用于：
获取采用目标相机采集的所述第一场景的第一场景图像和所述第二场景的第二场景图像；
所述装置还包括：
混合模块，用于对所述第一场景图像和所述第一场景图像进行混合；
所述计算模块，还用于采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合；
所述确定模块，还用于从所述相机参数集合中确定所述第一场景图像的相机参数和所述第二场景图像的相机参数；
所述装置还包括：
训练模块，用于根据所述第一场景图像和所述第一场景图像的相机参数进行模型训练，得到所述第一三维模型；
所述训练模块，还用于根据所述第二场景图像和所述第二场景图像的相机参数进行模型训练，得到所述第二三维模型。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的场景颜色差异检测方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的场景颜色差异检测方法。
本申请提供了一种场景颜色差异检测方法、装置、电子设备和存储介质，其中，该方法包括：根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取指定视角下的第一渲染图像以及第二渲染图像，计算第一渲染图像的像素点和第二渲染图像中对应像素点之间的像素点颜色差，根据像素点颜色差，从第一渲染图像的像素点中确定第一像素点，以及从第二渲染图像的像素点中确定第二像素点，根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测。实现了基于三维重建模型对不同场景进行颜色差异检测，进而实现对不同场景进行物体差异检测。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的场景颜色差异检测方法的流程示意图一；
图2为本申请实施例提供的场景颜色差异检测方法的流程示意图二；
图3为本申请实施例提供的场景颜色差异检测方法的流程示意图三；
图4为本申请实施例提供的场景颜色差异检测方法的流程示意图四；
图5为本申请实施例提供的场景颜色差异检测方法的流程示意图五；
图6为本申请实施例提供的场景颜色差异检测方法的流程示意图六；
图7为本申请实施例提供的场景颜色差异检测方法的流程示意图七；
图8为本申请实施例提供的场景颜色差异检测装置的结构示意图；
图9为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在介绍本申请的技术方案之前，首先对涉及的专业名称进行解释：
NeRF：即Neural Radiance Fields，实际上是一种隐式的三维场景表示，之所以是隐式的原因在于NeRF不能像点云、网格那样以直接的三维模型让人看见。将不同相机视角的照片以及对应的该相机视角的外参和内参输入NeRF网络中进行训练，以更新NeRF网络的权重，根据输入的位置坐标和NeRF网络的权重计算得到场景空间中的点的密度值和颜色值，在此基础上，通过对场景进行渲染，从而得到新视角的模拟图。
COLMAP：COLMAP是一种通用的运动结构(SfM)和多视图立体(MVS)管道，具有图形和命令行界面。它为有序和无序图像集合的重建提供了广泛的功能。
体素：指3D模型空间中的立方体元素。
图1为本申请实施例提供的场景颜色差异检测方法的流程示意图一，本实施例的执行主体可以为电子设备，如终端、服务器等。
如图1所示，该方法可以包括：
S101、根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取指定视角下的第一渲染图像以及第二渲染图像。
其中，第一场景的第一三维重建模型为第一场景的NeRF模型，第二场景的第二三维重建模型为第二场景的NeRF模型。
第一场景中的物体和第二场景中的物体可能存在差异，为对第一场景和第二场景进行物体差异检测，可以对第一场景和第二场景进行物体外表颜色差异检测，若存在颜色差异，说明第一场景和第二场景存在物体差异，例如第一场景中有物体A，第二场景中没有物体A，或者，第一场景中没有物体B，第二场景中有物体B，或者第一场景中的物体A和第二场景中的物体A颜色不同等。
第一三维重建模型可以是根据第一场景的场景图像以及场景图像的相机参数进行模型训练得到的，第二三维重建模型可以是根据第二场景的场景图像以及场景图像的相机参数进行模型训练得到的，其中，第一三维重建模型和第二三维重建模型为：具有同一模型坐标系的三维模型。
由于在NeRF模型中观察到的物体颜色与观察方向有关，因此在比较第一场景和第二场景的颜色差异时，需要指定渲染视角，即这里的指定视角，指定视角可以理解为相机参数相同，相机参数包括相机内参和相机外参，相机内参用于指示相机坐标系和像素坐标系的关系，相机外参用于指示相机位置、以及相机坐标系和世界坐标系的关系。
也就是说，在同一个渲染视角下，采用第一三维重建模型获取指定视角下的第一渲染图像以及采用第二三维重建模型获取指定视角下的第二渲染图像。
其中，可以指定待获取的第一渲染图像和第二渲染图像的图像分辨率，例如1024*768，根据图像分辨率可以得到第一渲染图像和第二渲染图像的像素点的图像像素坐标，即像素点在第一场景图像对应图像坐标系中的坐标、在第二场景图像对应图像坐标系中的坐标，然后根据指定视角对应的相机参数和第一渲染图像的像素点的图像像素坐标，得到第一渲染图像，以及根据指定视角对应的相机参数和第二渲染图像的像素点的图像像素坐标，得到第二渲染图像。
S102、计算第一渲染图像的像素点和第二渲染图像中对应像素点之间的像素点颜色差。
第一渲染图像中的像素点和第二渲染图像中的像素点一一对应，第一渲染图像的像素点和第二渲染图像中对应像素点之间具有相同的图像像素坐标。
根据第一渲染图像的像素点的颜色值，和第二渲染图像中对应像素点的颜色值，计算第一渲染图像的像素点和第二渲染图像中对应像素点之间的像素点颜色差。
S103、根据像素点颜色差，从第一渲染图像的像素点中确定第一像素点，以及从第二渲染图像的像素点中确定第二像素点。
根据像素点颜色差，从第一渲染图像的像素点中确定第一像素点，以及从第二渲染图像的像素点中确定第二像素点，其中，第一像素点和第二像素点的数量均包括多个，第一像素点和第二像素点一一对应，具有相同的图像像素坐标，且第一像素点和第二像素点的像素点颜色差大于一定阈值。
也就是说，对于第一渲染图像IA和第二渲染图像IB，相同图像像素坐标的两个像素点pA和pB，如果它们的颜色差超过一定阈值T0，则这两个像素点分别为第一像素点和第二像素点。
在一些实施例中，第一渲染图像和第二渲染图像为彩色图像，像素点颜色差可以为像素点的RGB三通道的差的二范数。
S104、根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测。
在生成第一渲染图像的过程中，可将n个采样点的坐标分别输入到第一三维重建模型和第二三维重建模型，得到第一渲染图像的像素点的采样射线上的多个采样点的颜色值，以及第二渲染图像的像素点的采样射线上的多个采样点的颜色值。
从第一渲染图像的像素点的采样射线中确定第一像素点的采样射线，从第二渲染图像的像素点的采样射线中确定第二像素点的采样射线，然后根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测。
其中，第一采样点和第二采样点一一对应，计算各第一采样点和对应第二采样点之间的颜色差，若该颜色差超过一定阈值，则确定第一场景和第二场景之间存在颜色差异，即第一场景和第二场景存在物体差异，若颜色差不超过一定阈值，则确定第一场景和第二场景之间不存在颜色差异，即第一场景和第二场景不存在物体差异。
值得说明的是，若该颜色差超过一定阈值，则确定第一场景中第一采样点对应的空间区域与第二场景中第二采样点对应的空间区域之间存在颜色差异，即，第一场景中该第一采样点对应的空间区域处的物体与第二场景中该第二采样点对应的空间区域处的物体存在差异。
在本实施例的场景颜色差异检测方法中，根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取指定视角下的第一渲染图像以及第二渲染图像，计算第一渲染图像的像素点和第二渲染图像中对应像素点之间的像素点颜色差，根据像素点颜色差，从第一渲染图像的像素点中确定第一像素点，以及从第二渲染图像的像素点中确定第二像素点，根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测。实现了基于三维重建模型对不同场景进行颜色差异检测，进而实现对不同场景进行物体差异检测。
图2为本申请实施例提供的场景颜色差异检测方法的流程示意图二，如图2所示，在一可选的实施方式中，步骤S104，根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测，包括：
S201、获取多个第一采样点的权重值和多个第二采样点的权重值。
对于第一渲染图像中的像素点pA和第二渲染图像中的像素点pB，在渲染时均需要采样m个采样点，即第一采样点和第二采样点的数量均为m，各第一采样点的权重值和对应第二采样点的权重值相同，第一采样点的权重值的权重值可以为WA,m×1，即行为m，列为1的矩阵，第二采样点的权重值的权重值可以为WB,m×1。
其中，第一采样点的权重值用于指示第一采样点的颜色值对第一渲染图像中第一像素点的颜色值的重要程度，第二采样点的权重值用于指示第二采样点的颜色值对第二渲染图像中第二像素点的颜色值的重要程度。
S202、根据多个第一采样点的权重值，对多个第一采样点的颜色值进行加权运算，得到第一像素点的第一加权颜色参数。
获取多个第一采样点的颜色值，根据多个第一采样点的权重值，对多个第一采样点的颜色值进行加权运算，得到第一像素点的第一加权颜色参数，第一加权颜色参数可以为一个加权颜色矩阵CA,m×3，即行为m，列为3的矩阵，可以看出，该加权颜色矩阵的行数为采样射线上的第一采样点的数量，加权颜色矩阵的一个行对应采样射线上的一个第一采样点，列数则对应RGB三通道。
S203、根据多个第二采样点的权重值，对多个第二采样点的颜色值进行加权运算，得到第二像素点的第二加权颜色参数。
获取多个第二采样点的颜色值，根据多个第二采样点的权重值，对多个第二采样点的颜色值进行加权运算，得到第二像素点的第二加权颜色参数，第二加权颜色参数可以为一个加权颜色矩阵CB,m×3，即行为m，列为3的矩阵，可以看出，该加权颜色矩阵的行数为采样射线上的第一采样点的数量，列数则对应RGB三通道。
S204、根据第一加权颜色参数和第二加权颜色参数，对第一场景和第二场景进行颜色差异检测。
确定第一加权颜色参数和第二加权颜色参数之间的加权颜色差，即加权颜色差即第一像素点和第二像素点之间的加权颜色差，然后根据加权颜色差，对第一场景和第二场景进行颜色差异检测。
在一些实施例中，若加权颜色差超过第三阈值，则确定第一场景中多个第一采样点对应的空间区域和第二场景中多个第二采样点对应的空间区域之间存在颜色差异。
在另一些实施例中，依次计算CA,m×3和CB,m×3的行差异以确定第一次超过阈值T1的第一采样点和第二采样点，即行差异可以理解为计算RGB三通道的差的二范数，然后确定第一场景中第一次超过阈值T1的第一采样点对应的空间区域、和第二场景中第一次超过阈值T1的第二采样点对应的空间区域之间存在颜色差异。
值得说明的是，以上仅仅为根据采样点确定场景颜色差异的可能的实现方式，在实际应用中，包括但不限于以上方式。
在本实施例的场景颜色差异检测方法中，获取多个第一采样点的权重值和多个第二采样点的权重值，根据多个第一采样点的权重值，对多个第一采样点的颜色值进行加权运算，得到第一像素点的第一加权颜色参数，根据多个第二采样点的权重值，对多个第二采样点的颜色值进行加权运算，得到第二像素点的第二加权颜色参数，根据第一加权颜色参数和第二加权颜色参数，对第一场景和第二场景进行颜色差异检测。实现了在三维重建模型的基础上，基于采样点对不同场景进行颜色差异检测，进而实现对不同场景进行物体差异检测。
图3为本申请实施例提供的场景颜色差异检测方法的流程示意图三，在一可选的实施方式中，步骤S201，获取多个第一采样点的权重值和多个第二采样点的权重值，可以包括：
S301、根据各第一采样点和下一个第一采样点之间的距离以及各第一采样点的密度，获取各第一采样点的不透明度。
其中，下一个第一采样点为第一像素点的采样射线的射线方向上多个第一采样点中各第一采样点的下一个第一采样点，各第一采样点和下一个第一采样点之间的距离δi可以表示为：δi＝ti+1-ti，ti为第i个采样点在世界坐标系的位置，ti+1为第i+1个采样点在世界坐标系的位置。
在生成第一渲染图像的过程中，可将n个采样点的坐标分别输入到第一三维重建模型和第二三维重建模型，得到第一渲染图像的像素点的采样射线上的多个采样点的密度值，以及第二渲染图像的像素点的采样射线上的多个采样点的密度值。
获取各第一采样点的密度σi，根据各第一采样点和下一个第一采样点之间的距离以及各第一采样点的密度σi，获取各第一采样点的不透明度，各第一采样点的不透明度可以表示为：(1-exp(-σi·δi))。
S302、根据各第一采样点的不透明度以及各第一采样点在第一像素点的采样射线上的累计透明度，计算各第一采样点的权重值。
各第一采样点在第一像素点的采样射线上的累计透明度可以为采样射线的射线方向上各第一采样点之前的第一采样点的累计透明度，其中，各第一采样点的权重值和各第一采样点在第一像素点的采样射线上的累计透明度相关。
值得说明的是，若累计透明度较大，说明对后面的第一采样点造成较大遮挡，则会影响第一采样点的权重值。
各第一采样点在第一像素点的采样射线上的累计透明度可以表示为：各第一采样点的权重值可以为各第一采样点的不透明度以及各第一采样点在第一像素点的采样射线上的累计透明度的乘积。
S303、根据各第二采样点和下一个第二采样点之间的距离以及各第二采样点的密度，获取各第二采样点的不透明度。
其中，下一个第二采样点为第二像素点的采样射线的射线方向上多个第一采样点中各第一采样点的下一个第一采样点。
S304、根据各第二采样点的不透明度以及各第二采样点在第二像素点的采样射线上的累计透明度，计算各第二采样点的权重值。
各第二采样点在第二像素点的采样射线上的累计透明度可以为采样射线的射线方向上各第二采样点之前的第二采样点的累计透明度，其中，各第二采样点的权重值和各第二采样点在第一像素点的采样射线上的累计透明度相关。
各第二采样点的权重值可以为各第二采样点的不透明度以及各第二采样点在第二像素点的采样射线上的累计透明度的乘积。
步骤S303-S304的实现过程，与上述步骤S301-S302确定各第一采样点的不透明度的计算方式类似，在此不再赘述。
在本实施例的场景颜色差异检测方法中，在计算各第一采样点的权重值和各第二采样点的权重值时，综合考虑采样点自身的不透明度以及累计透明度，提高了采样点的权重值的准确度，进而提高了颜色差异检测的准确度，以及物体差异检测的准确度。
图4为本申请实施例提供的场景颜色差异检测方法的流程示意图四，如图4所示，在一可选的实施方式中，步骤S204、根据第一加权颜色参数和第二加权颜色参数，对第一场景和第二场景进行颜色差异检测，可以包括：
S401、根据第一加权颜色参数和第二加权颜色参数，从多个第一采样点中确定第一目标采样点，并从多个第二采样点中确定第二目标采样点。
第一加权颜色参数和第二加权颜色参数均为行为m，列为3的矩阵，行对应第一采样点和第二采样点，列对应RGB三通道，例如第一加权颜色参数的第一行对应第一个第一采样点的RGB，第二加权颜色参数的第一行对应第一个第二采样点的RGB，依次类推。
依次计算第一加权颜色参数和第二加权颜色的行差异，例如，第一加权颜色参数的第一行和第二加权颜色参数的第一行的行差异、第一加权颜色参数的第二行和第二加权颜色参数的第二行的行差异，依次类推，确定第一次行差异超过阈值T1的第一采样点和第二采样点，并确定第一次行差异超过阈值T1的第一采样点和第二采样点为第一目标采样点和第二目标采样点。
值得说明的是，行差异可以理解为计算RGB三通道的差的二范数。
S402、根据第一目标采样点和第二目标采样点，对第一场景和第二场景进行颜色差异检测。
其中，第一采样点和第二采样点一一对应，确定第一场景中第一目标采样点对应的空间区域和第二场景中第二目标采样点对应的空间区域之间存在颜色差异，即第一场景中第一目标采样点对应的空间区域处的物体和第二场景中第二目标采样点对应的空间区域处的物体存在差异。
在本实施例的场景颜色差异检测方法中，通过确定第一目标采样点和第二目标采样点，实现了在三维重建模型的基础上，基于采样点对不同场景进行颜色差异检测，进而实现对不同场景进行物体差异检测。
图5为本申请实施例提供的场景颜色为差异检测方法的流程示意图五如图5所示，在一可选的实施方式中，步骤S402、根据第一目标采样点和第二目标采样点，对第一场景和第二场景进行颜色差异检测，可以包括：
S501、分别对第一三维重建模型的第一模型空间和第二三维重建模型的第二模型空间进行体素划分，得到多个第一空间体素和多个第二空间体素。
对第一模型空间进行体素划分，得到多个第一空间体素，对第二模型空间进行体素划分，得到多个第二空间体素，其中，第一空间体素和第二空间体素的数量均可以为n3，表示第一模型空间存在n3个第一空间体素，第二模型空间存在n3个第二空间体素，即在每个维度上的第一空间体素的个数为n，每个维度上的第二空间体素的个数为n。
其中，第一模型空间和第二模型空间的3D坐标可以为x,y,z∈(-b,+b)，对于各第一空间体素和各第二空间体素，中心点的三维坐标为(xi,yi,zi)，i是体素的序号，i＝1,2,…,n3。其中，各第一空间体素和各第二空间体素的边长为s＝2b/n。
S502、根据各第一空间体素中第一目标采样点的数量，和各第二空间体素中第二目标采样点的数量，对第一场景和第二场景进行颜色差异检测。
获取各第一空间体素中第一目标采样点的数量，以及各第二空间体素中第二目标采样点的数量，其中，对于相同位置的第一空间体素和第二空间体素而言，该第一空间体素中第一目标采样点的数量和该第二空间体素中第二目标采样点的数量相同。
也就是说，在遍历完第一渲染图像和第二渲染图像中的所有像素坐标后，可得到多个第一目标采样点和多个第二目标采样点，根据位置关系，将多个第一目标采样点映射到划分好的第一空间体素中，将多个第二目标采样点映射到划分好的第二空间体素中，各空间体素会对应数量不等的目标采样点。
确定第一目标采样点的数量大于一定阈值T2的目标第一空间体素，以及第二目标采样点的数量超过一定阈值T2的第二空间体素，目标第一空间体素在第一模型空间的位置和该第二空间体素位置在第二模型空间的位置一致，则第一场景中目标第一空间体素对应的空间区域与第二场景中对应的第二空间体素对应的空间区域存在颜色差异，即，第一场景中目标第一空间体素对应的空间区域处的物体与第二场景中对应的第二空间体素对应的空间区域处的物体存在差异。
在一可选的实施方式中，该方法还可以包括：
输出目标第一空间体素对应的空间区域和对应的第二空间体素对应的空间区域存在颜色差异的指示信息。
该指示信息用于指示第一场景中第一空间体素对应的空间区域和第二场景中对应的第二空间体素对应的空间区域存在颜色差异，即第一场景中第一空间体素对应的空间区域处的物体和第二场景中对应的第二空间体素对应的空间区域处的物体存在差异。
其中，还可以对目标第一空间体素对应的空间区域和对应的第二空间体素对应的空间区域进行标记，以指示存在颜色差异，例如，将目标第一空间体素对应的空间区域以及对应的第二空间体素对应的空间区域均标记为红色，以提示用户存在颜色差异的空间区域。
在本实施例的场景颜色差异检测方法中，通过体素划分，基于空间体素内目标采样点的数量进行不同场景的颜色差异检测，提高了颜色差异检测准确度，进而提高了对不同场景进行物体差异检测的准确度。
图6为本申请实施例提供的场景颜色差异检测方法的流程示意图六，如图6所示，在一可选的实施方式中，步骤S401，根据第一加权颜色参数和第二加权颜色参数，从多个第一采样点中确定第一目标采样点，并从多个第二采样点中确定第二目标采样点，可以包括：
S601、对第一加权颜色参数进行行累加处理，得到第一累加颜色参数。
第一加权颜色参数和第二加权颜色参数均为行为m，列为3的矩阵，行对应第一采样点和第二采样点，列对应RGB三通道，例如第一加权颜色参数的第一行对应第一个第一采样点的RGB，第二加权颜色参数的第一行对应第一个第二采样点的RGB，依次类推。
对第一加权颜色参数进行行累加处理，得到第一累加颜色参数，累加处理可以理解为第一累加颜色参数中每一行储存第一加权颜色参数中的该行以及该行之前所有行的值的总和，例如，第一累加颜色参数中第二行的值为第一加权颜色参数中第一行和第二行的值之和，第一累加颜色参数中第三行的值为第一加权颜色参数中第一行、第二行以及第三行的值之和，依次类推，可得到第一累加颜色参数DA,m×3。
S602、对第二加权颜色参数进行行累加处理，得到第二累加颜色参数。
对第二加权颜色参数进行行累加处理，得到第二累加颜色参数，累加处理可以理解为第二累加颜色参数中每一行储存第二加权颜色参数中的该行以及该行之前所有行的值的总和，例如，第二累加颜色参数中第二行的值为第二加权颜色参数中第一行和第二行的值之和，第二累加颜色参数中第三行的值为第二加权颜色参数中第一行、第二行以及第三行的值之和，依次类推，可得到第二累加颜色参数DB,m×3。
S603、依次计算第一累加颜色参数和第二累加颜色参数的行差异，并根据行差异，从多个第一采样点中确定第一目标采样点，以及从多个第二采样点中确定第二目标采样点。
依次计算第一累加颜色参数和第二累加颜色参数的行差异，例如，第一累加颜色参数的第一行和第二累加颜色参数的第一行的差值，第一累加颜色参数的第二行和第二累加颜色参数的第二行的差值，依次类推。值得说明的是，行差异可以理解为计算RGB三通道的差的二范数，以第一行的行差异为例，分别计算第一累加颜色参数的第一行和第二累加颜色参数的第一行的RGB三通道的差值，然后确定RGB三通道的差的二范数为第一行的行差异。
其中，第一累加颜色参数和第二累加颜色参数的行对应第一采样点和第二采样点，列对应RGB三通道，从第一累加颜色参数和第二累加颜色参数中分别确定第一次行差异超过预设阈值T1的第一目标行和第二目标行，将第一目标行对应的第一采样点作为第一目标采样点，将第二目标行对应的第二采样点作为第二目标采样点。
在本实施例的场景颜色差异检测方法中，通过比对累加颜色参数的行差异，确定目标采样点。提高了目标采样点的确定准确度，进而提高了颜色差异检测的准确度，以及物体差异检测的准确度。
图7为本申请实施例提供的场景颜色差异检测方法的流程示意图七，如图7所示，在一可选的实施方式中，步骤S101，根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取指定视角下的第一渲染图像以及第二渲染图像之前，该方法还可以包括：
S701、获取采用目标相机采集的第一场景的第一场景图像和第二场景的第二场景图像。
第一场景的第一场景图像和第二场景的第二场景图像为采用目标相机采集的场景图像，第一场景图像的数量为多个，第二场景图像的数量为多个。
多个第一场景图像可以为采用目标相机从不同视角对第一场景进行拍摄得到的，多个第二场景图像可以为采用目标相机从不同视角对第二场景进行拍摄得到的。
S702、对第一场景图像和第一场景图像进行混合。
S703、采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合。
S704、从相机参数集合中确定第一场景图像的相机参数和第二场景图像的相机参数。
对第一场景图像和第二场景图像进行混合，得到混合后的图像，采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合，相机参数集合包括：第一场景图像的相机参数以及第二场景图像的相机参数。
其中，第一场景图像的相机参数包括：第一场景图像的相机外参和相机内参，第二场景图像的相机参数包括：第二场景图像的相机外参和相机内参。
其中，相机内参用于指示相机坐标系和像素坐标系的关系，相机外参用于指示相机位置、以及相机坐标系和世界坐标系的关系。
值得说明的是，预设的相机参数计算工具可以为COLMAP。
S705、根据第一场景图像和第一场景图像的相机参数进行模型训练，得到第一三维重建模型。
S706、根据第二场景图像和第二场景图像的相机参数进行模型训练，得到第二三维重建模型。
在本实施例的场景颜色差异检测方法中，对第一场景图像和第一场景图像进行混合，采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合，从相机参数集合中确定第一场景图像的相机参数和第二场景图像的相机参数，根据第一场景图像和第一场景图像的相机参数进行模型训练，得到第一三维重建模型，根据第二场景图像和第二场景图像的相机参数进行模型训练，得到第二三维重建模型。这样可使第一三维重建模型和第二三维重建模型处于同一模型坐标系下，便于后续基于同一模型坐标系下的第一三维重建模型和第二三维重建模型进行场景密度差异检测，进而实现对不同场景进行物体差异检测。
基于同一发明构思，本申请实施例中还提供了与场景颜色差异检测方法对应的场景颜色差异检测装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述场景颜色差异检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图8为本申请实施例提供的场景颜色差异检测装置的结构示意图，该装置可以集成在电子设备中。
如图8所示，该装置可以包括：
获取模块801，用于根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取指定视角下的第一渲染图像以及第二渲染图像；其中，所述第一三维重建模型和所述第二三维重建模型为：具有同一模型坐标系的三维模型；
计算模块802，用于计算第一渲染图像的像素点和第二渲染图像中对应像素点之间的像素点颜色差；
确定模块803，用于根据像素点颜色差，从第一渲染图像的像素点中确定第一像素点，以及从第二渲染图像的像素点中确定第二像素点；
检测模块804，用于根据第一像素点的采样射线上多个第一采样点的颜色值和第二像素点的采样射线上多个第二采样点的颜色值，对第一场景和第二场景进行颜色差异检测。
在一可选的实施方式中，检测模块804，具体用于：
获取多个第一采样点的权重值和多个第二采样点的权重值；
根据多个第一采样点的权重值，对多个第一采样点的颜色值进行加权运算，得到第一像素点的第一加权颜色参数；
根据多个第二采样点的权重值，对多个第二采样点的颜色值进行加权运算，得到第二像素点的第二加权颜色参数；
根据第一加权颜色参数和第二加权颜色参数，对第一场景和第二场景进行颜色差异检测。
在一可选的实施方式中，检测模块804，具体用于：
根据各第一采样点和下一个第一采样点之间的距离以及各第一采样点的密度，获取各第一采样点的不透明度；
根据各第一采样点的不透明度以及各第一采样点在第一像素点的采样射线上的累计透明度，计算各第一采样点的权重值；
根据各第二采样点和下一个第二采样点之间的距离以及各第二采样点的密度，获取各第二采样点的不透明度；
根据各第二采样点的不透明度以及各第二采样点在第二像素点的采样射线上的累计透明度，计算各第二采样点的权重值。
在一可选的实施方式中，检测模块804，具体用于：
根据第一加权颜色参数和第二加权颜色参数，从多个第一采样点中确定第一目标采样点，并从多个第二采样点中确定第二目标采样点；
根据第一目标采样点和第二目标采样点，对第一场景和第二场景进行颜色差异检测。
在一可选的实施方式中，检测模块804，具体用于：
分别对第一三维重建模型的第一模型空间和第二三维重建模型的第二模型空间进行体素划分，得到多个第一空间体素和多个第二空间体素；
根据各第一空间体素中第一目标采样点的数量，和各第二空间体素中第二目标采样点的数量，对第一场景和第二场景进行颜色差异检测。
在一可选的实施方式中，检测模块804，具体用于：
对第一加权颜色参数进行行累加处理，得到第一累加颜色参数；
对第二加权颜色参数进行行累加处理，得到第二累加颜色参数；
依次计算第一累加颜色参数和第二累加颜色参数的行差异；
根据行差异，从多个第一采样点中确定第一目标采样点，以及从多个第二采样点中确定第二目标采样点。
在一可选的实施方式中，获取模块801，还用于：
获取采用目标相机采集的所述第一场景的第一场景图像和所述第二场景的第二场景图像；
该装置还包括：
混合模块805，用于对所述第一场景图像和所述第一场景图像进行混合；
计算模块802，还用于采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合；
确定模块803，还用于从所述相机参数集合中确定所述第一场景图像的相机参数和所述第二场景图像的相机参数；
该装置还包括：
训练模块806，用于根据第一场景图像和第一场景图像的相机参数进行模型训练，得到第一三维重建模型；
训练模块806，还用于根据第二场景图像和第二场景图像的相机参数进行模型训练，得到第二三维重建模型。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
图9为本申请实施例提供的电子设备的结构示意图，如图9所示，该设备可以包括：包括：处理器901、存储器902和总线903，存储器902存储有处理器901可执行的机器可读指令，当电子设备运行时，处理器901与存储器902之间通过总线903通信，处理器901执行机器可读指令，以执行上述场景颜色差异检测方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行，所述处理器执行上述场景颜色差异检测方法。
在本申请实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它所述的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种场景颜色差异检测方法，其特征在于，包括：
根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像；其中，所述第一三维重建模型和所述第二三维重建模型为：具有同一模型坐标系的三维模型；
计算所述第一渲染图像的像素点和所述第二渲染图像中对应像素点之间的像素点颜色差；
根据所述像素点颜色差，从所述第一渲染图像的像素点中确定第一像素点，以及从所述第二渲染图像的像素点中确定第二像素点；
根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测，包括：
获取所述多个第一采样点的权重值和所述多个第二采样点的权重值；
根据所述多个第一采样点的权重值，对所述多个第一采样点的颜色值进行加权运算，得到所述第一像素点的第一加权颜色参数；
根据所述多个第二采样点的权重值，对所述多个第二采样点的颜色值进行加权运算，得到所述第二像素点的第二加权颜色参数；
根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测。
3.根据权利要求2所述的方法，其特征在于，所述获取所述多个第一采样点的权重值和所述多个第二采样点的权重值，包括：
根据各第一采样点和下一个第一采样点之间的距离以及所述各第一采样点的密度，获取所述各第一采样点的不透明度；
根据所述各第一采样点的不透明度以及所述各第一采样点在所述第一像素点的采样射线上的累计透明度，计算所述各第一采样点的权重值；
根据各第二采样点和下一个第二采样点之间的距离以及所述各第二采样点的密度，获取所述各第二采样点的不透明度；
根据所述各第二采样点的不透明度以及所述各第二采样点在所述第二像素点的采样射线上的累计透明度，计算所述各第二采样点的权重值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一加权颜色参数和所述第二加权颜色参数，对所述第一场景和所述第二场景进行颜色差异检测，包括：
根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点；
根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一目标采样点和所述第二目标采样点，对所述第一场景和所述第二场景进行颜色差异检测，包括：
分别对所述第一三维重建模型的第一模型空间和所述第二三维重建模型的第二模型空间进行体素划分，得到多个第一空间体素和多个第二空间体素；
根据各第一空间体素中所述第一目标采样点的数量，和各第二空间体素中所述第二目标采样点的数量，对所述第一场景和所述第二场景进行颜色差异检测。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一加权颜色参数和所述第二加权颜色参数，从所述多个第一采样点中确定第一目标采样点，并从所述多个第二采样点中确定第二目标采样点，包括：
对所述第一加权颜色参数进行行累加处理，得到第一累加颜色参数；
对所述第二加权颜色参数进行行累加处理，得到第二累加颜色参数；
依次计算所述第一累加颜色参数和所述第二累加颜色参数的行差异，并根据所述行差异，从所述多个第一采样点中确定所述第一目标采样点，以及从所述多个第二采样点中确定所述第二目标采样点。
7.根据权利要求1所述的方法，其特征在于，所述根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像之前，所述方法还包括：
获取采用目标相机采集的所述第一场景的第一场景图像和所述第二场景的第二场景图像；
对所述第一场景图像和所述第一场景图像进行混合；
采用预设的相机参数计算工具，对混合后的图像进行处理，得到相机参数集合；
从所述相机参数集合中确定所述第一场景图像的相机参数和所述第二场景图像的相机参数；
根据所述第一场景图像和所述第一场景图像的相机参数进行模型训练，得到所述第一三维重建模型；
根据所述第二场景图像和所述第二场景图像的相机参数进行模型训练，得到所述第二三维重建模型。
8.一种场景颜色差异检测装置，其特征在于，包括：
获取模块，用于根据指定视角，采用第一场景的第一三维重建模型和第二场景的第二三维重建模型，分别获取所述指定视角下的第一渲染图像以及第二渲染图像；其中，所述第一三维重建模型和所述第二三维重建模型为：具有同一模型坐标系的三维模型；
计算模块，用于计算所述第一渲染图像的像素点和所述第二渲染图像中对应像素点之间的像素点颜色差；
确定模块，用于根据所述像素点颜色差，从所述第一渲染图像的像素点中确定第一像素点，以及从所述第二渲染图像的像素点中确定第二像素点；
检测模块，用于根据所述第一像素点的采样射线上多个第一采样点的颜色值和所述第二像素点的采样射线上多个第二采样点的颜色值，对所述第一场景和所述第二场景进行颜色差异检测。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1至7任一项所述的场景颜色差异检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1至7任一项所述的场景颜色差异检测方法。
CN202311459383.4A 2023-11-03 2023-11-03 场景颜色差异检测方法、装置、电子设备和存储介质 Pending CN117455876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311459383.4A CN117455876A (zh) 2023-11-03 2023-11-03 场景颜色差异检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311459383.4A CN117455876A (zh) 2023-11-03 2023-11-03 场景颜色差异检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117455876A true CN117455876A (zh) 2024-01-26

Family

ID=89592629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311459383.4A Pending CN117455876A (zh) 2023-11-03 2023-11-03 场景颜色差异检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117455876A (zh)

Similar Documents

Publication Publication Date Title
US9805505B2 (en) Estimation of object properties in 3D world
EP1303839B1 (en) System and method for median fusion of depth maps
WO2018119889A1 (zh) 三维场景定位方法和装置
WO2020039166A1 (en) Method and system for reconstructing colour and depth information of a scene
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
US9171393B2 (en) Three-dimensional texture reprojection
CN106780610B (zh) 一种位置定位方法及装置
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
KR20180008575A (ko) 정보 처리 장치, 방법, 및 프로그램
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
CN107067441B (zh) 摄像机标定方法及装置
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN111861873B (zh) 仿真图像的生成方法和装置
CN117455876A (zh) 场景颜色差异检测方法、装置、电子设备和存储介质
CN115457206A (zh) 三维模型生成方法、装置、设备及存储介质
CN113126944B (zh) 深度图的显示方法、显示装置、电子设备及存储介质
CN115830202A (zh) 一种三维模型渲染方法和装置
CN111739106B (zh) 角点编码方法、标定方法、装置、电子设备和存储介质
CN117557513A (zh) 场景密度差异检测方法、装置、电子设备和存储介质
CN116091751B (zh) 一种点云分类方法、装置、计算机设备及存储介质
CN108805827B (zh) 一种图像卷积响应值的简化方法
CN117629072A (zh) 三维场景测距方法、装置、设备及介质
CN107978015B (zh) 一种自适应实时三维体绘制的加速方法和装置
CN117475070A (zh) 图像渲染方法、装置、终端设备及存储介质
CN117475071A (zh) 标记对象的渲染方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 8002, Floor 8, No. 36, Haidian West Street, Haidian District, Beijing, 100089

Applicant after: Beijing Tiantian Zhixin Semiconductor Technology Co.,Ltd.

Address before: 8002, Floor 8, No. 36, Haidian West Street, Haidian District, Beijing, 100089

Applicant before: Beijing Tiantian Microchip Semiconductor Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information