CN104205826A - 用于重建高密度三维图像的设备和方法 - Google Patents

用于重建高密度三维图像的设备和方法 Download PDF

Info

Publication number
CN104205826A
CN104205826A CN201380018460.0A CN201380018460A CN104205826A CN 104205826 A CN104205826 A CN 104205826A CN 201380018460 A CN201380018460 A CN 201380018460A CN 104205826 A CN104205826 A CN 104205826A
Authority
CN
China
Prior art keywords
image
area
characteristic point
rendering
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380018460.0A
Other languages
English (en)
Other versions
CN104205826B (zh
Inventor
裴纯敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Han Huajiqiren Zhu
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN104205826A publication Critical patent/CN104205826A/zh
Application granted granted Critical
Publication of CN104205826B publication Critical patent/CN104205826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于重建高密度三维(3D)图像的设备和方法。所述方法包括：通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；从分割的第一区域检测平面；对分割的第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。

Description

用于重建高密度三维图像的设备和方法
技术领域
与示例性实施例一致的设备和方法涉及一种多相机***，更具体地，涉及通过针对通过图像匹配产生的初始三维图像执行平面检测和平滑，重建高密度三维图像。
背景技术
通常，可在两方面定义三维(3D)图像。首先，使用深度信息来构建3D图像，使得用户可感觉到图像中的一部分跳出屏幕。这里，深度信息是指关于相机与二维(2D)图像之间的距离的信息，表示为图像。因此，通过使用深度信息，2D图像可被表示为3D图像。其次，构建三维图像主要用于向用户提供各种视点以提供一种现实感。
发明内容
技术问题
可通过使用双目相机***或多视点相机***来获得立体图像。双目相机***使用通过使用两个相机捕获的左图像和右图像来向用户提供立体感。多视点相机***通过在空间上合成使用两个或更多个相机捕获的图像，来向用户提供各种视点。
技术方案
一个或更多个示例性实施例提供一种用于重建高密度三维(3D)图像的设备和方法，其中，所述设备和方法通过针对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑来重建高密度3D图像。
根据示例性实施例的一方面，提供了一种重建高密度3D图像的方法，所述方法包括：通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D中的多个特征点，从初始3D图像搜索第一区域和第二区域；从第一区域检测平面；对第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。
有益效果
如上所述，根据示例性实施例，对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑，从而将初始3D图像重建为高密度3D图像。
附图说明
图1是示出根据示例性实施例的高密度三维(3D)图像重建设备的框图；
图2是示出根据示例性实施例的图1的图像匹配单元的详细框图；
图3示出根据示例性实施例的分别使用第一相机和第二相机捕获的图1的第一图像和第二图像；
图4示出根据示例性实施例的检测到特征点的图1的第一图像和第二图像；
图5是用于解释根据示例性实施例的用于图1的图像匹配的对极几何(epipolar geometry)的示意图；
图6是用于解释根据示例性实施例的关于用于图1的图像匹配的对极几何的约束条件的示意图；
图7是示出根据示例性实施例的图1的图像匹配的结果的拍摄图像；
图8是用于解释根据示例性实施例的计算图1的匹配后的图像的距离信息的示意图；
图9示出根据示例性实施例的图1的初始3D图像；
图10是用于解释根据示例性实施例的用于对图1的初始3D图像进行分割的图割算法的示意图；
图11是示出根据示例性实施例的对来自图1的输入图像的任意图像进行分割的结果的示意图；
图12是用于解释根据示例性实施例的图1的平面检测的曲线图；
图13示出根据示例性实施例的图1的初始第一图像和第二图像以及从初始第一图像和第二图像重建的高密度3D图像；
图14是示出根据示例性实施例的重建高密度3D图像的方法的流程图；
图15是示出根据示例性实施例的图14的图像匹配操作的流程图。
最佳实施方式
根据示例性实施例的一方面，提供了一种重建高密度3D图像的方法，所述方法包括：通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；从第一区域检测平面；对第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。
所述方法还可包括：在产生初始3D图像后，将第一图像和第二图像中的一个图像分割为多个部分；将分割信息应用于初始3D图像。
在搜索第一区域和第二区域的步骤中包括：搜索包括数量上等于或多于设定数量的特征点的至少一个第一区域。
在搜索第一区域和第二区域的步骤中还包括：搜索包括数量上少于所述设定数量的特征点的至少一个第二区域。
在滤波的步骤中包括：针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
在产生初始3D图像的步骤中包括：从第一图像和第二图像提取特征点；对第一图像的特征点和第二图像的特征点进行匹配；计算匹配的特征点的3D坐标；产生初始3D图像。
在对特征点进行匹配的步骤中包括：在第一图像中设置包括特征点的第一窗口；搜索亮度与第一窗口的亮度相差最小程度的第二窗口；在第二窗口中的至少一个特征点之中，选择与第一窗口中的特征点最相似的匹配特征点。
在计算3D坐标的步骤中包括：计算关于第一图像和第二图像的匹配的特征点的二维(2D)坐标；通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
在计算3D坐标的步骤中包括：计算关于第一图像和第二图像的匹配的特征点的二维(2D)坐标；通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
在产生初始3D图像的步骤中包括：从第一图像和第二图像提取特征点；对第一图像的特征点和第二图像的特征点进行匹配；计算匹配的特征点的3D坐标；使用匹配的特征点的3D坐标产生初始3D图像。
在滤波的步骤中包括：针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
在搜索第一区域和第二区域的步骤中包括：搜索包括等于或多于设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
根据另一示例性实施例的一方面，提供了一种用于重建高密度3D图像的设备，所述设备包括：图像匹配单元，对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配以产生初始3D图像；3D图像重建单元，将初始3D图像分割为第一区域和第二区域以从第一区域检测平面，对第二区域进行滤波，并将从第一区域检测到的平面和滤波后的第二区域进行合成以产生高密度3D图像。
图像匹配单元可包括：特征点提取单元，从第一图像和第二图像提取特征点；特征点匹配单元，对第一图像的特征点和第二图像的特征点进行匹配；3D坐标计算单元，计算匹配的特征点的3D坐标；初始3D图像产生单元，通过使用匹配的特征点的3D坐标来产生初始3D图像。
3D图像重建单元可包括：分割单元，对第一图像和第二图像中的一个图像进行分割，并将关于分割的信息应用于初始3D图像；搜索单元，通过使用包括在分割的图像中的特征点的数量从分割的图像搜索第一区域和第二区域；平面检测单元，从第一区域检测平面；滤波单元，对第二区域进行滤波。
搜索单元搜索包括设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
滤波单元对第二区域进行滤波，以在与特征点的Z坐标相应的深度相对于边界不连续的同时对所述深度进行平滑。
3D图像重建单元包括：分割单元，对第一图像和第二图像中的一个图像进行分割，并将关于分割的信息应用于初始3D图像；搜索单元，通过使用包括在分割的图像中的特征点的数量从分割的图像搜索第一区域和第二区域；平面检测单元，从第一区域检测平面；滤波单元，对第二区域进行滤波。
根据另一示例性实施例的一方面，提供了一种计算机可读记录介质，所述介质具有包含于其上的用于执行重建高密度3D图像的方法的程序，其中，所述方法包括：通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；从第一区域检测平面；对第二区域进行滤波；将检测到的平面和滤波后的第二区域进行合成。
具体实施方式
诸如“…中的至少一个”的表述当出现在一列元素之后时，修饰整列元素而不是修饰该列中的单个元素。
尽管本发明构思允许各种改变和众多实施例，但是将在附图中示出并在撰写的描述中详细描述特定示例性实施例。然而，这不意在将本发明构思限制于特定的实施模式，并且将理解，不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物包括在本发明构思中。在描述中，当认为现有技术的某些详细解释可能不必要地模糊本发明的本质时，省略现有技术的某些详细解释。
尽管诸如“第一”、“第二”等的术语可被用于描述各种组件，但这样的组件不应受限于以上术语。以上术语仅用于区分一个组件与另一组件。
本说明书中使用的术语仅用于描述特定示例性实施例，并不意在限制本发明构思。除非以单数形式使用的表述在上下文中具有明显不同的意思，否则以单数形式使用的表述包括复数的表述。在本说明书中，将理解诸如“包括”或“具有”等的术语意在指示存在说明书中所公开的特征、数量、步骤、动作、组件、部件或上述项的组合，而不意在排除可存在或可添加一个或更多个其他特征、数量、步骤、动作、组件、部件或上述项的组合的可能性。
可依据功能块组件和各种处理步骤来描述本发明构思。这样的功能块可通过被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，本发明构思可采用各种集成电路组件(例如，存储器元件、处理元件、逻辑元件、查找表等)，其中，所述集成电路组件可在一个或更多个微处理器或其它控制装置的控制下实现多种功能。类似地，在使用软件编程或软件元件实现本发明构思的元件时，可使用任意编程或脚本语言(诸如C、C++、Java、汇编语言等)与各种算法来实现本发明，其中，所述各种算法用数据结构、对象、处理、例程或其它编程元件的任意组合来实现。可在一个或更多个处理器上执行的算法中实现各功能方面。此外，本发明构思可采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的现有技术。词语“机制”和“元件”被广泛使用，并且不限于机械或物理实施例，而是可包括与处理器等结合的软件例程。
以下将参照附图更详细地描述本发明构思的示例性实施例。相同或相应的组件被表示为相同的标号而不论图号如何，并且冗余的解释被省略。
图1是示出根据示例性实施例的高密度三维(3D)图像重建设备的框图。
参照图1，高密度3D图像重建设备包括第一相机100、第二相机200、图像处理单元300、图像匹配单元400、高密度3D图像重建单元500和输出单元600。
第一相机100和第二相机200分别表示通过使用例如互补金属氧化物半导体(CMOS)模块或电荷耦合器件(CCD)模块捕获对象的图像的左相机和右相机。通过镜头将第一输入图像和第二输入图像(或视频图像)提供给CMOS模块或CCD模块，并且CMOS模块或CCD模块将通过镜头传输的对象的光信号转换为电信号(拍摄信号)。
图像处理单元300对分别从第一相机100和第二相机200输出的第一图像信号和第二图像信号执行用于提高图像质量的图像信号处理，诸如降噪、伽马校正、滤色器阵列插值、颜色矩阵处理、色彩校正、色彩增强等。
另外，图像处理单元300可执行图像信号处理以提高图像质量，并且可对产生的图像数据进行压缩以产生图像文件，或可从图像文件恢复图像数据。图像压缩格式可以是可逆的或不可逆的。
此外，图像处理单元300可功能性地执行色彩处理、模糊、边缘增强处理、图像判读(解译)处理、图像识别处理、图像效果处理等。图像识别处理的示例是人脸识别、场景识别等。例如，可执行诸如亮度级控制、色彩校正、对比度控制、轮廓增强控制、图像分割处理或特征图像创建的图像产生和图像合成处理。
图像匹配单元400对执行了图像处理的第一图像和第二图像进行匹配以产生初始3D图像。图2是图像匹配单元400的详细框图。
参照图2，图像匹配单元400包括特征点提取单元410、特征点匹配单元420、3D坐标计算单元430和初始3D图像产生单元440。
特征点提取单元410通过使用尺度不变特征变换(SIFT)算法或HARRIS算法，从第一图像和第二图像提取角点(边缘)作为特征点。
SIFT由Lowe在<D.G.Lowe,“Distinctive image features fromscale-invariant key points”,Int.J.Comput.Vision 60(2),91-110,2004>中提出，其中，SIFT是用于提取图像的特征点的代表性算法。
通过使用SIFT算法提取的特征点具有如下优良特性：它们不受图像的尺度、旋转、失真、3D视点的变化等的影响。根据SIFT算法，首先，使用高斯滤波器改变数字图像的像素亮度级以执行逐步模糊。这里，在改变图像的尺度时重复模糊操作。接下来，计算在同一尺度上被逐步模糊的图像之间的高斯差分(DOG)。接下来，基于计算出的DOG，根据预定标准选择特征点。接下来，计算原始图像的所有像素的梯度以产生梯度映射。随后，计算使用梯度映射选择的特征点的描述子。最后，产生最终的特征点数据。特征点数据包括特征点的坐标和特征点的描述子。
Harris算法由Chris Harris和Mike Stephens在<A Combined Cornerand Edge Detector Proceedings of the Fourth Alvey Vision Conference,Manchester,pp 147-151,1988>中提出，其中，Harris算法是提取图像的特征点的另一代表性算法。
根据Harris算法，主要存在一个在图像中垂直和水平移动的窗口，并且分析窗口中的像素的值的变化以查找角点。如果图像中的对象的亮度不存在变化，则即使当窗口被垂直或水平移动时，也不会存在像素值的变化。然而，当窗口在水平移动时遇到图像的垂直边界线时，正在水平移动的窗口中的像素值存在较大的变化，但是针对垂直移动的窗口，所述像素值可能没有变化。随后，当假设窗口不仅水平移动而且垂直移动时，窗口将肯定经过像素值存在较大变化的点。换言之，该点是最终的角点。即使当图像旋转时，也能找到角点。
图3A示出使用第一相机100捕获的第一图像，图3B示出使用第二相机200捕获的第二图像。图4A和图4B分别示出通过特征点提取单元410提取角点作为特征点的图3A的第一图像和图3B的第二图像。
特征点匹配单元420对第一图像和第二图像的特征点进行匹配。具体而言，特征点匹配单元420使用对极几何和基于区域的匹配方法。
首先，将参照图5描述对极几何。当使用第一相机100和第二相机200获得了图像时，将空间点投影到第一相机100和第二相机200中以在图像上产生被称为共轭对的一对点。通过第一相机100和第二相机200的镜头的中心以及通过第一相机100和第二相机200所投影的空间中的对象的点P所形成的平面被称为极平面(epipolar plane)，极平面和图像平面的相交线被定义为极线(epipolar line)。
也就是说，如图5中所示，极线通过以下线来定义，所述线由与3D空间中的对象点P相遇的通过左镜头和右镜头的中心定义的平面而形成。由于在图像上形成的两个点具有相同的Y坐标，因此第二图像上的与第一图像的特定坐标相应的点位于极线上。尽管出现在第一图像上的对象可能也出现在第二图像上或可能不出现在第二图像上，但是如果该对象出现在第二图像上，则该对象必定位于极线上。
为了查找第二图像相对于第一图像的特征点的匹配点，特征点匹配单元420设置搜索区域，在搜索区域中查找候选特征点，选择与第一图像的特征点具有较大相似性的一个特征点，并将这两个特征点设置为匹配对。搜索区域越大，匹配候选的数量越高，因此，用于进行匹配的时间增加，并且误匹配的可能性增加。因此，搜索区域可以尽可能小。使搜索区域变窄的方法之一是使用对极约束条件。
图6是用于解释关于用于图1的图像匹配的对极几何的约束条件的示意图。
将参照图6描述在对极约束条件下执行的基于区域的匹配方法。特征点匹配单元420将第一图像中的第一窗口设置为参考窗口(图6A)，并在将第一窗口回旋到第二图像时，搜索与第一窗口的亮度具有很小亮度差的第二窗口(图6B)。亮度与第一窗口的亮度相差最小程度的第二窗口被确定为与第一窗口具有最大相似性，并且第一窗口和该第二窗口被确定为共轭对。当使用了如上所述的对极约束条件时，可有效地减小作为基于区域的匹配方法的缺点的计算量。
基于区域的匹配方法的示例包括绝对差求和(SAD)算法、平方差求和(SSD)算法、零均值绝对差求和(ZSAD)算法和零均值平方差求和(ZSSD)算法。
图7示出执行了特征点匹配单元420的匹配操作的匹配图像，并示出当对第一图像和第二图像进行匹配时确定的共轭对。
3D坐标计算单元430使用三角测量方法来计算匹配的特征点的3D坐标。3D坐标计算单元430从第一图像和第二图像计算特征点的二维(2D)坐标(也就是，计算X坐标和Y坐标)，并使用三角测量方法计算第一相机100和第二相机200到特征点之间的距离，以通过将计算出的距离计算为深度值(也就是，计算Z坐标)来计算最终的3D坐标。
图8是用于解释计算图1的匹配图像的距离信息的示意图。
将参照图8描述使用三角测量方法计算Z坐标。如图8中所示，当已知第一相机100的镜头和第二相机200的镜头之间的距离d，并且从第一相机100到特征点的角度信息1和从第二相机200到特征点的角度信息2可用时，可如以下等式1所给出的，计算第一相机100和第二相机200与特征点之间的距离h。
[等式1]
因此，可获得关于图7中示出的匹配图像的所有特征点的3D坐标(X,Y,Z)的信息。
初始3D图像产生单元440使用匹配的所有特征点的3D坐标来产生初始3D图像。图9示出图1的初始3D图像；特征点越暗，它们距第一相机100和第二相机200越远。
再次参照图1，当通过使用图像匹配单元400产生了初始3D图像时，高密度3D图像重建单元500对初始3D图像进行分割以从图像的分割区域检测平面，或对初始3D图像进行滤波以产生高密度3D图像。
高密度3D图像重建单元500包括分割单元510、搜索单元520、平面检测单元530和滤波单元540。
分割单元510通过使用图割算法来对第一图像和第二图像中的一个图像进行分割。初始3D图像包括空间信息，因此理论上可被分割为多个图像，但事实上，不可对初始3D图像进行分割。因此，对第一图像和第二图像中的一个图像进行分割(也就是，对2D图像进行分割)，并且将分割信息应用于初始3D图像以进行使用。图10是用于解释用于对图1的初始3D图像进行分割的图割算法的示意图。图10A示出任意图像，图10B是关于图10A的图(graph)。参照图10A和图10B，在图割算法中，图10A的图像被转换为图10B中示出的图，并且图的边权被定义为像素值的相关性，并且在像素亮度上具有显著差异的部分被切割掉。图11是示出对第一图像和第二图像中的一个图像进行分割的结果的示意图，其中，相应的分割信息被应用于初始3D图像。这里，例如，在图割算法的情况下，分割信息可以是每个图的边权。
搜索单元520通过使用包括在分割的图像中的特征点的数量来搜索至少一个第一区域和至少一个第二区域。搜索单元520搜索包括设定数量的特征点(例如，包括在分割的图像中的至少三个特征点)的至少一个区域和包括少于设定数量的特征点(例如，少于包括在分割的图像中的三个特征点)的至少一个第二区域。
平面检测单元530从包括三个或更多个特征点的第一区域检测平面。平面检测单元530通过使用随机抽样一致性(RANSAC)算法和平面方程从第一区域检测平面。
可通过将从3D图像计算出的3D坐标(X,Y,Z)代入平面方程，检测平面。在等式2中，示出了3D平面方程。
[等式2]
ax+by+cz+d＝0
图12示出通过使用3D平面方程从第一区域检测出的平面的示例。
对于3D坐标(X,Y,Z)的Z，可能没有噪声或者匹配可能不正确，并且Z坐标可能不是已知的。如果Z坐标不是已知的，则这增加了计算平面方程时的误差，因此，在计算时需要消除未知值。根据RANSAC算法，可从像素集随机地选择可计算出平面方程的最小数量的像素，随后对平面方程求解，并且将其他像素代入平面方程中以将具有较小误差的像素指定为内点(inlier),如果内点的数量等于或大于总数的预定比例，则内点被再次用于计算平面方程。如上所述，所有像素被带入平面方程以确定关于平面检测的准确性，并且该操作被重复若干次以将具有最小误差的结果确定为最终结果。
滤波单元540对包括少于三个特征点的第二区域执行边缘保持平滑，也就是说，滤波单元540对第二区域进行滤波。边缘保持平滑表示非线性滤波，其中，在该非线性滤波中，在保持显著亮度阶梯(诸如对象的界限)时对深度进行平滑。对于这种边缘保持处理，可使用双边滤波器。
输出单元600通过将从包括至少三个特征点的第一区域检测到的平面和对包括少于三个特征点的第二区域执行边缘保持平滑的结果进行合成，输出最终重建的高密度3D图像。参照图13，图13A和图13B示出从第一相机100输出的第一图像和从第二相机200输出的第二图像，图13C示出基于图13A和图13B最终重建的高密度3D图像。
通过针对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑，初始3D图像可被重建为高密度3D图像。
图14是示出根据示例性实施例的重建高密度3D图像的方法的流程图。
参照图14，首先，在操作S10，第一相机100和第二相机200分别捕获第一图像和第二图像。当完成了第一图像和第二图像的捕获时，图像处理单元300可对第一图像和第二图像执行图像处理。
如果图像处理单元300对第一图像和第二图像进行了处理，则图像匹配单元400执行操作S20，其中，操作S20通过对执行了图像处理的第一图像和第二图像进行匹配来产生初始3D图像。
图15是示出根据示例性实施例的图14的图像匹配操作的流程图。参照图15，图像匹配单元400执行操作S21，其中，操作S21通过使用SIFT算法或HARRIS算法从第一图像和第二图像提取角点(边缘)作为特征点。
当从第一图像和第二图像提取了特征点时，在操作S22，图像匹配单元400使用对极几何和基于区域的匹配方法来对第一图像和第二图像的特征点进行匹配。当从第二图像搜索到相对于第一图像的特征点的匹配点时，图像匹配单元400在对极约束条件下设置窄的搜索区域，以从该区域查找第一候选特征点，选择第二图像的与第一图像的特征点具有最大相似性的特征点，并将这两个特征点设置为共轭对。也就是说，作为参考窗口，第一窗口被设置在第一图像上，并且第一窗口被回旋到第二图像以搜索亮度与第一窗口的亮度相差最小程度的第二窗口。
当完成了第一图像和第二图像的特征点的匹配时，图像匹配单元400执行操作S23，其中，操作S23使用三角测量方法计算匹配的特征点的3D坐标。图像匹配单元400从第一图像和第二图像计算特征点的2D坐标(也就是，计算X坐标和Y坐标)，并且当计算Z坐标时，通过假设第一相机100和第二相机200的镜头之间的距离d并将从第一相机100到特征点的角度信息1和从第二相机200到特征点的角度信息2***到等式1中，计算匹配的特征点的3D坐标。
当完成了特征点的3D坐标的计算时，在操作S24，图像匹配单元400使用匹配的图像的所有特征点的3D坐标来产生初始3D图像。
再次参照图1，当初始3D图像被作为图像匹配的结果而产生时，在操作S30，高密度3D图像重建单元500使用图割算法对初始3D图像进行分割。
当完成了初始3D图像的分割时，在操作S40，高密度3D图像重建单元500通过使用包括在分割的图像中的特征点的数量来搜索至少一个第一区域和至少一个第二区域。高密度3D图像重建单元500搜索包括设定数量的特征点(例如，包括在分割的图像中的至少三个特征点)的至少一个区域和包括少于设定数量的特征点(例如，少于包括在分割的图像中的三个特征点)的至少一个第二区域。
当完成了对第一区域和第二区域的搜索时，在操作S50，高密度3D图像重建单元500将RANSAC算法和平面方程应用于包括至少三个特征点的第一区域以检测平面。
当完成了平面检测时，在操作S60，高密度3D图像重建单元500对包括少于三个特征点的第二区域执行边缘保持平滑(也就是，高密度3D图像重建单元500对第二区域进行滤波)，从而保持与可视性相关的对象轮廓并消除微小的亮度变化。
当完成了平面检测和滤波时，在操作S70，输出单元600通过将从包括至少三个特征点的第一区域检测到的平面和对包括少于三个特征点的第二区域执行边缘保持平滑的结果进行合成，输出最终重建的高密度3D图像。
如上所述，根据示例性实施例，对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑，从而将初始3D图像重建为高密度3D图像。
示例性实施例可被编写为计算机程序，并可在使用计算机可读记录介质执行计算机程序的通用数字计算机中实现。计算机可读记录介质的示例包括存储计算机可读数据的所有种类的记录装置。
计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可被分布在联网的计算机***中，从而计算机可读代码以分布的方式被存储和执行。此外，本发明构思所属领域中的普通编程技术人员可容易地解释用于实现本发明构思的功能程序、代码和代码段。
尽管已参照本发明构思的示例性实施例具体显示和描述了本发明构思，但是本领域中的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可对其形式和细节进行各种改变。示例性实施例应该仅被视为描述性的意义而不是为了限制的目的。因此，本发明构思的范围不是由示例性实施例的详细描述限定，而是由权利要求限定，并且在该范围内的所有差异将被解释为包括在本发明构思中。
这里引用的包括出版物、专利申请和专利的所有参考文献通过引用被包含于此，该引用的程度如同每份参考文献被单独且具体地注明为通过引用全部合并于此并在此全部进行阐述。
工业实用性
本发明的实施例可被应用于用于重建高密度三维(3D)图像的设备和方法，其中，所述设备和方法通过针对通过对使用多个相机捕获的图像进行匹配而产生的初始3D图像执行平面检测和平滑来重建高密度3D图像。

Claims (19)

1.一种重建高密度三维(3D)图像的方法，所述方法包括：
通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；
通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；
从第一区域检测平面；
对第二区域进行滤波；
将检测到的平面和滤波后的第二区域进行合成。
2.如权利要求1所述的方法，还包括：在产生初始3D图像后，将第一图像和第二图像中的一个图像分割为包括第一区域和第二区域的部分；
将关于分割的信息应用于初始3D图像。
3.如权利要求2所述的方法，其中，搜索第一区域和第二区域的步骤包括：搜索包括数量上等于或多于设定数量的特征点的至少一个第一区域。
4.如权利要求3所述的方法，其中，搜索第一区域和第二区域的步骤还包括：搜索包括数量上少于所述设定数量的特征点的至少一个第二区域。
5.如权利要求4所述的方法，其中，滤波的步骤包括：针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
6.如权利要求4所述的方法，其中，产生初始3D图像的步骤包括：
从第一图像和第二图像提取特征点；
对第一图像的特征点和第二图像的特征点进行匹配；
计算匹配的特征点的3D坐标；
产生初始3D图像。
7.如权利要求6所述的方法，其中，对特征点进行匹配的步骤包括：
在第一图像中设置包括特征点的第一窗口；
搜索亮度与第一窗口的亮度相差最小程度的第二窗口；
在第二窗口中的至少一个特征点之中，选择与第一窗口中的特征点最相似的匹配特征点。
8.如权利要求7所述的方法，其中，计算3D坐标的步骤包括：
计算匹配的特征点关于第一图像和第二图像的二维(2D)坐标；
通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
9.如权利要求6所述的方法，其中，计算3D坐标的步骤包括：
计算匹配的特征点关于第一图像和第二图像的二维(2D)坐标；
通过使用第一相机和第二相机之间的距离以及第一相机和第二相机相对于特征点的角度，计算匹配的特征点的3D坐标。
10.如权利要求1所述的方法，其中，产生初始3D图像的步骤包括：
从第一图像和第二图像提取特征点；
对第一图像的特征点和第二图像的特征点进行匹配；
计算匹配的特征点的3D坐标；
使用匹配的特征点的3D坐标产生初始3D图像。
11.如权利要求1所述的方法，其中，滤波的步骤包括：针对第二区域，在保持对比度等于或大于设定值的同时对与特征点的Z坐标相应的深度进行平滑。
12.如权利要求1所述的方法，其中，搜索第一区域和第二区域的步骤包括：搜索包括等于或多于设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
13.一种用于重建高密度三维(3D)图像的设备，包括：
图像匹配单元，对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配以产生初始3D图像；
3D图像重建单元，将初始3D图像分割为第一区域和第二区域以从第一区域检测平面，对第二区域进行滤波，并将从第一区域检测到的平面和滤波后的第二区域进行合成以产生高密度3D图像。
14.如权利要求13所述的设备，其中，图像匹配单元包括：
特征点提取单元，从第一图像和第二图像提取特征点；
特征点匹配单元，对第一图像的特征点和第二图像的特征点进行匹配；
3D坐标计算单元，计算匹配的特征点的3D坐标；
初始3D图像产生单元，通过使用匹配的特征点的3D坐标来产生初始3D图像。
15.如权利要求14所述的设备，其中，3D图像重建单元包括：
分割单元，对第一图像和第二图像中的一个图像进行分割，并将关于分割的信息应用于初始3D图像；
搜索单元，通过使用包括在分割的图像中的特征点的数量从分割的图像搜索第一区域和第二区域；
平面检测单元，从第一区域检测平面；
滤波单元，对第二区域进行滤波。
16.如权利要求15所述的设备，其中，搜索单元搜索包括设定数量的特征点的至少一个第一区域和包括少于所述设定数量的特征点的至少一个第二区域。
17.如权利要求15所述的设备，其中，滤波单元对第二区域进行滤波，以在与特征点的Z坐标相应的深度相对于分割边界不连续的同时对所述深度进行平滑。
18.如权利要求13所述的设备，其中，3D图像重建单元包括：
分割单元，对第一图像和第二图像中的一个图像进行分割，并将关于分割的信息应用于初始3D图像；
搜索单元，通过使用包括在分割的图像中的3D特征点的数量从分割的图像搜索第一区域和第二区域；
平面检测单元，从第一区域检测平面；
滤波单元，对第二区域进行滤波。
19.一种包含有用于执行重建高密度三维(3D)图像的方法的程序的计算机可读记录介质，所述方法包括：
通过对使用第一相机捕获的第一图像和使用第二相机捕获的第二图像进行匹配，产生初始3D图像；
通过使用包括在初始3D图像中的多个特征点，从初始3D图像搜索第一区域和第二区域；
从第一区域检测平面；
对第二区域进行滤波；
将检测到的平面和滤波后的第二区域进行合成。
CN201380018460.0A 2012-04-03 2013-03-28 用于重建高密度三维图像的设备和方法 Active CN104205826B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2012-0034580 2012-04-03
KR1020120034580A KR101706216B1 (ko) 2012-04-03 2012-04-03 고밀도 삼차원 영상 재구성 장치 및 방법
US13/728,065 2012-12-27
US13/728,065 US9338437B2 (en) 2012-04-03 2012-12-27 Apparatus and method for reconstructing high density three-dimensional image
PCT/KR2013/002563 WO2013151270A1 (en) 2012-04-03 2013-03-28 Apparatus and method for reconstructing high density three-dimensional image

Publications (2)

Publication Number Publication Date
CN104205826A true CN104205826A (zh) 2014-12-10
CN104205826B CN104205826B (zh) 2016-08-24

Family

ID=49234446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380018460.0A Active CN104205826B (zh) 2012-04-03 2013-03-28 用于重建高密度三维图像的设备和方法

Country Status (4)

Country Link
US (1) US9338437B2 (zh)
KR (1) KR101706216B1 (zh)
CN (1) CN104205826B (zh)
WO (1) WO2013151270A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025286A (zh) * 2014-05-02 2015-11-04 钰创科技股份有限公司 图像处理装置
CN109741245A (zh) * 2018-12-28 2019-05-10 杭州睿琪软件有限公司 平面信息的***方法及装置
CN110223380A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 融合航拍与地面视角图像的场景建模方法、***、装置
CN110573901A (zh) * 2017-04-28 2019-12-13 深圳市大疆创新科技有限公司 激光传感器和视觉传感器的校准
WO2020034785A1 (zh) * 2018-08-16 2020-02-20 Oppo广东移动通信有限公司 三维模型处理方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135770B1 (ko) * 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
JP6158779B2 (ja) * 2014-12-08 2017-07-05 株式会社Ｓｏｋｅｎ 画像処理装置
CN105139445B (zh) * 2015-08-03 2018-02-13 百度在线网络技术（北京）有限公司 场景重建方法及装置
US10201306B2 (en) * 2016-08-30 2019-02-12 Konica Minolta Laboratory U.S.A., Inc. Method and system for capturing images for wound assessment with self color compensation
KR102399673B1 (ko) 2017-06-01 2022-05-19 삼성전자주식회사 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치
MA53841A (fr) 2017-06-08 2021-09-22 Merck Sharp & Dohme Inhibiteurs pde9 de pyrazolopyrimidine
GB2572755B (en) * 2018-04-05 2020-06-10 Imagination Tech Ltd Matching local image feature descriptors
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
KR102095454B1 (ko) * 2019-10-04 2020-03-31 주식회사 에이에스디코리아 커넥티드 카를 위한 클라우드 서버 및 상황 재현 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144925A1 (en) * 2006-08-15 2008-06-19 Zhiwei Zhu Stereo-Based Visual Odometry Method and System
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101689299A (zh) * 2007-06-20 2010-03-31 汤姆逊许可证公司 用于图像的立体匹配的***和方法
CN102047288A (zh) * 2008-05-28 2011-05-04 汤姆森特许公司 利用正向和反向深度预测进行图像的深度提取的***和方法
US20120069018A1 (en) * 2010-09-22 2012-03-22 Casio Computer Co., Ltd. Ar process apparatus, ar process method and storage medium

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US7137319B2 (en) 2004-11-23 2006-11-21 William Hough Ratchet wrench
US8150960B2 (en) 2005-11-23 2012-04-03 Microsoft Corporation Event forwarding
US7869646B2 (en) * 2005-12-01 2011-01-11 Electronics And Telecommunications Research Institute Method for estimating three-dimensional position of human joint using sphere projecting technique
US8439683B2 (en) * 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
KR101259835B1 (ko) * 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
WO2011028837A2 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
TWI398158B (zh) * 2009-12-01 2013-06-01 Ind Tech Res Inst 產生立體影像之影像深度的方法
US8345930B2 (en) * 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101129713B1 (ko) * 2010-05-28 2012-03-28 광운대학교 산학협력단 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP5526233B2 (ja) * 2010-06-28 2014-06-18 富士フイルム株式会社 立体視用画像撮影装置およびその制御方法
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144925A1 (en) * 2006-08-15 2008-06-19 Zhiwei Zhu Stereo-Based Visual Odometry Method and System
CN101689299A (zh) * 2007-06-20 2010-03-31 汤姆逊许可证公司 用于图像的立体匹配的***和方法
CN102047288A (zh) * 2008-05-28 2011-05-04 汤姆森特许公司 利用正向和反向深度预测进行图像的深度提取的***和方法
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
US20120069018A1 (en) * 2010-09-22 2012-03-22 Casio Computer Co., Ltd. Ar process apparatus, ar process method and storage medium

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025286A (zh) * 2014-05-02 2015-11-04 钰创科技股份有限公司 图像处理装置
CN105025286B (zh) * 2014-05-02 2019-12-10 钰立微电子股份有限公司 图像处理装置
CN110573901A (zh) * 2017-04-28 2019-12-13 深圳市大疆创新科技有限公司 激光传感器和视觉传感器的校准
WO2020034785A1 (zh) * 2018-08-16 2020-02-20 Oppo广东移动通信有限公司 三维模型处理方法和装置
CN109741245A (zh) * 2018-12-28 2019-05-10 杭州睿琪软件有限公司 平面信息的***方法及装置
CN109741245B (zh) * 2018-12-28 2023-03-17 杭州睿琪软件有限公司 平面信息的***方法及装置
CN110223380A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 融合航拍与地面视角图像的场景建模方法、***、装置
CN110223380B (zh) * 2019-06-11 2021-04-23 中国科学院自动化研究所 融合航拍与地面视角图像的场景建模方法、***、装置

Also Published As

Publication number Publication date
US9338437B2 (en) 2016-05-10
KR20130112311A (ko) 2013-10-14
US20130258064A1 (en) 2013-10-03
KR101706216B1 (ko) 2017-02-13
WO2013151270A1 (en) 2013-10-10
CN104205826B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN104205826A (zh) 用于重建高密度三维图像的设备和方法
US11995902B2 (en) Facial signature methods, systems and software
CN118212141A (zh) 用于混合深度正则化的***和方法
CN107798702B (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN107481271B (zh) 一种立体匹配方法、***及移动终端
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN103578116A (zh) 用于跟踪对象的设备和方法
US20140340486A1 (en) Image processing system, image processing method, and image processing program
JP7159384B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2017074765A1 (en) Method of multiple camera positioning utilizing camera ordering
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及***
EP3054421A1 (en) Method of fast and robust camera location ordering
EP3216006B1 (en) An image processing apparatus and method
Kuo et al. Depth estimation from a monocular view of the outdoors
US20170188008A1 (en) Method and device for generating depth map
CN111222432A (zh) 人脸活体检测方法、***、设备及可读存储介质
CN102257829A (zh) 立体影像显示装置及运动矢量导出方法
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
JP2014035597A (ja) 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
GB2585197A (en) Method and system for obtaining depth data
Fehrman et al. Handling occlusion with an inexpensive array of cameras
JP6622886B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN111382607B (zh) 活体检测方法、装置及人脸认证***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Gyeongnam Changwon City, South Korea

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190411

Address after: Gyeonggi Do city of South Korea

Co-patentee after: Hanwha Precision Machinery Co.,Ltd.

Patentee after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA AEROSPACE Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20210113

Address after: Gyeonggi Do city of South Korea

Patentee after: HANWHA TECHWIN Co.,Ltd.

Patentee after: Hanwha Corp.

Address before: Gyeonggi Do city of South Korea

Patentee before: Hanwha Techwin Co.,Ltd.

Patentee before: Hanwha Precision Machinery Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: Hanwha Corp.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

Patentee before: Hanwha Corp.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20231214

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: Han Huajiqiren(zhu)

Address before: Gyeonggi Do city of South Korea

Patentee before: Hanhua Vision Co.,Ltd.

Patentee before: Hanwha Corp.

TR01 Transfer of patent right