CN109427061B - 影像切割方法及装置 - Google Patents

影像切割方法及装置 Download PDF

Info

Publication number
CN109427061B
CN109427061B CN201810722108.XA CN201810722108A CN109427061B CN 109427061 B CN109427061 B CN 109427061B CN 201810722108 A CN201810722108 A CN 201810722108A CN 109427061 B CN109427061 B CN 109427061B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
image
current
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810722108.XA
Other languages
English (en)
Other versions
CN109427061A (zh
Inventor
林政宪
卓柏全
杨宏毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN109427061A publication Critical patent/CN109427061A/zh
Application granted granted Critical
Publication of CN109427061B publication Critical patent/CN109427061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种影像切割方法,通过由影像切割装置实现的神经网络执行影像切割,并包括:由降低取样模块根据输入影像产生降低取样影像;对于切割模块的一当下切割模块,接收具有第一分辨率的先前卷积神经网络数据进行提升取样;接收当下降低取样影像及提升取样先前卷积神经网络数据;当当下切割模块并非最后切割模块时,进行卷积以产生并传送当下卷积神经网络数据至下一切割模块;当当下切割模块为最后切割模块时,进行卷积产生影像切割结果。本发明的影像分割装置及方法根据不同的分辨率的影像进行卷积,以获得其包括的信息,达到更精确的切割结果。

Description

影像切割方法及装置
技术领域
本发明涉及影像处理技术,且特别涉及一种影像切割方法及装置。
背景技术
语意(semantic)影像切割在影像辨识中占有重要的角色,使电脑得以辨识影像中的物件。物件的辨识与描绘(delineation)可由对影像中的各像素进行分类而实现。这样的处理方式在电脑视觉以及各种成长中的领域如自动驾驶和医学影像上有广泛的应用。现在的影像切割技术,是对于影像数据中的同一影像画面进行不同尺度的缩放,以分别进行切割运算后,再将各别的影像切割结果进行串接。然而,这样的方式必须先决定影像切割架构中的模块数目,而无法保有弹性。
因此,如何设计一个新的影像切割方法及装置,以解决上述的缺失,乃为此一业界亟待解决的问题。
发明内容
本发明的目的在于通过影像分割装置及方法根据不同的分辨率的影像进行卷积,以获得其包括的信息,达到更精确的切割结果。
因此,本发明的一实施方式在于提供一种影像切割(image segmentation)方法,用以通过由影像切割装置实现的神经网络(neural network)执行影像切割,影像切割方法包括:由神经网络的降低取样(down-sampling)模块对输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;对于神经网络的切割模块其中的一当下切割模块,由当下切割模块的当下提升取样(up-sampling)单元接收具有第一分辨率的先前卷积神经网络(convolution neural network;CNN)数据,以对先前卷积神经网络数据进行提升取样,以产生具有第二分辨率的提升取样先前卷积神经网络数据,其中先前卷积神经网络数据是由先前切割模块的先前卷积神经网络单元根据降低取样影像中具有第一分辨率的先前降低取样影像所产生;由当下切割模块的当下卷积神经网络单元接收降低取样影像中具有第二分辨率的当下降低取样影像以及提升取样先前卷积神经网络数据;当当下切割模块并非最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生并传送当下卷积神经网络数据至下一切割模块;以及当当下切割模块为最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生影像切割结果。
在本发明的一实施例中,先前卷积神经网络数据包含由先前卷积神经网络单元的输出层所输出的多个先前输出层运算结果,或是由先前卷积神经网络单元的隐藏层(hidden layer)所输出的多个先前隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收先前卷积神经网络数据以及当下降低取样影像;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为等当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收当下降低取样影像;由当下卷积神经网络单元的隐藏层接收先前卷积神经网络数据;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:通过自当下卷积神经网络单元的输出层输出的多个当下输出层运算结果中选取一部分以产生影像切割结果,其中该部分相较当下输出层运算结果的其他部分具有较大的数值。
在本发明的一实施例中,神经网络为递归神经网络(recurrent neural network;RNN)。
在本发明的一实施例中,当先前切割模块不存在时,先前卷积神经网络数据为预设虚拟数据(dummy data)。
在本发明的一实施例中,当当下切割模块为最后切割模块时,当下卷积神经网络单元根据具有相同分辨率的提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生与输入影像具有相同分辨率的影像切割结果。
本发明的另一实施方式在于提供一种影像切割装置,包括:存储单元以及处理单元。存储单元配置以存储多个电脑可执行指令。处理单元电性耦接于存储单元,并配置以撷取并执行电脑可执行指令,以执行影像切割方法,影像切割方法用以通过由处理单元执行电脑可执行指令时实现的神经网络执行影像切割,影像切割方法包括:由神经网络的降低取样模块对输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;对于神经网络的切割模块其中的一当下切割模块,由当下切割模块的当下提升取样单元接收具有第一分辨率的先前卷积神经网络数据,以对先前卷积神经网络数据进行提升取样,以产生具有第二分辨率的提升取样先前卷积神经网络数据,其中先前卷积神经网络数据是由先前切割模块的先前卷积神经网络单元根据降低取样影像中具有第一分辨率的先前降低取样影像所产生;由当下切割模块的当下卷积神经网络单元接收降低取样影像中具有第二分辨率的当下降低取样影像以及提升取样先前卷积神经网络数据;当当下切割模块并非最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生并传送当下卷积神经网络数据至下一切割模块;以及当当下切割模块为最后切割模块时,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生影像切割结果。
在本发明的一实施例中,先前卷积神经网络数据包含由先前卷积神经网络单元的输出层所输出的多个先前输出层运算结果,或是由先前卷积神经网络单元的隐藏层所输出的多个先前隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收先前卷积神经网络数据以及当下降低取样影像;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为等当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:由当下卷积神经网络单元的输入层接收当下降低取样影像;由当下卷积神经网络单元的隐藏层接收先前卷积神经网络数据;以及根据先前卷积神经网络数据以及当下降低取样影像进行卷积,以由当下卷积神经网络单元的隐藏层产生多个当下隐藏层运算结果,以及由当下卷积神经网络单元的输出层产生多个当下输出层运算结果,其中当下卷积神经网络数据为当下输出层运算结果或当下隐藏层运算结果。
在本发明的一实施例中,影像切割方法还包含:通过自当下卷积神经网络单元的输出层输出的多个当下输出层运算结果中选取一部分以产生影像切割结果,其中该部分相较当下输出层运算结果的其他部分具有较大的数值。
在本发明的一实施例中,神经网络为递归神经网络。
在本发明的一实施例中,当先前切割模块不存在时,先前卷积神经网络数据为预设虚拟数据。
在本发明的一实施例中,当当下切割模块为最后切割模块时,当下卷积神经网络单元根据具有相同分辨率的提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生与输入影像具有相同分辨率的影像切割结果。
本发明的影像分割装置及影像分割方法中,切割模块形成递归神经网络,以使各卷积神经网络单元可根据当下影像以及提升取样先前卷积神经网络数据进行影像切割。由于各卷积神经网络单元根据不同的影像分辨率进行卷积,可获得多个尺寸中包括的信息。
附图说明
图1为本发明一实施例中,一种影像切割装置的方框图;
图2为本发明一实施例中,影像切割方法的流程图;
图3为本发明一实施例中,由影像切割装置实现的神经网络的方框图;
图4为本发明一实施例中,卷积神经网络单元的范例性示意图;以及
图5为本发明一实施例中,卷积神经网络单元的范例性示意图。
附图标记说明:
1:影像切割装置
10:存储单元
12:处理单元
100:电脑可执行指令
102:影像数据
200:影像切割方法
201-206:步骤
3:神经网络
400、500:卷积神经网络单元
401、501:输入层
402、502:隐藏层
403、503:输出层
CNN0-CNNN:卷积神经网络单元
Dd、D0-DN-1:先前卷积神经网络数据
Dd’、D0’-DN-1’:提升取样先前卷积神经网络数据
D0,0,0,0-D0,A-1,B-1,2:数据
Dd,0,0,0-Dd,A-1,B-1,2:数据
DM:降低取样模块
hN:影像切割结果
h0,0,0,0-h0,A-1,B-1,2:运算结果
IN:输入影像
SEG0-SEGN:切割模块
UU0-UUN:提升取样单元
X0-XN:影像
X0,0,0,0-X0,A-1,B-1,2:数据
具体实施方式
请参照图1。图1为本发明一实施例中,一种影像切割装置1的方框图。影像切割装置1包含存储单元10以及处理单元12。
于一实施例中,存储单元10可为例如,但不限于光盘、随机存取存储器(randomaccess memory;RAM)、只读存储器(read only memory;ROM)、软盘、硬盘或光学磁盘片。存储单元10配置以存储多个电脑可执行指令100。
处理单元12电性耦接于存储单元10。于一实施例中,处理单元12配置以撷取并执行电脑可执行指令100,并据以执行影像切割装置1的功能。更详细地说,处理单元12接收影像数据102,以对影像数据102的各影像执行影像切割。
于一实施例中,处理单元12接收存储于存储单元10中的影像数据102,如图1所示。于其他实施例中,处理单元12可利用例如,但不限于通讯单元(未示出),通过有线或是无线的方式自远端服务器(未示出)接收影像数据102。
请同时参照图2及图3。影像切割装置1的详细功能将在后续段落搭配图2及图3进行说明。
图2为本发明一实施例中,影像切割方法200的流程图。影像切割方法200可应用于图1的影像切割装置1中。
图3为本发明一实施例中,由影像切割装置1实现的神经网络3的方框图。其中当电脑可执行指令100由处理单元12执行时,将运行为神经网络3以执行影像切割方法200。
于一实施例中,神经网络3为递归神经网络,包含降低取样模块DM以及多个串联的切割模块SEG0、SEG1、SEG2、…及SEGN。各个切割模块SEG0、SEG1、SEG2、…及SEGN包含相串联的提升取样单元以及卷积神经网络单元。更详细地说,提升取样单元UU0、UU1、UU2、…及UUN分别设置于切割模块SEG0、SEG1、SEG2、…及SEGN中。卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN分别设置于切割模块SEG0、SEG1、SEG2、…及SEGN中,并分别与提升取样单元UU0、UU1、UU2、…及UUN串联。
影像切割方法200包含下列步骤(应了解到,在本实施方式中所提及的步骤,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行)。
于步骤201,由神经网络3的降低取样模块DM对输入影像IN,例如图1的影像数据102的其中一影像,进行降低取样,以产生具有不同的分辨率的多个降低取样影像X0、X1、X2、…及XN,分别对应于切割模块SEG0、SEG1、SEG2、…及SEGN其中之一。
举例来说,输入影像IN可具有1024×768的分辨率。于一实施例中,当切割模块SEG0、SEG1、SEG2、…及SEGN的数目为4个时,降低取样模块DM将产生四个降低取样影像,分辨率分别降低为1/(8×8)、1/(4×4)、1/(2×2)以及1/(1×1)。更详细地说,四个降低取样影像的分辨率分别为128×96、256×192、512×384以及1024×768。于一实施例中,对应于最后切割模块SEGN的降低取样影像的分辨率,将与输入影像IN的分辨率相同。
于步骤202,对于神经网络的切割模块其中的一当下切割模块,由当下切割模块的当下提升取样单元接收具有第一分辨率的先前卷积神经网络数据,以对先前卷积神经网络数据进行提升取样,以产生具有第二分辨率的提升取样先前卷积神经网络数据。
于一实施例中,当当下切割模块为切割模块SEG0时,由于先前切割模块不存在时,先前卷积神经网络数据Dd将为预设虚拟数据(dummy data)。提升取样单元UU0将接收先前卷积神经网络数据Dd并进行提升取样,以产生提升取样先前卷积神经网络数据Dd’。
当当下切割模块为切割模块SEG1、SEG2、…及SEGN其中之一时,具有第一分辨率的先前卷积神经网络数据,是由先前切割模块中的先前卷积神经网络单元根据降低取样影像中,具有第一分辨率的先前降低取样影像所产生。
举例来说,当当下切割模块为切割模块SEG1时,先前卷积神经网络数据是由切割模块SEG0的卷积神经网络单元CNN0根据具有例如128×96的第一分辨率的降低取样影像X0产生。提升取样单元UU1将接收卷积神经网络数据D1并进行提升取样,以产生具有例如256×192的第二分辨率的提升取样先前卷积神经网络数据D1’。
于步骤203,由当下切割模块的当下卷积神经网络单元接收降低取样影像中具有第二分辨率的当下降低取样影像以及提升取样先前卷积神经网络数据。
以切割模块SEG0为例,当当下切割模块为切割模块SEG0时,卷积神经网络单元CNN0接收具有128×96的分辨率的降低取样影像X0做为当下降低取样影像,并接收具有128×96的分辨率的提升取样先前卷积神经网络数据Dd’。
另一方面,当当下切割模块为切割模块SEG1时,卷积神经网络单元CNN1接收具有256×192的分辨率的降低取样影像X1做为当下降低取样影像,并接收具有256×192的分辨率的提升取样先前卷积神经网络数据D0’。
于步骤204,判断当下切割模块是否为最后切割模块,亦即是否为切割模块SEGN
当当下切割模块并非最后切割模块时,于步骤205,由当下卷积神经网络单元根据提升取样先前卷积神经网络数据以及当下降低取样影像进行卷积,以产生并传送当下卷积神经网络数据至下一切割模块。
以切割模块SEG0为例,当当下切割模块为切割模块SEG0时,卷积神经网络单元CNN0根据降低取样影像X0以及提升取样先前卷积神经网络数据Dd’进行卷积,以产生当下卷积神经网络数据D0
另一方面,当当下切割模块为切割模块SEG1时,卷积神经网络单元CNN1接收具有256×192根据降低取样影像X1以及提升取样先前卷积神经网络数据D0’进行卷积,以产生当下卷积神经网络数据D1
类似地,影像切割方法200的步骤可应用于切割模块SEG2(未示出)、…及SEGN中,以使各卷积神经网络单元CNN2(未示出)、…及CNNN中分别根据先前卷积神经网络数据D1’、…及DN-2’以及降低取样影像X2、…及XN-1产生对应的当下卷积神经网络数据D2、…及DN-1
当当下切割模块为最后切割模块,例如切割模块SEGN时,于步骤206,由卷积神经网络单元CNNN根据具有与输入影像IN相同的分辨率,例如1024×768的提升取样先前卷积神经网络数据DN-1’以及降低取样影像XN进行卷积,以产生影像切割结果hN。影像切割结果hN是输入影像IN的最终切割结果。
请参照图4。图4为本发明一实施例中,卷积神经网络单元400的范例性示意图。于一实施例中,图3所示出的各卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN可由卷积神经网络单元400实现。
于一实施例中,卷积神经网络单元400包括输入层401、隐藏层402以及输出层403。于一实施例中,各输入层401、隐藏层402以及输出层403包括多个运算节点。
当卷积神经网络单元400被用来实现卷积神经网络单元CNN0时,输入层401配置以接收具有例如,但不限于A×B的尺寸且具有三个数据通道的影像X0,其中影像X0的各个像素具有三个通道的数据。举例而言,对应于位置(0,0)的像素具有三个通道的数据,包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中,下标的第一位数代表影像,第二位数及第三位数代表像素的坐标,第四位数代表通道数目。
因此,本实施例中的输入层401具有A×B×3个运算点,分别对应X0,0,0,0、X0,0,0,1、X0,0,0,2、…、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2,以接收影像X0的所有数据。于本实施例中,隐藏层402接收具有A×B×3的尺寸的先前卷积神经网络权重数据Dd’,包括Dd,0,0,0’、Dd,0,0,1’、Dd,0,0,2’、…、Dd,A-1,B-1,0’、Dd,A-1,B-1,1’至Dd,A-1,B-1,2’的数据。
因此,卷积神经网络单元CNN0根据影像X0以及先前卷积神经网络权重数据Dd’进行卷积,以使输出层403产生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的运算结果。
于一实施例中,各运算结果的数值表示切割物件的类别的几率。因此,当卷积神经网络单元400被用以实现最后切割模块SEGN的卷积神经网络单元时,对各像素来说,运算结果其中的一具有最大值者,将被选择输出为当下影像切割结果hN的其中一个像素。举例而言,当运算结果hN,0,0,1具有大于运算结果hN,0,0,0以及运算结果hN,0,0,2的数值时,运算结果hN,0,0,1将被选择为当下影像切割结果hN的输出像素。
于一实施例中,图3所示出的递归神经网络3为Elman网络,其中隐藏层402亦产生隐藏层运算结果,做为下一个切割模块,例如切割模块SEG1的先前卷积神经网络数据D0,包含D0,0,0,0、D0,0,0,1、D0,0,0,2、…、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的数据,以使提升取样单元UU1据以进行提升取样,以产生提升取样先前卷积神经网络数据D0’,并使卷积神经网络单元CNN1根据提升取样先前卷积神经网络数据D0’以及影像X1进行卷积。
需注意的是,图4中所示出的各输入层401、隐藏层402以及输出层403的运算节点的数目仅为一范例。于其他实施例中,运算节点的数目可依实际应用而有所不同。
请参照图5。图5为本发明一实施例中,卷积神经网络单元500的范例性示意图。于一实施例中,于图3所示出的各卷积神经网络单元CNN0、CNN1、CNN2、…或CNNN可由卷积神经网络单元500所实现。
于一实施例中,卷积神经网络单元500包括输入层501、隐藏层502以及输出层503。于一实施例中,各输入层501、隐藏层502以及输出层503包括多个运算节点。
当卷积神经网络单元500被用来实现卷积神经网络单元CNN0时,输入层501配置以接收具有例如,但不限于A×B的尺寸且具有三个数据通道的影像X0,其中影像X0的各个像素具有三个通道的数据。举例而言,对应于位置(0,0)的像素具有三个通道的数据,包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中,下标的第一位数代表影像,第二位数及第三位数代表像素的坐标,第四位数代表通道数目。
因此,本实施例中的输入层501具有A×B×3个运算点,分别对应X0,0,0,0、X0,0,0,1、X0,0,0,2、…、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2,以接收影像X0的所有数据。于本实施例中,隐藏层502接收具有A×B×3的尺寸的先前卷积神经网络权重数据Dd’,包括Dd,0,0,0’、Dd,0,0,1’、Dd,0,0,2’、…、Dd,A-1,B-1,0’、Dd,A-1,B-1,1’至Dd,A-1,B-1,2’的数据。
因此,卷积神经网络单元CNN0根据影像X0以及先前卷积神经网络权重数据Dd’进行卷积,以使输出层503产生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的运算结果。
于一实施例中,各运算结果的数值表示切割物件的类别的几率。因此,当卷积神经网络单元500被用以实现最后切割模块SEGN的卷积神经网络单元时,对各像素来说,运算结果其中的一具有最大值者,将被选择输出为当下影像切割结果hN的其中一个像素。举例而言,当运算结果hN,0,0,1具有大于运算结果hN,0,0,0以及运算结果hN,0,0,2的数值时,运算结果hN,0,0,1将被选择为当下影像切割结果hN的输出像素。
于一实施例中,图3所示出的递归神经网络3为Jordan网络,其中由输出层503产生的运算结果h0,0,0,0、h0,0,0,1、h0,0,0,2、…、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2做为下一个切割模块,例如切割模块SEG1的先前卷积神经网络数据D0,包含D0,0,0,0、D0,0,0,1、D0,0,0,2、…、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的数据,以使提升取样单元UU1据以进行提升取样,以产生提升取样先前卷积神经网络数据D0’,并使卷积神经网络单元CNN1根据提升取样先前卷积神经网络数据D0’以及影像X1进行卷积。
需注意的是,图5中所示出的各输入层501、隐藏层502以及输出层503的运算节点的数目仅为一范例。于其他实施例中,运算节点的数目可依实际应用而有所不同。
需注意的是,在部分实施例中,先前卷积神经网络数据亦可由下一卷积神经网络单元的输入层接收,以使下一卷积神经网络单元据以进行卷积。
在本发明的影像分割装置1及影像分割方法200中,切割模块SEG0、SEG1、SEG2、…及SEGN形成递归神经网络,以使各卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN可根据当下影像以及提升取样先前卷积神经网络数据进行影像切割。由于各卷积神经网络单元CNN0、CNN1、CNN2、…及CNNN根据不同的影像分辨率进行卷积,可获得多个尺寸中包括的信息。
更进一步地,当需要使用不同数目且不同分辨率的影像进行影像切割时,本发明的影像分割装置1及影像分割方法200可弹性地增减切割模块的数目。因此,当运算资源不足时,可将切割模块的数目减少,以取得较粗略的切割结果。而当运算资源足够时,可将切割模块的数目增加,以取得具有较高精确度的切割结果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内所作的任何修改、等同替换和改进等均应包含本发明的保护范围之内。

Claims (9)

1.一种影像切割方法,用以通过由一影像切割装置实现的一神经网络执行影像切割,其特征在于,该影像切割方法包括:
由该神经网络的一降低取样模块对一输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;
对于该神经网络的所述多个切割模块其中的一当下切割模块,由该当下切割模块的一当下提升取样单元接收具有一第一分辨率的一先前卷积神经网络数据,以对该先前卷积神经网络数据进行提升取样,以产生具有一第二分辨率的一提升取样先前卷积神经网络数据,其中该先前卷积神经网络数据是由一先前切割模块的一先前卷积神经网络单元根据所述多个降低取样影像中具有该第一分辨率的一先前降低取样影像所产生,其中当该先前切割模块不存在时,该先前卷积神经网络数据为一预设虚拟数据;
由该当下切割模块的一当下卷积神经网络单元接收所述多个降低取样影像中具有该第二分辨率的一当下降低取样影像以及该提升取样先前卷积神经网络数据;
当该当下切割模块并非一最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生并传送一当下卷积神经网络数据至一下一切割模块;以及
当该当下切割模块为该最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生一影像切割结果。
2.如权利要求1所述的影像切割方法,其特征在于,该先前卷积神经网络数据包含由该先前卷积神经网络单元的一输出层所输出的多个先前输出层运算结果,或是由该先前卷积神经网络单元的一隐藏层所输出的多个先前隐藏层运算结果。
3.如权利要求1所述的影像切割方法,其特征在于,该影像切割方法还包含:
由该当下卷积神经网络单元的一输入层接收该提升取样先前卷积神经网络数据以及该当下降低取样影像;以及
根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以由该当下卷积神经网络单元的一隐藏层产生多个当下隐藏层运算结果,以及由该当下卷积神经网络单元的一输出层产生多个当下输出层运算结果,其中该当下卷积神经网络数据为所述多个当下输出层运算结果或所述多个当下隐藏层运算结果。
4.如权利要求1所述的影像切割方法,其特征在于,该影像切割方法还包含:
由该当下卷积神经网络单元的一输入层接收该当下降低取样影像;
由该当下卷积神经网络单元的一隐藏层接收该提升取样先前卷积神经网络数据;以及
根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以由该当下卷积神经网络单元的一隐藏层产生多个当下隐藏层运算结果,以及由该当下卷积神经网络单元的一输出层产生多个当下输出层运算结果,其中该当下卷积神经网络数据为所述多个当下输出层运算结果或所述多个当下隐藏层运算结果。
5.如权利要求1所述的影像切割方法,其特征在于,该影像切割方法还包含:
通过自该当下卷积神经网络单元的一输出层输出的多个当下输出层运算结果中选取一部分以产生该影像切割结果,其中该部分相较所述多个当下输出层运算结果的其他部分具有较大的数值。
6.如权利要求1所述的影像切割方法,其特征在于,该神经网络为一递归神经网络。
7.如权利要求1所述的影像切割方法,其特征在于,当该当下切割模块为该最后切割模块时,该当下卷积神经网络单元根据具有相同分辨率的该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生与该输入影像具有相同分辨率的该影像切割结果。
8.一种影像切割装置,其特征在于,包括:
一存储单元,配置以存储多个电脑可执行指令;以及
一处理单元,电性耦接于该存储单元,并配置以撷取并执行所述多个电脑可执行指令,以执行一影像切割方法,该影像切割方法用以通过由该处理单元执行所述多个电脑可执行指令时实现的一神经网络执行影像切割,该影像切割方法包括:
由该神经网络的一降低取样模块对一输入影像进行降低取样,以产生具有不同的多个分辨率的多个降低取样影像,分别对应于多个切割模块之一;
对于该神经网络的所述多个切割模块其中的一当下切割模块,由该当下切割模块的一当下提升取样单元接收具有一第一分辨率的一先前卷积神经网络数据,以对该先前卷积神经网络数据进行提升取样,以产生具有一第二分辨率的一提升取样先前卷积神经网络数据,其中该先前卷积神经网络数据是由一先前切割模块的一先前卷积神经网络单元根据所述多个降低取样影像中具有该第一分辨率的一先前降低取样影像所产生,其中当该先前切割模块不存在时,该先前卷积神经网络数据为一预设虚拟数据;
由该当下切割模块的一当下卷积神经网络单元接收所述多个降低取样影像中具有该第二分辨率的一当下降低取样影像以及该提升取样先前卷积神经网络数据;
当该当下切割模块并非一最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生并传送一当下卷积神经网络数据至一下一切割模块;以及
当该当下切割模块为该最后切割模块时,由该当下卷积神经网络单元根据该提升取样先前卷积神经网络数据以及该当下降低取样影像进行卷积,以产生一影像切割结果。
9.如权利要求8所述的影像切割装置,其特征在于,该先前卷积神经网络数据包含由该先前卷积神经网络单元的一输出层所输出的多个先前输出层运算结果,或是由该先前卷积神经网络单元的一隐藏层所输出的多个先前隐藏层运算结果。
CN201810722108.XA 2017-08-31 2018-07-04 影像切割方法及装置 Active CN109427061B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762552412P 2017-08-31 2017-08-31
US62/552,412 2017-08-31
US15/981,919 US10628919B2 (en) 2017-08-31 2018-05-17 Image segmentation method and apparatus
US15/981,919 2018-05-17

Publications (2)

Publication Number Publication Date
CN109427061A CN109427061A (zh) 2019-03-05
CN109427061B true CN109427061B (zh) 2020-11-17

Family

ID=65435376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810722108.XA Active CN109427061B (zh) 2017-08-31 2018-07-04 影像切割方法及装置

Country Status (3)

Country Link
US (1) US10628919B2 (zh)
CN (1) CN109427061B (zh)
TW (1) TWI675349B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
KR20210067788A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
CN111161301B (zh) * 2019-12-31 2021-07-27 上海商汤智能科技有限公司 图像分割方法及装置、电子设备和存储介质
CN113554742B (zh) * 2020-04-26 2024-02-02 上海联影医疗科技股份有限公司 一种三维图像的重建方法、装置、设备及存储介质
CN112150470B (zh) * 2020-09-22 2023-10-03 平安科技(深圳)有限公司 图像分割方法、装置、介质及电子设备
CA3195077A1 (en) * 2020-10-07 2022-04-14 Dante DE NIGRIS Systems and methods for segmenting 3d images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381735B (zh) * 2009-06-15 2013-01-01 Univ Kun Shan 影像監視設備之影像處理系統及其影像解析自動調適之方法
CN102970532A (zh) * 2012-11-13 2013-03-13 鸿富锦精密工业(深圳)有限公司 影像切割***及方法
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106127684A (zh) * 2016-06-22 2016-11-16 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567735B (zh) * 2010-12-30 2013-07-24 中国科学院电子学研究所 一种自动提取遥感图像控制点切片的方法
CN103824223B (zh) * 2014-02-21 2016-09-14 浙江大学 基于MapReduce和神经网络的农作物产量遥感估算方法
US9251431B2 (en) * 2014-05-30 2016-02-02 Apple Inc. Object-of-interest detection and recognition with split, full-resolution image processing pipeline
US9530071B2 (en) * 2014-10-10 2016-12-27 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
EP3203412A1 (en) * 2016-02-05 2017-08-09 Delphi Technologies, Inc. System and method for detecting hand gestures in a 3d space
WO2018052586A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
EP3570752A4 (en) * 2017-01-19 2020-01-22 New York University SYSTEM, METHOD AND COMPUTER ACCESSIBLE MEDIUM FOR ULTRASOUND ANALYSIS
CN106934455B (zh) * 2017-02-14 2019-09-06 华中科技大学 基于cnn的遥感影像光学适配结构选取方法及***
US10706547B2 (en) * 2017-06-02 2020-07-07 Htc Corporation Image segmentation method and apparatus
US10290107B1 (en) * 2017-06-19 2019-05-14 Cadence Design Systems, Inc. Transform domain regression convolutional neural network for image segmentation
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
US10803555B2 (en) * 2017-08-31 2020-10-13 Shanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
US20190205700A1 (en) * 2017-12-29 2019-07-04 Uber Technologies, Inc. Multiscale analysis of areas of interest in an image
US10997433B2 (en) * 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
KR102565278B1 (ko) * 2018-03-26 2023-08-09 삼성전자주식회사 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
US11244195B2 (en) * 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
KR102565849B1 (ko) * 2018-05-14 2023-08-11 한국전자통신연구원 동영상 내 작은 물체를 실시간으로 세분화하는 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381735B (zh) * 2009-06-15 2013-01-01 Univ Kun Shan 影像監視設備之影像處理系統及其影像解析自動調適之方法
CN102970532A (zh) * 2012-11-13 2013-03-13 鸿富锦精密工业(深圳)有限公司 影像切割***及方法
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106127684A (zh) * 2016-06-22 2016-11-16 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image Segmentation-Based Multi-Focus Image Fusion Through Multi-Scale Convolutional Neural Network;Chaoben Du 等;《Digital Object Identifier》;20170829;第5卷;第15750-15761页 *
Stacked fully convolutional networks with multi-channel learning:application to medical image segmentation;Lei Bi 等;《Vis Comput》;20170304;第33卷;第1061-1071页 *
一种多尺度CNN的图像语义分割算法;刘丹 等;《遥感信息》;20170228;第32卷(第1期);第57-64页 *
基于卷积神经网络的结肠病理图像中的腺体分割;吕力兢;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;第2017年卷(第03期);第I138-5141页 *

Also Published As

Publication number Publication date
TW201913557A (zh) 2019-04-01
TWI675349B (zh) 2019-10-21
US10628919B2 (en) 2020-04-21
CN109427061A (zh) 2019-03-05
US20190066265A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN109427061B (zh) 影像切割方法及装置
CN111104962B (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
CN109325972B (zh) 激光雷达稀疏深度图的处理方法、装置、设备及介质
EP3427195B1 (en) Convolutional neural networks, particularly for image analysis
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN108986100B (zh) 影像切割方法及装置
CN110322400B (zh) 图像处理方法及装置、图像处理***及其训练方法
CN111080660A (zh) 一种图像分割方法、装置、终端设备及存储介质
CN109377508B (zh) 图像处理方法和装置
CN112990219A (zh) 用于图像语义分割的方法和装置
CN109977963B (zh) 图像处理方法、设备、装置以及计算机可读介质
CN112700460A (zh) 图像分割方法及***
WO2022099325A1 (en) Transformer-based scene text detection
CN110517267B (zh) 一种图像分割方法及装置、存储介质
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN111027635A (zh) 图像处理模型的构建方法、装置、终端及可读存储介质
US11144553B2 (en) Streaming programmable point mapper and compute hardware
CN113989507B (zh) 一种水下图像语义分割模型及分割方法
CN115909081A (zh) 边缘引导多尺度特征融合的光学遥感图像地物分类方法
CN113361536A (zh) 图像语义分割模型训练、图像语义分割方法及相关装置
CN111222468A (zh) 一种基于深度学习的人流检测方法及***
CN111382696A (zh) 用于检测目标的边界点的方法和装置
CN111414909A (zh) 一种目标检测方法和装置
CN109816036B (zh) 图像处理方法和装置
US20240169715A1 (en) Training large-scale vision transformer neural networks with variable patch sizes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant