CN112801282A - 三维图像处理方法、装置、计算机设备和存储介质 - Google Patents
三维图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112801282A CN112801282A CN202110316166.4A CN202110316166A CN112801282A CN 112801282 A CN112801282 A CN 112801282A CN 202110316166 A CN202110316166 A CN 202110316166A CN 112801282 A CN112801282 A CN 112801282A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- deconvolution
- characteristic image
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 227
- 238000003672 processing method Methods 0.000 title abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000015654 memory Effects 0.000 claims description 52
- 230000006403 short-term memory Effects 0.000 claims description 43
- 230000007787 long-term memory Effects 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008034 disappearance Effects 0.000 abstract description 13
- 238000004880 explosion Methods 0.000 abstract description 13
- 238000001914 filtration Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000004883 computer application Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种三维图像处理方法、装置、计算机设备和存储介质。所述方法包括:将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;将所述卷积特征图像和所述反卷积特征图像进行差分运算,得到差分图像;将所述卷积特征图像、所述差分图像和所述反卷积特征图像连接;将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。因此,在三维图像处理的过程中,通过跨层差分能够解决因梯度***及梯度消失导致预测图像准确率低的问题。
Description
技术领域
本申请涉及计算机应用领域,特别是涉及一种三维图像处理方法、装置、计算机设备和存储介质。
背景技术
随着三维神经网络技术的发展,三维视觉被广泛应用于辅助机器人完成任务,但在实际应用场景中常常会遇到遮挡、超出视野范围及光线变化的问题,为了解决因运动带来的这些问题,需要设计新的三维网络结构来学习未被干扰时目标的图像之间的时序关系,以预测目标被遮挡时的运动状态,因此,三维神经网络往往需要设计得比较深才能取得较好的学习及预测性能,但是深层的网络经常会遇到梯度***及梯度消失问题。
在相关技术中,基于LSTM(Long Short-Term Memory,长短期记忆网络)解决了二维神经网络中梯度***及梯度消失问题。然而,基于三维卷积长短期记忆网络处理图像的过程中因存在梯度***及梯度消失导致预测图像准确率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种三维图像处理方法、装置、计算机设备和存储介质。
一种三维图像处理方法,该方法包括:
将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像;将该卷积特征图像、该差分图像和该反卷积特征图像连接;将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像,包括:
将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
在其中一个实施例中,该方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第二卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像;将该第二卷积特征图像、该第一差分图像和该第一反卷积特征图像连接;将连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第一卷积特征图像和该第二反卷积特征图像进行差分运算,得到第二差分图像;将该第一卷积特征图像、该第二差分图像和该第二反卷积特征图像连接;将连接后的第一卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像;将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第三卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像;将该第三卷积特征图像、该第一差分图像和该第一反卷积特征图像连接;将连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第二卷积特征图像和该第二反卷积特征图像进行差分运算,得到第二差分图像;将该第二卷积特征图像、该第二差分图像和该第二反卷积特征图像连接;将连接后的第二卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三反卷积特征图像;将该第一卷积特征图像和该第三反卷积特征图像进行差分运算,得到第三差分图像;将该第一卷积特征图像、该第三差分图像和该第三反卷积特征图像连接;将连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该方法还包括:
对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。
在其中一个实施例中,该方法应用于三维时序图像生成网络,该三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层,还包括:
通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像;通过该连接层将该卷积特征图像、该差分图像和该反卷积特征图像连接;通过该三维反卷积长短期记忆网络层将该连接后的卷积特征图像、该差分图像和该反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,该方法还包括:
将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像;将该三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像;将该第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像;将该具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像;将该第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像;将该第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像;将该第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像;将该第三特征图像和该第五特征图像进行差分运算,得到第一差分图像;通过第一连接层将该第三特征图像、该第一差分图像和该第五特征图像连接;将连接在一起的第三特征图像、第一差分图像和第五特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像;将该第二特征图像和该第六特征图像进行差分运算,得到第二差分图像;通过第二连接层将该第二特征图像、该第二差分图像和该第六特征图像连接;将连接在一起的第二特征图像、第二差分图像和第六特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像;将该第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像;将该第一特征图像和该第八特征图像进行差分运算,得到第三差分图像;通过第三连接层将该第一特征图像、该第三差分图像和该第八特征图像连接;将连接在一起的第一特征图像、第三差分图像和第八特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像;将该第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
一种三维图像处理装置,该装置包括:
卷积处理模块,用于将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
反卷积处理模块,用于将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;
差分计算模块,用于将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像;
连接模块,用于将该卷积特征图像、该差分图像和该反卷积特征图像连接;
该反卷积处理模块,还用于将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行时实现如上述任一该的三维图像处理方法。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一该的三维图像处理方法。
上述三维图像处理方法、装置、计算机设备和存储介质,通过将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像;将该卷积特征图像、该差分图像和该反卷积特征图像连接;将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。因此,在三维图像处理的过程中,通过跨层差分能够解决因梯度***及梯度消失导致预测图像准确率低的问题。
附图说明
图1为一个实施例中三维图像处理方法的应用环境图;
图2为一个实施例中三维图像处理方法的流程示意图;
图3为另一个实施例中三维图像处理方法的流程示意图;
图4为另一个实施例中三维图像处理方法的流程示意图;
图5为另一个实施例中三维图像处理方法的流程示意图;
图6为一个实施例中三维图像处理方法的跨层差分结构示意图;
图7a为另一个实施例中三维时序图像生成网络图;
图7b为另一个实施例中基于跨层差分结构的三维时序图像生成网络图;
图8为另一个实施例中三维图像处理方法的流程示意图;
图9为一个实施例中三维图像处理装置的结构框图;
图10为另一个实施例中三维图像处理装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的三维图像处理方法,可以应用于如图1所示的网络中,该网络由卷积层、反卷积层、连接层组成,其中经过卷积层得到卷积特征图像,经过反卷积层得到反卷积特征图像,卷积特征图像与反卷积特征图像进行差分运算得到差分图像,连接层将卷积特征图像、差分图像、反卷积特征图像连接输出,构成跨层差分结构。
在一个实施例中,如图2所示,提供了一种三维图像处理方法,该方法应用在图1所示的神经网络中,包括以下步骤:
步骤202,将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
其中,三维图像在立体图视觉上层次分明色彩鲜艳,具有很强的视觉冲击,并且该三维图像具有时序特征,并且第一时刻和第二时刻为连续时刻,卷积特征图像是指经过卷积处理过滤后的图像。
具体地,计算机设备将输入的第一时刻的三维图像和第二时刻的三维图像进行卷积处理过滤后,得到卷积特征图像。
步骤204,将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像。
其中,图像尺寸是指三维图像张量的长、宽、高及通道数量,反卷积特征图像是指经过反卷积处理过滤后的图像。
具体地,将该卷积特征图像进行反卷积处理过滤后,得到与该卷积特征图像的长、宽、高及通道数量都一致的反卷积特征图像。
步骤206,将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像。
其中,差分运算是根据特征图像的张量进行差分计算。
具体地,将该卷积特征图像的张量和该反卷积特征图像的张量进行跨层差分计算,得到差分计算张量为差分图像。
步骤208,将该卷积特征图像、该差分图像和该反卷积特征图像连接。
具体地,按照时序顺序将该卷积特征图像、该差分图像和该反卷积特征图像跨层连接。
步骤210,将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
其中,第一时刻、第二时刻和第三时刻为连续的时刻,第三时刻的图像为经过第一时刻的三维图像和第二时刻的三维图像预测得到的图像,例如,通过第一时刻为8点00分的三维图像和第二时刻为8点01分的三维图像预测得到第三时刻为8点02分的三维图像。
具体地,将按照时序顺序连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理过滤后,预测得到第三时刻的三维图像。
上述三维图像处理方法中,通过将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像;将该卷积特征图像、该差分图像和该反卷积特征图像连接;将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。因此,在三维图像处理的过程中,通过跨层差分能够解决因梯度***及梯度消失导致预测图像准确率低的问题。
在一个实施例中,将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。其中,输入张量得长、宽、高及通道数一致的两张具有连续时序的三维图像,例如,两张三维图像的输入张量尺寸为[l,w,h,c*2],即长为l,宽为w,高为h,通道数量为c*2。通过输入张量尺寸一致的相邻两个时刻的三维图像,经过三维时序图像生成网络能够预测同一张量尺寸的第三时刻的三维图像。
在一个实施例中,如图3所示,提供了一种三维图像处理方法,包括以下步骤:
步骤302,将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
具体地,计算机设备将输入第一时刻的三维图像和第二时刻的三维图像通过第一卷积处理过滤后,得到第一卷积特征图像。
步骤304,将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
具体地,将该第一卷积特征图像进行第二卷积处理过滤后,得到第二卷积特征图像。
步骤306,将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
具体地,将该第二卷积特征图像进行第一反卷积处理过滤后,得到第一反卷积特征图像。
步骤308,将该第二卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像。
具体地,将该第二卷积特征图像的张量和该第一反卷积特征图像的张量进行跨层差分运算,得到第一差分图像。
步骤310,将该第二卷积特征图像、该第一差分图像和该第一反卷积特征图像连接。
具体地,按照时序顺序将该第二卷积特征图像、该第一差分图像和该第一反卷积特征图像连接。
步骤312,将连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像。
具体地,将按照时序顺序连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理过滤后,得到第二反卷积特征图像。
步骤314,将该第一卷积特征图像和该第二反卷积特征图像进行差分运算,得到第二差分图像。
具体地,将该第一卷积特征图像的张量和该第二反卷积特征图像的张量进行跨层差分运算,得到第二差分图像。
步骤316,将该第一卷积特征图像、该第二差分图像和该第二反卷积特征图像连接。
具体地,按照时序顺序将该第一卷积特征图像、该第二差分图像和该第二反卷积特征图像连接。
步骤318,将连接后的第一卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三时刻的三维图像。
具体地,将按照时序顺序连接后的第一卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理过滤后,得到第三时刻的三维图像。
上述三维图像处理方法中,将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第二卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像;将该第二卷积特征图像、该第一差分图像和该第一反卷积特征图像连接;将连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第一卷积特征图像和该第二反卷积特征图像进行差分运算,得到第二差分图像;将该第一卷积特征图像、该第二差分图像和该第二反卷积特征图像连接;将连接后的第一卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三时刻的三维图像。因此,在三维图像处理的过程中,通过跨层差分能够解决因梯度***及梯度消失导致预测图像准确率低的问题。
在一个实施例中,如图4所示,提供了一种三维图像处理方法,包括以下步骤:
步骤402,计算机设备将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
具体地,将输入第一时刻的三维图像和第二时刻的三维图像通过第一卷积处理过滤后,得到第一卷积特征图像。
步骤404,将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
具体地,将该第一卷积特征图像进行第二卷积处理过滤后,得到第二卷积特征图像。
步骤406,将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像。
具体地,将该第二卷积特征图像进行第三卷积处理过滤后,得到第三卷积特征图像。
步骤408,将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
具体地,将该第三卷积特征图像进行第一反卷积处理过滤后,得到第一反卷积特征图像。
步骤410,将该第三卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像。
具体地,将该第三卷积特征图像的张量和该第一反卷积特征图像的张量进行跨层差分运算,得到第一差分图像。
步骤412,将该第三卷积特征图像、该第一差分图像和该第一反卷积特征图像连接。
具体地,按照时序顺序将该第三卷积特征图像、该第一差分图像和该第一反卷积特征图像连接。
步骤414,将连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像。
具体地,将按照时序顺序连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理过滤后,得到第二反卷积特征图像。
步骤416,将该第二卷积特征图像和该第二反卷积特征图像进行差分运算,得到第二差分图像。
具体地,将该第二卷积特征图像的张量和该第二反卷积特征图像的张量进行跨层差分运算,得到第二差分图像
步骤418,将该第二卷积特征图像、该第二差分图像和该第二反卷积特征图像连接。
具体地,按照时序顺序将该第二卷积特征图像、该第二差分图像和该第二反卷积特征图像连接。
步骤420,将连接后的第二卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三反卷积特征图像。
具体地,将按照时序顺序连接后的第二卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理过滤后,得到第三反卷积特征图像。
步骤422,将该第一卷积特征图像和该第三反卷积特征图像进行差分运算,得到第三差分图像。
具体地,将该第一卷积特征图像的张量和该第三反卷积特征图像的张量进行跨层差分运算,得到第三差分图像。
步骤424,将该第一卷积特征图像、该第三差分图像和该第三反卷积特征图像连接。
具体地,按照时序顺序将该第一卷积特征图像、该第三差分图像和该第三反卷积特征图像连接。
步骤426,将连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理,得到第三时刻的三维图像。
具体地,将按照时序顺序连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理过滤后,得到第三时刻的三维图像。
上述三维图像处理方法中,将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像;将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;将该第三卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像;将该第三卷积特征图像、该第一差分图像和该第一反卷积特征图像连接;将连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像;将该第二卷积特征图像和该第二反卷积特征图像进行差分运算,得到第二差分图像;将该第二卷积特征图像、该第二差分图像和该第二反卷积特征图像连接;将连接后的第二卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三反卷积特征图像;将该第一卷积特征图像和该第三反卷积特征图像进行差分运算,得到第三差分图像;将该第一卷积特征图像、该第三差分图像和该第三反卷积特征图像连接;将连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理,得到第三时刻的三维图像。因此,在三维图像处理的过程中,通过跨层差分能够解决因梯度***及梯度消失导致预测图像准确率低的问题。
在一个实施例中,对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。通过注意力权重处理能够促进三维时序图像生成网络更关注三维图像的主要部分,并且提升网络学习和预测三维图像的能力。
在一个实施例中,如图5所示,提供了一种三维图像处理方法,应用于三维时序图像生成网络,该三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层;包括以下步骤:
步骤502,通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
其中,该三维卷积长短期记忆网络层的以一定的步长进行处理,例如,该三维卷积长短期记忆网络层的步长可以为2,也可以为1。
具体地,计算机设备将输入的第一时刻的三维图像和第二时刻的三维图像进行卷积处理过滤后,得到卷积特征图像,其中第一时刻的三维图像和第二时刻的三维图像尺寸一致,例如,两张三维图像的输入张量尺寸为[l,w,h,c],即长为l,宽为w,高为h,通道数量为c。
步骤504,通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像。
其中,该反卷积特征图像是通过三维反卷积长短期记忆网络层输出的张量,差分运算是根据特征图像的张量进行差分计算。
具体地,通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及根据特征图像的张量将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像。
步骤506,通过该连接层将该卷积特征图像、该差分图像和该反卷积特征图像连接。
其中,连接层是为了连接输出不同层输出图像的张量。
步骤508,通过该三维反卷积长短期记忆网络层将该连接后的卷积特征图像、该差分图像和该反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
具体地,通过该三维反卷积长短期记忆网络层将按照时序顺序连接后的卷积特征图像、该差分图像和该反卷积特征图像进行反卷积处理过滤后,预测得到第三时刻的三维图像。
上述三维图像处理方法中,应用于三维时序图像生成网络,该三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层,通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像;通过该连接层将该卷积特征图像、该差分图像和该反卷积特征图像连接;通过该三维反卷积长短期记忆网络层将该连接后的卷积特征图像、该差分图像和该反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。因此,在三维图像处理的过程中,通过跨层差分能够解决因梯度***及梯度消失导致预测图像准确率低的问题。
请参考图6,根据跨层差分结构将通过三维卷积长短期记忆网络层得到的卷积特征图像和通过三维反卷积长短期记忆网络层得到的卷积特征图像进行差分运算得到差分图像,并且连接输出该卷积特征图像、该差分图像和该反卷积特征图像。例如,输入X1到三维卷积长短期记忆网络层得到X2,经过三维反卷积长短期记忆网络层得到X3,经过差分运算得到X2-X3,故,连接层连接输出(X2,X2-X3,X3),或该结构也可以输出(X3,X3-X2,X2)。
请参考图7a所示的三维时序图像生成网络,该网络结构由4层ConvAttention(Convolution Attention,卷积注意力层)、4层ConvLSTM3D(three-dimensionalConvolution Long Short Term Memory,三维卷积长短期记忆网络层)、5层ConvLSTM3DT(three-dimensional Convolution Long Short Term Memory Transpose,三维反卷积长短期记忆网络层)组成。其中,ConvLSTM3D和ConvLSTM3DT具有4层ConvLSTM3D的卷积核分别为2*2*2*128(128个步长为2且尺寸为2*2*2的卷积核)、2*2*2*256(256个步长为2且尺寸为2*2*2的卷积核)、两个2*2*2*512(512个步长为2且尺寸为2*2*2的卷积核)。5层ConvLSTM3DT(three-dimensional Convolution Long Short Term Memory Transpose,三维反卷积长短期记忆网络),其中5层ConvLSTM3DT的卷积核分别为2*2*2*512(512个步长为2且尺寸为2*2*2的卷积核)、2*2*2*256(256个步长为2且尺寸为2*2*2的卷积核)、2*2*2*128(128个步长为2且尺寸为2*2*2的卷积核)、2*2*2*64(64个步长为2且尺寸为2*2*2的卷积核)、2*2*2*c(c个步长为1且尺寸为2*2*2的卷积核)。由于该网络结构在进行预测三维图像的过程中,随着层数的增加会导致因存在梯度***及梯度消失导致预测图像准确率低的问题。
因此,在图7a的网络基础上,如图7b所示的网络是通过增加跨层差分结构解决因存在梯度***及梯度消失导致预测图像准确率低的问题。其中,对输出尺寸一致的ConvLSTM3D(three-dimensional Convolution Long Short Term Memory,三维卷积长短期记忆网络层)和ConvLSTM3DT(three-dimensional Convolution Long Short TermMemory Transpose,三维反卷积长短期记忆网络层)增加跨层差分结构。例如,尺寸均为[l,w,h,c]的第一时刻的三维图像和第二时刻的三维图像输入图7a中的网络结构中,经过ConvAttention后得到的张量即[l,w,h,c*2],经过128个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/2,w/2,h/2,128],经过ConvAttention和256个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/4,w/4,h/4,256],经过512个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/8,w/8,h/8,512],经过512个步长为2且尺寸为2*2*2的ConvLSTM3D处理后得到张量尺寸为[l/16,w/16,h/16,512],经过512个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l/8,w/8,h/8,512],经过256个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l/4,w/4,h/4,256],经过ConvAttention和128个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l/2,w/2,h/2,128],经过ConvAttention和64个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l,w,h,64],经过c个步长为2且尺寸为2*2*2的ConvLSTM3DT处理后得到张量尺寸为[l,w,h,c],最后输出尺寸为[l,w,h,c]的第三时刻的三维图像。其中,由上到下,第一个连接层Concat(Concatenate,连接层)连接卷积核为2*2*2*128的ConvLSTM3D和ConvLSTM3DT,输出的张量尺寸都是[l/2,w/2,h/2,128],第二个连接层Concat连接卷积核为2*2*2*256的ConvLSTM3D和ConvLSTM3DT,输出的张量尺寸都是[l/4,w/4,h/4,256],第三个连接层Concat连接卷积核为2*2*2*512的ConvLSTM3D和ConvLSTM3DT,输出的张量尺寸都是[l/8,w/8,h/8,512]。
在一个实施例中,如图8所示,提供了一种三维图像处理方法,应用于图7b所示的三维神经网络中,包括以下步骤:
步骤802,将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像。
其中,将尺寸一致的第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络中。
步骤804,将该三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像。
步骤806,将该第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像。
步骤808,将该具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像。
步骤810,将该第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像。
步骤812,将该第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像。
步骤814,将该第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像。
步骤816,将该第三特征图像和该第五特征图像进行差分运算,得到第一差分图像。
其中,该第三特征图像和该第五特征图像的张量尺寸一致。
步骤818,通过第一连接层将该第三特征图像、该第一差分图像和该第五特征图像连接。
步骤820,将连接在一起的第三特征图像、第一差分图像和第五特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像。
步骤822,将该第二特征图像和该第六特征图像进行差分运算,得到第二差分图像。
其中,该第二特征图像和该第六特征图像的张量尺寸一致。
步骤824,通过第二连接层将该第二特征图像、该第二差分图像和该第六特征图像连接。
步骤826,将连接在一起的第二特征图像、第二差分图像和第六特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像。
步骤828,将该第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像。
步骤830,将该第一特征图像和该第八特征图像进行差分运算,得到第三差分图像。
其中,该第一特征图像和该第八特征图像的张量尺寸一致。
步骤832,通过第三连接层将该第一特征图像、该第三差分图像和该第八特征图像连接。
步骤834,将连接在一起的第一特征图像、第三差分图像和第八特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像。
步骤836,将该第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
在本实施例中,在增加跨层差分结构后,经过多层处理后所得到的张量不会忽大忽小,随着计算损失和更新网络权值,能够稳定地向优化的方向变化,从而解决三维卷积长短期记忆网络训练中的梯度消失和梯度***的问题。根据输出张量一致查询三维卷积长短期记忆层和三维反卷积长短期记忆层,从而增加跨层差分结构,并且在如图7a中的网络结构中增加3个跨层差分结构解决梯度***及梯度消失的问题的效果比增加2个跨层差分结构的效果更好。应当指出,不能无限增加,应当根据最终输出图像的效果决定增加跨层差分结构的个数。
应该理解的是,虽然图1-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-8中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种三维图像处理装置,该装置900包括卷积处理模块902、反卷积处理模块904、差分计算模块906、连接模块908,其中:
卷积处理模块902,用于将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
反卷积处理模块904,用于将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像。
差分计算模块906,用于将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像。
连接模块908,用于将该卷积特征图像、该差分图像和该反卷积特征图像连接。
该反卷积处理模块904,还用于将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
在一个实施例中,卷积处理模块902用于将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
在一个实施例中,卷积处理模块902还用于将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
该卷积处理模块902还用于将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
反卷积处理模块904还用于将该第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
差分计算模块906还用于将该第二卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像。
连接模块908还用于将该第二卷积特征图像、该第一差分图像和该第一反卷积特征图像连接。
该反卷积处理模块904还用于将连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像。
该差分计算模块906还用于将所述第一卷积特征图像和所述第二反卷积特征图像进行差分运算,得到第二差分图像。
该连接模块908还用于将所述第一卷积特征图像、所述第二差分图像和所述第二反卷积特征图像连接。
该反卷积处理模块904还用于将连接后的第一卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三时刻的三维图像。
在其中一个实施例中,卷积处理模块902还用于将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像。
该卷积处理模块902还用于将该第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像。
该卷积处理模块902还用于将该第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像。
反卷积处理模块904还用于将该第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像。
差分计算模块906还用于将该第三卷积特征图像和该第一反卷积特征图像进行差分运算,得到第一差分图像。
该反卷积处理模块904还用于将该第三卷积特征图像、该第一差分图像和该第一反卷积特征图像连接。
该反卷积处理模块904还用于将连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像。
该差分计算模块906还用于将该第二卷积特征图像和该第二反卷积特征图像进行差分运算,得到第二差分图像。
连接模块908还用于将该第二卷积特征图像、该第二差分图像和该第二反卷积特征图像连接。
该反卷积处理模块904还用于将连接后的第二卷积图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三反卷积特征图像。
该差分计算模块906还用于将该第一卷积特征图像和该第三反卷积特征图像进行差分运算,得到第三差分图像。
该连接模块908还用于将该第一卷积特征图像、该第三差分图像和该第三反卷积特征图像连接。
该反卷积处理模块906还用于将连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理,得到第三时刻的三维图像。
在一个实施例中,如图10所示,该装置900还包括卷积注意力模块910,该卷积注意力模块910用于对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。
在一个实施例中,卷积处理模块902还用于通过该三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
反卷积处理模块904还用于通过该三维反卷积长短期记忆网络层将该卷积特征图像进行反卷积处理,得到与该卷积特征图像尺寸一致的反卷积特征图像;以及差分计算模块906还用于将该卷积特征图像和该反卷积特征图像进行差分运算,得到差分图像。
连接模块908还用于通过该连接层将该卷积特征图像、该差分图像和该反卷积特征图像连接。
该反卷积处理模块904还用于通过该三维反卷积长短期记忆网络层将该连接后的卷积特征图像、该差分图像和该反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
在一个实施例中,卷积注意力模块910还用于将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像。
卷积处理模块902还用于将该三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像。
该卷积注意力模块910还用于将该第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像。
该卷积处理模块902还用于将该具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像。
该卷积处理模块902还用于将该第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像。
该卷积处理模块902还用于将该第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像。
反卷积处理模块904还用于将该第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像。
差分计算模块906还用于将该第三特征图像和该第五特征图像进行差分运算,得到第一差分图像。
连接模块908还用于通过第一连接层将该第三特征图像、该第一差分图像和该第五特征图像连接。
该反卷积处理模块904还用于将连接在一起的第三特征图像、第一差分图像和第五特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像。
该差分计算模块906还用于将该第二特征图像和该第六特征图像进行差分运算,得到第二差分图像。
该连接模块908还用于通过第二连接层将该第二特征图像、该第二差分图像和该第六特征图像连接。
该卷积注意力模块910还用于将连接在一起的第二特征图像、第二差分图像和第六特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像。
该反卷积处理模块904还用于将该第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像。
该差分计算模块906还用于将该第一特征图像和该第八特征图像进行差分运算,得到第三差分图像。
该连接模块908还用于通过第三连接层将该第一特征图像、该第三差分图像和该第八特征图像连接。
该卷积注意力模块910还用于将连接在一起的第一特征图像、第三差分图像和第八特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像。
该反卷积处理模块904还用于将该第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
关于三维图像处理装置的具体限定可以参见上文中对于三维图像处理方法的限定,在此不再赘述。上述三维图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储三维图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维图像处理方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种三维图像处理方法,其特征在于,所述方法包括:
将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;
将所述卷积特征图像和所述反卷积特征图像进行差分运算,得到差分图像;
将所述卷积特征图像、所述差分图像和所述反卷积特征图像连接;
将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
2.根据权利要求1所述的方法,其特征在于,所述将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像,包括:
将张量尺寸一致的第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;
将所述第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;
将所述第二卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;
将所述第二卷积特征图像和所述第一反卷积特征图像进行差分运算,得到第一差分图像;
将所述第二卷积特征图像、所述第一差分图像和所述第一反卷积特征图像连接;
将连接后的第二卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像;
将所述第一卷积特征图像和所述第二反卷积特征图像进行差分运算,得到第二差分图像;
将所述第一卷积特征图像、所述第二差分图像和所述第二反卷积特征图像连接;
将连接后的第一卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三时刻的三维图像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将第一时刻的三维图像和第二时刻的三维图像进行第一卷积处理,得到第一卷积特征图像;
将所述第一卷积特征图像进行第二卷积处理,得到第二卷积特征图像;
将所述第二卷积特征图像进行第三卷积处理,得到第三卷积特征图像;
将所述第三卷积特征图像进行第一反卷积处理,得到第一反卷积特征图像;
将所述第三卷积特征图像和所述第一反卷积特征图像进行差分运算,得到第一差分图像;
将所述第三卷积特征图像、所述第一差分图像和所述第一反卷积特征图像连接;
将连接后的第三卷积特征图像、第一差分图像和第一反卷积特征图像进行第二反卷积处理,得到第二反卷积特征图像;
将所述第二卷积特征图像和所述第二反卷积特征图像进行差分运算,得到第二差分图像;
将所述第二卷积特征图像、所述第二差分图像和所述第二反卷积特征图像连接;
将连接后的第二卷积特征图像、第二差分图像和第二反卷积特征图像进行第三反卷积处理,得到第三反卷积特征图像;
将所述第一卷积特征图像和所述第三反卷积特征图像进行差分运算,得到第三差分图像;
将所述第一卷积特征图像、所述第三差分图像和所述第三反卷积特征图像连接;
将连接后的第一卷积特征图像、第三差分图像和第三反卷积特征图像进行第四反卷积处理,得到第三时刻的三维图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对卷积特征图像或反卷积特征图像分别进行注意力权重处理,得到对应权值调整后的卷积特征图像或反卷积特征图像。
6.根据权利要求1所述的方法,其特征在于,应用于三维时序图像生成网络,所述三维时序图像生成网络包括三维卷积长短期记忆网络层、三维反卷积长短期记忆网络层及连接层;所述方法还包括:
通过所述三维卷积长短期记忆网络层将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
通过所述三维反卷积长短期记忆网络层将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;以及将所述卷积特征图像和所述反卷积特征图像进行差分运算,得到差分图像;
通过所述连接层将所述卷积特征图像、所述差分图像和所述反卷积特征图像连接;
通过所述三维反卷积长短期记忆网络层将所述连接后的卷积特征图像、所述差分图像和所述反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将第一时刻的三维图像和第二时刻的三维图像输入到三维时序图像生成网络的第一卷积注意力层进行注意力权重处理,得到具有第一权重特征的三维图像;
将所述三维图像经过第一三维卷积长短期记忆层进行卷积处理,得到第一特征图像;
将所述第一特征图像经过第二卷积注意力层进行注意力权重处理,得到具有第二权重特征的第一特征图像;
将所述具有第二权重特征的第一特征图像经过第二三维卷积长短期记忆层进行卷积处理,得到第二特征图像;
将所述第二特征图像经过第三三维卷积长短期记忆层进行卷积处理,得到第三特征图像;
将所述第三特征图像经过第四三维卷积长短期记忆层进行卷积处理,得到第四特征图像;
将所述第四特征图像经过第一三维反卷积长短期记忆层进行反卷积处理,得到第五特征图像;
将所述第三特征图像和所述第五特征图像进行差分运算,得到第一差分图像;
通过第一连接层将所述第三特征图像、所述第一差分图像和所述第五特征图像连接;
将连接在一起的第三特征图像、第一差分图像和第五特征图像经过第二三维反卷积长短期记忆层进行反卷积处理,得到第六特征图像;
将所述第二特征图像和所述第六特征图像进行差分运算,得到第二差分图像;
通过第二连接层将所述第二特征图像、所述第二差分图像和所述第六特征图像连接;
将连接在一起的第二特征图像、第二差分图像和第六特征图像经过第三卷积注意力层进行注意力权重处理,得到具有第三权重特征的第七特征图像;
将所述第七特征图像经过第三三维反卷积长短期记忆层进行反卷积处理,得到第八特征图像;
将所述第一特征图像和所述第八特征图像进行差分运算,得到第三差分图像;
通过第三连接层将所述第一特征图像、所述第三差分图像和所述第八特征图像连接;
将连接在一起的第一特征图像、第三差分图像和第八特征图像经过第四卷积注意力层进行注意力权重处理,得到具有第四权重特征的第九特征图像;
将所述第九特征图像经过第四三维反卷积长短期记忆层和第五三维反卷积长短期记忆层进行反卷积处理,得到第十特征图像。
8.一种三维图像处理装置,其特征在于,所述装置包括:
卷积处理模块,用于将第一时刻的三维图像和第二时刻的三维图像进行卷积处理,得到卷积特征图像;
反卷积处理模块,用于将所述卷积特征图像进行反卷积处理,得到与所述卷积特征图像尺寸一致的反卷积特征图像;
差分计算模块,用于将所述卷积特征图像和所述反卷积特征图像进行差分运算,得到差分图像;
连接模块,用于将所述卷积特征图像、所述差分图像和所述反卷积特征图像连接;
所述反卷积处理模块,还用于将连接后的卷积特征图像、差分图像和反卷积特征图像进行反卷积处理,得到第三时刻的三维图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110316166.4A CN112801282A (zh) | 2021-03-24 | 2021-03-24 | 三维图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110316166.4A CN112801282A (zh) | 2021-03-24 | 2021-03-24 | 三维图像处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112801282A true CN112801282A (zh) | 2021-05-14 |
Family
ID=75815663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110316166.4A Pending CN112801282A (zh) | 2021-03-24 | 2021-03-24 | 三维图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801282A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242865A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 |
CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析***、装置及存储介质 |
CN110211130A (zh) * | 2019-05-20 | 2019-09-06 | 上海联影智能医疗科技有限公司 | 图像分割方法、计算机设备和存储介质 |
CN110490917A (zh) * | 2019-08-12 | 2019-11-22 | 北京影谱科技股份有限公司 | 三维重建方法及装置 |
JP2020528616A (ja) * | 2017-07-21 | 2020-09-24 | センスタイム グループ リミテッド | 画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス |
CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及*** |
CN112085807A (zh) * | 2019-06-12 | 2020-12-15 | 西门子医疗有限公司 | 提供差分图像数据组和训练生成器函数的方法和提供*** |
CN112258456A (zh) * | 2020-09-28 | 2021-01-22 | 汕头大学 | 一种基于卷积神经网络监督的三维图像分割方法 |
CN112907450A (zh) * | 2021-03-24 | 2021-06-04 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维时序图像处理方法、装置、计算机设备和存储介质 |
-
2021
- 2021-03-24 CN CN202110316166.4A patent/CN112801282A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020528616A (ja) * | 2017-07-21 | 2020-09-24 | センスタイム グループ リミテッド | 画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス |
CN109242865A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 基于多图谱的医学图像自动分区***、方法、装置及存储介质 |
CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析***、装置及存储介质 |
CN110211130A (zh) * | 2019-05-20 | 2019-09-06 | 上海联影智能医疗科技有限公司 | 图像分割方法、计算机设备和存储介质 |
CN112085807A (zh) * | 2019-06-12 | 2020-12-15 | 西门子医疗有限公司 | 提供差分图像数据组和训练生成器函数的方法和提供*** |
CN110490917A (zh) * | 2019-08-12 | 2019-11-22 | 北京影谱科技股份有限公司 | 三维重建方法及装置 |
CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及*** |
CN112258456A (zh) * | 2020-09-28 | 2021-01-22 | 汕头大学 | 一种基于卷积神经网络监督的三维图像分割方法 |
CN112907450A (zh) * | 2021-03-24 | 2021-06-04 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维时序图像处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
HANG WANG等: "Remaining useful life prediction techniques for electric valves based on convolution auto encoder and long short term memory", ISA TRANSACTIONS, vol. 108, 27 January 2021 (2021-01-27), pages 333 - 342, XP086471817, DOI: 10.1016/j.isatra.2020.08.031 * |
YUN-FENG ZHOU等: "Efficient Traffic Accident Warning Based on Unsupervised Prediction Framework", IEEE ACCESS, vol. 9, 9 March 2021 (2021-03-09), pages 69100 * |
王凯明: "基于深度学习的医学图像分割方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 January 2019 (2019-01-15), pages 138 - 4644 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3349153B1 (en) | Convolutional neural network (cnn) processing method and apparatus | |
US20230206069A1 (en) | Deep Learning Training Method for Computing Device and Apparatus | |
CN112215332B (zh) | 神经网络结构的搜索方法、图像处理方法和装置 | |
EP3923233A1 (en) | Image denoising method and apparatus | |
US11144782B2 (en) | Generating video frames using neural networks | |
US20230153615A1 (en) | Neural network distillation method and apparatus | |
CN111695673B (zh) | 训练神经网络预测器的方法、图像处理方法及装置 | |
CN111709415B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN113538281B (zh) | 图像去噪方法、装置、计算机设备和存储介质 | |
US20200394516A1 (en) | Filter processing device and method of performing convolution operation at filter processing device | |
CN111797992A (zh) | 一种机器学习优化方法以及装置 | |
US20240135174A1 (en) | Data processing method, and neural network model training method and apparatus | |
US20200389182A1 (en) | Data conversion method and apparatus | |
US20230401838A1 (en) | Image processing method and related apparatus | |
EP4270247A1 (en) | Neural network model training method and apparatus, and data processing method and apparatus | |
CN114078195A (zh) | 分类模型的训练方法、超参数的搜索方法以及装置 | |
CN113065997A (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
CN112907450B (zh) | 三维时序图像处理方法、装置、计算机设备和存储介质 | |
CN112241646A (zh) | 车道线识别方法、装置、计算机设备和存储介质 | |
EP3637323A1 (en) | Information processing device and information processing method | |
CN111639523B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN111027670B (zh) | 特征图处理方法、装置、电子设备及存储介质 | |
CN116091844A (zh) | 一种基于边缘计算的图像数据处理方法及*** | |
CN115620017A (zh) | 图像的特征提取方法、装置、设备及存储介质 | |
CN112801282A (zh) | 三维图像处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |