CN112967194A - 目标图像生成方法及装置、计算机可读介质和电子设备 - Google Patents
目标图像生成方法及装置、计算机可读介质和电子设备 Download PDFInfo
- Publication number
- CN112967194A CN112967194A CN202110241630.8A CN202110241630A CN112967194A CN 112967194 A CN112967194 A CN 112967194A CN 202110241630 A CN202110241630 A CN 202110241630A CN 112967194 A CN112967194 A CN 112967194A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- processed
- target
- consistent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013508 migration Methods 0.000 claims abstract description 83
- 230000005012 migration Effects 0.000 claims abstract description 83
- 238000001914 filtration Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种目标图像生成方法及装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：获取待处理图像和参考图像；对所述待处理图像进行滤波处理，得到色阶一致的待处理图像；通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。本公开能够对输入的任意图像质量的待处理图像进行色彩迁移，避免由于待处理图像的图像质量较差时导致色彩迁移后的图像存在色块现象的问题，提高输出图像的鲁棒性，提升图像显示效果。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种目标图像生成方法、目标图像生成装置、计算机可读介质和电子设备。
背景技术
伴随着人们生活水平的不断提高，图像处理技术(Image Processing) 以及应用图像处理技术的图像处理软件和图像处理设备等被人们越来越广泛的使用。图像色彩迁移指的是参考指定的彩色图像对当前输入图像的色调进行调整，使迁移后的的输出图像与与参考图像具有相似的色调，例如，基于图像A和图像B，合成一幅新的图像C，使其同时具有A的颜色和B的形状等图像信息。
目前，相关的图像色彩迁移方案中，没有考虑对于图像质量较差的图像，通过色彩迁移算法会将图像中的缺陷放大，可能导致原来两个邻接的、颜色相近区域的颜色映射成两种色阶差距较大的情况，从而得到色阶不一致即具有色块现象的输出图片。
发明内容
本公开的目的在于提供一种目标图像生成方法、目标图像生成装置、计算机可读介质和电子设备，进而至少在一定程度上避免由于待处理图像的图像质量较差时导致色彩迁移后的图像存在色阶不一致或者存在色块现象的问题。
根据本公开的第一方面，提供一种目标图像生成方法，包括：
获取待处理图像和参考图像；
对所述待处理图像进行滤波处理，得到色阶一致的待处理图像；
通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
根据本公开的第二方面，提供一种目标图像生成装置，包括：
图像获取模块，用于获取待处理图像和参考图像；
图像滤波模块，用于对所述待处理图像进行滤波处理，得到色阶一致的待处理图像；
图像色彩迁移模块，用于通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的目标图像生成方法，获取待处理图像和参考图像；对待处理图像进行滤波处理，得到色阶一致的待处理图像；通过参考图像对色阶一致的待处理图像进行色彩映射处理，生成与参考图像的色彩主题相应的目标图像。一方面，在对待处理图像进行色彩迁移处理之前，先对待处理图像进行滤波处理，使图像质量较差的图像中的色阶保持一致，有效提升输出的目标图像的鲁棒性；另一方面，由于对待处理图像进行了滤波处理，进而对得到的色阶一致的待处理图像进行色彩迁移，能够有效避免质量较差的待处理图像进行色彩迁移后出现色阶不一致或者存在色块现象的问题，提高目标图像的准确率，提升目标图像的显示效果；再一方面，通过待处理图像进行滤波处理，能够降低色彩迁移对待处理图像的图像质量要求，提升色彩迁移的适用范围。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种示例性***架构的示意图；
图2示出了可以应用本公开实施例的一种电子设备的示意图；
图3示意性示出本公开示例性实施例中一种目标图像生成方法的流程图；
图4示意性示出本公开示例性实施例中一种对待处理图像和参考图像进行预处理的流程图；
图5示意性示出本公开示例性实施例中一种对待处理图像进行滤波处理的流程图；
图6示意性示出本公开示例性实施例中一种实现色彩映射的流程图；
图7示意性示出本公开示例性实施例中一种确定迁移矩阵的流程图；
图8示意性示出本公开示例性实施例中一种生成目标图像的流程图；
图9示意性示出本公开示例性实施例中目标图像生成装置的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种目标图像生成方法及装置的示例性应用环境的***架构的示意图。
如图1所示，***架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、 103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、 103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的目标图像生成方法一般由终端设备101、102、 103中执行，相应地，目标图像生成装置一般设置于终端设备101、102、 103中。但本领域技术人员容易理解的是，本公开实施例所提供的目标图像生成方法也可以由服务器105执行，相应的，目标图像生成装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103 将待处理图像以及参考图像上传至服务器105，服务器通过本公开实施例所提供的目标图像生成方法生成目标图像后，将目标图像传输给终端设备101、102、103等。
本公开的示例性实施方式提供一种用于实现目标图像生成方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行目标图像生成方法。
下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端 200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。
如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线 2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块 (subscriber identification module，SIM)卡接口295等。其中传感器模块280 可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。
充电管理模块240用于从充电器接收充电输入。电源管理模块241 用于连接电池242、充电管理模块240与处理器210。电源管理模块241 接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙 (Bluetooth，BT)等无线通信的解决方案。在一些实施例中，移动终端200 的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。 GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组 291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。
外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222 与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage， UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。
压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器 2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。
陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴 (即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。
此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
移动终端200中还可包括其它提供辅助功能的设备。例如，按键294 包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200 的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达 293、SIM卡接口295等。
在相关的色彩迁移技术方案中，首先根据参考图像的颜色特征构建中间图像，接着将输入图像划分为若干网格区域，计算各网格区域的平均颜色，然后在中间图像中查找与各网格区域中的平均颜色最接近的颜色，进行颜色迁移。但是，这种色彩迁移方案在正常场景(如输入图像是符合质量要求的图像)下能够获得较完善的色彩迁移结果，但是，对于图像质量较差的输入图像，该色彩迁移方案会将质量较差的输入图像中的JPEG(用于连续色调静态图像压缩的一种标准)压缩块的作用放大，导致原来两个邻接且颜色相近的区域对应的颜色被映射成两种色阶差距较大的颜色情况，从而得到色阶不一致或者存在色块现象的输出图像。
基于以上一个或者多个问题，本示例实施例提出了一种目标图像生成方法和一种目标图像生成装置，下面对本公开示例性实施方式的目标图像生成方法和目标图像生成装置进行具体说明。
图3示出了本示例性实施方式中一种目标图像生成方法的流程，包括以下步骤S310至S330：
在步骤S310中，获取待处理图像和参考图像。
在一示例性实施例中，待处理图像是指指定用于作为色彩迁移目标的图像，例如，待处理图像可以是通过图像采集单元拍摄的图像，也可以是通过图像编辑软件绘制的图像，当然，还可以是其他类型的指定用于作为色彩迁移目标的图像，本示例实施例对此不做特殊限定。
参考图像是指指定用于提供色彩迁移所使用的颜色的源图像，例如，参考图像可以是具有渐变色彩主题的图像，也可以是具有冷暖色彩主题的图像，本示例实施例对此不做特殊限定。
举例而言，在一次图像色彩迁移过程中，基于图像A和图像B，色彩迁移输出一幅新的图像C，色彩迁移使图像C同时具有图像A的颜色和图像B的形状，此时，可以认为图像A是参考图像(即色彩迁移时的源图像)，可以认为图像B是待处理图像(即色彩迁移时的目标图像)。
在步骤S320中，对所述待处理图像进行滤波处理，得到色阶一致的待处理图像。
在一示例性实施例中，滤波处理(Wave filtering)是指将信号中特定波段频率滤除的处理过程，是抑制和防止干扰的一项重要措施，例如，滤波处理可以是域迁移滤波(Domain Transform Filter)，也可以是导向滤波(Guided Filter)，还可以是域迁移滤波和导向滤波的组合滤波处理，当然，滤波处理还可以是其他类型的滤波处理或者多种滤波处理的组合，本示例实施例对此不作任何特殊限定。
色阶是表示图像亮度强弱的色彩指数(灰度分辨率)，图像的色彩丰满度和精细度是由色阶决定的。如果不使待处理图像中的色阶保持一致，在待处理图像的图像的质量较低或者有损压缩过程中存储在图像缺陷时，会在色彩迁移处理过程中放大图像缺陷，导致出现色阶不一致，即出现色块的问题。
在步骤S330中，通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
在一示例性实施例中，色彩主题是指参考图像中各颜色分量在参考图像中的分布规律所形成的一种色彩方案，例如，色彩主题可以是渐变色彩主题，也可以是具有冷暖色彩主题，当然还可以是其他类型的色彩主题，本示例实施例对此不做特殊限定。
下面对步骤S310至步骤S330进行进一步的说明。
在一示例性实施例中，在获取到待处理图像和参考图像之后，为了使待处理图像和参考图像更适用于色彩迁移算法，可以在色彩迁移前对待处理图像和参考图像进行颜色空间转化，以提升色彩迁移处理的效率和输出结果，参考图4所示，具体可以包括：
步骤S410，确定所述待处理图像对应的第一颜色空间和所述参考图像对应的第二颜色空间；
步骤S420，将所述第一颜色空间下的待处理图像和所述第二颜色空间下的参考图像进行颜色空间转化处理，生成目标颜色空间下的待处理图像和目标颜色空间下的参考图像。
其中，颜色空间是指通过相应的数学模型数字化描述颜色的一种***或者方式。
第一颜色空间可以是指待处理图像对应的颜色空间，例如，第一颜色空间可以是RGB颜色空间(RGB颜色空间是由红色通道R、绿色通道 G、蓝色通道B组成的颜色模型)，也可以是HSV颜色空间(HSV颜色空间是由色调Hue，饱和度Saturation，明度Value组成的颜色模型)，当然，还可以是其他类型的混合型(Mixture)颜色空间或者强度/饱和度/ 色调型(Intensity/Saturation/Hue)颜色空间，如CMY/CMYK颜色空间、 HSI/HSL颜色空间等，本示例实施例对此不做特殊限定。
第二颜色空间可以是指参考图像对应的颜色空间，例如，第二颜色空间可以是RGB颜色空间(RGB颜色空间是由红色通道R、绿色通道G、蓝色通道B组成的颜色模型)，也可以是HSV颜色空间(HSV颜色空间是由色调Hue，饱和度Saturation，明度Value组成的颜色模型)，当然，还可以是其他类型的混合型(Mixture)颜色空间或者强度/饱和度/色调型(Intensity/Saturation/Hue)颜色空间，如CMY/CMYK颜色空间、HSI/HSL 颜色空间等，本示例实施例对此不做特殊限定。
需要说明的是，“第一”、“第二”仅是区分待处理图像和参考图像各自对应颜色空间，并没有任何特殊含义，并不应对本示例实施例造成任何特殊限定，例如，待处理图像对应的第一颜色空间和参考图像对应的第二颜色空间可以是相同的颜色空间，如第一颜色空间和第二颜色空间均是RGB颜色空间，也可以是不相同的颜色空间，如第一颜色空间是 RGB颜色空间，第二颜色空间是HSV颜色空间。
目标颜色空间可以是指各颜色通道相互不关联且适用于颜色迁移算法的颜色空间，例如，目标颜色空间可以是Lab/L*a*b颜色空间(Lab颜色空间是由亮度通道L、a颜色通道和b颜色通道构成的颜色模型)，也可以是YUV颜色空间(YUV颜色空间是由明亮度通道Y、色度通道U 和浓度通道V构成的颜色模型)，当然，还可以是其他的非线性亮度/色度型(Luma/Chroma)颜色空间，如L*u*v颜色空间，本示例实施例对此不做特殊限定。
在一示例性实施例中，可以将第一颜色空间和第二颜色空间转换成相同的目标颜色空间如Lab/L*a*b颜色空间。
通过将待处理图像和参考图像对应的、不适用于色彩迁移算法的第一颜色空间和第二颜色空间转换成各颜色通道相互不关联、适用于色彩迁移算法的相同的目标颜色空间，能够有效提升色彩迁移算法的计算效率，提升输出图像的显示效果。
在一示例性实施例中，目标颜色空间可以包括亮度通道特征、第一颜色通道特征和第二颜色通道特征，例如，目标颜色空间可以是Lab颜色空间，则L通道可以是亮度通道，L通道对应的特征值是亮度通道特征，a通道可以是第一颜色通道，a通道对应的特征值是第一颜色通道特征，b通道可以是第二颜色通道，b通道对应的特征值是第二颜色通道特征。当然，目标颜色空间还可以是YUV颜色空间，亮度通道特征可以是 Y通道对应的特征值，第一颜色通道特征可以是色度通道U对应的特征值，第二颜色通道特征可以是浓度通道V对应的特征值，本示例实施例对此不做特殊限定。
具体的，可以基于亮度通道特征，对待处理图像对应的第一颜色通道特征和第二颜色通道特征进行域迁移滤波处理，得到全局区域色阶一致的待处理图像。其中，域迁移滤波(Domain Transform filter)是指通过递归域变换滤波器来实现对待处理图像的全局区域进行视差优化的滤波处理，通过域迁移滤波处理能够对待处理图像尤其是图像质量较低的待处理图像实现全局视差优化，保证待处理图像的全局区域色阶一致，从源头提升色彩迁移后输出图像的图像效果，避免出现色块现象。
在一示例性实施例中，还可以基于亮度通道特征，对待处理图像对应的第一颜色通道特征和第二颜色通道特征进行导向滤波处理，得到局部区域色阶一致的待处理图像。其中，导向滤波(Guided Filter)是指通过导向滤波器对待处理图像中的边界附近进行视差优化的滤波处理，通过导向滤波处理能够对待处理图像尤其是图像质量较低的待处理图像实现局部边界的视差优化，保证待处理图像的边界局部区域色阶一致，进一步避免色块现象。
具体的，可以先对待处理图像进行域迁移滤波，得到全局区域色阶一致的待处理图像之后，然后对全局区域色阶一致的待处理图像进行导向滤波，得到全局区域以及边界局部一致的待处理图像。
在一示例性实施例中，可以通过以下步骤实现对待处理图像的滤波处理，参考图5所示，具体可以包括：
步骤S510，获取所述待处理图像对应的亮度通道特征，并根据所述亮度通道特征生成引导图像；
步骤S520，根据所述引导图像对所述待处理图像对应的所述第一颜色通道特征和所述第二颜色通道特征进行滤波处理，得到色阶一致的待处理图像。
其中，引导图像是指用于引导滤波器对待处理图像的滤波处理的数据，例如，目标颜色空间可以是Lab颜色空间，则待处理图像对应的亮度通道特征可以是L通道对应的通道特征值，以L通道作为引导图分别对待处理图像的a通道和b通道进行域迁移滤波，以在消除待处理图像中的视差的同时，保证待处理图像的色彩被滤波处理掉。
在一示例性实施例中，可以通过以下步骤实现对色阶一致的待处理图像进行色彩映射处理，生成与参考图像的色彩主题相应的目标图像，参考图6所示，具体可以包括：
步骤S610，计算所述色阶一致的待处理图像相对于所述参考图像的迁移矩阵；
步骤S620，根据所述迁移矩阵对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
其中，迁移矩阵是指实现将参考图像中的色彩迁移到待处理图像中的转换矩阵。本示例实施例中实现色彩迁移的方法可以是MKL色彩迁移方法(Monge-KantorovitchLinear Colour Mapping)，该方法是一种线性颜色映射方法，首先计算待处理图像相对于参考图像的迁移矩阵，再通过迁移矩阵对待处理图像进行颜色迁移，当然，还可以是其他类型的色彩迁移方法，本示例实施例对此不做特殊限定。
进一步的，可以通过以下步骤计算待处理图像相对于参考图像的迁移矩阵，参考图7所示，具体可以包括：
步骤S710，计算所述色阶一致的待处理图像与所述参考图像对应的协方差矩阵；
步骤S720，对所述协方差矩阵进行特征值分解得到目标特征值以及目标特征向量；
步骤S730，根据所述目标特征值以及所述目标特征向量确定所述色阶一致的待处理图像相对于所述参考图像的迁移矩阵。
其中，协方差矩阵(Covariance Matrix)可以用来表示多维随机变量的概率密度，从而可通过协方差矩阵表征多维随机变量。特征值分解 (Eigendecomposition)是指将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。目标特征值以及目标特征向量可以是通过对协方差矩阵进行特征值分解得到的特征值和特征向量。
图8示意性示出本公开示例性实施例中一种生成目标图像的流程图。
参考图8所示，步骤S810，获取待处理图像，并将待处理图像对应的第一颜色空间转化为目标颜色空间，并对目标颜色空间下的待处理图像进行域迁移滤波处理以及导向滤波处理得到色阶一致的待处理图像；
步骤S820，获取参考图像，并将参考图像对应的第一颜色空间转化为目标颜色空间；
步骤S830，对目标颜色空间如Lab颜色空间下色阶一致的待处理图片和参考图片分别计算协方差矩阵，计算与Lab颜色空间相关的3×3协方差矩阵；
步骤S840，分别对色阶一致的待处理图像和参考图像对应的协方差矩阵进行特征值分解得到目标特征值以及目标特征向量；
步骤S850，根据特征值分解得到的目标特征值以及目标特征向量，确定色阶一致的待处理图像相对于参考图像的迁移矩阵，具体的，迁移矩阵可以表示为关系式组(1)：
其中，T可以表示色阶一致的待处理图像相对于参考图像的迁移矩阵，D可以表示目标特征值组成的对角矩阵，P可以表示目标特征向量组成的正交矩阵,下标u可以表示色阶一致的待处理图像，下标v可以表示参考图像；
步骤S860，根据转换矩阵T实现对待处理图像相对于参考图像的色彩迁移，生成目标图像，并结束流程，例如，可以通过关系式(2)实现色彩迁移：
imgout＝T(imgin-μin)+μref (2)
其中，T可以表示色阶一致的待处理图像相对于参考图像的迁移矩阵，imgout可以表示目标图像对应的像素值，imgout可以表示待处理图像对应的像素值，μin、μref可以分别表示待处理图像和参考图像对应的目标颜色空间下各个通道的均值。
综上所述，本示例性实施方式中，获取待处理图像和参考图像；对待处理图像进行滤波处理，得到色阶一致的待处理图像；通过参考图像对色阶一致的待处理图像进行色彩映射处理，生成与参考图像的色彩主题相应的目标图像。一方面，在对待处理图像进行色彩迁移处理之前，先对待处理图像进行滤波处理，使图像质量较差的图像中的色阶保持一致，有效提升输出的目标图像的鲁棒性；另一方面，由于对待处理图像进行了滤波处理，进而对得到的色阶一致的待处理图像进行色彩迁移，能够有效避免质量较差的待处理图像进行色彩迁移后出现色阶不一致或者存在色块现象的问题，提高目标图像的准确率，提升目标图像的显示效果；再一方面，通过待处理图像进行滤波处理，能够降低色彩迁移对待处理图像的图像质量要求，提升色彩迁移的适用范围。
本公开提出一种基于滤波的颜色迁移方案，在进行色彩迁移之前，首先通过域迁移滤波和导向滤波对待处理图像进行预处理，从而使得本公开中的目标图像生成方法对任意图像质量的待处理图像，输出结果中都不会存在色块问题。
在相关的颜色迁移方案中，如果待处理图像存在较严重的JPEG压缩模糊，通过色彩迁移算法对待处理图像进色彩迁移时，在输出的目标图像中会出现明显的色块现象。而本公开通过待处理图像中目标颜色空间如Lab颜色空间中的L通道信息，对a、b通道分别进行域迁移滤波和引导滤波从而消除了色块问题。除此之外，域迁移滤波器和导向滤波器这两个滤波器的计算资源消耗都较小，能够有效提升计算效率。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图9所示，本示例的实施方式中还提供一种目标图像生成装置900，包括图像获取模块910、图像滤波模块920以及图像色彩迁移模块930。其中：
图像获取模块910可以用于获取待处理图像和参考图像；
图像滤波模块920可以用于对所述待处理图像进行滤波处理，得到色阶一致的待处理图像；
图像色彩迁移模块930可以用于通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
在一示例性实施例中，所述目标图像生成装置900还包括颜色空间转化单元，颜色空间转化单元可以用于：
确定所述待处理图像对应的第一颜色空间和所述参考图像对应的第二颜色空间；
将所述第一颜色空间下的待处理图像和所述第二颜色空间下的参考图像进行颜色空间转化处理，生成目标颜色空间下的待处理图像和目标颜色空间下的参考图像。
在一示例性实施例中，图像滤波模块920还包括域迁移滤波单元，域迁移滤波单元可以用于：
基于所述亮度通道特征，对所述待处理图像对应的所述第一颜色通道特征和所述第二颜色通道特征进行域迁移滤波处理，得到全局区域色阶一致的待处理图像。
在一示例性实施例中，图像滤波模块920还包括导向滤波单元，导向滤波单元可以用于：
基于所述亮度通道特征，对所述待处理图像对应的所述第一颜色通道特征和所述第二颜色通道特征进行导向滤波处理，得到局部区域色阶一致的待处理图像。
在一示例性实施例中，图像滤波模块920还可以用于：
获取所述待处理图像对应的亮度通道特征，并根据所述亮度通道特征生成引导图像；
根据所述引导图像对所述待处理图像对应的所述第一颜色通道特征和所述第二颜色通道特征进行滤波处理，得到色阶一致的待处理图像。
在一示例性实施例中，图像色彩迁移模块930还包括：
迁移矩阵计算单元，用于计算所述色阶一致的待处理图像相对于所述参考图像的迁移矩阵；
色彩映射单元，用于根据所述迁移矩阵对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
在一示例性实施例中，迁移矩阵计算单元还可以用于：
计算所述色阶一致的待处理图像与所述参考图像对应的协方差矩阵；
对所述协方差矩阵进行特征值分解得到目标特征值以及目标特征向量；
根据所述目标特征值以及所述目标特征向量确定所述色阶一致的待处理图像相对于所述参考图像的迁移矩阵。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图8中任意一个或多个步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (10)
1.一种目标图像生成方法，其特征在于，包括：
获取待处理图像和参考图像；
对所述待处理图像进行滤波处理，得到色阶一致的待处理图像；
通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像和参考图像，还包括：
确定所述待处理图像对应的第一颜色空间和所述参考图像对应的第二颜色空间；
将所述第一颜色空间下的待处理图像和所述第二颜色空间下的参考图像进行颜色空间转化处理，生成目标颜色空间下的待处理图像和目标颜色空间下的参考图像。
3.根据权利要求2所述的方法，其特征在于，所述目标颜色空间包括亮度通道特征、第一颜色通道特征和第二颜色通道特征；
所述对所述待处理图像进行滤波处理，得到色阶一致的待处理图像，包括：
基于所述亮度通道特征，对所述待处理图像对应的所述第一颜色通道特征和所述第二颜色通道特征进行域迁移滤波处理，得到全局区域色阶一致的待处理图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述待处理图像进行滤波处理，得到色阶一致的待处理图像，还包括：
基于所述亮度通道特征，对所述待处理图像对应的所述第一颜色通道特征和所述第二颜色通道特征进行导向滤波处理，得到局部区域色阶一致的待处理图像。
5.根据权利要求3或4所述的方法，其特征在于，所述对所述待处理图像进行滤波处理，得到色阶一致的待处理图像，包括：
获取所述待处理图像对应的亮度通道特征，并根据所述亮度通道特征生成引导图像；
根据所述引导图像对所述待处理图像对应的所述第一颜色通道特征和所述第二颜色通道特征进行滤波处理，得到色阶一致的待处理图像。
6.根据权利要求1所述的方法，其特征在于，所述通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像，包括：
计算所述色阶一致的待处理图像相对于所述参考图像的迁移矩阵；
根据所述迁移矩阵对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
7.根据权利要求6所述的方法，其特征在于，所述计算所述色阶一致的待处理图像相对于所述参考图像的迁移矩阵，包括：
计算所述色阶一致的待处理图像与所述参考图像对应的协方差矩阵；
对所述协方差矩阵进行特征值分解得到目标特征值以及目标特征向量；
根据所述目标特征值以及所述目标特征向量确定所述色阶一致的待处理图像相对于所述参考图像的迁移矩阵。
8.一种目标图像生成装置，其特征在于，包括：
图像获取模块，用于获取待处理图像和参考图像；
图像滤波模块，用于对所述待处理图像进行滤波处理，得到色阶一致的待处理图像；
图像色彩迁移模块，用于通过所述参考图像对所述色阶一致的待处理图像进行色彩映射处理，生成与所述参考图像的色彩主题相应的目标图像。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110241630.8A CN112967194B (zh) | 2021-03-04 | 2021-03-04 | 目标图像生成方法及装置、计算机可读介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110241630.8A CN112967194B (zh) | 2021-03-04 | 2021-03-04 | 目标图像生成方法及装置、计算机可读介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112967194A true CN112967194A (zh) | 2021-06-15 |
| CN112967194B CN112967194B (zh) | 2024-05-14 |
Family
ID=76276537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110241630.8A Active CN112967194B (zh) | 2021-03-04 | 2021-03-04 | 目标图像生成方法及装置、计算机可读介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967194B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955902A (zh) * | 2014-05-08 | 2014-07-30 | 国网上海市电力公司 | 基于Retinex和Reinhard色彩迁移的弱光照图像的增强方法 |
| CN105261046A (zh) * | 2015-09-23 | 2016-01-20 | 北京航空航天大学 | 一种场景自适应的色调迁移方法 |
| WO2019023968A1 (zh) * | 2017-08-02 | 2019-02-07 | 深圳传音通讯有限公司 | 一种智能终端的图像色彩调节***及色彩调节方法 |
| CN109816755A (zh) * | 2019-02-02 | 2019-05-28 | 珠海金山网络游戏科技有限公司 | 一种水墨图像的制作方法、装置、计算设备及存储介质 |
| CN110866866A (zh) * | 2019-11-14 | 2020-03-06 | 腾讯科技（深圳）有限公司 | 图像仿色处理方法、装置、电子设备及存储介质 |
| CN111563517A (zh) * | 2020-04-20 | 2020-08-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-04 CN CN202110241630.8A patent/CN112967194B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955902A (zh) * | 2014-05-08 | 2014-07-30 | 国网上海市电力公司 | 基于Retinex和Reinhard色彩迁移的弱光照图像的增强方法 |
| CN105261046A (zh) * | 2015-09-23 | 2016-01-20 | 北京航空航天大学 | 一种场景自适应的色调迁移方法 |
| WO2019023968A1 (zh) * | 2017-08-02 | 2019-02-07 | 深圳传音通讯有限公司 | 一种智能终端的图像色彩调节***及色彩调节方法 |
| CN109816755A (zh) * | 2019-02-02 | 2019-05-28 | 珠海金山网络游戏科技有限公司 | 一种水墨图像的制作方法、装置、计算设备及存储介质 |
| CN110866866A (zh) * | 2019-11-14 | 2020-03-06 | 腾讯科技（深圳）有限公司 | 图像仿色处理方法、装置、电子设备及存储介质 |
| CN111563517A (zh) * | 2020-04-20 | 2020-08-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112967194B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
| CN110069974B (zh) | 高光图像处理方法、装置和电子设备 | |
| CN111866483B (zh) | 颜色还原方法及装置、计算机可读介质和电子设备 | |
| CN112887582A (zh) | 一种图像色彩处理方法、装置及相关设备 | |
| US10929961B2 (en) | Electronic device and method for correcting images using external electronic device | |
| CN109255774B (zh) | 一种图像融合方法、装置及其设备 | |
| CN110706310A (zh) | 一种图文融合方法、装置及电子设备 | |
| CN111062993A (zh) | 色彩合并的作画图像处理方法、装置、设备及存储介质 | |
| CN111696039B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
| CN116113976A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN115314617A (zh) | 图像处理***及方法、计算机可读介质和电子设备 | |
| CN113610720A (zh) | 视频去噪方法及装置、计算机可读介质和电子设备 | |
| CN113066020A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN113658065A (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
| CN113902636A (zh) | 图像去模糊方法及装置、计算机可读介质和电子设备 | |
| CN113284206A (zh) | 信息获取方法及装置、计算机可读存储介质、电子设备 | |
| CN112489144A (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
| US11425300B2 (en) | Electronic device and method for processing image by electronic device | |
| CN115546858B (zh) | 人脸图像处理方法和电子设备 | |
| CN112967194B (zh) | 目标图像生成方法及装置、计算机可读介质和电子设备 | |
| CN115187487A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN113240599A (zh) | 图像调色方法及装置、计算机可读存储介质、电子设备 | |
| CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |