CN113055579B - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113055579B
CN113055579B CN201911363993.8A CN201911363993A CN113055579B CN 113055579 B CN113055579 B CN 113055579B CN 201911363993 A CN201911363993 A CN 201911363993A CN 113055579 B CN113055579 B CN 113055579B
Authority
CN
China
Prior art keywords
image
area
processed
scene
specular reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911363993.8A
Other languages
English (en)
Other versions
CN113055579A (zh
Inventor
常文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oneplus Technology Shenzhen Co Ltd
Original Assignee
Oneplus Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oneplus Technology Shenzhen Co Ltd filed Critical Oneplus Technology Shenzhen Co Ltd
Priority to CN201911363993.8A priority Critical patent/CN113055579B/zh
Priority to PCT/CN2020/139403 priority patent/WO2021129806A1/zh
Publication of CN113055579A publication Critical patent/CN113055579A/zh
Application granted granted Critical
Publication of CN113055579B publication Critical patent/CN113055579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提出一种图像处理方法、装置、电子设备及可读存储介质,涉及图像处理技术领域。对获得的待处理图像进行检测,确定所述待处理图像中的镜面反射区域,然后根据参考图像对该镜面反射区域中的图案进行替换或修正处理,以更改镜面反射区域中的图案。由此,可将用户不希望出现在图像中的图案进行去除,从而提高图像质量,改善用户体验。

Description

图像处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
随着科技的不断进步,越来越多的设备都具有照相功能。当用户在拍摄时,若摄像头的拍摄范围内有存在镜面反射的物体,由于该物体能够反射出图案,因此通过该摄像头获得的图像中会包括该物体反射出的图案。
该物体反射的图案中一般会包括用户不希望出现在图像中的图案。比如,用户利用智能手机在佩戴墨镜的情况下自拍,会从得到的图像中看到手机。
发明内容
有鉴于此,本申请的目的在于提供一种图像处理方法、装置、电子设备和可读存储介质。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述方法包括:
获得待处理图像;
对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域;
根据参考图像对所述镜面反射区域中的图案进行替换或修正处理,以更改所述镜面反射区域中的图案。
在可选的实施方式中,所述待处理图像基于第一拍摄方向得到,所述对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域,包括:
获得场景图像,其中,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同;
将所述场景图像与所述待处理图像进行场景匹配;
若所述待处理图像中存在与所述场景图像场景相似的区域,则将该区域作为所述镜面反射区域。
在可选的实施方式中,所述电子设备中存储有物体识别模型,所述对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域,包括:
通过所述物体识别模型对所述待处理图像进行物体识别,以判断所述待处理图像中是否包括存在镜面反射的物体;
若存在,则将存在镜面反射的物体所在的区域作为所述镜面反射区域。
在可选的实施方式中,所述对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域,包括:
接收用户输入的选择操作,并将所述选择操作对应的区域作为所述镜面反射区域。
在可选的实施方式中,所述根据参考图像对所述镜面反射区域中的图案进行替换或修正处理,以更改所述镜面反射区域中的图案,包括:
将所述镜面反射区域中的图案替换为所述参考图像中的图案;或者,
根据所述镜面反射区域中的图案和场景区域中的图案的匹配结果,得到所述镜面反射区域中图案与所述场景区域的图案不同的第一区域、所述场景区域中图案与所述镜面反射区域中的图案不同的第二区域,并将所述第一区域中的图案替换为所述第二区域中的图案,其中,所述场景区域为场景图像与所述镜面反射区域场景相似的区域,所述待处理图像基于第一拍摄方向得到,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同。
第二方面,本申请实施例提供一种图像处理装置,应用于电子设备,所述装置包括:
获得模块,用于获得待处理图像;
检测模块,用于对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域;
处理模块,用于根据参考图像对所述镜面反射区域中的图案进行替换或修正处理,以更改所述镜面反射区域中的图案。
在可选的实施方式中,所述待处理图像基于第一拍摄方向得到,所述检测模块具体用于:
获得场景图像,其中,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同;
将所述场景图像与所述待处理图像进行场景匹配;
若所述待处理图像中存在与所述场景图像场景相似的区域,则将该区域作为所述镜面反射区域。
在可选的实施方式中,所述电子设备中存储有物体识别模型,所述检测模块具体用于:
通过所述物体识别模型对所述待处理图像进行物体识别,以判断所述待处理图像中是否包括存在镜面反射的物体;
若存在,则将存在镜面反射的物体所在的区域作为所述镜面反射区域。
在可选的实施方式中,所述检测模块具体用于:
接收用户输入的选择操作,并将所述选择操作对应的区域作为所述镜面反射区域。
在可选的实施方式中,所述处理模块具体用于:
将所述镜面反射区域中的图案替换为所述参考图像中的图案;或者,
根据所述镜面反射区域中的图案和场景区域中的图案的匹配结果,得到所述镜面反射区域中图案与所述场景区域的图案不同的第一区域、所述场景区域中图案与所述镜面反射区域中的图案不同的第二区域,并将所述第一区域中的图案替换为所述第二区域中的图案,其中,所述场景区域为场景图像与所述镜面反射区域场景相似的区域,所述待处理图像基于第一拍摄方向得到,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同。
第三方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式中任一项所述的图像处理方法。
第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的图像处理方法。
本申请实施例提供的图像处理方法、装置、电子设备及可读存储介质,对获得的待处理图像进行检测,确定所述待处理图像中的镜面反射区域,然后根据参考图像对该镜面反射区域中的图案进行替换或修正处理,以更改镜面反射区域中的图案。由此,可将用户不希望出现在图像中的图案进行去除,从而提高图像质量,改善用户体验。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的电子设备的方框示意图;
图2是本申请实施例提供的图像处理方法的流程示意图;
图3是图2中步骤S120包括的子步骤的一种流程示意图;
图4是本申请实施例提供的第一拍摄方向与第二拍摄方向的关系示意图;
图5是本申请实施例提供的图像处理装置的方框示意图。
图标:100-电子设备;110-存储器;120-处理器;130-通信单元;200-图像处理装置;210-获得模块;220-检测模块;230-处理模块。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参照图1,图1是本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是,但不限于,智能手机、摄像机、电脑等。所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。所述存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。比如,存储器110中存储有图像处理装置200,所述图像处理装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块,如本申请实施例中的图像处理装置200,从而执行各种功能应用以及数据处理,即实现本申请实施例中的图像处理方法。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
应当理解的是,图1所示的结构仅为电子设备100的结构示意图,所述电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2是本申请实施例提供的图像处理方法的流程示意图。所述方法应用于电子设备100。下面对图像处理方法的具体流程进行详细阐述。
步骤S110,获得待处理图像。
步骤S120,对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域。
步骤S130,根据参考图像对所述镜面反射区域中的图案进行替换或修正处理,以更改所述镜面反射区域中的图案。
在本实施例中,在通过检测确定待处理图像中的镜面反射区域后,通过根据参考图像对该镜面反射区域中的图案进行替换或修正处理,以完成对该镜面反射区域中图案的更改。由此,可将用户不希望出现在图像中的图案去除,从而提高图像质量,改善用户体验。
可选地,在本实施例中,所述电子设备100中可以包括第一摄像头,通过该第一摄像头拍摄得到所述待处理图像。或者,所述电子设备100通过接收其他设备发送的图像的方式,获得所述待处理图像。当然可以理解的是,所述电子设备100也可以通过其他方式获得所述待处理图像。
在本实施例的一种实施方式中,可通过以下方式获得所述镜面反射区域。请参照图3,图3是图2中步骤S120包括的子步骤的一种流程示意图。步骤S120可以包括子步骤S121~子步骤S123。
子步骤S121,获得场景图像。
子步骤S122,将所述场景图像与所述待处理图像进行场景匹配。
子步骤S123,若所述待处理图像中存在与所述场景图像场景相似的区域,则将该区域作为所述镜面反射区域。
在本实施例中,所述待处理图像基于第一拍摄方向得到,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同。当光射到反射面上时,光被反射面反射到原介质,入射光和反射光位于反射面的法线两侧,入射角等于反射角。也就是说,当以第一拍摄方向拍摄得到的待处理图像中包括镜面反射区域时,则以第二拍摄方向拍摄得到场景图像,如图4所示,第一拍摄方向与第二拍摄方向位于反射面的法线的两侧,且第一拍摄方向与法线之间的夹角角1与第二拍摄方向与法线之间的夹角角2大小相同或接近。其中,图4中的反射面表示待处理图像中的镜面反射区域对应的实际反射面。比如,若待处理图像中包括墨镜的镜片,则图4中的反射面表示镜片的反射面。当然可以理解的是,若第一拍摄方向垂直于反射面,则第二拍摄方向与第一拍摄方向相反。
可选地,所述电子设备100或经拍摄得到所述待处理图像的设备可包括拍摄方向相反的第一摄像头及第二摄像头,在通过第一摄像头获得所述待处理图像后,可通过调整所述第二摄像头的拍摄方向,从而通过所述第二摄像头获得所述场景图像。
比如,所述电子设备100包括前置摄像头及后置摄像头。当用户通过前置摄像头自拍后,可将通过前置摄像头获得的图像作为所述待处理图像,并调整后置摄像头的拍摄方向,以在所述第二拍摄方向获得可作为所述场景图像的图像。
可选地,也可以在获得所述待处理图像后,将已获得所述待处理图像的摄像头由第一拍摄方向调整至第二拍摄方向,然后再次拍摄,并将再次拍摄得到的图像作为所述场景图像。
在获得所述场景图像后,可将该场景图像与待处理图像进行场景匹配,得到场景相似度,并根据场景相似度判断所述待处理图像中是否包括与所述场景图像相似的区域。若场景相似度不大于预设相似度,则可确定所述待处理图像中不包括存在镜面反射的物体。若场景相似度大于预设相似度,则可确定所述待处理图像中包括与所述场景图像相似的区域,并将所述待处理图像与所述场景图像中场景相似的区域作为所述镜面反射区域。
其中,可通过图像中的特征匹配实现场景匹配。比如,若所述待处理图像的某块区域中存在一栋长方体的建筑物,所述场景图像中也存在一栋长方体的建筑物,则可确定该待处理图像中长方体建筑物所在的区域为镜面反射区域。
可选地,在本实施例中,若可直接确定所述第二拍摄方向,则根据所述第二拍摄方向及当前拍摄方向,显示角度移动提示信息,以使用户根据该信息将拍摄方向直接调整至所述第二拍摄方向。
可选地,在本实施例中,若不能直接确定所述第二拍摄方向,在以第一拍摄方向获得所述待处理图像后,可由用户根据所述待处理图像中的镜面反射区域中的图案对应的实际场景来调整方向,然后在调整后的方向下获得一图像。接着,根据新获得的图像与待处理图像的场景相似部分及场景相似度,显示角度移动提示信息。重复该调整动作,以使用户逐渐将拍摄方向调整至所述第二拍摄方向,从而获得所述场景图像。其中,当场景相似度大于所述预设相似度时,可确定该场景相似度对应的图像是在所述第二拍摄方向获得的场景图像,所述待处理图像中与该场景相似度对应的区域为所述镜面反射区域。
比如,若新获得的图像与所述待处理图像的场景相似度低于所述预设相似度,且该新获得的图像与所述待处理图像有一部分场景匹配,则可以确定出缺失的部分,并根据缺失的部分提示用户移动。例如,若所述待处理图像中有一部分图案与所述新获得的图像的左侧的图案相同,但目前的场景相似度低于所述预设相似度,则可以确定缺失右侧的场景,则提示用户将拍摄方向向右移动;若四周都缺失,则提示用户后退一些。当然也可以由用户确定缺失哪部分(比如,右侧场景或左侧场景),然后所述电子设备100根据用户确定的缺失部分提示用户具体的移动方式(比如,向右或向左),从而对拍摄方向进行调整,进而将拍摄方向调整至所述第二拍摄方向,以获得所述场景图像。
可选地,若调整预设次数或调整了预设角度后,仍未获得对应的场景相似度大于所述预设相似度的场景图像,则可直接随机将某次获得的图像作为所述场景图像,并确定所述待处理图像中不包括所述镜面反射区域。
可选地,在本实施例中,若不能直接确定所述第二拍摄方向,可由用户根据所述待处理图像中的镜面反射区域中的图案对应的实际场景来调整方向,然后以不同角度获得多张图像,以便将该多张图像合成一张包括完整场景的图像,即,获得包括场景图像的图像。或者,在确定出缺失的部分(比如,确定四周缺失)时,也可以显示用于提示用户根据实际场景以不同角度拍摄多张图像的提示信息,以便合成包括场景图像的图像,进而根据包括场景图像的图像及待处理图像通过场景匹配确定出所述镜面反射区域。
在本实施例中的另一种实施方式中,通过机器学习对常见的存在镜面反射的物体(比如,墨镜、瞳孔等)进行模型训练,得到训练好的物体识别模型,并将该物体识别模型存储在所述电子设备100中。所述电子设备100可通过所述物体识别模型对所述待处理图像进行物体识别。若未识别出存在镜面反射的物体,则可确定所述待处理图像中不包括存在镜面反射的物体。若识别出存在镜面反射的物体,则可确定所述待处理图像中包括存在镜面反射的物体,并将该存在镜面反射的物体所在的区域作为所述镜面反射区域。
在本实施例的另一种实施方式中,所述电子设备100还可以接收用户输入的用于圈定区域的选择操作,并将该选择操作对应的区域作为所述镜面反射区域。
在本实施例的另一种实施方式中,所述电子设备100还可以通过以上三种检测方案中的至少两种确定出所述镜面反射区域。比如,若获得了经场景匹配或通过物体识别模型识别得到的镜面反射区域、以及用户的选择操作对应的区域,则将用户的选择操作对应的区域作为该待处理图像的镜面反射区域。
若先分别通过场景匹配、物体识别模型进行识别确定出镜面反射区域,且两种方式得到的镜面反射区域不同,则可提示用户输入选择操作,并将用户的选择操作指定的区域作为所述待处理图像中的镜面反射区域。
在确定出所述镜面反射区域后,可将该镜面反射区域中的图案替换为所述参考图像中的图案,从而去除所述镜面反射区域中用户不希望被显示的图案。可选地,该参考图像可以是所述场景图像,也可以是与获得所述待处理图像的目标环境完全无关的图像。
比如,一用户在佩戴墨镜的情况下在A、B、C、D四个标识前利用智能手机自拍,正常情况下(墨镜与标识之间无遮挡时),墨镜可反射出A、B、C、D这四个标识,由于手机的遮挡,导致墨镜上的图案为手机以及C、D两个标识,也就是说,获得的待处理图像的所述镜面反射区域中的图案为手机以及C、D两个标识。若参考图像是图案为A、B、C、D四个标识的场景图像,可按照需求比例缩小场景图像,并根据缩小后的场景图像对镜面反射区域中的图案进行全部替换,使得替换后的镜面反射区域中的图案为A、B、C、D四个标识。所述参考图像还可以是图案为山峰或大海的图像,即与A、B、C、D四个标识无关,然后根据该图像按照相同方式对镜面反射区域中的图案进行全部替换。由此,可去除所述待处理图像中的手机图案。
在确定出所述镜面反射区域后,可将所述场景图像中与所述镜面反射区域场景相似的区域作为场景区域。其中,所述场景区域可以是所述场景图像,也可以是所述场景图像的一部分,根据实际情况确定。然后,将所述镜面反射区域中的图案与所述场景区域中的图案进行匹配,得到所述镜面反射区域中图案与所述场景区域的图案不同的第一区域、所述场景区域中图案与所述镜面反射区域中的图案不同的第二区域。接着将第一区域中的图案替换为所述第二区域中的图案。由此,可去除原本镜面反射区域中第一区域中的图案。
比如,一用户在佩戴墨镜的情况下在A、B、C、D四个标识前利用智能手机自拍,正常情况下(墨镜与标识之间无遮挡时),墨镜可反射出A、B、C、D这四个标识,由于手机的遮挡,导致墨镜上的图案为手机以及C、D两个标识,也就是说,获得的待处理图像的所述镜面反射区域中的图案为手机以及C、D两个标识。通过镜面反射区域与所述场景区域的图案匹配,可确定所述镜面反射区域中手机所在的区域为第一区域、A和B标识所在的区域为第二区域,将第一区域中的图案替换为第二区域中的图案后,待处理图像的第一区域中的图案不是手机,而是A和B标识。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种图像处理装置200的实现方式,可选地,该图像处理装置200可以采用上述图1所示的电子设备100的器件结构。进一步地,请参阅图5,图5是本申请实施例提供的图像处理装置200的方框示意图。需要说明的是,本实施例所提供的图像处理装置200,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。从功能上划分,该图像处理装置200包括:获得模块210、检测模块220及处理模块230。
所述获得模块210,用于获得待处理图像。
所述检测模块220,用于对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域。
所述处理模块230,用于根据参考图像对所述镜面反射区域中的图案进行替换或修正处理,以更改所述镜面反射区域中的图案。
可选地,在本实施例的实施方式中,所述待处理图像基于第一拍摄方向得到,所述检测模块220具体用于:
获得场景图像,其中,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同;
将所述场景图像与所述待处理图像进行场景匹配;
若所述待处理图像中存在与所述场景图像场景相似的区域,则将该区域作为所述镜面反射区域。
可选地,在本实施例的实施方式中,所述电子设备100中存储有物体识别模型,所述检测模块220具体用于:
通过所述物体识别模型对所述待处理图像进行物体识别,以判断所述待处理图像中是否包括存在镜面反射的物体;
若存在,则将存在镜面反射的物体所在的区域作为所述镜面反射区域。
可选地,在本实施例的实施方式中,所述检测模块220具体用于:
接收用户输入的选择操作,并将所述选择操作对应的区域作为所述镜面反射区域。
可选地,在本实施例的实施方式中,所述处理模块230具体用于:
将所述镜面反射区域中的图案替换为所述参考图像中的图案;或者,
根据所述镜面反射区域中的图案和场景区域中的图案的匹配结果,得到所述镜面反射区域中图案与所述场景区域的图案不同的第一区域、所述场景区域中图案与所述镜面反射区域中的图案不同的第二区域,并将所述第一区域中的图案替换为所述第二区域中的图案,其中,所述场景区域为场景图像与所述镜面反射区域场景相似的区域。
可选地,上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于该电子设备100的操作***(Operating System,OS)中,并可由图1中的处理器120执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
综上所述,本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质。在获得待处理图像后,对该待处理图像进行检测,确定所述待处理图像中的镜面反射区域,然后根据参考图像对该镜面反射区域中的图案进行替换或修正处理,以更改镜面反射区域中的图案。由此,可将用户不希望出现在图像中的图案进行去除,从而提高图像质量,改善用户体验。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法,其特征在于,应用于电子设备,所述方法包括:
获得待处理图像;
对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域;
根据所述镜面反射区域中的图案和场景区域中的图案的匹配结果,得到所述镜面反射区域中图案与所述场景区域的图案不同的第一区域、所述场景区域中图案与所述镜面反射区域中的图案不同的第二区域,并将所述第一区域中的图案替换为所述第二区域中的图案,其中,所述场景区域为场景图像与所述镜面反射区域场景相似的区域,所述待处理图像基于第一拍摄方向得到,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同。
2.根据权利要求1所述的方法,其特征在于,所述待处理图像基于第一拍摄方向得到,所述对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域,包括:
获得场景图像,其中,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同;
将所述场景图像与所述待处理图像进行场景匹配;
若所述待处理图像中存在与所述场景图像场景相似的区域,则将该区域作为所述镜面反射区域。
3.根据权利要求1所述的方法,其特征在于,所述电子设备中存储有物体识别模型,所述对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域,包括:
通过所述物体识别模型对所述待处理图像进行物体识别,以判断所述待处理图像中是否包括存在镜面反射的物体;
若存在,则将存在镜面反射的物体所在的区域作为所述镜面反射区域。
4.根据权利要求1所述的方法,其特征在于,所述对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域,包括:
接收用户输入的选择操作,并将所述选择操作对应的区域作为所述镜面反射区域。
5.一种图像处理装置,其特征在于,应用于电子设备,所述装置包括:
获得模块,用于获得待处理图像;
检测模块,用于对所述待处理图像进行检测,确定所述待处理图像中的镜面反射区域;
处理模块,用于根据所述镜面反射区域中的图案和场景区域中的图案的匹配结果,得到所述镜面反射区域中图案与所述场景区域的图案不同的第一区域、所述场景区域中图案与所述镜面反射区域中的图案不同的第二区域,并将所述第一区域中的图案替换为所述第二区域中的图案,其中,所述场景区域为场景图像与所述镜面反射区域场景相似的区域,所述待处理图像基于第一拍摄方向得到,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同。
6.根据权利要求5所述的装置,其特征在于,所述待处理图像基于第一拍摄方向得到,所述检测模块具体用于:
获得场景图像,其中,所述场景图像在获得所述待处理图像的目标环境中以第二拍摄方向拍摄得到,所述第二拍摄方向与所述第一拍摄方向之间的关系和入射光与反射光之间的关系相同;
将所述场景图像与所述待处理图像进行场景匹配;
若所述待处理图像中存在与所述场景图像场景相似的区域,则将该区域作为所述镜面反射区域。
7.根据权利要求5所述的装置,其特征在于,所述电子设备中存储有物体识别模型,所述检测模块具体用于:
通过所述物体识别模型对所述待处理图像进行物体识别,以判断所述待处理图像中是否包括存在镜面反射的物体;
若存在,则将存在镜面反射的物体所在的区域作为所述镜面反射区域。
8.根据权利要求5所述的装置,其特征在于,所述检测模块具体用于:
接收用户输入的选择操作,并将所述选择操作对应的区域作为所述镜面反射区域。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-4中任一项所述的图像处理方法。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的图像处理方法。
CN201911363993.8A 2019-12-26 2019-12-26 图像处理方法、装置、电子设备及可读存储介质 Active CN113055579B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911363993.8A CN113055579B (zh) 2019-12-26 2019-12-26 图像处理方法、装置、电子设备及可读存储介质
PCT/CN2020/139403 WO2021129806A1 (zh) 2019-12-26 2020-12-25 图像处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911363993.8A CN113055579B (zh) 2019-12-26 2019-12-26 图像处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113055579A CN113055579A (zh) 2021-06-29
CN113055579B true CN113055579B (zh) 2022-02-01

Family

ID=76505881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911363993.8A Active CN113055579B (zh) 2019-12-26 2019-12-26 图像处理方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN113055579B (zh)
WO (1) WO2021129806A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125276B (zh) * 2021-11-11 2024-05-10 维沃移动通信有限公司 图像处理方法和装置
CN114565531A (zh) * 2022-02-28 2022-05-31 上海商汤临港智能科技有限公司 一种图像修复方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147157A (zh) * 2005-01-26 2008-03-19 数字逻辑扫描公司 用于将目标对象成像到镜面反射的数据读取器和方法
KR20090093223A (ko) * 2008-02-29 2009-09-02 홍익대학교 산학협력단 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거
CN105046250A (zh) * 2015-09-06 2015-11-11 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
CN108564540A (zh) * 2018-03-05 2018-09-21 广东欧珀移动通信有限公司 去除图像中镜片反光的图像处理方法、装置和终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147157A (zh) * 2005-01-26 2008-03-19 数字逻辑扫描公司 用于将目标对象成像到镜面反射的数据读取器和方法
KR20090093223A (ko) * 2008-02-29 2009-09-02 홍익대학교 산학협력단 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거
CN105046250A (zh) * 2015-09-06 2015-11-11 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
CN108564540A (zh) * 2018-03-05 2018-09-21 广东欧珀移动通信有限公司 去除图像中镜片反光的图像处理方法、装置和终端设备

Also Published As

Publication number Publication date
WO2021129806A1 (zh) 2021-07-01
CN113055579A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
US8754963B2 (en) Processing images having different focus
EP3373248A1 (en) Method, control device, and system for tracking and photographing target
US7929804B2 (en) System and method for tracking objects with a synthetic aperture
CN113055579B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111445526A (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
US7995866B2 (en) Rotation angle detection apparatus, and control method and control program of rotation angle detection apparatus
CN109451240B (zh) 对焦方法、装置、计算机设备和可读存储介质
CN105007413B (zh) 一种拍摄控制方法及用户终端
CN109561257B (zh) 画面对焦方法、装置、终端及对应的存储介质
CN109241345B (zh) 基于人脸识别的视频定位方法和装置
US20140198229A1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
CN105554403A (zh) 控制方法、控制装置及电子装置
CN111010554B (zh) 投影处理方法、装置、投影仪及可读存介质
CN109443305B (zh) 一种测距方法及装置
US20130044226A1 (en) Imaging device and distance information detecting method
CN107368817B (zh) 人脸识别方法和装置
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
EP3819815A1 (en) Human body recognition method and device, as well as storage medium
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN116670565A (zh) 用于确定符合性的方法和***
WO2020255766A1 (ja) 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム
US20180220077A1 (en) Information processing apparatus having camera function, display control method thereof, and storage medium
CN109901716B (zh) 视线点预测模型建立方法、装置及视线点预测方法
CN110770786A (zh) 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
CN113031582A (zh) 机器人、定位方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant