CN116208724A - 图像处理方法、智能终端及存储介质 - Google Patents
图像处理方法、智能终端及存储介质 Download PDFInfo
- Publication number
- CN116208724A CN116208724A CN202310491226.5A CN202310491226A CN116208724A CN 116208724 A CN116208724 A CN 116208724A CN 202310491226 A CN202310491226 A CN 202310491226A CN 116208724 A CN116208724 A CN 116208724A
- Authority
- CN
- China
- Prior art keywords
- target image
- image
- target
- shooting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims description 93
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 39
- 230000000694 effects Effects 0.000 description 26
- 230000004927 fusion Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 230000006854 communication Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 239000000203 mixture Substances 0.000 description 16
- 239000000463 material Substances 0.000 description 15
- 238000001914 filtration Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提出了一种图像处理方法、智能终端及存储介质,所述图像处理方法包括:根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像;处理第一目标图像和第二目标图像,得到最终目标图像。通过本申请技术方案能够呈现出完整场景范围内的画面,和/或提高最终目标图像的真实性和/或准确性,进而提高用户体验。
Description
技术领域
本申请涉及信息处理技术领域,具体涉及一种图像处理方法、智能终端及存储介质。
背景技术
图像作为一种信息载体,是人类传输视觉信息的主要媒介。由于图像拍摄过程中拍摄空间或视角等因素的限制,导致难以拍摄到景物全貌。
在构思及实现本申请过程中,发明人发现至少存在如下问题:通过一些常用拍摄方式(如全景拍照)对景物进行拍摄时,容易因技术限制和/或用户操作不便导致最终目标图像(如全景照片)出现畸变,使最终目标图像的真实性和/或准确性降低,进而影响到用户体验。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
针对上述技术问题,本申请提供一种图像处理方法、智能终端及存储介质,可以提高最终目标图像的真实性和/或准确性。
本申请提供一种图像处理方法,可应用于智能终端,包括步骤:
S1:根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像;
S2:处理第一目标图像和第二目标图像,得到最终目标图像(如全景图像)。
可选地,所述处理,可以为合并,也可以为拼接,还可以为其他处理方式。
可选地,所述步骤S1的实现方式,包括以下至少一项:
方式一:根据第一预设策略从至少一张待处理图像中生成或确定第一目标图像和第二目标图像;
方式二:获取第一目标图像,根据第二预设策略获取所述第一目标图像对应的至少一第二目标图像;
方式三:根据第三预设策略获取候选目标图像对应的第一目标图像和第二目标图像;
方式四:根据第四预设策略获取预览画面对应的第一目标图像和第二目标图像;
方式五:通过第一摄像头获取第一目标图像,和通过第二摄像头获取第二目标图像。
可选地,所述方法还包括以下至少一项:
所述方式一包括:通过预设方式进行拍摄或用户选取得到所述待处理图像,根据所述待处理图像的参数信息和/或画面信息生成或确定所述第一目标图像和第二目标图像;
所述方式二包括:获取第一目标图像,对第一目标图像进行运动估计,得到预测轨迹信息,根据所述预测轨迹信息从和第一目标图像相关的图像中生成或确定第二目标图像;
所述方式二包括:获取第一目标图像,输出第一目标图像对应的第一提示信息,响应于拍摄指令,得到第一目标图像对应的第二目标图像;
所述方式三包括:输出候选目标图像拍摄目标位置对应的第二提示信息,响应于拍摄指令,得到所述候选目标图像对应的第一目标图像和第二目标图像;
所述方式四包括:输出预览画面对应的第三提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像;
所述方式四包括:输出预览画面对焦点信息对应的第四提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像。
可选地,所述步骤S2包括以下至少一项:
基于第一目标图像的配准基元和第二目标图像进行处理,得到最终目标图像;
基于第一目标图像的配准基元和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像,和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像和第二目标图像进行处理,得到最终目标图像。
可选地,所述方法还包括:
响应于预览画面满足第一条件或拍摄指令,进入相应拍摄模式(如全景拍摄)。
可选地,所述满足第一条件包括:所述预览画面中的拍摄目标的显示比例超过预设比例阈值,和/或,所述预览画面中的拍摄目标的边缘轮廓超出预览画面范围。
本申请的图像处理方法包括:根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像;处理第一目标图像和第二目标图像,得到最终目标图像。能够呈现出完整场景范围内的画面,和/或提高最终目标图像的真实性和/或准确性,进而提高用户体验。
本申请还提供一种图像处理方法,可应用于智能终端,包括步骤:
S10:对预览画面进行分析,得到目标拍摄信息;
S20:响应于目标拍摄信息满足条件和/或接收到拍摄参数信息,生成或确定第一目标图像(如全景图像)。
可选地,所述步骤S10,包括:
对所述预览画面中的拍摄目标进行提取和/或分析,得到所述目标拍摄信息。
可选地,所述目标拍摄信息包括以下至少一项:边缘延伸信息、目标完整度信息、显示比例信息。
可选地,所述方法还包括:
响应于用户针对至少一预览画面的操作信息,选取或确定所述拍摄参数信息;和/或,
根据预览画面和/或第一目标图像保真部分,对第一目标图像失真部分进行调整,得到第二目标图像。
本申请的图像处理方法包括:对预览画面进行分析,得到目标拍摄信息;响应于目标拍摄信息满足条件和/或接收到拍摄参数信息,生成或确定第一目标图像。可以通过分析预览画面确定拍摄目标和/或对应的目标拍摄信息,以便于在目标拍摄信息满足条件的情况下及时进入相应拍照模式(如全景模式)并得到第一目标图像,提高了拍摄的智能性和/或便利性。
本申请还提供一种图像处理方法,可应用于智能终端,包括步骤:
S100:获取拍摄目标的至少一第一目标图像和至少一第二目标图像;
S200:对第一目标图像和第二目标图像进行处理,得到最终目标图像(如全景图像)。
可选地,所述处理,可以为合并,也可以为拼接,还可以为其他处理方式。
可选地,所述方法还包括:
根据拍摄目标对应的目标拍摄信息,生成或确定拍摄策略;
输出拍摄策略对应的提示信息,响应于拍摄指令,得到第一目标图像和/或第二目标图像。
可选地,所述提示信息包括至少一方向上的移动提示信息和/或至少一角度上的移动提示信息。
可选地,提示信息的输出方式可以为界面显示,也可以为语音输出等。
可选地,所述方法还包括以下至少一项:
基于预览画面生成或确定所述拍摄目标;
响应于接收到用户的操作指令,生成或确定所述拍摄目标。
可选地,所述方法还包括以下至少一项:
基于所述拍摄策略生成或确定至少一方向上的移动提示信息;
基于所述拍摄策略生成或确定至少一角度上的移动提示信息。
本申请的图像处理方法包括:获取拍摄目标的至少一第一目标图像和至少一第二目标图像;对第一目标图像和第二目标图像进行处理,得到最终目标图像。通过多种实现方式选取或确定至少一第一目标图像和至少一第二目标图像,为最终目标图像的生成提供各类最终目标图像素材,在处理过程中,通过多种图像处理方式,改善生成的最终目标图像的效果,并能够呈现出完整场景范围内的画面,满足用户的多种需求。
本申请还提供一种图像处理方法,可应用于智能终端,包括步骤:
S1000:基于至少一第一目标图像对应的图像特征信息,确定或得到至少一第二目标图像;
S2000:对第一目标图像和第二目标图像进行处理,得到最终目标图像(如全景图像)。
可选地,所述处理,可以为合并,也可以为拼接,还可以为其他处理方式。
可选地,所述图像特征信息包括拍摄时间信息、配准基元、轮廓信息和/或色块组成信息中的至少一项。
可选地,所述步骤S1000,包括:
根据第一目标图像特征信息,和预设内容或本地相册或云端数据库进行匹配,得到至少一第二目标图像。
本申请的图像处理方法包括:基于至少一第一目标图像对应的图像特征信息,确定或得到至少一第二目标图像;对第一目标图像和第二目标图像进行处理,得到最终目标图像。通过第一目标图像对应的图像特征信息确定至少一第二目标图像,为最终目标图像的生成提供了多种图像素材,通过对第一目标图像和第二目标图像进行处理,可以得到最终目标图像,从而能够呈现出完整场景范围内的画面,满足用户的多种需求,和/或,通过根据图像特征信息进行匹配,可以从大量图像素材中快速匹配到与第一目标图像相关的第二目标图像,提高了图像选取速度和准确率。
本申请还提供一种智能终端,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如上任一所述图像处理方法的步骤。
本申请还提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述图像处理方法的步骤。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了满足本申请的实施例,并和说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种移动终端的硬件结构示意图;
图2为本申请实施例提供的一种通信网络***架构图;
图3是根据第一实施例示出的图像处理方法的流程示意图;
图4为本申请实施例中的主界面示意图;
图5为本申请实施例中的预览画面示意图;
图6为本申请实施例中的第一提示方式示意图;
图7为本申请实施例中的第二提示方式示意图;
图8为本申请实施例中的第一目标图像的示例性示意图;
图9为本申请实施例中的第二目标图像的示例性示意图;
图10为本申请实施例中的最终目标图像的示例性示意图;
图11是根据第四实施例示出的图像处理方法的流程示意图;
图12是根据第六实施例示出的图像处理方法的流程示意图;
图13是根据第八实施例示出的图像处理方法的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表和本申请相一致的所有实施方式。相反,它们仅是和如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以和其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S1、S2等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S2后执行S1等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
智能终端可以以各种形式来实施。例如,本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等智能终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本申请各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括: RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信和网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM (Global System of Mobile communication,全球移动通讯***)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access, 宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing- Long Term Evolution,频分双工长期演进)、TDD-LTE (Time DivisionDuplexing- Long Term Evolution,分时双工长期演进)和5G等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供和移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode, OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生和移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071和显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071和显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置和移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理***和处理器110逻辑相连,从而通过电源管理***实现管理充电、放电,以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络***进行描述。
请参阅图2,图2为本申请实施例提供的一种通信网络***架构图,该通信网络***为通用移动通信技术的LTE***,该LTE***包括依次通讯连接的UE(User Equipment,用户设备)201, E-UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
可选地,UE201可以是上述终端100,此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地,eNodeB2021可以通过回程(backhaul)(例如X2接口)和其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031, HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033, SGW(Serving GateWay,服务网关)2034, PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy andCharging Rules Function,政策和资费功能实体)2036等。可选地,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE 201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略和计费控制策略决策点,它为策略和计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子***)或其它IP业务等。
虽然上述以LTE***为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE***,也可以适用于其他无线通信***,例如GSM、CDMA2000、WCDMA、TD-SCDMA、5G以及未来新的网络***(如6G)等,此处不做限定。
基于上述移动终端硬件结构以及通信网络***,提出本申请各个实施例。
第一实施例
参照图3,图3是根据第一实施例示出的图像处理方法的流程示意图,本申请实施例的图像处理方法可应用于智能终端(如手机),包括步骤:
S1:根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像;
本申请实施例中,第一目标图像和第二目标图像的来源可以是用户预先拍摄或下载的图像素材,也可以是通过智能终端实时进行拍摄得到的图像素材,通过将包括第一目标图像和第二目标图像在内的多张图像素材进行处理,可以得到最终目标图像,从而能够呈现出完整场景范围内的画面,满足用户的多种需求。
可选地,生成或确定至少一第一目标图像和至少一第二目标图像的方式包括以下至少一项:
方式一:根据第一预设策略从至少一张待处理图像中生成或确定第一目标图像和第二目标图像;
方式二:获取第一目标图像,根据第二预设策略获取所述第一目标图像对应的至少一第二目标图像;
方式三:根据第三预设策略获取候选目标图像对应的第一目标图像和第二目标图像;
方式四:根据第四预设策略获取预览画面对应的第一目标图像和第二目标图像;
方式五:通过第一摄像头获取第一目标图像,和通过第二摄像头获取第二目标图像。
可选地,根据第一预设策略可以从至少一张待处理图像中生成或确定第一目标图像和第二目标图像,包括通过预设方式进行拍摄或用户选取得到所述待处理图像,根据所述待处理图像的参数信息和/或画面信息生成或确定所述第一目标图像和第二目标图像。
可选地,根据第二预设策略,可以基于获取的第一目标图像确定对应的至少一张第二目标图像,包括获取第一目标图像,对第一目标图像进行运动估计,得到预测轨迹信息,根据所述预测轨迹信息从和第一目标图像相关的图像中生成或确定第二目标图像;还包括获取第一目标图像,输出第一目标图像对应的第一提示信息,响应于拍摄指令,得到第一目标图像对应的第二目标图像。
可选地,根据第三预设策略,可以获取候选目标图像对应的第一目标图像和第二目标图像,包括输出候选目标图像拍摄目标位置对应的第二提示信息,响应于拍摄指令,得到所述候选目标图像对应的第一目标图像和第二目标图像。
可选地,根据第四预设策略,可以获取预览画面对应的第一目标图像和第二目标图像,包括输出预览画面对应的第三提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像;还包括输出预览画面对焦点信息对应的第四提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像。
可选地,当智能终端具有多个摄像头时,可以控制各个摄像头对不同角度进行拍摄,以获取不同角度范围的若干张待处理图像。可选地,还可以通过使不同智能终端进行通信连接(如近距离通信连接,具体如蓝牙、WIFI、NFC等),进而获取到不同智能终端从不同角度拍摄得到的若干张待处理图像,可以在获取到最终目标图像的图像素材的同时,提升用户协作生成最终目标图像的趣味性及互动性。
可选地,根据不同智能终端的拍摄特点可以进一步优化拍摄方案,例如,采用适合进行人像处理的智能终端(如手机)获取人像图片,采用适合远景拍摄的智能终端(如相机)获取背景图片,进而筛选满足质量要求的图像拼接生成最终目标图像,进一步改善最终目标图像的效果。
S2:处理第一目标图像和第二目标图像,得到最终目标图像。
可选地,所述处理,可以为合并,也可以为拼接,还可以为其他处理方式。
可选地,在对第一目标图像和第二目标图像进行处理之前,可以先对第一目标图像和第二目标图像进行预处理。
可选地,由于拍摄角度不同等因素,可能导致拍摄图像的光源存在差异,图像亮度存在区别,和/或出现几何畸变的情况,因此,可以采用图像亮度差异校正技术,对第一目标图像和第二目标图像的亮度进行统一调整;和/或,通过数学模型对畸变图像像素进行运算,使其恢复到正常值,或是对图像进行变换,以便于在处理过程中得到更好的融合效果。
可选地,由于拍摄过程和/或传输过程中可能存在的干扰因素,容易对图像质量造成影响,因此,可以采用去噪、畸形矫正以及图像增强等方式对第一目标图像和第二目标图像进行优化处理。例如,可以通过均值滤波、中值滤波以及高斯滤波等去噪方法中的一种或多种组合实施图像去噪,使图像更加平滑。
需要说明的是,上述图像优化处理方法可以用于第一目标图像和第二目标图像,也可以用于处理得到的最终目标图像,还可以用于初步选取的待处理图像,本申请实施例中不构成对图像优化方式及实施目标的限定。
可选地,根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像后,处理第一目标图像和第二目标图像,即可得到最终目标图像,具体可以为以下至少一项:
基于第一目标图像的配准基元和第二目标图像进行处理,得到最终目标图像;
基于第一目标图像的配准基元和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像,和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像和第二目标图像进行处理,得到最终目标图像。
可选地,本申请实施例中的配准基元主要包括从第一目标图像和/或第二目标图像中提取出的特征,可以包括点特征、线条特征、边缘特征、轮廓特征以及闭合区域特征中的至少一项。
可选地,对于第一目标图像和/或第二目标图像,可以对图像中的各特征进行提取,得到第一目标图像和/或第二目标图像对应的配准基元,进而可以根据第一目标图像的配准基元与第二目标图像进行配准,通过处理得到最终目标图像;也可以将第一目标图像的配准基元和第二目标图像的配准基元进行匹配,进而通过处理得到最终目标图像;还可以根据第二目标图像的配准基元与第一目标图像进行配准,通过处理得到最终目标图像;也可以直接对第一目标图像和第二目标图像进行处理,得到最终目标图像。可选地,进行处理的第一目标图像和第二目标图像均可以为一张或多张图像,本发明实施例中对第一目标图像和第二目标图像的数量不作具体限定。
可选地,在根据配准基元进行图像配准的过程中,可以通过滤除噪声、遮挡、离群点及错配特征,建立更为稳定的图像变换函数,改善图像处理效果,还可以利用各目标图像之间的互补信息对目标图像进行进一步优化。
例如,第一目标图像中包括主要的拍摄目标(如人像)及部分参照信息(如较为模糊的环境背景),一张第二目标图像中包含部分清晰的参照信息(人像左侧的环境背景),另一张第二目标图像中包含另一部分清晰的参照信息(人像右侧的环境背景),根据提取的配准基元进行图像配准,将两张第二目标图像与第一目标图像进行拼接融合,从而得到最终目标图像(如全景图像),可以清晰呈现人像及完整的环境图像。可选地,在处理过程中,可以是将第一目标图像中的部分特征拷贝至第二目标图像的特定位置,可以结合抖动数据、图像清晰度以及智能终端移动速度等参数信息进行图像选择和/或拼接融合,还可以对重叠边界进行相应的处理,进一步改善生成的最终目标图像的效果。
可选地,在处理过程中,若存在多张第一目标图像和第二目标图像,可以对第一目标图像和第二目标图像进行排序处理。可选地,通过使用图像自动排序算法,建立图像序列,对图像序列进行分析,例如,使用平移参数对各目标图像的内容进行处理和/或计算,对目标图像进行统一规划处理,通过傅里叶变换得到各目标图像之间的相关度,进而进行分析参照,确定各第一目标图像和第二目标图像的图像顺序,用于得到最终目标图像。
可选地,基于确定的各第一目标图像和第二目标图像的图像顺序进行处理,可以通过多项拼接技术,对各第一目标图像和第二目标图像进行区域分割等操作,制作出动态最终目标图像,使最终目标图像的效果更加生动。
可选地,在图像处理过程中,可以采用基于特征的图像匹配方法,提取的特征包括边缘、轮廓、区域以及点等。图像中线与线的交点称为角点,由于角点通常是亮度差异较大或曲率较大的点,具有尺度不变的特性,受光照的影响较小,因此适合作为特征点,可选地,可以通过角点检测法对若干张图像的内容进行目标跟踪,对各张图像进行特征分析,以建立图像之间的联系。还可以通过特征点匹配法分析单张图片特征,计算形成相关系数,进而确定特征之间的匹配度。根据特征之间的匹配度,可以实现图像之间的高精度匹配拼接。在此过程中,还可以对图像进行双向搜索,获取图像的相关性分析,利用随机抽样一致性算法对粗匹配点集进行滤除,进一步实现高精度的图像匹配,从而改善最终目标图像处理的效果。
可选地,在对图像进行处理后,还可进行图像融合,淡化图像处理痕迹,消除处理过程中产生的接缝线、错位、模糊或重影等现象。例如,采用非线性图像融合算法,对图像的特征点进行分析,进而对重叠区域加以融合,还可以通过加权平均算法实现融合,对处理后的图像进行修正,得到最终目标图像。例如,可以通过算法基于处理后的图像计算单应性映射生成全局映射,根据位移映射对全局映射进行局部调整,再采用权重映射融合变形图像得到修正后的最终目标图像,可以有效保持处理后的最终目标图像的视差一致性。
可选地,基于上述最终目标图像的生成或确定方式,可以对包含多幅图像帧的视频画面进行图像处理,依照策略进行抽帧,按照时间序列等规则生成多帧最终目标图像,进而生成全景视频,满足用户的多种需求。
本实施例的技术方案,通过根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像;处理第一目标图像和第二目标图像,得到最终目标图像。能够呈现出完整场景范围内的画面,和/或提高最终目标图像的真实性和/或准确性,进而提高用户体验。
第二实施例
在本申请图像处理方法第二实施例中,基于上述第一实施例,所述根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像的实现方式,包括以下至少一项:
所述方式一包括:通过预设方式进行拍摄或用户选取得到所述待处理图像,根据所述待处理图像的参数信息和/或画面信息生成或确定所述第一目标图像和第二目标图像;
所述方式二包括:获取第一目标图像,对第一目标图像进行运动估计,得到预测轨迹信息,根据所述预测轨迹信息从和第一目标图像相关的图像中生成或确定第二目标图像;
所述方式二包括:获取第一目标图像,输出第一目标图像对应的第一提示信息,响应于拍摄指令,得到第一目标图像对应的第二目标图像;
所述方式三包括:输出候选目标图像拍摄目标位置对应的第二提示信息,响应于拍摄指令,得到所述候选目标图像对应的第一目标图像和第二目标图像;
所述方式四包括:输出预览画面对应的第三提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像;
所述方式四包括:输出预览画面对焦点信息对应的第四提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像。
可选地,根据第一预设策略可以从至少一张待处理图像中生成或确定第一目标图像和第二目标图像,包括通过预设方式进行拍摄或用户选取得到所述待处理图像,根据所述待处理图像的参数信息和/或画面信息生成或确定所述第一目标图像和第二目标图像。
可选地,待处理图像可以是通过预设方式进行拍摄得到,也可以是由用户从本地相册或云端数据库中选取得到。
可选地,通过预设方式进行拍摄得到所述若干张待处理图像的步骤包括以下至少一项:
基于所述用户选取或确定的拍摄参数生成提示信息,以供所述用户根据提示信息移动智能终端,并控制智能终端进行拍摄,得到若干张待处理图像;
控制预设数量的摄像头进行旋转和/或伸缩,进行多角度拍摄,得到所述若干张待处理图像;
控制第一显示屏相对第二显示屏进行运动,并控制对应的摄像头进行拍摄,得到所述若干张待处理图像。
可选地,获取到用户选取或确定的拍摄参数可以包括起始位置和/或终止位置、选取的拍摄目标以及参照物目标等信息后,根据此类拍摄参数,可以生成对应的指导方案和/或提示信息,使用户根据提示信息控制智能终端进行移动和拍摄,从而得到若干张待处理图像。
可选地,当智能终端具有可旋转和/或伸缩的摄像头时,可以通过控制摄像头进行旋转或伸缩,以获取不同角度范围的若干张待处理图像。
可选地,当智能终端具有多个显示屏时,例如可旋转和/或可折叠的显示屏,则可以通过控制包含摄像头的显示屏相对另一个显示屏进行运动,并控制摄像头进行同步拍摄,以获取不同角度范围的若干张待处理图像。
可选地,当智能终端具有多个摄像头时,可以控制各个摄像头对不同角度进行拍摄,以获取不同角度范围的若干张待处理图像。可选地,还可以通过使不同智能终端进行通信连接,进而获取到不同智能终端从不同角度拍摄得到的若干张待处理图像,可以在获取到最终目标图像的图像素材的同时,提升用户协作生成最终目标图像的趣味性及互动性。可选地,根据不同智能终端的拍摄特点可以进一步优化拍摄方案,例如,采用适合进行人像处理的智能终端获取人像图片,采用适合远景拍摄的相机获取背景图片,进而筛选满足质量要求的图像拼接生成最终目标图像。
可选地,第一目标图像和第二目标图像可以来自不同的待处理图像,也可以来自同一张待处理图像。
可选地,第一目标图像和第二目标图像可以根据待处理图像的参数信息和/或画面信息生成或确定。可选地,待处理图像的参数信息包括图像的拍摄时间信息及拍摄位置信息等能够反映图像拍摄的相关参数的信息;待处理图像的画面信息包括图像特征信息、轮廓信息和/或色块组成信息等能够反映画面构图或关键特征的信息。
可选地,根据第二预设策略,可以基于获取的第一目标图像确定对应的至少一张第二目标图像,包括获取第一目标图像,对第一目标图像进行运动估计,得到预测轨迹信息,根据所述预测轨迹信息从和第一目标图像相关的图像中生成或确定第二目标图像;还包括获取第一目标图像,输出第一目标图像对应的第一提示信息,响应于拍摄指令,得到第一目标图像对应的第二目标图像。
可选地,获取到第一目标图像后,通过对第一目标图像进行运动估计,得到预测轨迹信息,根据预测轨迹信息可以从和第一目标图像相关的图像中生成或确定第二目标图像。例如,获取到用户拍摄的第一目标图像后,根据第一目标图像中的目标物体或目标人物的运动趋势,可以预测出目标物体或目标人物的运动轨迹信息,当获取到用户在对应角度范围内拍摄的若干张图像后,即可根据预测出的运动轨迹信息从若干张图像中选取对应的一张或多张第二目标图像,进而将第二目标图像与第一目标图像进行处理,即可得到最终目标图像。
可选地,获取到第一目标图像后,还可以通过输出第一目标图像对应的第一提示信息,响应于拍摄指令,得到第一目标图像对应的第二目标图像。例如,获取到用户拍摄的第一目标图像后,基于第一目标图像生成相应的指导方案和/或提示信息,以供所述用户根据指导方案和/或提示信息移动智能终端,并响应于拍摄指令控制智能终端进行拍摄,得到对应的第二目标图像。
可选地,根据第三预设策略,可以获取候选目标图像对应的第一目标图像和第二目标图像,包括输出候选目标图像拍摄目标位置对应的第二提示信息,响应于拍摄指令,得到所述候选目标图像对应的第一目标图像和第二目标图像。
可选地,获取到候选目标图像后,可以识别候选目标图像中的拍摄目标位置,进而根据拍摄目标位置生成对应的指导方案和/或提示信息,使用户根据指导方案和/或提示信息移动智能终端,智能终端响应于拍摄指令控制摄像头进行拍摄,从而得到候选目标图像对应的第一目标图像和第二目标图像。例如,获取到用户拍摄的候选目标图像,对候选目标图像进行识别,可以确定其中的拍摄目标的位置,包括人像位置和/或目标建筑物位置等,进而根据拍摄目标位置生成对应的指导方案和/或提示信息,使用户根据指导方案和/或提示信息移动智能终端,可以是根据拍摄目标位置引导用户将智能终端向拍摄目标的第一方向上移动,以获得第一目标图像,并引导用户将智能终端向拍摄目标的第二方向上移动,以获得第二目标图像。
可选地,第一方向和/或第二方向可以基于候选目标图像和/或拍摄目标的特征进行选取或确定,例如,当拍摄目标为人物图像时,第一方向和/或第二方向可以是人物图像的左侧和/或右侧方向,用于引导用户全面拍摄人物身旁的背景信息;当拍摄目标为高大的建筑物时,第一方向和/或第二方向可以是建筑物的上方或下方,用于引导用户全面拍摄建筑物的顶部和/或底部的图像;当拍摄目标为蜿蜒的河流时,第一方向和/或第二方向可以是河流整体延伸的方向,可以与画面底部呈一定的角度,用于引导用户全面拍摄河流全貌。
可选地,根据第四预设策略,可以获取预览画面对应的第一目标图像和第二目标图像,包括输出预览画面对应的第三提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像;还包括输出预览画面对焦点信息对应的第四提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像。
可选地,读取到智能终端的预览画面后,可以根据预览画面自动识别出拍摄目标,根据拍摄目标和预览画面中的参照物信息可以生成或确定构图方案,从而根据构图方案可以生成提示信息,引导用户移动智能终端进行拍摄,得到第一目标图像和第二目标图像;还可以根据用户在预览画面中手动选择的对焦点确定拍摄目标及参照物信息,进而根据拍摄目标和参照物信息生成构图方案,并根据构图方案生成提示信息,引导用户移动智能终端进行拍摄,得到第一目标图像和第二目标图像。可选地,在引导用户移动智能终端进行拍摄过程中,可以持续进行拍摄,也可以只在一个方向上每隔预设时间拍摄一张图像,然后自动筛选满足质量要求的图像作为第一目标图像和/或第二目标图像。
可选地,智能终端可以响应于用户发出的语音指令或触控指令进入图片选择和/或处理界面,用户可以直接选取本地和/或云端的图像进行图像处理,也可以通过拍摄功能实时获取当前环境下的图像和/或进行图像处理。本申请实施例中以实时拍摄图像为例进行说明。
参照图4,图4为本申请实施例中的主界面示意图,如图4所示,用户通过触控操作选取相机应用图标,使智能终端打开拍摄功能。参照图5,图5为本申请实施例中的预览画面示意图,如图5所示,识别到预览画面中的拍摄目标为人像,参照物信息为背景中的群山,但由于拍摄角度限制,背景中的环境拍摄范围较小,如果通过缩放拍摄比例的方式扩大拍摄范围,则人像会随之缩小,导致所得图像中人物细节呈现效果不佳,此时则可以进入相应拍照模式改善拍摄效果。
参照图6,图6为本申请实施例中的第一提示方式示意图,如图6所示,提示用户是否进入全景拍摄模式,也可以根据用户的使用习惯或历史设置参数自动进入相应拍摄模式。当进入全景拍摄模式后,可以根据拍摄目标和预览画面中的参照物信息生成或确定构图方案,从而根据构图方案可以生成提示信息,引导用户移动智能终端进行拍摄。
参照图7,图7为本申请实施例中的第二提示方式示意图,如图7所示,可以通过文字及图标等方式提示用户移动和/或旋转智能终端,也可以通过语音提示引导用户进行拍摄,在引导用户移动智能终端进行拍摄过程中,可以持续进行拍摄,也可以只在一个方向上每隔预设时间拍摄一张图像,然后自动筛选满足质量要求的图像作为第一目标图像和/或第二目标图像。参照图8及图9,图8为本申请实施例中的第一目标图像的示例性示意图,如图8所示,第一目标图像呈现了拍摄目标左侧的环境图像,图9为本申请实施例中的第二目标图像的示例性示意图,如图9所示,第二目标图像呈现了拍摄目标右侧的环境图像。
参照图10,图10为本申请实施例中的最终目标图像的示例性示意图,如图10所示,通过对第一目标图像、第二目标图像、和/或预览画面中提取到的人像进行处理,例如根据提取的配准基元进行图像配准,将第一目标图像与第二目标图像进行拼接融合,得到全景图像,并选取第一目标图像、第二目标图像、和/或预览画面中效果最佳的人像拷贝至全景图像,从而得到最终目标图像,可以清晰呈现人像及完整的环境图像。在此过程中,还可以结合抖动数据、图像清晰度以及智能终端移动速度等参数信息进行图像选择和/或拼接融合,还可以对重叠边界进行相应的处理,进一步改善生成的最终目标图像的效果。
本实施例通过上述方案,具体通过多种实现方式生成或确定至少一第一目标图像和至少一第二目标图像,为最终目标图像的生成提供各类图像素材,在具体选择生成或确定第一目标图像和第二目标图像的方式时,用户可通过需要进行选择,以便于更好地得到最终目标图像。
第三实施例
在本申请图像处理方法第三实施例中,基于上述任一实施例,所述图像处理方法还包括:
响应于预览画面满足第一条件或接收到拍摄指令,进入相应拍摄模式(如全景拍摄)。
可选地,所述满足第一条件包括所述预览画面中的拍摄目标的显示比例超过预设比例阈值,和/或,所述预览画面中的拍摄目标的边缘轮廓超出预览画面范围。
可选地,本申请实施例中,在根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像,处理第一目标图像和第二目标图像得到最终目标图像之前,可以先进入相应拍照模式,在其它实施例中,也可以根据用户的使用需要选择进入相应拍照模式的方式和时机。
可选地,当识别到预览画面满足第一条件时,可以进入相应拍摄模式(如全景拍摄),例如,读取预览画面中的拍摄目标,识别到拍摄目标的边缘轮廓超出预览画面的范围,或是识别到拍摄目标未在预览画面中完整显示,又或是拍摄目标的显示比例超过预览画面的预设比例阈值,则可以判定满足第一条件,进入相应拍摄模式(如全景拍摄),以便于得到拍摄目标更为清晰完整的最终目标图像。
可选地,当接收到拍摄指令时,可以进入相应拍摄模式(如全景拍摄),其中,拍摄指令可以是用户发出的语音指令或触控指令,也可以是触发物理按键发出的指令或通过蓝牙或红外等通信方式发出的遥控指令。
本实施例通过上述方案,具体通过响应于预览画面满足第一条件或接收到拍摄指令,进入相应拍摄模式(如全景拍摄),可选地,所述满足第一条件包括所述预览画面中的拍摄目标的显示比例超过预设比例阈值,和/或,所述预览画面中的拍摄目标的边缘轮廓超出预览画面范围,提供了触发相应拍照模式的方式,可以由智能终端根据预览画面自动进入相应拍照模式,也可以由用户自行控制智能终端进入相应拍照模式,以便于满足用户的不同使用需要。
第四实施例
参照图11,图11是根据第四实施例示出的图像处理方法的流程示意图,本申请实施例的图像处理方法可应用于智能终端(如手机),包括步骤:
S10:对预览画面进行分析,得到目标拍摄信息;
可选地,读取到预览画面后,可以对预览画面进行目标识别,目标识别的方式可以是直接从预览画面序列中检测到运动目标并进行识别,还可以是基于画面中的颜色、纹理及关键特征点等信息进行目标识别,通过目标识别可以选取或确定拍摄目标,进而对拍摄目标进行提取和/或分析,以确定拍摄目标相关的目标拍摄信息。
可选地,通过预设算法对预览画面进行目标识别,所述预设算法可以是卷积神经网络算法、深度迁移学习算法、不变矩算法或语义分割算法等。
可选地,对拍摄目标进行提取和/或分析,包括对拍摄目标的点特征、线特征及区域特征中的至少一种特征进行提取,进而进行特征匹配,可以生成或确定拍摄目标的目标拍摄信息。
可选地,所述目标拍摄信息包括边缘延伸信息、目标完整度信息、显示比例信息中的至少一项
可选地,边缘延伸信息可以包括拍摄目标的轮廓信息和/或延伸方向信息,用于判断拍摄目标的边缘轮廓是否超出画面范围。
可选地,根据拍摄目标的区域特征,结合关键特征信息及目标预测信息可以生成或确定目标完整度信息,用于判断拍摄目标在预览画面中是否完整显示。
可选地,根据拍摄目标的区域特征,可以生成或确定拍摄目标的显示比例信息,用于确定拍摄目标在预览画面中所占比例。
S20:响应于目标拍摄信息满足条件和/或接收到拍摄参数信息,生成或确定第一目标图像。
可选地,基于生成或确定的目标拍摄信息,可以判断是否满足进入相应拍照模式的条件,进而生成或确定最终目标图像。
可选地,当基于边缘延伸信息确定拍摄目标的边缘轮廓超出预览画面的画面范围,则判定满足进入相应拍照模式的条件,通过相应拍照模式(如全景模式)使拍摄目标整体呈现。
可选地,当基于目标完整度信息确定拍摄目标未在预览画面中完整显示时,则判定满足进入相应拍照模式的条件,通过相应拍照模式可以提高拍摄目标的完整度。
可选地,当基于显示比例信息确定拍摄目标的显示比例超过预设比例阈值(例如40%),则判定满足进入相应拍照模式的条件,通过相应拍照模式可以调整拍摄目标的显示比例,从而改善画面的构图效果。
可选地,所述拍摄目标可以是各类物体或人像等类型的目标,本申请实施例中,以较为常见的人脸图像为例进行说明。
可选地,通过智能终端的本地相册或云端相册可以建立人脸数据库,根据人脸数据库中的面部数据可以自动设置各个人脸信息的优先级,也可以由用户自定义设置预存人脸信息,当识别到预览画面中出现的拍摄目标中包括预存人脸信息且满足条件时,可以自动进入相应拍照模式,如果预览画面中存在多个预存人脸信息,则可以根据设置的优先级自动选取相应拍照模式中的第一拍摄目标,进而生成或确定相应的指导策略和/或提示信息,可以直接通过全景拍摄模式得到第一目标图像;还可以以第一拍摄目标为中心得到候选目标图像,并进一步得到相应的第一图像和/或第二图像,对候选目标图像与第一图像和/或第二图像进行处理,则可以生成或确定第一目标图像。
可选地,在识别预览画面中出现的拍摄目标中是否包括预存人脸信息的过程中,可以先对拍摄目标进行特征提取,计算其特征对应的特征向量,与人脸数据库中的人脸特征向量进行匹配,当二者的特征向量在预设阈值范围内,则可以判定预览画面中出现的拍摄目标包括预存人脸信息。可选地,识别到预览画面中出现的拍摄目标包括预存人脸信息后,可以在预览画面中对应显示预设标识信息(例如框选对应的人脸信息),以供用户基于预设标识信息确定第一拍摄目标和/或设置拍摄参数,从而适应性调整相应拍照模式以满足用户的不同需求。
本实施例通过上述方案,具体通过对预览画面进行分析,得到目标拍摄信息;响应于目标拍摄信息满足条件和/或接收到拍摄参数信息,生成或确定第一目标图像,可以通过分析预览画面确定拍摄目标和/或对应的目标拍摄信息,以便于在目标拍摄信息满足条件的情况下及时进入相应拍照模式并得到第一目标图像,提高了拍摄的智能性和/或便利性。
第五实施例
在本申请图像处理方法第五实施例中,基于上述任一实施例,所述图像处理方法还包括:
响应于用户针对至少一预览画面的操作信息,选取或确定所述拍摄参数信息;
可选地,在用户移动或旋转智能终端的过程中,智能终端的显示屏中可呈现连续变化的若干预览画面,智能终端可以根据用户针对预览画面的操作信息(例如用户在若干预览画面中选取的多个关键点),选取或确定用户所需的拍摄参数信息(例如用户需要的目标图像的画面范围),如果根据拍摄参数信息确定的画面范围超过当前预览画面的画面范围,则判定满足进入相应拍照模式的条件,通过相应拍照模式(如全景模式)使拍摄目标整体呈现。
可选地,根据拍摄参数信息可以直接通过全景拍摄模式得到第一目标图像;还可以生成或确定相应的指导策略和/或提示信息,使用户根据指导策略和/或提示信息移动或旋转智能终端,通过识别预览画面并结合用户选取的关键点,获取到若干候选目标图像,对若干张候选目标图像进行处理,则可以生成或确定第一目标图像。
例如,用户在第一预览画面中选取了第一关键点,进而向右移动智能终端,在第二预览画面中选取了第二关键点,并向上旋转智能终端,在第三预览画面中选取了第三关键点,基于第一关键点、第二关键点及第三关键点可以识别出用户需要拍摄的画面范围,进而自动进入全景拍摄模式,获取到包含用户所需画面范围的目标图像;还可以通过智能构图方案进一步对识别出的画面范围进行优化,例如通过扩大画面范围改善目标图像的构图,提升目标图像的拍摄效果。
可选地,所述图像处理方法还包括:
根据预览画面和/或第一目标图像保真部分,对第一目标图像失真部分进行调整,得到第二目标图像。
可选地,由于拍摄过程中的抖动数据、光照变化或角度范围等因素的影响,以及处理过程中特征匹配的精确度等因素的影响,生成或确定第一目标图像中可能存在拼接缝、伪影或倾斜失真等情况,即第一目标图像中可能存在失真部分,为了进一步提高最终目标图像的质量,可以基于预览画面和/或第一目标图像中的保真部分对第一目标图像的失真部分进行处理。
可选地,在生成或确定第一目标图像之前,可以对预览画面和/或用于进行处理的图像素材进行初步缓存,当识别到第一目标图像中存在拼接缝、伪影或倾斜失真时,可以参照预览画面和/或用于进行处理的图像素材,结合第一目标图像中的保真部分,对失真部分进行处理,例如,通过对拼接缝周围进行图像融合,实现拼接缝周围像素的平滑过渡;通过对倾斜失真部分进行图像矫直,降低最终目标图像的扭曲程度,通过构建畸变图像和非畸变图像之间的映射关系,达到校正图像的效果。
可选地,在进行图像融合过程中,可以先找到第一目标图像中的拼接缝,进而在拼接缝周围的限定区域内通过图像融合算法进行多分辨率图像融合,使拼接缝周围像素的色差平滑过渡。
可选地,在进行图像矫直过程中,可以先通过边缘检测算法检测第一目标图像的边缘特征,提取第一目标图像的***轮廓,进而将提取外轮廓后的第一目标图像平均分为大小相同的若干个区域,并将每个区域图像的轮廓拟合为一个近似四边形,进而依次对每个区域图像通过矫直前的四个顶点坐标建立自适应矫直模型,找到矫直后的四个顶点坐标,完成图像矫直,得到第二目标图像,可以有效保留第一目标图像的信息,同时降低第一目标图像的扭曲程度。
本实施例通过上述方案,具体通过响应于用户针对至少一预览画面的操作信息,选取或确定所述拍摄参数信息,以便于及时识别出用户的拍摄需求,并根据用户的拍摄需求进入相应拍照模式并得到第一目标图像,提高了拍摄的智能性和/或便利性;和/或,根据预览画面和/或第一目标图像保真部分,对第一目标图像失真部分进行调整,得到第二目标图像,有效利用预览画面和/或第一目标图像中的信息,对第一目标图像中的失真部分进行处理,消除第一目标图像中的畸变,有效保留第一目标图像的信息,同时降低第一目标图像的扭曲程度,得到高分辨率的第二目标图像,改善最终目标图像的整体效果。
第六实施例
参照图12,图12是根据第六实施例示出的图像处理方法的流程示意图,本申请实施例的图像处理方法可应用于智能终端(如手机),包括以下步骤:
S100:获取拍摄目标的至少一第一目标图像和至少一第二目标图像;
可选地,获取拍摄目标的至少一第一目标图像和至少一第二目标图像之前,可以先选取或确定拍摄目标,选取或确定拍摄目标的方法包括以下至少一项:
基于预览画面选取或确定所述拍摄目标;
响应于接收到用户的操作指令,选取或确定所述拍摄目标。
可选地,在读取到预览画面后,可以对预览画面进行目标识别,目标识别的方式可以是直接从预览画面序列中检测到运动目标并进行识别,还可以是基于画面中的颜色、纹理及关键特征点等信息进行目标识别,从而由智能终端自动选取或确定拍摄目标。
可选地,在读取到预览画面后,也可以通过获取用户的操作信息确定预览画面中的拍摄目标,例如,根据用户的触控指令,可以从预览画面中确定焦点信息,进而根据焦点信息选取或确定拍摄目标,实现由用户手动确定拍摄目标。
可选地,选取或确定拍摄目标后,可以识别拍摄目标的位置,进而根据拍摄目标的位置生成对应的提示信息,使用户根据提示信息移动智能终端,智能终端响应于拍摄指令控制摄像头进行拍摄,从而得到拍摄目标对应的第一目标图像和第二目标图像。例如,识别出预览画面中的拍摄目标后,对拍摄目标进行分析,可以确定拍摄目标的位置,包括人像位置和/或目标建筑物位置等,进而根据拍摄目标的位置生成对应的提示信息,使用户根据提示信息移动智能终端,可以是根据拍摄目标的位置引导用户将智能终端向拍摄目标的第一方向上移动,以获得第一目标图像,并引导用户将智能终端向拍摄目标的第二方向上移动,以获得第二目标图像。
可选地,第一方向和/或第二方向可以基于拍摄目标的特征进行选取或确定,例如,当拍摄目标为人物图像时,第一方向和/或第二方向可以是人物图像的左侧和/或右侧方向,用于引导用户全面拍摄人物身旁的背景信息;当拍摄目标为高大的建筑物时,第一方向和/或第二方向可以是建筑物的上方或下方,用于引导用户全面拍摄建筑物的顶部和/或底部的图像;当拍摄目标为蜿蜒的河流时,第一方向和/或第二方向可以是河流整体延伸的方向,可以与画面底部呈一定的角度,用于引导用户全面拍摄河流全貌。
S200:对第一目标图像和第二目标图像进行处理,得到最终目标图像。
可选地,所述处理,可以为合并,也可以为拼接,还可以为其他处理方式。
可选地,由于拍摄角度不同等因素,可能导致拍摄图像的光源存在差异,图像亮度存在区别,和/或出现几何畸变的情况,因此,可以采用图像亮度差异校正技术,对第一目标图像和第二目标图像的亮度进行统一调整;和/或,通过数学模型对畸变图像像素进行运算,使其恢复到正常值,或是对图像进行变换,以便于在处理过程中得到更好的融合效果。
可选地,由于拍摄过程和/或传输过程中可能存在的干扰因素,容易对图像质量造成影响,因此,可以采用去噪、畸形矫正以及图像增强等方式对第一目标图像和第二目标图像进行优化处理。例如,可以通过均值滤波、中值滤波以及高斯滤波等去噪方法中的一种或多种组合实施图像去噪,使图像更加平滑。
可选地,对第一目标图像和第二目标图像进行处理,以得到最终目标图像,具体可以为以下至少一项:
基于第一目标图像的配准基元和第二目标图像进行处理,得到最终目标图像;
基于第一目标图像的配准基元和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像,和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像和第二目标图像进行处理,得到最终目标图像。
可选地,对于第一目标图像和/或第二目标图像,可以对图像中的特征点进行提取,得到第一目标图像和/或第二目标图像对应的配准基元,进而可以根据第一目标图像的配准基元与第二目标图像进行配准,通过处理得到最终目标图像。
可选地,也可以将第一目标图像的配准基元和第二目标图像的配准基元进行匹配,进而通过处理得到最终目标图像。
可选地,还可以根据第二目标图像的配准基元与第一目标图像进行配准,通过处理得到最终目标图像。
可选地,也可以直接对第一目标图像和第二目标图像进行处理,得到最终目标图像。
可选地,进行处理的第一目标图像和第二目标图像均可以为一张或多张图像,本发明实施例中对第一目标图像和第二目标图像的数量不作具体限定。
例如,第一目标图像中包括主要的拍摄全景(如人像)及部分参照信息(如较为模糊的环境背景),其中一张第二目标图像中包含部分清晰的参照信息(人像左侧的环境背景),另一张第二目标图像中包含另一部分清晰的参照信息(人像右侧的环境背景),根据提取的配准基元进行图像配准,将两张第二目标图像与第一目标图像进行拼接融合,从而得到最终目标图像,可以清晰呈现人像及完整的环境图像。
可选地,在处理过程中,可以是将第一目标图像中的部分特征拷贝至第二目标图像的特定位置,可以结合抖动数据、图像清晰度以及智能终端移动速度等参数信息进行图像选择和/或拼接融合,还可以对重叠边界进行相应的处理,进一步改善生成的最终目标图像的效果。
可选地,在处理过程中,若存在多张第一目标图像和第二目标图像,可以对第一目标图像和第二目标图像进行排序处理。
可选地,通过使用图像自动排序算法,建立图像序列,对图像序列进行分析,例如,使用平移参数对各最终目标图像的内容进行处理和/或计算,对最终目标图像进行统一规划处理,通过傅里叶变换得到各最终目标图像之间的相关度,进而进行分析参照,确定各第一目标图像和第二目标图像的图像顺序,用于得到最终目标图像。
可选地,基于确定的各第一目标图像和第二目标图像的图像顺序进行处理,可以通过多项拼接技术,对各第一目标图像和第二目标图像进行区域分割等操作,制作出动态最终目标图像,使最终目标图像的效果更加生动。
可选地,在图像处理过程中,可以采用基于特征的图像匹配方法,提取的特征包括边缘、轮廓、区域以及点等。
可选地,可以通过角点检测法对若干张图像的内容进行全景跟踪,对各张图像进行特征分析,以建立图像之间的联系。还可以通过特征点匹配法分析单张图片特征,计算形成相关系数,进而确定特征之间的匹配度。根据特征之间的匹配度,可以实现图像之间的高精度匹配拼接。在此过程中,还可以对图像进行双向搜索,获取图像的相关性分析,利用随机抽样一致性算法对粗匹配点集进行滤除,进一步实现高精度的图像匹配,从而改善最终目标图像处理的效果。
可选地,在对图像进行处理后,还可以进行图像融合,淡化图像处理痕迹,消除处理过程中产生的接缝线、错位、模糊或重影等现象。例如,采用非线性图像融合算法,对图像的特征点进行分析,进而对重叠区域加以融合,还可以通过加权平均算法实现融合,对处理后的最终目标图像进行修正,得到最终目标图像。例如,可以通过算法基于处理后的最终目标图像计算单应性映射生成全局映射,根据位移映射对全局映射进行局部调整,再采用权重映射融合变形图像得到修正后的最终目标图像,可以有效保持处理后的最终目标图像的视差一致性。
可选地,基于上述最终目标图像的生成或确定方式,可以对包含多幅图像帧的视频画面进行图像处理,依照策略进行抽帧,按照时间序列等规则生成多帧最终目标图像,进而生成目标全景视频,满足用户的多种需求。
本实施例通过上述方案,具体通过获取拍摄目标的至少一第一目标图像和至少一第二目标图像;对第一目标图像和第二目标图像进行处理,得到最终目标图像,通过多种实现方式选取或确定至少一第一目标图像和至少一第二目标图像,为最终目标图像的生成提供各类最终目标图像素材,在处理过程中,通过多种图像处理方式,改善生成的最终目标图像的效果,并能够呈现出完整场景范围内的画面,满足用户的多种需求。
第七实施例
在本申请图像处理方法第七实施例中,基于上述任一实施例,所述获取拍摄目标的至少一第一目标图像和至少一第二目标图像,包括:
根据拍摄目标对应的目标拍摄信息,生成或确定拍摄策略;
输出拍摄策略对应的提示信息,响应于拍摄指令,得到第一目标图像和/或第二目标图像。
可选地,所述提示信息包括至少一方向上的移动提示信息和/或至少一角度上的移动提示信息。
可选地,获取到拍摄目标后,可以识别拍摄目标对应的目标拍摄信息,可以包括拍摄目标的边缘延伸信息、目标完整度信息以及显示比例信息中的至少一种,根据目标拍摄信息可以准确识别拍摄目标的位置信息和/或显示信息。基于拍摄目标的位置信息和/或显示信息,生成或确定相应的拍摄策略。根据拍摄策略可以生成对应的提示信息,使用户根据提示信息移动智能终端,智能终端响应于拍摄指令控制摄像头进行拍摄,从而得到拍摄目标的至少一第一目标图像和至少一第二目标图像。
可选地,根据拍摄策略生成对应的提示信息的方式包括以下至少一项:
基于所述拍摄策略生成或确定至少一方向上的移动提示信息;
基于所述拍摄策略生成或确定至少一角度上的移动提示信息。
可选地,基于拍摄目标的位置信息和/或显示信息,生成或确定的拍摄策略包括拍摄的起始位置和/或终点位置,拍摄过程中智能终端的移动方向和/或拍摄角度。例如,根据目标拍摄信息确定拍摄目标位于预览画面的右侧,且拍摄目标的上部超出预览画面的显示范围内,则可以生成如下拍摄策略:先向右侧移动第一预设距离,生成或确定第一目标图像;再向左侧返回第二预设距离,再向上方移动第三预设距离,生成或确定第二目标图像。根据拍摄策略生成的提示信息包括在预览画面中显示参考线,并通过语音或文字或图标(例如方向箭头)提示用户对智能终端进行旋转或移动,调整摄像头的方向或角度,并自动或由用户手动控制进行拍摄,得到拍摄目标的至少一第一目标图像和至少一第二目标图像。
可选地,在用户根据提示信息旋转或移动智能终端过程中,可以实时根据预览画面的变化对应调整拍摄策略和/或相应的提示信息,以根据用户行为适应性调整第一目标图像和第二目标图像的生成或确定方式。
可选地,在引导用户移动智能终端进行拍摄过程中,可以持续进行拍摄,也可以只在一个方向上每隔预设时间拍摄一张图像,然后自动筛选满足质量要求的图像作为第一目标图像和/或第二目标图像。
可选地,当智能终端具有可旋转和/或伸缩的摄像头时,可以根据拍摄策略控制摄像头进行旋转或伸缩,以获取不同角度范围的若干张最终目标图像。
可选地,当智能终端具有多个显示屏时,例如可旋转和/或可折叠的显示屏,则可以根据拍摄策略控制包含摄像头的显示屏相对另一个显示屏进行运动,并控制摄像头进行同步拍摄,以获取不同角度范围的若干张最终目标图像。
可选地,当智能终端具有多个摄像头时,可以根据拍摄策略控制各个摄像头对不同角度进行拍摄,以获取不同角度范围的若干张待处理图像。可选地,还可以通过使不同智能终端进行通信连接,进而获取到不同智能终端从不同角度拍摄得到的若干张待处理图像。
可选地,根据不同智能终端的拍摄特点可以进一步优化拍摄策略,例如,采用适合进行人像处理的智能终端获取人像图片,采用适合远景拍摄的相机获取背景图片,进而筛选满足质量要求的图像拼接生成最终目标图像。
本实施例技术方案包括:根据拍摄目标对应的目标拍摄信息,生成或确定拍摄策略;输出拍摄策略对应的提示信息,响应于拍摄指令,得到第一目标图像和/或第二目标图像,其中,所述提示信息包括至少一方向上的移动提示信息和/或至少一角度上的移动提示信息。可以实时根据预览画面中目标拍摄信息的变化对应调整拍摄策略,并生成或确定相应的提示信息,以引导用户移动智能终端以获取第一目标图像和第二目标图像,可以改善第一目标图像和第二目标图像的生成效果,同时提高了最终目标图像生成过程的便利性。
第八实施例
参照图13,图13是根据第八实施例示出的图像处理方法的流程示意图,本申请实施例的图像处理方法可应用于智能终端(如手机),包括步骤:
S1000:基于至少一第一目标图像对应的图像特征信息,确定或得到至少一第二目标图像;
可选地,第一目标图像可以是通过预设方式进行拍摄得到,也可以是由用户从本地相册或云端数据库中选取得到。
可选地,通过预设方式进行拍摄得到所述第一目标图像的步骤包括以下至少一项:
基于所述用户选取或确定的拍摄参数生成提示信息,以供所述用户根据提示信息移动智能终端,并控制智能终端进行拍摄,得到所述第一目标图像;
控制预设数量的摄像头进行旋转和/或伸缩,进行多角度拍摄,经过筛选得到所述第一目标图像。
可选地,获取到用户选取或确定的拍摄参数可以包括起始位置和/或终止位置、选取的拍摄目标以及参照物目标等信息后,根据此类拍摄参数,可以生成对应的提示信息,使用户根据提示信息控制智能终端进行移动和拍摄,从而得到第一目标图像。
可选地,第一目标图像的图像特征信息包括拍摄参数信息、特征信息、轮廓信息、色块组成信息以及预测轨迹信息中的至少一项。
可选地,将第一目标图像的图像特征信息与预设内容或本地相册或云端数据库进行匹配,即可得到第二目标图像,通过对第一目标图像和第二目标图像进行处理,可以得到最终目标图像。
S2000:对第一目标图像和第二目标图像进行处理,得到最终目标图像。
可选地,所述处理,可以为合并,也可以为拼接,还可以为其他处理方式。
可选地,在对第一目标图像和第二目标图像进行处理之前,可以先对第一目标图像和第二目标图像进行预处理。
可选地,可以采用图像亮度差异校正技术,对第一目标图像和第二目标图像的亮度进行统一调整;和/或,通过数学模型对畸变图像像素进行运算,使其恢复到正常值,或是对图像进行变换,以便于在处理过程中得到更好的融合效果。
可选地,可以采用去噪、畸形矫正以及图像增强等方式对第一目标图像和第二目标图像进行优化处理。例如,可以通过均值滤波、中值滤波以及高斯滤波等去噪方法中的一种或多种组合实施图像去噪,使图像更加平滑。
需要说明的是,上述图像优化处理方法可以用于第一目标图像和第二目标图像,也可以用于处理得到的最终目标图像,本申请实施例中不构成对图像优化方式及实施目标的限定。
可选地,对于第一目标图像和/或第二目标图像,可以对图像中的特征点进行提取,得到第一目标图像和/或第二目标图像对应的特征信息,例如提取到的配准基元,进而可以根据第一目标图像的配准基元与第二目标图像进行配准,通过处理得到最终目标图像。
可选地,也可以将第一目标图像的配准基元和第二目标图像的配准基元进行匹配,进而通过处理得到最终目标图像。
可选地,还可以根据第二目标图像的配准基元与第一目标图像进行配准,通过处理得到最终目标图像。
可选地,也可以直接对第一目标图像和第二目标图像进行处理,得到最终目标图像。
可选地,进行处理的第一目标图像和第二目标图像均可以为一张或多张图像,本发明实施例中对第一目标图像和第二目标图像的数量不作具体限定。
可选地,在处理过程中,可以是将第一目标图像中的部分特征拷贝至第二目标图像的特定位置,可以结合抖动数据、图像清晰度以及智能终端移动速度等参数信息进行图像选择和/或拼接融合,还可以对重叠边界进行相应的处理,进一步改善生成的最终目标图像的效果。
可选地,在处理过程中,若存在多张第一目标图像和第二目标图像,可以对第一目标图像和第二目标图像进行排序处理。可选地,通过使用图像自动排序算法,建立图像序列,对图像序列进行分析,例如,使用平移参数对各目标图像的内容进行处理和/或计算,对目标图像进行统一规划处理,通过傅里叶变换得到各目标图像之间的相关度,进而进行分析参照,确定各第一目标图像和第二目标图像的图像顺序,用于得到最终目标图像。
可选地,基于确定的各第一目标图像和第二目标图像的图像顺序进行处理,可以通过多项拼接技术,对各第一目标图像和第二目标图像进行区域分割等操作,制作出动态最终目标图像,使最终目标图像的效果更加生动。
可选地,在图像处理过程中,可以采用基于特征的图像匹配方法,提取的特征包括边缘、轮廓、区域以及点等。
可选地,可以通过角点检测法对若干张图像的内容进行目标跟踪,对各张图像进行特征分析,以建立图像之间的联系。还可以通过特征点匹配法分析单张图片特征,计算形成相关系数,进而确定特征之间的匹配度。根据特征之间的匹配度,可以实现图像之间的高精度匹配拼接。在此过程中,还可以对图像进行双向搜索,获取图像的相关性分析,利用随机抽样一致性算法对粗匹配点集进行滤除,进一步实现高精度的图像匹配,从而改善最终目标图像处理的效果。
可选地,在对图像进行处理后,还可以进行图像融合,淡化图像处理痕迹,消除处理过程中产生的接缝线、错位、模糊或重影等现象。例如,采用非线性图像融合算法,对图像的特征点进行分析,进而对重叠区域加以融合,还可以通过加权平均算法实现融合,对处理后的图像进行修正,得到最终目标图像。例如,可以通过算法基于处理后的图像计算单应性映射生成全局映射,根据位移映射对全局映射进行局部调整,再采用权重映射融合变形图像得到修正后的最终目标图像,可以有效保持处理后的最终目标图像的视差一致性。
可选地,基于上述最终目标图像的生成或确定方式,可以对包含多幅图像帧的视频画面进行图像处理,依照策略进行抽帧,按照时间序列等规则生成多帧最终目标图像,进而生成全景视频,满足用户的多种需求。
本实施例技术方案包括:基于至少一第一目标图像对应的图像特征信息,确定或得到至少一第二目标图像;对第一目标图像和第二目标图像进行处理,得到最终目标图像。通过第一目标图像对应的图像特征信息确定至少一第二目标图像,为最终目标图像的生成提供了多种图像素材,通过对第一目标图像和第二目标图像进行处理,可以得到最终目标图像,从而能够呈现出完整场景范围内的画面,满足用户的多种需求。
第九实施例
在本申请图像处理方法第九实施例中,基于上述任一实施例,所述基于至少一第一目标图像对应的图像特征信息,确定或得到至少一第二目标图像,包括:
根据第一目标图像特征信息,和预设内容或本地相册或云端数据库进行匹配,得到至少一第二目标图像。
可选地,第一目标图像的图像特征信息包括拍摄参数信息、特征信息、轮廓信息、色块组成信息以及预测轨迹信息中的至少一项。
可选地,第一目标图像的拍摄参数信息包括图像的拍摄时间信息及拍摄位置信息等能够反映图像拍摄的相关参数的信息,根据拍摄时间信息及拍摄位置信息等参数信息,可以从预设内容或本地相册或云端数据库中快速匹配出与第一目标图像在相同或近似时间和/或位置拍摄到的图像,由于相同或近似时间和/或位置拍摄得到的图像具有较大的参考价值,因此可以作为第二目标图像,用于与第一目标图像进行处理,得到更为完整的最终目标图像。
可选地,第一目标图像的特征信息、轮廓信息和/或色块组成信息等画面信息作为能够反映第一目标图像的构图或关键特征的信息,可以用于从预设内容或本地相册或云端数据库中快速匹配出与第一目标图像的画面内容相关的图像,因此可以作为第二目标图像,用于与第一目标图像进行处理,得到更为完整的最终目标图像。
可选地,通过对第一目标图像进行运动估计,可以得到第一目标图像的预测轨迹信息,根据所述预测轨迹信息可以从预设内容或本地相册或云端数据库中快速匹配出与第一目标图像的动态效果相关的图像,因此可以作为第二目标图像,用于与第一目标图像进行处理,得到更为完整的最终目标图像。
可选地,预设内容可以是用户选取或拍摄的至少一待处理图像,也可以是通过智能终端读取预览画面缓存得到的至少一待处理图像。第一目标图像和第二目标图像可以来自不同的待处理图像,也可以来自同一张待处理图像。例如,用户在某个角度范围内拍摄的若干张图像,选取其中一张为第一目标图像,进而根据第一目标图像的图像特征信息从预设内容中选取或确定一张或多张第二目标图像,和/或,与本地相册和/或云端相册中存储的若干张图像进行匹配,得到一张或多张第二目标图像,进而进行处理,得到更为完整的最终目标图像。
本实施例技术方案包括:根据第一目标图像特征信息,和预设内容或本地相册或云端数据库进行匹配,得到至少一第二目标图像。提供了根据第一目标图像选取或确定第二目标图像的多种方式,为最终目标图像的生成提供了更为丰富的图像素材,和/或,通过根据图像特征信息进行匹配,可以从大量图像素材中快速匹配到与第一目标图像相关的第二目标图像,提高了图像选取速度和准确率。
本申请实施例还提供一种智能终端,包括存储器、处理器,存储器上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
本申请实施例还提供一种存储介质,存储介质上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
在本申请提供的智能终端和存储介质的实施例中,可以包含任一上述图像处理方法实施例的全部技术特征,说明书拓展和解释内容和上述方法的各实施例基本相同,在此不再做赘述。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着***架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台智能终端(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在存储介质中,或者从一个存储介质向另一个存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk (SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (14)
1.一种图像处理方法,其特征在于,包括步骤:
S1:根据预设策略生成或确定至少一第一目标图像和至少一第二目标图像;
S2:处理第一目标图像和第二目标图像,得到最终目标图像。
2.如权利要求1所述的方法,其特征在于,所述步骤S1的实现方式,包括以下至少一项:
方式一:根据第一预设策略从至少一张待处理图像中生成或确定第一目标图像和第二目标图像;
方式二:获取第一目标图像,根据第二预设策略获取所述第一目标图像对应的至少一第二目标图像;
方式三:根据第三预设策略获取候选目标图像对应的第一目标图像和第二目标图像;
方式四:根据第四预设策略获取预览画面对应的第一目标图像和第二目标图像;
方式五:通过第一摄像头获取第一目标图像,和通过第二摄像头获取第二目标图像。
3.如权利要求2所述的方法,其特征在于,还包括以下至少一项:
所述方式一包括:通过预设方式进行拍摄或用户选取得到所述待处理图像,根据所述待处理图像的参数信息和/或画面信息生成或确定所述第一目标图像和第二目标图像;
所述方式二包括:获取第一目标图像,对第一目标图像进行运动估计,得到预测轨迹信息,根据所述预测轨迹信息从和第一目标图像相关的图像中生成或确定第二目标图像;
所述方式二包括:获取第一目标图像,输出第一目标图像对应的第一提示信息,响应于拍摄指令,得到第一目标图像对应的第二目标图像;
所述方式三包括:输出候选目标图像拍摄目标位置对应的第二提示信息,响应于拍摄指令,得到所述候选目标图像对应的第一目标图像和第二目标图像;
所述方式四包括:输出预览画面对应的第三提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像;
所述方式四包括:输出预览画面对焦点信息对应的第四提示信息,响应于拍摄指令,得到第一目标图像和第二目标图像。
4.如权利要求1至3中任一项所述的方法,其特征在于,所述步骤S2包括以下至少一项:
基于第一目标图像的配准基元和第二目标图像进行处理,得到最终目标图像;
基于第一目标图像的配准基元和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像,和第二目标图像的配准基元进行处理,得到最终目标图像;
基于第一目标图像和第二目标图像进行处理,得到最终目标图像。
5.如权利要求1至3中任一项所述方法,其特征在于,所述方法还包括:
响应于预览画面满足第一条件或接收到拍摄指令,进入相应拍摄模式。
6.一种图像处理方法,其特征在于,包括步骤:
S10:对预览画面进行分析,得到目标拍摄信息;
S20:响应于目标拍摄信息满足条件和/或接收到拍摄参数信息,生成或确定第一目标图像。
7.如权利要求6所述的方法,其特征在于,所述步骤S10,包括:
对所述预览画面中的拍摄目标进行提取和/或分析,得到所述目标拍摄信息。
8.如权利要求6或7所述的方法,其特征在于,所述方法还包括:
响应于用户针对至少一预览画面的操作信息,选取或确定所述拍摄参数信息;和/或,
根据预览画面和/或第一目标图像保真部分,对第一目标图像失真部分进行调整,得到第二目标图像。
9.一种图像处理方法,其特征在于,包括步骤:
S100:获取拍摄目标的至少一第一目标图像和至少一第二目标图像;
S200:对第一目标图像和第二目标图像进行处理,得到最终目标图像。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
根据拍摄目标对应的目标拍摄信息,生成或确定拍摄策略;
输出拍摄策略对应的提示信息,响应于拍摄指令,得到第一目标图像和/或第二目标图像。
11.一种图像处理方法,其特征在于,包括步骤:
S1000:基于至少一第一目标图像对应的图像特征信息,确定或得到至少一第二目标图像;
S2000:对第一目标图像和第二目标图像进行处理,得到最终目标图像。
12.如权利要求11所述的方法,其特征在于,所述步骤S1000,包括:
根据第一目标图像特征信息,和预设内容或本地相册或云端数据库进行匹配,得到至少一第二目标图像。
13.一种智能终端,其特征在于,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如权利要求1至12中任一项所述的图像处理方法的步骤。
14.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310491226.5A CN116208724A (zh) | 2023-05-05 | 2023-05-05 | 图像处理方法、智能终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310491226.5A CN116208724A (zh) | 2023-05-05 | 2023-05-05 | 图像处理方法、智能终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116208724A true CN116208724A (zh) | 2023-06-02 |
Family
ID=86517642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310491226.5A Pending CN116208724A (zh) | 2023-05-05 | 2023-05-05 | 图像处理方法、智能终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116208724A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106603926A (zh) * | 2017-01-05 | 2017-04-26 | 上海网达软件股份有限公司 | 通过多个移动终端实现360度摄影或录像的***及方法 |
CN107911621A (zh) * | 2017-12-28 | 2018-04-13 | 深圳市酷开网络科技有限公司 | 一种全景图像的拍摄方法、终端设备以及存储介质 |
CN108366198A (zh) * | 2018-01-30 | 2018-08-03 | 努比亚技术有限公司 | 一种全景图像拍摄方法、终端及计算机可读存储介质 |
WO2019033411A1 (zh) * | 2017-08-18 | 2019-02-21 | 华为技术有限公司 | 一种全景拍摄方法及装置 |
CN114372996A (zh) * | 2021-12-02 | 2022-04-19 | 北京航空航天大学 | 一种面向室内场景的行人轨迹生成方法 |
CN115665551A (zh) * | 2022-10-28 | 2023-01-31 | 深圳传音控股股份有限公司 | 处理方法、智能终端及存储介质 |
-
2023
- 2023-05-05 CN CN202310491226.5A patent/CN116208724A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106603926A (zh) * | 2017-01-05 | 2017-04-26 | 上海网达软件股份有限公司 | 通过多个移动终端实现360度摄影或录像的***及方法 |
WO2019033411A1 (zh) * | 2017-08-18 | 2019-02-21 | 华为技术有限公司 | 一种全景拍摄方法及装置 |
CN107911621A (zh) * | 2017-12-28 | 2018-04-13 | 深圳市酷开网络科技有限公司 | 一种全景图像的拍摄方法、终端设备以及存储介质 |
CN108366198A (zh) * | 2018-01-30 | 2018-08-03 | 努比亚技术有限公司 | 一种全景图像拍摄方法、终端及计算机可读存储介质 |
CN114372996A (zh) * | 2021-12-02 | 2022-04-19 | 北京航空航天大学 | 一种面向室内场景的行人轨迹生成方法 |
CN115665551A (zh) * | 2022-10-28 | 2023-01-31 | 深圳传音控股股份有限公司 | 处理方法、智能终端及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108024065B (zh) | 一种终端拍摄的方法、终端及计算机可读存储介质 | |
CN110072061B (zh) | 一种交互式拍摄方法、移动终端及存储介质 | |
CN111064895B (zh) | 一种虚化拍摄方法和电子设备 | |
CN108921212B (zh) | 一种图像匹配方法、移动终端及计算机可读存储介质 | |
CN111885307B (zh) | 一种景深拍摄方法、设备及计算机可读存储介质 | |
CN112184722B (zh) | 图像处理方法、终端及计算机存储介质 | |
CN112995467A (zh) | 图像处理方法、移动终端及存储介质 | |
CN114037692A (zh) | 图像处理方法、移动终端及存储介质 | |
CN112135060B (zh) | 一种对焦处理方法、移动终端以及计算机存储介质 | |
CN111050081B (zh) | 拍摄方法及电子设备 | |
CN112598678A (zh) | 一种图像处理方法、终端及计算机可读存储介质 | |
CN113347364A (zh) | 一种月亮图像拍摄方法、设备及计算机可读存储介质 | |
CN115134527B (zh) | 处理方法、智能终端及存储介质 | |
CN108198195B (zh) | 一种对焦的方法、终端及计算机可读存储介质 | |
CN114143471B (zh) | 图像处理方法、***、移动终端及计算机可读存储介质 | |
CN112532838B (zh) | 一种图像处理方法、移动终端以及计算机存储介质 | |
CN115665551A (zh) | 处理方法、智能终端及存储介质 | |
CN112422813B (zh) | 图像虚化方法、终端设备和计算机可读存储介质 | |
CN114285990A (zh) | 图像处理方法、智能终端及存储介质 | |
CN113473029A (zh) | 一种闪电图像拍摄方法、设备及计算机可读存储介质 | |
CN114549544A (zh) | 图像处理方法、智能终端及存储介质 | |
CN116208724A (zh) | 图像处理方法、智能终端及存储介质 | |
CN117157989A (zh) | 拍照方法、移动终端及可读存储介质 | |
CN113572916A (zh) | 拍摄方法、终端设备及存储介质 | |
CN113194227A (zh) | 处理方法、移动终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230602 |