CN108881739B - 图像生成方法、装置、终端及存储介质 - Google Patents

图像生成方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN108881739B
CN108881739B CN201810790667.4A CN201810790667A CN108881739B CN 108881739 B CN108881739 B CN 108881739B CN 201810790667 A CN201810790667 A CN 201810790667A CN 108881739 B CN108881739 B CN 108881739B
Authority
CN
China
Prior art keywords
matrix
image
original image
brightness
brightness component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810790667.4A
Other languages
English (en)
Other versions
CN108881739A (zh
Inventor
陈志博
石楷弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810790667.4A priority Critical patent/CN108881739B/zh
Publication of CN108881739A publication Critical patent/CN108881739A/zh
Application granted granted Critical
Publication of CN108881739B publication Critical patent/CN108881739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像生成方法、装置、终端及存储介质,属于计算机技术领域。该方法包括:根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵,原始图像矩阵包括多个感光元件输出的图像信息,根据原始图像矩阵获取亮度分量矩阵,亮度分量矩阵用于表示多个感光元件输出的图像信息包含的亮度分量,根据亮度分量矩阵和预先设置的第一卷积核,获取与原始图像矩阵匹配的第二卷积核,根据第二卷积核,对原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像。使得原始图像矩阵中的信号细节成分增强,有效改善了图像中存在局部过亮或过暗的问题,提高了生成的图像的质量。

Description

图像生成方法、装置、终端及存储介质
技术领域
本发明实施例涉及计算机技术领域,特别涉及一种图像生成方法、装置、终端及存储介质。
背景技术
图像传感器是一种将光信号转换成电信号的元件,随着科技的不断进步和多媒体技术的快速发展,图像传感器被广泛应用于多种类型的终端中,终端通过配置的图像传感器可以采集光信号,并根据光信号转换而成的电信号生成图像。
相关技术中,图像传感器具有可正常测量光信号强度的工作范围,当所处环境中的光信号的信号强度过高或过低而超出了该工作范围时,会导致图像传感器生成的图像存在高亮度盲区或低亮度盲区。为了避免该问题,图像传感器会根据外部环境估计的光信号强度设置放大器的增益、采样时间等参数,当图像传感器将光信号转换成电信号之后,可以通过放大器对电信号进行放大,之后根据放大后的电信号生成图像,相当于扩大了图像传感器的工作范围,尽可能地避免图像存在高亮度盲区或低亮度盲区的问题。
上述方案仅能在一定程度上避免图像存在高亮度盲区或低亮度盲区的问题,但图像中还可能会存在局部过亮或过暗的问题,导致图像质量不佳。
发明内容
本发明实施例提供了一种图像生成方法、装置、终端及存储介质,可以解决相关技术存在的问题。所述技术方案如下:
一方面,提供了一种图像生成方法,所述方法包括:
根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵,所述原始图像矩阵包括所述多个感光元件输出的图像信息;
根据所述原始图像矩阵获取亮度分量矩阵,所述亮度分量矩阵用于表示所述多个感光元件输出的图像信息包含的亮度分量;
根据所述亮度分量矩阵和预先设置的第一卷积核,获取与所述原始图像矩阵匹配的第二卷积核;
根据所述第二卷积核,对所述原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像。
另一方面,提供了一种图像生成装置,所述装置包括:
原始获取模块,用于根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵,所述原始图像矩阵包括所述多个感光元件输出的图像信息;
亮度获取模块,用于根据所述原始图像矩阵获取亮度分量矩阵,所述亮度分量矩阵用于表示所述多个感光元件输出的图像信息包含的亮度分量;
卷积核获取模块,用于根据所述亮度分量矩阵和预先设置的第一卷积核,获取与所述原始图像矩阵匹配的第二卷积核;
图像生成模块,用于根据所述第二卷积核,对所述原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像。
另一方面,提供了一种用于生成图像的终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如所述图像生成方法中所执行的操作。
再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由处理器加载并具有以实现如所述图像生成方法中所具有的操作。
本发明实施例提供的技术方案带来的有益效果至少包括:
本发明实施例提供的方法、装置、终端及存储介质,通过获取原始图像矩阵,根据该原始图像矩阵获取亮度分量矩阵,并根据该亮度分量矩阵和预先设置的第一卷积核,获取与原始图像矩阵匹配的第二卷积核,基于该第二卷积核对原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像,能够增强图像中的细节成分,有效改善了图像中存在的局部过亮或过暗的问题,提高了图像质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像生成方法的流程图;
图2是本发明实施例提供的一种sigmoid映射函数示意图;
图3是本发明实施例提供的操作流程示意图;
图4是本发明实施例提供的一种图像生成装置的结构示意图;
图5是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
相关技术中,当图像传感器所处环境中的光信号强度过高或过低而超出图像传感器可以正常测量的工作范围时,图像传感器通过设置放大器的增益,采用放大器对电信号进行放大,从而扩大图像传感器的工作范围,避免图像中存在高亮度盲区或低亮度盲区。但该方案仅能在一定程度上避免图像存在高亮度盲区或低亮度盲区的问题,但图像中还可能会存在局部过亮或过暗的问题,导致图像质量不佳。
而本发明实施例提供了一种图像生成方法,能够根据原始图像矩阵和预先设置的第一卷积核获取与原始图像矩阵匹配的第二卷积核,基于该第二卷积核对原始图像矩阵进行卷积处理,从而增强原始图像矩阵中的图像信息的细节成分,改善了局部过亮或过暗的问题,提高了图像质量。
本发明实施例可以应用于生成图像的任一场景下。例如,当终端需要拍摄照片时,可以采用本发明实施例提供的方法生成较为清晰的照片。或者,终端需要拍摄视频时,可以采用本发明实施例提供的方法生成多帧图像,最终获取到该多帧图像组成的视频。
图1是本发明实施例提供的一种图像生成方法的流程图。本发明实施例的执行主体为终端,参见图1,该方法包括:
101、终端根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵。
其中,该终端可以为手机、平板电脑、照相机等多种类型的设备,且该终端配置有图像传感器和显示屏幕,通过图像传感器可以生成图像,并在显示屏幕上显示该图像。其中,图像传感器包括多个感光元件,每个感光元件用于感应外界环境中的光信号,并将感应到的光信号转换成为相应的电信号,后续根据多个感光元件输出的电信号即可获取到相应的图像,图像中包括与多个感光元件分别对应的多个像素单元,感光元件输出的电信号即为图像中相应像素单元的图像信息。
在本发明实施例中,多个感光元件采集光信号并输出电信号后,终端根据多个感光元件采集到的光信号获取原始图像矩阵,该原始图像矩阵包括多个感光元件输出的图像信息,后续可以根据该原始图像矩阵生成图像。
102、终端根据原始图像矩阵获取亮度分量矩阵,亮度分量矩阵用于表示多个感光元件输出的图像信息包含的亮度分量,执行步骤103和105。
本发明实施例中,终端获取到原始图像矩阵之后,并未直接生成图像,而是要对原始图像矩阵进行处理,再根据处理后的图像矩阵生成图像,增强图像中的细节成分,以避免出现图像中存在局部过亮或过暗的问题。
为此,终端提取原始图像矩阵中包含的每个图像信息包含的亮度分量,构成亮度分量矩阵。
在一种可能实现方式中,原始图像矩阵中的每个图像信息包含红色、绿色和蓝色三个颜色通道,每个图像信息的色彩由该三个颜色通道的色彩叠加得到,即红色、绿色和蓝色三个颜色通道共同构成RGB(Red/Green/Blue,红色/绿色/蓝色)空间下的色彩信息。为了提取亮度分量,将原始图像矩阵中的每个图像信息由RGB空间转换至YUV(一种颜色编码方法,表示亮度和色度)空间,在YUV空间下采用亮度分量和两个色差分量对图像进行标识,因此可以得到每个图像信息包含的亮度分量和色差分量,从而根据原始图像矩阵中的多个图像信息包含的亮度分量构成亮度分量矩阵。
在一种可能实现方式中,将原始图像矩阵中的每个图像信息包含的亮度分量构成的亮度分量矩阵作为第一亮度分量矩阵,则该第一亮度分量矩阵包括多个感光元件输出的图像信息包含的亮度分量。终端根据预先设置的第三卷积核,对该第一亮度分量矩阵进行卷积处理,得到第二亮度分量矩阵。
其中,第三卷积核用于分别与第一亮度分量矩阵中的各个部分进行卷积操作,对该第一亮度分量矩阵进行局部处理,对第一亮度分量矩阵中存在的噪声干扰部分具有一定的抑制作用,减缓噪声干扰对第一亮度分量矩阵带来的不利影响。
例如,该第三卷积核可以为3x 3的全1矩阵,具体如下:
Figure BDA0001734822650000051
103、终端根据亮度分量矩阵和预先设置的第一卷积核,获取与原始图像矩阵匹配的第二卷积核。
在本发明实施例中,终端可以预先设置预设映射函数和第一卷积核,通过调用预设映射函数,对已获取的亮度分量矩阵进行映射操作,得到与亮度分量矩阵对应的缩放矩阵。并根据该缩放矩阵,对第一卷积核进行缩放处理,得到第二卷积核,该第二卷积核为第一卷积核经过缩放后得到的卷积核,且由于该第二卷积核根据亮度分量矩阵确定,因此相当于与原始图像矩阵匹配。其中,预设映射函数可以根据实际需要进行设定。
在一种可能实现方式中,根据缩放矩阵对第一卷积核进行缩放处理可以包括:将缩放矩阵和第一卷积核进行相加计算,或者,将缩放矩阵和第一卷积核进行相乘计算,或者进行其他运算。
例如,该预设映射函数可以是sigmoid函数,如图2所示,图中直线表示原始图像数据,经过sigmoid函数映射后,可以得到图中的曲线,通过对比直线和曲线可以看出,原始图像数据中的亮部数据和暗部数据均被拉伸,亮度居中的数据则有一定的压缩,因此,这种映射可以有效增强亮部和暗部的细节。
在另一种可能实现方式中,该预设映射函数还可以用于只对高亮度部分进行处理,对低亮度部分不进行处理,达到只抑制图像局部区域过亮的效果。
104、终端根据第二卷积核,对原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像。
终端根据第二卷积核,对原始图像进行卷积操作,得到处理后的图像矩阵,根据处理后的图像矩阵生成图像,即可增强图像中的细节成分,尽可能地避免局部过亮或过暗的问题。
另外,该卷积过程还可以对图像进行一定程度的锐化或模糊,具体根据选取的卷积核确定。并且,通过改变卷积核的步长,可以调整输出图像的分辨率,因此该方法可以应用于需要对图像分辨率进行调整的场景下。
其中,图像传感器可以为终端提供接口,当图像传感器获取到处理后的图像矩阵时,将处理后的图像矩阵通过接口输出,终端通过接口获取该处理后的图像矩阵,在显示屏幕上显示相应的图像。例如,本发明实施例的操作流程示意图如图3所示。
需要说明的是,在生成图像之后,终端可以对该图像进行进一步地处理。例如,将生成的图像作为样本图像对神经网络模型进行训练,由于该图像质量较佳,因此能够提升神经网络模型的性能。或者,生成的图像还可以用于人脸识别,由于图像质量较佳,因此可以提高人脸识别的准确率。或者,利用本发明实施例提供的方法可以进行连续拍摄,生成多个图像,从而将该多个图像构成画面清晰的视频。
105、终端根据亮度分量矩阵,获取调整后的曝光时间,根据调整后的曝光时间,执行根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵的步骤。
在上述步骤101中,多个感应元件会根据设置的曝光时间来控制采集光信号的时长,而上述亮度分量矩阵可以表示外部环境中光信号的亮度,因此终端获取到亮度分量矩阵之后,可以根据该亮度分量矩阵对曝光时间进行调整,以便设置与外部环境更为匹配的曝光时间。其中,设置曝光时间的目的是使得曝光时间不太大也不太小,最终可以使采样得到的图像相对均衡。
为此,终端根据亮度分量矩阵中的多个亮度分量,获取平均亮度分量,根据平均亮度分量,获取与平均亮度分量呈反比关系的曝光时间,后续过程中图像传感器中的多个感光元件即可根据获取到的曝光时间,反向控制该多个感光元件对所处环境中的光信号的采集时长。
由于感光元件所获取的图像信息具有一定的限制,不能小于0且不能超出最大阈值,一旦图像信息超出该最大阈值后会发生溢出现象。为此,本发明实施例根据获取到的曝光时间反向控制感光元件对光信号的采集时长,能够控制图像信息所属的范围,使原始图像矩阵中的每一个图像信息接近于0而不会小于0,最大不会超出上述最大阈值,避免出现溢出现象。
其中,获取平均亮度分量时,可以对亮度分量矩阵中每一列的多个元素求平均值之后得到由每列的平均值构成的列向量,将该列向量中的多个元素求平均值得到平均亮度分量。
在一种可能实现方式中,终端可以采用以下公式,对平均亮度分量进行计算,得到曝光时间:t=ax2+bx+c,其中,t表示曝光时间,x表示平均亮度分量,a、b和c表示系数,且a小于0。
相关技术中,当图像传感器所处的外部环境中存在亮度急速变化的情况时,会导致局部区域过亮,而周围另一局部区域过暗,并导致输出的图像存在局部过亮或过暗的问题,发生了溢出现象,导致超出正常范围的数据细节被淹没,无法体现在图像中。
本发明实施例提供的方法,通过获取原始图像矩阵,根据该原始图像矩阵获取亮度分量矩阵,并根据该亮度分量矩阵和预先设置的第一卷积核,获取与原始图像矩阵匹配的第二卷积核,基于该第二卷积核对原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像,使得原始图像矩阵中的信号细节成分增强,有效改善了图像中存在局部过亮或过暗的问题,提高了生成的图像的质量,有利于对图像的进一步处理。
图4是本发明实施例提供的一种图像生成装置的结构示意图。参见图4,该装置包括:
原始获取模块401,用于执行上述实施例中根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵的步骤;
亮度获取模块402,用于执行上述实施例中根据原始图像矩阵获取亮度分量矩阵的步骤;
卷积核获取模块403,用于执行上述实施例中根据亮度分量矩阵和预先设置的第一卷积核,获取与原始图像矩阵匹配的第二卷积核的步骤;
图像生成模块404,用于执行上述实施例中根据第二卷积核,对原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像的步骤。
可选地,亮度获取模块402,包括:
第一亮度获取单元,用于执行上述实施例中根据原始图像矩阵获取第一亮度分量矩阵的步骤;
第二亮度获取单元,用于执行上述实施例中根据预先设置的第三卷积核,对第一亮度分量矩阵进行卷积处理,得到第二亮度分量矩阵的步骤。
可选地,亮度获取模块402,包括:
空间转换单元,用于执行上述实施例中将原始图像矩阵中的每个图像信息由RGB空间转换至YUV空间,得到原始图像矩阵中的每个图像信息包含的亮度分量的步骤;
构成单元,用于执行上述实施例中根据原始图像矩阵中的每个图像信息包含的亮度分量,构成亮度分量矩阵的步骤。
可选地,卷积核获取模块403,包括:
缩放矩阵获取单元,用于执行上述实施例中调用预设映射函数,对亮度分量矩阵进行处理,得到与亮度分量矩阵对应的缩放矩阵的步骤;
卷积核获取单元,用于执行上述实施例中根据缩放矩阵,对第一卷积核进行缩放处理,得到第二卷积核的步骤。
可选地,装置还包括:
平均亮度分量获取模块,用于执行上述实施例中根据亮度分量矩阵中的多个亮度分量,获取平均亮度分量的步骤;
曝光时间获取模块,用于执行上述实施例中根据平均亮度分量,获取与平均亮度分量呈反比关系的曝光时间的步骤。
需要说明的是:上述实施例提供的图像生成装置在生成图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像生成装置与图像生成方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5示出了本发明一个示例性实施例提供的终端500的结构框图。该终端500可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备,或其他任意智能终端。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端500包括有:处理器501和存储器502。
处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所具有以实现本申请中方法实施例提供的行为向量生成方法。
在一些实施例中,终端500还可选包括有:***设备接口503和至少一个***设备。处理器501、存储器502和***设备接口503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口503相连。具体地,***设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
***设备接口503可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和***设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和***设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及8G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置终端500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在终端500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在终端500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时,可以检测用户对终端500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时,指纹传感器514可以与物理按键或厂商标志集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。
接近传感器516,也称距离传感器,通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图5中示出的结构并不构成对终端500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本发明实施例还提供了一种用于生成图像的终端,该终端包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,指令、程序、代码集或指令集由处理器加载并具有以实现上述实施例的图像生成方法中所具有的操作。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该指令、该程序、该代码集或该指令集由处理器加载并具有以实现上述实施例的图像生成方法中所具有的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明实施例的较佳实施例,并不用以限制本发明实施例,凡在本发明实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像生成方法,其特征在于,所述方法包括:
根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵,所述原始图像矩阵包括所述多个感光元件输出的图像信息;
根据所述原始图像矩阵获取亮度分量矩阵,所述亮度分量矩阵用于表示所述多个感光元件输出的图像信息包含的亮度分量;
调用预设映射函数,对所述亮度分量矩阵进行处理,得到与所述亮度分量矩阵对应的缩放矩阵;
根据所述缩放矩阵,对预先设置的第一卷积核进行缩放处理,得到与所述原始图像矩阵匹配的第二卷积核;
根据所述第二卷积核,对所述原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述原始图像矩阵获取亮度分量矩阵,包括:
根据所述原始图像矩阵获取第一亮度分量矩阵,所述第一亮度分量矩阵包括所述多个感光元件输出的图像信息包含的亮度分量;
根据预先设置的第三卷积核,对所述第一亮度分量矩阵进行卷积处理,得到第二亮度分量矩阵。
3.根据权利要求1所述的方法,其特征在于,所述根据所述原始图像矩阵获取亮度分量矩阵,包括:
将所述原始图像矩阵中的每个图像信息由RGB空间转换至YUV空间,得到所述原始图像矩阵中的每个图像信息包含的亮度分量;
根据所述原始图像矩阵中的每个图像信息包含的亮度分量,构成所述亮度分量矩阵。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述亮度分量矩阵中的多个亮度分量,获取平均亮度分量;
根据所述平均亮度分量,获取与所述平均亮度分量呈反比关系的曝光时间,所述多个感光元件用于根据所述曝光时间,控制采集光信号的时长。
5.一种图像生成装置,其特征在于,所述装置包括:
原始获取模块,用于根据图像传感器中多个感光元件采集到的光信号,获取原始图像矩阵,所述原始图像矩阵包括所述多个感光元件输出的图像信息;
亮度获取模块,用于根据所述原始图像矩阵获取亮度分量矩阵,所述亮度分量矩阵用于表示所述多个感光元件输出的图像信息包含的亮度分量;
卷积核获取模块,用于根据所述亮度分量矩阵和预先设置的第一卷积核,获取与所述原始图像矩阵匹配的第二卷积核;
图像生成模块,用于根据所述第二卷积核,对所述原始图像矩阵进行卷积处理,根据处理后的图像矩阵生成图像;
所述卷积核获取模块,包括:
缩放矩阵获取单元,用于调用预设映射函数,对所述亮度分量矩阵进行处理,得到与所述亮度分量矩阵对应的缩放矩阵;
卷积核获取单元,用于根据所述缩放矩阵,对所述第一卷积核进行缩放处理,得到所述第二卷积核。
6.根据权利要求5所述的装置,其特征在于,所述亮度获取模块,包括:
第一亮度获取单元,用于根据所述原始图像矩阵获取第一亮度分量矩阵,所述第一亮度分量矩阵包括所述多个感光元件输出的图像信息包含的亮度分量;
第二亮度获取单元,用于根据预先设置的第三卷积核,对所述第一亮度分量矩阵进行卷积处理,得到第二亮度分量矩阵。
7.根据权利要求5所述的装置,其特征在于,所述亮度获取模块,包括:
空间转换单元,用于将所述原始图像矩阵中的每个图像信息由RGB空间转换至YUV空间,得到所述原始图像矩阵中的每个图像信息包含的亮度分量;
构成单元,用于根据所述原始图像矩阵中的每个图像信息包含的亮度分量,构成所述亮度分量矩阵。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
平均亮度分量获取模块,用于根据所述亮度分量矩阵中的多个亮度分量,获取平均亮度分量;
曝光时间获取模块,用于根据所述平均亮度分量,获取与所述平均亮度分量呈反比关系的曝光时间,所述多个感光元件用于根据所述曝光时间,控制采集光信号的时长。
9.一种用于生成图像的终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至4任一权利要求所述的图像生成方法中所执行的操作。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至4任一权利要求所述的图像生成方法中所执行的操作。
CN201810790667.4A 2018-07-18 2018-07-18 图像生成方法、装置、终端及存储介质 Active CN108881739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810790667.4A CN108881739B (zh) 2018-07-18 2018-07-18 图像生成方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810790667.4A CN108881739B (zh) 2018-07-18 2018-07-18 图像生成方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN108881739A CN108881739A (zh) 2018-11-23
CN108881739B true CN108881739B (zh) 2020-01-10

Family

ID=64302921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810790667.4A Active CN108881739B (zh) 2018-07-18 2018-07-18 图像生成方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN108881739B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583104B (zh) * 2020-05-14 2022-08-19 展讯通信(上海)有限公司 光斑虚化方法及装置、存储介质、计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105070247A (zh) * 2015-07-29 2015-11-18 信利(惠州)智能显示有限公司 显示屏中亮度不均匀像素点的确定方法
CN106709890A (zh) * 2017-01-18 2017-05-24 聚龙智瞳科技有限公司 用于低照度视频图像处理的方法及装置
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技(深圳)有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108268931A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 数据处理的方法、装置和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737687B2 (en) * 2011-12-30 2014-05-27 Honeywell International Inc. System and method for tracking a subject using raw images and tracking errors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105070247A (zh) * 2015-07-29 2015-11-18 信利(惠州)智能显示有限公司 显示屏中亮度不均匀像素点的确定方法
CN108268931A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 数据处理的方法、装置和***
CN106709890A (zh) * 2017-01-18 2017-05-24 聚龙智瞳科技有限公司 用于低照度视频图像处理的方法及装置
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技(深圳)有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Also Published As

Publication number Publication date
CN108881739A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN110502954B (zh) 视频分析的方法和装置
CN108305236B (zh) 图像增强处理方法及装置
CN107945163B (zh) 图像增强方法及装置
CN111372126B (zh) 视频播放方法、装置及存储介质
CN111464749B (zh) 进行图像合成的方法、装置、设备及存储介质
CN109829864B (zh) 图像处理方法、装置、设备及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN110797042B (zh) 音频处理方法、装置及存储介质
CN111754386A (zh) 图像区域屏蔽方法、装置、设备及存储介质
WO2022033272A1 (zh) 图像处理方法以及电子设备
CN110619614A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN110992268B (zh) 背景设置方法、装置、终端及存储介质
CN113160031A (zh) 图像处理方法、装置、电子设备及存储介质
CN112738606A (zh) 音频文件的处理方法、装置、终端及存储介质
CN112235650A (zh) 视频处理方法、装置、终端及存储介质
CN108881739B (zh) 图像生成方法、装置、终端及存储介质
CN111860064A (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN111757146B (zh) 视频拼接的方法、***及存储介质
CN114155132A (zh) 图像处理的方法、装置、设备及计算机可读存储介质
CN108881715B (zh) 拍摄模式的启用方法、装置、终端及存储介质
CN110443841B (zh) 地面深度的测量方法、装置及***
CN107992230B (zh) 图像处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230707

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right