CN114007009B - 电子设备和图像处理方法 - Google Patents

电子设备和图像处理方法 Download PDF

Info

Publication number
CN114007009B
CN114007009B CN202010682841.0A CN202010682841A CN114007009B CN 114007009 B CN114007009 B CN 114007009B CN 202010682841 A CN202010682841 A CN 202010682841A CN 114007009 B CN114007009 B CN 114007009B
Authority
CN
China
Prior art keywords
state information
image
image data
image signal
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010682841.0A
Other languages
English (en)
Other versions
CN114007009A (zh
Inventor
杨平平
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010682841.0A priority Critical patent/CN114007009B/zh
Publication of CN114007009A publication Critical patent/CN114007009A/zh
Application granted granted Critical
Publication of CN114007009B publication Critical patent/CN114007009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种电子设备和图像处理方法，其中，本申请额外增加了图像信号前处理器，通过图像信号前处理器对图像传感器采集的原始图像数据进行状态信息的统计，相应得到第一状态信息，并由图像信号前处理器对原始图像数据进行前处理，得到前处理图像数据；然后再由图像信号处理器对前处理图像数据再次进行状态信息的统计，相应得到第二状态信息；最后由应用处理器对图像信号前处理器统计的第一状态信息和图像信号处理器统计的第二状态信息进行融合，得到目标状态信息，并利用该目标状态信息更新图像传感器的图像采集参数。由此，能够达到提高电子设备自动配置图像采集参数准确度的目的。

Description

电子设备和图像处理方法
技术领域
本申请涉及图像处理技术领域，特别涉及一种电子设备和图像处理方法。
背景技术
目前，拍摄功能的好坏已经成为衡量一台电子设备(比如智能手机、平板电脑等)性能的关键。为了简化用户操作，电子设备通常自动对图像数据的图像采集参数(比如曝光参数，对焦参数等)进行自动配置。然而，在相关技术中，电子设备自动配置图像采集参数的准确度较差。
发明内容
本申请提供一种电子设备和图像处理方法，可以提升电子设备自动配置图像采集参数的准确度。
本申请公开一种电子设备，包括：
图像传感器，用于按照配置的图像采集参数采集图像数据；
图像信号前处理器，用于统计所述图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第一状态信息，并对所述图像数据进行前处理，得到前处理图像数据；
图像信号处理器，用于统计所述前处理图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第二状态信息；
应用处理器，用于融合所述第一状态信息和所述第二状态信息得到目标状态信息，并根据所述目标状态信息更新所述图像传感器的图像采集参数。
本申请实施例还公开一种图像处理方法，适用于电子设备，所述电子设备包括图像传感器、图像信号前处理器、图像信号处理器以及应用处理器，所述图像处理方法包括：
通过所述图像传感器按照配置的图像采集参数采集图像数据；
通过所述图像信号前处理器统计所述图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第一状态信息，并对所述图像数据进行前处理，得到前处理图像数据；
通过所述图像信号处理器统计所述前处理图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第二状态信息；
通过所述应用处理器融合所述第一状态信息和所述第二状态信息得到目标状态信息，并根据所述目标状态信息更新所述图像传感器的图像采集参数。
本申请实施例中，额外增加了图像信号前处理器，通过图像信号前处理器对图像传感器采集的原始图像数据进行状态信息的统计，相应得到第一状态信息，并由图像信号前处理器对原始图像数据进行前处理，得到前处理图像数据；然后再由图像信号处理器对前处理图像数据再次进行状态信息的统计，相应得到第二状态信息；最后由应用处理器对图像信号前处理器统计的第一状态信息和图像信号处理器统计的第二状态信息进行融合，得到目标状态信息，并利用该目标状态信息更新图像传感器的图像采集参数。由此，能够达到提高电子设备自动配置图像采集参数准确度的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的电子设备的第一种结构示意图。
图2为图1中图像信号前处理器的结构示意图。
图3为本申请实施例中涉及的数据流向示意图。
图4为本申请实施例提供的电子设备的第二种结构示意图。
图5为图4中图像信号前处理器和应用处理器的连接示意图。
图6为本申请实施例提供的图像处理方法的流程示意图。
具体实施方式
本申请实施例提供的技术方案可以应用于各种需要进行数据通信的场景，本申请实施例对此并不限定。
请参照图1，图1为本申请实施例提供的电子设备100的第一种结构示意图。该电子设备100比如，智能手机、平板电脑、掌上电脑、笔记本电脑等移动电子设备，或者台式电脑、服务器等非移动电子设备，其包括图像传感器110、图像信号前处理器120、图像信号处理器130以及应用处理器140。
图像传感器110或称感光元件，是一种将光信号转换成电信号的器件，与光敏二极管、光敏三极管等“点”光源的光敏元件相比，图像传感器110将其感受到的光像分成多个小单元，进而转换为可用的电信号，得到原始的图像数据。应当说明的是，本申请实施例中对图像传感器110的类型不做限制，可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器，也可以为电荷藕合器件(Charge CoupledDevice，CCD)图像传感器等。
图像信号处理器130能够对图像传感器110采集的图像数据进行处理，提升图像数据的质量。比如，图像信号处理器130能够对图像数据做白平衡校正、强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。
图像信号前处理器120相较于图像信号处理器130，其在图像信号处理器130对图像数据进行处理之前进行一些差异化处理，可以看做是图像信号处理器130进行处理之前的预处理，比如坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。
应用处理器140为通用的处理器，比如基于ARM架构设计的处理器。
在本申请实施例中，图像传感器110与图像信号前处理器120连接，用于按照配置的图像采集参数采集图像数据，并将采集到的图像数据传输给图像信号前处理器120。应当说明的是，图像传感器110采集到的图像数据为RAW格式的图像数据，并将采集到的原始RAW格式的图像数据传输给图像信号前处理器120。
其中，图像采集参数包括但不限于曝光参数、对焦参数以及白平衡参数等。比如，在开始进行图像数据的采集之前，应用处理器140会将初始的曝光参数配置到图像传感器110，使得图像传感器110按照初始的曝光参数采集图像数据，并将采集到的图像数据传输给图像信号前处理器120。
应当说明的是，本申请实施例中对图像信号前处理器120和图像传感器110的连接方式不做具体限定，比如，图像信号前处理器120与图像传感器110之间通过MIPI(MobileIndustry Processor Interface，移动行业处理器接口)连接。
其中，图像传感器110在向图像信号前处理器120传输图像数据时，将图像数据封装为多个图像数据包，以图像数据包的形式传输至图像信号前处理器。示例性的，图像数据包包括包头字段、包尾字段以及数据字段，其中，包头字段和包尾字段用于填充一些必要的控制信息，比如同步信息、地址信息、差错控制信息等，数据字段则用于填充实际的图像内容。
另一方面，图像信号前处理器120对来自于图像传感器110的图像数据进行接收。此外，图像信号前处理器120还与图像信号处理器130连接，其中，本申请实施例中对图像信号处理器130与图像信号前处理器120的连接方式不做具体限定，比如，图像信号处理器130与图像信号前处理器120之间也可以通过MIPI连接。
其中，图像信号前处理器120在接收到来自图像传感器110传输的图像数据后，利用该图像数据统计出应用处理器140更新图像传感器110的图像采集参数所需的状态信息，包括但不限于亮度信息、清晰度信息以及对比度信息等，并将利用前述图像数据统计出的状态信息记为第一状态信息。此外，图像信号前处理器120还按照配置的前处理策略，对来自于图像传感器110的图像数据进行前处理，提升图像数据的图像质量，相应得到前处理图像数据。应当说明的是，图像信号前处理器120对图像数据进行的前处理并不会改变图像数据的格式，即前处理得到的前处理图像数据仍然为RAW格式。
在完成对图像数据的前处理并得到前处理图像数据之后，图像信号前处理器120将前处理图像数据传输给图像信号处理器130。
图像信号处理器130在接收到来自于图像信号前处理器120的前处理图像数据后，利用该前处理图像数据统计出应用处理器140更新图像传感器110的图像采集参数所需的状态信息，包括但不限于亮度信息、清晰度信息以及对比度信息等，并将利用前处理图像数据统计出的状态信息记为第二状态信息。
此外，对于第一状态信息，图像信号前处理器120可以直接将第一状态信息传输至应用处理器140，或者经由图像信号处理器130传输至应用处理器140。
在图像信号前处理器120统计得到第一状态信息，图像信号处理器130统计得到第二状态信息之后，应用处理器140进一步按照配置的融合策略，相应融合第一状态信息和第二状态信息得到一个新的状态信息，记为目标状态信息。可以看出，该目标状态信息在一定程度上携带图像数据前处理前后的状态信息，能够更准确的反映针对实际拍摄场景的拍摄状态，利用该目标状态信息所计算得到的图像采集参数将更准确。相应的，应用处理器140按照配置的图像采集参数运算算法(比如自动曝光算法、自动白平衡算法、自动对焦算法等)，利用融合得到的目标状态信息计算得到一个新的图像采集参数。
此外，应用处理器140还与图像传感器110连接，控制图像传感器110开始采集图像数据和结束采集图像数据。在计算得到新的图像采集参数之后，应用处理器即将图像传感器110的图像采集参数更新为新计算得到的图像采集参数。如此循环，通过对图像传感器110的图像采集参数进行不断更新，直至图像传感器110的图像采集参数收敛，获得最佳的图像采集效果。
应当说明的是，本申请实施例中对于应用处理器140和图像传感器110之间的连接方式不做具体限定，可由本领域普通技术人员根据实际情况进行配置，比如，本申请实施例中，应用处理器140和图像传感器110之间通过I2C总线连接。
相比于相关技术，本申请额外增加了图像信号前处理器120，通过图像信号前处理器120对图像传感器110采集的原始图像数据进行状态信息的统计，相应得到第一状态信息，并由图像信号前处理器120对原始图像数据进行前处理，得到前处理图像数据；然后再由图像信号处理器130对前处理图像数据进行状态信息的统计，相应得到第二状态信息；最后由应用处理器140对图像信号前处理器120统计的第一状态信息和图像信号处理器130统计的第二状态信息进行融合，得到目标状态信息，并利用该目标状态信息更新图像传感器的图像采集参数。由此，能够达到提高电子设备自动配置图像采集参数准确度的目的。
可选地，请参照图2，图像信号前处理器120包括：
图像信号处理单元1201，用于统计图像数据的第一状态信息；以及
对图像数据进行第一次前处理；
神经网络处理单元1202，用于对第一次前处理后的图像数据进行第二次前处理，得到前处理图像数据。
其中，第一图像信号处理单元1201与图像传感器110连接，用于对来自于图像传感器110的图像数据进行状态信息的统计，相应得到第一状态信息。此外，图像信号前处理单元120还用于按照配置的前处理策略，对前述图像数据进行第一次前处理。应当说明的是，本申请实施例中对于图像信号处理单元1201所进行的第一次前处理不做具体限制，包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。
神经网络处理单元1202用于对第一次前处理后的图像数据进行第二次前处理，得到前处理图像数据。其中，神经网络处理单元1202固化有多种神经网络算法(比如，基于神经网络的视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法以及视频超分算法等)，在第一图像信号处理单元1201完成对图像数据的第一前处理之后，神经网络处理单元1202按照配置的前处理策略，调用对应的神经网络算法对第一次前处理后的图像数据进行第二次前处理，得到前处理图像数据。
通俗的说，图像信号处理单元1201采用非AI的图像优化方式对图像数据进行初步的优化处理，然后再由神经网络处理单元1202采用AI的图像优化方式对初步优化后的图像数据进一步优化。
可选地，在一实施例中，应用处理器140用于：
获取对应第一状态信息的第一权重值，以及获取对应第二状态信息的第二权重值；
根据第一状态信息、第一权重值、第二状态信息以及第二权重值进行加权求和，得到目标状态信息。
本申请进一步提供一种可选地第一状态信息和第二状态信息的融合策略。其中，应用处理器140采用加权求和的方式对第一状态信息和第二状态信息进行融合，将加权结果作为融合得到的目标状态信息，可以表示为：
S’＝a*S1+b*S2；
其中，S’表示融合得到的目标状态信息，S1表示第一状态信息，S2表示第二状态信息，a表示分配给第一状态信息的权重，b表示分配给第二状态信息的权重。
应当说明的是，本申请实施例中对于第一状态信息和第二状态信息的权重配置方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，可以为第二状态信息和第一状态信息配置静态权重，即预先为第二状态信息和第一状态信息分配固定不变的权重，也可以为第二状态信息和第一状态信息配置动态权重，即第二状态信息和第一状态信息根据某指定条件动态变化。
比如，可以将第一状态信息的权重配置为0.9，将第二状态信息的权重配置为0.1；
又比如，可以根据图像信号前处理器所进行的前处理来动态分配第一状态信息和第二状态信息的权重，其中，前述图像数据在前处理前后的图像差异越大，配置第一状态信息的权重越大，配置第二状态信息的权重越小；前述图像数据在前处理前后的图像差异越小，配置第一状态信息权重越小，配置第二状态信息的权重越大。
应当说明的是，第一状态信息和第二状态信息包括多个不同维度的状态信息，应用处理器140按照本申请提供的以上融合策略，在各维度分别进行状态信息的融合，比如，第一状态信息中的亮度和第二状态信息中的亮度融合，第一状态信息中的清晰度和第二状态信息中的清晰度融合等。
可选地，在一实施例中，图像信号前处理器120还用于将第一状态信息以及前处理图像数据传输至图像信号处理器130；
图像信号处理器130还用于对前处理图像数据进行后处理，得到后处理图像数据；以及
将后处理图像数据、第一状态信息、第二状态信息以及第一指示信息发送至应用处理器140
应用处理器140还用于根据第一指示信息融合第一状态信息和第二状态信息得到目标状态信息。
请参照图3，本申请实施例中，图像信号前处理器120在统计得到来自于图像传感器110的图像数据的第一状态信息，并对前述图像数据进行前处理，得到前处理图像数据之后，将第一状态信息以及前处理图像数据传输至图像信号处理器130。比如，图像信号前处理器120基于其与图像信号处理器130之间的MIPI接口，将统计得到的第一状态信息和前处理得到的前处理图像数据传输至图像信号处理器130。
图像信号处理器130在接收到来自于图像信号前处理器120的第一状态信息以及前处理图像数据之后，除了对前处理图像数据进行状态统计得到第二状态信息之外，还对前处理图像数据进行后处理，得到后处理图像数据。
其中，本申请实施例对于图像信号处理器130所进行的后处理不做具体限定，以与图像信号前处理器120的前处理差异化为约束(即图像信号前处理器120执行过同一优化处理，图像信号处理器130不再执行)，可由本领域普通技术人员根据实际需要进行配置。比如，图像信号处理器130进行的后处理比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。
图像信号处理器130在完成对前处理图像数据的后处理，相应得到后处理图像数据，并统计得到第二状态信息之后，生成第一指示信息，将后处理图像数据、第一状态信息、第二状态信息以及第一指示信息发送至应用处理器140。
相应的，应用处理器140根据第一指示融合第一状态信息和第二状态信息得到目标状态信息。
可选地，在一实施例，应用处理器140还用于：
当后处理图像数据为动态图像数据时，预览后处理图像数据和/或根据后处理图像数据进行视频编码；或者，
当后处理图像数据为静态图像时，根据后处理图像数据进行图像编码。
应当说明的是，图像类型并不随着对图像数据的处理而改变，即，原始的图像数据为静态图像，则相应处理得到的前处理图像数据/后处理图像数据也为静态图像，原始的图像数据为动态图像，则相应处理得到的前处理图像数据/后处理图像数据也为动态图像。其中，静态图像比如实时拍摄的单帧图像，动态图像比如预览时采集的图像序列中的一帧图像，录像时采集的图像序列中的一帧图像。
可选地，在一实施例中，图像信号前处理器120还用于在当前的传输模式被配置为第一传输模式时，将第一状态信息以及前处理图像数据传输至图像信号处理器130。
应当说明的是，本申请实施例中提供有两种可选的传输模式，分别为第一传输模式和第二传输模式。
其中，图像信号前处理器120在当前的传输模式被配置为第一传输模式(或称同步传输模式)，将第一状态信息以及前处理图像数据传输至图像信号处理器130，经由图像信号处理器130将第一状态信息传输至应用处理器140，此外，图形信号处理器130还将对前处理图像数据后处理的后处理图像数据、对后处理图像数据统计得到的第二状态信息以及生成的第一指示信息随同第一状态信息传输至应用处理器140，具体可参照以上实施例中的相关描述，此处不再赘述。
可选地，在一实施例中，图像信号前处理器120还用于在当前的传输模式被配置为第二传输模式时，发送第一状态信息以及第二指示信息至应用处理器140；
应用处理器140还用于根据第二指示信息融合第一状态信息和第二状态信息得到目标状态信息。
请参照图4，本申请实施例中图像信号前处理器120还与应用处理器140连接，图像信号前处理器120在当前的传输模式被配置为第二传输模式时，将第一状态信息直接传输至应用处理器140。
另一方面，图像信号前处理器120还将对前述图像数据进行前处理所得到的前处理图像数据传输至图像信号处理器130。相应的，图像信号处理器130除了对前处理图像数据进行状态统计得到第二状态信息之外，还对前处理图像数据进行后处理，得到后处理图像数据。
其中，本申请实施例对于图像信号处理器130所进行的后处理不做具体限定，以与图像信号前处理器120的前处理差异化为约束(即图像信号前处理器120执行过同一优化处理，图像信号处理器130不再执行)，可由本领域普通技术人员根据实际需要进行配置。比如，图像信号处理器130进行的后处理比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。
图像信号处理器130在完成对前处理图像数据的后处理，相应得到后处理图像数据，并统计得到第二状态信息之后，将后处理图像数据、第二状态信息发送至应用处理器140。
应用处理器140还用于根据第二指示信息融合第一状态信息和第二状态信息得到目标状态信息。
可选地，请参照图5，图像信号前处理器120和应用处理器140之间建立第一连接和第二连接，图像信号前处理器120还用于通过第一连接将第一状态信息发送至应用处理器140，以及通过第二连接将第二指示信息发送至应用处理器140。
比如，图像信号前处理120和应用处理器140之间通过串行外设接口(SerialPeripheral Interface，SPI)建立第一连接，通过通用输入输出(General-purpose input/output，GPIO)接口建立第二连接。
可选地，在一实施例中，图像信号前处理器120还用于：
根据历史图像数据进行分析，得到分析结果；
根据分析结果配置传输模式为第一模式或第二模式。
其中，历史图像数据为前述图像数据之前采集的图像数据。图像信号前处理器120根据前述图像数据之前获取到的历史图像数据，按照配置的分析策略对历史图像数据进行分析，得到分析结果，然后根据分析结果配置传输模式为第一模式和第二模式。
示例性的，历史图像数据为图像传感器110在采集前述图像数据之前采集的图像数据，由于前述历史图像数据和前述图像数据连续采集，前述历史图像数据和前述图像数据的图像内容基本相同。图像信号前处理器120获取到预设个数的历史图像数据的前处理时长，根据预设个数的前处理时长预测得到图像数据的前处理时长，并判断前述图像数据的前处理时长是否达到预设时长，若达到预设时长，则配置传输模式为第二模式，若未达到预设时长，则配置传输模式为第一模式。其中，预设时长可由本领域普通技术人员根据实际需要取经验值。
比如，在根据预设个数的前处理时长预测得到图像数据的前处理时长时，图像信号前处理器120可以求取预设个数的前处理时长的平均处理时长，作为前述图像数据的前处理时长。
又比如，在根据预设个数的前处理时长预测得到图像数据的前处理时长时，图像信号前处理器120可以对预设个数的前处理时长进行加权求和，将得到加权和值作为前述图像数据的前处理时长，其中，对于前述预设个数的前处理时长，若其对应的历史图像数据相较于前述图像数据越早采集，则其权重越小。
可选地，在一实施例中，图像传感器110为多个，应用处理器140还用于同步更新每一图像传感器110的图像采集参数。
本申请实施例中，对于每一图像传感器110，按照以上任一实施例中所提供的图像采集参数的计算方式，相应进行得到新的图像采集参数，然后按照每一图像传感器110新的图像采集参数，同步更新每一图像传感器的图像采集参数。
本申请还提供一种图像处理方法，应用于本申请提供的电子设备，请结合参照图6和图1，该图像处理方法的流程可以为：
在201中，通过图像传感器110按照配置的图像采集参数采集图像数据；
在202中，通过图像信号前处理器120统计图像数据中用于更新图像传感器110的图像采集参数的状态信息，得到第一状态信息，并对图像数据进行前处理，得到前处理图像数据；
在203中，通过图像信号处理器130统计前处理图像数据中用于更新图像传感器110的图像采集参数的状态信息，得到第二状态信息；
在204中，通过应用处理器140融合第一状态信息和第二状态信息得到目标状态信息，并根据目标状态信息更新图像传感器110的图像采集参数。
在本申请实施例中，图像传感器110与图像信号前处理器120连接，用于按照配置的图像采集参数采集图像数据，并将采集到的图像数据传输给图像信号前处理器120。应当说明的是，图像传感器110采集到的图像数据为RAW格式的图像数据，并将采集到的原始RAW格式的图像数据传输给图像信号前处理器120。
其中，图像采集参数包括但不限于曝光参数、对焦参数以及白平衡参数等。比如，在开始进行图像数据的采集之前，应用处理器140会将初始的曝光参数配置到图像传感器110，使得图像传感器110按照初始的曝光参数采集图像数据，并将采集到的图像数据传输给图像信号前处理器120。
应当说明的是，本申请实施例中对图像信号前处理器120和图像传感器110的连接方式不做具体限定，比如，图像信号前处理器120与图像传感器110之间通过MIPI(MobileIndustry Processor Interface，移动行业处理器接口)连接。
其中，图像传感器110在向图像信号前处理器120传输图像数据时，将图像数据封装为多个图像数据包，以图像数据包的形式传输至图像信号前处理器。示例性的，图像数据包包括包头字段、包尾字段以及数据字段，其中，包头字段和包尾字段用于填充一些必要的控制信息，比如同步信息、地址信息、差错控制信息等，数据字段则用于填充实际的图像内容。
另一方面，图像信号前处理器120对来自于图像传感器110的图像数据进行接收。此外，图像信号前处理器120还与图像信号处理器130连接，其中，本申请实施例中对图像信号处理器130与图像信号前处理器120的连接方式不做具体限定，比如，图像信号处理器130与图像信号前处理器120之间也可以通过MIPI连接。
其中，图像信号前处理器120在接收到来自图像传感器110传输的图像数据后，利用该图像数据统计出应用处理器140更新图像传感器110的图像采集参数所需的状态信息，包括但不限于亮度信息、清晰度信息以及对比度信息等，并将利用前述图像数据统计出的状态信息记为第一状态信息。此外，图像信号前处理器120还按照配置的前处理策略，对来自于图像传感器110的图像数据进行前处理，提升图像数据的图像质量，相应得到前处理图像数据。应当说明的是，图像信号前处理器120对图像数据进行的前处理并不会改变图像数据的格式，即前处理得到的前处理图像数据仍然为RAW格式。
在完成对图像数据的前处理并得到前处理图像数据之后，图像信号前处理器120将前处理图像数据传输给图像信号处理器130。
图像信号处理器130在接收到来自于图像信号前处理器120的前处理图像数据后，利用该前处理图像数据统计出应用处理器140更新图像传感器110的图像采集参数所需的状态信息，包括但不限于亮度信息、清晰度信息以及对比度信息等，并将利用前处理图像数据统计出的状态信息记为第二状态信息。
此外，对于第一状态信息，图像信号前处理器120可以直接将第一状态信息传输至应用处理器140，或者经由图像信号处理器130传输至应用处理器140。
在图像信号前处理器120统计得到第一状态信息，图像信号处理器130统计得到第二状态信息之后，应用处理器140进一步按照配置的融合策略，相应融合第一状态信息和第二状态信息得到一个新的状态信息，记为目标状态信息。可以看出，该目标状态信息在一定程度上携带图像数据前处理前后的状态信息，能够更准确的反映针对实际拍摄场景的拍摄状态，利用该目标状态信息所计算得到的图像采集参数将更准确。相应的，应用处理器140按照配置的图像采集参数运算算法(比如自动曝光算法、自动白平衡算法、自动对焦算法等)，利用融合得到的目标状态信息计算得到一个新的图像采集参数。
此外，应用处理器140还与图像传感器110连接，控制图像传感器110开始采集图像数据和结束采集图像数据。在计算得到新的图像采集参数之后，应用处理器即将图像传感器110的图像采集参数更新为新计算得到的图像采集参数。如此循环，通过对图像传感器110的图像采集参数进行不断更新，直至图像传感器110的图像采集参数收敛，获得最佳的图像采集效果。
应当说明的是，本申请实施例中对于应用处理器140和图像传感器110之间的连接方式不做具体限定，可由本领域普通技术人员根据实际情况进行配置，比如，本申请实施例中，应用处理器140和图像传感器110之间通过I2C总线连接。
可选地，在一实施例中，通过应用处理器140融合第一状态信息和第二状态信息得到目标状态信息，包括：
通过应用处理器140获取对应第一状态信息的第一权重值，以及获取对应第二状态信息的第二权重值；
通过应用处理器140根据第一状态信息、第一权重值、第二状态信息以及第二权重值进行加权求和，得到目标状态信息。
本申请进一步提供一种可选地第一状态信息和第二状态信息的融合策略。其中，应用处理器140采用加权求和的方式对第一状态信息和第二状态信息进行融合，将加权结果作为融合得到的目标状态信息，可以表示为：
S’＝a*S1+b*S2；
其中，S’表示融合得到的目标状态信息，S1表示第一状态信息，S2表示第二状态信息，a表示分配给第一状态信息的权重，b表示分配给第二状态信息的权重。
应当说明的是，本申请实施例中对于第一状态信息和第二状态信息的权重配置方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，可以为第二状态信息和第一状态信息配置静态权重，即预先为第二状态信息和第一状态信息分配固定不变的权重，也可以为第二状态信息和第一状态信息配置动态权重，即第二状态信息和第一状态信息根据某指定条件动态变化。
比如，可以将第一状态信息的权重配置为0.9，将第二状态信息的权重配置为0.1；
又比如，可以根据图像信号前处理器所进行的前处理来动态分配第一状态信息和第二状态信息的权重，其中，前述图像数据在前处理前后的图像差异越大，配置第一状态信息的权重越大，配置第二状态信息的权重越小；前述图像数据在前处理前后的图像差异越小，配置第一状态信息权重越小，配置第二状态信息的权重越大。
应当说明的是，第一状态信息和第二状态信息包括多个不同维度的状态信息，应用处理器140按照本申请提供的以上融合策略，在各维度分别进行状态信息的融合，比如，第一状态信息中的亮度和第二状态信息中的亮度融合，第一状态信息中的清晰度和第二状态信息中的清晰度融合等。
可选地，在一实施例中，本申请提供的图像处理方法还包括：
通过图像信号前处理器120将第一状态信息以及前处理图像数据传输至图像信号处理器130；
通过图像信号处理器130对前处理图像数据进行后处理，得到后处理图像数据；
通过图像信号处理器130将后处理图像数据、第一状态信息、第二状态信息以及第一指示信息发送至应用处理器140；
通过应用处理器140根据第一指示信息融合第一状态信息和第二状态信息得到目标状态信息。
请参照图3，本申请实施例中，图像信号前处理器120在统计得到来自于图像传感器110的图像数据的第一状态信息，并对前述图像数据进行前处理，得到前处理图像数据之后，将第一状态信息以及前处理图像数据传输至图像信号处理器130。比如，图像信号前处理器120基于其与图像信号处理器130之间的MIPI接口，将统计得到的第一状态信息和前处理得到的前处理图像数据传输至图像信号处理器130。
图像信号处理器130在接收到来自于图像信号前处理器120的第一状态信息以及前处理图像数据之后，除了对前处理图像数据进行状态统计得到第二状态信息之外，还对前处理图像数据进行后处理，得到后处理图像数据。
其中，本申请实施例对于图像信号处理器130所进行的后处理不做具体限定，以与图像信号前处理器120的前处理差异化为约束(即图像信号前处理器120执行过同一优化处理，图像信号处理器130不再执行)，可由本领域普通技术人员根据实际需要进行配置。比如，图像信号处理器130进行的后处理比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。
图像信号处理器130在完成对前处理图像数据的后处理，相应得到后处理图像数据，并统计得到第二状态信息之后，生成第一指示信息，将后处理图像数据、第一状态信息、第二状态信息以及第一指示信息发送至应用处理器140。
相应的，应用处理器140根据第一指示融合第一状态信息和第二状态信息得到目标状态信息。
可选地，在一实施例中，本申请提供的图像处理方法还包括：
当后处理图像数据为动态图像数据时，通过应用处理器140预览后处理图像数据和/或根据后处理图像数据进行视频编码；或者，
当后处理图像数据为静态图像时，通过应用处理器140根据后处理图像数据进行图像编码。
应当说明的是，图像类型并不随着对图像数据的处理而改变，即，原始的图像数据为静态图像，则相应处理得到的前处理图像数据/后处理图像数据也为静态图像，原始的图像数据为动态图像，则相应处理得到的前处理图像数据/后处理图像数据也为动态图像。其中，静态图像比如实时拍摄的单帧图像，动态图像比如预览时采集的图像序列中的一帧图像，录像时采集的图像序列中的一帧图像。
可选地，在一实施例中，通过图像信号前处理器120将第一状态信息以及前处理图像数据传输至图像信号处理器130，包括：
在当前的传输模式被配置为第一传输模式时，通过图像信号前处理器120将第一状态信息以及前处理图像数据传输至图像信号处理器130。
应当说明的是，本申请实施例中提供有两种可选的传输模式，分别为第一传输模式和第二传输模式。
其中，图像信号前处理器120在当前的传输模式被配置为第一传输模式(或称同步传输模式)，将第一状态信息以及前处理图像数据传输至图像信号处理器130，经由图像信号处理器130将第一状态信息传输至应用处理器140，此外，图形信号处理器130还将对前处理图像数据后处理的后处理图像数据、对后处理图像数据统计得到的第二状态信息以及生成的第一指示信息随同第一状态信息传输至应用处理器140，具体可参照以上实施例中的相关描述，此处不再赘述。
可选地，在一实施例中，本申请提供的图像处理方法还包括：
在当前的传输模式被配置为第二传输模式时，通过图像信号前处理器120发送第一状态信息以及第二指示信息至应用处理器140；
通过应用处理器140根据第二指示信息融合第一状态信息和第二状态信息得到目标状态信息。
请参照图4，本申请实施例中图像信号前处理器120还与应用处理器140连接，图像信号前处理器120在当前的传输模式被配置为第二传输模式时，将第一状态信息直接传输至应用处理器140。
另一方面，图像信号前处理器120还将对前述图像数据进行前处理所得到的前处理图像数据传输至图像信号处理器130。相应的，图像信号处理器130除了对前处理图像数据进行状态统计得到第二状态信息之外，还对前处理图像数据进行后处理，得到后处理图像数据。
其中，本申请实施例对于图像信号处理器130所进行的后处理不做具体限定，以与图像信号前处理器120的前处理差异化为约束(即图像信号前处理器120执行过同一优化处理，图像信号处理器130不再执行)，可由本领域普通技术人员根据实际需要进行配置。比如，图像信号处理器130进行的后处理比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。
图像信号处理器130在完成对前处理图像数据的后处理，相应得到后处理图像数据，并统计得到第二状态信息之后，将后处理图像数据、第二状态信息发送至应用处理器140。
应用处理器140还用于根据第二指示信息融合第一状态信息和第二状态信息得到目标状态信息。
可选地，在一实施例中，本申请提供的图像处理方法还包括：
根据历史图像数据进行分析，得到分析结果；
根据分析结果配置传输模式为第一模式或第二模式。
其中，历史图像数据为前述图像数据之前采集的图像数据。图像信号前处理器120根据前述图像数据之前获取到的历史图像数据，按照配置的分析策略对历史图像数据进行分析，得到分析结果，然后根据分析结果配置传输模式为第一模式和第二模式。
示例性的，历史图像数据为图像传感器110在采集前述图像数据之前采集的图像数据，由于前述历史图像数据和前述图像数据连续采集，前述历史图像数据和前述图像数据的图像内容基本相同。图像信号前处理器120获取到预设个数的历史图像数据的前处理时长，根据预设个数的前处理时长预测得到图像数据的前处理时长，并判断前述图像数据的前处理时长是否达到预设时长，若达到预设时长，则配置传输模式为第二模式，若未达到预设时长，则配置传输模式为第一模式。其中，预设时长可由本领域普通技术人员根据实际需要取经验值。
比如，在根据预设个数的前处理时长预测得到图像数据的前处理时长时，图像信号前处理器120可以求取预设个数的前处理时长的平均处理时长，作为前述图像数据的前处理时长。
又比如，在根据预设个数的前处理时长预测得到图像数据的前处理时长时，图像信号前处理器120可以对预设个数的前处理时长进行加权求和，将得到加权和值作为前述图像数据的前处理时长，其中，对于前述预设个数的前处理时长，若其对应的历史图像数据相较于前述图像数据越早采集，则其权重越小。
可选地，在一实施例中，图像传感器110为多个，本申请提供的图像处理方法还包括：
通过应用处理器140同步更新每一图像传感器110的图像采集参数。
本申请实施例中，对于每一图像传感器110，按照以上任一实施例中所提供的图像采集参数的计算方式，相应进行得到新的图像采集参数，然后按照每一图像传感器110新的图像采集参数，同步更新每一图像传感器的图像采集参数。
以上对本申请实施例提供的电子设备和图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种电子设备，其特征在于，包括：
图像传感器，用于按照配置的图像采集参数采集图像数据；
图像信号前处理器，用于统计所述图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第一状态信息，并对所述图像数据进行前处理，得到前处理图像数据；
图像信号处理器，用于统计所述前处理图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第二状态信息；
应用处理器，用于融合所述第一状态信息和所述第二状态信息得到目标状态信息，并根据所述目标状态信息更新所述图像传感器的图像采集参数。
2.根据权利要求1所述的电子设备，其特征在于，所述应用处理器用于：
获取对应所述第一状态信息的第一权重值，以及获取对应所述第二状态信息的第二权重值；
根据所述第一状态信息、所述第一权重值、所述第二状态信息以及所述第二权重值进行加权求和，得到所述目标状态信息。
3.根据权利要求1所述的电子设备，其特征在于，所述图像信号前处理器还用于将所述第一状态信息以及所述前处理图像数据传输至所述图像信号处理器；
所述图像信号处理器还用于对所述前处理图像数据进行后处理，得到后处理图像数据；以及
将所述后处理图像数据、所述第一状态信息、所述第二状态信息以及第一指示信息发送至所述应用处理器；
所述应用处理器还用于根据所述第一指示信息融合所述第一状态信息和所述第二状态信息得到所述目标状态信息。
4.根据权利要求3所述的电子设备，其特征在于，所述图像信号前处理器还用于在当前的传输模式被配置为第一传输模式时，将所述第一状态信息以及所述前处理图像数据传输至所述图像信号处理器。
5.根据权利要求4所述的电子设备，其特征在于，所述图像信号前处理器还用于在当前的传输模式被配置为第二传输模式时，发送所述第一状态信息以及第二指示信息至所述应用处理器；
所述应用处理器还用于根据所述第二指示信息融合所述第一状态信息和所述第二状态信息得到所述目标状态信息。
6.根据权利要求4或5所述的电子设备，其特征在于，所述图像信号前处理器还用于：
根据历史图像数据进行分析，得到分析结果；
根据所述分析结果配置传输模式为第一模式或第二模式。
7.根据权利要求1-5任一项所述的电子设备，其特征在于，所述图像传感器为多个，所述应用处理器还用于同步更新每一图像传感器的图像采集参数。
8.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括图像传感器、图像信号前处理器、图像信号处理器以及应用处理器，所述图像处理方法包括：
通过所述图像传感器按照配置的图像采集参数采集图像数据；
通过所述图像信号前处理器统计所述图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第一状态信息，并对所述图像数据进行前处理，得到前处理图像数据；
通过所述图像信号处理器统计所述前处理图像数据中用于更新所述图像传感器的图像采集参数的状态信息，得到第二状态信息；
通过所述应用处理器融合所述第一状态信息和所述第二状态信息得到目标状态信息，并根据所述目标状态信息更新所述图像传感器的图像采集参数。
9.根据权利要求8所述的图像处理方法，其特征在于，还包括：
在当前的传输模式被配置为第一传输模式时，通过所述图像信号前处理器将所述第一状态信息以及所述前处理图像数据传输至所述图像信号处理器；
通过所述图像信号处理器对所述前处理图像数据进行后处理，得到后处理图像数据；以及将所述后处理图像数据、所述第一状态信息、所述第二状态信息以及第一指示信息发送至所述应用处理器；
通过所述应用处理器根据所述第一指示信息融合所述第一状态信息和所述第二状态信息得到所述目标状态信息。
10.根据权利要求8所述的图像处理方法，其特征在于，还包括：
在当前的传输模式被配置为第二传输模式时，通过所述图像信号前处理器发送所述第一状态信息以及第二指示信息至所述应用处理器；
通过所述应用处理器根据所述第二指示信息融合所述第一状态信息和所述第二状态信息得到所述目标状态信息。
CN202010682841.0A 2020-07-15 2020-07-15 电子设备和图像处理方法 Active CN114007009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010682841.0A CN114007009B (zh) 2020-07-15 2020-07-15 电子设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010682841.0A CN114007009B (zh) 2020-07-15 2020-07-15 电子设备和图像处理方法

Publications (2)

Publication Number Publication Date
CN114007009A CN114007009A (zh) 2022-02-01
CN114007009B true CN114007009B (zh) 2023-08-18

Family

ID=79920183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682841.0A Active CN114007009B (zh) 2020-07-15 2020-07-15 电子设备和图像处理方法

Country Status (1)

Country Link
CN (1) CN114007009B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
CN108370414A (zh) * 2016-10-29 2018-08-03 华为技术有限公司 一种拍摄方法和终端
WO2019056242A1 (zh) * 2017-09-21 2019-03-28 深圳传音通讯有限公司 一种智能终端的相机拍摄参数设置方法、设置装置及智能终端
CN110022420A (zh) * 2019-03-13 2019-07-16 华中科技大学 一种基于cis的图像扫描***、方法及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370414A (zh) * 2016-10-29 2018-08-03 华为技术有限公司 一种拍摄方法和终端
CN107147837A (zh) * 2017-06-30 2017-09-08 维沃移动通信有限公司 一种拍摄参数的设置方法和移动终端
WO2019056242A1 (zh) * 2017-09-21 2019-03-28 深圳传音通讯有限公司 一种智能终端的相机拍摄参数设置方法、设置装置及智能终端
CN110022420A (zh) * 2019-03-13 2019-07-16 华中科技大学 一种基于cis的图像扫描***、方法及存储介质

Also Published As

Publication number Publication date
CN114007009A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110072051B (zh) 基于多帧图像的图像处理方法和装置
CN109842753B (zh) 摄像头防抖***、方法、电子设备和存储介质
US11532076B2 (en) Image processing method, electronic device and storage medium
US20110043663A1 (en) Imaging terminal, display terminal, display method, and imaging system
US20180007292A1 (en) Imaging device, imaging method, and image processing device
CN111107276B (zh) 信息处理设备及其控制方法、存储介质以及摄像***
CN101815175B (zh) 信息处理设备及控制方法、摄像设备和图像校正方法
EP2141654A1 (en) System and method for efficiently performing image processing operations
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN110753182B (zh) 成像设备的调节方法和设备
KR20140080815A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
CN112822371B (zh) 图像处理芯片、应用处理芯片、数据统计***及方法
JP4499908B2 (ja) 電子カメラシステム、電子カメラ、サーバコンピュータおよび撮影条件修正方法
CN104811601B (zh) 一种显示预览图像的方法及设备
CN114007009B (zh) 电子设备和图像处理方法
JP2022045567A (ja) 撮像制御装置、撮像制御方法、及びプログラム
CN113747145B (zh) 图像处理电路、电子设备和图像处理方法
EP4033750A1 (en) Method and device for processing image, and storage medium
US20220141374A1 (en) Intelligent flash intensity control systems and methods
CN112702588B (zh) 双模态图像信号处理器和双模态图像信号处理***
CN109379535A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
US20160198077A1 (en) Imaging apparatus, video data transmitting apparatus, video data transmitting and receiving system, image processing method, and program
CN114143471A (zh) 图像处理方法、***、移动终端及计算机可读存储介质
CN113766142B (zh) 图像处理装置、图像信号前处理模块、设备和处理方法
CN113792708B (zh) 基于arm的远距离目标清晰成像***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant