CN114255177B - 成像中的曝光控制方法、装置、设备及存储介质 - Google Patents

成像中的曝光控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114255177B
CN114255177B CN202111415433.XA CN202111415433A CN114255177B CN 114255177 B CN114255177 B CN 114255177B CN 202111415433 A CN202111415433 A CN 202111415433A CN 114255177 B CN114255177 B CN 114255177B
Authority
CN
China
Prior art keywords
semantic
image
imaging
exposure
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111415433.XA
Other languages
English (en)
Other versions
CN114255177A (zh
Inventor
魏胜禹
杜宇宁
崔程
郭若愚
董水龙
陆彬
郜廷权
刘其文
胡晓光
于佃海
马艳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111415433.XA priority Critical patent/CN114255177B/zh
Publication of CN114255177A publication Critical patent/CN114255177A/zh
Priority to JP2022119977A priority patent/JP2023078061A/ja
Priority to US17/885,035 priority patent/US20230164446A1/en
Application granted granted Critical
Publication of CN114255177B publication Critical patent/CN114255177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种成像中的曝光控制方法、装置、设备及存储介质，涉及机器学习与智能成像等人工智能技术领域。具体实现方案为：对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长；基于各所述语义区域的曝光时长，控制成像时各所述语义区域的曝光。本公开的技术能够有效地提高拍摄生成的图像的质量。

Description

成像中的曝光控制方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，具体涉及机器学习与智能成像等人工智能技术领域，尤其涉及一种成像中的曝光控制方法、装置、设备及存储介质。
背景技术
数码相机通常使用机械快门来控制曝光时长。且对同一张图像来说，图像中所有像素曝光时长是一致的。
通常可以先采用数码成像算法，如采用全局平均、加权平均、局部采样等方法，来测算成像所需的曝光时长。然后检测到用户点击机械快门成像时，按照测算的曝光时长对拍摄场景进行成像。
发明内容
本公开提供了一种成像中的曝光控制方法、装置、设备及存储介质。
根据本公开的一方面，提供了一种成像中的曝光控制方法，包括：
对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；
基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长；
基于各所述语义区域的曝光时长，控制成像时各所述语义区域的曝光。
根据本公开的另一方面，提供了一种成像中的曝光控制装置，包括：
语义分割模块，用于对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；
估算模块，用于基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长；
曝光控制模块，用于基于各所述语义区域的曝光时长，控制成像时各所述语义区域的曝光。
根据本公开的再一方面，提供了种成像设备，包括如上所述的方面和任一可能的实现方式的成像中的曝光控制装置。
根据本公开的又一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的再另又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的再又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
根据本公开的技术，能够有效地提高拍摄生成的图像的质量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第三实施例的示意图；
图4是根据本公开第四实施例的示意图；
图5是用来实现本公开实施例的上述方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在光线复杂的场景中，不同的区域亮度不同，需要采用不同的曝光时长。而现有技术中通常使用机械快门来控制曝光时长。同一张图像中所有像素曝光时长是一致的。这种方法无法在光线复杂的环境下正确成像，往往会导致生成的图像存在过曝或欠曝问题。基于此，本公开提供一种可以应用于光线复杂环境中的成像中的曝光控制方案。
图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种成像中的曝光控制方法，可以用于任何图像生成装置如数字相机等中，具体可以包括如下步骤：
S101、对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；
S102、基于语义分割图像和预成像图像，估算各语义区域的曝光时长；
S103、基于各语义区域的曝光时长，控制成像时各语义区域的曝光。
本实施例中，在对预成像图像进行语义分割时，所参考的语义可以指的是预成像图像中的对象，一个对象便对应一个语义。
由于在拍摄图像的过程中，要实现将要拍摄的对象完全纳入图像中，难免会拍摄到其他相关的对象如背景中包括的对象，所以在一张图像中可以包括至少两个对象，即至少两个语义。例如，本实施例中的对象可以为一个物体、一个人、或者一个动物，或者还可以为其他的，如天空、白云、树木花草等都可以作为一个独立的对象。例如，在拍摄人物时，生成的图像中，人物是一个独立的对象，人物背景中的物体是一个对象，若还拍摄到动物、天空或者草地，动物、天空或者草地都是一个独立的对象。当然，若拍摄人物图像中，包括多个人物，每个人物都是一个单独的对象。
具体地，可以通过对预成像图像中的不同对象进行识别，进而基于识别结果对预成像图像进行语义分割，得到包括至少两个语义区域的语义分割图。每个语义区域对应一个对象。
本实施例的语义分割图像可以将预成像图像中的每个语义区域单独分割出来，每个语义区域对应一个对象。为了提高成像质量，图像中的一个对象可以对应一个曝光时长，不同语义区域的对象可以对应不同的曝光时长。本实施例中，可以参考语义分割图像对应的各语义区域在预成像图像中的位置，来估算各语义区域的曝光时长。例如，对于向光的语义区域曝光时长可以稍微短一些，而对于背光的语义区域曝光时长可以稍微长一些。当然还可以基于各语义区域内的对象的不同的感光性，调整相应的曝光时长。
可以基于各语义区域的曝光时长，在拍摄时控制各语义区域的曝光，使得拍摄生成的目标图像中，各语义区域的曝光时长可以不同，进而能够使得生成的目标图像质量更高。与现有技术相比，由于各语义区域的曝光时长可以不同，即使在光线复杂的场景中，不同对象的区域的亮度也可以不同，基于该思想，可以避免拍摄生成的整张图像同一个曝光时长，导致图像存在过曝或者欠曝的问题，提升图像的成像质量。
本实施例的曝光控制方法，通过对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；并估算各语义区域的曝光时长；进而基于各语义区域的曝光时长，控制成像时各语义区域的曝光，实现拍摄时，同一图像中不同语义区域采用不同的曝光时长，使得即使在复杂光线的场景中，也能够有效地避免拍摄生成的图像中存在过曝或者欠曝的问题，提高图像的成像质量。
图2是根据本公开第二实施例的示意图；本实施例提供一种成像中的曝光控制方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍本公开的技术方案。如图2所示，本实施例提供一种成像中的曝光控制方法，具体可以包括如下步骤：
S201、在对焦和/或测光过程中，生成预成像图像；
在使用类似于数字相机、带有拍射功能的智能终端等图像生成装置拍摄时，正式拍摄之前，通常都会试着对焦或者测光，此时图像成像装置可以存储下来该图像，作为预成像图像，以备后续参考。例如，有些数字相机，正式拍射之前，轻按快门，可以实现对焦，此时便可以采集到预成像图像。再例如，有些智能终端在拍摄时，可以点击屏幕调节光亮，该过程为测光过程，此时也可以采集预成像图像。
S202、采用预先训练的语义分割模型，对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；
本实施例的语义分割模型，为一个预先训练的神经网络模型。使用时，将预成像图像输入至该语义分割模型中，该语义分割模型可以将预成像图像中的每个语义区域分割出来，得到至少两个语义区域的语义分割图像。具体地，分割完之后，每个语义区域的语义分割图像为独立的一块图像，其中仅包括一个对象。
可选地，在本公开的一个实施例中，语义分割模型输出的至少两个语义区域的语义分割图像也可以为一个与预成像图像大小相等的图像，其中标识每个语义区域的边界，实现对各个语义区域进行分割。
本实施例的语义分割模型，可以采用多张训练图像以及各训练图像对应的至少两个语义的语义分割图像，对其进行训练，使得语义分割模型学习到对图像中的至少两个语义区域进行语义分割。
本实施例中，采用该语义分割模型对对预成像图像进行语义分割，能够提高语义分割的准确性和智能性。
S203、采用预先训练的曝光时长估算模型，基于语义分割图像和预成像图像，估算各语义区域的曝光时长；
本实施例中，该曝光时长估算模型也可以为一个预先训练的神经网络模型，在使用时，向曝光时长估算模型输入语义分割图像和预成像图像，该曝光时长估算模型可以预测并输出语义分割图像中的语义区域的曝光时长。采用该方式，可以估算得到预成像图像中的各个语义区域的曝光时长。
该曝光时长估算模型在训练时，可以采集多张训练图像以及对应的各语义的语义分割图像，并标注各语义分割图像对应的语义区域的曝光时长。然后采用上述训练数据对曝光时长估算模型进行训练，使得该曝光时长估算模型可以学习到预测各语义分割图像对应的语义区域的曝光时长的能力。
本实施例中，采用该曝光时长估算模型，估算各语义区域的曝光时长，能够有效地提高各语义区域的曝光时长的准确性和智能性。
S204、基于语义分割图像和液晶矩阵快门，确定各语义区域对应的矩阵快门；
本实施例中，拍摄时采用液晶矩阵快门来控制曝光。具体地，液晶快门是一种用于代替机械快门的曝光控制装置。与全局液晶快门不同，本实施例采用一种矩阵式的液晶快门。例如，该控制装置可以由N*M个微小的液晶快门排列成矩阵，每个液晶快门可以独立控制，在透光/不透光两种状态中切换。每个微小的液晶快门对应成像原件中的一个或多个像素区域。在成像时，通过控制每个液晶快门，可以控制对应区域的曝光时间。例如本实施例的成像原件可以为电荷耦合器件(Charge Coupled Device；CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor；CMOS)。
具体地，根据语义分割图像可以确定各语义区域在预成像图像中的位置，进而可以确定各语义区域包括的像素点。而液晶快门矩阵用于控制整个成像画面的曝光，所以与预成像图像中的像素点也存在对应关系。例如，在液晶快门矩阵中包括的液晶快门足够多的情况下，一个液晶快门可以控制一个像素点的曝光，但是，考虑到成本等其他因素，在实际应用中，一个液晶快门可以控制成像图像中多个像素点的曝光。所以基于语义分割图像对应的语义区域的像素点，以及液晶矩阵快门中各液晶快门控制的像素点，可以确定各语义区域对应的矩阵快门，以便于实现对各语义区域的曝光的精准控制。
S205、基于各语义区域的曝光时长，控制成像时液晶矩阵快门中各语义区域对应的液晶快门进行曝光。
具体地，根据各语义区域的曝光时长，控制各语义区域的液晶快门进行曝光，这样拍摄的一张目标图像中，不同语义区域的采用了不同的曝光时长，使得每个语义区域均得到最佳的曝光，从而可以避免目标图像中出现过曝或者欠曝的问题，能够有效地提高目标图像的成像质量。
本实施例的成像中的曝光控制方法，通过采用语义分割模型，能够有效地提高语义分割的准确性；通过采用曝光时长估算模型，能够有效地提高各语义区域的曝光时长的准确性。并基于各语义区域的曝光时长，控制液晶矩阵快门中各语义区域对应的液晶快门进行曝光，以实现对各语义区域的曝光的精准控制，生成高质量的、包括各语义区域的目标图像，能够有效地提高拍摄生成的目标图像的清晰度和图像质量。
另外，现有技术中，也可以采用多曝光的方法拍摄多张不同曝光时长的图像，融合生成一张曝光恰当的图像。但是，该多曝光的方法拍摄时需要保持相机不动的状态，拍摄多张图像，无法在图像生成装置运动时拍摄，也无法拍摄运动的物体。同时，记录多张图像需要成倍的存储空间，存在大量的资源浪费。并且，需要后期采用多曝光融合的方法合成图像，方法较为繁琐。
而本实施例的成像中的曝光控制方法，只需一次曝光，能够极大地降低拍摄成本与后期合成成本。而且，成像后仅需要存储预成像图像、语义分割图和不同语义区域的感光度参数如曝光时长以及生成的目标图像，相比于拍摄多张多曝光方法，数据量大大下降，可以有效地节省存储空间。
图3是根据本公开第三实施例的示意图；如图3所示，本实施例提供一种成像中的曝光控制装置300，包括：
语义分割模块301，用于对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；
估算模块302，用于基于语义分割图像和预成像图像，估算各语义区域的曝光时长；
曝光控制模块303，用于基于各语义区域的曝光时长，控制成像时各语义区域的曝光。
本实施例的成像中的曝光控制装置300，通过采用上述模块实现成像中的曝光控制的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关实施例的记载，在此不再赘述。
图4是根据本公开第四实施例的示意图；如图4所示，本实施例提供一种成像中的曝光控制装置400，在上述图3所示实施例的基础上，进一步更加详细地描述本公开的技术方案。如图4所示，本实施例的成像中的曝光控制装置400，包括图3所述实施例的同名同功能模块语义分割模块401、估算模块402和曝光控制模块403。
在本公开的一个实施例中，语义分割模块401，用于：
采用预先训练的语义分割模型，对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像。
在本公开的一个实施例中，估算模块402，用于：
采用预先训练的曝光时长估算模型，基于语义分割图像和预成像图像，估算各语义区域的曝光时长。
在本公开的一个实施例中，曝光控制模块403，用于：
基于各语义区域的曝光时长，控制成像时液晶矩阵快门中各语义区域对应的液晶快门进行曝光。
如图4所示，在本公开的一个实施例中，本实施例的成像中的曝光控制装置400，还包括：
确定模块404，用于基于语义分割图像和液晶矩阵快门，确定各语义区域对应的矩阵快门。
如图4所示，在本公开的一个实施例中，本实施例的成像中的曝光控制装置400，还包括：
生成模块405，用于在对焦和/或测光过程中，生成预成像图像。
本实施例的成像中的曝光控制装置400，通过采用上述模块实现成像中的曝光控制的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关实施例的记载，在此不再赘述。
本实施例还提供一种成像设备，包括上述图3或者图4中的成像中的曝光控制装置，并具体可以采用上述图1或者图2中的成像中的曝光控制方法，实现成像中的曝光控制，能够有效地提高生成的图像的质量。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如本公开的上述方法。例如，在一些实施例中，本公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的本公开的上述方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开的上述方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种成像中的曝光控制方法，包括：
对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；
基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长；
基于各所述语义区域的曝光时长，控制成像时各所述语义区域的曝光；
基于各所述语义区域的曝光时长，控制成像时各所述语义区域的曝光，包括：
基于各所述语义区域的曝光时长，控制成像时液晶矩阵快门中各所述语义区域对应的液晶快门进行曝光。
2.根据权利要求1所述的方法，其中，对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像，包括：
采用预先训练的语义分割模型，对所述预成像图像进行语义分割，得到至少两个语义区域的语义分割图像。
3.根据权利要求1所述的方法，其中，基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长，包括：
采用预先训练的曝光时长估算模型，基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长。
4.根据权利要求1所述的方法，其中，基于各所述语义区域的曝光时长，控制成像时液晶矩阵快门中各所述语义区域对应的液晶快门进行曝之前，所述方法还包括：
基于所述语义分割图像和所述液晶矩阵快门，确定各所述语义区域对应的矩阵快门。
5.根据权利要求1-4任一所述的方法，其中，对预成像图像进行语义分割，得到包括至少两个语义区域的语义分割图像之前，所述方法还包括：
在对焦和/或测光过程中，生成所述预成像图像。
6.一种成像中的曝光控制装置，包括：
语义分割模块，用于对预成像图像进行语义分割，得到至少两个语义区域的语义分割图像；
估算模块，用于基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长；
曝光控制模块，用于基于各所述语义区域的曝光时长，控制成像时各所述语义区域的曝光；
所述曝光控制模块，用于：
基于各所述语义区域的曝光时长，控制成像时液晶矩阵快门中各所述语义区域对应的液晶快门进行曝光。
7.根据权利要求6所述的装置，其中，所述语义分割模块，用于：
采用预先训练的语义分割模型，对所述预成像图像进行语义分割，得到至少两个语义区域的语义分割图像。
8.根据权利要求6所述的装置，其中，所述估算模块，用于：
采用预先训练的曝光时长估算模型，基于所述语义分割图像和所述预成像图像，估算各所述语义区域的曝光时长。
9.根据权利要求6所述的装置，其中，所述装置还包括：
确定模块，用于基于所述语义分割图像和所述液晶矩阵快门，确定各所述语义区域对应的矩阵快门。
10.根据权利要求6-9任一所述的装置，其中，所述装置还包括：
生成模块，用于在对焦和/或测光过程中，生成所述预成像图像。
11.一种成像设备，包括上述权利要求6-10任一所述的成像中的曝光控制装置。
12.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
CN202111415433.XA 2021-11-25 2021-11-25 成像中的曝光控制方法、装置、设备及存储介质 Active CN114255177B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111415433.XA CN114255177B (zh) 2021-11-25 2021-11-25 成像中的曝光控制方法、装置、设备及存储介质
JP2022119977A JP2023078061A (ja) 2021-11-25 2022-07-27 イメージングにおける露出制御方法、装置、デバイス及び記憶媒体
US17/885,035 US20230164446A1 (en) 2021-11-25 2022-08-10 Imaging exposure control method and apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111415433.XA CN114255177B (zh) 2021-11-25 2021-11-25 成像中的曝光控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114255177A CN114255177A (zh) 2022-03-29
CN114255177B true CN114255177B (zh) 2022-09-23

Family

ID=80793278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111415433.XA Active CN114255177B (zh) 2021-11-25 2021-11-25 成像中的曝光控制方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20230164446A1 (zh)
JP (1) JP2023078061A (zh)
CN (1) CN114255177B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242983B (zh) * 2022-09-26 2023-04-07 荣耀终端有限公司 拍摄方法、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767831A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质
CN113393468A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 图像处理方法、模型训练方法、装置和电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4844780B2 (ja) * 2000-04-13 2011-12-28 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体
JP2003319239A (ja) * 2002-04-24 2003-11-07 Minolta Co Ltd 撮像装置
JPWO2004016437A1 (ja) * 2002-08-14 2005-12-02 シチズン時計株式会社 液晶露光装置
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
KR20090127602A (ko) * 2008-06-09 2009-12-14 삼성전자주식회사 엔트로피를 이용한 영상 획득 방법 및 장치
JP2012182657A (ja) * 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
US20170142313A1 (en) * 2015-11-16 2017-05-18 Microsoft Corporation Image sensor system
US10530991B2 (en) * 2017-01-28 2020-01-07 Microsoft Technology Licensing, Llc Real-time semantic-aware camera exposure control
WO2019035245A1 (ja) * 2017-08-18 2019-02-21 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
CN107566729B (zh) * 2017-09-27 2020-09-11 长春理工大学 一种多相机阵列快门控制装置
CN108683861A (zh) * 2018-08-06 2018-10-19 Oppo广东移动通信有限公司 拍摄曝光控制方法、装置、成像设备和电子设备
CN111835961B (zh) * 2019-04-22 2022-04-26 北京地平线机器人技术研发有限公司 一种相机自动曝光的信息处理方法、装置及存储介质
CN110493538B (zh) * 2019-08-16 2021-08-24 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11461998B2 (en) * 2019-09-25 2022-10-04 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation
CN111225162B (zh) * 2020-01-21 2021-08-03 厦门亿联网络技术股份有限公司 图像曝光的控制方法、***、可读存储介质及摄像设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767831A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质
CN113393468A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 图像处理方法、模型训练方法、装置和电子设备

Also Published As

Publication number Publication date
CN114255177A (zh) 2022-03-29
US20230164446A1 (en) 2023-05-25
JP2023078061A (ja) 2023-06-06

Similar Documents

Publication Publication Date Title
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US20170026592A1 (en) Automatic lens flare detection and correction for light-field images
CN109040523B (zh) 伪影消除方法、装置、存储介质及终端
CN108337505B (zh) 信息获取方法和装置
CN112822412B (zh) 曝光方法、装置、电子设备和存储介质
CN110855957B (zh) 图像处理方法及装置、存储介质和电子设备
CN112272832A (zh) 用于基于dnn的成像的方法和***
CN112770042B (zh) 图像处理方法及装置、计算机可读介质、无线通信终端
CN105227857A (zh) 一种自动曝光的方法和装置
CN113099122A (zh) 拍摄方法、装置、设备和存储介质
CN112291473B (zh) 对焦方法、装置及电子设备
WO2023071933A1 (zh) 相机拍摄参数调整方法、装置及电子设备
CN111405185B (zh) 一种摄像机变倍控制方法、装置、电子设备及存储介质
CN114255177B (zh) 成像中的曝光控制方法、装置、设备及存储介质
CN108765346B (zh) 一种辅助对焦方法、装置和可读介质
CN114650361B (zh) 拍摄模式确定方法、装置、电子设备和存储介质
CN113866782A (zh) 图像处理方法、装置及电子设备
CN113747067A (zh) 拍照方法、装置、电子设备及存储介质
CN110933304B (zh) 待虚化区域的确定方法、装置、存储介质与终端设备
CN112969032A (zh) 光照模式识别方法、装置、计算机设备及存储介质
CN113962873A (zh) 一种图像去噪方法、存储介质及终端设备
CN114286011B (zh) 对焦方法和装置
CN114071024A (zh) 图像拍摄方法、神经网络训练方法、装置、设备和介质
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN114219744B (zh) 图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant