CN112655015A - 电子装置及控制该电子装置的方法 - Google Patents
电子装置及控制该电子装置的方法 Download PDFInfo
- Publication number
- CN112655015A CN112655015A CN201980057700.5A CN201980057700A CN112655015A CN 112655015 A CN112655015 A CN 112655015A CN 201980057700 A CN201980057700 A CN 201980057700A CN 112655015 A CN112655015 A CN 112655015A
- Authority
- CN
- China
- Prior art keywords
- sub
- images
- image
- information
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000002131 composite material Substances 0.000 claims abstract description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 55
- 238000003786 synthesis reaction Methods 0.000 claims description 55
- 238000003708 edge detection Methods 0.000 claims description 22
- 230000000903 blocking effect Effects 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
公开了一种电子装置及控制该电子装置的方法。具体地,本公开涉及一种电子装置及控制该电子装置的方法,该电子装置及其控制方法可以通过从原始图像中获取比特数小于原始图像的多个子图像并且基于关于包括在多个子图像中的对象的形状的信息来获取合成图像,来确保对象的高可见性。
Description
技术领域
本公开涉及一种电子装置以及用于控制该电子装置的方法。更具体地,本公开涉及一种电子装置及控制该电子装置的方法,该电子装置及其控制方法可以通过从原始图像中获取比特数小于原始图像的多个子图像并且基于关于包括在多个子图像中的对象的形状的信息来获取合成图像,来确保对象的高可见性。
背景技术
近年来,正在关注高动态范围(HDR)技术,该技术通过使数字图像中的亮处变亮而使暗处变暗,将亮度范围扩展到更接近人的实际视野。
然而,在现有的HDR技术的情况下,为了获得一个图像,必须捕获具有不同曝光量的几个图像,然后将这些图像合成为一个图像。因此,要指出的是,如果在拍摄图像的过程中对象移动或相机晃动,则可能延迟获取期望图像所需的时间,并且由于合成而可能出现运动伪像,这是作为限制性的。
因此,需要一种在克服现有技术的限制的同时能够确保在诸如黑夜、恶劣天气、背光等的各种照明环境中的对象的可见性的技术。
另外,当设置在汽车(特别是自动驾驶汽车)中的相机捕获图像时,即使在汽车行驶期间遇到的各种照明环境,通过识别汽车前方出现的对象来确保行驶稳定性也是一个挑战。
发明内容
技术问题
本公开旨在克服上述问题,并且提供了一种电子装置及控制该电子装置的方法,该电子装置及其控制方法可以通过从原始图像中获取比特数小于原始图像的多个子图像并且基于关于在多个子图像中包括的对象的形状的信息来获取合成图像,来确保对象的高可见性。
解决方案
根据本公开的实施例,一种电子装置包括:图像传感器;存储器,所述存储器包括至少一个指令;以及处理器,所述处理器被配置为控制所述电子装置并且耦接至所述图像传感器和所述存储器。
所述处理器可以被配置为:通过所述图像传感器获取每个像素具有第一比特数的原始图像;基于所述原始图像,获取每个像素具有第二比特数的多个子图像,所述第二比特数小于所述第一比特数;从所述多个子图像中的每一个中识别关于在所述多个子图像中包括的对象的形状的信息;基于所述识别出的信息,针对所述多个子图像中的两个子图像获取每个区域的合成权重;以及基于所述获取的区域的每个区域的合成权重来获取合成图像。
所述多个子图像可以包括基于原始图像获取的最高有效比特(MSB)侧图像和最低有效比特(LSB)侧图像。
所述处理器可以被配置为:针对所述多个子图像中的每个子图像获取灰度图像;对在所述获取的灰度图像中包括的每个像素进行区块化;以及根据所述区块化针对每个块来识别关于所述多个子图像中包括的对象的形状的信息。
所述处理器被配置为:基于针对每个块所识别出的信息,针对所述多个子图像中的至少两个子图像,获取每个块的合成权重。
所述处理器被配置为:通过边缘检测来识别关于在所述多个子图像中包括的对象的形状的信息。
所述处理器被配置为:基于定向梯度(HOG)值的直方图来识别关于在所述多个子图像中包括的对象的形状的信息。
所述装置还可以包括显示器和用户接口单元。
所述处理器可以被配置为:基于通过所述图像传感器获取的原始图像,控制所述显示器显示所述获取的原始图像;基于用于从所述显示的原始图像中包括的多个区域中选择至少一个区域的用户命令被通过所述用户接口单元输入,根据关于所述多个子图像中的所述选择的区域中的至少一个区域中包括的对象的形状的信息,针对所述多个子图像中的两个子图像来获取每个区域的合成权重。
根据本公开的实施例,一种控制电子装置的方法包括:通过所述图像传感器获取每个像素具有第一比特数的原始图像;基于所述原始图像,获取每个像素具有第二比特数的多个子图像,所述第二比特数小于所述第一比特数;从所述多个子图像中的每一个中识别在所述多个子图像中包括的对象的形状的信息;基于所述识别出的信息,针对所述多个子图像中的两个子图像获取每个区域的合成权重;以及基于所述获取的区域的每个区域的合成权重来获取合成图像。
所述多个子图像可以包括基于所述原始图像获取的最高有效比特(MSB)侧图像和最低有效比特(LSB)侧图像。
所述方法可以进一步包括:针对所述多个子图像中的每一个子图像获取灰度图像;以及对所述获取的灰度图像中包括的每个像素进行区块化。
所述识别信息可以包括:根据所述区块化针对每个块来识别关于在所述多个子图像中包括的对象的形状的信息。
所述获取所述区域中的每个区域的合成权重可以包括:基于针对每个块所识别出的信息,针对所述多个子图像中的至少两个子图像,获取每个块的合成权重。
所述识别信息可以包括:通过边缘检测来识别关于在所述多个子图像中包括的对象的形状的信息。
所述识别信息可以包括:基于定向梯度(HOG)值的直方图来识别关于在所述多个子图像中包括的对象的形状的信息。
所述方法可以进一步包括:基于通过所述图像传感器获取的原始图像,显示所述获取的原始图像。
所述获取所述区域中的每个区域的合成权重可以包括:基于用于从所述显示的原始图像中包括的多个区域中选择至少一个区域的用户命令被输入,根据关于所述多个子图像中的所述选择的区域中的至少一个区域中包括的对象的形状的信息,针对所述多个子图像中的两个子图像来获取每个区域的合成权重。
附图说明
图1是示例性地示出了根据实施例的从原始图像获取到合成图像的过程的视图;
图2是示出了根据实施例的电子装置的简要配置的框图;
图3是示出了根据实施例的电子装置的详细配置的框图;
图4是示出了根据实施例的原始图像的框图;
图5a和图5b是示出了从与图4所示的原始图像分离的两个子图像的视图;
图6a至图6f是示出了识别信息的过程的视图,该信息与图5a和图5b所示的两个子图像的每一个中的子图像中包括的对象的形状有关;
图7是示出了根据实施例的两个子图像的合成权重的图;
图8是示出了针对图5a和图5b所示的两个子图像的每个区域基于合成权重而获取的合成图像的视图;
图9a至图9c是示例性地示出了根据实施例的另一多个子图像的视图;
图10是示出了根据实施例的用户命令的输入的视图,该用户命令用于选择原始图像中包括的多个区域中的至少一个区域;
图11是示出了根据本公开的电子装置被实现为车辆的一部分的实施例的视图;
图12是示例性地示出了根据实施例的用于控制电子装置的方法的流程图;以及
图13是示出了根据实施例的用于控制电子装置的方法的详细流程图。
具体实施方式
本公开可以具有若干个实施例,并且可以对这些实施例进行各种修改。在下面的描述中,具体实施例提供有附图及其详细描述。然而,应当理解的是,本公开并不限于本文中所描述的特定实施例,而是可以包括本公开的实施例的各种修改、等同形式和/或替代形式。关于附图的说明,类似的附图标记可以用于类似的组成元件。
在描述示例性实施例时,如果相关的已知功能或组件的详细描述会使主题的描述不清楚,则可以将其省略。
另外,可以以各种形式改变示例性实施例,因此,技术范围不限于以下示例性实施例。相反,为了使本公开彻底和完整而提供这些示例性实施例。
在本文中使用的术语仅旨在解释特定的示例性实施例,而不是限制本公开的范围。除非上下文另外明确指出,否则单数形式旨在包括复数形式。
在本公开的示例性实施例中使用的术语“具有”、“可以具有”、“包括”和“可以包括”表示存在相应的特征(例如,诸如数值、功能、操作或部件之类的要素),并且不排除其他特征的存在。
在说明书中,术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”可以包括所列举的项目的所有可能的组合一起。例如,术语“A或B”或“A或/和B中的至少一个”可以表示:(1)至少一个A,(2)至少一个B,或者(3)至少一个A和至少一个B。
如本文所使用的表述“第1”、“第2”、“第一”或“第二”可以修饰各种元件,而与其顺序和/或重要性无关,并且仅是将一个元件与另一个元件区分开。因此,没有限制相应的元件。
当元件(例如,第一元件)与另一元件(例如,第二元件)“可操作地或通信地耦接”或“连接至”另一元件(例如,第二元件)时,该元件可以直接与另一元件耦接或者可以是通过另一个元件(例如,第三元件)相耦接。
同时,当一个元件(例如,第一元件)与另一个元件(例如,第二元件)“直接耦合/耦合到”或“直接连接到”另一个元件(例如,第二元件)时,在一个元件和另一个元件之间不存在其他元件(例如,第三元件)。
在本说明书中,术语“被配置为”在某些情况下可以改变为例如“适合”、“具有……的能力”、“设计为”、“适应于”、“制造为”或“能够”。在硬件方面,属于“被配置为(被设置为)”不一定表示“专门设计为”。
在某些情况下,术语“被配置为……的设备”可以指“能够”与另一设备或组件一起做某事的设备。例如,“被配置为(或设置为)执行A、B和C的处理器”可以表示用于执行操作的专用处理器(例如嵌入式处理器)或者能够通过执行存储设备中存储的一个或更多个软件程序来执行相应操作的通用处理器(例如CPU或AP)。
在本文公开的实施例中,术语“模块”或“单元”是指执行至少一个功能或操作的元件。“模块”或“单元”可以被实现为硬件、软件或其组合。此外,多个“模块”或多个“单元”可被集成到至少一个模块,并且除了应在特定硬件中被实现的“模块”或“单元”之外还可以以集成的方式被实现为至少一个处理器。
此外,示例性地绘制了附图中的各种元件和区域。因此,技术思想不受附图中绘制的相对尺寸或间隔的限制。
以下将以本领域普通技术人员将理解的方式在下面更详细地描述本公开的示例实施例。
图1是示出了根据实施例的从原始图像获取到合成图像的过程的视图。
如图1所示,根据本公开的实施例的电子装置可以获取原始图像10。具体地,电子装置可以通过图像传感器获取对于每个像素具有第一比特数的原始图像10。
例如,原始图像10可以是每个像素具有12比特数的原始图像10。如此,在描述本公开的各种实施例中,通过图像传感器生成的图像可以被称为原始图像10,并且在下文中,每个像素具有12比特数的原始图像10可以被称为12比特原始图像。
同时,根据本公开的实施例的电子装置可以基于原始图像10获取多个子图像20。具体地,电子装置可以基于原始图像10对于每个像素获取具有小于第一比特数的第二比特数的多个子图像20。
例如,多个子图像20可以是每个像素具有8比特数的第一子图像和第二子图像20。如上所述,在描述本公开的各种实施例时,将从原始图像10获取的具有比原始图像10的比特数小的比特数的图像称为子图像20,并且在下文中,为了方便起见,对于每个像素具有8比特数的子图像20可以被称为8比特子图像20。
各种对象可以被包括在多个子图像中,并且在多个子图像中,与其他子图像相比,特定子图像可以包括更多的关于对象的形状的信息。另外,即使在相同的子图像中,对于子图像中包括的多个区域中的每个区域,关于对象的形状的信息的存在与否以及关于对象的形状的信息量也可能不同。
同时,在多个子图像20的每个子图像中,根据本公开的实施例的电子装置可以识别关于在多个子图像20中包括的对象的形状的信息。
也即是,电子装置可以提取在多个子图像20中包括的对象的形状上的特征,并基于提取的特征来识别关于对象的形状的信息。具体地,电子装置可以针对在多个子图像20中包括的多个区域中的每个区域,识别是否存在关于对象的形状的信息以及关于对象的形状的信息量。
同时,根据本公开的实施例的电子装置可以基于识别出的信息来获取多个子图像20中的至少两个子图像20的每个区域的合成权重。
具体地,作为识别关于在多个子图像20中包括的对象的形状的信息的结果,电子装置可以对图像(该图像包括更多的关于多个子图像20中的特定区域中的对象的形状的信息)分配更高的合成权重。
同时,根据本公开的实施例的电子装置可以基于获取的每个区域的合成权重来获取合成图像30。如此,在描述本公开的各种实施例时,基于针对每个识别区域的合成权重所合成的图像被称为合成图像30。
根据如上所述的本公开的实施例,可以从原始图像10获取多个子图像20,并且可以从多个子图像20获取合成图像30,该合成图像30能够确保该图像中包括所有区域的可见性。
同时,在描述本公开时,可以根据图像传感器获取的信息量来确定第一比特数(例如12比特数),可以根据优化来确定第二比特数(例如8比特数)。
具体地说,在图像传感器中,有必要获取具有比8比特更高比特数的信息,以便感测具有宽动态范围的信息。
同时,对于通过图像传感器获取的原始图像的图像处理过程,特别是通过基于深度学习的算法执行的图像处理过程,需要减少计算量的优化。因此,通常基于8比特来优化图像处理过程,而8比特是可以访问存储器的最小单元。
本公开考虑了以上描述,并且根据本公开,在获取包括宽动态范围的信息的12比特原始图像10之后,可以在可使损失最小化的范围内获取8比特子图像20对来自原始图像的信息进行处理,并且可以执行基于8比特的图像处理过程。
另外,即使通过上述处理从12比特原始图像中获取了8比特合成图像30,也要保留尽可能多的能够满足人眼可识别的表现范围的信息。
在下文中,将参照图2和图3,着重于根据本发明的电子装置的配置来描述根据本公开的各种实施例。
图2是示出了根据示例实施例的电子装置的结构的框图。
如图2所示,根据本公开的实施例的电子装置100可以包括图像传感器110、处理器130和存储器120。
图像传感器110可以将通过透镜进入的光转换成电图像信号。另外,处理器130可以通过图像传感器110获取对象的原始图像。
同时,图像传感器110可以是电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器,但是根据本公开的图像传感器110不限于此。
存储器120可以包括与电子装置100有关的至少一个指令。另外,用于驱动电子装置100的操作***(O/S)可以存储在存储器120中。另外,根据本公开的各种实施例,用于操作电子装置100的各种软件程序或应用可以被存储在存储器120中。
另外,存储器120可以包括用于操作根据本公开的各种实施例的电子装置100的各种软件模块,并且处理器130可以执行存储在存储器120中的各种软件模块来操作根据本公开的各种实施例的电子装置100的操作。
具体地,根据本公开的各种实施例,存储器120可以存储基于与边缘检测有关的各种算法(诸如Laplacian掩模、Sobel掩模、Roberts掩模、Prewitt掩模或Canny掩模等)的软件。下面将描述这种边缘检测。
根据本公开的各种实施例,存储器120可以存储各种类型的图像数据。具体地,根据本公开,存储器120可以存储与原始图像、多个子图像或合成图像等有关的数据。同时,存储器120可以包括诸如闪存的半导体存储器或者诸如硬盘的磁存储介质。
处理器130可以控制电子装置100的整体操作。具体地,处理器130可以连接到电子装置100的图像传感器110和存储器120,以控制电子装置100的整体操作。
处理器130可以以各种方法来实现。例如,处理器130可以是专用集成电路(ASIC)、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)和数字信号处理器(DSP)中的至少一种。
处理器130可以包括只读存储器(ROM)、随机存取存储器(RAM)、图形处理单元(GPU)、中央处理单元(CPU)和总线。ROM、RAM、GPU和CPU可以通过总线彼此连接。
特别地,根据本公开的各种实施例,处理器130可以通过图像传感器110获取对于每个像素具有第一比特数的原始图像。可以从获取具有宽动态范围的原始图像的视点(viewpoint)来确定第一比特数。换句话说,根据本公开,处理器130可以通过所谓的高动态范围图像传感器110获得原始图像,其具有的比特数高于适用于图像处理过程的每个像素的比特数。
例如,处理器130可以通过图像传感器110获取每个像素具有10比特、12比特、16比特或24比特数的原始图像。
当获取原始图像时,处理器130可以基于原始图像获取对于每个像素具有第二比特数(小于第一比特数)的多个子图像。可以根据图像处理过程的优化来确定第二比特数。换句话说,根据本公开,处理器130可以基于所获取的原始图像,以存储器120可访问的最小单位来获取每个像素具有比特数的多个子图像。
例如,当通过图像传感器110获取的原始图像每像素具有10比特、12比特、16比特或24比特时,处理器130可以获取每个像素具有8比特的多个子图像。
换句话说,根据本公开,处理器130可以获取包括宽动态范围的信息的原始图像,然后可以获取在能够使来自原始图像的信息损失最小的范围内的多个子图像,并且基于获取的多个子图像进行优化的图像处理。
同时,从原始图像获取的多个子图像中可以包括各种对象,并且在多个子图像中,特定子图像可以比其他子图像包括更多关于对象形状的信息。另外,即使在相同的子图像中,对于子图像中包括的多个区域中的每个区域,关于对象的形状的信息的存在与否以及关于对象的形状的信息量也可能不同。
当获取多个子图像时,处理器130可以从多个子图像中的每一个中识别关于在多个子图像中包括的对象的形状的信息。
同时,在图像处理中,存在用于提取特定图像中包括的各种特征并从所提取的特征中获得各种信息的各种方法。具体地,根据本公开的各种实施例,处理器130可以提取在多个子图像中包括的对象的形状的特征,并且基于提取的特征来识别关于对象的形状的信息。
当识别出关于在多个子图像中包括的对象的类型的信息时,处理器130可以基于识别出的信息来获取多个子图像中的至少两个子图像的每个区域的合成权重。此外,处理器130可以基于获取的每个区域的合成权重来获得合成图像。
具体地,作为识别关于多个子图像中的每个子图像中的多个子图像中包括的对象的类型的信息的结果,电子装置可以将相对高的合成权重分配给图像(其比多个子图像中的特定区域中的其他图像包括更多关于对象的类型的信息)。
例如,作为在多个子图像中的每个子图像中识别关于多个子图像中包括的对象的类型的信息的结构,当对于特定区域,多个子图像中的第一子图像相比于多个子图像中的第二子图像包含两倍的关于对象的形状的信息时,在获得合成图像时,处理器130可以通过将第一子图像的合成权重分配为第二子图像的合成权重的两倍来合成第一子图像和第二子图像。
根据如上所述的电子装置100,可以从原始图像中获取比特数比原始图像小的多个子图像,并且基于关于在多个子图像中包括的对象的形状的信息获取能够确保图像中包括的整个区域的可视性的合成图像,并且可以同时解决现有技术的运动伪像的问题。
同时,在原始图像具有每像素10比特数、12比特数、16比特数或24比特数的情况下,已经如上描述了每个像素具有8比特数的多个子像素作为示例,但是本公开不限于每个像素具有特定比特数的图像。
换句话说,在能够实现本公开的目的的范围内,可以不同地确定根据本公开的原始图像、多个子图像、以及进一步的合成图像的每个像素的比特数。然而,在下文中,为了方便起见,原始图像主要为每像素具有12比特数,多个子图像和从其获得的合成图像每像素具有8比特数。
图3是示出了根据实施例的电子装置的详细配置的框图。
如图3所示,根据本公开的实施例的电子装置100不仅可以包括图像传感器110、存储器120和处理器130,还可以包括通信器140、输出器150、传感器160和用户接口单元170。然而,这样的配置是示例性的,并且显而易见的是,在执行本公开中,除了以上配置之外,可以添加新的配置或者可以省略一些配置。
图像传感器110可以将通过透镜进入的光转换为电图像信号,并且处理器130可以通过图像传感器110获取对象的原始图像。
存储器120可以包括与电子装置100有关的至少一个指令。存储器120可以存储基于与边缘检测有关的各种算法的软件,并且存储器120可以存储与原始图像、多个子图像和根据本公开的合成图像有关的数据。
处理器130可以控制电子装置100的整体操作。具体地,处理器130可以连接到电子装置100的图像传感器110、存储器120、通信器140、输出器150、传感器160和用户接口单元170,以控制电子装置100的整体操作。
以上已经在图1的描述中描述了另一图像传感器110、存储器120和处理器130的详细描述,并且将省略多余的描述。
同时,通信器140可以与外部电子装置(未示出)或外部服务器(未示出)通信。通信器140可以包括Wi-Fi芯片141、蓝牙芯片142、无线通信芯片143和近场通信(NFC)芯片144中的至少一种。
特别地,Wi-Fi芯片141和蓝牙芯片142可以分别以Wi-Fi方法和蓝牙方式通信。当使用Wi-Fi芯片141或蓝牙芯片142时,可以首先交换诸如SSID等的各种连接信息,并且在使用相同的通信连接之后,可以发送和接收各种类型的信息。
无线通信芯片143是指根据各种通信标准(例如,IEEE、Zigbee、第3代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)进行通信的芯片。NFC芯片144指示芯片以各种RF-ID频带(例如,135kHz、13.56MHz、433MHz、以及2.45GHz)中的13.56MHz带宽以NFC方式运行。
特别地,在本公开的各种实施例中,通信器140可以通过与外部电子装置(未示出)或服务器(未示出)进行通信来接收关于原始图像的信号。此外,处理器130可以通过通信器获取原始图像。
换句话说,以上已经描述了处理器130通过图像传感器110获取原始图像的实施例,但是根据本公开的原始图像可以从外部电子装置(未示出)获取或通过通信器的服务器(未示出)。
具体地,处理器130可以通过通信器140获取每个像素具有第一比特数的原始图像,并且可以基于该原始图像来获取对于每个像素具有第二比特数(小于第一比特数)的多个子图像。
另外,处理器130可以从多个子图像中的每一个子图像中识别关于在多个子图像中包括的对象的形状的信息,并且基于识别出的信息,处理器130可以获取多个子图像中的至少两个子图像中的每个区域的合成权重,并进一步基于获取的每个区域的成权重来获取合成图像。
另外,不仅当通过电子装置的图像传感器110获取原始图像时,而且当通过电子装置的通信器140获取原始图像时,都可以应用本公开的各种实施例。
同时,在上文中已经描述了图像传感器110被包括在电子装置100的一些组件中,但是本公开不必限于此。
换句话说,为了减少功耗,与普通的电子装置或摄影设备不同,可以仅将图像传感器分离并实现为外部图像传感器(未示出)。在这种情况下,处理器130可以通过通信器140从外部图像传感器(未示出)获取原始图像,并且此外,可以通过上述处理获取合成图像。输出器150可以输出可以由电子装置执行的各种功能。输入器150可以包括显示器151、扬声器152和指示器153中的至少一种。
显示器151可以在处理器130的控制下输出图像数据。具体地,在本公开的实施例中,当处理器130可以获取原始图像、基于原始图像获取多个子图像、并且基于多个子图像获取合成图像时,处理器130可以控制显示器151显示原始图像、多个子图像和合成图像。
另外,显示器151可以在处理器130的控制下显示在存储器120中预先存储的图像或用户界面。
同时,显示器151可以被实现为液晶显示面板(LCD)、有机发光二极管(OLED)等,并且根据情况,显示器151还可以被实现为柔性显示器、透明显示器等。然而,根据本公开的显示器151不限于特定类型。
扬声器152可以在处理器130的控制下输出音频数据,并且指示器153可以在处理器130的控制下发光。
具体地,在本公开的实施例中,当处理器130可以获取原始图像、基于原始图像获取多个子图像、并且基于多个子图像获取合成图像时,每当获取每个图像,处理器130可以控制扬声器152或指示器153输出声音或接通LED。
传感器160可以检测各种类型的输入。具体地,传感器160可以是感测用户触摸的触摸传感器,并且根据本公开的电子装置可以包括各种传感器,诸如运动传感器、温度传感器、湿度传感器、照度传感器等。
用户接口单元170是感测用于控制电子装置100的整体操作的用户交互的元件。具体地,用户接口单元150可以由相机、麦克风、遥控信号接收器等组成。同时,用户接口单元170可以以包括在显示器151中的形式被实现为触摸屏。
同时,如上所述,当通过图像传感器110获取原始图像时,处理器130可以控制显示器151显示所获取的原始图像。
另外,当通过用户接口单元170输入用于选择所显示的原始图像中包括的多个区域中的至少一个区域的用户命令时,处理器130可以基于关于从多个子图像中选择的至少一个区域中包括的对象的形状的信息,获取多个子图像中的至少两个子图像的每个区域的合成权重。
如上所述,将参照图10详细描述输入用于选择原始图像中包括的多个区域中的至少一个区域的用户命令的实施例。
同时,下面将参照图4至图8更详细地描述根据本公开的示例性实施例的从原始图像获取到合成图像的过程。
图4是示出了根据实施例的原始图像的框图。图5a和图5b是示出了从与图4所示的原始图像分离的两个子图像的视图。
如上所述,本公开不限于每个像素具有特定比特数的图像,在下文中,原始图像每个像素具有12比特数,并且从原始图像获取的子图像每个像素具有8比特数。将使用示例对此进行说明。
如上所述,处理器130可以通过图像传感器110获取12比特的原始图像,并且处理器130可以基于原始图像获取比特数小于12比特的多个8比特子图像。
具体地,多个子图像可以包括基于原始图像获取的最高有效比特(MSB)侧图像和最低有效比特(LSB)侧图像。
MSB侧图像是最高有效比特侧图像,例如,可以根据基于12比特原始图像中最大数字(digit)的比特的从第一比特到第八比特的信息获取8比特图像。
另外,LSB侧图像是最低有效比特侧图像,例如,可以根据基于12比特原始图像中最小数字(digit)的比特的从第一比特到第八比特的信息获取8比特图像。
在图5a中示出了可以从图4所示的12比特原始图像获取的MSB侧图像,并且在图5b中示出了可以从图4中所示的12比特原始图像获取LSB侧图像。
如图5a和图5b所示,从同一原始图像获取的MSB侧图像和LSB侧图像对于图像中包括的对象的高可见性区域可能不同。
具体地,指示MSB侧图像的图5a的第一区域501被表现得太暗,从而使得难以容易地识别在第一区域501中包括的对象,而相对于第一区域501,在图5a的第二区域502中包括的对象会容易被识别。
另外,可以相对容易地识别在表示LSB侧图像的图5b的第三区域503中包括的对象,而图5b的第四区域504被表现得太亮,因此相对于第三区域503,第四区域中包括的对象不能容易地被识别。
因此,当将图5a的第二区域502和图5b的第三区域503的合成权重分配得高于图5a的第一区域501和图5b的第四区域504的合成权重时,与原始图像相比,作为合成结果所获取的合成图像可以确保图像中包括的所有区域的高可见性。
同时,在以上描述中,为方便起见,在图5a和图5b中所示的图像被分别划分为两个区域,并被指定为第一区域501、第二区域502、第三区域503和第四区域504。然而,具体地,每个图像中包括的对象的可见性对于图像中包括的每个像素可以变化。另外,每个图像中包括的对象的可见性可以根据各种照明环境而变化。
图6a至图6f是示出了识别信息的过程的视图,该信息与图5a和图5b所示的两个子图像的每一个中的子图像中包括的对象的形状有关。
根据本公开的各种实施例,在多个子图像的每一个子图像中,处理器130可以识别关于在多个子图像中包括的对象的形状的信息。具体地,处理器130使用诸如边缘检测、直方图特征检测、图像高频分析、图像方差分析、角检测等之类的各种方法来识别关于在多个子图像中包括的对象的形状的信息。
例如,处理器130可以检测多个子图像中亮度从高值改变为低值或者从低值改变为高值的边缘,以识别关于多个子图像中包括的对象的形状的信息。
在边缘检测中,可以使用各种方法,诸如使用Laplacian掩模、Sobel掩模、Roberts掩模、Prewitt掩模、或Canny掩模的方法,并且本公开不限于特定方法。
图6a和图6b是示出了通过利用Laplacian掩模执行边缘检测来针对图5a和图5b中所示的两个子图像中的每个子图像识别关于子图像中包括的对象的形状的信息。
具体地,图6a是示出了利用Laplacian掩模对图5a中示出的MSB侧图像执行边缘检测的结果的视图,图6b是示出了利用Laplacian掩模对图5b中示出的LSB侧图像执行边缘检测的结果的视图。
参照图6a和图6b,可以识别出:与图6b的第三区域603相比,图6a的第一区域601中的检测到的边缘的数量较小,并且与图6d的第四区域604相比,图6a的第二区域602中的检测到的边缘的数量较大。在此,大量的检测到的边缘意味着存在关于对象的形状的大量信息。
在通过将图6a的第二区域602和图6b的第三区域603的合成权重分配得高于图6a的第一区域601和图6b的第四区域604的合成权重来进行合成的情况下,作为合成结果所获取的合成图像可以确保图像中包括的所有区域的高可见性。
同时,图6c和图6d是示出了通过利用Sobel掩模执行边缘检测来针对图5a和图5b中所示的两个子图像中的每个子图像识别关于子图像中包括的对象的形状的信息。
具体地,图6c是示出了利用Sobel掩模对图5a中示出的MSB侧图像执行边缘检测的结果的视图,图6d是示出了利用Sobel掩模对图5b中示出的LSB侧图像执行边缘检测的结果的视图。
参照图6c和图6d,相对于在相对于图6c的第一区域611中包括的块,在图6c的第二区域612中包括的块被显示得更亮。另一方面,与在图6b的第三区域613中包括的块相比,在图6d的第四区域614中包括的块相对更暗。在此,相对较亮的区域表明比相对较暗的区域,存在更多的关于对象形状的信息。
因此,在通过将图6c的第二区域612和图6d的第三区域613的合成权重分配得高于图6c的第一区域611和图6d的第四区域614的合成权重来进行合成的情况下,作为合成结果所获取的合成图像可以确保图像中包括的所有区域的高可见性。
同时,处理器130可以基于定向梯度(HOG)值的直方图来识别关于在多个子图像中包括的对象的形状的信息。具体地,处理器130可以将多个子图像的区域划分为预定大小的单元,并且对于每个单元,处理器可以获得斜率值等于或大于一定值的边缘像素的方向的直方图,并且然后获得连接这些直方图bin值的向量,以识别关于多个子图像中包括的对象的形状的信息。
另外,处理器130可以基于高频图像分析来识别关于在多个子图像中包括的对象的形状的信息。具体地,处理器130可以通过分析多个子图像中包括的频率分量中像素值变化率大的高频分量,来识别关于在多个子图像中包括的对象的形状的信息。
此外,处理器130可以基于图像方差分析来识别关于在多个子图像中包括的对象的形状的信息。具体地,处理器130可以通过统计分析在多个子图像中包括的图像数据的分布来识别关于在多个子图像中包括的对象的形状的信息。
另外,处理器130可以通过包括角检测方法的各种方法来识别关于在多个子图像中包括的对象的形状的信息。
在上文中,已经描述了用于识别关于在多个子图像中包括的对象的类型的信息的各种方法。除了上述方法之外,可以在可以实现本公开的目的的范围内使用用于识别关于对象的形状的信息的各种方法。
同时,若非为了提高图像处理过程的效率和速度,可以通过如上所述的各种方法对于多个子图像中包括的每个像素来执行识别关于在多个子图像中包括的对象的类型的信息的过程。如将在下面描述的,在对每个像素执行区块化(blocking)之后,处理器130可以识别关于每个块的多个子图像中包括的对象的形状的信息。
例如,处理器130可以将在整个多个子图像中包括的1280×720像素块包括在32×18块中。
此外,处理器130可以根据区块化针对每个块来识别关于在多个子图像中包括的对象的形状的信息。具体地,处理器130可以通过使用如上所述的各种方法(诸如边缘检测等),根据区块化针对每个块来识别关于在多个子图像中包括的对象的形状的信息。
同时,为了减少图像处理的计算量,处理器130可以在对每个像素执行区块化之前为多个子图像中的每个子图像获取灰度图像,并且对在所获取的灰度图像中包括的每个像素进行区块化。
具体地,处理器130可以将多个子图像(其被获取为彩色图像)分别转换为灰度图像。在获取灰度图像的过程中,主要使用了使用颜色亮度的方法,但是根据本公开的获取灰度图像的过程不限于特定的方法。
图6e是示出了获取如图5a所示的MSB侧图像的灰度图像并且在对所获取的灰度图像中包括的每个像素进行区块化之后执行边缘检测的结果的视图。
另外,图6f是示出了获取如图5b所示的LSB侧图像的灰度图像并且在对所获取的灰度图像中包括的每个像素进行区块化之后执行边缘检测的结果的视图。
参照图6e,相对于在相对于图6e的第一区域621中包括的块,在图6e的第二区域622中包括的块被显示得更亮。此外,参照图6f,与在图6f的第三区域623中包括的块相比,在图6f的第四区域624中包括的块相对更暗。
这里,用黑色表示的块指示在这些块中包括的区域中关于对象的形状的信息很少,而用用明亮色表示的块指示在这些块中包括的区域中关于对象的形状的信息很多。
换句话说,作为执行边缘检测的结果,处理器130可以针对每个块识别关于图像中包括的对象的形状的信息的存在与否以及关于对象的形状的信息量。
因此,在通过将图6e的第二区域622和图6f的第三区域623的合成权重分配得高于图6e的第一区域621和图6f的第四区域624的合成权重来进行合成的情况下,作为合成结果所获取的合成图像可以确保图像中包括的所有区域的高可见性。
在上文中,为了方便描述,图5a至图6f所示的图像被划分为并被指定为两个区域,但是具体地,已经在上文中描述了以下特征:每个图像中包括的对象的可视性可以针对图像中包括的每个像素而改变。
同时,尽管已经在上文中描述了在将多个子图像转换为灰度图像并对转换后的灰度图像中包括的每个像素进行区块化之后来识别关于对象的形状的信息的方法,但转换并区块化灰度图像的过程并非是实现本公开的目的所必需的。
特别地,如果根据识别关于对象形状的信息的方法在执行区块化处理之后应用该方法,则可能难以识别关于对象的形状的信息,或者整体图像处理的计算量可能会增加。因此,应该根据用于识别关于对象的形状的信息的特定方法来确定是否执行区块化处理。
基于如上所述识别的信息,处理器130可以获得针对MSB侧图像和LSB侧图像的每个区域的合成权重,这将参照图7和图8详细描述。
图7是示出了根据本公开的实施例的图5a和图5b中示出的两个子图像的合成权重的图,并且图8是示出了基于两个子图像的每个区域的合成权重所获取的合成图像的视图。
当识别出关于在多个子图像中包括的对象的形状的信息时,处理器130可以基于识别出的信息来获取多个子图像中的至少两个子图像的每个区域的合成权重。
如上所述,在获取了多个子图像的每个子图像的灰度图像并对所获取的灰度图像中的每个像素进行区块化之后,针对每个块识别了多个子图像中包括的对象的形状,并且处理器130可以基于针对每个块识别出的信息,获取多个子图像中的至少两个子图像的每个块的合成权重。
如上所述的每个块的合成权重可以被称为每个块的动态曲线,如图7所示。在此,x轴是输入的原始图像的数据,y轴是输出的合成图像的数据。例如,当输入12比特原始图像时,x轴表示从0到4095的值,而当输出8比特合成图像时,y轴表示从0到255的值。
具体地,在图7的第一块701中所示的图的情况下,与输入初始值相对应的图的斜率被形成为大于第二块702的斜率。这表明,在与第一块701相对应的区域的情况下,相比于与第二块702相对应的区域的情况,LSB侧图像的合成权重高于MSB侧图像的合成权重。
图8示出了通过从图4的描述到图7的描述的过程获取的合成图像。
具体地,处理器130可以通过图像传感器110获取如图4所示的12比特原始图像,并基于获取的原始图像,获取如图5a所示的8比特MSB侧图像、以及如图5b所示的8比特LSB侧图像。
此外,处理器130可以从所获取的MSB侧图像和LSB侧图像中的每一个获取灰度图像,对所获取的灰度图像中包括的每个像素进行区块化,并且还可以通过执行边缘检测来对每个块识别关于MSB侧图像和LSB侧图像中包括的对象的形状的信息。
此外,处理器130可以基于对每个块所识别的信息,针对MSB侧图像和LSB侧图像获取每个块的合成权重。另外,处理器130可以基于所识别的每个块的合成权重来获取如图8所示的合成图像。
如图8所示,对于在图像的整个区域中包括的对象,根据上述过程获取的合成图像可以具有高可见性。另外,由于基于通过图像传感器110获取的一个原始图像获取了如图8所示的合成图像,所以根据本公开可以解决被指出为现有技术的局限性的运动伪像的问题。
图9a至图9c是示例性地示出了根据本公开的示例性实施例的另一多个子图像的视图。
类似于图5a和图5b所示的图像,图9a至图9c所示的图像对应于从相同的12比特原始图像获取的8比特子图像。以下,将图9a所示的图像称为第一子图像,将图9b所示的图像称为第二子图像,将图9c所示的图像称为第三子图像。
第一子图像对应于MSB侧图像,即,根据基于12比特原始图像中具有最大数字的比特的从第一比特到第八比特的信息所获取的图像。
第二子图像对应于根据基于12比特原始图像中具有最大数字的比特的从第二比特到第九比特的信息所获取的图像。
第三子图像对应于根据基于12比特原始图像中具有最大数字的比特从第三比特到第十比特的信息所获取的图像。
同时,尽管未示出,但是处理器130可以根据基于12比特原始图像中具有最大数字的比特的从第四比特到第十一比特的信息来获取第四子图像。
另外,处理器130可以获取第五子图像,即,LSB侧图像,其是根据基于12比特原始图像中具有最大数字的比特的从第五比特到第十二比特的信息所获取的。
如上所述,处理器130可以从相同的12比特原始图像获取8比特的第一子图像至第五子图像,即,8比特多层图像。
参照图9a至图9c,在第一区域901包括人行道(其是多个子图像中包括的对象之一)的情况下可以在第一子图像中确保高可见性,在第二区域902的情况下可以在第二子图像中确保高可见性,并且在第三区域903包括行人和路标的情况下可以在第三子图像中确保高可见性。
根据本公开的实施例,如上所述,处理器130可以基于多个子图像来获取在图像中包括的所有区域中具有高可见性的合成图像。
具体地,处理器130可以通过图像传感器110获取12比特原始图像,基于原始图像获取五个8比特子图像,并且在五个子图像中均获取关于子图像中包括的对象的形状的信息。
此外,处理器130可以如上所述基于所识别的信息来获取多个子图像中的至少两个子图像的每个区域的合成权重,并且基于所获取的每个区域的合成权重来获取合成图像。
换句话说,在图4至图7的描述中,已经描述了从原始图像获取两个子图像(即,MSB侧图像和LSB侧图像)的示例性实施例,但是如参考图9a至图9c的描述,可以基于从12比特原始图像获取的五个8比特子图像中的至少两个子图像来获取合成图像。
同时,如图9a至图9b所示,由于对于每个子图像,其对在图像中包括的对象的可见性高的区域是不同的,因此,随着合成基础的子图像的数量增加,整体合成图像的可见性可以更高。
然而,取决于照明环境,合成图像的整体可见性可能不会随着作为合成基础的子图像的数量增加而变高。因此,在本公开的各种实施例中,应当通过考虑各种照明环境以及根据子图像的数量的增加而导致的图像处理时间的变长,来确定作为合成基础的子图像的数量。
图10是示出了根据本公开的实施例的用户命令的输入的视图,该用户命令用于选择原始图像中包括的多个区域中的至少一个区域。
如上所述,当通过图像传感器110获取原始图像时,处理器130可以控制显示器151显示所获取的原始图像。
另外,可以通过用户接口单元170输入用于从在显示器151上显示的原始图像中包括的多个区域中选择至少一个区域1001的用户命令。这里,用户选择的至少一个区域1001可以对应于用户期望确保可见性的区域。
当输入用于从原始图像中包括的多个区域中选择至少一个区域1001的用户命令时,处理器130可以基于关于在被选择的至少一个区域1001中包括的对象的形状的信息,针对多个子图像中的至少两个子图像获取每个区域的合成权重。
具体地,与其他子图像相比,处理器130可以向具有更多信息(关于用户选择的至少一个区域1001中包括的对象的形状的信息)的子图像分配更高的合成权重。因此,处理器130可以获取合成图像,该合成图像能够确保由用户命令选择的区域的更高可见性。
同时,可以通过用户与触摸屏的触摸交互来输入用户命令。在这种情况下,由用户命令选择的至少一个区域1001可以是从输入用户的触摸交互的点起的预定半径内的区域,或者可以是包括多个像素(这些像素在输入用户的触摸交互的点起预定水平长度和预定垂直长度内)的区域。
在上文中,已经例示了通过用户的触摸交互来输入用户命令的情况,但是可以通过各种用户接口单元170以各种方式来输入用户命令。
在上文中,已经举例说明了在显示器151上显示原始图像并且通过用户接口单元170输入用于选择原始图像中包括的多个区域中的至少一个区域的用户命令的情况。然而,根据本公开的另一实施例,从原始图像获取的多个子图像被显示在显示器151上,并且可以通过用户接口单元170输入用户命令,该用户命令选择多个子图像中的至少一个子图像中包括的多个区域中的至少一个区域。
在这种情况下,当通过用户接口单元170输入用于选择多个子图像的至少一个子图像中包括的多个区域中的至少一个区域的用户命令时,处理器130可以针对多个子图像中的至少两个子图像获取每个区域的合成权重。
根据如上所述的本公开的实施例,由于可以通过将能够确保高可见性的子图像的高合成权重分配给由用户命令选择的区域来获取合成图像,所以可以进一步改进用户期望区域的可见性。
图11是示出了根据本公开的电子装置被实现为车辆的一部分的实施例的视图。
根据本公开的电子装置可以被实现为独立的电子装置,诸如相机、智能电话机等,并且可以被实现为车辆、机器人等的一部分。
特别地,如图11所示,根据本公开的电子装置可以被实现为作为车辆的一部分的相机111。车辆可以是自动驾驶车辆。另外,相机111可以以耦接到车辆内部的后视镜的形式实现,以在行驶时识别出现在车辆前方的对象。同时,如上所述,相机111可以包括图像传感器110、存储器120和处理器130。
具体地,根据本公开的实施例,处理器130可以通过图像传感器110获取包括出现在车辆前方的对象的原始图像。
处理器130可以基于每个像素具有第一比特数的原始图像,获取每个像素具有小于第一比特数的第二比特数的多个子图像。
另外,处理器130可以从多个子图像中的每一个子图像中识别关于在多个子图像中包括的对象的形状的信息,并且可以基于识别出的信息来获取多个子图像中的至少两个子图像中的每个区域的合成权重,并且基于所获取的区域的每个区域的合成权重来获取合成图像。
另外,即使当根据本公开的电子装置被实现为车辆的一部分时,也可以类似地应用如上参照图1至图10描述的本公开的各种实施例。
如上所述,当将根据本公开的电子装置实现为车辆,特别是自动驾驶车辆的一部分时,甚至在车辆前方出现对象(诸如车道、行人、车辆等)的情况下,可以平稳地识别诸如夜间、恶劣天气、背光等之类的各种行使环境,从而可以提高车辆的行使稳定性。
图12是示例性地示出了根据本公开的实施例的用于控制电子装置的方法的流程图。
根据本公开的实施例,电子装置可以通过图像传感器110获取对于每个像素具有第一比特数的原始图像(S1201)。
同时,当获取原始图像时,可以基于原始图像获取对于每个像素具有第二比特数(小于第一比特数)的多个子图像(S1202)。多个子图像可以包括基于原始图像获取的最高有效比特(MSB)侧图像和最低有效比特(LSB)侧图像。
当获取多个子图像时,可以从多个子图像中的每一个中识别关于在多个子图像中包括的对象的形状的信息(S1203)。可以基于边缘检测的结果、定向梯度(HOG)值的直方图等来执行信息的识别。
当识别出关于在多个子图像中包括的对象的形状的信息时,可以基于识别出的信息来获取多个子图像中的至少两个子图像的每个区域的合成权重(S1204)。
同时,根据本公开的实施例的控制电子装置的方法还可以包括:当通过图像传感器获取原始图像时,显示获取的原始图像。
当输入用于选择所显示的原始图像中包括的多个区域中的至少一个区域的用户命令时,可以基于关于从多个子图像中选择的至少一个区域中包括的对象的形状的信息,来获取多个子图像中的至少两个子图像的每个区域的合成权重。
同时,当获取多个子图像中的至少两个子图像的每个区域的合成权重时,可以基于所获取的每个区域的合成权重来获取合成图像(S1205)。
图13是示出了根据本公开实施例的控制电子装置的方法的详细流程图。
根据本公开的实施例,当获取12比特原始图像时(S1301),可以基于12比特原始图像来获取8比特的MSB侧图像和LSB侧图像(S1302)。
当获取了MSB侧图像和LSB侧图像时,可以获取针对所获取的MSB侧图像和LSB侧图像中的每一个的灰度图像(S1303)。换句话说,通过将MSB侧图像和LSB侧图像(被获取为彩色图像)转换为灰度图像,可以减少图像处理的计算量。
当获取灰度图像时,可以对获取的灰度图像中包括的每个像素进行区块化(S1304)。例如,可以通过将在灰度的MSB侧图像和LSB侧图像中的每一个中包括的1280×720像素区块化为被包括在32×18块中,来提高图像处理的效率和速度。
当每个像素被区块化时,可以为每个块识别关于在MSB侧图像和LSB侧图像中包括的对象的形状的信息(S1305)。可以基于诸如边缘检测、直方图特征检测、角检测等之类的各种方法来执行每个块信息的识别。
当识别出关于每个块的对象的形状的信息时,可以基于所识别的信息来获取针对MSB侧图像和LSB侧图像的每个块的合成权重(S1306)。具体地,可以在针对每个块获取合成权重时,将较高的合成权重分配给能够确保对于MSB侧图像或LSB侧图像的特定区域具有高可见性的图像。
当获取了每个块的合成权重时,可以基于所获取的每个块的合成权重来获取合成图像(S1307)。换句话说,与原始图像相比,可以获取对于图像中包括的所有区域具有高可见性的合成图像。
根据上述各种示例性实施例的控制电子装置的方法可以被实现为程序并且被提供在用户终端设备中。特别地,可以将包括根据示例性实施例的用于控制显示装置的方法的程序存储在非暂时性计算机可读介质中并在其中提供。
非暂时性计算机可读记录介质是指存储数据并且可以被设备读取的介质。详细地,上述各种应用或程序可以被存储在非暂时性计算机可读介质中,例如,可以提供为致密盘(CD)、数字多功能盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
根据如上所述的本公开的各种实施例,从原始图像中获取其比特数小于原始图像的比特数的多个子图像,并且可以基于多个子图像中包括的对象的形状的信息,来获取能够确保所有包括的区域的可见性的合成图像。另外,由于根据本公开的合成图像是基于一个原始图像获取的,因此可以根据本公开来解决运动伪像(其被指出为现有技术的缺显)的问题。
前述示例性实施例和优点仅是示例性的,并且不应被解释为限制本公开。本教导可以容易地应用于其他类型的装置。另外,本公开的示例性实施例的描述旨在是说明性的,而不是限制权利要求的范围,并且许多替代形式、修改形式和变化形式对于本领域技术人员将是显而易见的。
Claims (14)
1.一种电子装置,所述电子装置包括:
图像传感器;
存储器,所述存储器包括至少一个指令;以及
处理器,所述处理器被配置为控制所述电子装置并且被耦接至所述图像传感器和所述存储器,
其中,所述处理器被配置为:
通过所述图像传感器获取每个像素具有第一比特数的原始图像,基于所述原始图像,获取每个像素具有第二比特数的多个子图像,所述第二比特数小于所述第一比特数,
从所述多个子图像中的每一个中识别关于在所述多个子图像中包括的对象的形状的信息,
基于所识别出的信息,针对所述多个子图像中的两个子图像获取每个区域的合成权重,并且
基于每一个所获取的区域的合成权重来获取合成图像。
2.根据权利要求1所述的装置,其中,所述多个子图像包括基于所述原始图像获取的最高有效比特(MSB)侧图像和最低有效比特(LSB)侧图像。
3.根据权利要求2所述的装置,其中,所述处理器被配置为:针对所述多个子图像中的每个子图像获取灰度图像;对在所述获取的灰度图像中包括的每个像素进行区块化;以及根据所述区块化针对每个块来识别关于所述多个子图像中包括的对象的形状的信息。
4.根据权利要求3所述的装置,其中,所述处理器被配置为:基于针对每个块所识别出的信息,针对所述多个子图像中的至少两个子图像,获取每个块的合成权重。
5.根据权利要求1所述的装置,其中,所述处理器被配置为:通过边缘检测来识别关于在所述多个子图像中包括的对象的形状的信息。
6.根据权利要求1所述的装置,其中,所述处理器被配置为:基于定向梯度(HOG)值的直方图来识别关于在所述多个子图像中包括的对象的形状的信息。
7.根据权利要求1所述的装置,还包括:
显示器;以及
用户接口单元,
其中,所述处理器被配置为:
基于通过所述图像传感器获取的原始图像,控制所述显示器显示所述获取的原始图像,以及
基于用于从所述显示的原始图像中包括的多个区域中选择至少一个区域的用户命令被通过所述用户接口单元输入,根据关于所述多个子图像中的所述选择的区域中的至少一个区域中包括的对象的形状的信息,针对所述多个子图像中的两个子图像来获取每个区域的合成权重。
8.一种控制电子装置的方法,所述方法包括:
通过所述图像传感器获取每个像素具有第一比特数的原始图像;
基于所述原始图像,获取每个像素具有第二比特数的多个子图像,所述第二比特数小于所述第一比特数;
从所述多个子图像中的每一个中识别关于在所述多个子图像中包括的对象的形状的信息;
基于所述识别出的信息,针对所述多个子图像中的两个子图像获取每个区域的合成权重;以及
基于每一个所获取的区域的合成权重来获取合成图像。
9.根据权利要求8所述的方法,其中,所述多个子图像包括基于所述原始图像获取的最高有效比特(MSB)侧图像和最低有效比特(LSB)侧图像。
10.根据权利要求9所述的方法,进一步包括:
针对所述多个子图像中的每一个子图像获取灰度图像;以及
对所述获取的灰度图像中包括的每个像素进行区块化,并且
其中,识别所述信息包括根据所述区块化针对每个块来识别关于在所述多个子图像中包括的对象的形状的信息。
11.根据权利要求10所述的方法,其中,获取所述区域中的每个区域的合成权重包括:基于针对每个块所识别出的信息,针对所述多个子图像中的至少两个子图像,获取每个块的合成权重。
12.根据权利要求8所述的方法,其中,识别所述信息包括:通过边缘检测来识别关于在所述多个子图像中包括的对象的形状的信息。
13.根据权利要求8所述的方法,其中,识别所述信息包括:基于定向梯度(HOG)值的直方图来识别关于在所述多个子图像中包括的对象的形状的信息。
14.根据权利要求8所述的方法,进一步包括:
基于通过所述图像传感器获取的原始图像,显示所述获取的原始图像,
其中,获取所述区域中的每个区域的合成权重包括:基于用于从所述显示的原始图像中包括的多个区域中选择至少一个区域的用户命令被输入,根据关于所述多个子图像中的所述选择的区域中的至少一个区域中包括的对象的形状的信息,针对所述多个子图像中的两个子图像来获取每个区域的合成权重。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180127399A KR102569375B1 (ko) | 2018-10-24 | 2018-10-24 | 전자 장치 및 전자 장치의 제어 방법 |
KR10-2018-0127399 | 2018-10-24 | ||
PCT/KR2019/013354 WO2020085696A1 (ko) | 2018-10-24 | 2019-10-11 | 전자 장치 및 전자 장치의 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112655015A true CN112655015A (zh) | 2021-04-13 |
Family
ID=70331584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980057700.5A Pending CN112655015A (zh) | 2018-10-24 | 2019-10-11 | 电子装置及控制该电子装置的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11928797B2 (zh) |
EP (1) | EP3839881A4 (zh) |
KR (1) | KR102569375B1 (zh) |
CN (1) | CN112655015A (zh) |
WO (1) | WO2020085696A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11587213B1 (en) * | 2021-11-05 | 2023-02-21 | GM Cruise Holdings LLC. | Preserving dynamic range in images |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020135703A1 (en) * | 1999-12-17 | 2002-09-26 | Robot Foto Und Electronic Gmbh | Image detecting system |
US20110176024A1 (en) * | 2010-01-15 | 2011-07-21 | Samsung Electronics Co., Ltd. | Image Fusion Apparatus and Method |
CN102457669A (zh) * | 2010-10-15 | 2012-05-16 | 华晶科技股份有限公司 | 图像处理方法 |
US20140325439A1 (en) * | 2013-04-24 | 2014-10-30 | Samsung Electronics Co., Ltd. | Method for outputting image and electronic device thereof |
US20160180541A1 (en) * | 2014-12-19 | 2016-06-23 | Apical Limited | Sensor noise profile |
WO2017196670A1 (en) * | 2016-05-13 | 2017-11-16 | Vid Scale, Inc. | Bit depth remapping based on viewing parameters |
CN107665485A (zh) * | 2016-07-29 | 2018-02-06 | 三星电子株式会社 | 用于显示图形对象的电子装置和计算机可读记录介质 |
US20180084180A1 (en) * | 2016-09-19 | 2018-03-22 | Samsung Electronics Co., Ltd. | Display apparatus and method of processing image thereof |
KR101866676B1 (ko) * | 2017-01-03 | 2018-06-12 | 중앙대학교 산학협력단 | 다중 파장 영상을 이용한 객체 인식 장치 및 방법 |
US20180165809A1 (en) * | 2016-12-02 | 2018-06-14 | Panagiotis Stanitsas | Computer vision for cancerous tissue recognition |
CN108259774A (zh) * | 2018-01-31 | 2018-07-06 | 珠海市杰理科技股份有限公司 | 图像合成方法、***和设备 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010067778A (ko) * | 2001-03-23 | 2001-07-13 | 원치선 | 영상/비디오 처리 방법 및 영상/비디오 객체 분할 방법 |
WO2003083773A2 (en) | 2002-03-27 | 2003-10-09 | The Trustees Of Columbia University In The City Of New York | Imaging method and system |
US6784898B2 (en) * | 2002-11-07 | 2004-08-31 | Duke University | Mixed mode grayscale method for display system |
JP4434155B2 (ja) | 2006-02-08 | 2010-03-17 | ソニー株式会社 | 符号化方法、符号化プログラムおよび符号化装置 |
KR100824698B1 (ko) | 2006-08-25 | 2008-04-24 | 인하대학교 산학협력단 | 이미지 검색기의 적합성 피드백을 위한 공간 위치정보 기반영역 가중치 방법 |
JP2009017474A (ja) | 2007-07-09 | 2009-01-22 | Fujitsu Ten Ltd | 画像処理装置および画像処理方法 |
US8072503B2 (en) | 2007-10-23 | 2011-12-06 | At&T Intellectual Property I, L.P. | Methods, apparatuses, systems, and computer program products for real-time high dynamic range imaging |
CA2714492C (en) | 2008-02-08 | 2014-07-15 | Google, Inc. | Panoramic camera with multiple image sensors using timed shutters |
DE102008032686B4 (de) * | 2008-07-06 | 2020-07-16 | Dürr Dental SE | Verfahren zur Verbesserung des Kontrastes von Bildern, insbesondere Grauwertbildern und Vorrichtung zu seiner Durchführung |
KR100990904B1 (ko) | 2008-11-12 | 2010-11-01 | 한국과학기술원 | 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법 |
JP5599572B2 (ja) | 2009-03-12 | 2014-10-01 | 富士フイルム株式会社 | 症例画像検索装置、方法およびプログラム |
JP2011254340A (ja) | 2010-06-03 | 2011-12-15 | Hitachi Ltd | 撮像装置 |
KR101714641B1 (ko) | 2010-12-29 | 2017-03-09 | 엘지이노텍 주식회사 | 이미지의 선명도 증강이 가능한 카메라, 이미지의 선명도 증강방법 및 그 기록매체 |
JP5713752B2 (ja) | 2011-03-28 | 2015-05-07 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
KR101843450B1 (ko) | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
JP5713885B2 (ja) | 2011-12-26 | 2015-05-07 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
US9137451B2 (en) | 2012-03-09 | 2015-09-15 | Htc Corporation | Electronic apparatus and adjustment method thereof |
JP6259185B2 (ja) | 2012-12-21 | 2018-01-10 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
US9615012B2 (en) | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
WO2015081562A1 (zh) | 2013-12-06 | 2015-06-11 | 华为终端有限公司 | 一种终端及图像处理方法、图像采集方法 |
TWI530911B (zh) | 2014-02-25 | 2016-04-21 | 宏碁股份有限公司 | 動態曝光調整方法及其電子裝置 |
JP2015207861A (ja) | 2014-04-18 | 2015-11-19 | コニカミノルタ株式会社 | 撮像装置および撮像方法 |
KR101579098B1 (ko) | 2014-05-23 | 2015-12-21 | 엘지전자 주식회사 | 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량 |
KR101631439B1 (ko) | 2014-05-29 | 2016-06-17 | 엘지전자 주식회사 | 카메라, 및 이를 구비한 차량 |
US9704250B1 (en) | 2014-10-30 | 2017-07-11 | Amazon Technologies, Inc. | Image optimization techniques using depth planes |
JP6511283B2 (ja) | 2015-02-12 | 2019-05-15 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
JP6620534B2 (ja) | 2015-03-25 | 2019-12-18 | 株式会社Jvcケンウッド | 表示装置 |
JP2017028490A (ja) | 2015-07-22 | 2017-02-02 | ルネサスエレクトロニクス株式会社 | 撮像センサ及びセンサモジュール |
KR102327842B1 (ko) | 2015-08-17 | 2021-11-18 | 삼성전자주식회사 | 촬영 장치 및 그 제어 방법 |
JP2017112457A (ja) | 2015-12-15 | 2017-06-22 | オリンパス株式会社 | 撮像装置、撮像プログラム、撮像方法 |
CN108141543B (zh) | 2016-08-17 | 2020-09-29 | 谷歌有限责任公司 | 用于跟踪实体的***、方法和介质 |
KR20180023644A (ko) | 2016-08-26 | 2018-03-07 | 삼성전기주식회사 | 이미지 센서 및 이를 포함하는 카메라 모듈 |
JP2018074417A (ja) | 2016-10-31 | 2018-05-10 | オリンパス株式会社 | 撮像装置 |
CN107045715B (zh) | 2017-02-22 | 2019-06-07 | 西南科技大学 | 一种单幅低动态范围图像生成高动态范围图像的方法 |
KR20180097966A (ko) | 2017-02-24 | 2018-09-03 | 삼성전자주식회사 | 자율 주행을 위한 영상 처리 방법 및 장치 |
KR102392751B1 (ko) | 2017-03-07 | 2022-04-29 | 삼성전자 주식회사 | 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법 |
US10084967B1 (en) | 2017-03-24 | 2018-09-25 | Qualcomm Incorporated | Systems and methods for regionally controlling exposure time in high dynamic range imaging |
KR102479492B1 (ko) | 2018-01-08 | 2022-12-20 | 삼성전자주식회사 | 차량 주변의 이미지를 제공하는 전자 장치 및 방법 |
US10630903B2 (en) | 2018-01-12 | 2020-04-21 | Qualcomm Incorporated | Systems and methods for image exposure |
-
2018
- 2018-10-24 KR KR1020180127399A patent/KR102569375B1/ko active IP Right Grant
-
2019
- 2019-10-11 EP EP19876463.1A patent/EP3839881A4/en active Pending
- 2019-10-11 CN CN201980057700.5A patent/CN112655015A/zh active Pending
- 2019-10-11 WO PCT/KR2019/013354 patent/WO2020085696A1/ko unknown
- 2019-10-11 US US17/278,471 patent/US11928797B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020135703A1 (en) * | 1999-12-17 | 2002-09-26 | Robot Foto Und Electronic Gmbh | Image detecting system |
US20110176024A1 (en) * | 2010-01-15 | 2011-07-21 | Samsung Electronics Co., Ltd. | Image Fusion Apparatus and Method |
CN102457669A (zh) * | 2010-10-15 | 2012-05-16 | 华晶科技股份有限公司 | 图像处理方法 |
US20140325439A1 (en) * | 2013-04-24 | 2014-10-30 | Samsung Electronics Co., Ltd. | Method for outputting image and electronic device thereof |
US20160180541A1 (en) * | 2014-12-19 | 2016-06-23 | Apical Limited | Sensor noise profile |
WO2017196670A1 (en) * | 2016-05-13 | 2017-11-16 | Vid Scale, Inc. | Bit depth remapping based on viewing parameters |
CN107665485A (zh) * | 2016-07-29 | 2018-02-06 | 三星电子株式会社 | 用于显示图形对象的电子装置和计算机可读记录介质 |
US20180084180A1 (en) * | 2016-09-19 | 2018-03-22 | Samsung Electronics Co., Ltd. | Display apparatus and method of processing image thereof |
US20180165809A1 (en) * | 2016-12-02 | 2018-06-14 | Panagiotis Stanitsas | Computer vision for cancerous tissue recognition |
KR101866676B1 (ko) * | 2017-01-03 | 2018-06-12 | 중앙대학교 산학협력단 | 다중 파장 영상을 이용한 객체 인식 장치 및 방법 |
CN108259774A (zh) * | 2018-01-31 | 2018-07-06 | 珠海市杰理科技股份有限公司 | 图像合成方法、***和设备 |
Non-Patent Citations (2)
Title |
---|
DASTANOVA,NAZGUI, ET AL.: "Bit-plane extracted moving-object detection using memristive crossbar-cam arrays for edge computing image devices", 《IEEE ACCESS 6》, pages 18954 - 18966 * |
李卫国;叶高生;黄锋;王世坤;常文治;: "基于改进MPEG-7纹理特征的绝缘子图像识别", 高压电器, no. 10 * |
Also Published As
Publication number | Publication date |
---|---|
EP3839881A4 (en) | 2021-11-10 |
WO2020085696A1 (ko) | 2020-04-30 |
US20220036522A1 (en) | 2022-02-03 |
US11928797B2 (en) | 2024-03-12 |
EP3839881A1 (en) | 2021-06-23 |
KR20200046354A (ko) | 2020-05-07 |
KR102569375B1 (ko) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109076159B (zh) | 电子设备及其操作方法 | |
CN112840376B (zh) | 一种图像处理方法、装置与设备 | |
CN109961453B (zh) | 一种图像处理方法、装置与设备 | |
US10742892B1 (en) | Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device | |
WO2016101883A1 (zh) | 一种即时视频中的人脸美化方法和电子设备 | |
US11095829B2 (en) | Apparatus and method for high dynamic range (HDR) image creation of dynamic scenes using graph cut-based labeling | |
CN110084204B (zh) | 基于目标对象姿态的图像处理方法、装置和电子设备 | |
CN109413399B (zh) | 使用深度图合成对象的装置及其方法 | |
KR20190037842A (ko) | 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치 | |
JP2016142988A (ja) | 表示装置及び表示制御プログラム | |
US10755114B1 (en) | Efficient two-stage object detection scheme for embedded device | |
CN112655015A (zh) | 电子装置及控制该电子装置的方法 | |
US10896344B2 (en) | Information processing apparatus, information processing method, and computer program | |
KR102592061B1 (ko) | 전자 장치 및 전자 장치의 이미지 처리 방법 | |
US20230156349A1 (en) | Method for generating image and electronic device therefor | |
EP4158586A1 (en) | A computer software module arrangement, a circuitry arrangement, an arrangement and a method for improved image processing | |
CN114830626A (zh) | 摄像装置、摄像装置的工作方法、程序及摄像*** | |
WO2019058121A1 (en) | METHOD AND SYSTEM FOR ENHANCING IMAGE | |
CN102654919A (zh) | 图像加工装置及图像加工方法 | |
RU2791810C2 (ru) | Способ, аппаратура и устройство для обработки и изображения | |
KR20240066223A (ko) | 투명 배경 이미지의 화질을 분석 및 개선하는 전자 장치, 동작 방법, 및 저장 매체 | |
JP2016115226A (ja) | 特徴量抽出装置、認識装置、情報処理システム、特徴量抽出方法およびプログラム | |
KR20240035272A (ko) | 프레임들의 합성에 기반하여 이미지를 획득하기 위한 전자 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |