CN103096094A - 视觉识别装置和方法 - Google Patents
视觉识别装置和方法 Download PDFInfo
- Publication number
- CN103096094A CN103096094A CN2012104198385A CN201210419838A CN103096094A CN 103096094 A CN103096094 A CN 103096094A CN 2012104198385 A CN2012104198385 A CN 2012104198385A CN 201210419838 A CN201210419838 A CN 201210419838A CN 103096094 A CN103096094 A CN 103096094A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixels
- digital signal
- vision
- visual identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims description 123
- 238000012545 processing Methods 0.000 claims description 36
- 206010034972 Photosensitivity reaction Diseases 0.000 claims description 9
- 230000036211 photosensitivity Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 229910044991 metal oxide Inorganic materials 0.000 claims description 2
- 150000004706 metal oxides Chemical class 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
用于图像捕获的普通图像传感器中的一些像素被指定为用于视觉识别的视觉像素。在视觉识别模式中使用仅从视觉像素获得的光学信息进行视觉识别。在图像拍摄模式中基于从图像数据中的全部像素获得的光学信息来生成捕获图像数据。除了用于将图像传感器中的全部像素的光学信息转换为数字信号的数字信号转换器以外，单独地提供用于将仅从视觉像素获得的光学信息转换为数字信号的数字信号转换器。
Description
技术领域
本发明大致涉及视觉识别，且更具体地涉及一种低功耗地执行用于视觉识别的图像处理的图像生成装置和方法。
背景技术
由于数码相机的小型化及图像处理技术的发展，各种数字设备拥有图像捕获功能。例如，将数码相机置于诸如移动电话、手持式电视、便携式个人电脑、笔记本电脑、数字音频播放器和便携式多媒体播放器（PMP）的数字设备中，从而能够进行图像捕获。数字设备可以在预览模式、静止图像拍摄模式或者视频拍摄模式下操作，以进行图像捕获。
数字设备中的数码相机可用于图像捕获，并且也可用于针对输入信息的视觉识别功能。换句话说，数字设备可以从由它们的数码相机捕获的静止图像、预览图像和视频中提取图像信息，并且使用所提取的图像信息作为用户机器接口（UMI）数据。
图1图示了视觉识别，其中笔记本电脑的屏幕根据用户手的移动而移动。
参考图1，笔记本电脑从预览图像中提取用户手的移动，并且通过将所提取的用户手的移动与显示信息组合，根据用户手的移动改变它的屏幕上显示的数据。
数字设备会消耗大量功率，因为它们要从数码相机的预览模式、静止图像拍摄模式和视频拍摄模式中捕获的图像中提取用于视觉识别的信息。由于大量的功耗，视觉识别技术的应用可以将便携式数字设备折衷为用户接口。
另外，数字设备将要从比所需要的更多的图像像素的光学信息中提取用于视觉识别的信息，因为它们使用用于视觉识别的捕获的图像，这导致计算时间和功耗增加。为了弥补这些不足，可以减小从图像像素获得的信息量。然而，在这种情况下，可能会令人不期望地增加不必要的操作。由于需要长时间来输出关于许多图像像素的信息，因此这种方法无法应用于需要非常快速的响应速度的用户接口。
而且，因为数字设备使用用于图像捕获的图像传感器，因此它们使用被滤色片过滤到大约1/3或更少的光能，这导致低光性能恶化。
发明内容
本发明的实施例的一方面是提供一种能够使用一个图像传感器低功耗地进行图像捕获和视觉识别的装置和方法。
本发明的实施例的另一方面是提供一种通过提供被优化用于视觉识别的图像传感器而使能高速视觉识别计算并且还使能正常图像捕获的装置和方法。
根据本发明的一方面，提供了一种数字设备中的视觉识别装置，包括：图像传感器，其中多个像素的一部分被指定为视觉像素；第一数字信号转换器，用于将从每个视觉像素输出的信号转换为数字信号；第二数字信号转换器，用于将从全部像素中每一个输出的信号转换为数字信号；和集成图像处理器，其在视觉识别模式中通过处理从第一数字信号转换器输出的信号而生成用于视觉识别的识别图像数据，并且在拍摄模式中通过处理从第二数字信号转换器输出的信号而生成捕获图像数据。
根据本发明的一方面，提供了一种数字设备中的利用图像传感器的视觉识别方法，所述方法包括：确定操作模式是否为视觉识别模式；如果操作模式为视觉识别模式，则通过处理从第一数字信号转换器输出的信号而生成识别图像数据，该第一数字信号转换器将从包括图像传感器中的一些像素的每个视觉像素输出的信号转换为数字信号；通过识别并检测识别图像数据中包括的特定对象而进行视觉识别；和如果操作模式是拍摄模式，则通过第二数字信号转换器处理根据特定分辨率从全部像素中选择的像素输出的信号，生成捕获图像数据，该第二数字信号转换器将从全部像素中的每个像素输出的信号转换为数字信号。
根据本发明的一方面，提供了一种移动终端中的使用图像传感器的低功率视觉识别方法，所述方法包括：接收来自图像传感器的图像；提取输入到包括图像传感器中的一些像素的视觉像素的识别图像；和对输入到视觉像素的识别图像中包括的对象进行视觉识别。
附图说明
从结合附图阅读的下列描述中，本发明某些实施例的上面和其他方面、特征和优点将更加明显，附图中：
图1图示了传统的视觉识别；
图2图示了根据本发明实施例的数字设备；
图3图示了根据本发明实施例的数字信号转换器；
图4图示了根据本发明实施例的图像传感器；
图5图示了根据本发明实施例的数字设备的操作；
图6图示了根据本发明实施例的感光度（sensitivity）增强的被视觉识别的图像；
图7图示了根据本发明实施例的捕获的图像；和
图8图示了根据本发明实施例的视觉识别处理。
贯穿附图，相同的附图标记将会理解为指代相同的元件、特征和结构。
具体实施方式
现在将参考附图来详细描述本发明的实施例。在下面的描述中，仅仅提供诸如详细配置和组件的特定细节来辅助全面理解本发明实施例。因此，本领域普通技术人员将会明白，可以进行此处描述的实施例的各种变化和修改，而不背离本发明的范畴和精神。另外，为了清晰简洁原因而省略公知功能和构造的描述。
根据本发明的实施例，使用数字设备中的数码相机或者连接到该数字设备的数码相机，数字设备可以从由该数码相机捕获的图像中提取视觉识别信息，并且基于所提取的信息在它的用户与数字设备之间进行诸如信息输入和情形（situation）识别的功能，所述数字设备例如移动电话、手持式电视机、便携式个人电脑、笔记本电脑、数字音频播放器和PMP。具体地，本发明的实施例提供了一种图像传感器，其被优化用于视觉识别并且能够以高性能进行正常图像捕获，能够低功耗地优化视觉识别。
更具体地，用于图像捕获的普通图像传感器中的一些像素被指定为用于视觉识别的视觉像素。在视觉识别模式中，使用仅从视觉像素获得的光学信息用以视觉识别。在图像拍摄模式中，使用从图像传感器中的全部像素或者从基于图像的分辨率选择的像素获得的光学信息来生成图像数据。被指定为视觉像素的像素的数量可以大于或等于用于正常视觉识别的像素的最小数量。
除了用于将图像传感器中的全部像素的光学信息转换为数字信号的数字信号转换器以外，本发明可以单独地提供用于将仅从视觉像素获得的光学信息转换为数字信号的数字信号转换器。而且，本发明可以单独地提供用于处理从针对视觉识别的数字信号转换器输出的信号的图像处理器和用于处理从针对图像捕获的数字转换器输出的信号的图像处理器。
用于视觉识别的数字信号转换器的输出位的数量、以及用于视觉识别的图像数据的分辨率和帧数量被确定将被针对视觉识别进行优化，与处理针对图像捕获的图像数据相比，能够快速执行低功耗的视觉识别。
更具体地，具有根据本发明实施例的图像传感器的移动终端使用图像传感器接收图像数据，提取输入到包括图像传感器中的一些像素的视觉像素的识别图像数据，并且对输入到视觉像素的识别图像数据中包括的对象进行视觉识别。
为了简洁原因，与普通相片、视频和预览图像相关的图像数据此处将被称作“捕获图像数据”，并且为视觉识别而生成的或者在视觉识别中使用的图像数据将被称作“识别图像数据”。
图2图示了根据本发明的实施例的数字设备。参考图2，数字设备包括镜头10、红外线（IR）滤光片20、图像传感器30、第一数字信号转换器40、第二数字信号转换器70、控制器90、第一图像处理器50、第二图像处理器80、视觉识别处理器60、传感器控制器100和读出电路110，并且可以进一步包括存储器和显示器，尽管他们未被图示。该数字设备可以例如是移动电话、手持式电视机、便携式个人电脑、笔记本电脑、数字音频播放器或PMP。
读出电路110、第一数字信号转换器40、第一图像处理器50和视觉识别处理器60构成用于生成识别图像数据并且基于识别图像数据而进行视觉识别的组成部件。第二数字信号转换器70和第二图像处理器80构成用于生成捕获图像数据的组成部件。
IR滤光片20阻挡或过滤来自通过镜头10接收的光的红外线。控制器90控制数字设备的整体操作。例如，控制器90设置数字设备中的任何一种操作模式，例如拍摄模式和视觉识别模式。根据所设置的操作模式，控制器90控制传感器控制器100、图像传感器30、第一数字信号转换器40、第二数字信号转换器70、第一图像处理器50、第二图像处理器80和视觉识别处理器60的操作。
拍摄模式，一种用于使用上述组件生成诸如快照的传统静止图像或者生成视频的操作模式，可被细分为静止图像拍摄模式、预览模式和视频拍摄模式。
视觉识别模式用于根据所生成的识别图像数据来检测并识别特定对象或特定对象的移动，并且根据识别结果进行特定操作。基于视觉识别模式的功能可以包括例如视觉识别用户界面、增扩真实感（augmented reality）、面部识别、姿势识别和屏幕更改检测用户界面。操作中，例如，在视觉识别模式中，数字设备可以根据识别图像数据来检测用户手的移动并且进行对应于检测到的用户手的移动的特定命令。否则，数字设备可以通过基于对用户面部拍照获得的识别图像数据进行面部识别来进行用户验证。
在控制器90的特定操作模式控制下，传感器控制器100改变图像传感器30的操作参数的设置，并且控制相关的图像传感器像素。操作参数例如是用于确定通过实际图像捕获生成的图像数据的分辨率、曝光时间、增益和帧速率的值。
在拍摄模式中，如果确定各个操作参数的值来生成具有特定大小和分辨率的快照数据、预览图像数据或视频数据，则传感器控制器100设置图像传感器30中的具有所确定的值的操作参数。传感器控制器100可以根据所确定的分辨率来选择并激活将要在图像传感器30中使用的图像传感器像素。
控制器90控制第二数字信号转换器70和第二图像处理器80来生成捕获图像数据。
在视觉识别模式中，根据专用于视觉识别处理的识别图像数据的格式来确定操作参数的值。换句话说，根据在视觉识别处理期间应当保密的识别图像数据的分辨率和帧速率来确定操作参数的值。传感器控制器100设置图像传感器30中的操作参数以便具有在视觉识别模式中确定的值。传感器控制器100激活图像传感器30中的视觉像素。在这种情况下，传感器控制器100以低功率模式操作。
此处，传感器控制器100被提供用来选择性地以拍摄模式或视觉识别模式操作。然而，可替换地，数字设备可以包括用于在视觉识别模式中控制图像传感器30的第一传感器控制器和用于在拍摄模式中控制图像传感器30的第二传感器控制器。在这种情况下，与第二传感器控制器相比，第一传感器控制器被实现来低功耗地操作，因为第一传感器控制器仅控制视觉像素。
控制器90控制读出电路110、第一数字信号转换器40和第一图像处理器50来生成识别图像数据。
图像传感器30是这样一种设备，即，其中如果光通过滤色片输入到光学传导器，则光学传导器中出现的电子和空穴根据光的波长和强度而变化，并且该设备在电平使能信号处理中输出电子和空穴的变化作为电压信号。根据它们的类型，图像传感器通常分为电荷耦合器件（CCD）图像传感器和互补金属氧化物半导体（CMOS）图像传感器。
图像传感器30包括单元像素，并且可以由其中多个图像传感器像素以列和行排列以获得标准化图像的图像传感器阵列组成。图像传感器30包括Bayer（拜耳）图案的滤色片，其实现以初始全部颜色通过透镜10接收的光，并且图4中所示的图像传感器30是其顶视图。Bayer图案自从在1970年被公开以来就已经是数字图像的相当重要的原理。该原理基于以下事实：自然存在的真实图像并不包括点（或像素），然而数字图像必须用点来实现。为了通过收集目标图像的亮度和颜色使得图像由点组成，在二维平面上排列用于接收红（R）、绿（G）和蓝（B）（下面为R、G和B）中每一个的亮度的滤光片，这称作Bayer图案。在Bayer图案滤色片下形成栅格网络的像素仅识别R、G和B颜色中的它们指定的颜色，而不是识别全部颜色，随后通过内插识别出的颜色而推断出全部颜色。
从构成图像传感器30的多个像素输出的信号可被输入到第二数字信号转换器70。输入到第二数字信号转换器70的包括光学信息的模拟信号被转换为数字信号，并且被输出到第二图像处理器80，该第二图像处理器80执行用于生成捕获图像数据的信号处理。
根据本发明的实施例，多个像素中的一些像素被指定为视觉像素。视觉像素是用于生成针对视觉识别使用的图像数据的像素，并且从视觉像素输出的信号可被输出到第二数字信号转换器70并且也可通过读出电路100被输入到第一数字信号转换器40。被指定为视觉像素的像素的数量可以大于或等于可以生成针对正常视觉识别的识别图像数据的像素的最小数量。
读出电路110连接到每个视觉像素，从而视觉像素的输出信号可被输入到第一数字信号转换器40。
构成图像传感器30的多个像素中的任一像素可被用作视觉像素。视觉识别中使用的识别图像数据不必以初始全部颜色来表示，因为其目的是检测并识别图像数据中包括的特定对象。可以生成识别图像数据以便于对象的检测和识别。因此，更有效的是，视觉像素被配置成甚至在低亮度时具有高感光度特性。
例如，视觉像素可以仅包括在接收R、G和B颜色的亮度的像素当中具有较高感光度特性的绿色像素。
作为另一个示例，视觉像素可以包括高感光度白色像素，其可以通过从Bayer图案中去除它的滤色片来实现。在这种情况下，进行像素内插以便防止从白色像素获得的光学信息用作生成捕获图像数据期间的缺陷，因此甚至在捕获图像数据中也可以使用从视觉像素获得的光学信息。
因为白色像素在噪声水平上优于绿色像素，因此与使用绿色像素作为视觉像素相比，使用白色像素作为视觉像素可以提高低光感光度。这种比较如图6中图示，图6图示了其中绿色像素用作视觉像素的第一识别图像210和其中白色像素用作视觉像素的第二识别图像220。
在包括各种颜色的像素的图像传感器中，具有更高感光度特性的颜色的像素被指定为视觉像素，因此在本发明的实施例中可利用单色识别图像数据来进行视觉识别。
使用接收R、G和B颜色的亮度的像素，并且两个像素值可被用作一个像素值。
图4图示了根据本发明实施例的当白色像素用作视觉像素时的图像传感器30的图像传感器阵列。
参考图4，图像传感器阵列包括红色像素、绿色像素、蓝色像素和白色像素。红色像素、绿色像素、蓝色像素和白色像素的输出值被输入到第二数字信号转换器70。在它们当中，白色像素的输出值经由读出电路110甚至被输入到第一数字信号转换器40。在图4中，出于简洁原因，简化了实线所示的读出电路110。
第一数字信号转换器40和第二数字信号转换器70中的每一个将从图像传感器30中的像素接收的模拟信号转换为数字信号。
第一数字信号转换器40将从视觉像素接收的模拟信号转换为数字信号并且将它们输出到第一图像处理器50以便生成识别图像数据。第二数字信号转换器70将从图像传感器30中的全部像素接收的模拟信号转换为数字信号并且将它们输出到第二图像处理器80以便生成捕获图像数据。
第一数字信号转换器40的输出位的数量被确定为针对视觉识别被优化，并且第一数字信号转换器40在输出位的数量方面少于第二数字信号转换器70，因为输入到第一数字信号转换器40的像素输出的数量少于输入到第二数字信号转换器70的像素输出的数量。因此，第一数字信号转换器40比第二数字信号转换器70消耗更少的功率。
针对图像传感器30，根据它们的类型，图像传感器可分为CCD图像传感器和CMOS图像传感器。如果图像传感器30是CMOS图像传感器，则第一数字信号转换器40和第二数字信号转换器70可以包括相关双取样（CDS）单元，如图3中图示。
图3图示了当图像传感器30是CMOS图像传感器时的第一数字信号转换器40。
参考图3，第一数字信号转换器40包括CDS单元41和模数转换器（ADC）单元42。
如果图像传感器30是CMOS图像传感器，则它的图像传感器阵列包括以二维矩阵形式排列的多个像素。多个像素中的每个像素基于用于选择像素的选择信号而输出重置信号和检测信号。因此，CDS单元41接收对应于视觉像素的检测信号和重置信号，通过CDS取样接收到的信号而生成模拟图像信号，并且将模拟图像信号输出到ADC单元42，该ADC单元42将从CDS单元41接收的模拟图像信号转换为数字图像信号，并且将它们输出到第一图像处理器50。
如果图像传感器30是CMOS图像传感器，则第二数字信号转换器70也可被配置成类似于第一数字信号转换器40。然而，第一数字信号转换器40中包括的CDS单元41被配置成取样仅从视觉像素输出的信号，而第二数字信号转换器70中包括的CDS单元可被配置成取样从图像传感器30中的全部像素输出的信号。
因此，第一数字信号转换器40中包括的CDS单元41比第二数字信号转换器70中包括的CDS单元消耗更少的功率。
第一图像处理器50处理从第一数字信号转换器40接收的数字信号，以识别图像格式生成识别图像数据，并且将识别图像数据输出到视觉识别处理器60。
视觉识别处理器60基于识别图像数据进行各种视觉识别功能。换句话说，视觉识别处理器60从识别图像数据中检测并识别特定对象或特定对象的移动，并且协同控制器90根据识别结果进行特定操作。
第二图像处理器80处理从第二数字信号转换器70接收的数字信号，以捕获图像格式生成捕获图像数据，并且将图像数据存储在存储器（未示出）中。例如，第二图像处理器80可以生成静止图像数据、预览图像数据和视频数据。
将参考图5描述根据本发明实施例的通过如上所述配置的数字设备处理图像的操作。
参考图5，数字设备的控制器90在步骤201中确定目前是否设置视觉识别模式。如果未设置视觉识别模式，则控制器90继续到步骤211，确定设置了拍摄模式，并且控制传感器控制器100设置对应于图像传感器30中的捕获图像格式的操作参数，并且输出来自图像传感器30的光学信息以便与捕获图像格式匹配。控制器90借助第二数字信号转换器70和第二图像处理器80生成捕获图像数据。
如果在步骤201中设置视觉识别模式，则控制器90控制在步骤203中在视觉识别模式中的传感器控制器100以设置对应于图像传感器30中的识别图像格式的操作参数，并且输出来自视觉像素的光学信息以便匹配识别图像格式。被优化用于视觉识别的识别图像的分辨率和帧速率很可能小于普通捕获图像的分辨率和帧速率。结果，视觉识别模式中的图像传感器30的功耗将小于拍摄模式中的图像传感器30的功耗。
在步骤205中，控制器90通过控制第一数字信号转换器40和第一图像处理器50基于从图像传感器30中的视觉像素输出的信号而生成识别图像数据，并且通过控制视觉识别处理器60基于识别图像数据进行视觉识别。
之后，控制器90在步骤207中确定是否发生从视觉识别模式到拍摄模式的快速模式切换事件。如果在步骤207中存在到拍摄模式的快速模式切换，则控制器90在步骤209中将它的操作模式变为拍摄模式，并且在步骤211中生成捕获图像数据。
此处使用的术语“快速模式切换”可以是指视觉识别模式与拍摄模式之间的快速切换的一种需要。当在拍摄模式中使用在视觉识别模式中获得的视觉识别结果时，可以实现该快速模式切换。例如，在识别图像数据中进行面部识别之后，数字设备可以基于识别出的面部部分设置拍摄焦点，并且生成捕获图像数据。在这种情况下，操作模式将从拍摄模式快速切换到视觉识别模式，并且从视觉识别模式快速切换到拍摄模式。
更具体地，在拍摄模式中的静止图像拍摄或视频拍摄开始之前，数字设备生成预览图像数据并且在预览模式中显示预览图像数据。通常，预览图像是在静止图像拍摄或视频拍摄开始之前从图像传感器接收的、数字设备将提供给用户的图像。预览图像被显示在屏幕上，但是其图像数据未被存储在数字设备的存储器中。
如果激活了基于面部识别的自动对焦功能，则控制器90首先设置拍摄模式的预览模式。然后，传感器控制器100设置对应于图像传感器30中的预览模式的操作参数，并且第二数字信号转换器70和第二图像处理器80生成预览图像数据并且将其显示在屏幕上。这些预览图像是一种视频，并且当帧数据以每秒几十帧的速率生成并且被持续显示时，将预览图像提供给用户。在本发明的实施例中，假设该帧速率是每秒24帧。
为了进行基于面部识别的自动对焦，控制器90将它的操作模式从预览模式切换到视觉识别模式，对于几帧的周期（例如5帧）生成识别图像数据，并且在完成识别图像数据的生成时切换回预览模式。
因此，在视觉识别模式中，通过传感器控制器100在图像传感器30中设置对应于识别图像格式的操作参数。然而，在这个实施例中，视觉识别模式将它的帧速率维持在预览模式的帧速率。通过读出电路110将光学信息传送到第一数字信号转换器40，并且通过第一数字信号转换器40和第一图像处理器50生成面部识别所需的识别图像数据。对于生成识别图像数据的几帧的周期，在先地生成帧数据，并且在屏幕上重复地显示预览图像，这维持了预览图像的显示。尽管在生成五帧数据（例如五识别图像数据）期间不生成预览图像的帧数据就显示了先前预览图像的帧数据，但是用户可以意识到，预览图像被实时连续地显示，因为人眼不能容易地识别出间断。
然而，数字设备在生成识别图像数据时在视觉识别模式下操作，因此有助于功耗的减少。
之后，控制器90切换回预览模式并且生成预览图像数据，视觉识别处理器60基于所生成的识别图像数据进行面部识别。
在视觉识别处理器60中进行面部识别时，在屏幕上显示预览图像，并且一旦完成面部识别，就将识别结果（例如，在识别图像中识别面部的特定区域的位置信息）传送到控制器90。控制器90将识别结果传送到第二图像处理器80和传感器控制器100，允许传感器控制器100基于特定区域实现自动对焦，并且允许第二图像处理器80显示指示预览图像上的特定区域的指示符。
之后，如果用户输入诸如快门键输入的拍摄命令，则生成对特定区域聚焦的静止图像数据或视频数据并且将其存储在存储器中。
当操作模式从视觉识别模式快速地切换到拍摄模式时，甚至对于生成捕获图像数据也可以使用在生成识别图像数据期间使用的视觉像素的光学信息。如果控制器90在视觉识别模式的操作期间切换操作模式到图像捕获模式，则已在视觉识别模式中使用的像素被全部变为用于图像捕获模式的像素。因此，控制器90从第一图像处理器50接收生成识别图像数据期间使用的视觉像素的光学信息，并且将该光学信息传送到第二图像处理器80，该第二图像处理器80在生成捕获图像数据时使用接收到的视觉像素的光学信息。
当白色像素被用作视觉像素时，为了在生成捕获图像数据时使用视觉像素的光学信息，第二图像处理器80对从控制器90接收的视觉像素的光学信息进行像素内插，并且在生成捕获图像数据时使用像素内插的值。对于像素内插，可以使用双线性图像内插。在这种情况下，可以保证具有极高感光度的传感器的性能。
图7中示出了捕获图像数据的示例，该捕获图像数据是通过执行这种内插针对相同对象而生成的。
在图7，第一图像310已经历像素校正，并且第二图像320是普通捕获图像。当比较两个图像310和320时，裸眼可能不能识别图像质量的差异。
根据本发明的另一实施例，当数字设备是智能手机并且手指被设置为识别对象时，将参考图8来描述通过视觉识别选择智能手机上的图标的过程。通常，智能手机可以具有用于图像捕获的一个高性能图像传感器，或者能够进行视频呼叫的智能手机可以具有两个图像传感器，一个在前面，另一个在后面。这些图像传感器是高性能图像传感器，因为它们基本用于图像捕获。
图8关注于安装在智能手机400的前顶部上的图像传感器30，假设该智能手机400包括图2中所示的全部组件。
参考图8，一旦用户请求，智能手机400的控制器90设置视觉识别模式，在该视觉识别模式中手指被设置为识别对象。传感器控制器100在图像传感器30中设置对应于识别图像格式的操作参数。控制器90控制第二图像处理器80在屏幕上显示图标列表410和选择指示符420。
通过图像传感器30接收手指图像，并且经由读出电路110将来自图像传感器30中的视觉像素的光学信息传送到第一数字信号转换器40。第一图像处理器50基于从第一数字信号转换器40输出的数字图像信号生成识别图像数据，并且视觉识别处理器60在识别图像数据中识别手指（即识别对象）。视觉识别处理器60从识别图像数据中检测识别对象的位置，并且将所述位置反映在选择指示符420中。当手指如图8中所示移动时，视觉识别处理器60检测识别对象的移动矢量并且将该移动矢量传送到控制器90。控制器90将检测到的移动矢量传送到第二图像处理器80，以便将其反映在选择指示符420的位置中。第二图像处理器80移动所显示的选择指示符420。
这样，在视觉识别模式中，读出电路110、第一数字信号转换器40和第一图像处理器50操作来处理经由图像传感器30中的视觉像素收集的光学信息，用于视觉识别，这有助于智能手机400的功耗的减少。
如上所述，本发明指定用于图像捕获的普通图像传感器中的一些像素作为用于视觉识别的视觉像素，在视觉识别模式中在进行视觉识别时使用仅从视觉像素获得的光学信息，并且在图像拍摄模式中基于从图像数据中的全部像素获得的光学信息而生成捕获图像数据。
除了用于将图像传感器中的全部像素的光学信息转换为数字信号的数字信号转换器以外，本发明单独地提供一种用于将仅从视觉像素获得的光学信息转换为数字信号的数字信号转换器。本发明可以单独地提供用于处理从针对视觉识别的数字信号转换器输出的信号的图像处理器和用于处理从针对图像捕获的数字转换器输出的信号的图像处理器。
用于视觉识别的数字信号转换器的输出位的数量、以及用于视觉识别的图像数据的分辨率和帧数量被确定将针对视觉识别被最优化，与处理用于图像捕获的图像数据相比，使得能够低功耗地快速执行视觉识别。视觉像素、用于视觉识别的数字信号转换器和用于视觉识别的图像处理器可被设置成具有是在拍摄模式中的大约1/10到1/100的有效功耗。
根据本发明的实施例，使用嵌入到能够信息输入/输出的数字设备或者外部连接到该数字设备的数码相机，数字设备可以从由该数码相机捕获的图像中提取视觉识别信息，并且基于所提取的信息在它的用户与数字设备之间进行诸如信息输入和情形识别的功能，所述数字设备例如是移动电话、手持式电视机、便携式个人电脑、笔记本电脑、数字音频播放器和PMP。具体地，本发明提供了一种图像传感器，其被最优化用于视觉识别并且能够进行正常图像捕获，能够低功耗地快速进行视觉识别。
尽管已经参考本发明的实施例示出并描述了本发明，但是本领域普通技术人员将会理解，在不背离由所附权利要求及其等效物定义的本发明的精神和范畴的情况下，可以在其中做出形式和细节上的各种变动。
例如，第一图像处理器50和第二图像处理器80可被配置成单个集成图像处理器。在这种情况下，在控制器90的控制下，集成图像处理器可以在视觉识别模式中以第一图像处理器50的方式操作，并且在拍摄模式中以第二图像处理器80的方式操作。集成图像处理器可以将识别图像数据输出到视觉识别处理器60，并且将捕获图像数据存储在存储器中。
在本发明的替换实施例中，第一图像处理器50和第二图像处理器80可被配置成包含在单个图像处理模块中，该单个图像处理模块可被配置成允许其中包括的相关图像处理器50（或80）根据操作模式而操作。
Claims (24)
1.一种数字设备中的视觉识别装置，包括：
图像传感器，其包括多个像素，其中多个像素的一部分被指定为视觉像素；
第一数字信号转换器，用于数字地转换从所指定的视觉像素输出的信号；
第二数字信号转换器，用于数字地转换从多个像素输出的信号；和
集成图像处理器，其在视觉识别模式中通过处理从第一数字信号转换器输出的信号而生成用于视觉识别的识别图像数据，并且在拍摄模式中通过处理从第二数字信号转换器输出的信号而生成捕获图像数据。
2.如权利要求1所述的视觉识别装置，进一步包括视觉识别处理器，其通过识别和检测在识别图像数据中包括的特定对象来进行视觉识别。
3.如权利要求1所述的视觉识别装置，其中，所述图像传感器是互补金属氧化物半导体（CMOS）图像传感器；和
其中所述第一数字信号转换器包括：
相关双取样（CDS）单元，用于接收来自视觉像素的信号；和
模数转换器（ADC）单元，用于数字地转换从CDS单元输出的信号。
4.如权利要求1所述的视觉识别装置，其中，根据识别图像数据的分辨率来确定视觉像素的数量，并且根据视觉像素的数量、识别图像数据的大小和识别图像数据的分辨率来确定第一数字信号转换器的输出位的数量。
5.如权利要求1所述的视觉识别装置，其中，多个像素具有不同的感光度，并且在具有不同感光度的多个像素中具有更高感光度的像素被指定为视觉像素。
6.如权利要求1所述的视觉识别装置，其中，多个像素包括多个红色像素、多个蓝色像素和多个绿色像素，并且至少两个绿色像素被指定为视觉像素。
7.如权利要求1所述的视觉识别装置，其中，视觉像素包括白色像素。
8.如权利要求7所述的视觉识别装置，其中，所述集成图像处理器包括：
第一图像处理器，用于在视觉识别模式中通过处理从第一数字信号转换 器输出的信号而生成识别图像数据；和
第二图像处理器，用于在拍摄模式中通过处理从第二数字信号转换器输出的信号而生成捕获图像数据。
9.如权利要求8所述的视觉识别装置，其中，所述第二图像处理器基于通过对白色像素的光学信息进行像素内插获得的结果而生成捕获图像数据。
10.如权利要求1所述的视觉识别装置，进一步包括读出电路，其将视觉像素的光学信息输出到第一数字信号转换器。
11.一种数字设备中的利用包括多个像素的图像传感器的视觉识别方法，所述方法包括：
确定操作模式是否为视觉识别模式；
如果操作模式为视觉识别模式，则通过处理从第一数字信号转换器输出的信号而生成识别图像数据，该第一数字信号转换器数字地转换从图像传感器中的多个像素当中的每个视觉像素输出的信号；
通过识别并检测识别图像数据中包括的特定对象而进行视觉识别；和
如果操作模式是拍摄模式，则通过第二数字信号转换器处理根据特定分辨率从多个像素中选择的像素输出的信号，生成捕获图像数据，该第二数字信号转换器数字地转换从多个像素中的每个像素输出的信号。
12.如权利要求11所述的视觉识别方法，其中，根据识别图像数据的分辨率来确定视觉像素的数量，并且根据视觉像素的数量、识别图像数据的大小和识别图像数据的分辨率来确定第一数字信号转换器的输出位的数量。
13.如权利要求11所述的视觉识别方法，其中，多个像素具有不同的感光度，并且在具有不同感光度的多个像素中具有更高感光度的像素被指定为视觉像素。
14.如权利要求11所述的视觉识别方法，其中，多个像素包括多个红色像素、多个蓝色像素和多个绿色像素，并且一些绿色像素被指定为视觉像素。
15.如权利要求11所述的视觉识别方法，其中，视觉像素是白色像素。
16.如权利要求15所述的视觉识别方法，其中，识别图像数据是在视觉识别模式中通过第一图像处理器处理从第一数字信号转换器输出的信号而生成的，并且捕获图像数据是在拍摄模式中通过第二图像处理器处理从第 二数字信号转换器输出的信号而生成的。
17.如权利要求16所述的视觉识别方法，其中，捕获图像数据是基于通过对视觉像素的光学信息进行像素内插获得的结果而生成的。
18.一种移动终端中的使用包括多个像素的图像传感器的低功率视觉识别方法，所述方法包括：
接收来自图像传感器的图像；
提取输入到图像传感器中的多个像素中的视觉像素的识别图像；和
对输入到视觉像素的识别图像中包括的对象进行视觉识别。
19.如权利要求18所述的低功率视觉识别方法，其中，提取识别图像包括通过处理从第一数字信号转换器输出的信号而生成识别图像数据，该第一数字信号转换器数字地转换从每个视觉像素输出的信号。
20.如权利要求19所述的低功率视觉识别方法，其中，根据识别图像数据的分辨率来确定视觉像素的数量，并且根据视觉像素的数量、识别图像数据的大小和识别图像数据的分辨率来确定第一数字信号转换器的输出位的数量。
21.如权利要求18所述的低功率视觉识别方法，进一步包括：如果设置了拍摄模式，则通过第二数字信号转换器处理根据特定分辨率从多个像素中选择的像素输出的信号，生成捕获图像数据，该第二数字信号转换器数字地转换从多个像素中的每个像素输出的信号。
22.如权利要求18所述的低功率视觉识别方法，其中，多个像素具有不同的感光度，并且在具有不同感光度的多个像素中具有更高感光度的像素被指定为视觉像素。
23.如权利要求18所述的低功率视觉识别方法，其中，所有多个像素都包括多个红色像素、多个蓝色像素和多个绿色像素，并且一些绿色像素被指定为视觉像素。
24.如权利要求18所述的低功率视觉识别方法，其中，视觉像素是白色像素。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110110585A KR101822661B1 (ko) | 2011-10-27 | 2011-10-27 | 비전 인식 장치 및 방법 |
| KR10-2011-0110585 | 2011-10-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103096094A true CN103096094A (zh) | 2013-05-08 |
| CN103096094B CN103096094B (zh) | 2017-04-12 |
Family
ID=47630057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210419838.5A Active CN103096094B (zh) | 2011-10-27 | 2012-10-29 | 视觉识别装置和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10095941B2 (zh) |
| EP (1) | EP2587407B1 (zh) |
| KR (1) | KR101822661B1 (zh) |
| CN (1) | CN103096094B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115280751A (zh) * | 2020-04-03 | 2022-11-01 | 高通股份有限公司 | 多光路成像技术和用于主动深度感测技术的共享发射器 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9886945B1 (en) * | 2011-07-03 | 2018-02-06 | Reality Analytics, Inc. | System and method for taxonomically distinguishing sample data captured from biota sources |
| KR101909082B1 (ko) * | 2012-01-31 | 2018-10-18 | 삼성전자주식회사 | 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법 |
| KR102037283B1 (ko) * | 2013-06-18 | 2019-10-28 | 삼성전자주식회사 | 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 전자 장치 |
| KR102041191B1 (ko) * | 2014-03-03 | 2019-11-06 | 한국전자통신연구원 | 손 동작 인식 방법 및 장치 |
| US20150356802A1 (en) * | 2014-06-10 | 2015-12-10 | Center For Integrated Smart Sensors Foundation | Low Power Door-Lock Apparatus Based On Battery Using Face Recognition |
| US9967500B2 (en) * | 2014-09-29 | 2018-05-08 | Samsung Electronics Co., Ltd. | Systems and methods of selective output for reducing power |
| US20160093273A1 (en) * | 2014-09-30 | 2016-03-31 | Samsung Electronics Co., Ltd. | Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data |
| US10757377B2 (en) | 2016-06-01 | 2020-08-25 | Pixart Imaging Inc. | Surveillance system and operation method thereof |
| CN118312940A (zh) * | 2016-06-15 | 2024-07-09 | 原相科技股份有限公司 | 用于便携式电子装置中的运作方法 |
| DE112020003436T5 (de) * | 2019-07-18 | 2022-04-14 | Sony Semiconductor Solutions Corporation | Festkörper-Bildgebungselement, Bildgebungseinrichtung und Verfahren zum Steuern eines Festkörper-Bildgebungselements |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090174789A1 (en) * | 2008-01-04 | 2009-07-09 | Fujifilm Corporation | Imaging apparatus and method of controlling imaging |
| CN102057347A (zh) * | 2008-06-03 | 2011-05-11 | 岛根县 | 图像识别装置、操作判断方法及程序 |
| CN102196164A (zh) * | 2010-03-09 | 2011-09-21 | 三洋电机株式会社 | 电子照相机 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3674413B2 (ja) | 1999-10-07 | 2005-07-20 | 日本ビクター株式会社 | 画像撮影装置 |
| US7408443B2 (en) * | 2003-01-13 | 2008-08-05 | Samsung Electronics Co., Ltd. | Circuit and method for reducing fixed pattern noise |
| JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
| JP2007134805A (ja) | 2005-11-08 | 2007-05-31 | Canon Inc | 電子撮像装置 |
| JP4727457B2 (ja) * | 2006-03-08 | 2011-07-20 | 富士フイルム株式会社 | 撮影装置 |
| JP4144630B2 (ja) * | 2006-04-14 | 2008-09-03 | ソニー株式会社 | 撮像装置 |
| KR100832846B1 (ko) | 2006-11-15 | 2008-05-28 | 삼성전자주식회사 | 영상 촬상 소자 |
| KR100842573B1 (ko) | 2006-11-21 | 2008-07-01 | 삼성전자주식회사 | 휴대단말기의 카메라부 제어장치 및 방법 |
| GB2447246B (en) * | 2007-03-07 | 2012-04-18 | Aurora Comp Services Ltd | Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application |
| EP2088787B1 (en) * | 2007-08-07 | 2015-01-21 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
| JP5014168B2 (ja) * | 2008-01-15 | 2012-08-29 | キヤノン株式会社 | 撮像システム及び撮像システムの制御方法 |
| JP2009272820A (ja) * | 2008-05-02 | 2009-11-19 | Konica Minolta Opto Inc | 固体撮像装置 |
| JP2010171797A (ja) * | 2009-01-23 | 2010-08-05 | Nikon Corp | 撮像装置及びプログラム |
| JP4748244B2 (ja) | 2009-03-31 | 2011-08-17 | カシオ計算機株式会社 | 画像選択装置、画像選択方法及びプログラム |
| US8629913B2 (en) * | 2010-09-30 | 2014-01-14 | Apple Inc. | Overflow control techniques for image signal processing |
-
2011
- 2011-10-27 KR KR1020110110585A patent/KR101822661B1/ko active IP Right Grant
-
2012
- 2012-10-25 EP EP12189984.3A patent/EP2587407B1/en active Active
- 2012-10-29 CN CN201210419838.5A patent/CN103096094B/zh active Active
- 2012-10-29 US US13/662,642 patent/US10095941B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090174789A1 (en) * | 2008-01-04 | 2009-07-09 | Fujifilm Corporation | Imaging apparatus and method of controlling imaging |
| CN102057347A (zh) * | 2008-06-03 | 2011-05-11 | 岛根县 | 图像识别装置、操作判断方法及程序 |
| CN102196164A (zh) * | 2010-03-09 | 2011-09-21 | 三洋电机株式会社 | 电子照相机 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115280751A (zh) * | 2020-04-03 | 2022-11-01 | 高通股份有限公司 | 多光路成像技术和用于主动深度感测技术的共享发射器 |
| CN115280751B (zh) * | 2020-04-03 | 2024-04-05 | 高通股份有限公司 | 多光路成像技术和用于主动深度感测技术的共享发射器 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101822661B1 (ko) | 2018-01-26 |
| CN103096094B (zh) | 2017-04-12 |
| US20130108107A1 (en) | 2013-05-02 |
| US10095941B2 (en) | 2018-10-09 |
| EP2587407A1 (en) | 2013-05-01 |
| EP2587407B1 (en) | 2020-03-04 |
| KR20130046174A (ko) | 2013-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103096094A (zh) | 视觉识别装置和方法 | |
| CN101334578B (zh) | 图像拍摄装置以及图像拍摄方法 | |
| CN104038702B (zh) | 摄像设备及其控制方法 | |
| EP2533520B1 (en) | Image sensor having HDR capture capability | |
| US8520116B2 (en) | Photographing apparatus and method | |
| CN101325658B (zh) | 成像设备和成像方法 | |
| CN101465972B (zh) | 在数字图像处理装置中使图像背景模糊的设备和方法 | |
| KR101909082B1 (ko) | 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법 | |
| US8582891B2 (en) | Method and apparatus for guiding user with suitable composition, and digital photographing apparatus | |
| US20050128509A1 (en) | Image creating method and imaging device | |
| US9106837B2 (en) | Image capturing device and image capturing method | |
| CN104702826A (zh) | 摄像设备及其控制方法 | |
| CN106210532B (zh) | 一种拍照处理方法及终端设备 | |
| WO2016004819A1 (zh) | 一种拍摄方法、拍摄装置和计算机存储介质 | |
| KR20130136174A (ko) | 그래픽 사용자 인터페이스 제공 방법 및 장치 | |
| CN108492266B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112019737A (zh) | 操作包括图像传感器的电子装置的方法 | |
| WO2022268132A1 (zh) | 图像处理方法、装置及电子设备 | |
| CN110266967A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2021124873A1 (ja) | 撮像装置、撮像装置の作動方法、プログラム、及び撮像システム | |
| KR20190139788A (ko) | 전자 장치에서 복수의 카메라들을 이용하여 미디어를 캡쳐하기 위한 방법 및 장치 | |
| KR20200138639A (ko) | 이미지 센서를 포함하는 전자 기기의 동작 방법 | |
| CN114697474B (zh) | 电子设备的控制方法、电子设备及计算机可读存储介质 | |
| CN115118856B (zh) | 图像传感器、图像处理方法、摄像头模组及电子设备 | |
| WO2013179923A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |