CN108513711A - 图像处理装置、图像处理方法和图像处理*** - Google Patents

图像处理装置、图像处理方法和图像处理*** Download PDF

Info

Publication number
CN108513711A
CN108513711A CN201780004948.6A CN201780004948A CN108513711A CN 108513711 A CN108513711 A CN 108513711A CN 201780004948 A CN201780004948 A CN 201780004948A CN 108513711 A CN108513711 A CN 108513711A
Authority
CN
China
Prior art keywords
image
resolution
interest
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780004948.6A
Other languages
English (en)
Inventor
高桥知宏
田舎中博士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202310698965.1A priority Critical patent/CN116723392A/zh
Publication of CN108513711A publication Critical patent/CN108513711A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及用于图像处理的方法和装置。该方法包括：生成具有第一分辨率的第一图像；通过处理电路来搜索所述第一图像，以确定在所述第一图像中是否能够识别到目标物体；当确定在所述第一图像中能够识别到所述目标物体时，在所述第一图像中指定感兴趣区域；当确定在所述第一图像中不能识别到所述目标物体时，生成具有比所述第一分辨率高的第二分辨率的第二图像；通过所述处理电路来搜索所述第二图像，以确定在所述第二图像中是否能够识别到所述目标物体；以及当确定在所述第二图像中能够识别到所述目标物体时，在所述第二图像中指定感兴趣区域。

Description

图像处理装置、图像处理方法和图像处理***
相关申请的交叉参考
本申请要求于2016年12月28日提交的日本在先专利申请JP 2016-255290的权益，其全部内容通过引用的方式并入本文。
技术领域
本公开涉及一种图像处理装置、图像处理方法和图像处理***。
背景技术
已知从图像中指定图像的一些区域(特征区域或感兴趣区域等)的技术。例如，专利文献1公开了这样的技术：从输入图像中指定特征区域，并且从通过提高未被指定为特征区域的区域的分辨率而获得的图像中指定特征区域。
引用列表
专利文献
专利文献1：JP 2010-252276A
发明内容
技术问题
在如上所述的指定图像的一些区域的技术中，期望抑制与区域的指定相关的处理量。
技术问题的解决方案
根据本公开，提供了一种图像处理方法。所述图像处理方法包括：生成具有第一分辨率的第一图像；通过处理电路来搜索所述第一图像，以确定在所述第一图像中是否能够识别到目标物体；当确定在所述第一图像中能够识别到所述目标物体时，在所述第一图像中指定感兴趣区域；当确定在所述第一图像中不能识别到所述目标物体时，生成具有比所述第一分辨率高的第二分辨率的第二图像；通过所述处理电路来搜索所述第二图像，以确定在所述第二图像中是否能够识别到所述目标物体；以及当确定在所述第二图像中能够识别到所述目标物体时，在所述第二图像中指定感兴趣区域。
进一步地，根据本公开，提供了一种图像处理***。所述图像处理***包括处理电路，所述处理电路被构造成：
生成具有第一分辨率的第一图像；搜索所述第一图像，以确定在所述第一图像中是否能够识别到目标物体；当确定在所述第一图像中能够识别到所述目标物体时，在所述第一图像中指定感兴趣区域；当确定在所述第一图像中不能识别到所述目标物体时，生成具有比所述第一分辨率高的第二分辨率的第二图像；搜索所述第二图像，以确定在所述第二图像中是否能够识别到所述目标物体；以及当确定在所述第二图像中能够识别到所述目标物体时，在所述第二图像中指定感兴趣区域。
进一步地，根据本公开，提拱了一种图像处理方法。所述图像处理方法包括：生成具有第一分辨率的第一图像；搜索所述第一图像，以识别所述第一图像中的目标物体；基于所述目标物体的识别，在所述第一图像中指定感兴趣区域；以及激活与所述第一图像中的指定的感兴趣区域相对应的一个或多个模拟数字转换器(ADC)，以生成与所述感兴趣区域相对应的第二图像，其中所述第二图像具有比所述第一分辨率高的第二分辨率。
发明的有益效果
如上所述，根据本公开的实施例，可以抑制与感兴趣区域的指定相关的处理量。
需要指出的是，上述效果不一定是限制性的。伴随或代替上述效果，可以实现本说明书所述的任一效果或可以从本说明书实现的其他效果。
附图说明
图1是图示了根据本公开实施例的比较例的图像处理装置的构成的说明图。
图2是图示了实施例的另一个比较例的构成的说明图。
图3是图示了实施例的另一个比较例的构成的说明图。
图4是用于说明根据本公开实施例的图像处理***的构成的说明图。
图5是图示了根据同一个实施例的图像读取单元110的构成例的说明图。
图6是根据实施例的用于说明低分辨率图像的示意图。
图7A是根据实施例的用于说明中间分辨率图像的示意图。
图7B是根据实施例的用于说明中间分辨率图像的示意图。
图7C是根据实施例的用于说明中间分辨率图像的示意图。
图8是根据实施例的用于说明用于获得多个感兴趣区域图像的AD转换的示例的说明图。
图9是图示了根据同一个实施例的与图像处理装置1进行的识别相关的操作的流程图。
图10是图示了根据实施例的与图像处理***1000进行的学习相关的操作的流程图。
图11是用于说明图像传感器的构成例的说明图。
图12是用于说明图像传感器的构成例的说明图。
图13是图示了信息处理设备的硬件构成例的说明图。
图14是图示了车辆控制***的示意性构成的示例的框图。
图15是图示了车辆外部信息检测部和成像部的安装位置的示例的说明图。
具体实施方式
以下，将参照附图详细说明本公开的优选实施例。在本说明书和附图中，使用相同的附图标记来表示具有基本上相同功能和结构的结构要素，并且省略对这些结构要素的重复说明。
需要指出的是，在本说明书和附图中，具有基本上相同功能和结构的结构要素有时候在相同的附图标记后使用不同的字母来彼此区分。然而，当不需要特别区分具有基本上相同功能和结构的结构要素时，仅附上相同的附图标记。
将按照下面的顺序进行说明。
<1.背景>
<2.构成>
<3.操作>
<4.变型例>
<5.硬件构成例>
<6.应用例>
<7.结论>
<1.背景>
为了说明根据本公开实施例的图像处理装置，将参照附图说明根据本公开实施例的图像处理装置的创造背景。
近年来，已经进行了基于图像的与图像中图示的主题相关的识别处理(例如，类型识别处理或属性识别处理等)。例如，使用例如通过机器学习获得的识别器进行基于图像的识别处理。
例如，识别处理也在配备有拍摄图像的图像传感器的图像处理装置中进行。下面将参照图1说明进行识别处理的图像处理装置的示例，该示例是作为与本公开的实施例相关的比较例。图1是图示了根据本实施例的比较例的图像处理装置的构成的说明图。
如图1所示，图像处理装置61包括图像读取单元611、学习和识别单元612以及识别器存储单元613。例如，图像读取单元611包括输出像素信号的多个像素，且图像读取单元611输出通过将像素信号转换成数字信号而获得的图像。例如，图像读取单元611的功能可以由图像传感器实现。
学习和识别单元612基于从图像读取单元611输出的图像进行机器学习，并且将通过机器学习获得的识别器提供至识别器存储单元613。在机器学习时，如有需要，可以输入与图像中示出的主题相关的标签数据。例如，使用者可以通过操作单元(未图示)来输入标签数据。
进一步地，学习和识别单元612使用存储在识别器存储单元613中的识别器来进行其中将从图像读取单元611输出的图像用作输入的识别处理，并且例如，学习和识别单元612识别图像中示出的主题的类型或属性(attribute)。
识别器存储单元613存储从学习和识别单元612提供的识别器。
在图1所示的图像处理装置中，如果学习和识别单元612使用从图像读取单元611输出的未经改变的图像进行机器学习和识别处理，那么取决于包含在图像读取单元611中的像素的数量，处理量可能极大地增加。由于这个原因，可以考虑使用学习和识别单元612生成缩小图像，所述缩小图像通过在改变与缩小相关的参数的同时将从图像读取单元611输出的图像缩小而获得(所谓的金字塔图像生成)，并且对缩小图像进行机器学习或识别处理。
然而，当使用缩小图像时，如果图像处理装置61的处理性能低，那么机器学习和识别处理可能花费大量的时间。对此，如图2所示，可以考虑使具有高处理性能的另一个装置经由网络进行机器学习和识别处理。图2是图示了根据本实施例的另一个比较例的图像处理装置的构成的说明图。
图2所示的图像处理装置62包括图像读取单元621。此外，图像处理装置62具有由通信单元(未图示)执行的通信功能，并且经由通信网络5与服务器72连接。
类似于上面参照图1所述的图像读取单元611，图像读取单元621输出通过将像素信号转换成数字信号而获得的图像。从图像读取单元621输出的图像被传输至服务器72。
服务器72是包括学习和识别单元721以及识别器存储单元722的信息处理设备。学习和识别单元721与上面参照图1所述的学习和识别单元612类似地进行机器学习和识别处理，但是与学习和识别单元612的不同之处在于：输入图像是从图像处理装置62接收的图像。识别器存储单元722存储从学习和识别单元721提供的识别器。此外，通过学习和识别单元721进行识别处理所获得的结果可以从服务器72传输至图像处理装置62。
这里，服务器72的处理性能优选高于图像处理装置62的处理性能。根据本构成，即使当图像处理装置62的处理性能低时，通过服务器72进行机器学习和识别处理，也能够高速地进行机器学习和识别处理。
然而，因为图像处理装置62和服务器72之间发生与网络通信相关的延迟，所以仍然难以例如实时地进行识别处理。对此，如图3所示，也可以考虑使机器学习的功能在服务器中执行，并且使利用通过机器学习获得的识别器的识别处理由图像处理装置进行。图3是图示了本实施例的另一个比较例的构成的说明图。
图3所示的图像处理装置63包括图像读取单元631、识别单元632和识别器存储单元633。图像处理装置63具有由通信单元(未图示)执行的通信功能，并且经由通信网络5与服务器73连接。
类似于上面参照图1所述的图像读取单元611，图像读取单元631输出通过将像素信号转换成数字信号而获得的图像。从图像读取单元631输出的图像被输出至识别单元632且被传输至服务器73。
识别单元632使用存储在识别器存储单元633中的识别器来进行其中将从图像读取单元631输出的图像用作输入的识别处理。识别器存储单元633存储从服务器73接收的识别器。
服务器73包括学习单元731。学习单元731使用从图像处理装置63接收的图像作为输入来进行机器学习，并且将通过机器学习获得的识别器传输至图像处理装置63。
利用上面的构成，识别处理不会受到与网络通信相关联的延迟的影响，且图像处理装置63能够高速地进行识别处理。然而，尽管如此，因为识别处理的处理量大，所以例如，可能需要如上所述地生成缩小图像。然而，因为进行生成缩小图像的缩小处理，所以存在减少处理量的余地。此外，因为存在这样的情况：缩小图像中示出的主题的区域很小，所以与主题相关的识别准确度很有可能降低。
对此，鉴于前述情况完成了本实施例。根据本实施例，从图像读取单元获取了在从图像读取单元输出的低分辨率图像中指定的高分辨率的感兴趣区域的图像，且进行了识别处理，因此，可以在抑制处理量的同时，提高识别准确度。以下，将说明具有上述效果的本公开实施例的构成和操作。
<2.构成>
(总体结构)
图4是用于说明根据本公开实施例的图像处理***的构成的说明图。如图4所示，根据本实施例的图像处理***1000包括图像处理装置1、通信网络5和服务器7。下面将首先说明根据本实施例的图像处理***1000的总体构成，然后将进一步详细说明图像处理装置1的构成。
图像处理装置1具有图像传感器执行的成像功能，并且可以是例如数码相机或数码摄像机等，或可以是智能手机或个人计算机(PC)等。例如，图像处理装置1进行与通过成像而获得的图像中示出的主题相关的识别处理。此外，图像处理装置1将从通过成像而获得的图像中检测的感兴趣区域(ROI:region of interest)的图像传输至服务器7。后面将说明图像处理装置1的详细构成。
通信网络5是连接至图像处理装置1的装置，或是从***传输的信息所用的有线或无线传输路径。通信网络5的示例包括：诸如因特网(Internet)、电话线路网(telephoneline network)或卫星通信网络等公共线路网络(public line network)；包括以太网(Ethernet)(注册商标)在内的各种局域网(LAN:local area network)；和广域网(WAN:wide area network)。此外，通信网络5可以包括包含诸如互联网协议-虚拟专用网络(IP-VPN:Internet protocol-virtual private network)等虚拟网络的专用线路网络。如图4所示，图像处理装置1和服务器7经由通信网络5彼此连接，并且能够传递信息。
服务器7是包括学习单元701的信息处理设备。类似于上面参照图3所述的学习单元731，学习单元701使用从图像处理装置1接收的图像作为输入来进行机器学习，并且产生识别器。服务器7将通过机器学习而产生(获得)的识别器传输至图像处理装置1。如上所述，在本实施例中，服务器7接收从图像处理装置1接收的图像，并且用作机器学习的输入的图像是与感兴趣区域相关的图像。
(图像处理装置的构成)
上面已经说明了根据本实施例的图像处理***1000的总体构成。接着，将说明图像处理装置1的详细构成。如图4所示，图像处理装置1包括图像读取单元10、第一信号处理单元101、第二信号处理单元102和识别器存储单元103。
图像读取单元10包括输出像素信号的多个像素，且图像读取单元10输出通过将像素信号转换成数字信号而获得的图像。例如，图像读取单元10的功能可以由具有双层结构的图像传感器实现。
图5是图示了图像读取单元10的构成例的说明图。如图5所示，例如，图像读取单元10包括像素基板11和电路板12，这两者是(半导体)基板。在本实施例中，像素基板11和电路板12层叠。
如图5所示，像素基板11包括像素阵列21，其中进行光电转换且输出像素信号的多个像素22以二维矩阵的形式来布置。组成像素阵列21的多个像素22被分成由多个像素构成的像素块23。在图5所示的示例中，像素阵列21被分成一个像素块23由8×8像素构成。在本实施例中，如图5所示，像素块23由总计64个像素的8×8像素来构成，但是组成像素块23的像素22的数量以及像素块23的形状是任意的且不限于8×8像素。
如图5所示，电路板12包括ADC阵列31(其中与像素基板11的像素块23相对应的多个ADC 32(AD转换单元)以二维矩阵的形式来布置)、水平区域控制单元33、垂直区域控制单元34和输出单元35。
ADC阵列31包括数量与像素阵列21中包含的像素块23的数量相等的ADC 32。ADC32将从属于对应像素块23的多个像素22输出的模拟像素信号转换成数字信号(AD转换)，并且获得数字像素值。图5图示了电路板12包括其中ADC 32以阵列的形式布置的ADC阵列31的示例，但是本技术不限于本示例。ADC 32的布置可以不是阵列的形式，只要像素块23和ADC32具有一一对应的关系即可。例如，ADC 32可以是柱状的(矩形的)。
水平区域控制单元33将水平控制信号输入至像素块23和ADC 32，且垂直区域控制单元34将垂直控制信号输入至像素块23和ADC 32。例如，水平控制信号和垂直控制信号中的各者具有高(H)电平或低(L)电平，并且可以根据水平控制信号和垂直控制信号的组合来指定像素块23中的待被读取的像素，或者可以根据水平控制信号和垂直控制信号的组合来选择将操作且输出像素值的ADC 23。如上所述获得的像素值从输出单元35输出。输出单元35的输出能够被处理为图像(一组像素值)。
图像读取单元10能够使用与ADC 32相对应的像素块23作为一个单位来并行地进行AD转换且高速地输出图像。
此外，图像读取单元10将低分辨率图像输出至后述的第一信号处理单元101。
图6是用于说明低分辨率图像的示意图。如图6所示，ADC 32仅对各像素块23的一个像素22a进行AD转换，且因此获得低分辨率图像G11。为了使低分辨率图像G11中的分辨率(像素密度)恒定，优选的是，在所有的像素块23中，像素22a位于相同的位置(在图6所示的示例中的左上位置)。因为如上所述获得的低分辨率图像是像素数量小于像素阵列21中包含的像素的数量的图像，所以可以减少与图像的输出或后续处理相关的时间。此外，因为图像读取单元10中包含的ADC 32与像素块23相关联且能够如上所述地并行地进行AD转换，所以例如，与水平地顺序进行扫描的情况相比，可以高速地获得低分辨率图像。
图像读取单元10还可以响应于后述的第一信号处理单元101的请求，基于与像素22a不同的像素向第一信号处理单元101输出像素值。利用该构成，第一信号处理单元101能够生成通过使用像素信号补偿低分辨率图像以具有高分辨率而获得的中间分辨率图像。
图7A至图7C是用于说明中间分辨率图像的示意图。在图7A所示的示例中，类似于上面参照图6所述的示例，对于各像素块23，获得基于一个像素22a的像素值，且将低分辨率图像G21输出至第一信号处理单元101。
在图7B所示的示例中，对于各像素块23，图像读取单元10将与不同于像素22a的三个像素22b相关的像素值输出至第一信号处理单元101。如图7B所示，像素22b例如优选是像素块23的像素22a和相邻像素块23的像素22a之间的中间像素。第一信号处理单元101能够通过使用接收的与像素22b相关的像素值补偿低分辨率图像G21以具有高分辨率来生成中间分辨率图像G22。
在图7C所示的示例中，对于各像素块23，图像读取单元10将与不同于像素22a和像素22b的12个像素22c相关的像素值输出至第一信号处理单元101。如图7C所示，例如，像素22c优选是例如像素块23的像素22a或像素22b与像素22b之间的中间像素，或像素块23的像素22b与相邻像素块23的像素22a之间的中间像素。第一信号处理单元101能够通过使用接收的与像素22c相关的像素值补偿中间分辨率图像G22来生成具有与中间分辨率图像G22相比更高分辨率的中间分辨率图像G23。
如上所述，第一信号处理单元101从图像读取单元10接收低分辨率图像，接收补偿像素值，且获得中间分辨率图像。因此，与作为比较例的通过如上所述的缩小处理生成具有不同尺寸的缩小图像的情况相比，可以抑制处理量。
在上面的示例中，图像读取单元10输出补偿像素值，且第一信号处理单元101通过补偿处理生成中间分辨率图像，但是图像读取单元10也可以输出包括已经输出的像素值的中间分辨率图像。根据该构成，减少了第一信号处理单元101的处理量。然而，在高速地进行第一信号处理单元101进行的补偿处理的情况下，通过接收补偿像素值并生成中间分辨率图像可以防止像素值的重复性输出，且因此，与从图像读取单元10接收中间分辨率图像的情况相比可以以更高速度获得中间分辨率图像。
图7B和图7C所示的图像是示例，且用于生成中间分辨率图像所用的补偿的像素22b和像素22c的位置不限于图7B和图7C的示例。
此外，图像读取单元10将由后述的第一信号处理单元101指定的感兴趣区域的图像(以下也被称为“感兴趣区域图像”)输出至后述的第二信号处理单元102。感兴趣区域图像也经由通信单元(未图示)传输至服务器7。
例如，图像读取单元10可以从第一信号处理单元101接收用于指定图像读取单元10中的感兴趣区域的区域指定信号，进行与基于区域指定信号指定的像素块23中包含的像素相关的AD转换，并且输出感兴趣区域图像。此外，在第一信号处理单元101检测多个感兴趣区域的情况下，图像读取单元10能够输出与多个感兴趣区域相对应的多个感兴趣区域图像。
图8是用于说明用于获得多个感兴趣区域图像的AD转换的示例的说明图。如图8所示，水平控制线37a至37y和垂直控制线38a至38x连接至ADC阵列31中包含的ADC 32。水平控制线37a至37y连接至图5所示的水平区域控制单元33，且水平控制信号从水平区域控制单元33经由水平控制线37a至37y输入至ADC 32。类似地，垂直控制线38a至38x连接至图5所示的垂直区域控制单元34，且垂直控制信号从垂直区域控制单元34经由垂直控制线38a至38x输入至ADC 32。
如图8所示，ADC 32包括锁存单元36，且基于水平控制信号和垂直控制信号，“0”或“1”作为ADC 32的操作信息(待机或激活)被写入锁存单元36中。只有其中写入锁存单元36中的操作信息是激活的ADC32操作且进行AD转换。例如，可以进行输入的水平控制信号和垂直控制信号的逻辑乘积运算，以在水平控制信号和垂直控制信号都具有H电平的情况下，将“1”写入锁存单元36中，否则，写入“0”。此外，可以进行输入的水平控制信号和垂直控制信号的逻辑和运算，以在水平控制信号和垂直控制信号中的至少一者具有H电平的情况下，将“1”写入锁存单元36中，否则，写入“0”。
在图8所示的示例中，矩形区域39a和矩形区域39b根据基于区域指定信号的水平控制信号和垂直控制信号的组合进入激活状态，且矩形区域39a和矩形区域39b中包含的ADC 32操作且输出像素值。因此，基于与矩形区域39a和矩形区域39b相对应的像素块的图像能够被输出为感兴趣区域图像。基于区域指定信号指定的ADC 32(在图8的示例中，为矩形区域39a和矩形区域39b)或与其相对应的像素块23也被称为图像读取单元10中的“感兴趣区域”。
如图8所示，由区域指定信号指定的多个图像读取单元10中的感兴趣区域可以具有不同的尺寸，且相应地，感兴趣区域图像的尺寸(图像尺寸)也可以不同。此外，如上所述，控制ADC 32的操作信息，使得ADC32在多个感兴趣区域中并行地进行AD转换，且多个感兴趣区域图像被并行地输出。
如上所述获得的感兴趣区域图像是具有与图7A至图7C所示的低分辨率图像G21和中间分辨率图像G22、G23相比的更高分辨率(像素密度)的图像。因此，在后述的第二信号处理单元102使用感兴趣区域图像作为输入来进行识别处理的情况下，与使用缩小图像作为输入来进行识别处理的情况相比，可以实现更高准确度的识别处理。
此外，感兴趣区域图像的像素数量通常小于图像读取单元10中包含的所有像素的数量(即，感兴趣区域图像是基于所有像素的图像的一部分)。因此，可以通过使用感兴趣区域图像作为输入进行机器学习和识别处理来减少处理量。
上面已经说明了图像读取单元10的构成例。其后，返回参照图4继续说明。
图4所示的第一信号处理单元101从图像读取单元10接收上面参照图5所述的低分辨率图像，并且指定(检测)图像读取单元10中的感兴趣区域。此外，第一信号处理单元101将用于指定感兴趣区域的区域指定信号输出至图像读取单元10。例如，在低分辨率图像中指定感兴趣区域的情况下，与低分辨率图像的感兴趣区域中的像素值相对应的一个或多个ADC 32可以被指定为图像读取单元中的感兴趣区域。
例如，从第一信号处理单元101输出的区域指定信号可以是用于指定感兴趣区域中的左上ADC 32的位置和右下ADC 32的位置的信号，或者可以是用于指定感兴趣区域的左上ADC 32的位置以及感兴趣区域的尺寸(长度×宽度)的信号。此外，区域指定信号不限于本示例，且可以具有各种形式，只要它是能够指定感兴趣区域的信号即可。
可以通过各种方法进行由第一信号处理单元101基于低分辨率图像进行的感兴趣区域的指定。例如，第一信号处理单元101可以通过与预定形状图案进行匹配的图案匹配来指定感兴趣区域。根据该构成，可以将具有预定形状图案的区域指定为感兴趣区域。
此外，第一信号处理单元101可以基于从图像中提取的特征量来检测物体之间的边界(边缘)，并且指定感兴趣区域。根据该构成，可以将其中示出了主题(前景物体)的区域指定为感兴趣区域。
通过第一信号处理单元101指定感兴趣区域的方法不限于上面的示例。例如，可以使用这样的方法：使用主题的形状或主题的颜色的匹配程度或利用多个图像通过按照时间顺序的处理在前一帧中提取的感兴趣区域的位置的信息来指定它，或者可以采用这样的方法：基于主题的运动来指定它。此外，第一信号处理单元101可以基于机器学习来检测主题(物体)且指定感兴趣区域，或者可以将其中示出了通过隶属检测而检测到的预定类型的主题(例如，人、脸或车辆等)的区域指定为感兴趣区域。
因为感兴趣区域图像是由后述的第二信号处理单元102进行的识别处理的输入，所以优选的是，适当地选择指定感兴趣区域的方法，以便根据识别处理获得适当感兴趣区域图像作为识别处理的输入。
利用该构成，第二信号处理单元102仅对一些区域的图像而不是对基于图像读取单元10中包含的所有像素的图像进行识别处理，因此，减少了与识别处理相关的处理量。
此外，在未基于低分辨率图像指定感兴趣区域的情况下，第一信号处理单元101可以请求图像读取单元10传输未包含在低分辨率图像中的像素值，以便使低分辨率图像具有高分辨率。然后，第一信号处理单元101可以从图像读取单元10接收未包含在低分辨率图像中的像素值，生成中间分辨率图像，且基于中间分辨率图像指定感兴趣区域。如上面参照图7A至图7C所述，这里生成的中间分辨率图像是其像素数量比低分辨率图像的像素数量多的图像。此外，期望的是，中间分辨率图像的像素数量小于图像读取单元10中包含的所有像素的数量。
因为如上所述基于中间分辨率图像指定感兴趣区域，所以即使在未在低分辨率图像中指定感兴趣区域的情况下，也可以指定感兴趣区域。
如上面参照图7C所述，也可以进一步提高中间分辨率图像的图像质量。例如，在未基于第一中间分辨率图像指定感兴趣区域的情况下，第一信号处理单元101可以请求图像读取单元10传输未包含在第一中间分辨率图像中的像素值，以便使第一中间分辨率图像具有更高分辨率。第一信号处理单元101可以基于从图像读取单元10接收的未包含在第一中间分辨率图像中的像素值生成像素数量比第一中间分辨率图像的像素数量多的第二中间分辨率图像，并且基于第二中间分辨率图像指定感兴趣区域。
根据该构成，可以重复地进行中间分辨率图像的生成和感兴趣区域的指定，直至指定感兴趣区域。
如上面参照图7A至图7C所述，第一信号处理单元101可以直接从图像读取单元10接收中间分辨率图像，并且基于中间分辨率图像指定感兴趣区域。
此外，第一信号处理单元101可以基于低分辨率图像指定多个感兴趣区域。如上面参照图8所述，在指定多个感兴趣区域的情况下，ADC 32可以在多个感兴趣区域中并行地进行AD转换，且对应的多个感兴趣区域图像可以被并行地输出。
第二信号处理单元102对基于区域指定信号从图像读取单元10输出的感兴趣区域图像进行识别处理。因为第二信号处理单元102的识别处理是对感兴趣区域图像而不是对基于图像读取单元10中包含的所有像素的图像进行的，所以抑制了处理量。此外，因为感兴趣区域图像具有比低分辨率图像高的分辨率(图像密度)且具有例如与基于所有像素的图像的分辨率相当的分辨率，所以与使用缩小图像进行识别处理的情况相比，可以进行更高准确度的识别处理。
第二信号处理单元102进行的识别处理没有特别的限制，并且例如，可以是用于获得与用作第一信号处理单元101进行的感兴趣区域的指定中的目标的信息相比更详细的信息的识别处理。
例如，在第一信号处理单元101将主题的区域指定为感兴趣区域而不指定主题类型的情况下，第二信号处理单元102进行的识别处理可以是主题类型的识别处理。例如，主题类型可以是人、动物(狗或猫等)、货币，诸如现金卡等卡片、车辆、车辆牌照、信号等。
此外，在第一信号处理单元101检测预定类型的主题且将检测到的主题的区域指定为感兴趣区域的情况下，第二信号处理单元102进行的识别处理可以是识别主题的更详细信息或属性等的处理。例如，在第一信号处理单元101检测人且将人的区域指定为感兴趣区域的情况下，第二信号处理单元102进行的识别处理可以是识别人的处理(例如，与姓名或ID相关联的处理)。此外，在第一信号处理单元101检测人脸且将脸的区域指定为感兴趣区域的情况下，第二信号处理单元102进行的识别处理可以是识别诸如性别、年龄、脸部表情或情绪等属性的处理。
应当理解的是，第二信号处理单元102进行的识别处理不限于上面的示例，且可以进行各种识别处理。
此外，第二信号处理单元102可以使用存储在识别器存储单元103中的识别器进行识别处理。如上所述，通过服务器7进行的基于感兴趣区域图像的机器学习来获得识别器。服务器7进行的机器学习的技术没有特别的限制，而是例如，可以使用基于卷积神经网络(CNN:convolutional neural network)的技术，在这种情况下，通过机器学习获得的识别器可以是神经网络。
通过第二信号处理单元102进行识别处理获得的识别结果例如可以显示在图像处理装置1中包含的显示单元(未图示)上或可以输出至其他装置(未图示)。
识别器存储单元103存储通过通信单元(未图示)从服务器7接收的识别器。在当从服务器7接收识别器时，识别器存储单元103已经存储了识别器的情况下，可以使用新接收的识别器更新(覆写)识别器。
<3.操作>
上面已经说明了本实施例的构成例。接着，将在下面参照图9和图10说明根据本实施例的操作示例。图9是图示了根据本实施例的与图像处理装置1进行的识别相关的操作的流程图。
首先，如图9所示，图像读取单元10将低分辨率图像输出至第一信号处理单元101(S102)。然后，第一信号处理单元101指定感兴趣区域(S104)。
在步骤S104中未指定感兴趣区域(S106中为否)的情况下，如上面参照图7A至图7C所述地使图像具有高分辨率(生成中间分辨率图像)(S108)，且处理返回至步骤S104，并且基于中间分辨率图像指定感兴趣区域。
另一方面，当在步骤S104中指定了感兴趣区域(S106中为是)时，基于从第一信号处理单元101输出至图像读取单元10的区域指定信号将感兴趣区域图像输出至第二信号处理单元102(S112)。
然后，第二信号处理单元102对感兴趣区域图像进行识别处理(S114)。
上面已经说明了与图像处理装置1进行的识别相关的操作，但是图9所示的操作是示例，且本实施例不限于本示例。此外，可以重复地进行图9所示的步骤S102至S114的处理(例如，每当进行成像时)。
接着，将参照图10说明与图像处理***1000进行的学习相关的操作。图10是图示了与图像处理***1000进行的学习相关的操作的流程图。
首先，如图10所示，将感兴趣区域图像从图像处理装置1传输至服务器7(S202)。例如，可以在图9中的步骤S112的处理后面或与之同时地进行步骤S202的处理。
已经接收了感兴趣区域图像的服务器7的学习单元701基于感兴趣区域图像进行机器学习(S204)。在步骤S204中，可以由服务器7的使用者输入感兴趣区域图像中示出的主题上的标签数据，且如有需要，可以对标签数据和感兴趣区域图像一起进行学习。
然后，将通过步骤S204中的机器学习获得的识别器从服务器7传输至图像处理装置1(S206)。已经接收了识别器的图像处理装置1使用新接收的识别器更新识别器存储单元103中存储的识别器(S208)。
上面已经说明了与图像处理***1000进行的学习相关的操作，但是图10所示的操作是示例，且本实施例不限于本示例。此外，可以每当获得感兴趣区域图像时进行图10所示的步骤S202中的感兴趣区域图像的传输处理，可以定期地一起传输多个感兴趣区域图像。此外，可以每当接收到感兴趣区域图像时进行或可以定期地进行步骤S204的处理。
<4.变型例>
上面已经说明了本公开的实施例。接着，将说明本实施例的几个变型例。下面将要说明的变型例可以独立地应用于本实施例或可以组合地应用于本实施例。此外，各变型例可以代替本实施例所述的构成来应用，或可以附加地应用于本实施例所述的构成。
(第一变型例)
在上面的实施例中，已经说明了图像处理装置1基于服务器7进行的机器学习更新识别器的示例，但是本技术不限于该示例。例如，通过学习获得的识别器可以预先存储在图像处理装置1的识别器存储单元103中，且可以不更新识别器。在这种情况下，图像处理装置1可以不具有通信功能。
(第二变型例)
此外，在图4所示的示例中，已经说明了图像处理***1000包括一个服务器7和一个图像处理装置1的示例，但是本技术不限于该示例。例如，图像处理***1000可以包括一个服务器和多个图像处理装置。在这种情况下，因为服务器能够从多个图像处理装置接收感兴趣区域图像且进行机器学习，所以可以获得更准确的识别器。
(第三变型例)
在上面的实施例中，已经说明了感兴趣区域图像的尺寸(图像尺寸)根据第一信号处理单元101的指定处理而不同的示例，但是本技术不限于该示例。例如，第二信号处理单元102接收的感兴趣区域图像的图像尺寸可以是与第二信号处理单元102进行的识别处理相对应的图像尺寸。在这种情况下，例如，图像读取单元10的感兴趣区域中包含的ADC 32不需要进行与ADC 32对应的像素块23中包含的所有像素相关的AD转换，并且可以仅进行与图像尺寸相对应的像素相关的AD转换。利用该构成，在对第二信号处理单元102进行的识别处理所用的输入图像的尺寸存在限制的情况下，不必要进行改变输入图像的尺寸的处理(例如，缩小处理)，且因此，可以抑制处理量。如上所述，为了仅进行与图像尺寸相对应的像素相关的AD转换，例如，与图像尺寸相关的或与图像尺寸相对应的像素相关的信息可以包含在从第一信号处理单元101输出的区域指定信号中。
<5.硬件构成例>
(图像传感器的构成例)
图像处理装置的至少一些功能能够由图像传感器实现。图11和图12是用于说明图像传感器的构成例的说明图。
如图11所示，图像传感器8包括层叠的像素基板81和电路板82。例如，像素基板81可以具有与上面参照图5所述的像素基板11相同的构成。此外，除了上面参照图5所述的电路板12的构成以外，电路板82还可以包括数字信号处理电路，且可以起到上面参照图4所述的第一信号处理单元101和第二信号处理单元102的作用。换言之，图像传感器8可以起到图4所示的图像读取单元10、第一信号处理单元101和第二信号处理单元102的作用。因为图像读取单元10、第一信号处理单元101和第二信号处理单元102的功能包含在同一半导体基板(图像传感器8)中，所以例如，能够减小与各单元之间的信号或数据的输入和输出相关联的延迟，且能够更高速地进行上述处理。
此外，如图12所示，图像处理装置的一些功能可以由数字信号处理器(DSP)105实现。在这种情况下，例如，像素基板81可以具有与上面参照图5所述的像素基板11的构成类似的构成，且除了上面参照图5所述的电路板12的构成以外，电路板82还可以具有数字信号处理电路且起到上面参照图4所述的第一信号处理单元101的作用。在这种情况下，DSP 105可以起到上面参照图4所述的第二信号处理单元102的作用。
此外，电路板82可以具有与上面参照图5所述的电路板12的构成类似的构成。在这种情况下，DSP 105可以起到上面参照图4所述的第一信号处理单元101和第二信号处理单元102的作用。
图像处理装置1可以配备有图像传感器8和DSP 105，且可以实现图4所示的功能。代替DSP 105或除了DSP 105之外，图像处理装置1还可以配备有诸如现场可编程门阵列(FPGA:field-programmable gatearray)或应用处理器(AP:application processor)等处理电路。
(信息处理设备的构成例)
此外，上述的一系列信息处理可以由诸如通用个人计算机等信息处理设备进行。图13是图示了根据本实施例的信息处理设备的硬件构成例的框图。例如，图13所示的信息处理设备900能够实现图4所示的图像处理装置1和服务器7。由根据本实施例的图像处理装置1和服务器7进行的信息处理由软件和将在下面说明的硬件的协作来实现。
如图13所示，信息处理设备900包括中央处理器(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911、通信装置913和传感器915。信息处理设备900可以包括诸如DSP或ASIC等处理电路来代替CPU901或与其一起。
CPU 901起到算术处理装置和控制装置的作用，并且根据各种程序来控制信息处理设备900中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储CPU 901使用的程序和操作参数等。RAM 903临时存储CPU 901的执行中使用的程序和该执行中适当地改变的参数等。例如，CPU 901可以形成第一信号处理单元101、第二信号处理单元102或学习单元701。
CPU 901、ROM 902和RAM 903由包括CPU总线等的主机总线904a连接。主机总线904a经由桥接器904与诸如***设备互连/接口(PCI:peripheral componentinterconnect/interface)总线等外部总线904b连接。此外，主机总线904a、桥接器904和外部总线904b不一定分开构成，且该功能可以被安装在单个总线中。
输入装置906由使用者通过其输入信息的装置实现，例如，鼠标、键盘、触摸面板、按钮、麦克风、开关、手柄等。此外，例如，输入装置906可以是使用红外线或其他电波的遥控装置或者与信息处理设备900的操纵相对应的诸如蜂窝电话(cellular phone)或PDA等外部连接设备。此外，例如，输入装置906可以包括输入控制电路等，该输入控制电路等基于使用者使用前述的输入单元输入的信息产生输入信号并且将该输入信号输出至CPU 901。信息处理设备900的使用者可以通过操纵输入装置906来输入各种类型的数据或指示信息处理设备900进行处理操作。
输出装置907由可以在视觉上或听觉上向使用者通知获取的信息的装置形成。作为这样的装置，存在显示装置(诸如CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置或灯等)、声音输出装置(诸如扬声器和耳机等)和打印机装置等。例如，输出装置907输出由信息处理设备900进行的各种处理而获取的结果。具体地，显示装置以诸如文字、图像、表格和图形等各种形式在视觉上显示由信息处理设备900进行的各种处理而获取的结果。另一方面，声音输出装置将由再现的声音数据和音频数据等组成的音频信号转换成模拟信号，并且在听觉上输出该模拟信号。
存储装置908是用于数据存储的装置，被形成为信息处理设备900的存储单元的示例。例如，存储装置908由磁存储装置(诸如HDD等)、半导体存储装置、光学存储装置或磁光存储装置等实现。存储装置908可以包括：存储介质，将数据记录在存储介质上的记录介质，用于从存储介质读取数据的读取装置，和用于将记录在存储介质上的数据删除的删除装置等。存储装置908存储CPU 901执行的程序和各种类型的数据以及从外部获取的各种类型的数据等。例如，存储装置908可以形成识别器存储单元103。
驱动器909是用于存储介质的读取器/写入器，并且被包含在信息处理设备900中或被从外部附接至信息处理设备900上。驱动器909读取安装在其上的诸如磁盘、光盘、磁光盘或半导体存储器等可移动存储介质上记录的信息，并且将该信息输出至RAM 903。此外，驱动器909可以将信息写在可移动存储介质上。
例如，连接端口911是与外部设备连接的接口，并且是可以通过通用串行总线(USB)等传输数据的外部设备的连接器。
例如，通信装置913是由用于连接至网络920等的通信装置形成的通信接口。例如，通信装置913是用于有线或无线局域网(LAN)、长期演进网络(LTE:long term evolution)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。此外，通信装置913可以是用于光通信的路由器，用于非对称数字用户线路(ADSL:asymmetric digital subscriber line)的路由器，各种通信调制解调器等。例如，通信装置913可以根据例如TCP/IP等预定协议来从因特网和其他通信设备接收信号等或将信号等传输至因特网和其他通信设备。
例如，传感器915包括各种传感器，诸如图像传感器、加速度传感器、陀螺仪传感器、地磁传感器、光传感器、声音传感器、测距传感器和力传感器等。传感器915获取与信息处理设备900的状态相关的信息，诸如信息处理设备900的姿势或移动速度等，或者获取与信息处理设备900的周围环境相关的信息，诸如信息处理设备900周围的亮度或噪声等。传感器915也可以包括GPS传感器，该GPS传感器接收GPS信号且测量装置的纬度、经度和海拔高度。例如，传感器915可以形成图像读取单元10。
此外，网络920是从连接至网络920的装置传输的信息的有线或无线传输路径。例如，网络920可以包括诸如因特网、电话电路网络或卫星通信网络等公共电路网络，包括以太网(注册商标)在内的各种局域网(LAN)，以及广域网(WAN)等。此外，网络920可以包括包含诸如互联网协议-虚拟专用网络(IP-VPN)等虚拟网络在内的专用电路网络。
以上，示出了根据本实施例的能够实现信息处理设备900的功能的硬件构成的示例。各部件可以使用通用组件来实现，或者可以由各部件的功能专用的硬件来实现。因此，根据当实施例被实施时的技术水平，可以适当地改变要使用的硬件构成。
此外，可以创建用于实现根据本实施例的信息处理设备900的各功能的计算机程序，且该计算机程序可以被安装在PC等中。此外，可以提供其上存储有该计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘或闪速存储器等。例如，可以通过网络来传送计算机程序，而不使用记录介质。
<6.应用例>
根据本公开实施例的技术(本技术)可应用于各种产品。例如，根据本公开实施例的技术被实现为安装在任意类型的移动物体上的装置，该移动物体是诸如汽车、电动车辆、油电混合动力车、摩托车、自行车、个人移动设备、飞机、无人机、轮船和机器人等。
图14是图示了车辆控制***的示意性构成例的框图，该车辆控制***是应用了根据本公开实施例的技术的移动物体控制***的示例。
车辆控制***12000包括经由通信网络12001连接的多个电子控制单元。在图14所示的示例中，车辆控制***12000包括驱动线控制单元12010、本体***控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能构成，设有微型计算机12051、音频和图像输出部12052、车载网络接口(I/F)12053。
驱动线控制单元12010根据各种程序来控制与车辆的驱动线相关的装置的操作。例如，驱动线控制单元12010起到以下机构或装置的控制装置作用：产生车辆的驱动力的诸如内燃机或驱动马达等驱动力产生装置；将驱动力传输至车轮的驱动力传输机构；调整车辆的转向角度的转向机构；和产生车辆的制动力的制动装置等。
本体***控制单元12020根据各种程序来控制附接至车辆本体的各种装置的操作。例如，本体***控制单元12020起到以下设备的控制装置的作用：无钥匙进入***、智能钥匙***、电动车窗装置或诸如前照灯、倒车灯、刹车灯、转向灯或雾灯等各种灯。在这种情况下，本体***控制单元12020可以接收从代替钥匙的便携式装置传输的无线电波或各种开关的信号。本体***控制单元12020接收这些无线电波或信号，并且控制车门锁装置、电动车窗装置或灯等。
车辆外部信息检测单元12030检测关于其上安装有车辆控制***12000的车辆的外部的信息。例如，成像部12031连接至车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像部12031拍摄车辆的外部的图像，并且接收拍摄的图像。车辆外部信息检测单元12030可以基于接收的图像进行人、车辆、障碍物、标志、道路上的字母等的物体检测处理或距离检测处理。
成像部12031是光传感器，该光传感器接收光且输出与接收的光的量相对应的电信号。成像部12031可以将电信号输出为图像或距离测量信息。此外，成像部12031接收的光可以是可见光或者可以是诸如红外光等非可见光。
车辆内部信息检测单元12040检测关于车辆的内部的信息。例如，车辆内部信息检测单元12040连接至驾驶员状态检测部12041，该驾驶员状态检测部12041检测驾驶员的状态。例如，驾驶员状态检测部12041可以包括对驾驶员进行成像的相机。车辆内部信息检测单元12040可以基于从驾驶员状态检测部12041输入的检测信息计算驾驶员的疲劳程度或驾驶员的注意力集中程度或确定驾驶员是否打瞌睡。
例如，微型计算机12051可以基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获取的关于车辆的内部和外部的信息计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动线控制单元12010输出控制指令。例如，微型计算机12051可以进行协同控制，以用于执行先进驾驶员辅助***(ADAS:advanced driver assistancesystem)的功能，该功能包括车辆碰撞避免或冲击减小、基于车间距离的跟踪驾驶、恒定车速驾驶、车辆碰撞警告或车道偏离警告等。
此外，微型计算机12051可以基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获取的关于车辆周围的区域的信息控制驱动力产生装置、转向机构或制动装置等，从而进行协同控制，以用于自动驾驶等的目的，这允许车辆自主地行驶，而不管驾驶员的任意操作。
此外，微型计算机12051可以基于由车辆外部信息检测单元12030获取的关于车辆的外部的信息向本体***控制单元12020输出控制指令。例如，微型计算机12051可以根据由车辆外部信息检测单元12030检测的前方车辆或对面车辆的位置来控制前灯，并且可以进行协同控制，以用于防炫目的目的，例如将远光灯切换至近光灯等。
音频和图像输出部12052将声音和图像中的至少一者的输出信号传输至输出装置，该输出装置能够在视觉上或听觉上将信息通知到车辆的乘客或车辆的外部。在图14的示例中，音频扬声器12061、显示部12062和仪器面板12063是作为输出装置的例子。例如，显示部12062可以包括机载显示器和平视显示器中的至少一者。
图15是图示了成像部12031的安装位置的示例的示意图。
在图15中，包括作为成像部12031的成像部12101、12102、12103、12104和12105。
例如，成像部12101、12102、12103、12104和12105位于车辆12100的前鼻、侧后视镜、后保险杠、后门和车厢挡风玻璃上部。附接至前鼻的成像部12101和附接至车厢挡风玻璃上部的成像部12105主要获取车辆12100前方区域的图像。附接至侧后视镜的成像部12102和12103主要获取车辆12100侧方区域的图像。附接至后保险杠或后门的成像部12104主要获取车辆12100后方区域的图像。附接至车厢挡风玻璃上部的成像部12105主要用来检测前方车辆、行人、障碍物、交通灯、交通标志或车道等。
此外，图15图示了成像部12101至12104的成像范围的示例。成像范围12111表示附接至前鼻的成像部12101的成像范围。成像范围12112和12113分别表示附接至侧后视镜的成像部12102和12103的成像范围。成像范围12114表示附接至后保险杠或后门的成像部12104的成像范围。例如，成像部12101至12104拍摄的重叠图像数据提供了俯视车辆12100的俯拍图像(overhead image)。
成像部12101至12104中的至少一者可以具有获取距离信息的功能。例如，成像部12101至12104中的至少一者可以是包括多个图像传感器的立体相机或者可以是包括用于相位差检测的像素的图像传感器。
例如，微型计算机12051可以通过特别地使用车辆12100的行驶道路上的最接近的三维物体，通过基于从成像部12101至12104获得的距离信息获得与成像范围12111至12114内的各三维物体相距的距离以及该距离的时间变化(车辆12100的相对速度)，将在与车辆12100基本上相同方向上按照预定的速度(例如，0或以上km/h)行驶的三维物体提取为前方车辆。此外，微型计算机12051可以预先设定在前方车辆之前确保的车间距离，并且可以进行自动制动控制(也包括跟踪停止控制)或自动加速控制(也包括跟踪碰撞控制)。这样，可以进行协同控制，以用于自动驾驶等的目的，这允许车辆自主地行驶，而不管驾驶员的任意操作。
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息将关于三维物体的三维物体数据分类且提取为诸如摩托车、普通车辆、大型车辆、行人和电线杆等其他三维物体，并且可以使用该其他三维物体来自动地避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为可以由车辆12100的驾驶员观察到的障碍物和难以观察到的障碍物。然后，微型计算机12051可以确定指示与各障碍物碰撞的危险的碰撞风险，并且在存在碰撞可能性的情形下，因为碰撞风险被设定为等于或大于设定值，所以微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，或者微型计算机12051可以通过经由驱动线控制单元12010进行强制减速或避开转向来进行碰撞避免的驾驶辅助。
成像部12101至12104中的至少一者可以是检测红外光的红外相机。例如，微型计算机12051可以通过确定成像部12101至12104的拍摄图像中是否存在行人来识别行人。例如，可以在以下过程中识别行人：在用作红外相机的成像部12101至12104的拍摄图像中提取特征点的过程和使表示物体轮廓的一系列特征点经受图案匹配处理以确定是否存在行人的过程。微型计算机12051确定成像部12101至12104的拍摄图像中存在行人。当识别出行人时，音频和图像输出部12052控制显示部12062，使得用于强调的矩形轮廓线被叠加，以显示在识别出的行人上。此外，音频和图像输出部12052控制显示部12062，使得表示行人的图标等显示在期望的位置。
上面已经说明了可以应用根据本公开实施例的技术的车辆控制***的示例。根据本公开实施例的技术可应用于上述构成中的成像部12031和微型计算机12051。例如，图4所示的图像处理装置1可以应用于成像部12031或微型计算机12051。例如，在根据本公开实施例的技术应用于成像部12031的情况下，可以以更高速度以及以高准确度进行从拍摄的图像识别行人、标记或牌照等的识别处理。
<7.结论>
如上所述，根据本公开的实施例，在识别处理前指定感兴趣区域，因此，可以减少与识别处理相关的处理量，且可以提高识别准确度。此外，因为该处理是与能够针对各像素块并行地输出像素值的图像读取单元结合地进行的，所以可以高速地获取低分辨率图像，且可以逐步调整分辨率，因此，可以减少与感兴趣区域的指定相关的处理量，且可以高速地指定感兴趣区域。
此外，因为其中指定了要识别的主题的区域的感兴趣区域图像被用于机器学习，所以也能够提高通过机器学习获得的识别器的准确度。例如，通过学习其中已经指定了主题的区域的感兴趣区域图像而获得的识别器在准确度上高于通过学习基于图像读取单元的所有像素的整个图像而获得的识别器。同样，因为感兴趣区域图像被用于机器学习，所以可以小型化(简化)获得的识别器，且可以进一步减少处理量。
本领域技术人员应当理解，依据设计要求和其他因素，可以在随附的权利要求或其等同物的范围内进行各种修改、组合、次组合以及改变。
例如，在上面的实施例中，已经说明了其中图像读取单元进行与一些像素相关的AD转换并且输出低分辨率图像的示例，但是本技术不限于该示例。例如，在进行了与所有像素相关的AD转换后，可以进行诸如平均处理等信号处理，以产生低分辨率图像，且可以将低分辨率图像输出至第一信号处理单元。
此外，本说明书所述的效果仅是说明性或举例性的效果，而不是限制性的。即，伴随或代替上面的效果，根据本公开的技术可以实现对于本领域技术人员来说根据本说明书的描述很明显的其他效果。
此外，本技术也可以具有如下构成。
(1)一种图像处理方法，其包括：
生成具有第一分辨率的第一图像；
通过处理电路来搜索所述第一图像，以确定在所述第一图像中是否能够识别到目标物体；
当确定在所述第一图像中能够识别到所述目标物体时，在所述第一图像中指定感兴趣区域；
当确定在所述第一图像中不能识别到所述目标物体时，生成具有比所述第一分辨率高的第二分辨率的第二图像；
通过所述处理电路来搜索所述第二图像，以确定在所述第二图像中是否能够识别到所述目标物体；以及
当确定在所述第二图像中能够识别到所述目标物体时，在所述第二图像中指定感兴趣区域。
(2)如(1)所述的图像处理方法，其中所述第一图像包括多个像素块，每个像素块包括至少两个像素，并且其中生成所述第二图像包括：从所述第一图像的各像素块中选择所述至少两个像素中的一个像素以包含在所述第二图像中。
(3)如(2)所述的图像处理方法，其中从各像素块中选择所述至少两个像素中的一个像素以包含在所述第二图像中包括：选择各像素块中的位于相应像素块内相同位置的一个像素。
(4)如(2)所述的图像处理方法，其中各像素块包括至少四个像素，并且其中生成所述第二图像包括：从各像素块中选择所述至少四个像素中的至少两个像素以包含在所述第二图像中。
(5)如(1)至(4)中任一项所述的图像处理方法，还包括：
生成与所述第二图像中的指定的感兴趣区域相对应的第三图像，其中所述第三图像具有比所述第二分辨率高的第三分辨率。
(6)如(5)所述的图像处理方法，生成所述第三图像包括：激活与所述第二图像中的指定的感兴趣区域相对应的一个或多个模拟数字转换器(ADC)。
(7)如(5)所述的图像处理方法，还包括：
通过所述处理电路来识别所述第三图像中的项目。
(8)如(7)所述的图像处理方法，其中被识别的所述项目包括文字。
(9)如(7)或(8)所述的图像处理方法，其中识别所述第三图像中的所述项目包括：使用机器学习分类器来处理所述第三图像的至少一部分。
(10)如(9)所述的图像处理方法，其中识别所述第三图像中的所述项目包括：识别所述目标物体的属性。
(11)一种图像处理***，其包括：
处理电路，所述处理电路被构造成：
生成具有第一分辨率的第一图像；
搜索所述第一图像，以确定在所述第一图像中是否能够识别到目标物体；
当确定在所述第一图像中能够识别到所述目标物体时，在所述第一图像中指定感兴趣区域；
当确定在所述第一图像中不能识别到所述目标物体时，生成具有比所述第一分辨率高的第二分辨率的第二图像；
搜索所述第二图像，以确定在所述第二图像中是否能够识别到所述目标物体；以及
当确定在所述第二图像中能够识别到所述目标物体时，在所述第二图像中指定感兴趣区域。
(12)如(11)所述的图像处理***，其中所述处理电路还被构造成：生成与所述第二图像中的指定的感兴趣区域相对应的第三图像，其中所述第三图像具有比所述第二分辨率高的第三分辨率。
(13)如(12)所述的图像处理***，还包括：
多个模拟数字转换器(ADC)，每个模拟数字转换器都被构造成处理来自多个像素的数据，并且
其中生成所述第三图像包括：激活所述多个ADC中的与所述第二图像中的指定的感兴趣区域相对应的一个或多个ADC。
(14)如(12)或(13)所述的图像处理***，其中所述处理电路还被构造成识别所述第三图像中的项目。
(15)如(14)所述的图像处理***，其中识别所述第三图像中的所述项目包括：使用机器学习分类器来处理所述第三图像的至少一部分。
(16)如(15)所述的图像处理***，其中识别所述第三图像中的所述项目包括：识别所述目标物体的属性。
(17)一种图像处理方法，其包括：
生成具有第一分辨率的第一图像；
搜索所述第一图像，以识别所述第一图像中的目标物体；
基于所述目标物体的识别，在所述第一图像中指定感兴趣区域；以及
激活与所述第一图像中的指定的感兴趣区域相对应的一个或多个模拟数字转换器(ADC)，以生成与所述感兴趣区域相对应的第二图像，其中所述第二图像具有比所述第一分辨率高的第二分辨率。
(18)如(17)所述的图像处理方法，还包括：通过处理电路来识别所述第二图像中的项目。
(19)如(18)所述的图像处理方法，其中识别所述第二图像中的所述项目包括：使用机器学习分类器来处理所述第二图像的至少一部分。
(20)如(19)所述的图像处理方法，其中识别所述第二图像中的所述项目包括：识别所述目标物体的属性。
(21)一种图像处理装置，其包括：
第一信号处理单元，所述第一信号处理单元被构造成：从图像读取单元接收低分辨率图像，所述图像读取单元包括被构造成输出像素信号的多个像素并且所述图像读取单元输出基于所述像素信号获得的图像，所述低分辨率图像具有的像素的数量小于所述多个像素的数量；基于所述低分辨率图像指定所述图像读取单元中的感兴趣区域；并且将用于指定所述感兴趣区域的区域指定信号输出至所述图像读取单元。
(22)根据(21)所述的图像处理装置，
其中在未基于所述低分辨率图像指定所述感兴趣区域的情况下，所述第一信号处理单元从所述图像读取单元接收未包含在所述低分辨率图像中的像素值，生成具有比所述低分辨率图像更多像素的中间分辨率图像，且基于所述中间分辨率图像指定感兴趣区域。
(23)根据(22)所述的图像处理装置，
其中在未基于第一中间分辨率图像指定所述感兴趣区域的情况下，所述第一信号处理单元从所述图像读取单元接收未包含在所述第一中间分辨率图像中的像素值，生成具有比所述第一中间分辨率图像更多像素的第二中间分辨率图像，并且基于所述第二中间分辨率图像指定感兴趣区域。
(24)根据(21)所述的图像处理装置，
其中在未基于所述低分辨率图像指定所述感兴趣区域的情况下，所述第一信号处理单元从所述图像读取单元接收具有比所述低分辨率图像更多像素的中间分辨率图像，并且基于所述中间分辨率图像指定感兴趣区域。
(25)根据(21)至(24)中任一项所述的图像处理装置，
其中所述第一信号处理单元基于所述低分辨率图像指定多个感兴趣区域。
(26)根据(21)至(25)中任一项所述的图像处理装置，还包括：
所述图像读取单元，
其中所述图像读取单元还包括AD转换单元，所述AD转换单元被构造成与包括多个像素的像素块相关联，所述AD转换单元的数量等于所述像素块的数量，并且
所述AD转换单元基于所述区域指定信号对所述像素信号进行AD转换。
(27)根据(26)所述的图像处理装置，
其中所述低分辨率图像通过所述AD转换单元获得，各个所述AD转换单元对从像素输出的所述像素信号进行AD转换，所述像素的数量小于包含在与所述AD转换单元相关联的所述像素块中的像素的数量。
(28)根据(21)至(27)中任一项所述的图像处理装置，还包括：
第二信号处理单元，所述第二信号处理单元被构造成对基于所述区域指定信号从所述图像读取单元输出的感兴趣区域图像进行识别处理。
(29)根据(28)所述的图像处理装置，
其中所述第二信号处理单元从所述图像读取单元接收具有与由所述第二信号处理单元进行的所述识别处理相对应的尺寸的感兴趣区域图像。
(30)根据(28)或(29)所述的图像处理装置，
其中所述第二信号处理单元使用通过基于所述感兴趣区域图像的机器学习而获得的识别器来进行所述识别处理。
(31)根据(21)至(30)中任一项所述的图像处理装置，包括：
图像传感器，所述图像传感器被构造成起到所述第一信号处理单元的作用。
(32)根据(28)至(30)中任一项所述的图像处理装置，包括：
图像传感器，所述图像传感器被构造成起到所述第一信号处理单元和所述第二信号处理单元的作用。
(33)一种图像处理方法，其包括：
通过处理器从图像读取单元接收低分辨率图像，所述低分辨率图像具有的像素的数量小于所述图像读取单元中包含的像素的数量；
通过所述处理器基于所述低分辨率图像指定所述图像读取单元中的感兴趣区域；和
通过所述处理器将用于指定所述感兴趣区域的区域指定信号输出至所述图像读取单元。
(34)一种图像处理***，其包括：
图像处理装置，所述图像处理装置包括：
图像读取单元，所述图像读取单元包括被构造成输出像素信号的多个像素并且所述图像读取单元被构造成输出基于所述像素信号获得的图像，
第一信号处理单元，所述第一信号处理单元被构造成从所述图像读取单元接收具有的像素的数量比所述图像读取单元中包含的像素的数量小的低分辨率图像，基于所述低分辨率图像指定所述图像读取单元中的感兴趣区域，并且将用于指定所述感兴趣区域的区域指定信号输出至所述图像读取单元，和
第二信号处理单元，所述第二信号处理单元被构造成对基于所述区域指定信号从所述图像读取单元输出的感兴趣区域图像进行识别处理；以及
服务器，所述服务器包括：
学习单元，所述学习单元被构造成基于从所述图像处理装置接收的所述感兴趣区域图像通过机器学习来产生用于所述识别处理的识别器。
附图标记列表
1 图像处理装置
5 通信网络
7 服务器
8 图像传感器
10 图像读取单元
11 像素基板
12 电路板
21 像素阵列
22 像素
23 像素块
31 ADC阵列
32 ADC
33 水平区域控制单元
34 垂直区域控制单元
35 输出单元
36 锁存单元
101 第一信号处理单元
102 第二信号处理单元
103 识别器存储单元
105 DSP
701 学习单元

Claims (20)

1.一种图像处理方法，其包括：
生成具有第一分辨率的第一图像；
通过处理电路来搜索所述第一图像，以确定在所述第一图像中是否能够识别到目标物体；
当确定在所述第一图像中能够识别到所述目标物体时，在所述第一图像中指定感兴趣区域；
当确定在所述第一图像中不能识别到所述目标物体时，生成具有比所述第一分辨率高的第二分辨率的第二图像；
通过所述处理电路来搜索所述第二图像，以确定在所述第二图像中是否能够识别到所述目标物体；以及
当确定在所述第二图像中能够识别到所述目标物体时，在所述第二图像中指定感兴趣区域。
2.如权利要求1所述的图像处理方法，其中所述第一图像包括多个像素块，每个像素块包括至少两个像素，并且其中生成所述第二图像包括：从所述第一图像的各像素块中选择所述至少两个像素中的一个像素以包含在所述第二图像中。
3.如权利要求2所述的图像处理方法，其中从各像素块中选择所述至少两个像素中的一个像素以包含在所述第二图像中包括：选择各像素块中的位于相应像素块内相同位置的一个像素。
4.如权利要求2所述的图像处理方法，其中各像素块包括至少四个像素，并且其中生成所述第二图像包括：从各像素块中选择所述至少四个像素中的至少两个像素以包含在所述第二图像中。
5.如权利要求1所述的图像处理方法，还包括：
生成与所述第二图像中的指定的感兴趣区域相对应的第三图像，其中所述第三图像具有比所述第二分辨率高的第三分辨率。
6.如权利要求5所述的图像处理方法，其中生成所述第三图像包括：激活与所述第二图像中的指定的感兴趣区域相对应的一个或多个模拟数字转换器(ADC)。
7.如权利要求5所述的图像处理方法，还包括：
通过所述处理电路来识别所述第三图像中的项目。
8.如权利要求7所述的图像处理方法，其中被识别的所述项目包括文字。
9.如权利要求7所述的图像处理方法，其中识别所述第三图像中的所述项目包括：使用机器学习分类器来处理所述第三图像的至少一部分。
10.如权利要求9所述的图像处理方法，其中识别所述第三图像中的所述项目包括：识别所述目标物体的属性。
11.一种图像处理***，其包括：
处理电路，所述处理电路被构造成：
生成具有第一分辨率的第一图像；
搜索所述第一图像，以确定在所述第一图像中是否能够识别到目标物体；
当确定在所述第一图像中能够识别到所述目标物体时，在所述第一图像中指定感兴趣区域；
当确定在所述第一图像中不能识别到所述目标物体时，生成具有比所述第一分辨率高的第二分辨率的第二图像；
搜索所述第二图像，以确定在所述第二图像中是否能够识别到所述目标物体；以及
当确定在所述第二图像中能够识别到所述目标物体时，在所述第二图像中指定感兴趣区域。
12.如权利要求11所述的图像处理***，其中所述处理电路还被构造成：生成与所述第二图像中的指定的感兴趣区域相对应的第三图像，其中所述第三图像具有比所述第二分辨率高的第三分辨率。
13.如权利要求12所述的图像处理***，还包括：
多个模拟数字转换器(ADC)，每个模拟数字转换器都被构造成处理来自多个像素的数据，并且
其中生成所述第三图像包括：激活所述多个ADC中的与所述第二图像中的指定的感兴趣区域相对应的一个或多个ADC。
14.如权利要求12所述的图像处理***，其中所述处理电路还被构造成识别所述第三图像中的项目。
15.如权利要求14所述的图像处理***，其中识别所述第三图像中的所述项目包括：使用机器学习分类器来处理所述第三图像的至少一部分。
16.如权利要求15所述的图像处理***，其中识别所述第三图像中的所述项目包括：识别所述目标物体的属性。
17.一种图像处理方法，其包括：
生成具有第一分辨率的第一图像；
搜索所述第一图像，以识别所述第一图像中的目标物体；
基于所述目标物体的识别，在所述第一图像中指定感兴趣区域；以及
激活与所述第一图像中的指定的感兴趣区域相对应的一个或多个模拟数字转换器(ADC)，以生成与所述感兴趣区域相对应的第二图像，其中所述第二图像具有比所述第一分辨率高的第二分辨率。
18.如权利要求17所述的图像处理方法，还包括：通过处理电路来识别所述第二图像中的项目。
19.如权利要求18所述的图像处理方法，其中识别所述第二图像中的所述项目包括：使用机器学习分类器来处理所述第二图像的至少一部分。
20.如权利要求19所述的图像处理方法，其中识别所述第二图像中的所述项目包括：识别所述目标物体的属性。
CN201780004948.6A 2016-12-28 2017-11-21 图像处理装置、图像处理方法和图像处理*** Pending CN108513711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310698965.1A CN116723392A (zh) 2016-12-28 2017-11-21 图像处理方法和图像处理***

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-255290 2016-12-28
JP2016255290A JP6832155B2 (ja) 2016-12-28 2016-12-28 画像処理装置、画像処理方法、及び画像処理システム
PCT/JP2017/041893 WO2018123360A1 (en) 2016-12-28 2017-11-21 Image processing device, image processing method, and image processing system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310698965.1A Division CN116723392A (zh) 2016-12-28 2017-11-21 图像处理方法和图像处理***

Publications (1)

Publication Number Publication Date
CN108513711A true CN108513711A (zh) 2018-09-07

Family

ID=60661912

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310698965.1A Pending CN116723392A (zh) 2016-12-28 2017-11-21 图像处理方法和图像处理***
CN201780004948.6A Pending CN108513711A (zh) 2016-12-28 2017-11-21 图像处理装置、图像处理方法和图像处理***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310698965.1A Pending CN116723392A (zh) 2016-12-28 2017-11-21 图像处理方法和图像处理***

Country Status (6)

Country Link
US (2) US10812739B2 (zh)
EP (1) EP3391644B1 (zh)
JP (1) JP6832155B2 (zh)
KR (1) KR102556560B1 (zh)
CN (2) CN116723392A (zh)
WO (1) WO2018123360A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117830A (zh) * 2018-09-21 2019-01-01 上海晔芯电子科技有限公司 图像传感器、目标跟踪***及方法
CN112561852A (zh) * 2019-09-26 2021-03-26 佳能株式会社 图像判断装置和图像判断方法
CN112889267A (zh) * 2018-10-31 2021-06-01 索尼半导体解决方案公司 堆叠式光接收传感器和电子装置
CN113056768A (zh) * 2018-11-13 2021-06-29 索尼集团公司 图像处理设备、图像处理方法和程序
CN116385789A (zh) * 2023-04-07 2023-07-04 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832155B2 (ja) 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
US10491778B2 (en) 2017-09-21 2019-11-26 Honeywell International Inc. Applying features of low-resolution data to corresponding high-resolution data
KR102592061B1 (ko) * 2018-02-14 2023-10-23 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
US10922744B1 (en) * 2018-03-20 2021-02-16 A9.Com, Inc. Object identification in social media post
WO2020027230A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
US11735614B2 (en) 2018-07-31 2023-08-22 Sony Semiconductor Solutions Corporation Stacked light-receiving sensor and electronic device
WO2020027161A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
JP6925474B2 (ja) * 2018-08-31 2021-08-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム
JP6697042B2 (ja) * 2018-08-31 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像方法及びプログラム
JP7289658B2 (ja) * 2018-09-07 2023-06-12 株式会社フジクラ 分類装置、分類方法、分類プログラム、及び検査装置
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
JP7135665B2 (ja) 2018-09-26 2022-09-13 トヨタ自動車株式会社 車両制御システム、車両の制御方法及びコンピュータプログラム
US10778916B2 (en) 2018-10-24 2020-09-15 Honeywell International Inc. Applying an annotation to an image based on keypoints
JP7279533B2 (ja) * 2019-06-14 2023-05-23 ソニーグループ株式会社 センサ装置、信号処理方法
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路
JP2021064860A (ja) 2019-10-11 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
JP7354290B2 (ja) * 2019-12-19 2023-10-02 富士フイルム株式会社 撮像装置、撮像装置の作動方法、プログラム、及び撮像システム
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
JP7470967B2 (ja) * 2020-03-30 2024-04-19 株式会社ユピテル システム、プログラム、機械学習方法、及び機械学習モデル等
US11507423B2 (en) * 2020-03-30 2022-11-22 Qualcomm Incorporated Processing data stream modification to reduce power effects during parallel processing
JP2022018905A (ja) * 2020-07-16 2022-01-27 キヤノン株式会社 情報処理装置及び方法、撮像装置、及び撮像システム
CN112016394A (zh) * 2020-07-21 2020-12-01 影石创新科技股份有限公司 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质
JP2022046219A (ja) * 2020-09-10 2022-03-23 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム
US11692769B2 (en) * 2020-11-17 2023-07-04 Haier Us Appliance Solutions, Inc. Inventory management system for a refrigerator appliance
US11995900B2 (en) * 2021-11-12 2024-05-28 Zebra Technologies Corporation Method on identifying indicia orientation and decoding indicia for machine vision systems
WO2023195405A1 (ja) * 2022-04-04 2023-10-12 京セラコミュニケーションシステム株式会社 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687006A (zh) * 2010-01-04 2012-09-19 日本电气株式会社 图像诊断方法、图像诊断装置及图像诊断程序
CN104429057A (zh) * 2012-07-06 2015-03-18 索尼公司 固态成像设备、固态成像设备的驱动方法以及电子装置
US20150104106A1 (en) * 2013-10-16 2015-04-16 Canon Kabushiki Kaisha Method, system and apparatus for determining a contour segment for an object in an image captured by a camera
US20150139496A1 (en) * 2013-11-20 2015-05-21 Samsung Electronics Co., Ltd. Method for processing image and electronic device thereof
CN105430302A (zh) * 2015-12-28 2016-03-23 上海集成电路研发中心有限公司 单通道cmos图像传感器及其数据传输方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044689A1 (en) 1992-10-02 2002-04-18 Alex Roustaei Apparatus and method for global and local feature extraction from digital images
US7231086B2 (en) * 2002-05-09 2007-06-12 General Dynamics C4 Systems, Inc. Knowledge-based hierarchical method for detecting regions of interest
JP2007081465A (ja) 2005-09-09 2007-03-29 Canon Inc 遠隔装置及び撮像装置
JP4800073B2 (ja) * 2006-03-09 2011-10-26 富士フイルム株式会社 監視システム、監視方法、及び監視プログラム
JP5188080B2 (ja) * 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
JP5274216B2 (ja) * 2008-11-25 2013-08-28 キヤノン株式会社 監視システム及び監視方法
JP5193931B2 (ja) 2009-04-20 2013-05-08 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
CN103081456A (zh) * 2010-09-10 2013-05-01 奥林巴斯医疗株式会社 摄像装置
JP5984018B2 (ja) 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US9672445B2 (en) * 2015-08-03 2017-06-06 Yahoo! Inc. Computerized method and system for automated determination of high quality digital content
JP6358214B2 (ja) * 2015-09-18 2018-07-18 株式会社ニコン 撮像装置
JP6832155B2 (ja) 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687006A (zh) * 2010-01-04 2012-09-19 日本电气株式会社 图像诊断方法、图像诊断装置及图像诊断程序
CN104429057A (zh) * 2012-07-06 2015-03-18 索尼公司 固态成像设备、固态成像设备的驱动方法以及电子装置
US20150104106A1 (en) * 2013-10-16 2015-04-16 Canon Kabushiki Kaisha Method, system and apparatus for determining a contour segment for an object in an image captured by a camera
US20150139496A1 (en) * 2013-11-20 2015-05-21 Samsung Electronics Co., Ltd. Method for processing image and electronic device thereof
CN105430302A (zh) * 2015-12-28 2016-03-23 上海集成电路研发中心有限公司 单通道cmos图像传感器及其数据传输方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117830A (zh) * 2018-09-21 2019-01-01 上海晔芯电子科技有限公司 图像传感器、目标跟踪***及方法
CN109117830B (zh) * 2018-09-21 2022-09-09 思特威(上海)电子科技股份有限公司 图像传感器、目标跟踪***及方法
CN112889267A (zh) * 2018-10-31 2021-06-01 索尼半导体解决方案公司 堆叠式光接收传感器和电子装置
CN113056768A (zh) * 2018-11-13 2021-06-29 索尼集团公司 图像处理设备、图像处理方法和程序
CN113056768B (zh) * 2018-11-13 2024-01-19 索尼集团公司 图像处理设备、图像处理方法和程序
CN112561852A (zh) * 2019-09-26 2021-03-26 佳能株式会社 图像判断装置和图像判断方法
CN116385789A (zh) * 2023-04-07 2023-07-04 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质
CN116385789B (zh) * 2023-04-07 2024-01-23 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102556560B1 (ko) 2023-07-18
US20190149752A1 (en) 2019-05-16
US20210058573A1 (en) 2021-02-25
US11606516B2 (en) 2023-03-14
EP3391644B1 (en) 2023-12-27
US10812739B2 (en) 2020-10-20
CN116723392A (zh) 2023-09-08
EP3391644A1 (en) 2018-10-24
KR20190099373A (ko) 2019-08-27
JP2018107759A (ja) 2018-07-05
JP6832155B2 (ja) 2021-02-24
WO2018123360A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN108513711A (zh) 图像处理装置、图像处理方法和图像处理***
US11449709B2 (en) Domain restriction of neural networks through synthetic data pre-training
JP7295234B2 (ja) 自律運転マシンのための回帰ベースの線分検出
US20200341466A1 (en) Intersection pose detection in autonomous machine applications
US11592828B2 (en) Using neural networks to perform fault detection in autonomous driving applications
US20220076032A1 (en) Adaptive object tracking algorithm for autonomous machine applications
DE112019000279T5 (de) Steuern autonomer fahrzeuge anhand sicherer ankunftszeiten
US11590929B2 (en) Systems and methods for performing commands in a vehicle using speech and image recognition
DE102021129528A1 (de) Erkennung von Einsatzfahrzeugen für Anwendungen im Bereich des autonomen Fahrens
CN114332907A (zh) 包括使用神经网络进行鲁棒预测的背景修改的数据增强
CN110115024A (zh) 图像处理装置、图像处理方法和程序
JP2022176081A (ja) 適応視標追跡機械学習モデル・エンジン
DE102021105245A1 (de) Verwenden von bildaugmentation mit simulierten objekten zum trainieren von maschinenlernmodellen in autonomen fahranwendungen
CN117058730A (zh) 用于机器学习模型的数据集生成和增强
US20220203930A1 (en) Restraint device localization
US20240096102A1 (en) Freespace detection using machine learning for autonomous systems and applications
US20240071064A1 (en) Object detection using deep learning for real-time streaming applications
CN116461428A (zh) 车辆监控***和方法
US12026955B2 (en) Assigning obstacles to lanes using neural networks for autonomous machine applications
CN116500619A (zh) 用于汽车雷达感知的雷达信号采样
US20240095460A1 (en) Dialogue systems using knowledge bases and language models for automotive systems and applications
US20240022601A1 (en) Detecting identity spoofing attacks in multi-sensor systems and applications
US20220092317A1 (en) Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems
CN118055333A (zh) 用于自主***和应用的图像处理管线中的延迟颜色校正
CN117034024A (zh) 使用神经网络用于自主***和应用的区域的地理空间集群

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907