CN110521286B - 图像分析技术 - Google Patents

图像分析技术 Download PDF

Info

Publication number
CN110521286B
CN110521286B CN201880024164.4A CN201880024164A CN110521286B CN 110521286 B CN110521286 B CN 110521286B CN 201880024164 A CN201880024164 A CN 201880024164A CN 110521286 B CN110521286 B CN 110521286B
Authority
CN
China
Prior art keywords
pixel values
subset
region
change
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880024164.4A
Other languages
English (en)
Other versions
CN110521286A (zh
Inventor
斯滕·海克曼
尤瓦拉杰·多雷
罗纳德·W·贝塞姆斯
约翰·罗伯茨
罗伯特·D·安德伍德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cree Lighting USA LLC
Original Assignee
Ideal Industries Lighting LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ideal Industries Lighting LLC filed Critical Ideal Industries Lighting LLC
Publication of CN110521286A publication Critical patent/CN110521286A/zh
Application granted granted Critical
Publication of CN110521286B publication Critical patent/CN110521286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/13—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using passive infrared detectors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种方法，包括以下步骤：从图像传感器获得帧，帧包括多个像素值，检测像素值的第一子集的变化，检测接近像素值的第一子集的像素值的第二子集的变化，以及基于像素值的第一子集与像素值的第二子集的变化之间的关系确定占用状态。当像素值的第一子集的变化在第一方向上并且像素值的第二子集的变化在与第一方向相反的第二方向上时，可以确定占用状态为被占用。

Description

图像分析技术
相关申请
本申请要求于2017年2月6日提交的临时专利申请序列号62/455,331的权益，本公开内容通过引证整体结合于此。
技术领域
本公开涉及分析图像以检测期望特征，诸如，运动、占用等。
背景技术
照明器材继续演进，并入诸如传感器、处理电路、联网电路等特征。因此，照明器材可以响应于周围环境实施照明程序，并且例如通过局域网和/或互联网控制照明器材。
为了响应周围环境，照明器材在之前并入传感器，诸如，被动红外(PIR)占用传感器和基于光电二极管的环境光传感器。虽然这些传统传感器通常被证明适于测量基本环境条件，但是对能够测量更复杂的环境条件并且以更高分辨率收集更大量的数据的照明器材的需求不断增加。为了提供该附加功能，已提出将图像传感器集成到照明器材中。尽管将图像传感器集成到照明器材中可以增大照明器材能够监测周围环境的分辨率，但已经证明从由图像传感器提供的大量数据推导有用信息(例如，占用状态和环境光水平)而不消耗显著处理资源是有挑战性的。设备(诸如，照明器材)中的可用有限处理能力使得开发从图像传感器提供的图像数据中确定一个或多个期望环境条件的计算成本较低的方式成为必要。至此，这些方法牺牲了效率的可靠性并且已被证实是无效的。因此，很多方法继续将上述传统传感器与图像传感器一起使用，从而增加了设备的成本和复杂性。
鉴于上述情况，需要改进的图像分析技术以由图像传感器提供的图像数据确定期望的环境条件。具体地，需要有效且可靠地确定一个或多个环境条件使得它们能够在具有有限处理能力的设备中实施的图像分析技术。
发明内容
在一个实施方式中，方法包括如下步骤：从图像传感器获得帧，该帧包括多个像素值，检测像素值的第一子集的变化，检测接近像素值的第一子集的像素值的第二子集，以及基于像素值的第一子集的变化与像素值的第二子集的变化之间的关系确定占用状态。当像素值的第一子集的变化在第一方向上并且像素值的第二子集的变化在与第一方向相反的第二方向上时，可以确定占用状态为被占用。通过利用像素值的第一子集与像素值的第二子集之间的关系确定占用状态，可以可靠而有效地确定占用状态。
在一个实施方式中，当像素值的第一子集的变化大于第一阈值并且像素值的第二子集的变化大于第二阈值时，确定占用状态为被占用。
在一个实施方式中，像素值为亮度值。
在一个实施方式中，像素值的第一子集的变化基于像素值的第一子集与像素值的第一子集的移动平均值之间的差，以及像素值的第二子集的变化基于像素值的第二子集与像素值的第二子集的移动平均值之间的差。
本领域中的技术人员将认识到本公开的范围并且在阅读与附图相关联的优选实施方式的具体实施方式之后实现其另外方面。
附图说明
并入且形成说明书一部分的附图示出了本公开的多个方面，并且与说明书一起用来解释本公开的原理。
图1示出了根据本公开的一个实施方式的照明器材。
图2为示出根据本公开的一个实施方式的由图像数据确定环境条件的方法的流程图。
图3为示出根据本公开的一个实施方式的由图像数据确定环境条件的方法的流程图。
图4为示出根据本公开的一个实施方式的由图像数据确定环境条件的方法的流程图。
图5A至图5C示出根据本公开的一个实施方式的用于检测占用的过程。
图6为示出根据本公开的一个实施方式的由图像数据确定环境条件的方法的流程图。
图7为示出根据本公开的一个实施方式的由图像数据确定环境条件的方法的流程图。
图8为示出根据本公开的一个实施方式的由图像数据确定环境条件的方法的流程图。
图9为示出根据本公开的一个实施方式的由图像数据确定环境条件的方法的流程图。
图10是示出根据本公开的一个实施方式的提高由图像数据确定的占用的准确度的方法的流程图。
具体实施方式
以下阐述的实施方式表示使本领域技术人员能够实践实施方式的必要信息并且示出了实践实施方式的最佳模式。当结合附图阅读下面说明时，本领域中的技术人员将理解本公开的概念并且将认识未在本文中具体提及的这些概念的应用。应当理解概念和应用属于本公开和所附权利要求的范围。
需要理解的是，虽然在本文中可能用术语第一、第二等来描述各个元件，但这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离本公开范围的情况下，第一元件可称为第二元件，同样地，第二元件可称为第一元件。如在本文中所使用的，术语“和/或”包括一个或多个相关列举项的任意和所有组合。
应当理解，当元件(诸如层、区或衬底)称为“在另一个元件上”或“延伸至另一个元件上”时，它可直接在另一个元件上或直接延伸至另一个元件上，或也可存在中间元件。相反，当元件称为“直接在另一个元件上”或“直接延伸至另一个元件上”时，不存在中间元件。应当理解，当元件(诸如层、区或衬底)称为“在另一个元件上”或“延伸至另一个元件上”时，它可直接在另一个元件上或直接延伸至另一个元件上，或也可存在中间元件。相反，当元件称为“直接在另一个元件上”或“直接延伸至另一个元件上”时，不存在中间元件。也应当理解，当元件称为“连接至另一个元件”或“耦接至另一个元件”时，它可直接连接至另一个元件或耦接至另一个元件，或可存在中间元件。相反，当元件称为“直接连接至另一个元件”或“直接耦接至另一个元件”时，不存在中间元件。
相对术语(诸如“下方”或“上方”或“上部”或“下部”或“水平”或“垂直”)在本文中可用于说明一个元件、层或区与另一个元件、层或区的关系，如图所示。将理解的是，除了图中所示的方位，这些术语和以上讨论的那些术语旨在包含设备的不同方位。
在本文中所使用的术语用于仅仅描述特定的实施方式，并非旨在限制本公开。除非上下文另外明确地指出，否则如本文使用的，单数形式“一个”、“一种”和“该”旨在也包括复数形式。还应当理解，当在本文中使用时，术语“包括”、“具有”、“含有”和/或“包含”指定存在所述特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或一个以上其它特征、整数、步骤、操作、元件、组件和/或它们的群组。
除非另外限定，否则在本文中所使用的所有术语(包括技术术语和科学术语)具有与如在本公开内容所属领域中的普通技术人员通常理解相同的含义。还应当理解，本文中使用的术语应当解释为具有与它们在本说明书上下文及相关领域中的含义一致的含义，除非本文中明确如此定义，不会在理想化或过于正式意义上进行解释。
图1是示出根据本公开的一个实施方式的照明器材10的细节的框图。照明器材10包括驱动器电路12和发光二极管(LED)阵列14。驱动器电路12包括功率转换器电路16、通信电路18、处理电路20、存储器22、以及传感器电路24。功率转换器电路16被配置为接收交流电(AC)或直流电(DC)输入信号(VIN)并且进行功率转换以向LED阵列14提供调节输出功率。应注意，功率转换器电路16可以被配置为使得由电池全部或部分提供输入信号(VIN)，因此照明器材10为便携式的，能够在紧急情况(诸如，断电事故)下操作，和/或能够在一个或多个离网应用中使用。在一个实施方式中，功率转换器电路16被配置为向LED阵列14提供脉冲宽度调制的(PWM)调节输出信号。尽管未示出，功率转换器电路16与通信电路18、处理电路20、存储器22、及传感器电路24中的每一个之间的连接也可以向驱动器电路12的这些部分提供调节功率。处理电路20可以提供照明器材10的主要智能性，并且为了这样做可以执行存储在存储器22中的指令。处理电路20因此可以控制由功率转换器电路16向LED14系列提供的电流、电压或两者的量。通信电路18可以使照明器材10能够经由无线或有线信号与一个或多个其他照明器材、传感器模块、控制器、边界路由器、交换机、或任何其他设备通信。通信电路18可以耦接至处理电路20使得可以考虑经由通信电路18接收的信息并且通过处理电路20作用。传感器电路24可包括任意数量的不同传感器26。例如，传感器电路24可包括一个或多个被动红外(PIR)占用传感器、一个或多个环境光传感器、一个或多个麦克风、一个或多个扬声器、一个或多个超声波传感器和/或换能器、一个或多个红外接收器、一个或多个成像传感器(诸如，相机、多光谱成像传感器等)、一个或多个气压传感器、一个或多个温度和/或湿度传感器、一个或多个空气质量传感器(诸如，氧传感器、二氧化碳传感器、挥发性有机化合物(VOC)传感器、烟雾探测器等)、一个或多个定位传感器(诸如，加速计、全球定位卫星(GPS)传感器等)、一个或多个磁场传感器、或任何其他传感器。传感器电路24可以与处理电路20通信使得可以考虑来自传感器26的信息并通过处理电路20起作用。在一些情况下，处理电路20可以使用来自传感器26的信息调节从功率转换器电路16向LED阵列14提供的电压和/或电流，从而改变由照明器材10提供的光的一个或多个方面。在其他情况下，处理电路20可以经由通信电路18向一个或多个设备或分配的照明网络中的一个或多个边界路由器或向一个或多个远程设备传送来自传感器26的信息。还在其他情况下，照明器材10可以基于来自一个或多个传感器26的信息改变其中提供的光的一个或多个方面并且经由通信电路18传送来自一个或多个传感器26的信息。
LED阵列14包括多个LED串28。每个LED串28包括串联布置在功率转换器电路16与地面之间的多个LED 30。应注意，本公开不限于具有以这种方式布置的LED 30的照明器材10。LED 30可以以任意串联/并联组合布置，可以耦接在功率转换器电路16的触点之间，或者以任何其他合适的配置布置而不背离本文中描述的原理。每个LED串28中的LED 30可以由不同的材料制备并且涂覆有不同的荧光体使得LED 30被配置为与每个其他LED串28中的LED 30相比提供具有不同特性的光。例如，LED串28的第一个LED串中的LED 30可以制造为使得从其中发射的光为绿色并且包括被配置为将该绿光转换为蓝光的荧光体。这种LED 30可被称为蓝变绿(BSG)LED。LED串28的第二个LED串中的LED 30可以制造为使得从其中发射的光为蓝色并且包括被配置为将该蓝光转换为黄光的荧光体。这种LED 30可被称为蓝变黄(BSY)LED。LED串28的第三个LED串中的LED 30可以制造成发红光，并且可被称为红(R)LED。从每个LED串28输出的光可以组合以提供具有期望色度、饱和度、明亮度等的光。任何不同类型的LED 30可以设置在每一个LED串28中以实现任何期望的光输出。功率转换器电路16可以能够单独改变通过每个LED串28提供的电压和/或电流使得可以调整色度、饱和度、明亮度或者从LED 30阵列提供的光的任何其他特征。
如上文讨论的，通常期望将图像传感器包括在传感器电路24中。此外，期望使用图像传感器确定一个或多个环境条件，诸如，占用状态和环境光水平。因此，图2是示出基于来自图像传感器的图像数据确定占用状态的方法的流程图。如本文讨论的，占用状态表示感兴趣区域是否被感兴趣的人或其他对象(例如，诸如叉车的车辆)占用或未被占用。因此占用状态可以为被占用或未被占用。
首先，通过图像传感器捕获图像帧(步骤100)。如本文讨论的，图像帧为包括表示图像传感器在特定时刻检测到的光的多个像素值的数据结构。像素值可用任何数量的方式格式化并且可以包括例如表示针对多个颜色信道(例如，红、绿、和蓝)检测的光强度。空间数据与每一个像素值相关联使得它们与图像帧的特定部分相关联。因此，图像帧可以被认为像素值的矩阵，其中，每一个像素值描述在一部分图像帧中捕获的光。从图像传感器捕获图像帧可涉及从与图像传感器耦接的串行总线读取图像数据，然而，可以任何合适的方式从图像传感器获得图像帧。例如，可以通过从与图像传感器相关联的一个或多个寄存器读取值(诸如，在图像传感器的自动曝光处理的过程中维持的自动曝光值的序列)而获得图像帧的下采样版本。如上文讨论的，相比于通过传统传感器获得的数据，图像帧的分辨率相对高。因此，由图像帧确定环境条件而不消耗显著的处理资源可能相对困难。
为了增大由图像帧或多个图像帧确定一个或多个环境条件的效率，将图像帧中的像素值划分成区域并且简化(reduce，缩减)以形成一个或多个区域图(步骤102)。例如，图像帧可以分成各自包括像素值子集的四个、五个、六个、七个、八个、九个、或任何其他数量的区域。这些区域中的像素值然后可以简化为区域值，区域值是区域中的像素值的聚合(aggregate)。在一个实施方式中，通过平均像素值完成了将区域内的像素值简化为区域值。在将每个区域内的像素值简化为区域值之前，(例如，通过将不同颜色通道的单独的强度信息合并为诸如亮度或照度的单个值)像素值本身可以单独简化为单个值。在另一个实施方式中，通过对像素值进行求和完成了将区域内的像素值简化为区域值。结果是显著缩减了图像帧，显著缩减的图像帧更容易分析并且因此由其确定环境条件。可以基于与环境条件的检测相关联的图像帧内感兴趣的对象的尺寸来确定每个区域的尺寸并且从而确定图像帧分成的区域的数量。例如，区域的尺寸大约等于图像帧中人将呈现的尺寸以便检测占用状态。
接下来，基于一个或多个区域图确定占用状态(步骤104)。基于一个或多个区域图确定占用状态可包括根据一组规则分析区域图以便在忽略图像帧中不表示占用的对象(例如，影子、打开或关闭的附近的灯、小家畜等)时检测图像帧中何时存在人或其他感兴趣的对象。下文讨论关于由一个或多个区域图确定占用状态的细节。最后，可以验证占用状态(步骤106)。验证占用状态可包括针对误检事件进一步筛选区域图从而确保在先前步骤中检测到的占用是正确的。在各种实施方式中，最后两个步骤合并为一个步骤使得验证占用状态仅仅是确定占用状态的一部分。
图3是示出根据本公开的一个实施方式的将图像帧中的像素值简化为一个或多个区域图(图2中的步骤102)的细节的流程图。过程开始于图像帧(步骤200)。如上文讨论的，图像帧被划分为区域(步骤202)。应注意，图像帧所分成的区域的尺寸和数量取决于确定在图像帧中出现的与环境条件有关的感兴趣的对象的尺寸。然后这些区域中的每一个区域内的像素值被简化以提供基本区域图(步骤204)。例如，如上文讨论的，每个区域中的像素值可以被相加或取平均使得图像帧缩减并且通过多个区域值描述，其中区域值的数量显著低于像素值的数量。如上文讨论的，在将每个区域中的像素值简化为区域值之前，每一个像素值均可以简化为单个值或更小值。例如，像素值可以均被简化为亮度或照度值并且然后被相加或取平均为区域值使得区域值描述区域内的平均亮度或照度。
图像帧可以用于更新背景图像帧(步骤206)以便在如下讨论的一个或多个附加区域图的构建中使用。如本文讨论的，背景图像帧是图像帧随着时间的移动平均值(runningaverage)。因此，背景图像帧中的每一个像素值是在一段时间内获得的多个图像帧中的相应像素值的移动平均值。每次捕获图像帧，则更新背景图像帧。如通过方程式(1)描述的，简单的调合方法可以用于更新背景图像帧中的每一个像素值：
PVRA＝(PVI*α)+PVRAP*(1-α) (1)
其中，PVRA是背景图像帧中的更新像素值，PV1是当前图像帧中的相应像素值，α是混合因子(例如，在0与1之间)并且PVRAP是待更新的背景图像帧中的像素值。
可以通过将图像帧与背景图像帧相比较提供区域改变图(步骤208)。在一个实施方式中，从图像帧中的每个相应像素值中减去背景图像帧中的每个像素值，以确定图像帧中的每个像素值偏离其移动平均值的距离。通过逐区求和或取平均值以提供多个区域差，多个区域差是区域改变图的区域值，这些像素值差可以简化为区域差。
如等式(2)所述，可以基于区域改变图更新并且维持背景区域改变图(步骤210)：
ZVRA＝(ZVI*α)+ZVRAP*(1-α) (2)
ZVRA是背景区域改变图中的更新区域值，ZV1是区域改变图中的相应区域值，α是混合因子(例如，在0与1之间)，并且ZVRAP是待更新的背景区域改变图中的区域值。因此背景区域改变图描述了每个区域中在一段时间内区域值的平均变化量。如以下所讨论的，以上讨论的各个区域图可以用于确定一个或多个环境条件。
虽然下面讨论了具体实例，但可以任意粒度级别构建基本区域图、背景图像帧、区域改变图、以及背景区域改变图。即，在不背离本文讨论的原理的情况下，在构造任意区域图之前或期间可以出现任意程度的缩减，以使效率和数据保留平衡。
图4是示出了根据本公开的一个实施方式的由一个或多个区域图确定占用状态(图2中的步骤104)的细节的流程图。过程开始于以上关于图3讨论的区域改变图(步骤300)。区域改变图中的每个区域的区域值被聚合(aggregate,汇总)并且与阈值进行比较(步骤302)。在一些实施方式中，该步骤可以更集中，计算图像帧与背景图像帧之间像素值的未聚合的差并且将其与阈值而不是区域改变图中的区域值相比较。该步骤检查误报事件，该报事件可能会例如由于打开或关闭附近的灯而触发像素值并且因此它们的相应区域值的非常大的变化。当所有的区域值大量改变或者大部分区域值大量改变(如通过区域改变图的区域值指示的)时，通常归因于集成了图像传感器的附近的灯或者照明器材的打开或关闭。因此当确定占用状态时期望忽视这些事件。因此，如果区域改变图中的所有区域的聚合区域值大于阈值(例如，如果诸如区域值的2/3的多数表示显著的变化)，则跳过该图像帧的处理(步骤304)，提供可选延迟(例如，30帧)(步骤306)，并且过程继续以等待下一图像帧进行处理，开始于图2中描述的过程(步骤308)。
如果区域改变图中的所有区域的聚合区域值不高于阈值，则过程继续以使区域计数i初始化，该区域计数表示执行剩余过程的当前区域(步骤310)。然后获得区域改变图中的区域i的区域值(步骤312)并且将其与区域值阈值TZV相比较(步骤314)。在一些实施方式中，可以将区域值ZVi的绝对值与区域值阈值TZV相比较。如果当前区域值ZVi不高于区域值阈值TZV，则检查区域计数i是否大于或等于区域改变图中的区域的总数量(步骤316)。即，检查以确定是否所有的区域均被循环过。
如果区域计数i大于或等于改变图中的区域的总数量，过程再次继续至步骤308。如果区域计数i不高于或等于改变图中的区域的总数量，则区域计数i递增(步骤318)并且在步骤312中针对区域改变图中的下一区域的过程再次开始。如果当前区域值ZVi大于区域值阈值TZV，则设置检测标记以指示检测被指示出的当前区域。
接下来，确定创建区域改变图的当前图像帧的一个或多个在前帧中是否设置有检测标记(步骤322)。提供该步骤以防止由于图像传感器检测到的噪声或其他高瞬态现象(例如，在图像传感器附近飞行的昆虫)而引起的误报。在一些实施方式中，在检测到占用之前，检测标记必须存在于当前帧的多个在前图像帧(例如，两个、三个、四个、五个等)中。如果针对一个或多个在前帧设置了检测标记，那么可选地确定是否针对设置有当前检测标记的区域的附近区域设置这些检测标记(步骤324)。在这种情况下，附近区域可包括为同一区域设置的顺序检测标记。在一个实施方式中，在检测到占用之前，必须针对同一区域或相邻区域中的三个连续帧设置检测标记，其中相邻区域是彼此共享至少一个边界的区域。应注意，这些数量仅仅是示例性的。在一些实施方式中，如果检测标记在同一区域和相邻的区域，检测占用所需的检测标记的数量可以是不同的。例如，在检测到占用之前可能需要同一区域中x个连续帧或者相邻区域中y个连续帧的检测标记，其中x在2与30之间并且y在4与50之间。相邻区可包括彼此共享边界的任意数量的区域。例如，在检测到占用之前，可针对所需数量帧的两个相邻区域、三个相邻区域、四个相邻区域等设置检测标记。在一个实施方式中，针对每个区域维持检测标记计数。对于设置检测标记的每个帧检测标记计数递增，并且对于未设置检测标记的每个帧检测标记计数递减。当区域的检测标记计数达到阈值(例如，在2与20之间，并且在一个实施方式中为3)时，可以确定占用状态为占用。
在图5A至图5C中示出了前述事项。图5A示出了从图像传感器捕获的示例性的连续图像帧32的序列，每一个图像帧被划分为多个区域34。区域中的影线表示针对该区域设置的检测标记。用点画示出已设置检测标记的第一区域的相邻区域。在第一个图像帧32中，检测标记设置在第一区域中。响应于检测标记的设置，检测标记计数递增。如下文所讨论的，设置检测标记的第一区域(即，并非一组相邻区域的检测标记的先前连续系列的一部分)定义必须设置检测标记以使检测标记计数持续递增的一组区域。这通过第一区域周围的斑点区域示出。在第二个图像帧32中，检测标记设置在第一区域的相邻区域中，并且检测标记计数递增。在第三个图像帧32中，第三检测标记设置在第一区域的相邻区域中，并且检测标记计数递增。如上文讨论的，当针对三个连续帧在同一区域或相邻区域中设置检测标记时，可以检测到占用。即，当检测标记计数达到三个时，可以检测到占用。在图5A中示出的实例中，在第三个图像帧32中可以检测到占用。
图5B示出另一示例性的连续图像帧32的序列，每一个图像帧被划分为多个区域34。再次，区域中的影线表示针对该区域设置的检测标记。用斑点来示出已设置检测标记的第一区域的相邻区域。在第一个图像帧32中，检测标记设置在第一区域中。响应于检测标记的设置，检测标记计数递增。在第二个图像帧32中，检测标记设置在第一区域的相邻区域中，并且检测标记计数递增。在第三个图像帧32中，未检测到运动并且因此未设置检测标记。作为响应，检测标记计数递增。在第四个图像帧32中，检测标记设置在第一区域的相邻区域中，并且检测标记计数递增。在第五个图像帧32中，在与第四个图像帧相同的区域中设置检测标记，并且检测标记计数递增。此时检测到占用事件。
图5C示出另一示例性的连续图像帧32的序列，每一个图像帧被划分为多个区域34。再次，区域中的影线表示针对该区域设置的检测标记。用斑点来示出已设置检测标记的第一区域的相邻区域。在第一个图像帧32中，检测标记设置在第一区域中。响应于检测标记的设置，检测标记计数递增。在第二个图像帧32中，检测标记设置在第一区域的相邻区域中，并且检测标记计数递增。在第三个图像帧32中，针对与第一区域不相邻的区域设置检测标记。由于检测标记不是第一区域的相邻区域，第一区域被重新定义为出现检测标记的一个区域并且因此重新定义必须设置检测标记以使检测标记计数持续递增的一组区域。此外，这使得检测标记计数器重置回一。在第四个图像帧32中，再次针对与第三个图像帧32中设置的第一区域不相邻的区域设置检测标记。这个再次重新定义第一区域并且因此重新定义必须设置检测标记以使检测标记计数递增的一组区域。此外，这使得检测标记计数器重置回一。由于在连续帧中检测标记不是彼此相邻的，因此在图5C中示出的一系列图像帧32中未检测到占用事件。这可以表示应该不会检测到占用的非常快的移动对象。通过以这种方式检测占用，可以避免由于这些快速移动的对象引起的误报，从而增加占用检测的精确度。
这可以再次防止在帧的相对侧出现的指示检测的区域的噪声或其他瞬态现象。如果没有对设置有当前检测标记的区域的附近区域设置检测标记，则过程再次进行至步骤316。如果对设置有当前检测标记的区域的附近区域设置检测标记，则确定占用状态为被占用(步骤326)。如果没有针对一个或多个先前帧设置检测标记，占用状态保持未被占用并且过程再次进行至步骤316。
在美国专利申请序列号15/191,753中更详细地描述了以上描述的过程，在此通过引证将其内容结合于此。由于在该过程中提供的各种防护措施，因此在避免误报的同时可以可靠地确定占用状态。此外，由于这种过程使用区域改变图而不是图像帧本身，该过程可以以最小的处理能力执行。然而，在一些情景中，占用检测中进一步精细对避免误报检测来说是必需的。例如，由于从附近光到光亮或半光亮地板表面的高镜面反射，上述过程可能很难过滤误报检测。
因此，图6是示出基于一个或多个区域图验证(或者在一些实施方式中，单独确定)占用状态的细节的流程图(图2中的步骤106)。过程开始于以上关于图3确定的区域改变图(步骤400)。再一次，区域改变计数i初始化为一(步骤402)，获得区域改变图中的区域i的区域值(步骤404)并且与区域值阈值Tzv相比较(步骤406)。在一些实施方式中，可以将区域值ZVi的绝对值与区域值阈值Tzv相比较。如上所述，这是因为区域改变图中的区域值可以包括区域值的移动平均值的正变化或区域值的移动平均值的负变化。可将这部分过程连同与图4中描述的部分重叠的部分一起执行或者单独执行。如果当前区域值ZVi不高于区域值阈值Tzv，则检查区域计数i是否大于或等于区域改变图中的区域的总数量(步骤408)。即，检查是否确定所有的区域均被循环过。
如果区域计数i大于或等于区域改变图中的区域的总数量，过程继续以等待下一图像帧进行处理，开始于图2中描述的过程(步骤410)。如果区域计数i不高于或等于区域改变图中的区域的总数量，则区域计数i递增(步骤412)并且在步骤404中针对区域改变图中的下一区域的过程再次开始。如果当前区域值ZVi大于区域值阈值Tzv，则确定与区域改变图中的当前区域相邻的区域的区域值ZVAZ是否大于相邻区域值阈值TAZ并且具有与当前区域值ZVi的标志相反的标志(步骤414)。在一些实施方式中，可以将相邻区域值ZVAZ的绝对值与相邻区域值阈值TAZ相比较。相邻区域值阈值TAZ可以和与如由向步骤414提供的输入所示的背景区域改变图中的相邻区域值ZVAZ的区域相对应的区域值有关。例如，相邻区域值阈值TAZ可以等于TV*ZVAZC，其中TV是1.5与6之间的阈值并且ZVAZC是背景改变图中相邻区域值ZVAZ的区域的区域值。相邻区域值阈值TAZ还可以是诸如800的常数值。
区域改变图中的区域值与表示基本区域图中的区域值的方向变化的标志相关联。例如，在区域改变图中的区域值表示亮度或照度值的情况下，由于区域中的亮对象的存在亮度或照度可以增大从而赋予区域改变图中的区域值正值，或者由于区域中暗对象的存在亮度或照度可以减小从而赋予区域改变图中的区域值负值。因此区域改变图中的区域值的标志表示变化方向。一旦建立了区域改变图中的区域值高于某一值(表示区域已经历亮度或照度的显著变化)，然后检查与该区域相邻的区域以查看它们是否经历相反方向上的变化。即，如果步骤406中的当前区域值ZVi高于区域值阈值TZV，则检查与当前区域值ZVi相邻的区域值ZVAZ以查看它们是否高于区域值阈值TAZ并且具有与当前区域值ZVi相反的符号。在一些实施方式中，区域值阈值TZV和相邻区域阈值TAZ可以相等。在其他实施方式中，区域值阈值TZV和相邻区域阈值TAZ可以为不同的值。此外，相邻区域阈值TAZ可以正比于或以另外的方式取决于当前区域值ZVi超过区域值阈值TZV的量。
步骤414可以显著降低占用的误报检测率，同时消耗最小处理资源。如上文讨论的，由于顶光来自光滑或半光滑地板的镜面反射可以提供像素值变化的表现并且因此提供呈现大约感兴趣的对象(诸如，人)的尺寸的相应区域值。因此，当提供反射的光改变状态时，可能产生误报事件。本公开的发明人发现通过观察感兴趣的对象(诸如人)的真实运动(表示区域被占用)表现为一个区域中的像素值的第一子集的变化和另一附近区域中的像素值的第二子集的相应变化可以避免这种误报事件。具体地，在a)像素值的第一子集改变第一预定量，b)像素值的第二子集改变第二预定量，第二预定量可以或者可以不与第一预定量相等，以及c)像素值的第一子集和像素值的第二子集在相反方向上改变时，指示感兴趣的对象(诸如人)的真运动。
作为实例，如果穿着白色衬衫的人从图像帧的第一区域移动到第二区域(其中，像素值的第一子集是第一区域并且像素值的第二子集是第二区域)，则由于从移动到区域中的白色衬衫的反射第二区域将经历亮度或照度增大一定量，尽管第一区域由于白色衬衫已移动到区域之外并且因此不再在那里反射光的事实将经历亮度或照度降低一定量。在此，满足以上讨论的所有标准并且因此可以确定区域被占用。相反，如果附近的灯打开并且在第一区域提供增大该区域的亮度或照度的镜面反射，将不会有经历亮度或照度相应降低的其他区域。因此，不满足以上讨论的标准并且因此可以确定区域未被占用。
如果与区域改变图中的当前区域相邻的区域的区域值ZVAZ高于相邻区域值阈值TAZ并且具有与当前区域值ZVi的符号相反的符号，则确定占用状态为被占用(步骤416)。如果与区域改变图中的当前区域相邻的区域的区域值ZVAZ不高于相邻区域值阈值TAZ或者不具有与当前区域值ZVi的符号相反的符号，则过程返回到步骤408。
如上文讨论的，在图6中讨论的过程可以连同图4中描述的过程一起执行使得其重叠部分不会执行两次。在其他实施方式中，在图6中讨论的过程可以单独执行以检测占用事件。即，可以检测像素值的第一子集的变化以及像素值的第二子集的变化以确定占用。如上文讨论的，像素值的第二子集中的相应变化可以在像素值的第一子集中的的变化的相反方向上，并且可能需要超过某一阈值。
图7示出如上文讨论的原理。图7示出了从图像传感器捕获的示例性的连续图像帧32的序列，每一个图像帧被划分为多个区域34。每一个区域34的阴影表示该区域的明亮度的标准变化(即，当相比于如上文讨论的背景帧时该帧的亮度变化多少)。为了使占用被检测到，一个区域中的明亮度必须发生变化，在相邻区域中明亮度发生相反变化，其中，相邻区域为与已发生明亮度变化的区域相邻的区域。如果没有发生这种在明亮度上的相反变化，则可以指示例如由来自环境中的对象的反射引起的误报事件。在图7中示出的第一帧中示出了这种情形。然而，如在图7中示出的第二帧中所示，当一个区域中的明亮度变化对应于相邻区域中的明亮度的相反变化，则可以检测到占用(服从以上讨论的附加条件)。
除了以上讨论的过程之外，可以通过将神经网络连同一个或多个区域图一起使用来进一步细化一个或多个环境条件的检测。因此，图8示出了根据本公开的一个实施方式的训练用于检测一个或多个环境条件的神经网络的过程。过程通过将训练迭代计数i初始化为一而开始(步骤500)。然后可以获得一种情况的多个已知输出和该情况的多个区域图(步骤502)如本文讨论的，情况可以是一个或多个图像帧从图像传感器收集的事件或事件的集合。已知的输出可以表示例如与该情况的区域图案相关联的占用状态。在一些实施方式中，已知的输出可能明显更加复杂，以指示进一步的特征，例诸如检测到的个体的数量、对象(例如，诸如叉车的车辆)的检测等等。区域图包括以上关于图3讨论的一个或多个区域图。该情况的已知的输出和区域图的数量然后用于训练神经网络(步骤504)。
然后检查训练迭代计数i是否大于或等于期望的训练迭代次数(步骤506)。即，检查是否已进行期望的训练迭代次数以校准神经网络。如果训练迭代计数i大于或等于期望的训练迭代次数，过程继续以停止训练(步骤508)。如果期望更多的训练迭代次数，则情况计数i增大(步骤510)并且过程返回至步骤502。
在一个实施方式中，神经网络是卷积神经网络，然而，在不背离本公开的原理的情况下，可以使用任何合适类型的神经网络。通过使用区域图训练神经网络，如上文讨论的区域图是图像帧的缩减版本，神经网络也许能高度有效地可靠地确定诸如占用的环境条件。
图9是示出了使用来自图像传感器的数据确定一个或多个环境条件的过程的流程图。首先，由图像传感器捕获图像帧(步骤600)。如上文讨论的，可以任意数量的方式捕获图像帧。图像帧内的像素值然后被简化以提供一个或多个区域图(步骤602)。上文关于图3讨论了有关将图像帧简化成多个区域图的细节。如上文讨论的，然后通过处理已进行适当训练的神经网络中的一个或多个区域图案(步骤604)确定一个或多个环境条件。再次，通过使用区域图代替图像帧，环境条件检测的效率可以很高同时仍提供高度的可靠性。
可通过上文关于图1讨论的照明器材10执行对于图2至图4和图8至图9讨论的任一过程。因此，可通过存储在存储器22并且由处理电路20执行的指令表示该过程。图像传感器可以是传感器电路24中的传感器26中的一个。在其他实施方式中，图像传感器可以与照明器材10进行有线或无线通信。在又一些其他实施方式中，图像传感器可以位于照明器材中但可通过一个或多个其他设备(诸如，传感器模块、边界路由器等)远程进行以上讨论的过程。可在本文中结合于此的美国专利申请序列号15/191,753中找到有关这些部件的细节。可替换地，可以提供以上讨论的过程作为包含使计算机实现如描述的过程的程序指令的非瞬时计算机可读介质上的指令。
可以使用可靠地并且有效地确定占用状态的各种方式来控制诸如以上关于图1描述的照明器材的光输出。当占用状态从未被占用变为被占用，可以改变照明器材的光输出。例如，响应于这种改变，照明器材可以打开。当以上讨论的过程在本地执行或者不在本地执行时通过照明器材的远程设备提供的命令执行时，这种改变可以在照明器材内局部实施。相似地，当占用状态从被占用变为未被占用时，照明器材的光输出也可以改变，或者在一段时间之后(即，超时期间)可以改变。例如，照明器材可以响应于这种改变而打开。再一次，当以上讨论的过程在本地执行或者不在本地执行时通过照明器材的远程设备提供的命令执行时，这种改变可以在照明器材内局部实施。
为了进一步使用如上所述的图像传感器改进占用检测的精确度，照明器材10可包括传感器电路24中的至少两个图像传感器，或者可以包括具有双目透镜的图像传感器。使用多个图像传感器或具有双目透镜的图像传感器可以允许照明器材10确定或粗略估计图像传感器看到的对象与图像传感器本身之间的距离。这样可以允许过滤不是由于待检测到占用的期望的人/对象引起的运动(例如，来自在图像传感器附近飞行的昆虫的运动)并且从而增加使用图像传感器的占用检测的精确度。
本领域中的技术人员将容易认识到使用双眼视觉确定对象的距离的方法(借助于多个图像传感器或具有双目透镜的单个图像传感器)。在一个实施方式中，针对一个或多个目标工作距离，进行多个图像传感器或具有双目透镜的图像传感器提供的分开的视野之间的每个像素的相关性的预校准，并且对象之间的双眼视差用于确定对象之间的相对差，并且因此确定从对象提供的运动是否应当改变照明器材10的占用状态。
图10是示出使用多个图像传感器或具有双目透镜的单个图像传感器来提高占用检测的精确度的过程的流程图。如本领域中的技术人员将认识到，尽管关于单独的图像传感器讨论了过程，但相同的概念应用于具有双目透镜的单个图像传感器。过程开始于从第一图像传感器捕获的第一图像帧和由第二图像传感器捕获的第二图像帧(步骤700)。然后取第一图像帧和第二图像帧中重叠的像素值之间的像素差值(步骤702)。与以上关于图3讨论的获得区域改变图的过程相似，可以按区域聚合像素差值以获得立体差异图(步骤704)。立体差异图与单独的图像传感器(或具有双目透镜的单个图像传感器)提供的视场之间的立体差异的水平相关联，并且将在检测到相机附近的对象时增大，并且在光学像无限远处减小到零。在用于检测占用的期望平面在图像传感器下方十至六十英尺(例如，人行道在室外照明器材下方十至六十英尺)的示例性情景下，图像传感器的光学器件可以被配置为使得目标平面在光学像无限远处有效。在一些实施方式中，重叠像素区中的每个区域的和可以是标准化的并且然后用于调整以上关于图4和图6讨论的区域改变图以增大占用检测的精确度(步骤706)。
在一个实施方式中，立体差异图中的每个区域对应于区域改变图中的区域。使用立体差异图中每个相应区域的立体差异值调整区域改变图中每个区域的区域改变值。如上所述，较高的立体差异值表示更大量的立体差异，并且因此区域改变值可以减小与立体差异值成比例的量以便减少不在用于检测占用的期望平面上的运动(例如，非常接近图像传感器的昆虫)对占用的检测的影响。因此，可以显著减少占用检测的误报。
本领域中的技术人员将认识到本公开的优选实施方式的改进和修改。在本文公开的概念和随后的权利要求的范围内考虑到所有这些改进和修改。

Claims (17)

1.一种用于确定区域的占用的方法，所述方法包括：
从图像传感器获得帧，所述帧包括多个像素值；
检测相对于背景帧高于第一阈值的所述多个像素值的第一子集的变化，其中，所述多个像素值的所述第一子集在所述帧中具有第一区域，所述背景帧包括从所述图像传感器获得的多个帧的像素值的平均值；
检测相对于所述背景帧高于第二阈值的所述多个像素值的第二子集的相应变化，其中，所述多个像素值的所述第二子集在所述帧中具有接近所述第一区域的第二区域；以及
基于所述多个像素值的所述第一子集的变化和所述多个像素值的所述第二子集的变化之间的关系确定占用状态，其中，当所述多个像素值的所述第一子集的变化在第一方向上并且当所述多个像素值的所述第二子集的变化在与所述第一方向相反的第二方向上时，确定所述占用状态为被占用。
2.根据权利要求1所述的方法，其中，所述第一阈值基本等于所述第二阈值。
3.根据权利要求1所述的方法，其中，所述多个像素值为亮度值。
4.根据权利要求1所述的方法，其中：
所述像素值的所述第一子集的变化基于来自所述背景帧的所述多个像素值的所述第一子集与所述多个像素值的所述第一子集的移动平均值之间的差；以及
所述多个像素值的所述第二子集的变化基于来自所述背景帧的所述多个像素值的所述第二子集与所述多个像素值的所述第二子集的移动平均值之间的差。
5.根据权利要求1所述的方法，还包括：
将所述多个像素值分成多个区域；以及
对于所述多个区域中的每个区域，将所述多个区域的一个区域中的多个像素值中的像素值简化为区域值，其中：
所述多个像素值的所述第一子集与第一区域对应，并且所述多个像素值的所述第二子集与邻近于所述第一区域的第二区域对应；
检测所述多个像素值的所述第一子集的变化包括检测与所述第一区域相关联的第一区域值的变化；以及
检测所述多个像素值的所述第二子集的相应变化包括检测与所述第二区域相关联的第二区域值的变化。
6.根据权利要求5所述的方法，其中，与所述多个区域中的每一个区域相关联的区域值为基于所述多个区域中的一个区域的多个像素值中的像素值的平均亮度值。
7.根据权利要求5所述的方法，其中：
检测所述多个像素值的所述第一子集的变化包括确定所述第一区域值与来自所述背景帧的所述第一区域的对应值之间的第一差；以及
检测所述多个像素值的所述第二子集的相应变化包括确定所述第二区域值与来自所述背景帧的第二区域的对应值之间的第二差，以及将所述第一差的第一方向与所述第二差的第二方向相比较。
8.根据权利要求7所述的方法，其中，当所述第一差的所述第一方向和所述第二差的所述第二方向相反时，确定所述占用状态为被占用。
9.根据权利要求7所述的方法，其中：
检测所述多个像素值的所述第一子集的变化包括检测所述多个像素值的所述第一子集的变化量；以及
检测所述多个像素值的所述第二子集的相应变化包括检测所述多个像素值的所述第二子集的变化量。
10.根据权利要求9所述的方法，其中：
所述多个像素值的所述第一子集的变化量基于来自背景帧的所述多个像素值的所述第一子集与所述多个像素值的所述第一子集的移动平均值之间的差；以及
所述多个像素值的所述第二子集的变化量基于来自背景帧的所述多个像素值的所述第二子集与所述多个像素值的所述第二子集的移动平均值之间的差。
11.一种用于图像处理的装置，包括：
处理电路；以及
存储器，耦接至所述处理电路，所述存储器存储指令，在由所述处理电路执行所述指令时使得所述装置：
从图像传感器获得帧，所述帧包括多个像素值；
检测相对于背景帧高于第一阈值的所述多个像素值的第一子集的变化，其中，所述多个像素值的所述第一子集在所述帧中具有第一区域，所述背景帧包括从所述图像传感器获得的多个帧的像素值的平均值；
检测相对于所述背景帧高于第二阈值的所述多个像素值的第二子集的相应变化，其中，所述多个像素值的所述第二子集在所述帧中具有接近所述第一区域的第二区域；以及
基于所述多个像素值的所述第一子集的变化与所述多个像素值的所述第二子集的变化之间的关系确定占用状态，其中，当所述多个像素值的所述第一子集的变化在第一方向上并且所述多个像素值的所述第二子集的变化在与所述第一方向相反的第二方向上时，确定所述占用状态为被占用。
12.根据权利要求11所述的装置，还包括：
固态光源；以及
功率转换器电路，耦接至所述固态光源和所述处理电路，其中，所述存储器存储另外的指令，在由所述处理电路执行所述另外的指令时，使得该装置基于所述占用状态经由所述功率转换器电路控制所述固态光源的光输出。
13.根据权利要求12所述的装置，其中：
所述多个像素值的所述第一子集的变化基于来自所述背景帧的所述多个像素值的所述第一子集与所述多个像素值的所述第一子集的移动平均值之间的差；以及
所述多个像素值的所述第二子集的变化基于来自所述背景帧的所述多个像素值的所述第二子集与所述多个像素值的所述第二子集的移动平均值之间的差。
14.一种非瞬时计算机可读介质，包括使计算机执行以下方法的程序指令：
从图像传感器获得帧，所述帧包括多个像素值；
检测相对于背景帧高于第一阈值的所述多个像素值的第一子集的变化，其中，所述多个像素值的所述第一子集在所述帧中具有第一区域，所述背景帧包括从所述图像传感器获得的多个帧的像素值的平均值；
检测相对于所述背景帧高于第二阈值的所述多个像素值的第二子集的相应变化，其中，所述多个像素值的所述第二子集在所述帧中具有接近所述第一区域的第二区域；以及
基于所述多个像素值的所述第一子集的变化与所述多个像素值的所述第二子集的变化之间的关系确定占用状态，其中，当所述多个像素值的所述第一子集的变化在第一方向上并且所述多个像素值的所述第二子集的变化在与所述第一方向相反的第二方向上时，确定所述占用状态为被占用。
15.根据权利要求14所述的非瞬时计算机可读介质，其中，当所述多个像素值的所述第一子集的变化高于所述第一阈值并且所述多个像素值的所述第二子集的变化高于所述第二阈值时，确定所述占用状态为被占用。
16.根据权利要求15所述的非瞬时计算机可读介质，其中，所述像素值是亮度值。
17.根据权利要求15所述的非瞬时计算机可读介质，其中：
所述像素值的所述第一子集的变化基于来自所述背景帧的所述多个像素值的所述第一子集与所述多个像素值的所述第一子集的移动平均值之间的差；以及
所述像素值的所述第二子集的变化基于来自所述背景帧的所述多个像素值的所述第二子集与所述多个像素值的所述第二子集的移动平均值之间的差。
CN201880024164.4A 2017-02-06 2018-02-02 图像分析技术 Active CN110521286B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762455331P 2017-02-06 2017-02-06
US62/455,331 2017-02-06
PCT/US2018/016626 WO2018144848A1 (en) 2017-02-06 2018-02-02 Image analysis techniques

Publications (2)

Publication Number Publication Date
CN110521286A CN110521286A (zh) 2019-11-29
CN110521286B true CN110521286B (zh) 2021-11-05

Family

ID=61244723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024164.4A Active CN110521286B (zh) 2017-02-06 2018-02-02 图像分析技术

Country Status (5)

Country Link
US (2) US11229107B2 (zh)
EP (1) EP3578012A1 (zh)
JP (1) JP6884219B2 (zh)
CN (1) CN110521286B (zh)
WO (1) WO2018144848A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002315054A1 (en) 2001-05-14 2002-11-25 Espeed, Inc. Systems and methods for providing a trading interface with advanced features
US11195002B2 (en) 2018-08-22 2021-12-07 Ideal Industries Lighting Llc Method and system for image based occupancy detection
US11436495B2 (en) * 2018-10-02 2022-09-06 Insitu, Inc. a subsidiary of The Boeing Company Change detection in digital images
US10725438B1 (en) * 2019-10-01 2020-07-28 11114140 Canada Inc. System and method for automated water operations for aquatic facilities using image-based machine learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277385A (zh) * 2007-03-27 2008-10-01 三星电子株式会社 检测坏像素的方法和装置以及捕获图像的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
JP2004157908A (ja) * 2002-11-08 2004-06-03 Dainippon Pharmaceut Co Ltd 移動情報抽出装置および方法
JP3747230B2 (ja) * 2002-11-15 2006-02-22 独立行政法人理化学研究所 動画解析システム
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
US9078048B1 (en) * 2008-07-15 2015-07-07 Google Inc. Finding and populating spatial ad surfaces in video
WO2010013572A1 (ja) * 2008-07-28 2010-02-04 国立大学法人筑波大学 建物内制御装置
US8437505B2 (en) * 2009-12-17 2013-05-07 Lifesize Communications, Inc. Detection of local motion between image frames
WO2013171612A1 (en) * 2012-05-15 2013-11-21 Koninklijke Philips N.V. Modulated light generation and acquisition for robust object detection
US9723673B2 (en) * 2012-07-01 2017-08-01 Cree, Inc. Handheld device for merging groups of lighting fixtures
WO2014037939A1 (en) 2012-09-05 2014-03-13 Body Pass Ltd. System and method for deriving accurate body size measures from a sequence of 2d images
JP6188592B2 (ja) * 2014-01-21 2017-08-30 三菱電機株式会社 物体検出装置、物体検出方法、および物体検出プログラム
CA3138907C (en) * 2014-12-30 2023-08-01 Omni Consumer Products, Llc System and method for interactive projection
US10211660B2 (en) 2016-02-08 2019-02-19 Cree, Inc. LED lighting device with adaptive profiles for controlling power consumption

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277385A (zh) * 2007-03-27 2008-10-01 三星电子株式会社 检测坏像素的方法和装置以及捕获图像的方法和装置

Also Published As

Publication number Publication date
WO2018144848A1 (en) 2018-08-09
JP2020507854A (ja) 2020-03-12
US11903113B2 (en) 2024-02-13
EP3578012A1 (en) 2019-12-11
US20180225834A1 (en) 2018-08-09
US20220141939A1 (en) 2022-05-05
CN110521286A (zh) 2019-11-29
JP6884219B2 (ja) 2021-06-09
US11229107B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN110521286B (zh) 图像分析技术
CN108431702B (zh) 传感器***的试运行
ES2392195T3 (es) Método para controlar un sistema de alumbrado basado en una distribución de luz objetivo
KR101835552B1 (ko) 스마트 팩토리 작업환경 관제시스템
US8253849B2 (en) Lighting control module, video camera comprising the same and control method of the same
JP5732145B2 (ja) 画像処理装置
CN110346116B (zh) 一种基于图像采集的场景照度计算方法
WO2019120156A1 (zh) 基于光标签的定位方法及***
JP2019507484A (ja) ターゲット面の照明の特性を明らかにするための方法
JP6064354B2 (ja) 調光システム
JP6275022B2 (ja) 画像監視装置
US20190371005A1 (en) Recording medium, color label, detection device, image processing device, image processing method and image processing system
US20200134873A1 (en) Image processing device, computer program, and image processing system
KR20160098814A (ko) 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법
JP2020030751A (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
CN108734101A (zh) 一种目标装置、目标检测方法及电子设备
KR102184295B1 (ko) 다중 광도 영상 획득 장치 및 방법
JP5904825B2 (ja) 画像処理装置
CN103198290A (zh) 一种视频检测人体数量和位置及其移动的方法
KR101943195B1 (ko) 지능형 조명 제어장치 및 방법
JP7194534B2 (ja) 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム
US20150262349A1 (en) Free space positioning method and system
US10491297B2 (en) Detecting signals embedded in visible light
US20170070712A1 (en) Lighting device, lighting system, and program
KR20150031703A (ko) 실내위치인식모듈을 통한 사용자 실내위치인식 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant