CN105437906B - 具有红外瞄准的定向气候控制*** - Google Patents
具有红外瞄准的定向气候控制*** Download PDFInfo
- Publication number
- CN105437906B CN105437906B CN201510586762.9A CN201510586762A CN105437906B CN 105437906 B CN105437906 B CN 105437906B CN 201510586762 A CN201510586762 A CN 201510586762A CN 105437906 B CN105437906 B CN 105437906B
- Authority
- CN
- China
- Prior art keywords
- pixel
- temperature
- thermal imaging
- air outlet
- hygrogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001931 thermography Methods 0.000 claims abstract description 42
- 238000010438 heat treatment Methods 0.000 claims abstract description 10
- 238000004378 air conditioning Methods 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims abstract description 6
- 238000007906 compression Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 9
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 1
- 239000003570 air Substances 0.000 description 50
- 238000009423 ventilation Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 239000012080 ambient air Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00007—Combined heating, ventilating, or cooling devices
- B60H1/00021—Air flow details of HVAC devices
- B60H1/00028—Constructional lay-out of the devices in the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
- B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00814—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation
- B60H1/00821—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation the components being ventilating, air admitting or air distributing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00814—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation
- B60H1/00821—Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation the components being ventilating, air admitting or air distributing devices
- B60H1/00871—Air directing means, e.g. blades in an air outlet
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F28—HEAT EXCHANGE IN GENERAL
- F28F—DETAILS OF HEAT-EXCHANGE AND HEAT-TRANSFER APPARATUS, OF GENERAL APPLICATION
- F28F27/00—Control arrangements or safety devices specially adapted for heat-exchange or heat-transfer apparatus
- F28F27/02—Control arrangements or safety devices specially adapted for heat-exchange or heat-transfer apparatus for controlling the distribution of heat-exchange media between different channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Air-Conditioning For Vehicles (AREA)
- Air Conditioning Control Device (AREA)
Abstract
一种具有红外瞄准的定向气候控制***。暖通空调(HVAC)***具有用于将已处理的气流引导至车辆的乘客舱中的可操纵的出风口。热成像仪配置为捕捉覆盖所述乘客舱内的乘员所潜在的固定区域的热成像的图像。HVAC控制电路配置为a)将热成像的图像压缩成温度图,温度图表示落在预定温度范围内的对应于乘员的热成像的图像的像素,b)根据滑动窗口过滤温度图以合并平均落在预定温度范围内的像素的连续区域,c)量化每个连续区域的面积,d)定位具有最大面积的连续区域的形心,和e)将可操纵的出风口向着形心对准。
Description
背景技术
本发明大体上涉及汽车暖通空调(HVAC)***,并且,更具体地,涉及用于引导已处理的空气的可操纵的出风口的自动调节,以优化乘客舒适性并减少能源使用。
暖通空调(采暖、通风和空调,HVAC)***控制运输车辆——例如,汽车——中的气候,以便保持车辆乘员的热舒适性。典型地,鼓风机使空气通过热交换器并将已调节的空气递送至乘客舱内的各个点。例如,可通过加热器芯体提供暖空气,该加热器芯体从流入内燃发动机的冷却剂获得热量。可利用由发动机机械驱动的压缩机获得冷空气。电动车辆,例如,混合动力电动车辆(HEV)和纯电动车辆(BEV),可作为替代使用电动装置,例如,正温度系数(PTC)电阻加热器和电动空调压缩机。
机动车辆中的最简单的气候控制***向乘员提供加热或冷却的强度、鼓风机的运行速度、和将要到达不同的调风器的气流的相对量的直接控制。这要求用户连续地监测和调节气候控制设置,以便保持舒适性。然而,车辆乘员可能不理解如何最佳控制HVAC***以优化效率。他们可将控制旋钮转至最大输出,同时对准鼓风机叶片向上或向下远离他们的身体、传送已调节的空气扫风到较不重要的表面上以及要求更多的能量以使乘客舒适。与实际实现期望的热舒适性所需的相比,这也导致更大的鼓风机风扇噪声。
也已经引入电子自动温度控制(EATC)***,其中,反馈控制***监测乘客舱内的环境空气温度并自动调节鼓风机速度和加热器芯体或空调的运行,以保持期望的温度设置。在一些车辆中,在针对每个区域进行单个目标温度设置的情况下,多个区域实施了单独的自动温度控制。
传统的HVAC***仅间接地控制乘员的实际皮肤温度。因为皮肤温度是实际的乘员舒适性的较好的指标,已经研究出了这样的***,其利用红外(IR)传感器调节HVAC***运行以确定车辆乘员的皮肤温度并在之后朝着实现目标皮肤温度所需的方向调节HVAC***的温度设定点。然而,车辆内部的热力学环境是复杂的,因为各种HVAC控制设置之间的关系以及对不同乘员的皮肤温度产生的效果。因此,以前的***相对复杂并且不划算。
为了减少能量损耗并且提供最佳的舒适性,也已经提出了各种***,其基于座椅占用率自动调节递送至乘客舱中的气流的模式(例如,关闭未占用的座椅的通风孔)。然而,没有已知的***提供足够的准确性或性能以在热状态的相当宽的范围内真正优化已处理的空气的定向调节。
发明内容
本发明使用热成像的图像处理以识别乘员的皮肤表面,乘员的皮肤表面可利用电动受控的通风口利用已处理的气流瞄准,该通风口具有双轴定向控制,并且可选择地具有用于集中气流的喷嘴控制。基于检测到的座椅占用率,来自于多个通风口的气流可根据哪些座椅被占用而瞄准检测到的皮肤目标。热成像的图像可连续获得,以便在变化的条件下更新气流方向和流率。
在本发明的一个方面中,车辆装置包括暖通空调(HVAC)***,其具有用于将已处理的气流引导至车辆的乘客舱中的可操纵的出风口。热成像仪配置为捕捉覆盖乘客舱内的乘员所潜在的固定区域的热成像的图像。HVAC控制电路配置为a)将热成像的图像压缩成温度图,温度图表示落在预定温度范围内的对应于乘员的热成像的图像的像素,b)根据滑动窗口过滤温度图以合并平均落在预定温度范围内的像素的连续区域,c)量化每个连续区域的面积,d)定位具有最大面积的连续区域的形心,和e)将可操纵的出风口向着形心对准。
附图说明
图1是包括HVAC***的汽车乘客舱的透视图,该HVAC***具有多个可操纵的出风口或通风孔,用于为车辆的乘员提供气候控制;
图2是表示本发明的车辆装置的一个优选的实施例的框图;
图3和4是可操纵的出风口的侧视图;
图5示出了用在优选实施例中用于向着乘员对准可操纵的出风口的图像数据的序列;
图6是用于对准可操纵的出风口的方法的一个优选实施例的流程图;
图7是用于确定目标区域的一个优选实施例的流程图;
图8和9是表示用于以热成像的图像识别乘员的预定的温度范围的典型的曲线;
图10表示热成像的图像的一部分在转换为二值温度图后的像素的阵列;
图11和12举例说明了在过滤温度图以使二值温度图内的区域合并期间连续位置的滑动窗口;
图13举例说明了在合并区域之后的像素的阵列;
图14举例说明了用于在合并的区域内定位形心的一个优选的技术。
具体实施方式
图1示出了机动车辆的乘客舱10,其具有不同的座椅位置,例如,前排座椅11和后排座椅12。车辆HVAC***包括多个出风口或通风孔13-17,用于将已处理的空气的各个气流引导至乘客舱10。一个或多个通风孔13-17具有可操纵的出口,以致由HVAC***自动可调节方向和/或聚集点(即,传播)。
图2示出了具有各种部件的HVAC***20,各种部件通过电气***21相互连接,电气***21优选包括电线束和多路复用通信***,如行业中通常使用的。HVAC控制电路22可优选地由典型的电子模块组成,电子模块包括定制的电路和/或一个或多个可编程的微控制器,其具有适当的软件和/或固件,如机动车辆中通常部署的。
热成像仪,优选以红外摄像机23的形式,以向前位置设置在乘客舱中,以便捕捉覆盖前排座椅区域25和26中和它们周围的固定区域的热成像的图像。可以为例如驾驶员设置乘员座椅区域26。HVAC控制器可配置为始终假设驾驶员是存在的。另一方面,乘员座椅25可代表潜在地存在乘员但也可能未被占用的乘客座椅。另一红外摄像机24可以以向后位置设置,以便捕捉覆盖包括乘客区域27和28的乘客舱中的后排座椅区域的热成像的图像。
在前排座椅区域中,可设置针对乘客舱的右侧和左侧的鼓风机30和37,其是可单独控制的,具有由HVAC控制器22确定的可变速度。鼓风机30将已处理的气流提供至受控的调风器通风孔31、33、和35。通风孔31在乘员座椅25附近的仪表板的左外侧上设置在仪表板上,用于提供气流32。通风孔33在左内侧位置设置在仪表板上,以提供气流34,并且通风孔35是左侧的地板通风孔,用于提供气流36。通风孔31、33、和35中的至少一个是自动地可操纵的,以将气流导向乘员区域25内的期望的目标。同样地,可变速鼓风机37连接至设置在仪表板上的为乘员区域26提供气流39的前内侧右通风孔38、提供气流41的前外侧右通风孔40、和提供气流43的右地板通风孔42。在本发明中,可使用可操纵的和固定的通风孔的任意组合。而且,特定的受控的通风孔也可配置为将气流交替地指向乘员区域的不同的人。
如所示的,同样由HVAC控制器22控制的鼓风机44将已处理的气流提供至后通风孔45、47、和49,后通风孔45、47、和49将气流46、48、和50引导至乘员区域27和28。
为了在以下详细描述的目的,HVAC控制器22连接至或可包括查找表51。此外,HVAC控制器22连接至各种传感器,包括外部环境空气温度传感器52、客舱内部空气温度传感器53、和座椅占用率传感器55。HVAC控制器22连接至本领域公知的安装在客舱的人机界面(HMI)54。受控的通风孔包括驱动器,基于来自于HMI 54、传感器52、53、和55、以及IR摄像机23和/或24的信号,由HVAC控制器22激活该驱动器,以便引导已处理的空气以最佳的能量使用获得乘客舒适性。
图3示出了安装在仪表板或仪表盘61中的可操纵的出风口60的一个示例。从鼓风机接收已处理的空气的风道62将空气提供至保持在杯状的基部64上的可移动的外部通风孔壳体63。可在HVAC控制器的控制下通过马达66沿着一个或多个轴旋转的万向架65连接至壳体63。通过操纵万向架65,气流离开壳体63中的开口在期望的方向上移动。内部的活门或门,例如,活门67,可设置在壳体63内并且与驱动器马达68连接,以便形成(即,节流)离开的气流的边缘,以便提供出风口气流的期望的聚集点。
图4示出了通过具有可控的叶片70和71的通风孔控制出风口气流的可选择的实施例。虽然示出了两个叶片,但是通常会使用更多数量的叶片。每个叶片70和71具有端部枢轴点72,其可旋转地安装至通风孔壳体(未示出)。叶片全部通过连杆73相互连接,以保持平行的间隔。杆73的上下运动使叶片70和71同时旋转,以便沿着可控的方向引导出风口气流。杆73可连接至驱动器马达(未示出),驱动器马达由HVAC控制器驱动。
图5表示本发明的总体程序,该程序用于利用热成像的图像识别用于对准出风口气流的目标位置。根据固定视野利用红外摄像机捕捉热成像的图像75以恢复至具有像素的多值图像,其具有代表各个温度值的颜色或强度。基于选择包括考虑环境温度条件的暴露的皮肤的预期温度的预定的温度范围,多值热成像的图像被压缩为二值图像76,使得例如落在预定范围内的像素变为白色并且所有其它像素变为黑色。因此,图像76包含温度图,在其中,白色像素的区域相当于车辆乘员的皮肤的暴露面积。在所示出的示例中,头部区域81和臂/手部区域82和83在温度图76中是可辨别的。然而,图像噪声导致区域81至83包含分散的黑色像素,其使得该区域更难由控制器自动检测到。
图像77包含进一步处理的图像,在其中,已经合并了落在预定温度范围内的像素的区域,所以该区域变成大体上连续的,其具有清晰的边界并且在该区域内没有分散的黑色像素。如下所述,可通过过滤利用滑动窗口连续地重新赋予每个像素值以与各自周围的像素的大多数匹配来执行合并。
因为识别到的区域的数量可能超过可操纵的出风口的数量,检测到的区域可根据尺寸排列以允许最大的尺寸被选择用于瞄准,如图像78中所示。在图像79中,定位每个所选择的连续区域的形心88,以便为控制相应的出风口提供精确的目标。
本发明的优选的方法示出在图6中,其中,在步骤90中测量外部环境温度和内部客舱温度。优选地,可通过解锁或打开门以指示车辆的行驶周期即将开始来开始执行该方法。在步骤91中,捕捉初始热成像的图像,例如,当任何乘员在乘客舱内部就座之前。初始图像允许记录和识别任何特别突出的红外“热点”。在步骤92,响应于如通过来自步骤90的温度测量值和来自步骤91的初始红外图像识别到的初始条件来激活HVAC***。此外,HVAC***的初始激活可基于针对温度设定点和鼓风机速度的历史HVAC设置或者根据由制造商所设计的默认控制值,该历史HVAC设置是由驾驶员针对与以前的行程相似的条件所设置的。可以以传统的方式确定激活HVAC的时间,例如,当通过无线控制器远程启动车辆发动机时或当驾驶员利用点火开关进入车辆并启动发动机或其它动力装置时。
响应于点火开关接通,随着驾驶员坐在相应的位置,在步骤93捕捉热成像的图像。在步骤93中的图像可潜在地包含额外的乘员,其将会存在于即将到来的行驶周期中。利用捕捉的热成像的图像,在步骤94确定目标区域。在步骤95调节各个HVAC气流出风口的方向和/或聚集点。可选择地,也可调节HVAC***的出风口温度和鼓风机速度或强度。在预定时间段Δt之后,在步骤96可捕捉到新的热成像的图像。因为当捕捉到后续热成像的图像时HVAC***有效地影响温度环境,可通过气流的出现掩饰图像中的期望的皮肤特征。这种影响会特别出现在当鼓风机以更高的速度运行的时候。为了减少图像中已处理的空气的温度信号的出现,在步骤97执行检查,以确定鼓风机风扇速度是否超过阈值。如果否,那么在步骤94确定后续图像中的目标区域并且之后在步骤95调节HVAC输出。如果风扇速度超过阈值,那么在步骤98过滤后续热成像的图像,以移除图像中已处理的气流的影响。基于如典型的热成像的图像中所看到的气流的湍流性质可执行过滤(例如,可从图形中删除具有某一纹理的图像区域)。可选择地,在捕捉热成像的图像期间可暂时减少或完全关闭风扇速度。
图7示出了用于更详细地确定目标区域的优选方法。在步骤100,利用测量到的内部和外部环境温度选择预定温度范围,该预定温度范围用于识别图像中表示乘员的皮肤的区域。外部温度指示乘员的皮肤是否通过外部条件从正常体温上升或下降。内部客舱温度帮助识别车辆内的内表面(例如,头枕)的预期温度。以经验为主地确定预定温度范围,以便包括预期的皮肤温度,而不包括尽可能多的内部车辆表面。优选地,预定范围的值存储在HVAC控制电路内或对HVAC控制电路可取得的查找表中。
根据内部和外部温度的指标值使查找表***化。图8示出了一个示例,其用于指定对应于一个特定的外部温度的温度范围并表示使内部温度改变的变化范围。预定范围具有由曲线107限定的最大值和由曲线108限定的最小值。针对在曲线107和108的低端的内部温度,由曲线107和108的各自的值限定预定范围110。针对内部温度的其它值(在相同的外部温度),在113所指示的更高的内部温度可获得不同的预定范围,例如,范围111。图8代表针对高的外部环境温度获得的曲线(即,需要HVAC降温的情况下)。在外部条件变热期间,典型地显著加热车辆的内部,从而使得辨别皮肤温度更加简单。因此,范围111比范围110的预定范围更宽。在更温和的温度,可能更难辨别来自身体结构的皮肤温度,因此需要在110的更窄的范围。
图9代表更冷的外部温度(即,需要加热乘客舱的情况下),其具有分别限定预定温度范围的最大和最小温度的曲线114和115。再次,在更极端(更冷)的温度下可能更容易辨别图像中的乘员的皮肤,因此指定更宽的预定范围。在更温和的温度下,其再次变得更难辨别乘员皮肤并且预定范围更窄。
返回至图7,利用预定范围将热成像的图像压缩(即,转换)成温度图,该温度图将第一像素值(例如,针对白色的二进制的“1”)赋予到落在预定温度范围内的每个像素并且如果其对应于预定范围之外的温度则赋予第二像素值(例如,针对黑色的二进制的“0”)。二值温度图的一部分示出在图10中。有阴影的正方形120对应于在预定范围之外的温度图中的黑色像素,并且没有阴影的正方形121对应于在预定范围内的热成像的图像中的白色像素,其表示潜在的目标。
针对矩阵实验室(Matlab)的以下所写的代码展示了将热成像的图像压缩成黑色和白色温度图并显示生成的图像。
%Find target areas:
tol=90;
div=30;
r=252;
g=243;
b=102;
img2a=img(:,:,1);
img2b=img(:,:,2);
img2c=img(:,:,3);
idx1=find(img2a>max(0,r-tol)&img2a<min(255,r+tol));
idx2=find(img2b>max(0,g-tol)&img2b<min(255,g+tol));
idx3=find(img2c>max(0,b-tol)&img2c<min(255,b+tol));
idx=intersect(idx1,intersect(idx2,idx3));
img2a=zeros(size(img2a));
img2b=zeros(size(img2b));
img2c=zeros(size(img2c));
img2a(idx)=255;
img2b(idx)=255;
img2c(idx)=255;
img2=(img2a*0.2989+img2b*0.5870+img2c*0.1140);
ax(2)=subplot(1,5,2);
imshow(img2/255)
%-------------
在图7的步骤102,根据滑动窗口通过过滤合并潜在的目标区域。如图11所示,滑动窗口优选由以像素123为中心的像素阵列122组成。在过滤期间,在每个潜在的中心像素遍于热成像的图像之上扫描窗口122,通过将针对每个中心像素的值被再赋予合并的图像中的新的值,使得在那个位置,针对滑动窗口内的温度图的像素,其新的值匹配大多数值。在图11所示的位置,例如,将赋予中心像素123二进制值0,因为窗口122内的大多数像素是黑色的。以等效的方式陈述,确定窗口122内的所有像素的平均值(例如,对白色像素计数并除以由窗口所覆盖的像素的数量),通过0或1附近的生成的平均值以确定将要赋予中心像素123的值。图13示出了合并的图像,具有保持黑色的像素123。
图12示出了针对在相同的行中以下一个像素124为中心的滑动窗口122的后续位置。因为以该滑动窗口122的新的位置为边界的大多数像素是黑色的,在图13的合并的图像中像素124依然是黑色的。当滑动窗口122以相同的作用移动至下一个位置,求像素125的值,并且在示出的示例中,大多数值仍然是黑色的。因此,在图13中,像素125转换成值0(即,白色)。因此,过滤导致潜在目标区域的实际边界的一些微调整。另一方面,当其达到目标区域内的孤立的黑色像素时,例如,像素126和127,基于温度图中的大多数像素——它们周围是白色,通过滑动窗口122的过滤重新赋予它们值1。因此,图13示出了合并的图像,其中,每当窗口内的像素的值落到预定温度范围内的平均值上时,基于使用滑动窗口的更连续的目标区域将所有像素设置成白色。
以下矩阵实验室(Matlab)代码将该示例延续以展示滑动窗口过滤以合并目标区域。
滑动窗口由像素的方阵列组成,其具有适合于提供用于移除外来噪声同时保留目标区域的边界的最佳性能的尺寸。已经发现20x20像素的阵列尺寸的像素是有效的。因为不能将滑动窗口集中在沿着热成像的图像的外边缘的像素的范围上,相应的像素可在形成温度图中忽略(或具有0值的额外的像素可附加在原始图像周围以促进滑动窗口的设置)。
返回至图7,如果存在能够被分配在不同的座椅位置之间的出风口并且根据在相应的位置中乘员的存在与否,在步骤103做出座椅占用率的可选的确定。如果可操纵的出风口只能对准一个特定的座椅位置,则可跳过步骤103。座椅占用率的确定可帮助确定有多少出风口将对准每个特定的座椅位置,但是这样的确定可另外是固定的关系或者可通过其它措施确定,例如,通过利用HVAC HMI手动配置。
在步骤104,按面积排列合并的区域。如果仅有一个可操纵的出风口,那么排列仅需要识别最大的合并区域。在存在即将用于提供气流至特定的乘员的多个可操纵的出风口的情况下,于是排列识别相应数量的最大合并区域,以便将各个可操纵的出风口分配至选择的区域。例如,在具有两个可操纵的出风口用于前排座椅的乘客并且仅具有两个前排座椅位置(即,驾驶员和乘客)的车辆中,那么如果没有乘客存在,则将识别和瞄准驾驶员座椅位置中的两个最大的合并区域。另一方面,如果乘客存在,那么将识别每个座椅位置的最大的合并区域并且相应地对准各自的可操纵的出风口。
按面积排列区域包含对该区域中的白色像素的数量求和。矩阵实验室(Matlab)示例使用称为bwboundary的函数对区域求和如下。
在步骤105,确定将要瞄准的最大的排列区域的形心。之后在步骤106将出风口对准在形心处。定位形心的优选方法举例说明在图14中。在合并的图像130中,合并的区域131已被排列和识别为目标区域(即,其对应于乘员的皮肤表面)。区域131的形心可优选地通过计算区域131内像素的直角坐标的平均值确定。因此,直角坐标x和y对应于图像130的列和行。包括的像素中的两个的坐标表示为(x1,y1)和(x2,y2)。将针对区域131内的所有像素的x和y值平均,以便确定形心132的平均坐标(通过将平均值四舍五入)。
继续矩阵实验室(Matlab)示例,定位形心(centroid)显示如下。
Claims (20)
1.一种车辆装置,包含:
暖通空调(HVAC)***,其具有用于将已处理的气流引导至车辆的乘客舱中的可操纵的出风口;
热成像仪,其配置为捕捉覆盖所述乘客舱内的乘员所潜在的固定区域的热成像的图像;以及
HVAC控制电路,其配置为a)将所述热成像的图像压缩成温度图,所述温度图表示落在对应于所述乘员的预定温度范围内的所述热成像的图像的像素,b)根据滑动窗口而过滤温度图以合并平均落在所述预定温度范围内的像素的连续区域,c)量化每个连续区域的面积,d)定位具有最大面积的连续区域的形心,和e)将所述可操纵的出风口向着所述形心对准。
2.根据权利要求1所述的车辆装置,进一步包含:
测量所述车辆外部的外部温度的环境温度传感器;以及
测量所述乘客舱内部的内部温度的客舱温度传感器;
其中,所述HVAC控制电路响应于所述外部和所述内部温度而选择所述预定温度范围。
3.根据权利要求2所述的车辆装置,其中,所述HVAC控制电路包括查找表,所述查找表根据测量到的所述内部和所述外部温度限定所述预定范围的最小温度和最大温度。
4.根据权利要求1所述的车辆装置,其中,所述可操纵的出风口具有可变的聚集点,所述可变的聚集点是通过所述HVAC控制电路响应于所述最大区域的大小而可控的。
5.根据权利要求2所述的车辆装置,其中,所述可操纵的出风口具有可变的流率,所述可变的流率是通过所述HVAC控制电路响应于所述内部温度而可控的。
6.根据权利要求1所述的车辆装置,其中,所述HVAC***包括用于所述乘员的多个可操纵的出风口,并且其中,所述HVAC控制电路根据多个连续区域各自的量化的面积排列所述多个连续区域,并将各个可操纵的出风口对准所述排列的区域中不同区域的各自的形心。
7.根据权利要求6所述的车辆装置,进一步包含:
座椅占用率检测器,其提供所述乘客舱内的多个座椅位置中的每个是否被占用的指示;
其中,所述可操纵的出风口中的一个主要地用于所述座椅位置中的第一个位置并且当所述座椅占用率检测器指示所述座椅位置中的所述第一个位置未被占用时,所述可操纵的出风口中的一个***纵到所述座椅位置中的第二个位置。
8.根据权利要求1所述的车辆装置,其中,所述温度图由像素组成,每个所述像素具有指示所述预定范围内的温度的第一值或指示在所述预定范围外的温度的第二值。
9.根据权利要求8所述的车辆装置,其中,所述滑动窗口由连续扫描所述温度图的像素的方阵列组成,其中,在所述方阵列的连续中心处的像素被赋予一值,所述值匹配每个连续位置处的所述方阵列内的所述温度图的所述像素的大多数值。
10.根据权利要求1所述的车辆装置,其中,每个连续区域的面积响应于所述区域内的多个像素的求和而被量化。
11.根据权利要求1所述的车辆装置,其中,所述区域的所述形心响应于所述区域的所述像素的直角坐标的平均值而被定位。
12.根据权利要求1所述的车辆装置,其中,所述HVAC控制电路响应于更新的热成像的图像周期地重新对准所述可操纵的出风口。
13.根据权利要求12所述的车辆装置,其中,所述HVAC***包括可变速鼓风机,并且其中,所述鼓风机的运行速度在捕捉更新的热成像的图像期间被降低。
14.根据权利要求12所述的车辆装置,其中,所述HVAC控制电路过滤更新的热成像的图像以减少所述已处理的气流的成像。
15.一种装置,包含:
将已处理温度的空气输送到乘客舱中的可操纵的出风口;
捕捉所述乘客舱的红外图像的热成像仪;和
控制电路,其在利用滑动窗口合并区域之后控制出风口朝向红外图像中的连续区域的形心,所述红外图像的连续区域具有最大的、平均落在预定温度范围内的像素的面积。
16.一种控制暖通空调(HVAC)***的方法,所述HVAC***具有用于将已处理的气流引导至车辆的乘客舱中的可操纵的出风口,所述方法包含以下步骤:
捕捉覆盖所述乘客舱内的乘员所潜在的固定区域的热成像的图像;
将所述热成像的图像压缩成温度图,所述温度图表示落在对应于所述乘员的预定温度范围内的所述热成像的图像的像素;
根据滑动窗口过滤所述温度图以合并平均落在所述预定温度范围内的像素的连续区域;
量化每个连续区域的面积;
定位具有最大面积的连续区域的形心;以及
将所述可操纵的出风口向着所述形心对准。
17.根据权利要求16所述的方法,进一步包含以下步骤:
测量所述车辆外部的外部温度;
测量所述乘客舱内的内部温度;以及
响应于所述外部和所述内部温度选择所述预定温度范围。
18.根据权利要求17所述的方法,其中,所述选择步骤访问查找表,所述查找表根据所述测量到的内部和外部温度限定所述预定范围的最小温度和最大温度。
19.根据权利要求16所述的方法,其中,所述温度图由像素组成,每个所述像素具有指示所述预定范围内的温度的第一值或指示在所述预定范围外的温度的第二值,并且其中,所述过滤步骤的所述滑动窗口由连续扫描所述温度图的像素的方阵列组成,其中,在所述方阵列的连续中心处的像素被赋予一值,所述值匹配每个连续位置处的所述方阵列内的所述温度图的所述像素的大多数值。
20.根据权利要求16所述的方法,其中,响应于所述各个区域的所述像素的直角坐标的平均值定位所述形心。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/492,637 | 2014-09-22 | ||
US14/492,637 US9862247B2 (en) | 2014-09-22 | 2014-09-22 | Directional climate control system with infrared targeting |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105437906A CN105437906A (zh) | 2016-03-30 |
CN105437906B true CN105437906B (zh) | 2019-08-20 |
Family
ID=55444906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510586762.9A Active CN105437906B (zh) | 2014-09-22 | 2015-09-15 | 具有红外瞄准的定向气候控制*** |
Country Status (7)
Country | Link |
---|---|
US (3) | US9862247B2 (zh) |
CN (1) | CN105437906B (zh) |
BR (1) | BR102015024242A2 (zh) |
DE (1) | DE102015115066A1 (zh) |
MX (1) | MX364869B (zh) |
RU (1) | RU2681972C2 (zh) |
TR (1) | TR201511752A2 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9862247B2 (en) * | 2014-09-22 | 2018-01-09 | Ford Global Technologies, Llc | Directional climate control system with infrared targeting |
DE102014219408A1 (de) * | 2014-09-25 | 2016-04-14 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Einstellung eines thermischen Komfortzustandes |
WO2016138518A1 (en) * | 2015-02-27 | 2016-09-01 | Braeburn Inc. | Vehicle extreme temperature safety systems |
US10946716B2 (en) * | 2016-02-21 | 2021-03-16 | Eric Ireri | Vehicle temperature sensor systems |
DE102016116115A1 (de) * | 2016-08-30 | 2018-03-01 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Lüftungssystem und Lüftungsverfahren für ein Kraftfahrzeug |
US10239381B2 (en) * | 2017-01-23 | 2019-03-26 | TSI Products, Inc. | Vehicle roof fan |
US10272742B2 (en) * | 2017-01-26 | 2019-04-30 | GM Global Technology Operations LLC | HVAC systems and methods for controlling zoned interior temperatures of a vehicle including display of thermographic anthropomorphic figures |
US10183546B2 (en) * | 2017-02-27 | 2019-01-22 | Ford Global Technologies, Llc | Infrared sensor arrays for monitoring vehicle occupants and windows |
DE102017003550B4 (de) | 2017-04-12 | 2023-08-31 | Mercedes-Benz Group AG | Verfahren zum Betrieb eines Heizungs-, Lüftungs- und/oder Klimatisierungssystems und Heizungs-, Lüftungs- und/oder Klimatisierungssystem |
US10323854B2 (en) * | 2017-04-21 | 2019-06-18 | Cisco Technology, Inc. | Dynamic control of cooling device based on thermographic image analytics of cooling targets |
US20180370431A1 (en) * | 2017-06-23 | 2018-12-27 | Aamp Of Florida, Inc. | Unattented occupant protection system (uops) safety system |
EP3650252B1 (en) * | 2017-07-07 | 2022-05-11 | Nissan Motor Co., Ltd. | Vehicle air-conditioning method and vehicle air-conditioning device |
DE102017115767B3 (de) * | 2017-07-13 | 2018-06-21 | Dr. Schneider Kunststoffwerke Gmbh | Verfahren zur Einmessung und zum Betrieb eines Ausströmersystems und Ausströmersystem |
US10603980B2 (en) * | 2017-09-14 | 2020-03-31 | Lin Yu | Vehicle interior environment control |
US11015832B2 (en) | 2018-01-12 | 2021-05-25 | Carrier Corporation | Thermographic sensing of human thermal conditions to improve thermal comfort |
IT201800005553A1 (it) * | 2018-05-21 | 2019-11-21 | Metodo per la rilevazione della temperatura interna di una cabina di un aeromobile a distanza mediante termocamera e mezzi per la sua attuazione | |
EP3666564B1 (en) | 2018-12-12 | 2023-10-11 | Ningbo Geely Automobile Research & Development Co., Ltd. | A system and method for estimating climate needs |
CN109720167B (zh) * | 2018-12-29 | 2022-01-18 | 曼德电子电器有限公司 | 车辆空调控制***及方法 |
JP7500920B2 (ja) * | 2019-01-23 | 2024-06-18 | 株式会社デンソー | 輻射情報算出装置および温度情報算出装置 |
EP3871910B1 (en) * | 2020-02-28 | 2023-07-26 | Ningbo Geely Automobile Research & Development Co. Ltd. | Regulation of vehicle interior climate |
EP3872597B1 (en) * | 2020-02-28 | 2023-05-24 | Ningbo Geely Automobile Research & Development Co., Ltd. | Object temperature regulator system |
DE102020109353A1 (de) | 2020-04-03 | 2021-10-07 | Esg Mobility Gmbh | Vorrichtung und Verfahren zur adaptiven Regelung eines Luftstroms einer Klimatisierungsanlage in einem Fahrzeug |
US20210394912A1 (en) * | 2020-06-18 | 2021-12-23 | B/E Aerospace, Inc. | Software controlled air flow management |
CN111731074B (zh) * | 2020-06-30 | 2022-03-04 | 东风汽车有限公司 | 一种汽车风口调节方法及电子设备 |
US11912108B2 (en) | 2020-12-11 | 2024-02-27 | Ford Global Technologies, Llc | Vehicle air vent system |
US11865896B2 (en) * | 2020-12-11 | 2024-01-09 | Ford Global Technologies, Llc | Vehicle air vent system |
JP2022098445A (ja) | 2020-12-21 | 2022-07-01 | 研能科技股▲ふん▼有限公司 | 車内気体汚染の濾過方法 |
TWI778474B (zh) * | 2020-12-21 | 2022-09-21 | 研能科技股份有限公司 | 室內氣體汙染過濾方法 |
CN113022254B (zh) * | 2021-03-30 | 2022-05-20 | 东风柳州汽车有限公司 | 车载空调的出风量调整方法、装置、设备及存储介质 |
CN113370745A (zh) * | 2021-06-23 | 2021-09-10 | 曼德电子电器有限公司 | 空调控制方法、装置、存储介质及电子设备 |
CN113887474B (zh) * | 2021-10-15 | 2022-09-23 | 深圳市商汤科技有限公司 | 呼吸率检测方法及装置、电子设备和存储介质 |
US12030409B2 (en) | 2022-03-21 | 2024-07-09 | Ford Global Technologies, Llc | Seating assembly with swivel capability |
US11919361B2 (en) | 2022-03-21 | 2024-03-05 | Ford Global Technologies, Llc | Vehicle floor panel |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007001464A (ja) * | 2005-06-24 | 2007-01-11 | Nissan Motor Co Ltd | 車両用空調制御装置及び車両用空調制御方法 |
JP2007283918A (ja) * | 2006-04-18 | 2007-11-01 | Calsonic Kansei Corp | 車両用空調装置 |
US7578341B2 (en) * | 2004-04-19 | 2009-08-25 | Denso Corporation | Air conditioning system for motor vehicle |
CN102826028A (zh) * | 2011-06-13 | 2012-12-19 | 福特环球技术公司 | 具有辅助热单元的高效协调的车辆舒适*** |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3055923B2 (ja) * | 1990-08-24 | 2000-06-26 | 株式会社豊田中央研究所 | 空気調和装置の制御装置 |
JPH06106952A (ja) | 1992-09-25 | 1994-04-19 | Matsushita Electric Works Ltd | 車の空調温度制御システム |
US5531377A (en) * | 1995-02-01 | 1996-07-02 | Delco Electronics Corporation | Method and apparatus for calibration of comfort control IR sensor |
US5518176A (en) * | 1995-02-02 | 1996-05-21 | Delco Electronics Corporation | Automotive climate control with infra-red sensing |
US5579994A (en) * | 1995-07-26 | 1996-12-03 | Ford Motor Company | Method and control system for adaptively controlling an automotive HVAC system |
US20020110178A1 (en) * | 2000-05-15 | 2002-08-15 | Delphi Technologies, Inc. | Infrared temperature sensor |
RU21462U1 (ru) * | 2001-06-29 | 2002-01-20 | Федеральный научно-производственный центр закрытое акционерное общество "Научно-производственный концерн (объединение) "ЭНЕРГИЯ" | Блок управления системой климат-контроля автомобиля |
US6623350B2 (en) * | 2002-02-19 | 2003-09-23 | Delphi Technologies, Inc. | Motor vehicle air filter apparatus with an easily removable air filter |
US7246656B2 (en) * | 2002-10-30 | 2007-07-24 | Denso Corporation | Vehicle air conditioner |
US6659360B1 (en) * | 2002-11-26 | 2003-12-09 | Ford Global Technologies, Llc | Method and system for a two-second key hold convention for climate control |
US20080003938A1 (en) * | 2004-01-15 | 2008-01-03 | Behr Gmbh & Co. Kg | Method for Regulating Air Nozzles for Air-Conditioning a Motor Vehicle |
US10227063B2 (en) * | 2004-02-26 | 2019-03-12 | Geelux Holdings, Ltd. | Method and apparatus for biological evaluation |
JP4353053B2 (ja) * | 2004-10-04 | 2009-10-28 | 株式会社デンソー | 車両用空調装置 |
DE102009050885A1 (de) * | 2009-10-27 | 2011-04-28 | Behr Gmbh & Co. Kg | Luftausströmer |
US8280584B2 (en) * | 2010-05-10 | 2012-10-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Climate control system |
JP5447486B2 (ja) * | 2010-12-07 | 2014-03-19 | 株式会社デンソー | 車両用空調装置 |
US9643471B2 (en) * | 2012-03-27 | 2017-05-09 | Ford Global Technologies, Llc | Driver personalized climate conditioning |
JP6106952B2 (ja) * | 2012-05-29 | 2017-04-05 | 栗田工業株式会社 | 放射性物質吸着材、並びにそれを用いた吸着容器、吸着塔、及び水処理装置 |
US9074785B2 (en) * | 2012-07-26 | 2015-07-07 | Honeywell International Inc. | Operation of a thermal comfort system |
US9694398B2 (en) * | 2012-10-31 | 2017-07-04 | Honeywell International Inc. | Controlling a fume hood airflow using an image of a fume hood opening |
US9417638B2 (en) * | 2012-12-20 | 2016-08-16 | Automotive Research & Testing Center | Intelligent thermostatic control method and device for an air conditioner blowing cold and hot air |
US11651258B2 (en) * | 2014-01-08 | 2023-05-16 | Yechezkal Evan Spero | Integrated docking system for intelligent devices |
WO2015112816A1 (en) | 2014-01-24 | 2015-07-30 | E-Image Data Corporation | Multi-mode image capture systems and methods |
US9628565B2 (en) * | 2014-07-23 | 2017-04-18 | Here Global B.V. | Highly assisted driving platform |
US9189897B1 (en) * | 2014-07-28 | 2015-11-17 | Here Global B.V. | Personalized driving ranking and alerting |
US9862247B2 (en) * | 2014-09-22 | 2018-01-09 | Ford Global Technologies, Llc | Directional climate control system with infrared targeting |
JP6505514B2 (ja) * | 2015-06-10 | 2019-04-24 | パナソニック株式会社 | 空気調和機、センサシステムおよびその温冷感推定方法 |
-
2014
- 2014-09-22 US US14/492,637 patent/US9862247B2/en active Active
-
2015
- 2015-09-08 DE DE102015115066.2A patent/DE102015115066A1/de active Pending
- 2015-09-15 RU RU2015139328A patent/RU2681972C2/ru not_active IP Right Cessation
- 2015-09-15 CN CN201510586762.9A patent/CN105437906B/zh active Active
- 2015-09-21 TR TR2015/11752A patent/TR201511752A2/tr unknown
- 2015-09-21 BR BR102015024242-5A patent/BR102015024242A2/pt not_active Application Discontinuation
- 2015-09-22 MX MX2015013491A patent/MX364869B/es active IP Right Grant
-
2017
- 2017-12-05 US US15/831,486 patent/US10369865B2/en active Active
- 2017-12-05 US US15/831,487 patent/US10179499B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7578341B2 (en) * | 2004-04-19 | 2009-08-25 | Denso Corporation | Air conditioning system for motor vehicle |
JP2007001464A (ja) * | 2005-06-24 | 2007-01-11 | Nissan Motor Co Ltd | 車両用空調制御装置及び車両用空調制御方法 |
JP2007283918A (ja) * | 2006-04-18 | 2007-11-01 | Calsonic Kansei Corp | 車両用空調装置 |
CN102826028A (zh) * | 2011-06-13 | 2012-12-19 | 福特环球技术公司 | 具有辅助热单元的高效协调的车辆舒适*** |
Also Published As
Publication number | Publication date |
---|---|
US20180093546A1 (en) | 2018-04-05 |
US10369865B2 (en) | 2019-08-06 |
US20160082808A1 (en) | 2016-03-24 |
MX364869B (es) | 2019-05-08 |
CN105437906A (zh) | 2016-03-30 |
MX2015013491A (es) | 2016-05-31 |
US9862247B2 (en) | 2018-01-09 |
RU2015139328A3 (zh) | 2018-10-26 |
DE102015115066A1 (de) | 2016-03-24 |
US10179499B2 (en) | 2019-01-15 |
RU2015139328A (ru) | 2017-03-21 |
BR102015024242A2 (pt) | 2017-12-05 |
RU2681972C2 (ru) | 2019-03-14 |
TR201511752A2 (tr) | 2017-04-21 |
US20180093547A1 (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105437906B (zh) | 具有红外瞄准的定向气候控制*** | |
US9150132B2 (en) | Vehicle comfort system with efficient coordination of complementary thermal units | |
EP3499141B1 (en) | Air conditioner | |
US20160137028A1 (en) | Intelligent climate control system for a motor vehicle | |
EP1669225A1 (en) | HVAC system for a work vehicle | |
US20200148032A1 (en) | Systems and methods for controlling vents of a vehicle | |
CN104329768A (zh) | 基于衣着绝缘因子的车辆中自动气候控制的方法和设备 | |
WO2016157791A1 (ja) | 車両空調用表示装置 | |
US20190184788A1 (en) | Method and system of controlling climate controlled zones in a vehicle based on occupant presence | |
CN107284182B (zh) | 控制车辆的hvac***的方法 | |
US20190283531A1 (en) | Intelligent thermal control system for autonomous vehicle | |
US20120077426A1 (en) | Variable HVAC Airflow Control | |
CN112319175A (zh) | 一种汽车主动式智能空调控制***及其控制方法、汽车 | |
CN113183712A (zh) | 汽车自适应空调***及其控制方法 | |
CN110549825A (zh) | 风向控制装置 | |
JP3928606B2 (ja) | 車両用空調装置 | |
US12036841B2 (en) | Motor vehicle ventilator, thermal management device and method using such a motor vehicle ventilator | |
CN106882009B (zh) | 用于启动空气交换操作的方法和装置 | |
JP2007001464A (ja) | 車両用空調制御装置及び車両用空調制御方法 | |
CN110065360A (zh) | 具有可移除车顶和侧门的机动车辆的气候控制***和方法 | |
CN109203907A (zh) | 汽车空调以及汽车 | |
AU763646B2 (en) | Device for controlling the interior temperature of a motor vehicle | |
JP4010282B2 (ja) | 車両用空調装置 | |
JP6167848B2 (ja) | 車両用暖房装置及び車両用暖房装置駆動プログラム | |
CN114714858A (zh) | 用于车辆的空调***及其控制方法以及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |