CN108946354B

CN108946354B - 用于电梯***的深度传感器和意图推断方法

Info

Publication number: CN108946354B
Application number: CN201710361335.XA
Authority: CN
Inventors: A.M.芬; 徐阿特; 方辉; 贾真
Original assignee: Otis Elevator Co
Current assignee: Otis Elevator Co
Priority date: 2017-05-19
Filing date: 2017-05-19
Publication date: 2021-11-23
Anticipated expiration: 2037-05-19
Also published as: CN108946354A; EP3421401B1; EP3421401A1; US11021344B2; US20180334357A1

Abstract

本发明提供了一种电梯***，并且所述电梯***包括传感器组件和控制器。所述传感器组件可安置于电梯门厅中或附近，并且被配置为推断所述电梯门厅中的个体要搭上一个或多个电梯中的一者的意图并且响应于推断所述个体要搭上所述电梯中的所述一者的所述意图来发出呼叫信号。所述控制器被配置为接收由所述传感器组件发出的所述呼叫信号并且分配所述电梯中的一个或多个以服务于所述电梯门厅处的所述呼叫信号。

Description

用于电梯***的深度传感器和意图推断方法

发明背景

以下描述涉及电梯***，并且更具体地，涉及与电梯***一起使用的深度传感器和意图推断方法。

提供自动呼叫电梯的电梯***。然而，这些***在即使个体可能实际上不想要搭上电梯的情况下也会进行电梯呼叫。这是因为那些个体可能出于除了准备搭上电梯以外的原因而站在电梯门厅中或附近这一事实而造成的。这些个体可能正在等人或仅停留一会。类似地，个体可能仅为了避让他人而走向电梯门厅。无论何种情况，当为实际上不想要搭上电梯的个体进行电梯呼叫时，电梯***既耗能又耗电，并且可能延迟针对实际上就想要搭上电梯的个体的电梯呼叫。

发明概要

根据本公开的一个方面，提供一种电梯***，并且所述电梯***包括传感器组件和控制器。所述传感器组件可安置于电梯门厅中或附近，并且被配置为推断所述电梯门厅中的个体要搭上一个或多个电梯中的一者的意图并且响应于推断所述个体要搭上所述电梯中的所述一者的所述意图来发出呼叫信号。所述控制器被配置为接收由所述传感器组件发出的所述呼叫信号并且分配所述电梯中的一个或多个以服务于所述电梯门厅处的所述呼叫信号。

根据另外或替代的实施方案，所述传感器组件被配置为感测与所述个体相关的多个线索和情景状况中的一个或多个。

根据另外或替代的实施方案，所述传感器组件被配置为感测与所述个体相关的多个线索和情景状况中的一个或多个并且将多个线索和情景状况中的所述一个或多个与历史数据进行比较以推断出所述意图。

根据另外或替代的实施方案，所述传感器组件被配置为感测所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的一个或多个以推断出所述意图。

根据另外或替代的实施方案，所述传感器组件被配置为感测所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的一个或多个，并且将所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的所述一个或多个与历史数据进行比较以推断出所述意图。

根据另外或替代的实施方案，所述传感器组件包括深度传感器。

根据本公开的另一方面，提供一种电梯***。所述电梯***包括传感器组件和控制器。所述传感器组件可安置于电梯门厅中或附近，并且被配置为推断所述电梯门厅中的多个个体中的至少一者要搭上多个电梯中的特定一者的意图并且相应发出呼叫信号。所述控制器被配置为接收由所述传感器组件发出的所述呼叫信号并且分配所述多个电梯中的所述特定一者或多者以服务于所述电梯门厅处的所述呼叫信号。

根据另外或替代的实施方案，所述传感器组件被配置为感测与所述多个个体中的每个和其分组相关的多个线索和情景状况中的一个或多个。

根据另外或替代的实施方案，所述传感器组件被配置为感测与所述多个个体中的每个和其分组相关的多个线索和情景状况中的一个或多个并且将多个线索和情景状况中的所述一个或多个与历史数据进行比较以推断出所述意图。

根据另外或替代的实施方案，所述传感器组件还配置为感测所述多个个体的群体行为并且将所述群体行为与历史数据进行比较以推断出所述意图。

根据另外或替代的实施方案，所述传感器组件被配置为感测每个个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的一个或多个以推断出所述意图。

根据另外或替代的实施方案，所述传感器组件被配置为感测每个个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的一个或多个，并且将所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的所述一个或多个与历史数据进行比较以推断出所述意图。

根据本公开的另一方面，提供一种操作电梯***的传感器组件的方法。所述方法包括：推断电梯门厅中的个体要搭上所述电梯***中的电梯的意图；以及根据所推断出的所述个体要搭上所述电梯的所述意图，发出呼叫信号以使所述电梯到达所述电梯门厅。

根据另外或替代的实施方案，所述推断包括感测与所述个体相关的多个线索和情景状况中的一个或多个。

根据另外或替代的实施方案，所述推断包括感测与所述个体相关的多个线索和情景状况中的一个或多个并且将多个线索和情景状况中的所述一个或多个与历史数据进行比较。

根据另外或替代的实施方案，所述推断包括感测所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的一个或多个。

根据另外或替代的实施方案，所述推断包括感测所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚、电梯数据和语音中的一个或多个，并且将所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的所述一个或多个与历史数据进行比较。

根据另外或替代的实施方案，所述推断包括推断所述电梯门厅中的多个个体中的一者要搭上所述电梯***中的电梯的意图，并且根据所推断出的所述多个个体中的所述一者要搭上所述电梯的所述意图，发出呼叫信号以使所述电梯到达所述电梯门厅。

这些及其它优点和特征将从以下结合附图来进行的描述更为显而易见。

附图简述

视为本公开的主题在随附本说明书的权利要求书中具体指出并明确地要求保护。上述和其它特征、以及本公开的优点将从以下结合附图来进行的详细描述显而易见，其中：

图1是根据实施方案的电梯***的正视图；

图2是图1的电梯***的处理器的示意图；

图3A是图1的电梯***的控制器和传感器组件的处理器生成的空间图；

图3B是图1的电梯***的控制器和传感器组件的处理器生成的空间图；

图3C是图1的电梯***的控制器和传感器组件的处理器生成的空间图；

图3D是图1的电梯***的控制器和传感器组件的处理器生成的空间图；

图4是图1的电梯***的控制器的处理器和传感器组件生成的综合的空间图；

图5是站在电梯门厅中的具有要搭上电梯的意图的个体的实例；

图6是站在电梯门厅中的具有要搭上电梯的意图的个体分组的实例；以及

图7是清洁电梯门厅而无要搭上电梯的意图的个体的实例。

详细描述

如下文将描述，提供一种用于区分具有要搭上电梯的意图的正在接近电梯厢门的人与仅经过电梯厢门或站在电梯厢门附近的另一个人的***。这种***采用3D深度传感器，3D深度传感器使用线索和情景状况(诸如身体定向、头部姿势、注视方向、运动历史、个体群聚、电梯数据、语音识别、群体行为和活动识别)中的一个或多个以推断出某个人或群体对电梯的使用意图。

参考图1，提供电梯***10。电梯***10包括形成以限定门洞12的厢壁11、厢门组件13、传感器组件14、控制器15、电梯呼叫按钮面板16和电梯门厅7。可提供的厢门组件13可操作为采取打开位置和关闭位置，在打开位置处，门洞12是打开的，并且允许进入或离开电梯，在关闭位置处，门洞12被关闭以防止进入或离开电梯。应当理解，只有在电梯已被呼叫并且已经到达门洞12时，厢门组件13才能安全采取打开位置(值得注意的例外是正在对电梯***10进行维修)。因此，并也出于另外原因，厢门组件13大体被配置为通常采取关闭位置，并且只有在电梯适当定位时才会打开。

示例性的厢门组件13可以包括至少一个或多个厢门131，以及用于在电梯适当定位时驱动一个或多个厢门131的滑动移动的电机133。

传感器组件14可以被提供为一个或多个传感器或一个或多个类型。在一个实施方案中，传感器组件14可以包括深度传感器。可用于传感器组件14的各种3D深度感测传感器技术和装置包括但不限于结构化光测量、相移测量、飞行时间测量、立体三角测量装置、片光三角测量装置、光场相机、编码光圈相机、计算成像技术、同时定位和映射(SLAM)，成像雷达、成像声纳、回波定位、激光雷达、扫描光检测和测距(LIDAR)、闪光LIDAR或其组合。不同技术可以包括主动(既发射也接收信号)或被动(仅仅接收信号)感测，并且可以在电磁或声学谱带(诸如视觉、红外、超声等等)中操作。在各种实施方案中，深度传感器可操作以产生散焦深度、图像焦点堆叠或运动结构。在其它实施方案中，传感器组件14可以包括其它传感器和感测模态，诸如2D成像传感器(例如，常规的摄像机、紫外相机和红外相机等等)、运动传感器(诸如PIR传感器)、麦克风或麦克风阵列、按钮或成组按钮、开关或成组开关、键盘、触屏、RFID读取器、电容式传感器、无线信标传感器、蜂窝电话传感器、GPS应答器、压敏地板垫、重力梯度计或被设计用于如上所述进行人物检测和/或意图识别的任何其它已知传感器或***。可能有利的是，这些传感器中的任何一个在高动态范围内操作(例如，通过经由相关对所发射的信号进行编码和对所返回的信号解码)。

参考图2，控制器15可以被提供为传感器组件14的部件，并且被配置为接收用于呼叫电梯或使电梯到电梯门厅17的呼叫信号。为此，控制器15可以包括处理器150(诸如中央处理单元(CPU))、存储器单元151(其可包括只读存储器和随机存取存储器中的一个或两个)和呼叫接收单元152。在电梯***10的操作期间，存储在存储器单元151中的可执行程序指令由处理器150执行，处理器继而支持呼叫接收单元152接收呼叫信号(呼叫信号由传感器组件和处理器150根据仅由传感器组件14生成的被确定为指示电梯门厅17中的个体(或个体分组))意图搭上电梯的那些读数和/或根据电梯呼叫按钮面板16正被致动而发出呼叫信号。

也就是说，对于电梯呼叫按钮面板16尚未被致动的情况，传感器组件14和处理器150被配置为感测和处理与电梯门厅17中的个体(或在电梯门厅17中存在多个个体的情况下即多个个体中的每个和其分组)相关的多个线索和情景状况中的一个或多个。更具体地，对于电梯呼叫按钮面板16尚未被致动的情况，传感器组件14和处理器150被配置为感测和处理个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚、电梯数据和语音中的一个或多个，并且将所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚、电梯数据和语音中的所述一个或多个与历史数据进行比较以推断出意图。例如，如果个体的注视方向大体面向电梯楼层数字，那么可以被识别为在电梯门厅17中等待搭上下一到达电梯的意图的指示)。如果这个个体烦躁不安，那么也可以理解为对电梯失去耐心的指示。另外，对于一组多个个***于电梯门厅17中的特定情况，传感器组件14和处理器150还配置为感测和处理多个个体的群体行为并且将群体行为与历史数据进行比较以推断出分组中的个体的意图。也就是说，作为另一实例，在电梯前方的电梯门厅17中的个体排队可以被认为是分组中每个个体要搭上电梯的意图。

电梯数据可以包括例如电梯厢门131和门厅17相对于传感器组件14的位置。历史数据可以由在包含电梯***10的建筑中进行的实际测量或来自包含一个或多个不同电梯***的一个或多个其它建筑的实际测量表示。历史数据还可包括既往观察、个人经验、指定所需电梯***行为等等等。

参考图3A-D和图4，感测和处理可至少部分地通过生成时间序列的空间图301_1-4进行，时间序列的空间图可以针对在电梯***10的门洞12中或附近的个体在综合的空间图401中彼此叠置，使得可以基于一系列空间图501_1-4跟踪个体(虽然图4中的综合的空间图401被示出针对两个个体提供，但是这是为了清楚和简洁才会如此，并且应当理解，可以在相应综合的空间图中单独跟踪个体)。因此，如图3A所示，空间图301₁指示个体1位于相对于门洞12的第一位置1₁，并且个体2位于相对于门洞12的第一位置2₁，如图3B所示，空间图301₂指示个体1位于相对于门洞12的第二位置1₂，并且个体2位于相对于门洞12的第二位置2₂，如图3C所示，空间图301₃指示个体1位于相对于门洞12的第三位置1₃，并且个体2位于相对于门洞12的第三位置2₃，并且如图3D所示，空间图301₄指示个体1位于相对于门洞12的第四位置1₄，并且个体2位于相对于门洞12的第四位置2₄。

因此，包括空间图301_1-4中的每者的指示的综合的空间图401示出从跨空间图301_1-4对个体1和2的跟踪，可以确定个体1很有可能正在接近门洞12并且个体2很有可能正在走过门洞12(再次，应当注意，不需要提供综合的空间图401来跟踪个体1和2，并且存在其中个体1和2被单独跟踪的实施方案)。在已经做出这种确定时，处理器150可以确定个体1意图搭上电梯，并且因此呼叫信号可以选择性地发出。

跟踪可以通过检测和跟踪过程(诸如背景减法、形态滤波，以及可由诸如卡尔曼滤波器或粒子滤波器的装置来执行的贝叶斯滤波法)实现。用于产生前景对象的背景减法可以通过高斯混合模型、码本算法、主分量分析(PCA)等等实现。形态滤波可为大小滤波器，用于弃掉不是人(例如，太小、具有不适当宽高比等等)的前景对象。可以使用贝叶斯滤波器估计被滤波的前景对象的状态，其中状态可为位置、速度、加速度等等。

在电梯被个体1呼叫的情况下，个体2可决定与个体1一起进入电梯，即使这并非是他的先前意图。另外，个体1最终可能不会搭上电梯，因为他实际的意图并非是要搭上电梯，而仅仅是试图避让某个人或仅仅是无目的地走路，或者是个体1在进行呼叫后改变主意而不想要搭上电梯的情况。在任何情况下，在进行电梯呼叫后的个体1和2的动作可以被感测和跟踪并记录为历史数据。因此，当电梯门厅17中的那些或其他个体采取类似行动轨迹时，关于是否使呼叫发生单元选择性地发出呼叫信号的确定可以考虑个体1和2的呼叫前后动作，并且由此提高最终确定将正确的几率。

另一使用情况是乘客已经被“提供”电梯但没有搭上电梯的情况。此处，乘客有充足机会搭上(假设轿厢不是太满)，但是没有搭上，并且因此表现出了徘徊行为。通常，在像这样的情况下，向乘客发送另一轿厢是没有意义的，因为乘客继续等待并且明显只是徘徊。

虽然上文所给出的实例解决对历史数据的使用，但是应当注意，历史数据无需仅从本地或特定的电梯***收集。相反，可从其它电梯***(诸如具有类似的电梯门厅配置的电梯***)收集历史数据。因此，意图推断逻辑可从那些其它电梯***(理想地，大量实例)进行训练，并且接着在另外其它电梯***中用于类似学习。在任何情况下，每个电梯***都会继续改进其自己的意图逻辑(例如，可能存在特定于给定电梯隔间的行为，诸如避开大仙人掌)。

参考图5-7，虽然传感器组件14和处理器150可以使用个体的在电梯门厅17中的移动来部分地进行意图的确定和推断，但是应当理解，可以并且也应当要使用许多其它线索和情景状况。例如，如图5所示，仍站在电梯厢门131附近并盯着更新的灯的个体发出表示他意图搭上电梯的信号，即使他已经选择不致动或忘记致动电梯呼叫按钮面板16。如果个体正在跺脚或烦躁不安，这可能就表明他不耐烦，并且需要快速到达其目的地。类似地，如图6所示，其中多个个体在电梯门厅17中被分组在一起成为一列，并且一些盯着更新的灯，而其他人正在讨论电梯要等待多长时间或他们要去哪个楼层，那些个体中的至少一个(有可能是全部)将会发出表示他们打算搭上电梯的意图的信号。如果分组中的所有个体都在发出搭上电梯的意图的信号，那么可能需要派出多部电梯才能满足这群人的明显需求。因此，将针对图5和图6的情况而发出一个呼叫信号(或多个呼叫信号)。

然而，另一方面，正在清洁电梯门厅17(例如，通过***识别他的动作符合打扫或拖洗的作业)和向下看的个体将被感测，但是将理解为发出不意图搭上电梯的信号。因此，对于图7的情况，将不发出呼叫信号。此外，***可以随着时间推移而了解到，执行某些活动(在这个实例中，即为拖地)的个体很可能不意图搭上电梯，并且因此可以基于活动识别做出呼叫决策。

多个线索和情景状况的使用对于推断意图来说要比仅依赖于电梯门厅17中的个体的接近度或行动轨迹更为准确。根据实施方案，应当理解，这可由传感器组件14和控制器15单独或组合地使用多个特征实现。例如，此类多个特征可以包括数据融合方法(例如，深度学习或贝叶斯推理)和通过有限状态机(FSM)算法而了解的运动历史。根据一个或多个实施方案，背景减法、形态滤波和贝叶斯滤波法可由诸如卡尔曼滤波器或粒子滤波器的装置执行，以有助于个体的感测和跟踪。用于产生前景对象的背景减法可以通过高斯混合模型、码本算法、主分量分析(PCA)等等实现。形态滤波可为大小滤波器，用于弃掉不是人(例如，它们太小、具有不适当宽高比等等)的前景对象。可以使用贝叶斯滤波器估计被滤波的前景对象的状态，其中状态可为位置、速度、加速度等等。

用于上文提到的特征的技术中的一些包括对电梯门厅17中的个体的骨架建模，这现在可容易地从3D传感器(例如，Kinect^TM)实时处理，以便进行身体姿势估计。在给予足够大的视场和足够多的观察时间的情况下，视频活动识别现在尤其可以可靠地检测出简单动作(例如，排队、拖洗、谈话等等)。视频活动识别可以通过概率编程、马尔可夫方法、逻辑网络、深层网络等等实现。可与或不可与瞳孔跟踪一起使用来进行注视检测的面部检测也可以与语音识别装置一起商购获得。

多个(对立)线索和情景状况的使用提高意图识别的响应性和可靠性。因此，传感器组件14和控制器15的使用可以引起对个体意图的有力且可靠的推断，这继而将导致更具有响应性和可靠性的需求检测和对设备的更好利用。也就是说，本文描述的***和方法将会避免错误呼叫并且提供更好用户体验。

根据另外实施方案，虽然上文所提供的描述大体涉及当在电梯门厅中出现意图搭上电梯的人而因此就必需呼叫电梯时决定呼叫电梯，但是也可将***和方法应用于目的地输入***中。在目的地输入***中。人在出发地楼层的信息站输入他们的目的地楼层，并且被分配有一个特定电梯(例如，电梯C)。然而，这人搭上电梯C，并且在位于轿厢内部时无需按压对应于他们的目的地的按钮，因为电梯***已经知道轿厢内的所有乘客的目的地楼层。这类型的用户界面的问题是知道有多少人正在等待他们电梯。这是因为每个电梯轿厢具有有线容量(例如，12位乘客)，并且如果传感器组件14识别到了已有12个人正在电梯C前方等待，那么控制器15应当不再将更多呼叫分配给电梯C。

理想地，对于目的地输入***和对于其它类似***，每个乘客将会单独输入呼叫。然而，实际上，当人类群体(例如，家庭或在同一楼层工作的同事)使用这种***时，仅一个人代表这个群体输入呼叫。在这些情况下，传感器组件14的作用不仅仅是确定在电梯门厅17中的某些人意图搭上某些电梯，而且还会确定五个乘客看起来在等待电梯A，八个乘客看起来在等待电梯B，零个乘客看起来在等待电梯C等等。对于这种类型用户界面，推断的意图是关于人们正在等待哪些电梯，而非他们是否打算搭上某些电梯。

虽然结合仅有限数量的实施方案详细地提供了本公开，但是应当容易理解，本公开不限于此类所公开的实施方案。相反，可以修改本公开以涵盖此前未描述但与本公开的精神和范围相当的任何数量变化、更改、替换或等效布置。另外，虽然已描述了本公开的各种实施方案，但是应当理解，示例性的实施方案可仅包括所描述的示例性的方面中的一些。因此，本公开不视为受到前述描述限制，而是仅由随附权利要求范围限制。

Claims

1.一种电梯***，所述电梯***包括：

传感器组件，所述传感器组件可安置于电梯门厅中或附近，并且被配置为推断所述电梯门厅中的多个个体中的至少一者要搭上多个电梯中的特定一者的意图并且相应发出呼叫信号；以及

控制器，所述控制器被配置为接收由所述传感器组件发出的所述呼叫信号并且分配所述多个电梯中的所述特定一者或多者以服务于所述电梯门厅处的所述呼叫信号；

其中所述传感器组件还配置为感测所述多个个体的群体行为并且将所述群体行为与历史数据进行比较以推断出所述意图。

2.根据权利要求1所述的电梯***，其中所述传感器组件被配置为感测与所述多个个体中的每个和其分组相关的多个线索和情景状况中的一个或多个。

3.根据权利要求1所述的电梯***，其中所述传感器组件被配置为感测与所述多个个体中的每个和其分组相关的多个线索和情景状况中的一个或多个，并且将多个线索和情景状况中的所述一个或多个与历史数据进行比较以推断出所述意图。

4.根据权利要求1所述的电梯***，其中所述传感器组件被配置为感测每个个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的一个或多个以推断出所述意图。

5.根据权利要求1所述的电梯***，其中所述传感器组件被配置为感测每个个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的一个或多个，并且将所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚和语音中的所述一个或多个与历史数据进行比较以推断出所述意图。

6.根据权利要求1所述的电梯***，其中所述传感器组件包括深度传感器。

7.一种操作电梯***的传感器组件的方法，所述方法包括：

推断电梯门厅中的多个个体中的至少一者要搭上所述电梯***中的电梯的意图；以及

根据所推断出的所述个体要搭上所述电梯的所述意图，发出呼叫信号以使所述电梯到达所述电梯门厅；以及

其中所述推断还包括感测所述多个个体的群体行为并且将所述群体行为与历史数据进行比较以推断出所述意图。

8.根据权利要求7所述的方法，其中所述推断包括感测与所述个体相关的多个线索和情景状况中的一个或多个。

9.根据权利要求7所述的方法，其中所述推断包括：

感测与所述个体相关的多个线索和情景状况中的一个或多个；以及

将多个线索和情景状况中的所述一个或多个与历史数据进行比较。

10.根据权利要求7所述的方法，其中所述推断包括感测所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚、电梯数据和语音中的一个或多个。

11.根据权利要求7所述的方法，其中所述推断包括：

感测所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚、电梯数据和语音中的一个或多个；以及

将所述个体的身体定向、头部姿势、注视方向、运动历史、与其他个体的群聚、电梯数据和语音中的所述一个或多个与历史数据进行比较。

12.根据权利要求7所述的方法，其中：

所述推断包括推断所述电梯门厅中的多个个体中的一者要搭上所述电梯***中的电梯的意图；以及

根据所推断出的所述多个个体中的所述一者要搭上所述电梯的所述意图，发出呼叫信号以使所述电梯到达所述电梯门厅。