JP2022544944A - 表面の半自律型清掃のシステムおよび方法 - Google Patents

Abstract

例えば、手動、半自律型、または完全自律型の清掃装置などの１つまたは複数の構成要素および／またはシステムの状態を検出するためのシステムおよび方法を提供することができる。本明細書に記載の実施形態は、半自律型清掃装置による表面の半自律型清掃を提供するシステムに関する。システムは、改善された信頼性の高い障害物検出および回避、改善された感知、改善された設計、改善された故障検出、高度な診断および拡張性機能を提供する。【選択図】図１

Description

関連出願の相互参照

本出願は、２０１９年８月１２日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＳＥＭＩ－ＡＵＴＯＮＯＭＯＵＳ ＣＬＥＡＮＩＮＧ ＯＦ ＳＵＲＦＡＣＥＳ」と題する米国仮特許出願第６２／８８５，３７５号明細書、２０２０年５月２６日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＳＥＭＩ－ＡＵＴＯＮＯＭＯＵＳ ＣＬＥＡＮＩＮＧ ＯＦ ＳＵＲＦＡＣＥＳ」と題する米国仮特許出願第６３／０３０，０５３号明細書、および２０２０年７月２４日に出願された「ＤＩＳＩＮＦＥＣＴＩＯＮ ＭＯＤＵＬＥ ＦＯＲ Ａ ＳＥＭＩ－ＡＵＴＯＮＯＭＯＵＳ ＣＬＥＡＮＩＮＧ ＡＮＤ ＤＩＳＩＮＦＥＣＴＩＯＮ ＤＥＶＩＣＥ」と題する米国仮特許出願第６３／０５５，９１９号明細書の優先権および利益を主張し、これらの開示はその全体が参照により本明細書に組み込まれる。

本明細書に記載の実施形態は、半自律型清掃装置に関し、より詳細には、表面の改善された清掃のために、半自律型清掃装置内の１つまたは複数の構成要素および／またはシステムの状態を検出するためのシステムおよび方法に関する。

タスクのセットを実行するように構成された半自律型装置の使用が知られている。例えば、ロボットを使用して、表面の清掃、芝刈り、ストック在庫からの物品の収集などを行うことができる。しかしながら、場合によっては、いくつかの既知のロボットは、ロボットの位置、進行、および／またはシステムの１つまたは複数の構成要素の状態の表示をユーザに提供することができない。例えば、清掃ロボットの裏面スキージや床洗浄機にごみが堆積する問題は一般的な問題である。手動の床洗浄機では、操作員は、フロアのごみを観察し、ごみの上に床洗浄機を駆動することを回避することによって、問題の発生を防止することができる。操作員はまた、床洗浄機の１つまたは複数の機能の動作、例えば、裏面スキージによって提供される吸水の品質を視覚的に検査することによって、スキージが詰まっているごみを有するかどうかを検出することができる。自動運転または半自律型床洗浄機では、裏面スキージ内のごみの防止および検出は、現在、これらの装置の有効性および／または効率を低下させる可能性がある課題を呈している。

自律的な清掃を行うためには、床洗浄機およびスイーパなどの半自律型清掃装置に、確実な障害物検出および回避を装備する必要がある。３次元（３次元）光検出および測距（ＬＩＤＡＲ）技術などの技術は高価である。３次元ＬＩＤＡＲ技術で２７０度の保護を達成することは不経済である。

アクティブステレオおよび構造化赤外線照明（ＩＲ）などのより安価な視覚ベースの技術代替物が利用可能であるが、これらの技術は独自の課題を提起している（すなわち、商業グレード、信頼性などではない）。

アクティブステレオ技術は、シーンテクスチャおよび照明などの環境的側面に敏感であり得る。さらに、整合アーチファクトは、小さな物体をノイズから分離することを困難にする。さらに、構造化赤外（ＩＲ）照明は、直射日光下では実用的に使用不可能であり、ＩＲ吸収または反射材料を検出することができない。

半自律型清掃装置は、モータおよびアクチュエータを含む。モータまたはアクチュエータが故障した場合、故障を決定することは困難である。

自律型または半自律型装置では、清掃または同様の用途に使用される。衝突を回避するために障害物を確実に検出し、落下を回避するために段差を検知する能力は、機械が様々な照明および障害特性を有する広範囲の商業的、産業的、施設的、および他の場所で正常に動作することを可能にするために不可欠な特徴である。そのような能力を達成するために、ロボットは、ロボットのすべての可能な運動方向に沿って全範囲を観察する確実な感知システムを装備しなければならない。システムはまた、顧客が機械を購入できるように、手頃な価格でなければならない。

様々な機械の能動的な挙動および意図は、多くの場合、コンテキストグラフィカルユーザインターフェース（ＧＵＩ）、ビープ音、照明などを介して伝達される。自動運転装置（すなわち、自動運転ロボット）では、大型機械の自律動作は、妨害を伴う様々な距離から装置を時々見たり聞いたりすることができるような、直感的で新規な通信の配置を必要とし、その結果、人間と装置のチームが共有するワークスペースで効果的かつ安全に協働するために、近くの操作員に装置の存在および将来の動作を知らせることができる。

改善された信頼性の高い障害物検出および回避、改善された検知、改善された設計、改善された故障検出、高度な診断および半自律型清掃装置の拡張性機能を提供することが望まれている。

本明細書に記載の実施形態は、半自律型清掃装置による表面の半自律型清掃を提供するシステムに関する。システムは、改善された信頼性の高い障害物検出および回避、改善された感知、改善された設計、改善された故障検出、高度な診断および拡張性機能を提供する。

例えば、手動、半自律型、または完全自律型の清掃装置などの１つまたは複数の構成要素および／またはシステムの状態を検出するためのシステムおよび／または方法を提供することができる。本明細書に記載の実施形態は、半自律型清掃装置による表面の半自律型清掃を提供するシステムに関する。システムは、改善された信頼性の高い障害物検出および回避、改善された感知、改善された設計、改善された故障検出、高度な診断および拡張性機能を提供する。

半自律型清掃装置の斜視図である。

半自律型清掃装置の正面図である。

半自律型清掃装置の背面図である。

半自律型清掃装置の左側面図である。

半自律型清掃装置の右側面図である。

改善された感知を有する半自律型清掃装置の上面図である。

ハイブリッド感知ソリューションを示すブロック図である。

例示的なソフトウェアアーキテクチャを示すブロック図である。

個別処理モジュールを示すブロック図である。

ボクセルグリッドマッパモジュールを示すブロック図である。

フロアマッパモジュールを示すブロック図である。

意思決定者モジュールを示すブロック図である。

サイドスイーパの斜視図である。

サイドスイーパモジュールを備えた半自律型清掃装置の上面図である。

サイドスイーパモジュールを備えた半自律型清掃装置の斜視図である。

清掃故障検出システムを示すフローチャートである。

スキージ故障の検出を示すフローチャートである。

半自律型清掃装置のための例示的な電気システムを示すブロック図である。

消毒モジュールを備えた半自律型清掃装置の斜視図である。

半自律型清掃装置の例示的な実施形態を図１～図４に示す。図１は、半自律型清掃装置の斜視図である。図２は、半自律型清掃装置の正面図である。図３は、半自律型清掃装置の背面図である。図４は、半自律型清掃装置の左側面図、図５は半自律型清掃装置の右側面図である。

図１～図５は、半自律型清掃装置１００を示す。装置１００（本明細書では「清掃ロボット」または「ロボット」とも呼ばれる）は、少なくともフレーム１０２、駆動システム１０４、電子システム１０６、および清掃アセンブリ１０８を含む。清掃ロボット１００は、例えば、家、商業ビル、倉庫などのフロアなどの任意の適切な表面積を清掃（例えば、吸引、洗浄、消毒など）するために使用され得る。ロボット１００は、任意の適切な形状、サイズ、または構成とすることができ、例えば、表面に沿った移動、表面のマッピング、表面の清掃などに関連する任意の適切な機能を実行することができる１つまたは複数のシステム、機構、アセンブリ、またはサブアセンブリを含むことができる。

清掃装置１００のフレーム１０２は、任意の適切な形状、サイズ、および／または構成とすることができる。例えば、いくつかの実施形態では、フレーム１０２は、駆動システム１０４、清掃アセンブリ１０８、および電子システム１０６を支持するように構成された支持構造を形成するように結合された一組の構成要素などを含むことができる。清掃アセンブリ１０８は、フレーム１０２または代替の適切な支持構造体またはサブフレーム（図示せず）に直接結合され得る。清掃装置１００のフレーム１０２は、ストロボライト１１０と、前方ライト１１２と、前方感知モジュール１１４および後方感知モジュール１２８と、後輪１１６と、後方スカート１１８と、ハンドル１２０と、清掃ホース１２２とをさらに備える。フレーム１０２はまた、水、消毒溶液（すなわち、漂白剤、石鹸、洗浄液などである。）、ごみ（汚れ）、および汚水を貯蔵するための１つまたは複数の内部貯蔵タンクまたは貯蔵容積を含む。清掃装置１００に関するさらなる情報は、参照によりその全体が本明細書に組み込まれる、２０１６年４月２５日に出願された「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＳＥＭＩ－ＡＵＴＯＮＯＭＯＵＳ ＣＬＥＡＮＩＮＧ ＯＦ ＳＵＲＦＡＣＥＳ」と題する国際公開第２０１６／１６８９４４号パンフレットにさらに開示されている。

より詳細には、この実施形態では、前方感知モジュール１１４は、垂直および水平取り付け位置にある構造化光センサ、アクティブステレオセンサ、およびＲＧＢカメラをさらに備える。後方感知モジュール１２８は、図３に見られるように、後方光学カメラからなる。さらなる実施形態では、前方感知モジュール１１４および後方感知モジュール１２８はまた、１つまたは複数の光学カメラ、熱カメラ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、構造化光センサ、（３次元用の）アクティブステレオセンサ、およびＲＧＢカメラなどを含む他のセンサを含むことができる。

半自律型清掃装置１００の背面図は、図３に見られるように、フレーム１０２、清掃ホース１２２、清掃水タンク１３０、清掃水充填口１３２、後方スカート１１８、ストロボライト１１０、および電子システム１０６をさらに示す。電子システム１０６は、静止ディスプレイまたはタッチスクリーンディスプレイのいずれかであり得るディスプレイ１３４を更に備える。後方スカート１１８は、清掃装置１００が移動するフロア面と係合し、清掃アセンブリ１０８に向かってごみを導くスキージヘッドまたはゴムブレードからなる。

図３は、大きな赤色ボタン、装置電源スイッチボタン１２６、および後方感知モジュール１２８からなる緊急停止ボタン１２４をさらに含む。後方感知モジュール１２８は、装置１００の後方を検知するように配置された光学カメラをさらに備える。これは、障害物および妨害物を感知するために協働する装置１００の前面の視野および方向を提供する前方感知モジュール１１４と補完する。

図６は、改善された感知を有する半自律型清掃装置の上面図である。例示的な実施形態は、２つの異なる感知モダリティ（前方感知モジュール１１４および後方感知モジュール１２８）のハイブリッドシステムに依存し、環境適合性に基づいてそれらを切り替えて情報を時間的に統合し、意味情報に依存して段差および障害物の有無に関する決定を行うことによって、改善された感知に関連する問題に対処する。
感知の改善

図７は、ハイブリッド感知ソリューションを示すブロック図である。感知システムは、清掃装置７０１に対して概略位置に構成される。図６で前述したように、ハイブリッド感知ソリューションは、７０２、７０３、７０４として示される３つの感知「モジュール」に依存し、それぞれが２つのモダリティ、アクティブステレオ（ＡＳ）および構造化照明（ＳＬ）からの３次元カメラから構成される。

図７によれば、モジュールは以下の通りである。
右モジュール７０３は、１つのアクティブステレオ（ＲｅａｌＳｅｎｓｅ Ｄ ４３５）、１つまたは複数の構造化照明（Ｏｒｂｂｅｃ Ａｓｔｒａ Ｍｉｎｉ）である。
中央モジュール７０４は、１つのアクティブステレオ（ＲｅａｌＳｅｎｓｅ Ｄ ４３５）、１つまたは複数の構造化照明（Ｏｒｂｂｅｃ Ａｓｔｒａ Ｍｉｎｉ）である。
左モジュール７０５は、１つのアクティブステレオ（ＲｅａｌＳｅｎｓｅ Ｄ ４３５）、１つまたは複数の構造化照明（Ｏｒｂｂｅｃ Ａｓｔｒａ Ｍｉｎｉ）である。

カメラは、各モダリティが清掃ヘッドの周りを２７０度カバーすることができるように配置され、すべての可能な動作にわたってロボットに完全な到達範囲を与える。このような視覚的到達範囲は、ロボットが前進方向、右旋回方向、左旋回方向、またはこれらのベクトルの任意の組み合わせのいずれかに移動する必要がある場合、ロボットがそれらの方向の環境の障害物または異常を検出する能力を有するように必要とされる。これらの障害物は、地面からロボットの高さまでの垂直範囲にわたって検出され得る。システムは、構成、利用可能なカメラ、システムリソース使用量、操作員設定、計画設定、および環境要因に基づいてカメラの任意の組み合わせを切り替える。

図６および図７に見られるようなハイブリッド感知ソリューションは、異なるタイプの３次元視角システム間で自動的に選択する能力を含むいくつかの利点を提供する。構造化照明システムは、少なくとも１つの既知の画像、例えばドット、グリッドまたはバーのマトリックスを測定フィールドに投影し、次いで立体カメラシステムを使用して各特徴までの距離を測定する。構造化照明システムは、環境の３次元モデルを構築する際に非常に正確であり、照明が不十分な環境で非常に効果的に機能するという特定の利点を有する。構造化照明システムはまた、アクティブステレオシステムなどのパッシブ照明システムでアーチファクトのエッジを検出することに関連する多くの種類の問題の影響を受けにくく、構造化照明は、各環境アーチファクトまでの範囲を計算するための明確に定義されたエッジを生成する。

ロボットのアーチファクト検出の問題をさらに複雑にするのは、環境内の可変照明が、一方または両方の検出システムをあまり有用でなくする可能性があることであり、例えば暗い領域では、受動的ステレオ画像検出システムは、物体を検出するのがはるかに困難である。同様に、直射日光などの非常に明るい領域では、アクティブステレオシステムは、明るい周囲光で投影されたグリッドを区別することが困難な場合がある。本発明の態様は、従来の単一センサシステムのこれらの欠点の両方に対処する。

構造化照明システムとステレオ画像検出システムとの間の相互作用からさらなる複雑さが生じる可能性がある。本発明の一態様は、例えば、構造化照明システムに赤外線を使用し、アクティブステレオシステムに視覚光学を使用して、各システムに使用されている光の周波数をシフトすることによって、そのような相互作用を回避することである。現在のシステムの別の実施形態は、システムが、順番に環境を測定するように、カメラシステムを時間内に多重化する。いずれかのカメラシステムが、不正アクセスの検出と相関する証拠を示す場合、別の不正アクセスされていないカメラシステムの動作頻度を増加させることができる。

両方の検出システムを並行して使用することにより、環境検出システムの有効性を向上させることができる。加えて、カメラシステムは通常、ロボットの周りの３次元グリッド内で、検出されたアーチファクトが位置する場所を識別するシステムに入力する。各検出システムからのアーチファクト識別は、組み合わせることができ、また、各検出システムがどの程度不正アクセスされた可能性があるかを示す確率情報と組み合わせることができる。

現在のシステムは、複数のカメラを介して異なる方法で複数回情報を統合することによって、単純な検出システムをさらに改善する。複数の検出システムからの情報は、ボクセルグリッドを介して３次元セルで局所的に組み合わせることができる。これは、検出された環境アーチファクトの複合モデルマップを提供し、さらなる処理のために環境アーチファクトのスーパーセットを評価するための機構を提供する。

使用することができる別のシステムは、画像をグローバルに合併して、障害物アーチファクトを含まない垂直スライスの航行可能空間の接地平面を生成することである。加えて、検出されたアーチファクトは、環境内の既知のアーチファクトと比較することができ、障害物は、フレームごとの反射を使用して意味的に識別することができる。

図８は、例示的なソフトウェアアーキテクチャを示すブロック図である。この解決策は、すべてのモジュールからの経時的なデータを統合してロボットの周囲の３次元世界の表示を構築し、それを使用して段差および障害物に関する決定を行うシステムからなる。

図８を参照すると、検知および意思決定サブシステム８０１において、カメラマネージャ８０２はカメラのストリーミングを制御し、センサモジュール８０３、８０４、８０５内の個々のカメラからフレームがいつどのように取り込むかを指示する。一実施形態では、センサモダリティの一方のみが所与の時間にストリーミングされ、同時に他方はアイドル待機状態にある。デフォルトモダリティは、大きな窓への近接度および時刻などの特定の環境基準に従って選択される。これらの基準は、入力時にシステムが好ましいモダリティに移行する特定の領域に関連付けられたユーザメタデータによって提供され得る。別法として、システムは、入力画像を分析することによって好ましいセンサモダリティに自動的に移行する。あるいは、システムはまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、ＷｉＦｉ（登録商標）モデムおよび／または携帯電話もしくはモデムを含む、高度な診断を実行するために使用される追加のセンサを含むことができる。

さらに、マネージャは、例えば誤検出および検出漏れに関する潜在的な曖昧性に関する追加のコンテキスト情報を提供するために、選択されていないセンサまたはアイドルセンサから個々のフレームを取り込む能力を提供する。これらのモジュール８０６，８０７，８０８は、フレーム毎の個別処理モジュール８１３に示されている。いくつかの実施形態では、２次カメラシステムは、清掃装置が操縦している予めプログラムされたフロアプランと一致しない視覚的検出結果のような、予期しない検出結果を解決することができる追加情報を提供するように調べることができる。フロアプランマッパは、モジュール８１０として示されている。同様に、ボクセルグリッドマッパはモジュール８１１として示されている。複雑な感知環境、特に時々場所を変える可能性がある障害物を含む環境では、誤検出および検出漏れの解決は、安全性と効率的な動作の両方にとって最も重要な懸念事項である。環境は、可変照明または可変表面反射率の可能性によってさらに複雑になる。処理モジュールの結果は、意思決定者モジュール８１２に入力される。

段差の誤検出を自動的に解決する一例として、前方センサによって、観測可能な表面が遠くにあると検出されたことを感知することができる。範囲の検出は、特徴が最も鮮明になる焦点距離、または当技術分野で周知の他の多くのアルゴリズム方法を検出することによって達成され得る。遠方または遠方表面の検出は、手動の階段への進入など、段差が存在することを示す可能性が多い。通常、このような段差は、清掃ロボットが段差から落ちて損害や損傷を引き起こさないように回避されるべきである。いくつかの可能性のある光学的状況、例えば、特に反射フロア、水溜まり、熱勾配光学効果、または飽和光状態が、誤った段差検出を引き起こす可能性がある。これらの条件のすべてにおいて、偽の段差が検出されたかどうかの分析は、検出された特徴のサイズを評価すること、およびメモリに記憶されたフロアプランと、段差の存在を確認または否定するために異なる検出原理で動作する２次センサシステムとの両方と比較することによって解決することができる。

次いで、多数または確率論的論理を使用して、初期検出が誤っていたかどうか、または正しい確率がわずかでさえあるかどうかを決定することができる。さらに、そのような検出に対して行われる動作は、ａ）論理に直接作用して誤検出を想定すること、ｂ）操作員またはロギングシステムに警告を送信すること、またはｃ）手動または遠隔の承認が継続するのを一時停止し、待機すること、またはｄ）検出された障害物に向かって暫定的または探索的な動作を採用することであり得る。検出された反射障害物を含む検出された障害物に対して、同様の誤検出ロジックを使用することができる。

図９は、個別処理モジュール９０１を示すブロック図である。図９に見られるように、左右／中央カメラの各々からのデータは、処理ユニット９０３，９０４，９０５のセットに入力される。左処理モジュール９０２内には、以下の３つの主要な構成要素が存在する。
・反射検出９０３：画像内の鏡面反射の高い領域を検出する。これらの領域は、立体照明カメラおよび構造物照明カメラの両方から奥行きがないか、または誤った奥行きを有する可能性が高い。このユニットの出力は、反射領域のバイナリマスクである。
・セマンティックセグメンテーション９０４：ディープニューラルネットワークで構成される。一実施形態では、ニューラルネットワークは、外部ＵＳＢスティック（Ｉｎｔｅｌ Ｍｏｖｉｄｉｕｓ Ｃｏｍｐｕｔｅ ＳｔｉｃｋまたはＧｏｏｇｌｅ Ｃｏｒａｌ Ａｃｃｅｌｅｒａｔｏｒなど）上で動作する。このネットワークへの入力は、カメラから来るＲＧＢおよび奥行きデータであり、出力は、画像を地面の非グランド領域に分割することである。
・動的較正９０５：ロボットフレームに取り付けられたカメラは、経時的に、それらの元の位置に対する位置の変化をやはり示すことができる。動的較正の構成要件は、経時的に変化するこれらの要因の較正値を補正するための自動オンライン方法である。

動的較正９０５の構成要素は以下のように機能する：ピッチ、ロール、および高さの較正について、値は接地平面に基づいて推定され得る。較正モードは、ロボットが移動するにつれて、自動的に選択されることができ、平面があまり騒がしくなく十分なサイズの接地平面の良好な例にある。較正の変化が閾値を超える場合、選択されたデータを使用して再較正する。オフセット較正は、メモリに記憶され、次の較正イベントまで使用され得る。

ヨー較正、ｘ較正、ｙ較正の場合、値は、ロボットの２次元運動との一貫性に基づいて推定され得る。ＬＩＤＡＲの高さでＬｉｄａｒと位置合わせし（ＩＣＰを介して奥行きクラウドと一致する必要がある）、精密さの閾値を介して選択される。較正は、ＲＧＢ－Ｄオドメトリを計算し、計算されたオドメトリをロボット車輪オドメトリ９０６と最もよく一致させるヨー、ｘおよびｙの値を推定することによって進む。別の手法は、ＬＩＤＡＲの高さ（デバイスには２次元ＬＩＤＡＲユニットが装備されている）で観察された奥行きデータのスライスを選択された画像のセットにわたって ＬＩＤＡＲデータと位置合わせすることである。

図１０は、ボクセルグリッドマッパモジュールを示すブロック図である。ボクセルグリッドマッパモジュール１００１は、光線追跡および確率的更新を使用してカメラからのデータを融合することによって３次元ボクセルグリッドを構築する。次に、このマッパの出力は、ロボットの周囲の空間を地面、障害物、および未知領域にセグメント化することである。

図１０のボクセルグリッドマッパモジュール１００１の構成要素は、以下の構成要素からなる。
・ボクセルグリッド変換１００６：ボクセルグリッドは、ロボットの周りの特定の範囲の３次元空間のみを表す。各入力フレームについて、現在のロボット位置に変換される必要がある。
・点群挿入１００７：現在の入力点群によってボクセルグリッドを確率的に更新する。
・３次元レイトレーシング１００８：現在のヒットしたボクセルからカメラ位置まで確率的にレイトレーシングして、自由空間値でボクセルグリッドを更新する。
・２次元障害物／地面／未知のセグメント化１００９：すべての占有されたボクセルをｚ＝０に投影し、それを障害物マスク１０１０、地面マスク１０１２、および未知のマスク１０１１にセグメント化し、それによって、次に清掃経路変更に使用され得る修正された経路マップを生成する。

図１１は、フロアマッパモジュール１１０１を示すブロック図である。フロアマッパモジュール１１０１は、ロボットオドメトリ１１０２に従ってすべてのフレーム１１０３、１１０４、１１０５からの接地平面推定値を確率的に合併することによって、３次元ボクセルグリッドよりも大きな範囲で接地平面の表現を構築する。このマッパの出力は、ロボットの周囲の空間を地面領域および非地面領域にセグメント化することである。

このモジュールの構成要素は以下の通りである。
・２次元グリッド変換１１０６：フロアマッパは、２次元グリッドを使用して、ロボットの周りの２次元フロアスペースの特定の範囲を表している。各入力フレームについて、現在のロボット位置に変換され得る。
・フロア点群抽出器１１０７：現在の入力のフロアを見つけるために、ｏｐｅｎｃｖ：：ｒｇｂｄからの平面検出アルゴリズムが使用される。フロア上の点は、フロア２次元グリッドを更新するために使用される。
・フロア点群挿入１１０８：フロア点群抽出器によって抽出されたフロア点群によってフロア２次元グリッドを更新する。
・フロアセグメント化１１０９：フロア２次元グリッドをフロアマスク１１１０にセグメント化する。

図１２は、意思決定者モジュール１２０１を示すブロック図である。一実施形態において、意思決定者モジュール１２０１は、フロアマッパモジュール１１０１（図１１）、ボクセルグリッドマッパモジュール１００１（図１０）、ならびに左処理モジュール８０６、右処理モジュール８０７、および中央処理モジュール８０８（図８）を含む個々の処理モジュールの出力を受信する。意思決定者モジュール１２０１は、真の障害物／明確な段差の領域を決定するために、これらすべての出力に一組の規則を適用する。規則は、段差（形状、隣接する障害物に対する相対配置）に関する意味情報、ならびにその異なる入力にわたる情報の一貫性の両方を含む。

さらに、意思決定者モジュール１２０１は、代替的なセンサモダリティからの画像をチェックする必要があるかどうかを決定する。例は、観察不可能な材料に起因する段差または検出漏れのいずれかを示すことができるＳＬセンサからの欠落した奥行き領域が多く存在する状況である。別の例は、以前のデータから構築されたモデルと一致しない測定値であり得る。そのような場合、意思決定者モジュール１２０１は、別のフレームに代替センサを要求し、それに応じてそれを処理するように処理パイプラインをトリガする。

図１２によれば、このモジュールの構成要素は、以下からなる。
・マスクの合併１２０２：ボクセルグリッドマッパモジュール１００１、フロアマッパモジュール１１０１、および処理モジュール９０１からのマスクを一緒に合併し、新しい障害物マスク、地上マスク、および未知のマスクを生成する。マスク合併の出力は、段差探知器および障害物探知器に供給され、その構成要素は以下で説明される。
・段差候補探知器１２０３：段差候補をフィルタリングし、一連のチェックに合格しない段差候補を拒否する。
・地面輪郭抽出器１２０４：地面マスクの輪郭を段差候補として抽出する。
・候補近隣チェッカ１２０５：段差候補は、地面および未知の領域に隣接しているだけでよい。
・異形段差チェッカ１２０６：段差候補は、規則的な形状の未知の領域に隣接している必要がある。
・段差サイズチェッカ１２０７：小さすぎる段差を除去する。
・障害物候補探知器１２０９：障害物候補をフィルタリングし、一連のチェックに合格しないものを拒否する。
・障害物輪郭抽出器１２１０：障害物マスクの輪郭を障害物候補として抽出する。
・障害物サイズチェッカ１２１１：小さすぎる障害物を除去する。
・段差時間フィルタ１２０８：段差時間フィルタは、検出された段差の境界を時間的に追跡する。真の段差は、ロボットの相対運動に対して静的でなければならない。
・障害物時間追跡器１２１２：ロボットに対する各障害物の姿勢および速度を追跡し、それらを静的および動的障害物に分類する
スマートアラート：

車載エネルギー源、その環境の周りを移動するアクチュエータの組み合わせ、環境および様々な目印への近接を検出するセンサ、環境の検出された特徴に基づいて移動し、タスクの完了を累積する登録を行うメモリ内の内部ステートマシン、カスタマイズ可能な構成のファイル、およびユーザからのコマンドのセットを有する１つまたは複数のコンピュータ、特定のビットレートおよび周波数の音声信号生成能力を有するデジタル－アナログまたは同等の音声周辺インターフェース装置、および特定の状態遷移で、または機械の動作の特定の状態で連続的に行われる、ロケールの言語のスピーカ、マイクロフォン、可聴アナウンスなどの放音装置を使用する、清掃または他の目的のための自律型または半自律型装置。

これらは、同じメッセージが不必要に繰り返されないようにヒステリシスを有することができ、操作員または近くの人を混乱させる可能性がある。メッセージの履歴シーケンスは、一貫した自然な音声出力のセットを生成するために維持および分析され、その結果、装置の意図は、装置とのさらなる対話を容易にするために近くの操作員によって効果的に理解されることができ、または有効容積で近寄らないように警告することができる。デシベルレベルは、周囲音レベルおよび他の構成に基づいて、病院内の静かなゾーンなどの指定されたゾーンで静かになる地点に調整され得る。

装置は、意図、固有の目的地への到着、およびデバイスの状態を近くの操作員またはユーザに知らせる必要がある他の状況を合図することができる。例えば、装置が現場で人間の介入を必要とする何らかの故障モードを経験している場合、装置は、問題の解決を容易にするために特定の故障に対応する音および光を発することができる。

デバイスが逆方向に移動すると、デバイスは、例えば、スピーカを介して生成される周期的な警告音を自動的に開始することができる。他のトーンまたはトーンのシーケンスは、清掃などの様々な動作を実行する意図などの意図を示すために生成されることができる。スピーカに加えて、装置には、豊富な色、テキスト、およびアニメーションを生成することができるグラフィカルユーザインターフェース画面、ならびに他のコンピュータ制御発光体および照明アレイも装備され、装置の信号伝達能力を増強する。さらなる実施形態では、スマートアラートはまた、清掃ヘッドの下降、および回転しようとしているデバイスに関する警告などの状態遷移または状態のビデオを含むことができる。

これらの画面および音声アナンシエータは、半自律型機械をより脅威が少なくし、次の動作をより明確に伝達するのを助けるために、多種多様な擬人化された対話を模倣する機械意図を示すことができる。例えば、清掃ロボットが左折しようとする場合、ロボットのディスプレイに描かれた目は、観察者が次の行動を予測するのを助けるために左を指すことができる。同様に、オーディオ信号は、意図、または環境に関する観測、あるいは清潔さまたは施設ポリシーを促進する一般的なメッセージを示すことができる。

装置の様々な動作状態は、装置がある状態の例として、処理、清掃、スタック、故障モードにあること、リモートの遠隔操作状態にあることを含む、これらの状態のグラフィカル描写を提供することができるグラフィカルユーザインターフェース上に生成されたディスプレイと一致する。このユーザインターフェースはまた、トグル、メトリック、設定値、較正パラメータなどの測定値を表示することによって、診断および指令制御能力などにおいて、様々なハードウェアおよびソフトウェア構成要素の状態を示すためにも有用である。

進入経路上の方向の変化の起動または投影時に自動的にトリガされる、進行方向を示すための点滅および点灯。これらの経路は、事前に、または即時のセンサフィードバックに基づいてリアルタイムで計算することができる。地図の異なる領域、または周囲光センサの測定光強度は、環境に適した異なるパターンまたは光度をトリガすることができる。

色分けされたストロボライトは、将来の移動経路を示すことができる。ブレーキライトは、装置が妨害物を感知したとき、または減速しようとしている場合に、異なる停止速度を示すために、途切れない、または点滅する様式のいずれかで自動的にオンになり、妨害物が除去され、装置が加速する場合にオフになる。ライトの配置は、装置の背面にあり、様々な位置および高さに少なくとも２つまたは３つのライトがあり、これらは、潜在的にほこりの多い環境では遠くから見ることができ、かつフォークリフトおよびトラックなどの他の大型機器の操作員にとって遠くから見ることができる。これらは、コンピュータおよび制御基板を介して操作され得る。

マッピング、清掃、警告、緊急事態、操作員入力待ち、および他の機能を含む、動作モダリティを示すためのライトの色分け。ライトは、手振りなどに似た動作を示すために、強度およびシーケンスでアニメーション化され得る。
拡張性プラットフォーム：

さらなる実施形態では、自律型または半自律型の清掃装置は、多目的のインテリジェントシステムとしての拡張性のためのプラットフォームを含むことができる。一実施形態では、システムペイロードベイは、将来のセンサアドオンを可能にする。拡張性プラットフォームのさらなる特徴は、以下を含むことができる。
・モジュール式フレーム部品
・モジュール式ソフトウェア
・熱カメラ
・将来のセンサ追加部品
・明確に定義されたインターフェース
・クラウドからロボットにソフトウェアをインストールする
・セキュリティモジュール
・アプリストアモジュール、ＡＰＩを公開する、アプリストアがアプリケーションを中央にプッシュする
・集中フリート管理
・ＡＰＩモジュールを開く
・消毒モジュール
サイドスイーパ構成要素：

床清掃ロボットは、多くの場合、清掃装置を支持する剛性構成要素からの壁および物体への損傷のリスクに起因して、かつ、分注された洗浄液が回収すべき（通常、清掃装置よりも幅広い装置によって）というほとんどの操作員による要求に起因して、壁および他の物体に直接隣接して清掃することができない。その結果、壁および他の物体に隣接する床領域は清掃されない。

床洗浄機で清掃する場合、壁に沿って、および洗浄機と障害物との間で掃いて集め、モップでふく（「ダストモップがけ」および「トレールモップがけ」）ために手作業が必要である。これは、洗浄機と、それが駆動している壁との間の距離に起因する。場合によっては、ダストモップがけおよびトレールモップがけの実施は、負担しきれない。加えて、ダストモップがけが実行されないか、または不十分に実行されると、床洗浄機性能に悪影響を及ぼす可能性がある。

ごみを回収することによってダストモップがけの必要性を低減することにより、施設の清浄度が改善され、必要な労力が低減される。壁および障害物（その存在は汚れの発生を促進する）の近くのごみを除去することにより、トレールモップがけの必要性が低減される。一定の壁面距離では、未清掃の床の割合は、区域の幅が減少するにつれて増加する。結果として、サイドスイーパは、長く狭い清掃区域を有する「廊下」スタイルの環境で清掃装置を動作させようとする操作員に最大の利益を提供する。

図１３Ａは、サイドスイーパの斜視図である。サイドスイーパは、円錐形のブラシ１３０４であり、３２インチの円筒形の清掃ヘッドが取り付けられた床洗浄清掃装置の右側に取り付けることができる。サイドスイーパは、床洗浄機と近くの壁／障害物との間の距離の一部または全部をカバーする。スイーパは、小さなごみを床洗浄機の主清掃経路に運び、そこで小さなごみを円筒形ブラシによって回収し、主ごみ容器に堆積させることができる。

図１３Ｂは、サイドスイーパモジュール１３０２を備えた半自律型清掃装置１３００の上面図である。図１３Ｃは、サイドスイーパモジュール１３０４を備えた半自律型清掃装置１３００の斜視図である。サイドスイーパモジュール１３０２は、半自律型清掃装置１３００の前方の右手のコーナに取り付けられた円錐形ブラシ１３０４からなる。ブラシ１３０４は、床面に略垂直な軸線を中心に反時計回り（上から見て）に回転する。代替の実施形態では、ブラシは時計回りに回転し、左手の前方の角に取り付けられてもよい。サイドスイーパモジュール１３０２は、機械的アーム１２０６によって清掃装置１３００のフレーム１３０８に機械的に結合される。

ブラシによって接触されたごみは、ロボットの中心に向かって、ブラシが取り付けられている機械の主清掃経路に押し込まれる。そこで、ごみは、後の廃棄のために円筒形ブラシによってごみ容器内に一掃され得る。比較的大きく重いごみを、スピニングスイーパによって取り込むことができる。

サイドスイーパモジュール１３０２の構成要素は、以下の特徴からなる。
・ブラシ：変形する能力を有する長い剛毛を有するブラシであり、長さは、ロボットに近接する障害物との衝突を回避する場合、ロボットの位置および位置特定の変動に対する緩衝を提供する。
・衝撃中の機械的コンプライアンス：アームは、偶発的な衝撃の場合にそれ自体および歩行者／他の物体を保護するために物理的に従う。ばねは、機構を整列させた状態に保ち（自己センタリング）、あらゆる衝撃の力を減衰させる。緊急停止への配線。緊急停止バンパは、移動機構の擦り摩擦および衝撃力を低減し、本体を損傷しないようにする。
・シュラウド：シュラウドの裏側のテーパ部は、９０度の角度で衝突した場合に緊急停止機構が作動する可能性を高める。緊急停止は、通常、移動の方向または反対方向のいずれかに力が加えられた場合にトリガされるが、サイドスイーパ設計は、安全のためにより多くの進行方向または衝撃を検出することを可能にする。シュラウドはまた、シュリンクラップ、ロープ、ストリング、配送用の（プラスチック／ポリなどの）ストラップ、他の細長い可撓性物品からの絡み合い保護を提供する。
・レイアウト：サイドスイーパ取り付け構成要素は、ロボット移動の主方向（前方）に長手方向に向けられている。組込み可能－現場で既に使用される適切なロボットに設置され得る。ロボットの基本機能を復元するために取り外すことができる。
・電気：ヒューズ付き、コネクタ付き、バイパス可能。ケーブル、プラスチック、ＩＰＸ ４保護用に設計されたモータ。すべての電気部品は受動的であり、サイドスイーパモジュールの複雑さを低減し、信頼性を高める。追加の接地がサイドスイーパアセンブリに提供され、それによりロボット上の静電気蓄積を地面に放電して戻すことを可能にする。
・ブラシ回転運動：ブラシの特定の回転速度および角度は、側部ごみを除去するために最適な性能を有すると決定された。最適な構成を決定するために、徹底的な試験プロセスが確立された。
・サイドスイーパ到達範囲のための自律経路計画：サイドスイーパの存在は、到達範囲経路計画および安全上の考慮事項を必要に応じて自動的に変更することができる。主洗浄機構がサイドスイーパの痕跡をカバーするように、サイドスイーパの経路が作業スペースの未清掃部分内に維持されることを確実にするために自動的に計算されたサイドスイーパの螺旋経路は、サイドスイーパの存在によって洗浄性能が悪影響を受けないことを確実にする。サイドスイーパ機構は、床の移動部分にごみの痕跡を残すことを回避するために、清掃しない場合、手動モードおよび自律モードで地面から持ち上げることができる。これは、非洗浄区域と共に使用されて、自律動作中に選択的な掃引および洗浄を実行することができる。サイドスイーパは、ロボット清掃経路が障害物にどれだけ近いかを改善する。
・遠隔操作リモート監視ビューおよびレポート：どの領域が清掃されたか、すべての清掃の実行についてどの領域が洗浄されたかを示す二重レポートが生成される。ロボット２次元／３次元視覚化モデルの表示は、サイドスイーパの設置に基づいて、サイドスイーパ、フットプリント形状、構成などを含むように変更される。
・安全性：ＨＡＲＡの所見および任意に追加されるサイドスイーパの改良。
・カメラＦＯＶとのサイドスイーパ障害物検出調整：ＲＧＢ／３次元センサは、自動清掃を中断するロボットのソフトウェア安全システムにおける誤った障害物検出を回避するために、画像処理パイプラインを使用するマスキングを介してサイドスイーパの存在を考慮することができる。
・サイドスイーパ取り付けの存在に基づく自動カスタマイズされた挙動：代替実施形態は、清掃経路、壁面距離、安全性、報告などのサイドスイーパ装置を考慮してロボットの挙動を自動的に調整するために、電気機械的感知を介してサイドスイーパ機構の設置の自動検出を可能にする。
高度な診断：

モータおよびアクチュエータ、ならびに一般に構成要素またはシステムの故障の検出が懸念される。本出願は、モータまたはアクチュエータに指令し、次いで、そのモータまたはアクチュエータまたは他の何らかのアクチュエータからの裏付けとなるフィードバックを探して、指令が成功したことを検証することができるシステムを記載する。独立した機器をクロスチェックして機器のいずれか１つの故障を決定することができ、半自律型清掃装置のセンサおよびアクチュエータをクロスチェックして故障を識別することもできる。本質的に、１つまたは複数の構成要素またはサブシステムへの刺激が１つまたは複数の構成要素またはサブシステム測定において応答を生成し得る刺激応答機構が使用され得る。これらの刺激および測定値は、高度診断モジュール内の半自律型車両自体で開始、受信、記憶および相関されることができ、記憶および相関のために中央サーバに送信されることができ、またはハイブリッド手法を使用することができる。さらに、計測システムまたは作動システムの故障は、可能な限り安全な動作モードを保証するために、機械またはサブシステムの状態の即時変更をもたらす可能性がある。例えば、駆動モータまたは光学センサシステムが不適切に機能していることが判明した場合、ロボットは、移動が不可能な安全モードに入ることができる。

中央サーバは、刺激を測定値と相関させ、それによって現在の故障状態、潜在的な将来の故障状態、または将来の故障の可能性を決定するために、単純なアルゴリズムまたはヒューリスティック規則を使用することができる。別法として、中央サーバは、機械学習または人工知能サブシステムを使用してこれらの分析を実行することができる。これらの相関および予測のために、中央サーバは、単一または複数の半自律型車両からの履歴データまたはデータ傾向に依存することができる。

中央サーバは、関連メッセージをユーザに表示すること、中央データベース内の情報を更新すること、故障を予想して交換部品を注文すること、または何らかの他のアクションをとることなど、これらの相関に基づく動作を実行することができる。これらの動作を行う際に、システムの動作可能時間と同様に、システムの性能および信頼性の信用度が最大化される。

このシステムの例示的な実装形態は、スキージを落とすことに関する診断システムである。システムの観点から、スキージモータおよび吸引モータがある。スキージは、アップ（利用されない）位置もしくは状態、またはダウン（利用される）位置もしくは状態にあることができ、一方の状態から他方の状態に移動するように制御システムによって命令され得る。この命令はスキージモータ電流に変換される。吸引の開始は、吸引モータ電流を制御することによって制御され得る。これらのモータの両方の電流は、測定システムによって係合される場合に測定され得る。これらの測定値およびスキージ位置を使用して、故障または後に予想される故障を検出または予測することができる。これらの場合、モータは、制御電流の刺激を受ける試験中の構成要素である。スキージモータをオンおよびオフにするために送信された命令に対するスキージモータのオンおよびオフのタイミングは、モータの故障を示し得る。命令された場合に吸引がオンになるタイミングは、吸引故障を示し得る。スキージがアップ位置にある間に測定された吸引電流は、電流が正常範囲外である場合にホースの閉塞を示すことができる。スキージが上方位置から下方位置に移動すると考えられるときに吸引電流の変化のがないのは、スキージの欠落、ホースの閉塞、またはスキージモータの故障を示している可能性がある。

場合によっては、汚れ、または予想される損傷を検出するために開ループ構成でモータを作動させることによって、システムの通常動作モードを確認することができる。通常の清掃操作中、吸引電流の変化は故障状態を示すことができ、電流の突然の減少はスキージが落下したことを示すことができ、一方、電流の突然の増加はスキージホースが閉塞されたことを示すことができる。

監視され得る他のシステム電流および測定値は、ブラシモータ電流、清掃ヘッドリフトモータ電流、吸引電流、スキージモータ電流、駆動モータ電流、ステアリングモータ電流、水ポンプ電流、バックホイールエンコーダ、ステアリングホイールエンコーダまたはＩＭＵデータなどのアクチュエータ電流を含む。ブラシ過電流、または複数のブラシモータの電流間の分岐は、清掃故障を検出することができる。内部バスまたはシステム間バス上の通信の喪失、プロトコル違反、または待ち時間違反は、特定のシステムの故障を示し得る。

一実施態様では、この情報は、特定の故障の可能性を決定するために使用され得る機械学習モデルに入力され得る。そのような故障には、清掃ブラシの喪失、清掃ブラシベルトの破損、アクチュエータの故障、スキージの喪失、吸引ホースの閉塞、水の汚染、またはエンコーダの故障が含まれ得る。
ヘルスモニタ：

さらなる実施形態では、ヘルスモニタノードまたはモジュールが生成される。ヘルスモニタモジュールは、まだ監視されていない新しい状態を監視する。ヘルスモニタモジュールは、診断コレクタモジュールによって取り込まれ、アクションおよび報告の目的で診断アグリゲータセーフティモニタエグゼクティブ／ＵＩパイプラインに入力される診断メッセージを公開する。この段階では、既存のＵＩは、異常動作状態がヘルスモニタモジュールによって検出された場合に、「安全上のミス」の代わりに「警告」を表示するように修正される。

すべての既存の条件は、異常動作が検出された場合にユーザインターフェース（ＵＩ）に表示されるエラーメッセージをもたらし続ける。そうでなければ、安全モニタ／ＵＩパイプラインの機能は変更されないままである。

長期的には、システムで監視される重大でない状態、ならびに関連する動作および報告機能は、ヘルスモニタモジュールに移行される。臨界条件（すなわち、個人の傷害または物的損傷をもたらす可能性のあるもの）は、安全基板を増強するように作用する、より単純な安全監視モジュールの主題となる。

ヘルスモニタモジュールは、ヘルスモニタクラスを使用して実装される。一例として、ＨＭＮｏｄｅは、優先順位順にモニタクラスのインスタンスを作成し、監視を必要とするトピックをサブスクライブし、新しいメッセージが利用可能になったときに関心のあるモニタに通知し（すべてのモニタがすべてのメッセージに関心があるわけではない）、それらの優先順位順に、各モニタ上でＣｈｅｃｋ（）を定期的に呼び出す。各モニタは、Ｃｈｅｃｋ（）を実装し、その監視された状態が診断．ｍｓｇ参照を介して正常または異常状態にあるかどうかをＨＭＮｏｄｅに通知する。

さらに、ＨＭＮｏｄｅは、診断コレクタから始まる既存の安全パイプライン／ＵＩによって処理される定期的な診断メッセージを公開する。優先度処理機構がフレームワークに組み込まれている場合であっても、ロボット反応が、遭遇するすべての条件に対して同じであることを考えると、現時点ではすべての条件に同じ優先度が割り当てられている。
故障検出：

図１４は、清掃故障検出システムを示すフローチャートである。図１４によれば、清掃システムはブロック１４００で開始される。ブロック１４０１において、清掃システムが始動され、清掃故障を監視する。ブロック１４０２で清掃故障がトリガされると、システムは警告ページに移行し、ブロック１４０３でブラシ、水ポンプをオフにし、清掃ヘッドを後退させる。システムはまた、ブロック１４０４において、故障が吸引故障であるかどうかを判定する。そうである場合、ブロック１４０５において、吸引をオフにし、スキージを上げる。そうでない場合、ブロック１４０６において、２０秒間待機し、吸引をオフにしてスキージを上げる。

ブロック１４０７でユーザがリセットボタンを押す場合、ブロック１４０３の警告ページで、システムは清掃計画が実行されたかどうかを確認するためにチェックする。そうであれば、ブロック１４１０でフローチャートが終了するまでブロック１４０８で清掃を再開し、そうでなければ、システムはブロック１４０９において手動計画に移行する。

ブロック１４０３における警告ページにおいて、ブロック１４１１でユーザがホームボタンを押す場合、システムは、ブロック１４１２で清掃計画が実行されたかどうかを確認するためにチェックする。そうであれば、ブロック１４１３でシステムは清掃を終了し、報告を生成する。そうでなければ、システムは手動計画１４０９に移行する。方法はブロック１４１０で終了する。
スキージ検出：

さらなる実施形態では、システムは、スキージ故障を検出するための方法およびモジュールを有する。図１５は、スキージ故障の検出を示すフローチャートである。図１５によれば、ＳＱダウンは、スキージが下がること（下降）を意味し、ＳＱコマンドダウンは、スキージが上昇することを意味し、スキージが上昇し、スキージが取り外され、吸引ボタンが押された場合に、吸引ボタンが押されるが（これもスキージを下げるように命令する）、吸引をオンにせずに、かつスキージを下降させずに、故障画面が表示されることになり、この場合も画面は２０秒待つことなく、直ちに「警告クリア」と表示される。

図１５を参照すると、ブロック１５０１において、ＳＱダウンまたはＳＷコマンドダウンまたはＳＱ分離イベントが検出される。システムは、ブロック１５０２において、これが故障イベントであるか否かを確認する。その後、システムは、ブロック１５０３において、それがＳＱコマンドダウンイベントであるかどうかをチェックし、その後、ブロック１５０５において、故障クリアイベントへと進む。ブロック１５０３でそれがＳＱコマンドダウンイベントでない場合、システムはブロック１５０４で２０秒またはＳＱ取り付けイベントをチェックし、ブロック１５０５で故障クリアイベントに進む。

ブロック１５０５における故障クリアイベントにおいて、システムは、ブロック１５０６におけるＨｏｍｅ ＰＲＥＳＳＥＤボタン（ホームボタンが押された）イベント、ブロック１５０７におけるＡＵＴＯイベント、およびブロック１５０８における清掃キャンセルイベントをチェックする。これらのイベントが発生すると、システムはブロック１５０９でホームページに戻る。

ブロック１５０５で故障クリアイベントに戻ると、システムは、ブロック１５１０でＲＥＳＥＴ ＰＲＥＳＳＥＤ（リセットボタンが押された）イベントが発生し、ブロック１５１１でＳＱ取り付けイベントが発生したかどうかをチェックする。これらのイベントが発生すると、システムはブロック１５０１でＳＱダウンまたはＳＷコマンドダウンまたはＳＱ分離イベントの監視の開始を返す。
機械システム：

清掃装置のさらなる実施形態は、前輪アセンブリおよび清掃ヘッド制御部を含む機械的システムを含む。前輪アセンブリは、さらなるドライブフレックスケーブル管理システムを含む。

清掃ヘッド制御システムは、以下の特徴をさらに含む。
・下向きの力を推測するために電流が使用される。ＰＩＤループは、一定の下向きの力を維持するために使用される。
・掃引動作のために、清掃ヘッドリフトアクチュエータからの位置フィードバックが、一定の位置を目標とするために使用される。特性試験を行った後、清掃性能を最大化する最適距離が決定され、ブラシ摩耗による性能が改善される。
・制御システムはまた、ブラシが摩耗／変形したことを感知し、したがってブラシが加えることができる下向きの力を最大にする「折衷モード」を実装する。
・すべての清掃アクチュエータ（ブラシモータ、リフトモータ、吸引、ポンプ）は閉ループであり、フィードバックは、自己診断、モータ固着、電気的接続の喪失、過電流、ブラシ間の分岐、ブラシの喪失などに使用することができる。
電気システム：

図１６は、半自律型清掃装置のための例示的な電気システムを示すブロック図である。

電気システムのいくつかの特徴は、以下を含む。
・ＬＩＤＡＲ １６０１、３次元カメラ１６０２および２次元カメラ１６０３モジュール
・メインコンピュータ（ＰＣ）１６０４
・遠隔監視モジュール１６０５
・ユーザ入力モジュール１６０６
・清掃システムへの高電力分配、ならびに通常の制御機能のための主制御ユニット（ＭＣＵ）モジュール１６０７。主制御ユニット（ＭＣＵ）は、堅牢な下流の回路保護を提供する。
・現場サービスを容易にするための交換可能な自立型モータコントローラモジュールであるモータコントローラ（ＭＣ）１６０８
・バッテリ１６１０
・配電モジュール１６１１
・清掃電源モジュール１６１２
・清掃ヘッド位置モジュール１６１３
・吸引電源モジュール１６１４
・スキージ位置モジュール１６１５
・スキージ接続遮断検出
○後部スキージが取り付け点から分離されたか否かの故障検出
・コンピュータ排気温度に基づく後部キャビネットを通じた強制空冷
○サーモスタットを使用してコンピュータの排気温度に基づいて空気流を制御する
○冷却を増加させ、したがってＣＰＵ処理能力を増加させる
・多層／冗長動作制御監視（モータコントローラ、ＭＣＵ ＦＷ、ＳＷはすべて、予想される動作をチェックする）
・自律的清掃のための音声キュー
・清掃計画環境の適否を決定するための環境データの収集
○環境センサを使用して、高温すぎる環境でロボットを使用しているかどうかを決定すること
・分散ＬＥＤ制御
○他の前方ＬＥＤのコントローラとしてハロＰＣＢを使用する
・方向インジケータとしてのＬＥＤ「目」
○ロボットの意図された動作を示すためにハロＰＣＢ上のＬＥＤのグループを使用する
・吸引障害物検出
○吸引電流の変化を検出して、障害物が存在するかどうかを決定する
・電流を用いた水流制御ループ
・消毒モジュール

さらなる実施形態では、半自律型清掃装置は消毒モジュールを含む。図１７は、消毒モジュール１７０２を備えた半自律型清掃装置１７００の斜視図である。図１７に見られるように、消毒モジュール１７０２の構成要素は以下からなる。
・高出力ファン（ＤＣ電圧）１７０４
・アトマイザノズル１７０６
・静電モジュール陰極
・静電モジュール１７０８

図１７によれば、消毒モジュールは、ハンドル、ドア、手すり、タッチスクリーン、テーブル、カウンタートップ、棚、および定期的な消毒を必要とする他の領域などの接触領域に消毒溶液１７１０を分配する噴霧、ミスト化および／または霧化システムからなる。消毒モジュールは、半自律型清掃装置に取り付けられ、施設の任意の場所に自動的にナビゲートし、既存の製品の自動化およびインフラストラクチャを使用して必要に応じて消毒することができる。

消毒モジュール１７０２は、溶液タンク、噴霧システム、分散システム、および静電システムを含む。システムは、消毒溶液１７１０が適切な高さで清掃装置から１．５ ｍ以内の距離で広がることができるように取り付けられる。静電システムを利用することにより、モジュールは、スプレー角度にもかかわらず、総到達範囲および消毒剤を最大化することができる。消毒モジュールに関するさらなる情報は、参照によりその全体が本明細書に組み込まれる、２０２０年７月２４日に出願された「ＤＩＳＩＮＦＥＣＴＩＯＮ ＭＯＤＵＬＥ ＦＯＲ Ａ ＳＥＭＩ－ＡＵＴＯＮＯＭＯＵＳ ＣＬＥＡＮＩＮＧ ＡＮＤ ＤＩＳＩＮＦＥＣＴＩＯＮ ＤＥＶＩＣＥ」と題する米国仮出願第６３／０５５，９１９号明細書に見出すことができる。

本明細書で開示される実装形態は、機械学習訓練のための訓練データセットを生成または増強するためのシステム、方法、および装置を提供する。

本明細書で説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体上の１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ－ＲＯＭ、もしくは他の光ディスク記憶装置、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含むことができる。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能なソフトウェア、命令、コードまたはデータを指すことができる。「モジュール」は、コンピュータ可読コードを実行するプロセッサと考えることができる。

本明細書に記載のプロセッサは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書に記載の機能を実行するように設計されたそれらの任意の組み合わせとすることができる。汎用プロセッサはマイクロプロセッサとすることができるが、代替例では、プロセッサはコントローラ、またはマイクロコントローラ、それらの組み合わせなどとすることができる。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装することもできる。本明細書では主にデジタル技術に関して説明されているが、プロセッサは主にアナログ構成要素を含むこともできる。例えば、本明細書に記載の信号処理アルゴリズムのいずれかは、アナログ回路で実装され得る。いくつかの実施形態では、プロセッサはグラフィックス処理装置（ＧＰＵ）とすることができる。ＧＰＵの並列処理能力は、中央処理装置（ＣＰＵ）と比較して、ニューラルネットワーク（および他の機械学習モデル）を訓練し、かつ使用する時間を短縮することができる。いくつかの実施形態では、プロセッサは、モデルトレーニングおよびモデル推論の一方または両方のための専用機械学習回路カスタム構築を含むＡＳＩＣとすることができる。

開示または図示されたタスクは、地理的に分散されたコンピューティングデバイスを含む、コンピュータシステムの複数のプロセッサまたはコンピューティングデバイスにわたって分散させることができる。

本明細書に開示される方法は、記載された方法を達成するための１つまたは複数のステップまたは動作を含む。方法ステップおよび／または動作は、特許請求の範囲から逸脱することなく互いに交換することができる。言い換えれば、記載されている方法の適切な動作のために特定の順序のステップまたは動作が必要とされない限り、特定のステップおよび／または動作の順序および／または使用は、特許請求の範囲から逸脱することなく変更することができる。

本明細書で使用される場合、「複数」という用語は、２つ以上を意味する。例えば、複数の構成要件は、２つ以上の構成要素を示す。「決定すること」という用語は、多種多様な動作を包含し、したがって、「決定すること」は、計算すること、計算すること、処理すること、導出すること、調査すること、検索すること（例えば、テーブル、データベース、または別のデータ構造を検索する）、確認することなどを含むことができる。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。

「に基づいて」という語句は、特に明記しない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という語句は、「のみに基づいて」および「少なくともに基づいて」の両方を表す。

システムの前述の書面による説明は、当業者が現在その最良の形態であると考えられるものを作成および使用することを可能にするが、当業者は、本明細書の特定の実施形態、方法、および例の変形、組み合わせ、および均等物の存在を理解および認識するであろう。したがって、システムは、上述の実施形態、方法、および例によって限定されるべきではなく、システムの範囲および精神内のすべての実施形態および方法によって限定されるべきである。したがって、本開示は、本明細書に示される実施態様に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。

Claims (33)

1. 表面を清掃するための半自律型清掃装置であって、
   少なくとも１つの貯蔵容積を支持するフレームと、
   前記フレームによって支持され、表面に沿って前記フレームを移動させるように構成された駆動システムと、
   前記フレームに結合された清掃アセンブリであって、前記駆動システムが前記表面に沿って前記清掃アセンブリを移動させるにつれて、前記表面から前記少なくとも１つの貯蔵容積にごみを移送するように構成された清掃アセンブリと、
   前記清掃装置の経路および方向を計算し、案内することができる複数のセンサを備える前方または後方感知モジュールと、
   スマートアラートシステムと、
   前記フレームによって支持され、少なくともメモリおよびプロセッサを含む電子システムであって、前記プロセッサが、前記スマートアラートシステムに関連する前記メモリに記憶された命令のセットを実行して、前記装置の動作モダリティの通知および意図を提供し、危険信号に対して警告するように構成される、電子システムと、
   を備える、半自律型清掃装置。
2. 前記複数のセンサが、前方カメラ、後方カメラ、光学カメラ、熱カメラ、３次元カメラ、構造化光センサ、アクティブステレオセンサ、およびＲＧＢカメラからなるリストから選択される、請求項１に記載の装置。
3. 前記スマートアラートシステムが、光、音、表示画面、データ通知、スピーカを介した音、マイクロフォンを介した音、およびタッチディスプレイスクリーンを介して表示されたデータのうちの少なくとも１つを含む、請求項１に記載の装置。
4. 危険信号が、故障の警告モード、ユーザの介入の要求、および清掃アセンブリによる物体の妨害を含む、請求項１に記載の装置。
5. 前記装置が逆方向に移動すると、前記装置が前記スピーカを介して警告音を発生させる、請求項１に記載の装置。
6. 点滅するライトまたは照明されるライトが、進行方向を示す、請求項１に記載の装置。
7. 色分けされたライトが、将来の進行経路を示す、請求項１に記載の装置。
8. 前記ライトの前記色分けは、マッピング、清掃、警告、緊急、および待機中の操作員入力からなるリストから選択された前記動作モダリティを示す、請求項１に記載の装置。
9. 前記光の色分けは、手振りに似た動作を示すために、強度およびシーケンスで動画化される、請求項８に記載の装置。
10. 前記前方および後方感知モダリティが、２７０度の視界を提供し、前記地面から前記デバイス装置の高さまでの可能な動作の全到達範囲を清掃装置に提供する、請求項１に記載の装置。
11. 表面を清掃するための半自律型清掃装置であって、
    少なくとも１つの貯蔵容積を支持するフレームと、
    前記フレームによって支持され、表面に沿って前記フレームを移動させるように構成された駆動システムと、
    前記清掃装置の可能な進行方向のそれぞれに面するように配置された複数の視覚センサタイプからなる感知システムと、
    前記フレームによって支持され、少なくともメモリおよびプロセッサを含む電子システムであって、前記プロセッサが、前記メモリに記憶された命令のセットを実行するように構成され、前記感知システムからの入力を受信する、電子システムと、
    を備え、
    前記電子システムは、前記可能な進行方向のいずれかにおける環境内の障害物または危険物の存在を計算するようにさらに構成され、前記環境内の前記障害物または危険物に関する情報を利用して、前記環境内の前記障害物または危険物を回避するように前記清掃装置の前記動作を指示するようにさらに構成される、半自律型清掃装置。
12. 前記感知システムは、少なくとも１つの光学カメラを含む、請求項１１に記載の装置。
13. 前記感知システムは、構造化照明を備えた光学カメラを含む、請求項１１に記載の装置。
14. 前記電子システムは、前記光学カメラおよび構造化照明を備えた前記カメラの使用を多重化する、請求項１１に記載の装置。
15. 前記障害物の有無の計算は、ボクセルグリッドマッピングモジュール、フロアマッピングモジュール、セマンティックセグメンテーションモジュール、および動的較正モジュールのうちの少なくとも１つを使用して実行される、請求項１１に記載の装置。
16. 表面を清掃するための半自律型清掃装置であって、
    少なくとも１つの貯蔵容積を支持するフレームと、
    前記フレームによって支持され、表面に沿って前記フレームを移動させるように構成された駆動システムと、
    前記フレームに結合された清掃アセンブリであって、前記駆動システムが前記表面に沿って前記清掃アセンブリを移動させるにつれて、前記表面から前記少なくとも１つの貯蔵容積にごみを移送するように構成された清掃アセンブリと、
    前記清掃装置の経路および方向を計算し、案内することができる複数のセンサを備える前方または後方感知モジュールと、
    拡張性プラットフォームと、
    前記フレームによって支持され、少なくともメモリおよびプロセッサを含む電子システムであって、前記プロセッサが、前記メモリに記憶された命令のセットを実行するように構成され、前記前方および後方感知モジュールからの入力を受信して、前記拡張性プラットフォームに関連する少なくとも１つまたは複数の動作を実行する、電子システムと、
    を備える、半自律型清掃装置。
17. 前記複数のセンサが、前方カメラ、後方カメラ、光学カメラ、熱カメラ、３次元カメラ、構造化光センサ、アクティブステレオセンサ、およびＲＧＢカメラからなるリストから選択される、請求項１６に記載の装置。
18. 前記拡張性プラットフォームが、モジュール式フレーム部品、モジュール式ソフトウェア、セキュリティモジュール、アプリストアモジュール、集中フリート管理、オープンＡＰＩモジュール、および熱カメラからなるリストから選択される、請求項１６に記載の装置。
19. 消毒溶液を噴霧するための消毒モジュールをさらに備える、請求項１６に記載の装置。
20. ファン、噴霧器ノズル、および静電モジュールをさらに備える、請求項１９に記載の消毒モジュール。
21. 前記ファンが高出力ＤＣファンである、請求項２０に記載の消毒モジュール。
22. 表面を清掃するための半自律型清掃装置であって、
    少なくとも１つの貯蔵容積を支持するフレームと、
    前記フレームによって支持され、表面に沿って前記フレームを移動させるように構成された駆動システムと、
    前記フレームに結合された清掃アセンブリであって、前記駆動システムが前記表面に沿って前記清掃アセンブリを移動させるにつれて、前記表面から前記少なくとも１つの貯蔵容積にごみを移送するように構成された清掃アセンブリと、
    前記フレームの一方の側に機械的に結合されたサイドスイーパモジュールであって、サイドスイーパアーム、モータ、および円錐形ブラシを有するサイドスイーパモジュールと、
    を備え、
    前記円錐形ブラシによって接触されたごみが、前記清掃装置の中心に向かって前記清掃アセンブリの主清掃経路内に押し込まれる、半自律型清掃装置。
23. 前記円錐形ブラシが時計回りまたは反時計回りに回転する、請求項２２に記載の装置。
24. 前記円錐形ブラシの直径が少なくとも３２インチである、請求項２２に記載の装置。
25. 前記サイドスイーパモジュールが、装置の左側または右側のいずれかに機械的に取り付けられている、請求項２２に記載の装置。
26. 表面を清掃するための半自律型清掃装置であって、
    少なくとも１つの貯蔵容積を支持するフレームと、
    前記フレームによって支持され、表面に沿って前記フレームを移動させるように構成された駆動システムと、
    前記フレームに結合され清掃アセンブリであって、前記駆動システムが前記表面に沿って前記清掃アセンブリを移動させるにつれて、前記表面から前記少なくとも１つの貯蔵容積にごみを移送するように構成された清掃アセンブリと、
    刺激信号を受信するように構成された試験対象の構成要素と、
    測定信号を送信するように構成された測定システムと、
    前記フレームによって支持され、少なくともメモリおよびプロセッサを含む電子システムであって、前記プロセッサが、前記メモリに記憶された命令のセットを実行するように構成され、試験対象の前記構成要素に刺激信号を送信し、高度な診断を実行するために前記測定システムから測定データを受信する、電子システムと、
    を備える、半自律型清掃装置。
27. 前記高度な診断は、故障検出、健全性監視、およびスキージ検出のための測定を行うことを含む、請求項２６に記載の装置。
28. 前記高度な診断システムが、特定の刺激の前記送信の後に特定の測定値の前記受信が続く場合に通知を提供する、請求項２６に記載の装置。
29. 前記通知は、前記装置の操作員に直接提供される、請求項２６に記載の装置。
30. 前記通知は、そのような通知を受信および記憶し、前記通知に基づいて動作を実行するように構成された中央サーバに送信され、その動作は、故障を前記ユーザに通知すること、交換構成要素を注文すること、または故障を経時的に追跡することであり得る、請求項２６に記載の装置。
31. 高度な診断を実行するために使用される他のセンサが、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、ＷｉＦｉ（登録商標）モデム、および携帯電話からなるリストから選択される、請求項２６に記載の装置。
32. 試験対象の前記構成要素が、吸引モータ、スキージモータ、光学センサ、駆動モータ、および液体スプレーモータのうちの１つである、請求項２６に記載の装置。
33. 前記高度な診断システムから刺激および測定情報を受信および記憶し、複数の刺激と測定値との間の相関を実行するように構成された中央サーバを更に備える、請求項２６に記載の装置。
    
    

Images