JP7461801B2 - Cleaning device, program and display terminal - Google Patents
Cleaning device, program and display terminal Download PDFInfo
- Publication number
- JP7461801B2 JP7461801B2 JP2020097351A JP2020097351A JP7461801B2 JP 7461801 B2 JP7461801 B2 JP 7461801B2 JP 2020097351 A JP2020097351 A JP 2020097351A JP 2020097351 A JP2020097351 A JP 2020097351A JP 7461801 B2 JP7461801 B2 JP 7461801B2
- Authority
- JP
- Japan
- Prior art keywords
- cleaning
- cleaned
- unit
- area
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims description 437
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 description 23
- 238000000034 method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 239000007788 liquid Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000005498 polishing Methods 0.000 description 4
- 239000002351 wastewater Substances 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001417527 Pempheridae Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005108 dry cleaning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electric Vacuum Cleaner (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、清掃装置、プログラム、表示端末に関する。 The present invention relates to a cleaning device, a program, and a display terminal.
従来、清掃済みエリアの清掃度合いをディスプレイに表示する電気掃除機が知られている（例えば、特許文献１参照）。特許文献１に記載の電気掃除機は、掃除機本体から延びる吸引ホースにハンドルが接続され、ハンドルに延長パイプを介して清掃ヘッドが装着されている。清掃ヘッドにはカメラと位置センサが設けられており、ハンドルにはディスプレイが設けられている。清掃中に位置センサの検出結果から清掃済みエリアが特定され、カメラの撮像画像から清掃度合いが求められて、清掃済みエリアが清掃度合いに応じて色分けされてディスプレイに表示される。
Conventionally, there is known a vacuum cleaner that displays the degree of cleaning of a cleaned area on a display (see, for example, Patent Document 1). In the vacuum cleaner described in
また、清掃エリアの清掃状態を可視化する自律走行式の清掃装置が知られている（例えば、特許文献２参照）。特許文献２に記載の清掃装置は携帯端末に通信可能に接続されており、清掃装置にはゴミ検出センサが設けられ、携帯端末にはカメラが設けられている。ＳＬＡＭ（Simultaneous Localization and Mapping）等によって清掃エリアのマップが作成され、ゴミ検出センサの検出結果がマップに付加される。そして、清掃装置から携帯端末に清掃状態が反映されたマップが送信され、このマップがカメラの撮像画像に重ねられて携帯端末のディスプレイに表示される。 An autonomous cleaning device that visualizes the cleaning status of a cleaning area is also known (see, for example, Patent Document 2). The cleaning device described in Patent Document 2 is communicatively connected to a mobile terminal, and a dust detection sensor is provided on the cleaning device, and a camera is provided on the mobile terminal. A map of the cleaning area is created using SLAM (Simultaneous Localization and Mapping) or the like, and the detection results of the dust detection sensor are added to the map. The map reflecting the cleaning status is then transmitted from the cleaning device to the mobile terminal, and the map is superimposed on an image captured by the camera and displayed on the display of the mobile terminal.
特許文献１に記載の電気掃除機では、清掃済みエリアが清掃度合いに応じて色分けされるため、清掃が途中で中断されても未清掃エリアを把握して清掃を再開することができる。しかしながら、実物と画面を見比べながら清掃しなければならず、作業者にとって煩わしい清掃作業になっていた。特許文献２に記載の清掃装置では、清掃後に撮像画像上に清掃状態が重ねられるため、作業者に清掃不足箇所を認識させて仕上げの清掃作業を促すことができる。しかしながら、清掃中に清掃不足箇所が表示されないため、作業者による清掃作業の効率を向上させることまでは難しい。
In the vacuum cleaner described in
そこで、本発明はかかる点に鑑みてなされたものであり、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる清掃装置、プログラム、表示端末を提供することを目的とする。 The present invention has been made in consideration of these points, and aims to provide a cleaning device, program, and display terminal that can improve the workability of cleaning work and efficiently perform high-quality cleaning.
本発明の清掃装置は、手動操作によって清掃部材を移動させながら被清掃面を清掃する清掃装置であって、清掃中に被清掃面を撮像する撮像部と、前記撮像部の撮像画像を表示する表示部と、前記清掃部材の現在位置を推定する推定部と、前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、前記表示部は、既清掃領域及び/または将来清掃領域を撮像画像内の被清掃面に重ねて表示する。 The cleaning device of the present invention is a cleaning device that cleans a surface to be cleaned while moving a cleaning member by manual operation, and includes an imaging unit that captures an image of the surface to be cleaned during cleaning, a display unit that displays an image captured by the imaging unit, an estimation unit that estimates the current position of the cleaning member, a first creation unit that creates an area that has already been cleaned based on the movement trajectory of the cleaning member to the current position, and a second creation unit that creates an area to be cleaned based on the movement direction of the cleaning member from the current position, and the display unit displays the area that has already been cleaned and/or the area to be cleaned superimposed on the surface to be cleaned in the captured image.
この構成によれば、清掃中に撮像画像内の被清掃面に既清掃領域と将来清掃領域が重ねられて表示部に表示され、実際の被清掃面と清掃済みの既清掃領域と清掃予定の将来清掃領域を表示部の同じ画面で視認することができる。このとき、既清掃領域と将来清掃領域を部分的に重ねるように清掃部材を手動操作することで、未清掃領域を生じさせることなく被清掃面を清掃部材によって清掃することができる。よって、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。 According to this configuration, the area already cleaned and the area to be cleaned are displayed on the display unit while being superimposed on the surface to be cleaned in the captured image during cleaning, and the actual surface to be cleaned, the area already cleaned, and the area to be cleaned in the future can be visually confirmed on the same screen of the display unit. At this time, by manually operating the cleaning member so that the area already cleaned and the area to be cleaned are partially superimposed, the surface to be cleaned can be cleaned by the cleaning member without leaving any uncleaned areas. This improves the operability of the cleaning work and enables high-quality cleaning to be performed efficiently.
本発明の清掃装置は、学習モードにて手動操作によって清掃部材を移動させながら清掃プランを作成し、再現モードにて清掃プランを再現して被清掃面を自律走行清掃しており、前記表示部は、学習モードにて既清掃領域及び将来清掃領域を撮像画像内の被清掃面に重ねて表示してもよい。この構成によれば、学習モードにて質が高く効率的な清掃プランを作成することができる。 The cleaning device of the present invention creates a cleaning plan while manually moving the cleaning member in learning mode, and reproduces the cleaning plan in reproduction mode to autonomously clean the surface to be cleaned. The display unit may display the already cleaned area and the future cleaning area superimposed on the surface to be cleaned in the captured image in learning mode. With this configuration, a high-quality and efficient cleaning plan can be created in learning mode.
本発明の清掃装置において、前記表示部は、前記清掃部材の移動方向、前記清掃部材の周辺の障害物、既清掃領域同士の重なり、既清掃領域と将来清掃領域の重なり、未清掃領域及び移動禁止区域の少なくとも１つを撮像画像に重ねて表示してもよい。この構成によれば、清掃部材の移動方向、周辺の障害物、既清掃領域同士の重なり、既清掃領域と将来清掃領域の重なり、未清掃領域及び移動禁止区域の少なくとも１つを、補助情報として作業者に認識させることができる。 In the cleaning device of the present invention, the display unit may display at least one of the following superimposed on the captured image: the direction of movement of the cleaning member, obstacles around the cleaning member, overlap between already cleaned areas, overlap between already cleaned areas and areas to be cleaned, uncleaned areas, and prohibited areas. With this configuration, the worker can be made aware of at least one of the direction of movement of the cleaning member, obstacles around the cleaning member, overlap between already cleaned areas, overlap between already cleaned areas and areas to be cleaned, uncleaned areas, and prohibited areas as auxiliary information.
本発明の清掃装置において、前記表示部は、障害物までの距離、既清掃領域同士の重なり幅、既清掃領域と将来清掃領域の重なり幅の少なくとも１つを撮像画像に重ねて表示してもよい。この構成によれば、障害物までの距離、既清掃領域同士の重なり幅、既清掃領域と将来清掃領域の重なり幅の少なくとも１つを、より具体的な補助情報として作業者に認識させることができる。 In the cleaning device of the present invention, the display unit may display at least one of the distance to an obstacle, the overlap width between areas already cleaned, and the overlap width between areas already cleaned and areas to be cleaned, superimposed on the captured image. This configuration allows the worker to recognize at least one of the distance to an obstacle, the overlap width between areas already cleaned, and the overlap width between areas already cleaned and areas to be cleaned, as more specific auxiliary information.
本発明の清掃装置は、清掃中に前記表示部を視認した作業者を撮像する他の撮像部と、前記他の撮像部の撮像画像に含まれる作業者の顔を認識する認識部と、一定時間以上継続して作業者の顔が認識された場合に警告する警告部と、を備えてもよい。この構成によれば、表示部を凝視し続ける作業者に警告して、清掃中に作業者に注意を促すことができる。 The cleaning device of the present invention may include another imaging unit that captures an image of a worker who views the display unit while cleaning, a recognition unit that recognizes the face of the worker included in the image captured by the other imaging unit, and a warning unit that issues a warning when the face of the worker is continuously recognized for a certain period of time or more. With this configuration, a warning is issued to a worker who continues to stare at the display unit, and the worker can be alerted while cleaning.
本発明の清掃装置において、前記警告部は、音声警告、発光警告、表示警告又はこれらの組み合わせによって警告してもよい。この構成によれば、音声警告、発光警告、表示警告によって作業者に注意を促すことができる。 In the cleaning device of the present invention, the warning unit may warn by a sound warning, a light emitting warning, a display warning, or a combination of these. With this configuration, the worker can be alerted by a sound warning, a light emitting warning, or a display warning.
本発明の清掃装置は、撮像画像にタグを付与する付与部と、撮像画像に付与するタグへの入力操作を受け付ける操作部と、タグの付与位置を当該タグへの入力内容に関連付けて記憶する記憶部と、を備え、前記表示部は、撮像画像にタグを重ねて表示してもよい。この構成によれば、撮像画像にタグを重ねて表示させて、タグに入力されたメモを作業者に確認させることができる。 The cleaning device of the present invention includes an assignment unit that assigns a tag to a captured image, an operation unit that accepts an input operation for the tag to be assigned to the captured image, and a storage unit that stores the tag assignment position in association with the input content for the tag, and the display unit may display the tag superimposed on the captured image. According to this configuration, the tag can be displayed superimposed on the captured image, allowing the worker to check the notes entered in the tag.
本発明のプログラムは、手動操作によって清掃部材を移動させながら被清掃面を清掃する清掃装置のプログラムであって、清掃中に被清掃面を撮像部に撮像させるステップと、前記清掃部材の現在位置を推定するステップと、前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成するステップと、前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成するステップと、既清掃領域及び将来清掃領域を撮像画像内の被清掃面に重ねて表示部に表示させるステップと、を前記清掃装置に実行させる。この構成によれば、プログラムを清掃装置にインストールすることで、撮像画像内の被清掃面に既清掃領域と将来清掃領域を重ねて表示させる機能を追加することができる。 The program of the present invention is a program for a cleaning device that cleans a surface to be cleaned while moving a cleaning member by manual operation, and causes the cleaning device to execute the steps of: capturing an image of the surface to be cleaned with an imaging unit during cleaning; estimating the current position of the cleaning member; creating an area that has already been cleaned based on the movement trajectory of the cleaning member to the current position; creating an area to be cleaned based on the movement direction of the cleaning member from the current position; and displaying the area that has already been cleaned and the area to be cleaned on a display unit, superimposed on the surface to be cleaned in the captured image. According to this configuration, by installing the program in the cleaning device, a function can be added that displays the area that has already been cleaned and the area to be cleaned superimposed on the surface to be cleaned in the captured image.
本発明の表示端末は、手動操作によって清掃部材を移動させながら被清掃面の清掃に用いられる表示端末であって、清掃中に被清掃面を撮像する撮像部と、前記撮像部の撮像画像を表示する表示部と、前記清掃部材の現在位置を推定する推定部と、前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、前記表示部は、既清掃領域及び将来清掃領域を撮像画像内の被清掃面に重ねて表示する。 The display terminal of the present invention is a display terminal used for cleaning a surface to be cleaned while moving a cleaning member by manual operation, and includes an imaging unit that captures an image of the surface to be cleaned during cleaning, a display unit that displays an image captured by the imaging unit, an estimation unit that estimates the current position of the cleaning member, a first creation unit that creates an area that has already been cleaned based on the movement trajectory of the cleaning member to the current position, and a second creation unit that creates an area to be cleaned based on the movement direction of the cleaning member from the current position, and the display unit displays the area that has already been cleaned and the area to be cleaned superimposed on the surface to be cleaned in the captured image.
この構成によれば、清掃中に撮像画像内の被清掃面に既清掃領域と将来清掃領域が重ねられて表示部に表示され、実際の被清掃面と清掃済みの既清掃領域と清掃予定の将来清掃領域を表示部の同じ画面で視認することができる。このとき、既清掃領域と将来清掃領域を重ねるように清掃部材を手動操作することで、未清掃領域を生じさせることなく被清掃面を清掃部材によって清掃することができる。よって、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。また、清掃装置から表示端末を分離させて、他の清掃装置を用いた清掃や清掃用具を用いた手動清掃に表示端末を利用することができる。 According to this configuration, the area already cleaned and the area to be cleaned are displayed on the display unit while being superimposed on the surface to be cleaned in the captured image during cleaning, and the actual surface to be cleaned, the area already cleaned, and the area to be cleaned in the future can be visually confirmed on the same screen of the display unit. At this time, by manually operating the cleaning member so that the area already cleaned and the area to be cleaned are superimposed, the surface to be cleaned can be cleaned by the cleaning member without leaving any uncleaned areas. This improves the operability of the cleaning work and allows for efficient high-quality cleaning. In addition, the display terminal can be separated from the cleaning device and used for cleaning using another cleaning device or manual cleaning using cleaning tools.
本発明の表示端末は、タブレット型、スマートフォン型、ウェアラブル型の表示端末である。この構成によれば、専用の清掃装置を開発する必要がなく、既存の清掃装置の作業性を向上させることができる。 The display terminal of the present invention is a tablet-type, smartphone-type, or wearable-type display terminal. With this configuration, there is no need to develop a dedicated cleaning device, and the operability of existing cleaning devices can be improved.
本発明によれば、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。 The present invention improves the workability of cleaning operations and enables high-quality cleaning to be carried out efficiently.
＜第１の実施形態＞
以下、図面を参照しつつ、第１の実施形態の清掃装置について説明する。図１は、第１の実施形態の清掃装置の斜視図である。図２は、第１の実施形態の清掃装置の模式図である。なお、本実施形態では、清掃装置として、自律走行式の清掃装置を例示して説明するが、清掃装置は、手押し式の清掃装置、搭乗式の清掃装置、手持ち式の清掃装置でもよい。
First Embodiment
Hereinafter, a cleaning device according to a first embodiment will be described with reference to the drawings. Fig. 1 is a perspective view of the cleaning device according to the first embodiment. Fig. 2 is a schematic view of the cleaning device according to the first embodiment. Note that in this embodiment, an autonomously traveling cleaning device is exemplified as the cleaning device, but the cleaning device may be a hand-pushed cleaning device, a ride-on cleaning device, or a hand-held cleaning device.
図１に示すように、清掃装置１は、商業施設、製造施設、コンコース等の床面（被清掃面）Ｆを自動運転で清掃可能に構成されている。清掃装置１の装置本体１０の下部には、駆動輪としての前輪１２と補助輪としての後輪１３が設けられている。前輪１２と後輪１３の間に洗浄パッドや洗浄ブラシ等の清掃部材１６が設けられ、清掃部材１６の後側にはスキージ１７が設けられている。装置本体１０の上部後側にはハンドル２６が設けられ、ハンドル２６の前側には表示端末６０が着脱可能にセットされている。装置本体１０の前部の窪みには、障害物センサ２４が設けられている。
As shown in FIG. 1, the
図２に示すように、装置本体１０には、走行部１１、清掃部１５、無線通信部２１、計測部２３、操作部２５、記憶部５０、電源部２９、制御部３０が設けられており、表示端末６０には前カメラ６１、後カメラ６２、操作表示部６３が設けられている。走行部１１は、上記した前輪１２、後輪１３、走行モータ（不図示）、エンコーダ（不図示）等によって構成されている。走行部１１は、走行モータによって前輪１２を駆動させて清掃装置１を走行させている。なお、本実施形態には前輪駆動の清掃装置１を例示しているが、走行部１１によって後輪１３が駆動されてもよいし、走行部１１によって両輪が駆動されてもよい。
As shown in FIG. 2, the device
清掃部１５は、例えば、湿式清掃によって床面Ｆを清掃するものであり、上記した清掃部材１６及びスキージ１７、洗浄モータ（不図示）、アクチュエータ（不図示）、洗浄液供給部（不図示）、汚水回収部（不図示）等によって構成されている。清掃部１５は、アクチュエータによって清掃部材１６を床面Ｆに押し付けて、清掃モータによって床面Ｆに対して清掃部材１６を回転させている。このとき、洗浄液供給部によって洗浄液タンクから床面Ｆに洗浄液が散布されて、スキージ１７に集められた汚水が汚水回収部によって汚水タンクに回収される。
The
無線通信部２１は、装置本体１０と管理端末（不図示）を無線通信によって接続し、装置本体１０と表示端末６０を無線通信によって接続している。例えば、装置本体１０と管理端末はＷｉＦｉ（登録商標）等の無線ＬＡＮによって接続され、装置本体１０と表示端末６０はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって接続されている。管理端末や表示端末６０によって装置本体１０の遠隔操作が可能になっている。なお、装置本体１０と表示端末６０は無線通信によって接続される構成に限らず、装置本体１０と表示端末６０は有線接続されていてもよい。
The
計測部２３は、上記した障害物センサ２４を備えている。障害物センサ２４は、例えば、障害物や壁面からの距離及び角度を計測するＬＲＦ（Laser Range Finder）によって構成されている。障害物センサ２４から周囲にレーザー光が出射され、物体からの反射光を受光することで周辺の障害物センサ２４から障害物までの距離及び角度が計測されて、清掃装置１の周辺環境を認識することが可能になっている。また、障害物センサ２４は、レーザー光を用いた障害物検出の代わりに、周辺環境の撮像画像を用いた障害物検出を実施可能に構成されてもよい。
The measuring unit 23 includes the
操作部２５は、自動運転のためのティーチング作業等を実施する際に、作業員による手動操作を受け付けるものであり、上記したハンドル２６（図１参照）、スロットル等によって構成されている。操作部２５は、ハンドル２６の操舵量やスロットルの捻り量を電気信号に変換して、装置本体１０の走行モータの制御基板に出力して走行モータを駆動させる。操作部２５の操作によって、装置本体１０の走行速度の調整、左旋回、右旋回が実施される。また、装置本体１０には、操作部２５付近に電源スイッチ（不図示）、緊急停止スイッチ（不図示）が設けられている。
The
記憶部５０は、用途に応じてＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の一つ又は複数の記憶媒体によって構成されている。ＲＯＭには、例えば、清掃装置１を制御するためのプログラムが記憶されている。ＨＤＤやフラッシュメモリには、例えば、自動運転の走行経路、走行速度、洗浄液の散布量、清掃部材１６の接触圧等を各種清掃条件が設定された清掃プランや、その他のパラメータが記憶されている。電源部２９は、バッテリ（不図示）及び充電回路等によって構成されている。電源部２９から装置各部に電力が供給されている。
The
制御部３０は、装置各部を統括制御している。制御部３０の各種処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサが記憶部５０に記憶されているプログラムを読み出して実行することで各種処理が実施される。プロセッサとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）が使用される。なお、制御部３０及び記憶部５０の制御ブロックの詳細については後述する。
The
表示端末６０は、タッチパネル式の表示画面を有するタブレット型の表示端末である。表示端末６０の前面には、清掃中に床面Ｆを撮像する前カメラ（撮像部）６１が設けられている。表示画面の後面には清掃中に作業者を撮像する後カメラ（他の撮像部）６２が設けられている。表示端末６０の後面に設けられた操作表示部（表示部、操作部）６３は、上記のタッチパネル式の表示画面によって構成されている。操作表示部６３は、前カメラ６１によって撮像された撮像画像（室内画像）を表示すると共に、各種情報の入力を受け付けている。
The
また、表示端末６０は装置本体１０に対して電気的に接続されている。装置本体１０が起動すると、装置本体１０から表示端末６０にも電力が供給されて表示端末６０が起動する。表示端末６０の起動と同時に、表示端末６０の前カメラ６１及び後カメラ６２が撮像を開始して、前カメラ６１に撮像された撮像画像が表示画面に表示される。表示端末６０にはバッテリが内蔵されているため、装置本体１０から表示端末６０を分離して、表示端末６０を独立して起動させることができる。
The
表示端末６０の各種処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサがメモリに記憶されているプログラムを読み出して実行することで各種処理が実施される。プロセッサとしては、例えば、ＣＰＵ、ＧＰＵが使用される。また、メモリは、用途に応じてＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリ等の一つ又は複数の記憶媒体によって構成されている。ＲＯＭには、例えば、表示端末６０を制御するためのプログラムが記憶されている。
The various processes of the
このような清掃装置１は、手動モード、学習モード、再現モードの３つの動作モードで動作する。手動モードは、手動操作によって清掃装置１を走行させて、清掃部材１６を移動させながら床面Ｆを清掃するモードである。学習モードは、手動操作によって清掃装置１を走行させて、清掃部材１６を移動させながら清掃プラン及び環境地図を作成するモードである。再現モードは、清掃プランを再現するように床面Ｆを自律走行清掃するモードである。手動モード及び学習モードでは、清掃装置１が手動操作されるため、高い作業性が求められている。
Such a
そこで、本実施形態の清掃装置１が手動モード又は学習モードで動作する際に、表示端末６０に映された撮像画像内の床面Ｆに、清掃済みの既清掃領域Ａ１と清掃予定の将来清掃領域Ａ２が重ねられる（図４Ｂ参照）。既清掃領域Ａ１は清掃装置１が通過した床面Ｆ上の領域を示しており、将来清掃領域Ａ２はこれから清掃装置１が通過する床面Ｆ上の領域を示している。このため、表示端末６０の表示画面を視認しながら、撮像画像内の床面Ｆを既清掃領域Ａ１で塗り潰すように清掃装置１を動かすことで、高い質を維持しつつ床面Ｆを清掃装置１によって効率的に清掃することができる。
When the
以下、装置本体の制御部及び記憶部の詳細構成について説明する。図３は、第１の実施形態の装置本体の制御ブロック図である。なお、ここでは、説明の便宜上、学習モード及び再現モードで清掃装置が動作する際の制御ブロックを示している。 The detailed configuration of the control unit and memory unit of the device main body will be described below. Figure 3 is a control block diagram of the device main body of the first embodiment. Note that, for the sake of convenience, the control block shown here is when the cleaning device operates in the learning mode and reproduction mode.
図３に示すように、制御部３０には、学習清掃制御部３１、学習走行制御部３２、ＳＬＡＭ制御部３３、走行経路作成部３４、環境地図作成部３５、清掃プラン作成部３６、再現清掃制御部３７、再現走行制御部３８、既清掃領域作成部３９、将来清掃領域作成部４１、ＡＲ表示制御部４２、既清掃領域判定部４３、将来清掃領域判定部４４、未清掃領域判定部４５、顔認識部４６、凝視警告部４７、タグ付与部４８が設けられている。記憶部５０には、走行経路記憶部５１、環境地図記憶部５２、清掃プラン記憶部５３、清掃領域記憶部５４、タグ記憶部５５、装置設定記憶部５６が設けられている。
As shown in FIG. 3, the
学習清掃制御部３１は、学習モード中に作業者の操作に従った清掃装置１の手動清掃を制御している。学習清掃制御部３１による制御内容は、ティーチングデータとして清掃プラン作成部３６に出力される。このティーチングデータには、例えば洗浄液の散布量、清掃部材１６の接触圧、汚水の吸引力が含まれている。学習走行制御部３２は、学習モード中に作業者の操作に従った清掃装置１の手動走行を制御している。学習走行制御部３２による制御内容は、ティーチングデータとして清掃プラン作成部３６に出力される。このティーチングデータには、例えば走行速度が含まれている。
The learning
ＳＬＡＭ制御部（推定部）３３は、学習モード中にリアルタイムでＳＬＡＭを実行して、計測部２３に計測された清掃装置１の周囲の障害物からの距離及び角度に基づいて、清掃装置１の自己位置（現在位置）を推定すると共に局所地図を作成する。走行経路作成部３４は、学習モード中に時系列に並んだ複数の自己位置を繋ぎ合わせて清掃装置１の走行経路を作成する。環境地図作成部３５は、学習モード中に時系列に並んだ複数の局所地図を繋ぎ合わせて環境地図を作成する。走行経路はティーチングデータとして走行経路記憶部５１に記憶され、環境地図は環境地図記憶部５２に記憶される。
The SLAM control unit (estimation unit) 33 executes SLAM in real time during the learning mode, and estimates the self-position (current position) of the
なお、計測部２３には、障害物センサ２４として２次元タイプのＬＲＦが用いられてもよいし、３次元タイプのＬＲＦが用いられてもよい。２次元タイプのＬＲＦによって２次元データが取得されてもよいし、３次元タイプのＬＲＦ又は２次元タイプのＬＲＦの揺動によって３次元データが取得されてもよい。すなわち、走行経路作成部３４によって２次元の走行経路が作成されてもよいし、３次元の走行経路が作成されてもよい。また、環境地図作成部３５によって２次元の環境地図が作成されてもよいし、３次元の環境地図が作成されてもよい。
The measurement unit 23 may use a two-dimensional type LRF as the
清掃プラン作成部３６は、各種ティーチングデータを学習モードの開始から終了までの所定時間間隔のステップ毎に関連付けて清掃プランを作成する。この場合、環境地図に清掃装置１の走行経路が反映されて、走行経路の開始地点から終了地点までの各地点における洗浄液の散布量、清掃部材１６の接触圧、汚水の吸引力、走行速度が設定されて清掃プランが作成される。清掃プランは清掃プラン記憶部５３に記憶されて、再現モード中に使用される。清掃プラン記憶部５３には複数の清掃プランが記憶されており、清掃プランを適宜選択することができる。
The cleaning plan creation unit 36 creates a cleaning plan by associating various teaching data with each step at a predetermined time interval from the start to the end of the learning mode. In this case, the travel route of the
再現清掃制御部３７は、再現モード中に清掃プラン記憶部５３から清掃プランを読み込み、清掃プランに従って清掃装置１の自動清掃を制御している。再現走行制御部３８は、再現モード中に清掃プラン記憶部５３から清掃プランを読み込み、清掃プランに従って清掃装置１の自律走行を制御している。清掃装置１が走行経路に沿って自律走行しながら、洗浄液を床面Ｆに散布して清掃部材１６によって床面Ｆを洗浄している。このようにして、学習モード中に清掃装置１に対してティーチングされた清掃プランが、再現モード中に清掃装置１によって再現される。
The reproduction
既清掃領域作成部（第１の作成部）３９は、学習モード中に清掃装置１（清掃部材１６）の現在位置までの走行経路（移動軌跡）に基づいて既清掃領域Ａ１（図４Ｂ参照）を作成する。この場合、既清掃領域作成部３９によって走行経路記憶部５１から走行経路が読み込まれると共に、装置設定記憶部５６から清掃部材１６の幅が読み込まれる。そして、既清掃領域作成部３９によって現在位置までの走行経路と清掃部材１６の幅が組み合わせられて、清掃部材１６が床面Ｆを通過した清掃軌跡を示す清掃済みの既清掃領域Ａ１が作成される。既清掃領域Ａ１は清掃領域記憶部５４に記憶される。
The already-cleaned area creation unit (first creation unit) 39 creates an already-cleaned area A1 (see FIG. 4B) based on the travel path (movement trajectory) to the current position of the cleaning device 1 (cleaning member 16) during the learning mode. In this case, the already-cleaned
将来清掃領域作成部（第２の作成部）４１は、学習モード中に清掃装置１（清掃部材１６）の現在位置からの移動方向に基づいて将来清掃領域Ａ２（図４Ｂ参照）を作成する。この場合、将来清掃領域作成部４１によって現在位置からの移動方向から走行予定の走行経路が予測されると共に、装置設定記憶部５６から清掃部材１６の幅が読み込まれる。そして、将来清掃領域作成部４１によって走行予定の走行経路と清掃部材１６の幅が組み合わせられて、清掃部材１６が床面Ｆを通過する将来の清掃軌跡を示す清掃予定の将来清掃領域Ａ２が作成される。将来清掃領域Ａ２は清掃領域記憶部５４に記憶される。なお、現在位置からの移動方向はハンドルの操舵角によって求められる。また、将来清掃領域Ａ２は直線に限られず、旋回時にはハンドル操作に応じて円弧状に作成されてもよい。
The future cleaning area creation unit (second creation unit) 41 creates a future cleaning area A2 (see FIG. 4B) based on the moving direction from the current position of the cleaning device 1 (cleaning member 16) during the learning mode. In this case, the future cleaning
ＡＲ表示制御部４２は、表示端末６０の前カメラ６１から入力された撮像画像に既清掃領域Ａ１及び将来清掃領域Ａ２を重ね合わせて表示端末６０にＡＲ表示させる。例えば、環境地図の特徴点と撮像画像の特徴点がマッチングされて、撮像画像の撮像座標系（カメラ座標系）における清掃装置１の現在位置が特定される。この清掃装置１の現在位置を基準にした既清掃領域Ａ１と将来清掃領域Ａ２が撮像画像内の床面Ｆに重ねられる。既清掃領域Ａ１と将来清掃領域Ａ２は色付けされた仮想領域で表され、各仮想領域がそれぞれ異なる表示色で表されていてもよい。
The AR
既清掃領域判定部４３は既清掃領域Ａ１同士の重なりを判定し、将来清掃領域判定部４４は既清掃領域Ａ１と将来清掃領域Ａ２の重なりを判定する。重なり箇所は、既清掃領域Ａ１及び将来清掃領域Ａ２とは異なる表示色で表されてもよいし、既清掃領域Ａ１及び将来清掃領域Ａ２よりも濃い表示色で表されてもよい。既清掃領域判定部４３は既清掃領域Ａ１同士の重なり幅を算出してもよいし、将来清掃領域判定部４４は既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅を算出してもよい。重なり幅は、例えば、既清掃領域Ａ１と将来清掃領域Ａ２を含む撮像画像に既知の画像処理が施されることで求められてもよい。
The already cleaned
未清掃領域判定部４５は、既清掃領域Ａ１同士の隙間を未清掃領域Ａ３（図１１Ａ参照）として判定する。未清掃領域Ａ３は、既清掃領域Ａ１及び将来清掃領域Ａ２とは異なる表示色で表されてもよい。さらに、撮像画像には、清掃動作のスタート位置、清掃装置１から障害物までの距離、清掃部材１６の移動方向、走行禁止区域がＡＲ表示されてもよい。清掃動作のスタート位置は、手動操作の開始直後に実行されたＳＬＡＭによって求められる。清掃装置１から障害物までの距離は、ＳＬＡＭの実行時に計測部２３によって計測される。移動方向はハンドル２６の操舵角によって求められ、走行禁止区域は手動によって予め設定される。
The uncleaned
ＡＲ表示については、手動操作の開始直後から自動的に有効にされていてもよいし、作業者の選択に応じて任意に有効にされてもよい。例えば、表示端末６０の操作表示部６３にＡＲ表示用のアプリケーションを表示し、このアプリケーションの起動によってＡＲ表示が有効にされてもよい。また、既清掃領域Ａ１と将来清掃領域Ａ２のＡＲ表示だけが有効にされてもよいし、上記全ての情報のＡＲ表示が有効にされてもよい。また、ＡＲ表示された既清掃領域Ａ１をオフセットできる補正部が設けられていてもよい。これにより、未清掃領域Ａ３が無くなるように、表示端末６０を見ながら清掃プランを修正することができる。
The AR display may be enabled automatically immediately after starting manual operation, or may be enabled at the discretion of the worker. For example, an application for AR display may be displayed on the
既清掃領域Ａ１と将来清掃領域Ａ２のＡＲ表示を作業者が凝視し続けると前方不注意になる恐れがある。このため、清掃装置１には顔認識部（認識部）４６及び凝視警告部（警告部）４７による凝視警告機能が実装されている。顔認識部４６には、表示端末６０の後カメラ６２から表示端末６０を視認した作業者の撮像画像が入力される。顔認識部４６は、公知の顔認識処理によって撮像画像が解析されて作業者の顔を認識する。通常、顔認識処理では、顔の輪郭、目、鼻、口、眉毛等の特徴部分が認識されるが、本実施形態の顔認識処理では、目の瞳孔が認識されたときに作業者が表示端末６０を視認したと認識される。
If the worker continues to stare at the AR display of the already cleaned area A1 and the future cleaning area A2, there is a risk that the worker will not pay attention to what is ahead. For this reason, the
凝視警告部４７は、一定時間以上継続して作業者の顔が認識された場合に、作業者が表示端末６０を凝視し続けていると判定する。そして、凝視警告部４７は、音声警告、発光警告、表示警告又はこれらの組み合わせによって警告する。例えば、凝視警告部４７は、音声メッセージやビープ音等によって音声警告してもよいし、表示画面の明滅によって発光警告してもよいし、警告メッセージのＡＲ表示によって表示警告してもよい。また、凝視警告部４７による警告後にも作業者の顔が認識され続けた場合に、清掃装置１の走行動作が緊急停止されてもよい。
When the face of the worker is continuously recognized for a certain period of time or more, the
清掃中には特別な指示や注意点のメモ書きをＡＲ表示させたいという要望がある。このため、清掃装置１には、タグ付与部（付与部）４８、操作表示部６３、タグ記憶部（記憶部）５５によって撮像画面に対するメモ書き機能が実装されている。タグ付与部４８は、作業者の入力操作に応じて撮像画像にタグＴ（図５Ｂ参照）を付与する。タグＴの付与時には、ＳＬＡＭが実行されて清掃装置１の自己位置が推定され、この自己位置を基準にした所定座標にタグＴが付与される。なお、Ｖ－ＳＬＡＭによって推定された清掃装置１の自己位置を基準にしてタグＴが付与されてもよい。
There is a demand for special instructions and notes of caution to be displayed in AR during cleaning. For this reason, the
タグＴには表示端末６０の操作表示部６３によってメモが入力される。操作表示部６３によってタグＴの保存操作が実行されると、タグＴの付与座標（付与位置）とタグＴへの入力内容が関連付けられてタグ記憶部５５に記憶される。なお、タグ記憶部５５には、例えばワールド座標系を基準にしたタグＴの付与座標が記憶される。これにより、再び学習モードで同じエリアを清掃する際に、表示端末６０を通してタグＴに記載されたメモを視認することができる。また、清掃装置１から表示端末６０を取り外して、表示端末６０を通して遠隔からでもタグＴに記載されたメモを確認することができる。
Notes are input to the tag T by the
ここで、清掃中の表示画面について説明する。図４Ａは、ＡＲ表示を無効にした表示画面の一例である。図４Ｂは、清掃領域をＡＲ表示した表示画面の一例である。図４Ｃは、清掃領域をＡＲ表示した表示画面の一例である。図５Ａは、警告表示をＡＲ表示した表示画面の一例である。図５Ｂは、タグ表示をＡＲ表示した表示画面の一例である。なお、ここでは、図２及び図３の符号を適宜使用して説明する。 Here, the display screen during cleaning will be described. Fig. 4A is an example of a display screen with AR display disabled. Fig. 4B is an example of a display screen with AR display of the cleaning area. Fig. 4C is an example of a display screen with AR display of the cleaning area. Fig. 5A is an example of a display screen with AR display of a warning display. Fig. 5B is an example of a display screen with AR display of a tag display. Note that the symbols in Figs. 2 and 3 will be used as appropriate for the explanation.
図４Ａに示すように、ＡＲ表示が無効な場合には、前カメラ６１に撮像された清掃装置１の前方の室内画像だけが表示端末６０の表示画面に表示される。作業者は清掃装置１の現在位置までの清掃軌跡を認識することができず、清掃済みの床面Ｆを視認しながら清掃作業を実施することができない。このため、学習モード中に床面Ｆを手動清掃する際には、床面Ｆに清掃箇所の抜けが発生するおそれがある。学習モード中に手動操作によって清掃装置１に効果的なティーチングができないため、再現モード中に自動運転によって清掃装置１に質が高い清掃作業を再現させることができない。
As shown in FIG. 4A, when the AR display is disabled, only the image of the room in front of the
図４Ｂに示すように、ＡＲ表示が有効になると、前カメラ６１に撮像された室内画像上に各種情報が表示端末６０の表示画面にＡＲ表示される。床面Ｆには清掃済みの既清掃領域Ａ１と清掃予定の将来清掃領域Ａ２がＡＲ表示されている。このため、既清掃領域Ａ１と将来清掃領域Ａ２を部分的に重ねるように清掃装置１を動かすことで、清掃箇所の抜けを発生させることなく床面Ｆを清掃することができる。学習モード中に手動操作によって清掃装置１に効果的なティーチングができるため、再現モード中に自動運転によって清掃装置１に質が高い清掃作業を再現させることができる。
As shown in FIG. 4B, when AR display is enabled, various information is displayed in AR on the display screen of the
また、室内画像上には、清掃装置１の周辺の障害物、既清掃領域Ａ１同士の重なり、既清掃領域Ａ１と将来清掃領域Ａ２の重なり、走行禁止区域、清掃動作のスタート位置等を示す情報がＡＲ表示されている。さらに、室内画像上には、清掃装置１から障害物までの距離、清掃装置１の現在位置における既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅等の数値情報がＡＲ表示されている。既清掃領域Ａ１及び将来清掃領域Ａ２に加えて、これらの補助情報が作業者に認識されることで、手動操作によって床面Ｆに対して質の高い清掃を実施することができる。
In addition, on the indoor image, AR displays information indicating obstacles around the
図４Ｃに示すように、既清掃領域Ａ１から将来清掃領域Ａ２が完全に外れる方向に清掃装置１が傾くと、清掃装置１の現在位置で既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅が小さくなる。このため、既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅が所定値以下になったときに、室内画像上に清掃装置１の軌道修正を促す警告メッセージＭ１がＡＲ表示されてもよい。既清掃領域Ａ１と将来清掃領域Ａ２の重なり幅を略一定に維持した状態で清掃装置１を動かすことができる。作業者の技量に関わらず、清掃箇所の抜けを抑えて、より質の高い清掃作業を清掃装置１に実施させることができる。
As shown in FIG. 4C, when the
図５Ａに示すように、作業者が表示画面を凝視している場合には、室内画像上に注意を促す警告メッセージＭ２がＡＲ表示されてもよい。上記したように、表示画面を視認する作業者の顔が後カメラ６２によって撮像され、一定時間にわたって作業者の顔が認識され続けた場合に室内画像上に警告メッセージが表示される。作業者に警告メッセージＭ２を視認させて、清掃中に作業者に注意を促すことができる。また、図５Ｂに示すように、以前の学習モード中に付与されたタグＴが室内画像上に表示されてもよい。タグＴに入力されたメモを作業者に確認させることができる。 As shown in FIG. 5A, when a worker is staring at the display screen, a warning message M2 may be displayed in AR on the indoor image to alert the worker. As described above, the face of the worker viewing the display screen is captured by the rear camera 62, and when the worker's face continues to be recognized for a certain period of time, a warning message is displayed on the indoor image. The worker can be made to view the warning message M2 to alert the worker to caution during cleaning. Also, as shown in FIG. 5B, a tag T that was added during the previous learning mode may be displayed on the indoor image. The worker can be made to check the notes entered in the tag T.
清掃装置の処理動作について説明する。図６は、第１の実施形態のＡＲ表示処理のフローチャートの一例である。図７は、第１の実施形態の凝視警告処理のフローチャートの一例である。なお、ここでは、図２及び図３の符号を適宜使用して説明する。 The processing operation of the cleaning device will now be described. FIG. 6 is an example of a flowchart of the AR display processing of the first embodiment. FIG. 7 is an example of a flowchart of the gaze warning processing of the first embodiment. Note that the symbols in FIG. 2 and FIG. 3 will be used as appropriate for the explanation.
図６に示すように、学習モード中には、表示端末６０の前カメラ６１による撮像処理と装置本体１０のＳＬＡＭ制御部３３によるＳＬＡＭが並列に実行される。前カメラ６１によって装置前方が撮像され、前カメラ６１から装置本体１０のＡＲ表示制御部４２に撮像画像が出力される（ステップＳ０１）。撮像画像には被清掃面となる床面Ｆが含まれている。同時に、ＳＬＡＭ制御部３３によってＳＬＡＭが実行され（ステップＳ０２）、計測部２３によって清掃装置１から周辺の障害物までの距離と角度が計測されて、清掃装置１の自己位置（現在位置）が推定されると共に環境地図が作成される（ステップＳ０３）。
As shown in FIG. 6, during learning mode, imaging processing by the
次に、既清掃領域作成部３９によって清掃装置１の自己位置までの走行経路と清掃部材１６の幅から既清掃領域Ａ１が作成され、既清掃領域作成部３９からＡＲ表示制御部４２に既清掃領域Ａ１が出力される（ステップＳ０４）。将来清掃領域作成部４１によって清掃装置１の自己位置からの移動方向と清掃部材１６の幅から将来清掃領域Ａ２が作成され、将来清掃領域作成部４１からＡＲ表示制御部４２に将来清掃領域Ａ２が出力される（ステップＳ０５）。次に、ＡＲ表示制御部４２によって表示端末６０が制御されて、撮像画像内の床面Ｆ上に既清掃領域Ａ１及び将来清掃領域Ａ２がＡＲ表示される（ステップＳ０６）。
Next, the already cleaned
このとき、撮像画像上には、清掃装置１の周辺の障害物、既清掃領域Ａ１同士の重なり、既清掃領域Ａ１と将来清掃領域Ａ２の重なり、走行禁止区域、清掃動作のスタート位置等を示す情報がＡＲ表示されてもよい。また、撮像画像上には、清掃装置１の軌道修正を促す警告メッセージＭ１や、表示画面の凝視を注意する警告メッセージＭ２がＡＲ表示されてもよい。さらに、撮像画像上には、メモが入力されたタグＴがＡＲ表示されてもよい。そして、清掃装置１による清掃作業が終了するまで、ステップＳ０１からステップＳ０６までの処理が繰り返される（ステップＳ０７）。
At this time, information indicating obstacles around the
また、図７に示すように、学習モード中には、表示端末６０の後カメラ６２によって作業者が撮像されて、後カメラ６２から装置本体１０の顔認識部４６に撮像画像が出力される（ステップＳ１１）。次に、顔認識部４６によって撮像画像に対して作業者の顔認識処理が実行される（ステップＳ１２）。顔認識処理では目の瞳孔によって作業者の顔が認識される。撮像画像から作業者の顔が認識されない場合（ステップＳ１２でＮｏ）、作業者が表示端末６０を視認していないため、作業者に対して警告処理が実施されることなくステップＳ１５に処理が移行する。
Also, as shown in FIG. 7, during learning mode, an image of the worker is captured by the rear camera 62 of the
撮像画像から作業者の顔が認識された場合（ステップＳ１２でＹｅｓ）、凝視警告部４７によって一定時間以上継続して作業者の顔が認識されたか否かが判定される（ステップＳ１３）。一定時間継続して作業者の顔が認識されない場合（ステップＳ１３でＮｏ）、作業者が表示端末６０を凝視していないため、作業者に対して警告処理が実施されることなくステップＳ１５に処理が移行する。なお、作業者の瞬き等によって瞬間的に瞳孔が認識されない場合であっても、凝視警告部４７によって作業者の顔が認識され続けていると判定される。
If the worker's face is recognized from the captured image (Yes in step S12), the
一定時間継続して作業者の顔が認識された場合（ステップＳ１３でＹｅｓ）、作業者が表示端末６０を凝視し続けているため、凝視警告部４７によって表示端末６０の表示画面に警告メッセージＭ２がＡＲ表示される（ステップＳ１４）。これにより、清掃中に表示端末６０を凝視する作業者に対して注意が促される。なお、表示画面の明滅や音声メッセージの出力によって作業者に対して警告されてもよい。そして、清掃装置１による清掃作業が終了するまで、ステップＳ１１からステップＳ１４までの処理が繰り返される（ステップＳ１５）。
If the worker's face is recognized for a certain period of time (Yes in step S13), the worker is continuing to stare at the
以上、第１の実施形態によれば、清掃中に撮像画像内の床面Ｆに既清掃領域Ａ１と将来清掃領域Ａ２が重ねられて表示端末６０に表示され、実際の床面Ｆと清掃済みの既清掃領域Ａ１と清掃予定の将来清掃領域Ａ２を表示端末６０の同じ画面で視認することができる。このとき、既清掃領域Ａ１と将来清掃領域Ａ２を部分的に重ねるように清掃部材１６を手動操作することで、未清掃領域を生じさせることなく床面Ｆを清掃部材１６によって清掃することができる。よって、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。
As described above, according to the first embodiment, the already cleaned area A1 and the area to be cleaned A2 are superimposed on the floor surface F in the captured image during cleaning and displayed on the
＜第２の実施形態＞
続いて、第２の実施形態の表示端末について説明する。第２の実施形態は、表示端末によって清掃作業の作業性を向上させることができる点で第１の実施形態と相違している。図８は、第２の実施形態の表示端末の模式図である。図９は、第２の実施形態の表示端末の制御ブロック図である。
Second Embodiment
Next, a display terminal of a second embodiment will be described. The second embodiment differs from the first embodiment in that the display terminal can improve the workability of the cleaning work. Fig. 8 is a schematic diagram of the display terminal of the second embodiment. Fig. 9 is a control block diagram of the display terminal of the second embodiment.
図８に示すように、表示端末７０には、前カメラ７１、後カメラ７２、操作表示部７３、無線通信部７４、電源部７５、Ｇセンサ７６、ビーコン受信部７７、制御部８０、記憶部９０が設けられている。第２の実施形態の前カメラ７１、後カメラ７２、操作表示部７３は、第１の実施形態の前カメラ６１、後カメラ６２、操作表示部６３と略同様に構成されている。無線通信部７４は、表示端末７０と装置本体１０（図２参照）を無線通信によって接続している。電源部７５は、端末各部に電力を供給しており、バッテリ（不図示）及び充電回路等によって構成されている。
As shown in FIG. 8, the
Ｇセンサ７６は表示端末７０の前後、左右、上下に取り付けられており、これらの方向に加速度や減速度がかかったときに、加速度及び減速度の大きさに応じた電気信号を出力する。この電気信号によって表示端末７０の姿勢変化（傾き）が求められる。Ｇセンサ７６から検出値が出力される度に検出値が足されることで、オドメトリによって表示端末７０の移動量が把握される。ただし、Ｇセンサ７６によるオドメトリは誤差が大きいため、清掃エリアにビーコンが設置されており、ビーコン受信部７７によってビーコンからの信号が受信されることで、ビーコンの設置位置を基準にして移動量が求められる。
The G-
制御部８０は、装置各部を統括制御している。制御部８０の各種処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサが記憶部９０に記憶されているプログラムを読み出して実行することで各種処理が実施される。記憶部９０は、用途に応じてＲＯＭ、ＲＡＭ、フラッシュメモリ等の一つ又は複数の記憶媒体によって構成されている。ＲＯＭには、例えば、表示端末７０を制御するためのプログラムが記憶されている。プロセッサとしては、例えば、ＣＰＵ、ＧＰＵが使用される。
The
図９に示すように、制御部８０には、Ｖ－ＳＬＡＭ制御部８１、移動経路作成部８２、環境地図作成部８３、既清掃領域作成部８４、将来清掃領域作成部８５、ＡＲ表示制御部８６、既清掃領域判定部８７、将来清掃領域判定部８８、未清掃領域判定部８９が設けられている。記憶部９０には、移動経路記憶部９１、環境地図記憶部９２、清掃領域記憶部９３、装置設定記憶部９４が設けられている。Ｖ－ＳＬＡＭ制御部８１以外の各制御ブロックについては、第１の実施形態の装置本体１０（図２参照）の各制御ブロックと略同一の構成である。このため、Ｖ－ＳＬＡＭ制御部８１以外の各制御ブロックの説明を省略する。
As shown in FIG. 9, the
Ｖ－ＳＬＡＭ制御部（推定部）８１は、リアルタイムでＶ－ＳＬＡＭを実行して、前カメラ７１から取得した撮像画像に基づいて、表示端末７０の自己位置（現在位置）を推定すると共に局所地図を作成する。Ｖ－ＳＬＡＭでは、前カメラ７１（図８参照）から逐次入力される撮像画像がスキャンされて特徴点が抽出され、この時間と共に変化する特徴点によって自己位置が推定される。また、既に環境地図が作成されている場合には、Ｖ－ＳＬＡＭによって撮像画像から求めた特徴点を環境地図の特徴点にマッチングすることによって、表示端末７０の自己位置を推定することも可能である。
The V-SLAM control unit (estimation unit) 81 executes V-SLAM in real time to estimate the self-position (current position) of the
次に、第２の実施形態の表示端末を用いた作業例について説明する。本作業例は、自律走行式の清掃装置によって手動モードで清掃した後に、この清掃装置から表示端末を分離して、清掃抜けが生じた箇所について手動式の他の清掃装置を用いて追加清掃する一例である。図１０は、第２の実施形態の追加清掃のフローチャートの一例である。図１１Ａは、未清掃領域をＡＲ表示した表示画面の一例である。図１１Ｂは、追加清掃領域をＡＲ表示した表示画面の一例である。図１２は、ウェアラブル型表示端末を用いた追加清掃の作業例を示している。なお、ここでは、図８及び図９の符号を適宜使用して説明する。 Next, an example of work using the display terminal of the second embodiment will be described. In this example of work, after cleaning in manual mode using an autonomous cleaning device, the display terminal is separated from the cleaning device and additional cleaning is performed using another manual cleaning device on areas that have not been cleaned. FIG. 10 is an example of a flowchart for additional cleaning in the second embodiment. FIG. 11A is an example of a display screen that displays an uncleaned area using AR. FIG. 11B is an example of a display screen that displays an additional cleaning area using AR. FIG. 12 shows an example of additional cleaning work using a wearable display terminal. Note that the symbols in FIG. 8 and FIG. 9 will be used as appropriate for the explanation.
図１０に示すように、清掃装置１の手動モードによる清掃が終了して、手動式の他の清掃装置１００（図１２参照）による追加清掃が開始されると、表示端末７０には装置本体１０（図２参照）から移動経路、環境地図、既清掃領域Ａ１が入力される（ステップＳ２１）。なお、清掃装置１は手動モードであっても、バックグラウンドで移動経路、環境地図、既清掃領域Ａ１が作成されてもよい。移動経路、環境地図、既清掃領域Ａ１は、それぞれ表示端末７０の移動経路記憶部９１、環境地図記憶部９２、清掃領域記憶部９３に記憶される。次に、表示端末７０の前カメラ７１によってカメラ前方が撮像されて、Ｖ－ＳＬＡＭ制御部８１によって撮像画像に基づいてＶ－ＳＬＡＭが実行される（ステップＳ２２）。
As shown in FIG. 10, when cleaning in the manual mode of the
次に、Ｖ－ＳＬＡＭによって撮像画像の特徴点が抽出され、環境地図記憶部９２に記憶された環境地図の特徴点と撮像画像の特徴点がマッチングされて表示端末７０の現在位置が推定される（ステップＳ２３）。次に、ＡＲ表示制御部８６によって表示端末７０の現在位置を基準にして撮像画像内の床面Ｆ上に既清掃領域Ａ１がＡＲ表示される（ステップＳ２４）。次に、未清掃領域判定部８９によって既清掃領域Ａ１の重なり状況から未清掃領域Ａ３の有無が判定される（ステップＳ２５）。未清掃領域Ａ３が無い場合（ステップＳ２５でＮｏ）、追加清掃されることなく処理が終了する。
Next, V-SLAM extracts feature points from the captured image, and the feature points from the environmental map stored in the environmental
一方、未清掃領域Ａ３がある場合（ステップＳ２５でＹｅｓ）、表示端末６０の表示画面を確認しながら、手動式の他の清掃装置１００によって追加清掃が実施される（ステップＳ２６）。このとき、図１１Ａに示すように、未清掃領域Ａ３がある場合には、ＡＲ表示制御部４２によって撮像画像上に警告メッセージＭ３がＡＲ表示されてもよい。これにより、未清掃領域Ａ３の追加清掃を作業者に対して促すことができる。なお、表示画面の明滅や音声メッセージの出力によって作業者に対して警告されてもよい。
On the other hand, if there is an uncleaned area A3 (Yes in step S25), additional cleaning is performed by the other
また、図１１Ｂに示すように、追加清掃済みの追加清掃領域Ａ４が撮像画像上にＡＲ表示されてもよい。例えば、Ｖ－ＳＬＡＭ制御部８１によって追加清掃中にリアルタイムでＶ－ＳＬＡＭが実行されて他の清掃装置１００の自己位置が推定される。移動経路作成部８２によって時系列に並んだ自己位置が繋ぎ合わされて他の清掃装置１００の移動経路が作成される。装置設定記憶部９４に記憶された清掃部材（不図示）の幅と移動経路が組み合わされて追加清掃領域Ａ４が作成される。そして、撮像画像上に追加清掃済みの追加清掃領域Ａ４がＡＲ表示される。なお、追加清掃時の移動経路は移動経路記憶部９１に記憶され、追加清掃領域Ａ４は清掃領域記憶部９３に記憶されてもよい。
Also, as shown in FIG. 11B, the additional cleaning area A4 where additional cleaning has been performed may be displayed in AR on the captured image. For example, the V-
図１２に示すように、本作業例では表示端末７０としてタブレット型の表示端末７０ａの他に、ウェアラブル型の表示端末７０ｂを用いることも可能である。特に、ウェアラブル型の表示端末７０ｂとしてゴーグル型の表示端末を用いることで、作業者の両手が自由になるため追加清掃の作業性を向上させることができる。
As shown in FIG. 12, in this example of work, in addition to a tablet-
次に、第２の実施形態の表示端末を用いた他の作業例について説明する。他の作業例は、自律走行式の清掃装置１から表示端末を分離して、他の清掃装置（不図示）に表示端末を取り付けて手動清掃する場合について説明する。図１３は、第２の実施形態の手動清掃のフローチャートの一例である。なお、ここでは、図８及び図９の符号を適宜使用して説明する。
Next, another example of work using the display terminal of the second embodiment will be described. In this other example of work, the display terminal is separated from the
図１３に示すように、他の清掃装置による手動清掃が開始されると、表示端末７０の前カメラ７１によってカメラ前方が撮像されて、Ｖ－ＳＬＡＭ制御部８１によって撮像画像に基づいてＶ－ＳＬＡＭが実行される（ステップＳ３１）。次に、前カメラ７１から逐次入力される撮像画像の特徴点が抽出され、各撮像画像の特徴点のマッチングによって表示端末７０の自己位置が推定される（ステップＳ３２）。このとき、Ｇセンサ７６の検出値とビーコンからの信号によって表示端末７０の移動量が求められ（ステップＳ３３）、表示端末７０の自己位置が移動量によって補正される（ステップＳ３４）。
As shown in FIG. 13, when manual cleaning by another cleaning device is started, the
次に、既清掃領域作成部８４によって表示端末７０の自己位置までの走行経路と清掃部材の幅から既清掃領域Ａ１が作成され、既清掃領域作成部８４からＡＲ表示制御部８６に既清掃領域Ａ１が出力される（ステップＳ３５）。将来清掃領域作成部８５によって表示端末７０の自己位置からの移動方向と清掃部材の幅から将来清掃領域Ａ２が作成され、将来清掃領域作成部８５からＡＲ表示制御部８６に将来清掃領域Ａ２が出力される（ステップＳ３６）。次に、ＡＲ表示制御部８６によって撮像画像内の床面Ｆ上に既清掃領域Ａ１及び将来清掃領域Ａ２がＡＲ表示される（ステップＳ３７）。
Next, the already cleaned
このとき、撮像画像上には、清掃装置１の周辺の障害物、既清掃領域Ａ１同士の重なり、既清掃領域Ａ１と将来清掃領域Ａ２の重なり、走行禁止区域、清掃動作のスタート位置等を示す情報がＡＲ表示されてもよい。また、撮像画像上には、清掃装置１の軌道修正を促す警告メッセージＭ１や、表示画面の凝視を注意する警告メッセージＭ２がＡＲ表示されてもよい。さらに、撮像画像上には、メモが入力されたタグＴがＡＲ表示されてもよい。そして、清掃装置１による清掃作業が終了するまで、ステップＳ３１からステップＳ３７までの処理が繰り返される（ステップＳ３８）。
At this time, information indicating obstacles around the
以上、第２の実施形態によれば、第１の実施形態と同様に、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。また、自律走行式の清掃装置１（図１参照）から表示端末７０を分離させて、他の清掃装置を用いた手動清掃に表示端末７０を利用することができる。この表示端末７０を用いることで、専用の清掃装置を開発する必要がなく、既存の清掃装置の作業性を向上させることができる。
As described above, according to the second embodiment, like the first embodiment, the operability of the cleaning work is improved, and high-quality cleaning can be performed efficiently. In addition, the
なお、各実施形態の清掃作業は、湿式の洗浄作業、乾式の掃除作業、研磨作業、艶出し作業を含んでいる。したがって、清掃部材は、被清掃面に対して清掃作業を実施可能な部材であればよく、例えば洗浄ブラシ、洗浄パッド、掃除ブラシ、研磨ブラシ、艶出しブラシでもよい。 The cleaning operations in each embodiment include wet washing operations, dry cleaning operations, polishing operations, and polishing operations. Therefore, the cleaning member may be any member capable of performing cleaning operations on the surface to be cleaned, and may be, for example, a cleaning brush, cleaning pad, cleaning brush, polishing brush, or polishing brush.
また、各実施形態では、作業者が清掃装置のハンドルを持って手動操作しているが、作業者が表示端末によって清掃装置を遠隔手動操作してもよい。 In addition, in each embodiment, the worker holds the handle of the cleaning device and manually operates it, but the worker may also remotely manually operate the cleaning device using a display terminal.
また、各実施形態では、表示端末としてタブレット型、スマートフォン型、ウェアラブル型のいずれの表示端末が使用されてもよい。 In addition, in each embodiment, the display terminal may be a tablet type, a smartphone type, or a wearable type.
また、各実施形態では、床面清掃用の清掃装置及び表示端末のＡＲ表示処理について説明したが、当該ＡＲ表示処理は壁面、天井面、窓面、鏡面等の清掃に用いられる清掃装置及び表示端末に適用することもできる。すなわち、被清掃面とは、壁面、天井面、窓面、鏡面等を含んでいる。 In addition, in each embodiment, the AR display processing of the cleaning device and display terminal for cleaning floor surfaces has been described, but the AR display processing can also be applied to cleaning devices and display terminals used for cleaning wall surfaces, ceiling surfaces, window surfaces, mirror surfaces, etc. In other words, the surfaces to be cleaned include wall surfaces, ceiling surfaces, window surfaces, mirror surfaces, etc.
また、第１の実施形態の障害物センサはＬＲＦによって構成されたが、障害物センサは障害物を検出可能な構成であればよい。例えば、障害物センサは、Ｖ－ＳＬＡＭで用いるカメラやＬｉＤＡＲ－ＳＬＡＭで用いるＬｉＤＡＲ（Light Detection and Ranging）によって構成されてもよい。 In addition, while the obstacle sensor in the first embodiment is configured with an LRF, the obstacle sensor may be configured in any way as long as it is capable of detecting obstacles. For example, the obstacle sensor may be configured with a camera used in V-SLAM or a LiDAR (Light Detection and Ranging) used in LiDAR-SLAM.
また、第１の実施形態の清掃装置には表示端末が着脱可能にセットされているが、装置端末に表示端末が一体的に設けられていてもよい。 In addition, the display terminal is removably set on the cleaning device in the first embodiment, but the display terminal may be integrally provided on the device terminal.
また、第１の実施形態の清掃装置には、推定部としてＳＬＡＭ制御部が設けられているが、推定部は清掃装置の自己位置を推定可能な構成であればよい。例えば、清掃装置にＧＰＳ（Global Positioning System）センサが設けられており、ＧＰＳ信号によって清掃装置の自己位置が推定されてもよい。 The cleaning device of the first embodiment is provided with a SLAM control unit as an estimation unit, but the estimation unit may be configured to be capable of estimating the self-position of the cleaning device. For example, the cleaning device may be provided with a GPS (Global Positioning System) sensor, and the self-position of the cleaning device may be estimated by a GPS signal.
また、第１の実施形態では、学習モード中のＡＲ表示処理について説明したが、当該ＡＲ表示処理は手動モードにも適用することができる。手動モードであっても、学習モードと同様に、清掃作業の作業性を向上させて、質の高い清掃を効率的に実施することができる。 In the first embodiment, the AR display process during the learning mode was described, but the AR display process can also be applied to the manual mode. Even in the manual mode, as in the learning mode, the workability of the cleaning work can be improved, and high-quality cleaning can be performed efficiently.
また、第２の実施形態では、自律走行式の清掃装置から分離された表示端末が、他の清掃装置に用いられているが、表示端末は駆動機構を持たないモップやワイパー等の他の清掃用具に用いられてもよい。 In addition, in the second embodiment, the display terminal separated from the autonomous cleaning device is used in another cleaning device, but the display terminal may also be used in other cleaning tools such as mops and wipers that do not have a drive mechanism.
また、第２の実施形態の表示端末には、推定部としてＶ－ＳＬＡＭ制御部が設けられているが、推定部は表示端末の自己位置を推定可能な構成であればよい。例えば、表示端末にＧＰＳセンサが設けられており、ＧＰＳ信号によって表示端末の自己位置が推定されてもよい。 The display terminal of the second embodiment is provided with a V-SLAM control unit as an estimation unit, but the estimation unit may be configured to be capable of estimating the self-position of the display terminal. For example, the display terminal may be provided with a GPS sensor, and the self-position of the display terminal may be estimated by a GPS signal.
また、清掃装置は、被清掃面を清掃可能な装置であればく、例えば、ロボット清掃機、洗浄機、ポリッシャー、路面清掃機、掃除機、バフィングマシンでもよい。 The cleaning device may be any device capable of cleaning the surface to be cleaned, such as a robot cleaner, a washing machine, a polisher, a street sweeper, a vacuum cleaner, or a buffing machine.
また、各実施形態では、既清掃領域及び将来清掃領域が撮像画像内の被清掃面に重ねて表示されたが、既清掃領域又は将来清掃領域が撮像画像内の被清掃面に重ねて表示されてもよい。既清掃領域又は将来清掃領域を参照しながら清掃作業の作業性を向上することができる。 In addition, in each embodiment, the area that has already been cleaned and the area that will be cleaned are displayed superimposed on the surface to be cleaned in the captured image, but the area that has already been cleaned or the area that will be cleaned may be displayed superimposed on the surface to be cleaned in the captured image. The workability of the cleaning work can be improved by referring to the area that has already been cleaned or the area that will be cleaned.
また、上記した各実施形態及び変形例において、清掃装置又は表示端末にプログラムをインストールすることによって、清掃装置又は表示端末に撮像画像内の被清掃面に既清掃領域と将来清掃領域を重ねて表示させる機能を追加されてもよい。このプログラムは記憶媒体に記憶されている。記憶媒体は特に限定されないが、光ディスク、光磁気ディスク、フラッシュメモリ等の非一過性の記憶媒体であってもよい。 In addition, in each of the above-mentioned embodiments and modifications, a function may be added to display the already cleaned area and the future cleaning area superimposed on the surface to be cleaned in the captured image on the cleaning device or display terminal by installing a program in the cleaning device or display terminal. This program is stored in a storage medium. The storage medium is not particularly limited, but may be a non-transitory storage medium such as an optical disk, a magneto-optical disk, or a flash memory.
なお、本実施形態を説明したが、他の実施形態として、上記実施形態及び変形例を全体的又は部分的に組み合わせたものでもよい。 Although this embodiment has been described, other embodiments may be combinations of the above embodiments and variations in whole or in part.
また、本発明の技術は上記の実施形態に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらには、技術の進歩又は派生する別技術によって、技術的思想を別の仕方によって実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。 The technology of the present invention is not limited to the above-described embodiments, and may be modified, substituted, or altered in various ways without departing from the spirit of the technical idea. Furthermore, if the technical idea can be realized in a different way due to technological advances or other derived technologies, it may be implemented using that method. Therefore, the claims cover all embodiments that may fall within the scope of the technical idea.
以上説明したように、自律走行式の洗浄装置等の作業エリアの自動作業に好適な産業用ロボットに有用である。 As explained above, this is useful for industrial robots suitable for automated work in work areas, such as autonomous cleaning equipment.
１ ：清掃装置
１６ ：清掃部材
３３ ：ＳＬＡＭ制御部（推定部）
３９、８４：既清掃領域作成部（第１の作成部）
４１、８５：将来清掃領域作成部（第２の作成部）
４６ ：顔認識部（認識部）
４７ ：凝視警告部（警告部）
４８ ：タグ付与部（付与部）
５５ ：タグ記憶部（記憶部）
６０、７０：表示端末
６１、７１：前カメラ（撮像部）
６２、７２：後カメラ（他の撮像部）
６３、７３：操作表示部（表示部、操作部）
８１ ：Ｖ－ＳＬＡＭ制御部（推定部）
Ａ１ ：既清掃領域
Ａ２ ：将来清掃領域
Ｆ ：床面（被清掃面）
Ｔ ：タグ
1: cleaning device 16: cleaning member 33: SLAM control unit (estimation unit)
39, 84: Cleaned area creation unit (first creation unit)
41, 85: Future cleaning area creation unit (second creation unit)
46: Face recognition unit (recognition unit)
47: Staring warning section (warning section)
48: tag assignment unit (assignment unit)
55: Tag memory unit (memory unit)
60, 70:
62, 72: Rear camera (other imaging unit)
63, 73: Operation display unit (display unit, operation unit)
81: V-SLAM control unit (estimation unit)
A1: Already cleaned area A2: Future cleaning area F: Floor surface (surface to be cleaned)
T: Tag
Claims (10)
清掃中に被清掃面を撮像する撮像部と、
前記撮像部の撮像画像を表示する表示部と、
前記清掃部材の現在位置を推定する推定部と、
前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、
前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、
前記表示部は、既清掃領域及び/または将来清掃領域を撮像画像内の被清掃面に重ねて表示することを特徴とする清掃装置。 A cleaning device that cleans a surface to be cleaned while moving a cleaning member by manual operation,
An imaging unit that images a surface to be cleaned during cleaning;
a display unit that displays an image captured by the imaging unit;
an estimation unit that estimates a current position of the cleaning member;
a first creating unit that creates a cleaned area based on a movement trajectory of the cleaning member up to a current position;
a second creation unit that creates a future cleaning area based on a moving direction of the cleaning member from a current position,
A cleaning device characterized in that the display unit displays the area already cleaned and/or the area to be cleaned in the captured image by superimposing the area already cleaned and/or the area to be cleaned on the surface to be cleaned in the captured image.
前記表示部は、学習モードにて既清掃領域及び将来清掃領域を撮像画像内の被清掃面に重ねて表示することを特徴とする請求項１に記載の清掃装置。 In learning mode, the robot creates a cleaning plan while manually moving the cleaning parts, and in reproduction mode, the robot reproduces the cleaning plan and autonomously cleans the surface to be cleaned.
The cleaning device according to claim 1 , wherein the display unit displays the already-cleaned area and the future cleaning area in a learning mode by superimposing the area on a surface to be cleaned in the captured image.
前記他の撮像部の撮像画像に含まれる作業者の顔を認識する認識部と、
一定時間以上継続して作業者の顔が認識された場合に警告する警告部と、を備えていることを特徴とする請求項１から請求項４のいずれか１項に記載の清掃装置。 Another imaging unit that images a worker who views the display unit during cleaning;
a recognition unit that recognizes a face of a worker included in an image captured by the other imaging unit;
5. The cleaning device according to claim 1, further comprising a warning unit that issues a warning when the face of an operator is continuously recognized for a certain period of time or more.
撮像画像に付与したタグへの入力操作を受け付ける操作部と、
タグの付与位置を当該タグへの入力内容に関連付けて記憶する記憶部と、を備え、
前記表示部は、撮像画像にタグを重ねて表示することを特徴とする請求項１から請求項６のいずれか１項に記載の清掃装置。 an attachment unit that attaches a tag to a captured image;
an operation unit that accepts an input operation to a tag added to a captured image;
a storage unit that stores the tagged position in association with the input content of the tag;
The cleaning device according to claim 1 , wherein the display unit displays a tag by superimposing it on the captured image.
清掃中に被清掃面を撮像部に撮像させるステップと、
前記清掃部材の現在位置を推定するステップと、
前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成するステップと、
前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成するステップと、
既清掃領域及び将来清掃領域を撮像画像内の被清掃面に重ねて表示部に表示させるステップと、を前記清掃装置に実行させることを特徴とするプログラム。 A program for a cleaning device that cleans a surface to be cleaned while manually moving a cleaning member, comprising:
A step of causing an imaging unit to capture an image of a surface to be cleaned during cleaning;
estimating a current position of the cleaning member;
creating a cleaning area based on a movement trajectory of the cleaning member to a current position;
creating a future cleaning area based on a moving direction of the cleaning member from a current position;
and displaying the already-cleaned area and the future-cleaned area on a display unit so as to be superimposed on a surface to be cleaned in a captured image.
清掃中に被清掃面を撮像する撮像部と、
前記撮像部の撮像画像を表示する表示部と、
前記清掃部材の現在位置を推定する推定部と、
前記清掃部材の現在位置までの移動軌跡に基づいて既清掃領域を作成する第１の作成部と、
前記清掃部材の現在位置からの移動方向に基づいて将来清掃領域を作成する第２の作成部と、を備え、
前記表示部は、既清掃領域及び将来清掃領域を撮像画像内の被清掃面に重ねて表示することを特徴とする表示端末。 A display terminal used for cleaning a surface to be cleaned while moving a cleaning member by manual operation,
An imaging unit that images a surface to be cleaned during cleaning;
a display unit that displays an image captured by the imaging unit;
an estimation unit that estimates a current position of the cleaning member;
a first creating unit that creates a cleaned area based on a movement trajectory of the cleaning member up to a current position;
a second creation unit that creates a future cleaning area based on a moving direction of the cleaning member from a current position,
The display terminal is characterized in that the display unit displays the already cleaned area and the future cleaning area superimposed on the surface to be cleaned in the captured image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020097351A JP7461801B2 (en) | 2020-06-04 | 2020-06-04 | Cleaning device, program and display terminal |
| JP2024047979A JP2024079775A (en) | 2020-06-04 | 2024-03-25 | Cleaning Equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020097351A JP7461801B2 (en) | 2020-06-04 | 2020-06-04 | Cleaning device, program and display terminal |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024047979A Division JP2024079775A (en) | 2020-06-04 | 2024-03-25 | Cleaning Equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021189980A JP2021189980A (en) | 2021-12-13 |
| JP7461801B2 true JP7461801B2 (en) | 2024-04-04 |
Family
ID=78849633
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020097351A Active JP7461801B2 (en) | 2020-06-04 | 2020-06-04 | Cleaning device, program and display terminal |
| JP2024047979A Pending JP2024079775A (en) | 2020-06-04 | 2024-03-25 | Cleaning Equipment |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024047979A Pending JP2024079775A (en) | 2020-06-04 | 2024-03-25 | Cleaning Equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7461801B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008077670A (en) | 2001-11-03 | 2008-04-03 | Dyson Technology Ltd | Autonomous machine |
| JP2013012200A (en) | 2011-06-28 | 2013-01-17 | Samsung Electronics Co Ltd | Robot cleaner and control method thereof |
| JP2017051597A (en) | 2015-06-24 | 2017-03-16 | フォアベルク ウント コー． インターホールディング ゲゼルシャフト ミット ベシュレンクテル ハフツングＶｏｒｗｅｒｋ ＆ Ｃｏ． Ｉｎｔｅｒｈｏｌｄｉｎｇ ＧｍｂＨ | Assisting surface cleaning |
| JP2017107434A (en) | 2015-12-10 | 2017-06-15 | 株式会社リコー | Program, information processing apparatus, image display method, and image processing system |
| JP2019133450A (en) | 2018-01-31 | 2019-08-08 | パナソニックＩｐマネジメント株式会社 | Mobile robot and control method of the same |
| JP2020010888A (en) | 2018-07-19 | 2020-01-23 | シャープ株式会社 | Vacuum cleaner |
-
2020
- 2020-06-04 JP JP2020097351A patent/JP7461801B2/en active Active
-
2024
- 2024-03-25 JP JP2024047979A patent/JP2024079775A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008077670A (en) | 2001-11-03 | 2008-04-03 | Dyson Technology Ltd | Autonomous machine |
| JP2013012200A (en) | 2011-06-28 | 2013-01-17 | Samsung Electronics Co Ltd | Robot cleaner and control method thereof |
| JP2017051597A (en) | 2015-06-24 | 2017-03-16 | フォアベルク ウント コー． インターホールディング ゲゼルシャフト ミット ベシュレンクテル ハフツングＶｏｒｗｅｒｋ ＆ Ｃｏ． Ｉｎｔｅｒｈｏｌｄｉｎｇ ＧｍｂＨ | Assisting surface cleaning |
| JP2017107434A (en) | 2015-12-10 | 2017-06-15 | 株式会社リコー | Program, information processing apparatus, image display method, and image processing system |
| JP2019133450A (en) | 2018-01-31 | 2019-08-08 | パナソニックＩｐマネジメント株式会社 | Mobile robot and control method of the same |
| JP2020010888A (en) | 2018-07-19 | 2020-01-23 | シャープ株式会社 | Vacuum cleaner |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021189980A (en) | 2021-12-13 |
| JP2024079775A (en) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11432698B2 (en) | Mobile robotic cleaner | |
| JP6610797B2 (en) | Autonomous traveling device | |
| US10291765B2 (en) | Mobile device, robot cleaner, and method for controlling the same | |
| US20180263449A1 (en) | Floor cleaning system and method for cleaning a floor surface | |
| CN111449589B (en) | System for ground processing equipment and method for operating the system | |
| US20140190518A1 (en) | Methods and systems for movement of an automatic cleaning device using video signal | |
| KR20140066850A (en) | Robot clean system and control method thereof | |
| KR20190035376A (en) | A robot cleaner and control method thereof | |
| WO2018083831A1 (en) | Electric vacuum cleaner | |
| JP2019082807A (en) | Augmented reality display system, terminal device, augmented reality display method and autonomously travelling cleaner | |
| US20190018424A1 (en) | Method for operating an automatically moving service device | |
| WO2018216690A1 (en) | Electric vacuum cleaner | |
| JP2017182175A (en) | Autonomous travel device and start position determination program | |
| US11215998B2 (en) | Method for the navigation and self-localization of an autonomously moving processing device | |
| JP2024520821A (en) | CLEANING APPARATUS, CLEANING PATH AND CLEANING MAP GENERATION METHOD, AND GENERATION SYSTEM | |
| JP7461801B2 (en) | Cleaning device, program and display terminal | |
| JP2024079807A (en) | Autonomous mobile work device and autonomous mobile work system | |
| US20220313046A1 (en) | Method of controlling a robotic floor cleaning machine | |
| JP2020194415A (en) | Autonomous travel work device | |
| CN114829085B (en) | Mobile robot and control method thereof | |
| JP7495293B2 (en) | Autonomous mobile work device and program | |
| JP7345132B2 (en) | Autonomous vacuum cleaner, autonomous vacuum cleaner control method, and program | |
| JP2022071311A (en) | Autonomous traveling work device, work plan modification method and program | |
| JP7324022B2 (en) | Autonomous working device | |
| US20220313047A1 (en) | Method of controlling a robotic floor cleaning machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7461801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |