JP2017064529A - Vacuum cleaner - Google Patents
Vacuum cleaner Download PDFInfo
- Publication number
- JP2017064529A JP2017064529A JP2017008009A JP2017008009A JP2017064529A JP 2017064529 A JP2017064529 A JP 2017064529A JP 2017008009 A JP2017008009 A JP 2017008009A JP 2017008009 A JP2017008009 A JP 2017008009A JP 2017064529 A JP2017064529 A JP 2017064529A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- vacuum cleaner
- foreign matter
- suction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/32—Handles
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2805—Parameters or conditions being sensed
- A47L9/281—Parameters or conditions being sensed the amount or condition of incoming dirt or dust
- A47L9/2815—Parameters or conditions being sensed the amount or condition of incoming dirt or dust using optical detectors
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
- A47L9/2842—Suction motors or blowers
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Electric Vacuum Cleaner (AREA)
Abstract
Description
この発明は、電気掃除装置に関する。 The present invention relates to a vacuum cleaner.
近年、ＣＣＤ（Charge CoupledDevice）撮像素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子など、非常に小型化されたカメラが普及しており、この小型カメラを吸い込み口近傍に配置して、吸い込まれた物を確認できるようにした電気掃除機が提案されている。 In recent years, very small-sized cameras such as CCD (Charge Coupled Device) image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors have become widespread. An electric vacuum cleaner that can confirm the above has been proposed.
例えば特許文献１（特開２００３−１６４４０１号公報）には、吸い込み口近傍にＣＣＤカメラを配置すると共に、このＣＣＤカメラの撮像画像を表示する表示部を取っ手近傍に備える電気掃除機が記載されている。この特許文献１に記載の電気掃除機においては、使用者は、表示部の表示画面に表示されているＣＣＤカメラの撮像画像を見ながら掃除を行うことができ、吸い込むごみを確認しながら作業することができる。
For example, Patent Document 1 (Japanese Patent Application Laid-Open No. 2003-164401) describes a vacuum cleaner in which a CCD camera is arranged near the suction port and a display unit for displaying a captured image of the CCD camera is provided near the handle. Yes. In the electric vacuum cleaner described in
また、この特許文献１に記載の電気掃除機は、ＣＣＤカメラで撮像された画像の輝度を測定することで、貴金属と推定される物体を検出して記録（記憶）しておく機能を備えている。使用者は、掃除終了後、再生指示操作をして、記録されている画像を再生し、その再生画像を注視することで、誤って吸い込んでしまった貴金属を確認することができる。
Further, the electric vacuum cleaner described in
また、特許文献２（特開２００６−１４１８３６号公報）には、吸引ヘッドから吸引される物体を撮像するＣＣＤカメラ等の撮像手段から出力される撮像画像データを、一定時間ごとに更新して記録し、また、一定サイズ以上の物体を吸い込んだと検知したときには、その撮像画像データを記録しておく電気掃除機が記載されている。 In Patent Document 2 (Japanese Patent Laid-Open No. 2006-141836), captured image data output from an imaging unit such as a CCD camera that captures an object sucked from a suction head is updated and recorded at regular intervals. In addition, there is described a vacuum cleaner that records captured image data when it is detected that an object of a certain size or larger is sucked.
この特許文献２の電気掃除機においては、使用者が、掃除機において吸引動作中に、塵埃以外の物体を吸引したと感じるときには、吸引停止ボタンを操作して、吸引動作を停止する。そして、この特許文献２に記載の電気掃除機においては、使用者の画像再生のための操作に応答して、撮像画像データが再生されて、表示モニターに撮像画像が表示される。使用者は、表示モニターに表示された撮像画像を注視することで、掃除機に誤って吸い込まれた物を確認することができる。
In the electric vacuum cleaner of
しかしながら、特許文献１の電気掃除機の場合、箪笥の上などをカメラで撮像して、ごみの存在を確認することができるが、床掃除などの掃除動作中は、使用者が表示画面を見ながら掃除をする態様は不自然であり、吸い込み口がある吸い込み部近傍を観ながら掃除をするのが通常である。このため、貴金属などの掃除対象物以外の異物を事前に認知して、吸い込まないようにすることはできず、吸い込んでしまうことは否めない。
However, in the case of the electric vacuum cleaner of
例えば、「レジ袋」や「ビニール袋」、「書類」、また、「コード」、「ピン、ネジ、釘」などの異物は、電気掃除機の吸い込み口で停止してしまったり、電気掃除機を故障や破損させたりする恐れがあるために、電気掃除機の故障や破損を避ける観点から、吸引すべきでないが、従来は、そのような制御は行われていなかった。また、例えば、「書類」、「マイクロＳＤカード」や「ＵＳＢメモリ」などの異物は、異物の清浄性を確保したり、汚損、破損を避けたりする観点から、吸引すべきでないが、従来は、そのような制御は行われていなかった。 For example, foreign objects such as “plastic bags”, “plastic bags”, “documents”, “codes”, “pins, screws, nails” can be stopped at the suction port of the vacuum cleaner, However, from the viewpoint of avoiding the failure or breakage of the vacuum cleaner, suction should not be performed, but conventionally, such control has not been performed. In addition, for example, foreign objects such as “documents”, “micro SD card”, and “USB memory” should not be sucked from the viewpoint of ensuring the cleanliness of foreign substances and avoiding contamination and damage. No such control was done.
この発明は、以上の問題点を改善することができる電気掃除装置を提供することを目的とする。 An object of this invention is to provide the electric cleaning apparatus which can improve the above problem.
上記の課題を解決するために、この発明は、
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、
前記吸い込み口から前記掃除対象物を吸引して集塵室に取り込むようにするための吸引駆動部と、
自装置を自走させるための走行駆動部と、
表示画面を備えた表示部と、
前記掃除対象物以外の異物を検出する異物検出部と、
掃除動作中に、前記異物検出部で前記異物を検出したときに、前記吸引駆動部及び／または前記走行駆動部を一時停止するように制御すると共に、前記検出された前記異物に対応した撮像画像または表示画像を前記表示部の前記表示画面に表示するように制御する制御部と、
を備えることを特徴とする電気掃除装置を提供する。
In order to solve the above problems, the present invention provides:
A suction part having a suction port for sucking a cleaning object;
A suction drive unit for sucking the cleaning object from the suction port and taking it into a dust collection chamber;
A travel drive for self-propelling the device;
A display unit having a display screen;
A foreign matter detector for detecting foreign matter other than the cleaning object;
During the cleaning operation, when the foreign matter is detected by the foreign matter detection unit, the suction drive unit and / or the travel drive unit is controlled to be temporarily stopped, and a captured image corresponding to the detected foreign matter is controlled. Or a control unit that controls to display a display image on the display screen of the display unit;
An electric cleaning device is provided.
上述の構成のこの発明においては、自走式の電気掃除装置において、異物検出部で異物が検出されると、制御部は、吸引駆動部及び／または走行駆動部を一時停止する。このため、本来、吸い込むべきでない異物を吸い込んでしまうことによる電気掃除機の故障や破損などの発生を未然に防止することができる自走式の電気掃除を提供することができる。また、吸い込むべきでない異物を吸い込んでしまうことによる異物の汚損や破損などの発生を未然に防止することができる自走式の電気掃除を提供することができる。そして、表示画面において、吸引駆動部及び／または走行駆動部が一時停止したときに検出された異物に対応する撮像画像や表示画像が表示される。 In the present invention configured as described above, in the self-propelled electric vacuum cleaner, when a foreign object is detected by the foreign object detection unit, the control unit temporarily stops the suction drive unit and / or the travel drive unit. For this reason, it is possible to provide a self-propelled electric cleaning that can prevent the occurrence of a failure or breakage of the vacuum cleaner due to the suction of foreign matters that should not be sucked. In addition, it is possible to provide a self-propelled electric cleaning capable of preventing the occurrence of foreign matter contamination or breakage caused by sucking foreign matter that should not be sucked. Then, on the display screen, a captured image and a display image corresponding to the foreign matter detected when the suction drive unit and / or the travel drive unit are temporarily stopped are displayed.
この発明による電気掃除装置は、自走式の電気掃除装置において、異物検出部で異物が検出されると、制御部は、吸引駆動部及び／または走行駆動部を一時停止するので、本来、吸い込むべきでない異物を吸い込んでしまうことによる電気掃除機の故障や破損などの発生を未然に防止することができる。また、吸い込むべきでない異物を吸い込んでしまうことによる異物の汚損や破損などの発生を未然に防止することができる。そして、表示画面において、吸引駆動部及び／または走行駆動部が一時停止したときに検出された異物に対応する撮像画像や表示画像が表示されるので、使用者は、異物がどのようなものかを確認することできる。 In the electric vacuum cleaner according to the present invention, in the self-propelled electric vacuum cleaner, when a foreign object is detected by the foreign object detection unit, the control unit temporarily stops the suction drive unit and / or the travel drive unit. Generation | occurrence | production of the failure of a vacuum cleaner, damage, etc. by sucking in the foreign material which should not be prevented can be prevented beforehand. In addition, it is possible to prevent the occurrence of contamination or damage of foreign matter due to sucking in foreign matter that should not be sucked. And since the picked-up image and display image corresponding to the foreign material detected when the suction drive unit and / or the traveling drive unit are temporarily stopped are displayed on the display screen, the user can see what the foreign material is. Can be confirmed.
［この発明に関連する電気掃除装置の第１の構成例］
この発明に関連する電気掃除装置の第１の構成例を、使用者が操作しながら掃除を行う電気掃除装置に適用した場合について、図を参照しながら説明する。
[First configuration example of electric vacuum cleaner related to the present invention]
The case where the 1st structural example of the vacuum cleaner relevant to this invention is applied to the vacuum cleaner which cleans it while a user operates is demonstrated, referring a figure.
図１は、この構成例の電気掃除装置１の全体構成例を説明するための図である。この例の電気掃除装置１は、掃除機本体１０と、吸引ホース１１と、取っ手１２と、継手管１３と、吸い込み部１４と、操作部１５と、表示部１６と、制御回路部２０とからなる。
掃除機本体１０は、集塵室１０１及び吸引駆動部１０２を備え、吸引駆動部１０２の駆動により塵埃やごみなどの掃除対象物や掃除対象物以外の異物を、吸い込み部１４から吸引して集塵室１０１に捕集する機能を有している。掃除機本体１０は、使用者が掃除を実行する際に、自律的に移動できるようなローラ１０３を備えている。
The
掃除機本体１０の集塵室１０１は、吸引ホース１１に連結されている。そして、取っ手１２が吸引ホース１１の掃除機本体１０との連結側とは反対側に結合されている。さらに、取っ手１２の吸引ホース１１との連結側とは反対側は、継手管１３に結合されている。継手管１３の先端側には、吸い込み部１４が設けられている。
The
取っ手１２には、操作部１５、表示部１６及び制御回路部２０が設けられている。使用者は、この取っ手１２を持って清掃を行う。操作部１５は、複数個のキーボタンを含む。表示部１６は、例えばＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）からなり、画像を表示することができる表示画面１６Ｄを備える。なお、操作部１５は、この構成例では、図示は省略するが、表示部１６の表示画面１６Ｄに重畳されて配置されているタッチパネルを含む。
The handle 12 is provided with an
使用者は、この取っ手１２を清掃中に必要な時に操作部１５のキーボタンを操作することができる。また、取っ手１２を持って清掃をしながら、表示部１６の表示画面１６Ｄを見ることができる。制御回路部２０は、操作部１５及び表示部１６と電気的に接続されていると共に、掃除機本体１０の吸引駆動部１０２とも電気的に接続されている。
The user can operate the key buttons of the
吸い込み部１４は、所定の大きさの面積（断面積）を有する吸い込み口１４１を有する。吸い込み口１４１は、吸い込み部１４の筐体１４２の、床面などの掃除面と対向する面側に開口を有するように設けられている。掃除機本体１０の吸引駆動部１０２を駆動すると、吸い込み口１４１から、前記断面積よりも小さい掃除対象物及び掃除対象物以外の異物が吸引され、継手管１３及び取っ手１２、吸引ホース１１を通じて、集塵室１０１に吸引される。なお、レジ袋やビニール袋、コード類などの長尺物は、吸い込み口１４１に吸引されても、全体を吸引できない状態になることがある。
The
この構成例の電気掃除装置１には、複数個のカメラ部が設けられている。すなわち、吸い込み部１４の筐体１４２が床面などの掃除面と対向する面であって、吸い込み口１４１の近傍には２個のカメラ１７１及び１７２が設けられている。使用者は、掃除動作をするときには吸い込み部１４を使用者から見て前後方向に移動させるが、カメラ１７１は、その吸い込み部１４の移動方向において、吸い込み口１４１の前方向位置に設けられ、カメラ１７２は、吸い込み口１４１の後方向位置に設けられる。カメラ１７１及び１７２は、床などの掃除面に在る掃除対象物及び掃除対象物以外の異物を撮影する。なお、カメラ１７１及び１７２の近傍には、図１では図示は省略するが、撮影位置を明るく照射するための、例えばＬＥＤ（Light Emitting Diode）からなる照明が設けられている。
The
また、この構成例では、使用者が掃除動作をするときの前後移動方向の前方の、床などの掃除面に在る掃除対象物及び掃除対象物以外の異物を撮影することができるように、吸い込み部１４には、床面などの掃除面と対向する面以外にもカメラ１７３が設けられている。図１の例においては、カメラ１７３は、吸い込み部１４の筐体１４２の、掃除動作時に床面などの掃除面と対向する面と交差する面であって、掃除動作時の前後移動方向の前方側の面に取り付けられている。
In addition, in this configuration example, so that the user can photograph the cleaning object on the cleaning surface such as the floor and the foreign object other than the cleaning object in the front and rear movement direction when the user performs the cleaning operation, The
また、吸引ホース１１と集塵室１０１との結合部近傍には、吸引されて集塵室１０１に捕集される掃除対象物及び掃除対象物以外の異物を撮影することができるように、カメラ１７４が取り付けられている。
Further, in the vicinity of the coupling portion between the
以上の４個のカメラ１７１〜１７４は、例えばＣＣＤ（Charge Coupled Device）撮像素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子と撮像レンズを含んで構成されており、制御回路部２０と電気的に接続されている。
The four
［制御回路部２０の構成例の説明］
この構成例では、制御回路部２０は、掃除動作中に、４個のカメラ１７１〜１７４からの撮像画像について画像認識を行って、少なくとも、前記掃除対象物と前記掃除対象物以外の異物とを分離して認識する画像認識部を備える。そして、制御回路部２０は、画像認識部で異物を認識したときには、その旨を使用者に知らせると共に、異物が何であるかを知らせるようにする機能を備える。さらに、この構成例では、制御回路部２０は、認識した異物に応じて掃除動作を強制停止させるようにする機能も備える。
[Description of Configuration Example of Control Circuit Section 20]
In this configuration example, the
図２は、制御回路部２０の内部構成例と、この制御回路部２０と電気的に接続されている各部との接続関係を示すブロック図である。
FIG. 2 is a block diagram illustrating an internal configuration example of the
図２に示すように、制御回路部２０は、マイクロコンピュータからなる制御部２０１に対して、システムバス２００を通じて、駆動制御部２０２、表示制御部２０３、操作部インターフェース２０４、カメラインターフェース２０５，２０６，２０７，２０８、撮像画像メモリ２０９、画像認識部２１０、画像登録メモリ２１１、外部インターフェース２１２、表示画像生成部２１３、アラーム駆動部２１４、の各部が接続されて構成されている。
As shown in FIG. 2, the
駆動制御部２０２には、掃除機本体１０に配設されている吸引駆動部１０２が電気的に接続されている。制御回路部２０１は、使用者による操作部１５を通じて掃除開始操作に応じて、吸引駆動部１０２に駆動開始制御信号を供給し、掃除停止操作に応じて駆動停止制御信号を供給する。
The
表示制御部２０３は、ビデオＲＡＭ（Random Access Memory）を備え、表示部１６の表示画面１６Ｄに画像を表示するための表示コントローラの機能を有する。
The
操作部インターフェース２０４には、操作部１５が接続されている。前述したように、この構成例では、操作部１５には、前述した複数個のキーボタンを含むほか、表示画面１６Ｄに重畳して設けられるタッチパネルを含み、このため、操作部インターフェース２０４は、キーボタンに対するインターフェースの機能のほか、表示画面１６Ｄ上でのタッチ操作位置を検出するためのタッチパネルインターフェースの機能をも含む。
The
カメラインターフェース２０５，２０６，２０７，２０８のそれぞれには、カメラ１７１，１７２，１７３，１７４のそれぞれが接続されている。この構成例では、前述したように、カメラ１７１，１７２，１７３，１７４のそれぞれには、例えばＬＥＤからなる照明部１７１Ｌ，１７２Ｌ，１７３Ｌ，１７４Ｌが付加されている。
The
制御回路部２０は、カメラインターフェース２０５，２０６，２０７，２０８のそれぞれを通じてカメラ１７１，１７２，１７３，１７４のそれぞれにカメラ制御信号を供給して、これらカメラ１７１，１７２，１７３，１７４のそれぞれの撮像開始、撮像停止を制御する。カメラ１７１，１７２，１７３，１７４のそれぞれは、撮像開始制御を受けて、撮像動作状態においては、撮像画像をカメラインターフェース２０５，２０６，２０７，２０８のそれぞれを通じてシステムバス２００に供給する。
The
照明部１７１Ｌ，１７２Ｌ，１７３Ｌ，１７４Ｌは、制御部２０１により点灯制御される。この場合に、制御回路部２０の制御部２０１は、ソフトウエア処理により、カメラ１７１，１７２，１７３，１７４からの撮像画像の明るさ（撮像画像の輝度の平均値など）を測定し、撮像画像の明るさが所定以下のときに、制御回路部２０がカメラインターフェース２０５，２０６，２０７，２０８を通じて点灯させるように制御するようにする。なお、制御部２０１は、カメラ１７１，１７２，１７３，１７４が撮像動作状態においては、常に、照明部１７１Ｌ，１７２Ｌ，１７３Ｌ，１７４Ｌを点灯するように制御してもよい。
Lighting of the
撮像画像メモリ２０９は、カメラインターフェース２０５，２０６，２０７，２０８のそれぞれを通じてカメラ１７１，１７２，１７３，１７４のそれぞれから送られてくる撮像画像情報を一時格納し、その一時格納した撮像画像情報を、画像認識用として画像認識部２１０に供給する。また、撮像画像メモリ２０９は、後述するように、画像認識部２１０で掃除対象物以外の異物が認識されたときに、画像認識結果に基づいて、その撮像画像情報を記憶保持する。
The captured
この場合に、制御回路部２０は、撮像画像情報を、撮像画像メモリ２０９のメモリ領域をカメラ１７１，１７２，１７３，１７４のそれぞれごとに予め分離して記憶する、カメラ１７１，１７２，１７３，１７４のそれぞれの識別情報と対応付けて撮像画像情報を記憶するなどして、カメラ１７１，１７２，１７３，１７４のそれぞれからの撮像画像を、互いに分離して識別可能な状態で記憶する。
In this case, the
この例では、撮像画像メモリ２０９に一時記憶される撮像画像情報は、画像認識部２１０で画像認識処理に用いられ、画像認識結果が得られる処理時間分のフレーム数に余裕分を加算したフレーム数分とされる。画像認識部２１０で異物が認識されなかった撮像画像情報は廃棄され、新たな撮像画像情報に置き換えられる。画像認識部２１０で異物が認識された時には、当該異物が認識された撮像画像情報が、画像認識部２１０の画像認識結果に基づいて、撮像画像メモリ２０９から表示画像生成部２１３に転送されて、この表示画像生成部２１３に保持される。このとき、画像認識部２１０からの画像認識結果に含まれる後述する異物の識別情報（異物ＩＤ）に対応付けられて、異物が認識された撮像画像情報が表示画像生成部２１３に保持される。
In this example, the captured image information temporarily stored in the captured
なお、撮像画像メモリ２０９の容量が大きい場合には、１回の掃除動作中の撮像画像情報の全てを撮像画像メモリ２０９に記憶保持するようにし、掃除動作終了時において、その一時記憶した撮像画像を消去してもよい。もちろん、複数回の掃除動作中の撮像画像の全てを撮像画像メモリ２０９に記憶保持するようにしてもよい。さらに、撮像画像メモリ２０９に記憶保持された撮像画像を、適宜、外部インターフェース２１２を通じて、例えばＵＳＢメモリやＳＤカード（ＳＤメモリーカード）などの記憶媒体に記録するように構成することもできる。
When the capacity of the captured
この構成例においては、画像登録メモリ２１１には、後述するような方法で予め掃除対象物以外の異物として認識すべき物の画像情報が記憶されている。画像認識部２１０は、カメラ１７１，１７２，１７３，１７４のそれぞれからの撮像画像情報から、掃除対象物以外の異物を認識して検出するが、４個のカメラのうち、３個のカメラ１７１，１７２，１７３のそれぞれからの撮像画像情報については、画像登録メモリ２１１に記憶されている画像と比較してパターンマッチングを行い、両者の一致あるいは両者の所定の類似度レベル以上での類似を検出することで、掃除対象物以外の異物を認識する。
In this configuration example, the
そして、カメラ１７４からの撮像画像情報についても、登録された撮像画像とのパターンマッチングによる比較により画像認識するようにしてもよいが、カメラ１７４は、吸引ホース１１と掃除機本体１０、集塵室１０１との結合部における撮像画像であるので、画像認識が困難である可能性がある。そこで、この構成例では、カメラ１７４からの撮像画像情報については、画像認識部２１０は、吸引ホース１１を通じて集塵室１０１に吸引されてくる掃除対象物及び掃除対象物以外の異物の大きさが予め設定された大きさ以上のものであるか否かを判定して、また、貴金属のように光を当てた時の反射光の光度が所定以上であるものであるか否かを判定して、掃除対象物以外の異物であるか否かを認識するようにする。
The captured image information from the
画像登録メモリ２１１には、電気掃除装置１の製造会社側で工場出荷前に、予め、掃除対象物以外の異物として想定された物の撮像画像情報が登録されて記憶されている。この場合に、画像登録メモリ２１１には、一つの異物について登録画像情報として、カメラ１７１、１７２、１７３のそれぞれで撮影された複数個の画像情報が記憶される。また、カメラ１７１、１７２、１７３のそれぞれで撮影された画像情報のそれぞれについて、前から、後ろから、左横から、右横から、などの複数の撮像方向からの画像情報が画像登録メモリ２１１には記憶されている。これらの異物の登録画像情報は、それぞれの異物に付与されている識別情報（以下、異物ＩＤと称する）に対応付けられて、画像登録メモリ２１１に記憶されている。
In the
そして、この構成例では、画像登録メモリ２１１には、異物の名称を表示画面１６Ｄに異物の画像と共に表示するためのテキスト文字情報が、異物ＩＤに対応付けられて記憶されている。さらに、画像登録メモリ２１１には、登録された異物を認識したときの電気掃除装置１の吸引駆動部１０２に対する吸引駆動制御の態様として、この構成例では、「吸引駆動停止」または「吸引駆動継続（制御不要）」が、登録された異物の異物ＩＤに対応付けられて記憶される。なお、吸引駆動制御の態様としては、「吸引ターボ駆動」、「吸引駆動強め」または「吸引駆動弱め」、「吸引駆動最弱」など、その他種々の態様を設定するようにすることもできる。また、例えば、異物を認識したときに「吸引駆動停止」の代わりに、「吸引駆動弱め」あるいは「吸引駆動最弱」にし、その後、使用者が、表示画面１６Ｄの画像を見て認識した異物が吸い込んでも良いものであると判断したときには、「吸引ターボ駆動」あるいは「吸引駆動強め」に制御して異物を吸引し、一方、表示画面１６Ｄの画像を見て認識した異物が吸い込んではいけないものであるときには、吸引駆動を停止するように制御するようにすることもできる。
In this configuration example, the text registration information for displaying the name of the foreign object together with the image of the foreign object on the
また、この構成例では、予め製造会社側で用意された画像情報のみではなく、使用者が、電気掃除装置１で掃除対象物以外の異物として認識させたい物の画像を登録して、この画像登録メモリ２１１に記憶することができるように構成されている。
In this configuration example, not only the image information prepared in advance by the manufacturer, but also the image of an object that the user wants to recognize as a foreign object other than the object to be cleaned by the
すなわち、この構成例の電気掃除装置１においては、使用者による掃除対象物以外の異物の撮像画像の登録機能を備えている。使用者が、この異物の撮像画像の登録機能を選択すると、表示部１６の表示画面１６Ｄには、異物の登録画像の登録手順がメッセージやアニメーションにより表示される。使用者は、この表示画面１６Ｄの登録手順のメッセージやアニメーションを観ながら異物の登録画像の登録処理を行うことができる。
In other words, the
例えば、表示画面１６Ｄには、まず、登録したい異物を被写体として、カメラ１７１、１７２，１７３により撮像するよう促す画面が表示される。そして、カメラ１７１、１７２，１７３のそれぞれ毎についてのカメラと被写体との位置関係の指示がなされ、それぞれのカメラで撮像するように促される。使用者が、表示画面１６Ｄに表示される登録手順に従って、カメラ１７１、１７２，１７３により撮像をすると、それらは、付与された異物ＩＤに関連付けられて、画像登録メモリ２１１に記憶される。最後に、表示画面１６Ｄには、異物の名称をテキスト文字で入力するように促す指示が表示され、使用者が登録する異物の名称を入力すると、その入力されたテキスト文字情報が、登録された異物の異物ＩＤと対応付けられて、画像登録メモリ２１１に記憶される。
For example, on the
最後に、登録された異物を認識したときの電気掃除装置１の吸引駆動部１０２に対する吸引駆動制御についての設定入力をするように促す指示が表示画面１６Ｄに表示され、使用者が、「吸引駆動停止」または「吸引駆動継続（制御不要）」を入力して指示すると、画像登録メモリ２１１に、その吸引駆動制御態様が、異物の登録画像に対応付けられて記憶される。
Finally, an instruction prompting the user to make a setting input for the suction drive control for the
以上の説明は、電気掃除装置１が備えるカメラ１７１〜１７３を用いた異物の画像の登録処理である。この構成例では、異物の画像の登録処理は、このように電気掃除装置１が備えるカメラ１７１〜１７３を用いて異物を撮像する方法のみではなく、外部インターフェース２１２を通じて、例えばＵＳＢメモリやＳＤカードなどの記憶媒体を通じて、登録することもできるように構成されている。その場合に、ＵＳＢメモリやＳＤカードなどの記憶媒体には、カメラ１７１〜１７３で撮像したのと同様にして撮像した登録画像及び異物の名称、その吸引駆動制御態様が記憶され、その記憶された情報が、画像登録メモリ２１１に転送されて記憶される。
The above description is a foreign object image registration process using the
なお、電気掃除装置１の製造会社等が運営するインターネット上のＷｅｂサイトに、種々の異物の撮像画像情報及びその異物の名称、その吸引駆動制御態様が用意しておくこともできる。この場合には、使用者は、例えばパーソナルコンピュータなどで、そのＷｅｂサイトにアクセスして、自分が登録したい異物の情報を取得して、ＵＳＢメモリやＳＤカードに記憶し、外部インターフェース２１２を通じて画像登録メモリ２１１に転送して、異物の画像の登録をすることができる。もちろん、電気掃除装置１がネットワーク接続機能を備えていれば、パーソナルコンピュータがなくても、直接そのＷｅｂサイトにアクセスができる。
Note that captured image information of various foreign objects, names of the foreign objects, and suction drive control modes thereof can be prepared on a website on the Internet operated by the manufacturer of the
図３に、画像登録メモリ２１１に記憶されている異物の例を示す。この図３の例において、画像登録メモリ２１１には、異物名称と、登録画像Ｖ０１、Ｖ０２、Ｖ０３、・・・と、サムネイル画像ＳＭ０１、ＳＭ０２、ＳＭ０３、・・・と、吸引駆動制御の態様とが、異物毎に割り当てられている異物の識別情報（異物ＩＤ）に対応付けられて記憶されている。この構成例では、吸引駆動部１０２に対する吸引駆動制御の態様は、「吸引駆動停止」または「吸引駆動継続（制御不要）」とされている。
FIG. 3 shows an example of the foreign matter stored in the
登録画像Ｖ０１、Ｖ０２、Ｖ０３、・・・のそれぞれは、前述したように、複数個の撮像画像の画像情報からなり、異物ＩＤに対応付けられて一つの集合として保持されている。サムネイル画像ＳＭ０１、ＳＭ０２、ＳＭ０３、・・・は、画像認識部２１０により異物が認識された時に、その認識された異物が何であるかを表示画面１６Ｄに画像表示するために用いられるもので、カメラ１７１〜１７３の撮像画像のうちの、当該異物を表すものとして使用者が容易に認識可能な撮像画像の縮小画像からなる。
As described above, each of the registered images V01, V02, V03,... Includes image information of a plurality of captured images and is held as one set in association with the foreign object ID. Thumbnail images SM01, SM02, SM03,... Are used to display an image on the
なお、サムネイル画像は、画像登録メモリ２１１に予め登録しておくのではなく、画像認識部２１０で異物が認識されたときに、その認識結果に基づいて、表示画像生成部２１３が、その認識した異物について登録されている撮像画像を画像登録メモリ２１１から取得して、生成するようにしてもよい。
The thumbnail image is not registered in the
図３の例では、それぞれの異物を認識したときの吸引駆動制御の態様は、電気掃除装置１の故障や破損を避ける観点からと、吸い込まれてしまう異物の清浄性を確保したり破損を避けたりする観点からの両方の観点から、「（吸引動作）停止」と、「（吸引駆動制御）不要」とが記憶されている。
In the example of FIG. 3, the aspect of suction drive control when each foreign object is recognized is from the viewpoint of avoiding failure or damage of the
すなわち、図３の例では、「レジ袋」や「ビニール袋」、「書類」、また、「コード」、「ピン、ネジ、釘」は、吸い込み口１４１で停止してしまったり、継手管１３や吸引ホース１１の途中で引っかかって継手管１３や吸引ホース１１を破損させたりする恐れがあるために、電気掃除装置１の故障や破損を避ける観点から、吸引駆動制御の態様が「（吸引動作）停止」とされている。図３には例示していないが、「爪楊枝、針」なども同様である。
That is, in the example of FIG. 3, “plastic bag”, “plastic bag”, “document”, “code”, “pin, screw, nail” stop at the
また、図３の例においては、吸い込まれてしまう異物の清浄性を確保したり、汚損、破損を避けたりする観点から、「書類」、「マイクロＳＤカード」や「ＵＳＢメモリ」は、吸引駆動制御の態様を「（吸引動作）停止」とされている。図３には例示していないが、「ＳＤカード、ＳＩＭカード」なども同様である。図３の例においては、「紙幣」、「金貨、コイン」、「宝石」は、吸引駆動制御の態様を「（吸引駆動制御）不要」としたが、汚損や損傷をさけるために「（吸引動作）停止」としてもよい。図３には例示していないが、「小切手、切手」なども同様である。なお、吸引駆動制御の態様の設定は、使用者により変更可能とされるように構成してもよい。 In the example of FIG. 3, “document”, “micro SD card”, and “USB memory” are driven by suction from the viewpoint of ensuring the cleanliness of foreign matter that is sucked in and avoiding contamination and breakage. The mode of control is “(suction operation) stop”. Although not illustrated in FIG. 3, “SD card, SIM card” and the like are the same. In the example of FIG. 3, “banknotes”, “gold coins, coins”, and “jewels” have the suction drive control mode “(suction drive control) unnecessary”. (Operation) stop ”. Although not illustrated in FIG. 3, “check, stamp” and the like are the same. Note that the suction drive control mode setting may be configured to be changeable by the user.
この構成例では、画像認識部２１０は、上述のように画像登録メモリ２１１に記憶保持されている異物の複数個の登録画像のそれぞれと、撮像画像メモリ２０９を通じて受け取ったカメラ１７１、１７２、１７３のそれぞれで撮像された撮像画像とを、パターンマッチング処理により比較し画像認識を行う。そして、画像認識部２１０は、一つの異物についての複数個の登録画像のうちの一つでも、カメラ１７１、１７２、１７３からの撮像画像と一致あるいは所定の類似度レベル以上の類似度を示している異物を認識したときに、その登録画像の異物を認識したと判定し、その登録画像の異物の異物ＩＤを画像認識結果として、表示画像生成部２１３に出力するようにする。このとき、画像認識部２１０で、異物を認識したカメラの撮像画像が、撮像画像メモリ２０９から表示画像生成部２１３に供給されて、画像認識結果の異物ＩＤに対応付けられて保持される。
In this configuration example, the
また、画像認識部２１０は、異物を認識したと判定したときに、さらに、カメラ１７１，１７２，１７３のいずれのカメラの撮像画像について異物を認識したと判定したかを検知するようにする。すなわち、画像認識部２１０は、画像認識した異物と、異物を認識したのはカメラ１７１、１７２、１７３のいずれの撮像画像であるかを判定する。そして、異物を認識した撮像画像がいずれのカメラであるかに基づいて、画像認識部２１０は、認識した異物が掃除機本体１０の集塵室１０１に吸い込まれているか、あるいは、吸い込まれずに、電気掃除装置１の外部に存在しているかを判定する。
Further, when the
すなわち、画像認識部２１０は、吸い込み口１４１の近傍に配設されているカメラ１７１または１７２からの撮像画像について異物を認識したと判定したときには、その判定された異物は、集塵室１０１に吸い込んだ可能性が高いと認定する。そして、この構成例では、画像認識部２１０は、カメラ１７４の撮像画像についての画像認識結果をさらに参照し、このカメラ１７４の撮像画像について異物を検出したか否かを判定して、認識された異物が集塵室１０１に実際に吸い込まれたか否かを判定するようにする。吸い込み口１４１の近傍に配設されているカメラ１７１または１７２からの撮像画像について異物を認識したと判定したときには、その判定された異物は、カメラ１７４の認識結果を参照せずに、集塵室１０１に吸い込んだと判定してもよいが、カメラ１７４からの撮像画像の認識結果を参照することで、集塵室１０１に吸い込まれているかどうかを、より高い確度で判定することができる。
That is, when the
また、画像認識部２１０は、吸い込み部１４の前方の画像を撮像するカメラ１７３からの撮像画像について、異物を認識したと判定したときには、さらに、カメラ１７４の撮像画像についての画像認識結果を常に参照して異物を検出したか否かを判定して、集塵室１０１に異物が吸い込まれたか否かを判定するようにする。
In addition, when the
以上のようにして、画像認識部２１０は、画像認識により異物を認識したときには、画像認識結果で認識した異物の異物ＩＤに加えて、異物の所在地が内か外か、すなわち、集塵室１０１に吸い込まれているか（内か）、あるいは、吸い込まれずに、電気掃除装置１の外部に存在するか（外か）を判定する。そして、画像認識部２１０は、認識した異物の異物ＩＤに、異物の所在地情報（内か外かの情報）を付加したものを画像認識結果として、表示画像生成部２１３に供給するようにする。
As described above, when the
さらに、この構成例では、前述したように、画像認識部２１０で異物が認識されたときには、そのタイミング時点におけるカメラ１７３の撮像画像を、撮像画像メモリ２０９から表示画像生成部２１３に供給するようにする。表示画像生成部２１３では、このとき画像認識部２１０から送られてくる画像認識結果の異物ＩＤに対応付けて、このカメラ１７３の撮像画像を記憶保持する。
Further, in this configuration example, as described above, when a foreign object is recognized by the
この記憶保持されるカメラ１７３からの撮像画像は、異物が画像認識された位置における吸い込み部１４の前方の撮像画像であり、異物が画像認識された位置がどこかを判断するための周辺画像となる。使用者は、このカメラ１７３で撮像された異物が認識された位置の周辺画像を見ることで、その異物を、掃除を行った部屋のどこで認識したかの、大体の見当をつけることができる。
The captured image from the
表示画像生成部２１３は、表示制御部２０３を通じて表示部１６に表示する表示画像情報を生成する。この構成例では、前述した異物の登録処理の際のガイド画像を生成する機能のほか、画像認識部２１０から送られてくる画像認識結果の情報に基づいて、掃除動作中に認識した異物を使用者に報知する画像を生成するようにする。この構成例では、掃除動作中に認識した異物の画像としては、画像登録メモリ２１１に記憶されている撮像画像の縮小画像であるサムネイル画像が用いられる。
The display
すなわち、表示画像生成部２１３は、画像認識部２１０からの異物の認識結果としての異物ＩＤと、その所在情報と、異物認識時点のカメラ１７３の撮像画像を受け取る。そして、表示画像生成部２１３は、画像認識部２１０から取得した異物ＩＤに基づいて画像登録メモリ２１１から、当該異物ＩＤに対応付けられているサムネイル画像情報ＳＭｉ（ｉ＝０１，０２，・・・・のいずれか）を取得して、図４（Ａ）に示すように、そのサムネイル画像情報によるサムネイル画像２２１を、表示制御部２０３を通じて表示画面１６Ｄに表示するようにする。
That is, the display
また、表示画像生成部２１３は、図４（Ａ）に示すように、それぞれのサムネイル画像２２１の表示欄に異物の名称欄２２２を設ける。そして、表示画像生成部２１３は、画像認識部２１０から取得した異物ＩＤに基づいて、画像登録メモリ２１１から異物の名称を受け取り、当該異物の名称を異物の名称欄２２２に表示する。
Further, as shown in FIG. 4A, the display
さらに、表示画像生成部２１３は、図４（Ａ）に示すように、それぞれのサムネイル画像２２１の表示欄に、異物の所在地の表示欄２２３を設ける。そして、表示画像生成部２１３は、異物ＩＤと共に画像認識部２１０から送られてくる所在情報から、その異物の所在地が内か外かを表す付加表示情報を生成し、生成した所在地情報を、図４（Ａ）に示すように、表示欄２２３に表示するようにする。図４（Ａ）において、表示欄２２３に「内」と表示されている異物は、掃除機本体１０の集塵室１０１内に存在することを示し、「外」と表示されている異物は、吸い込まれずに、外部に存在することを示している。
Further, as shown in FIG. 4A, the display
表示画像生成部２１３は、掃除動作中に異物の認識結果を画像認識部２１０から受信するごとに上記の動作を行って、図４（Ａ）に示すように、表示画面１６Ｄに、認識した異物のサムネイル画像２２１を追加表示してゆく。これにより、図４（Ａ）に示すように、掃除動作の終了時には、掃除動作中に認識された異物の一覧が、サムネイル画像の一覧として、表示画面１６Ｄに表示される。
The display
前述したように、異物のそれぞれについて、吸引駆動制御の態様が画像登録メモリ２１１に登録されて記憶されており、画像認識部２１０で認識した異物の吸引駆動制御態様が「（吸引動作）停止」とされているときには、吸引駆動部１０２が強制的に駆動停止制御される。そこで、この構成例では、表示画像生成部２１３は、画像認識部２１０からの画像認識結果の異物ＩＤに対応する異物の吸引駆動制御態様が「（吸引動作）停止」とされているときには、サムネイル画像２２１の表示欄に、吸引駆動停止制御の表示欄２２４を設け、その表示欄２２４に、吸引駆動停止制御がなされた旨を表す「停止」の文字を表示して、使用者に強制停止したときの異物が何であるかが分かるように報知するようにする。
As described above, the suction drive control mode is registered and stored in the
そして、この構成例では、使用者が、表示画面１６Ｄに表示されているサムネイル画像の一つをクリックすると、制御部２０１の制御に基づいて、表示画像生成部２１３は、そのクリックされたサムネイル画像が対応する異物ＩＤを認識し、その認識した異物ＩＤに対応して記憶保持している画像認識部２１０で異物を認識した撮像画像２４１を、図４（Ｂ）に示すように、例えば表示画面１６Ｄの半分の領域に表示する。さらに、表示画像生成部２１３は、認識した異物ＩＤに対応して記憶保持しているカメラ１７３の撮影画像（周辺画像）２４２を、図４（Ｂ）に示すように、表示画面１６Ｄの残りの領域に表示する。
In this configuration example, when the user clicks one of the thumbnail images displayed on the
図４（Ｂ）の例は、指輪のサムネイル画像が使用者によりクリックされた場合を示しており、撮像画像２４１は、カメラ１７１または１７２のいずれかで撮影された指輪の撮像画像である。また、撮像画像２４２は、その指輪を電気掃除装置１が吸い込んだ位置の前方の周辺画像であり、図４（Ｂ）の例では、２つの家具の隙間を撮影している状態を示している。
The example in FIG. 4B shows a case where a thumbnail image of the ring is clicked by the user, and the captured image 241 is a captured image of the ring captured by either the
使用者は、撮像画像２４１を見ることで、画像認識された異物を正確に知ることができ、また、その異物がどこの場所を掃除しているときに画像認識したかを、撮像画像２４２から知ることができる。
By viewing the captured image 241, the user can accurately know the image-recognized foreign matter, and the captured
次に、アラーム駆動部２１４には、アラーム発生部２１５が接続される。アラーム駆動部２１４は、画像認識部２１０で異物が認識されたときに、その画像認識結果に基づいて、アラーム発生部２１５を制御して、アラームを発生させ、使用者に異物を認識したことを知らせるようにする。前述したように、画像認識部２１０で異物が認識されたときには、その画像認識結果に基づいて、認識された異物のサムネイル画像が表示画面１６Ｄに表示されるので、この異物のサムネイル画像の表示に連動して（同期して）、アラーム発生部２１５からアラームが発生する。使用者は、アラームの発生により、画像認識部２１０での異物の認識を知り、表示画面１６Ｄに表示されているサムネイル画像を見ることで、認識された異物が何であるかを知る。
Next, an
アラーム発生部２１５は、この例ではブザー音発生部からなる。なお、アラーム発生部２１５は、ブザー音の発生部に限らず、バイブレータなどの振動発生部で構成されていてもよいし、アラーム音声やアラーム音楽を放音するスピーカであってもよい。また、アラーム音と振動とを組み合わせてもよい。
In this example, the
また、この構成例では、アラーム発生部２１５は、表示画面１６Ｄに表示される画像認識された異物のサムネイル画像を、フラッシングさせるようにする。これにより、後述するように、表示画面１６Ｄに、複数個の異物のサムネイル画像が表示されていても、当該タイミングで認識された異物が何であるかを、使用者が容易に認知することができるように構成されている。
In this configuration example, the
なお、図２に示した制御回路部２０の構成において、画像認識部２１０、表示画像生成部２１３及びアラーム駆動部２１４は、制御部２０１を構成するマイコンが、そのソフトウエア機能として実現するようにすることもできる。
In the configuration of the
［電気掃除装置１の制御回路部２０における処理動作の説明］
図５は、第１の構成例の電気掃除装置１の制御回路部２０での処理動作の流れを説明するためのフローチャートである。以下の図５のフローチャートの説明では、制御部２０１が、画像認識部２１０、表示画像生成部２１３及びアラーム駆動部２１４の機能をソフトウエア機能として実現した場合としている。
[Description of processing operation in
FIG. 5 is a flowchart for explaining the flow of processing operations in the
まず、制御部２０１は、操作部インターフェース２０４を通じて操作部１５を通じて使用者の操作入力を監視して、吸引駆動スタートボタンが押下されるのを待つ（ステップＳ１０１）。このステップＳ１０１で、吸引駆動スタートボタンが押下されたと判別したときには、制御部２０１は、駆動制御部２０２を通じて吸引駆動部１０２に吸引駆動開始制御信号を供給して、吸引駆動を開始させると共に、カメラ１７１〜１７４のそれぞれに対して、カメラ撮影開始制御信号を供給して、カメラ撮影を開始させるようにする（ステップＳ１０２）。
First, the
そして、制御部２０１は、カメラ１７１〜１７４からの撮像画像情報に対して、上述したような画像認識処理を実行し（ステップＳ１０３）、異物を認識したか否か判別する（ステップＳ１０４）。このステップＳ１０４で、異物を認識してはいないと判別したときには、制御部２０１は、操作部インターフェース２０４を通じて操作部１５を通じて使用者の操作入力を監視して、吸引駆動停止ボタンが押下されたか否か判別する（ステップＳ１０５）。
And the
そして、このステップＳ１０５で、吸引駆動停止ボタンが押下されてはいないと判別したときには、制御部２０１は、処理をステップＳ１０３に戻し、このステップＳ１０３以降の処理を繰り返す。また、ステップＳ１０５で、吸引駆動停止ボタンが押下されたと判別したときには、制御部２０１は、駆動制御部２０２を通じて吸引駆動部１０２に吸引駆動停止制御信号を供給して、吸引駆動を停止させると共に、カメラ１７１〜１７４のそれぞれに対して、カメラ撮影停止制御信号を供給して、カメラ撮影を終了させるようにする（ステップＳ１０６）。そして、制御部２０１は、処理をステップＳ１０１に戻し、このステップＳ１０１以降の処理を繰り返す。
If it is determined in step S105 that the suction drive stop button has not been pressed, the
そして、ステップＳ１０４で、異物を認識したと判別したときには、制御部２０１は、アラーム発生部２１５によりアラームを鳴らすと共に、認識した異物のサムネイル画像を、表示画面１６Ｄに表示する。このとき制御部２０１は、上述したようにして、異物が集塵室１０１に在るか、吸い込まれずに外部に在るかを判定し、その判定結果を、図４（Ａ）に示したように、サムネイル画像に付加表示する（ステップＳ１０７）。
When it is determined in step S104 that a foreign object has been recognized, the
次に、制御部２０１は、画像登録メモリ２１１の記憶内容を参照して、認識した異物の異物ＩＤに対応して記憶されている吸引駆動制御態様の情報を取得し、吸引動作の強制停止が必要か否か判別する（ステップＳ１０８）。
Next, the
このステップＳ１０８で、吸引動作の強制停止が必要ではないと判別したときには、制御部２０１は、吸引駆動部１０２の吸引動作を継続させ（ステップＳ１０９）、処理をステップＳ１０５に戻し、このステップＳ１０５以降の処理を繰り返す。
When it is determined in step S108 that the forced stop of the suction operation is not necessary, the
なお、このとき、電気掃除装置１での処理としては吸引動作を継続するように制御するが、使用者は、ステップＳ１０７でのアラームの発生及び表示画面１６Ｄのサムネイル画像を見て、必要に応じて、駆動停止ボタンを押下することができる。すると、制御部２０１は、その駆動停止ボタンの押下を、ステップＳ１０５で判別して、吸引駆動を停止させる。
At this time, the
次に、ステップＳ１０８で、吸引動作の強制停止が必要であると判別したときには、制御部２０１は、吸引駆動部１０２の吸引動作を停止させる制御信号を吸引駆動部１０２に供給し、吸引動作を強制的に停止する。そして、この強制的な吸引動作の停止状態においては、操作部１５を通じた吸引動作の再スタートなどの操作ができないようにロック状態とする（ステップＳ１１０）。
Next, when it is determined in step S108 that the suction operation must be forcibly stopped, the
このロック状態は、使用者が、吸い込み口１４１近傍にある異物を取り除いたり、集塵室１０１を開けて、異物を取り除いたりした後、操作部１５を通じてロック解除の操作入力をすると、解除される。
This locked state is released when the user inputs an unlocking operation through the
制御部２０１は、ステップＳ１１０の次には、ロック解除されたか否か判別し（ステップＳ１１１）、ロック解除されていないと判別したときには、再スタートなどの操作入力に対しては、無視する不感処理を行う（ステップＳ１１２）。このステップＳ１１２の次には、制御部２０１は、処理をステップＳ１１１に戻し、このステップＳ１１１以降の処理を繰り返す。
Next to step S110, the
また、ステップＳ１１１でロック解除されたと判別したときには、制御部２０１は、処理をステップＳ１０１に戻し、このステップＳ１０１以降の処理を繰り返す。
If it is determined in step S111 that the lock has been released, the
なお、以上の説明では、異物の認識に応じて吸引駆動を停止させたときには、通常のスタートボタンによる操作に対しては不感状態とするロック状態とし、このロック状態を解除操作した後に、再スタートをさせるようにした。しかし、認識した異物によっては、吸い込み口１４１近傍にある異物を取り除いたり、集塵室１０１を開けて、異物を取り除いたりする必要がないものもある。そして、この構成例では、使用者は、電気掃除装置１が認識した異物を表示画面１６Ｄで認識することができる。以上のことを考慮して、電気掃除装置１の操作部１５に、表示画面１６Ｄで確認した使用者が上述のようなロック解除操作をすることなく吸引駆動を再スタートさせることができるようにする一発掃除継続ボタンを、設けるようにすることもできる。
In the above description, when the suction drive is stopped in accordance with the recognition of the foreign object, the locked state is set to be insensitive to the normal start button operation. I was allowed to. However, depending on the recognized foreign matter, there is no need to remove the foreign matter near the
［第１の構成例の効果］
以上説明したように、上述の第１の構成例の電気掃除装置１は、掃除動作中に、想定された掃除対象物以外の異物を画像認識により検出し、その検出した異物のサムネイル画像を表示画面１６Ｄに表示すると共に、アラームにより異物の検出を報知するようにする。したがって、使用者は、アラームにより異物の検出を知り、表示画面１６Ｄのサムネイル画像を見ることにより、その異物が何であるかを即座に知ることができる。この場合に、使用者は、冒頭で説明した先行文献の場合のような再生操作は全く不要であり、非常に便利である。
[Effect of the first configuration example]
As described above, the
そして、使用者は、サムネイル画像で検出された異物を確認した後、吸引動作を停止した方が良いかどうかを判断することができ、便利である。その上、この第１の構成例においては、予め強制的に吸引動作を停止した方が良い異物については、そのことを登録しておくことで、自動的に吸引動作を停止させることができ、電気掃除装置１の破損などを防止し、また、清浄に保ちたい異物が、集塵室１０１に吸引されてしまわないようにすることができる。
The user can confirm whether or not the suction operation should be stopped after confirming the foreign matter detected in the thumbnail image, which is convenient. In addition, in this first configuration example, for foreign matter that should be forcibly stopped in advance, it is possible to automatically stop the suction operation by registering that, It is possible to prevent the
また、認識された異物のサムネイル画像には、当該異物が集塵室１０１に吸引されて存在しているか、あるいは、吸い込まれずに外部に在るかを示す付加表示がなされているので、使用者は、容易に異物の存在場所を知ることができる。
In addition, the thumbnail image of the recognized foreign matter has an additional display indicating whether the foreign matter is sucked into the
さらに、この構成例においては、表示画面１６Ｄに表示されているサムネイル画像が使用者によりクリックされると、検出された異物の実際の撮像画像が表示されると共に、その異物が画像認識された掃除位置の吸い込み部１４の前方の周辺撮像画像が表示される。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを知ることができて便利である。
Further, in this configuration example, when a thumbnail image displayed on the
特に、家具の隙間やベッドの下などに隠れていた異物を認識したときには、異物が画像認識された掃除位置の吸い込み部１４の前方の周辺撮像画像から、その異物を吸い込んでいなくても、異物の所在場所を認定することができる。そして、この構成例の電気掃除装置１は、カメラ１７３の撮像画像の認識結果から、電気掃除装置１が掃除対象としていない場所や掃除が不可能な場所における異物をも認識することができる。したがって、この構成例の電気掃除装置１は、使用者が紛失してしまったと思っていたものを、掃除対象床面などに在るか否かにかかわらず、異物として認識し、使用者にその存在位置と共に知らせることができ、非常に便利である。なお、家具の隙間やベッドの下などにおいては、カメラに付加されている照明部により明るく照明されて、カメラにより撮像されるものであることは言うまでもない。
In particular, when a foreign object hidden behind a furniture gap or under a bed is recognized, even if the foreign object is not sucked in from the peripheral captured image in front of the
また、冒頭で説明した特許文献１の電気掃除機は、吸い込み口の面積より大きいと判断した物に対しては、吸引動作を停止することができるが、大きさが吸い込み口の面積と比較して大きいかどうかの判断が困難である電気コンセントコードやＡＣアダプタケーブルなどの紐状の物や、レジ袋などは吸引を停止しない恐れがある。また、吸い込み口の面積よりも小さいものであっても、吸い込まない方がよいと考えられる異物、例えばマイクロＳＤカード、ＳＤカードやＳＩＭカードなどの小型のメディアや、尖ったネジや釘などを吸い込まないようにすることはできないという問題がある。
Moreover, although the vacuum cleaner of
これに対して、上述した第１の構成例の電気掃除装置によれば、電気コンセントコードやＡＣアダプタケーブルなどの紐状の物や、レジ袋、マイクロＳＤカード、ＳＤカードやＳＩＭカードなどの小型のメディアや、ネジや釘などは、画像登録メモリに登録しておくと共に、吸引動作を停止制御するように定義しておくようにしているので、それらの吸引動作を停止制御すべき異物は画像認識により確実に認識して、停止制御することができるという効果がある。 On the other hand, according to the electric vacuum cleaner of the first configuration example described above, a string-like object such as an electrical outlet cord or an AC adapter cable, or a small size such as a shopping bag, a micro SD card, an SD card or a SIM card. Media, screws, nails, etc. are registered in the image registration memory and defined so that the suction operation is controlled to stop. There is an effect that it is possible to recognize and reliably stop by the recognition.
また、上述した第１の構成例の電気掃除装置によれば、掃除動作を終了したときには、その掃除動作中に画像認識した異物のサムネイル画像の一覧が表示画面に表示されるので、使用者は、その一覧画像を見ることで、集塵室から取り出す必要がある異物があるか否かを容易に知ることができる。しかも、サムネイル画像をクリックすると、実際に撮像された異物の画像が表示画面に拡大表示されるので、サムネイル画像では詳細が不明で不確かな異物であっても、その撮像画像の拡大画像により、異物を確実に確認することができる。 Further, according to the electric cleaning device of the first configuration example described above, when the cleaning operation is finished, a list of thumbnail images of the foreign objects recognized during the cleaning operation is displayed on the display screen. By looking at the list image, it is possible to easily know whether there is a foreign object that needs to be taken out from the dust collection chamber. In addition, when the thumbnail image is clicked, the image of the actually captured foreign object is enlarged and displayed on the display screen. Therefore, even if the thumbnail image is an unknown or uncertain foreign object, Can be surely confirmed.
［この発明に関連する電気掃除装置の第２の構成例］
この発明に関連する第２の構成例の電気掃除装置は、自走式の電気掃除機と、表示部を備える携帯機器、例えば携帯電話端末とからなる。この第２の構成例では、自走式の電気掃除機と、携帯電話端末とは無線通信路を通じて接続される。無線通信路は、以下の例では、Bluetooth（登録商標）規格の近距離無線通信路が用いられる。無線通信路は、これに限らず、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）や、その他の無線通信手段を用いることもできる。
[Second structural example of electric vacuum cleaner related to the present invention]
The electric vacuum cleaner of the 2nd structural example relevant to this invention consists of a self-propelled electric vacuum cleaner and a portable apparatus provided with a display part, for example, a mobile telephone terminal. In this second configuration example, the self-propelled vacuum cleaner and the mobile phone terminal are connected through a wireless communication path. As the wireless communication path, a Bluetooth (registered trademark) standard short-range wireless communication path is used in the following example. The wireless communication path is not limited to this, and a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark) or other wireless communication means may be used.
［電気掃除機３０の概要］
図６は、第２の構成例の電気掃除装置を構成する自走式の電気掃除機３０を説明するための図である。図６（Ａ）は、この例の自走式の電気掃除機３０を、その吸い込み口３１を備える底面３０ａ側を示す図、図６（Ｂ）は、この例の自走式の電気掃除機３０を、掃除動作時の進行方向から見た図である。なお、図６（Ａ）において、矢印ＡＲは、自走式の電気掃除機３０の掃除動作時の進行方向（前方方向）を示している。
[Outline of electric vacuum cleaner 30]
FIG. 6 is a diagram for explaining a self-propelled
図６（Ａ）に示すように、自走式の電気掃除機３０は、ほぼ円盤形状の筐体を備え、その底面３０ａに吸い込み口３１が設けられている。そして、電気掃除機３０の筐体内には、図６（Ｂ）において点線で示すように、吸い込み口３１に連通して、吸い込んだ掃除対象物及び掃除対象物以外の異物を捕集する集塵室３２が設けられている。なお、図６では、図示を省略したが、電気掃除機３０の筐体内には、集塵室３２に掃除対象物及び掃除対象物以外の異物を吸い込むようにするための吸引駆動部が設けられている。
As shown in FIG. 6A, the self-propelled
この構成例の電気掃除機３０は、図６（Ａ）に示すように、吸い込み口３１内に、フレキシブルブラシ３３及びローリングブラシ３４を備える。そして、電気掃除機３０の筐体の底面３０ａの吸い込み口３１位置に対して掃除動作時の進行方向の前方のほぼ中央には、ローラ３５が設けられている。このローラ３５は、その回転軸の軸方向が底面３０ａに平行な面内において回動可能に取り付けられている。このため、ローラ３５の回転軸の軸心方向は、矢印ＡＲに直交する方向のみならず、任意の方向を向くことが可能とされている。そして、底面３０ａの吸い込み口３１の両側には、図６では図示を省略する走行駆動部により回転駆動される車輪（ホイール）３６，３７が設けられている。
The
車輪３６，３７が走行駆動部により駆動されて回転することにより、電気掃除機３０は自力走行するが、前述したように、ローラ３５は任意の方向を回転軸方向として回動可能であるので、電気掃除機３０は、矢印ＡＲの方向に直進走行するだけでなく、回転運動したり、矢印ＡＲに対して交差する任意の方向を進行方向として走行移動したりすることが可能とされている。また、走行駆動部による車輪の回転方向制御により、電気掃除機３０は、矢印ＡＲとは逆側に後ろ向き走行することもできる。
When the
そして、この構成例では、底面３０ａの吸い込み口３１の近傍には、底面３０ａに垂直な方向を撮影方向（光軸方向）とするようにカメラ３８１及び３８２が設けられている。これらのカメラ３８１及び３８２は、第１の構成例の電気掃除装置１におけるカメラ１７１及び１７２に対応する。
In this configuration example,
また、電気掃除機３０のローラ３５の前方の筐体側面には、撮影方向（光軸方向）が底面３０ａにほぼ平行な方向となるようにカメラ３８３が設けられている。さらに、電気掃除機３０のローラ３５の後方の筐体側面には、撮影方向（光軸方向）が底面３０ａにほぼ平行な方向となるようにカメラ３８４が設けられている。カメラ３８３は、自走式の電気掃除機３０の走行方向の前方を所定の画角で撮影する。また、カメラ３８４は、自走式の電気掃除機３０の走行方向の後方を所定の画角で撮影する。これらカメラ３８３，３８４は、第１の構成例の電気掃除装置１におけるカメラ１７３に対応する。
A
すなわち、第２の構成例においては、異物を認識した位置の周辺画像は、電気掃除機３０の進行方向の前方の撮像画像のみではなく、後方の撮像画像をも、認識した異物（異物ＩＤ）と対応付けて記憶するようにする。
That is, in the second configuration example, the peripheral image of the position where the foreign object is recognized is not only the front captured image in the traveling direction of the
なお、カメラ３８３及び３８４は、所定の画角を有するので、少なくとも電気掃除機３０の進行方向の清掃対象の床面を撮像可能であれば、その撮影方向（光軸方向）は底面３０ａに平行である必要はない。
Since the
この第２の構成例では、電気掃除機３０は画像認識機能を有せず、また、表示部も有しない。これらの画像認識機能及び表示部は、電気掃除機３０と無線通信路を通じて接続される携帯電話端末が備えるものとされる。
In the second configuration example, the
以上の４個のカメラ３８１〜３８４は、第１の構成例と同様に、例えばＣＣＤ撮像素子や、ＣＭＯＳ撮像素子と撮像レンズを含んで構成されている。
The four
［第２の構成例の電気掃除装置の回路構成］
図７は、この第２の構成例の電気掃除機３０と、当該電気掃除機３０と無線接続される携帯電話端末４０の電気的回路構成を示す図である。
[Circuit configuration of the vacuum cleaner of the second configuration example]
FIG. 7 is a diagram illustrating an electrical circuit configuration of the
すなわち、電気掃除機３０は、電気的回路構成として、図７に示すように、マイクロコンピュータを搭載する制御部３０１に対して、システムバス３００を通じて、駆動制御部３０２と、送信画像情報生成部３０３と、操作部３０４と、無線通信部３０５と、カメラ３８１，３８２，３８３，３８４が接続されている。この図７では、説明を簡単にするために、カメラインターフェースは図示を省略してある。
That is, as shown in FIG. 7, the
駆動制御部３０２に対しては、吸引駆動部３０６と、走行駆動部３０７が接続されている。吸引駆動部３０６は、吸い込み口３１から掃除対象物及び吸い込み可能な掃除対象物以外の異物を吸引するためのものである。走行駆動部３０７は、車輪（ホイール）３６，３７を回転駆動させて、電気掃除機３０を自分自身で走行（自走）させるようにする。
A
制御部３０１は、操作部３０４に設けられている掃除開始ボタンの押下操作入力を受けたときには、駆動制御部３０２を通じて、駆動開始制御信号を吸引駆動部３０６及び走行駆動部３０７に供給して駆動を開始させ、電気掃除機３０による自走しながらの自動掃除動作を開始させるようにする。また、制御部３０１は、操作部３０４に設けられている掃除停止ボタンの押下操作入力を受けたとき、あるいは、制御部３０１に内蔵するメモリに記憶されている掃除支援プログラムに基づいて掃除が完了したと判断したときには、駆動制御部３０２を通じて、駆動停止制御信号を吸引駆動部３０６及び走行駆動部３０７に供給して、吸引駆動部３０６及び走行駆動部３０７の駆動を停止させ、電気掃除機３０による掃除動作を停止させるようにする。
When the
さらに、この第２の構成例においては、制御部３０１は、内蔵するメモリに記憶されている掃除支援プログラムに基づいて、無線通信部３０５を通じて携帯電話端末４０から強制停止制御信号を受信したときには、当該強制停止制御信号を、駆動制御部３０２を通じて吸引駆動部３０６及び走行駆動部３０７に供給して、その駆動を強制停止させ、電気掃除機３０による掃除動作を強制停止させるようにする。
Further, in the second configuration example, when the
カメラ３８１〜３８４のそれぞれは、第１の構成例と同様にして、制御部３０１により、掃除動作中は撮像動作を行うように制御される。なお、この第２の構成例においても、カメラ３８１，３８２，３８３，３８４のそれぞれには、例えばＬＥＤからなる照明部３８１Ｌ，３８２Ｌ，３８３Ｌ，３８４Ｌが付加されており、第１の構成例と同様にして、制御部３０１により点灯制御される。
Each of the
送信画像情報生成部３０３は、電気掃除機３０が掃除動作中において、カメラ３８１〜３８４のそれぞれからの撮像画像情報の送信画像情報を生成する。この場合に、送信画像情報生成部３０３は、カメラ３８１〜３８４のそれぞれからの撮像画像情報には、いずれのカメラの撮像画像情報であるかのカメラ識別情報（カメラＩＤ）を付与するようにする。また、送信画像情報生成部３０３は、カメラ３８１〜３８４のそれぞれからの撮像画像情報を、適宜、データ圧縮などのエンコード処理を施して、送信画像情報を生成し、無線通信部３０５に転送する。
The transmission image
無線通信部３０５は、前述したように、この構成例では、Bluetooth（登録商標）規格の近距離無線通信の機能を有する。無線通信部３０５は、送信画像情報生成部３０３からの送信画像情報を、携帯電話端末４０に無線送信するようにする。無線通信部３０５は、また、携帯電話端末４０から送られてくる画像認識結果に基づく強制停止制御信号を受信して、システムバス３００を通じて制御部３０１に渡す。
As described above, the
前述したように、制御部３０１は、無線通信部３０５を通じて強制停止制御信号を受信すると、当該強制停止制御信号を、駆動制御部３０２を通じて吸引駆動部３０６及び走行駆動部３０７に供給して、その駆動を強制停止させ、電気掃除機３０による掃除動作を強制停止させるようにする。
As described above, when the
なお、図７の電気掃除機３０の構成において、駆動制御部３０２及び送信画像情報生成部３０３の機能は、制御部３０１がソフトウエア機能として構成することができるものである。
In the configuration of the
次に、この第２の構成例で用いられる携帯電話端末４０の構成例を説明する。この構成例における携帯電話端末４０は、いわゆるスマートフォン（図８ではスマホと略称した）と呼ばれる高機能携帯電話端末の構成である。すなわち、この例の携帯電話端末４０は、マイクロコンピュータを備える制御部４０１により、後述する各部が制御される構成を備える。
Next, a configuration example of the mobile phone terminal 40 used in the second configuration example will be described. The cellular phone terminal 40 in this configuration example is a configuration of a high-function cellular phone terminal called a so-called smartphone (abbreviated as a smartphone in FIG. 8). That is, the mobile phone terminal 40 of this example has a configuration in which each unit described later is controlled by a
制御部４０１には、システムバス４００を介して、無線通信部４０２と、表示制御部４０３と、タッチパネルインターフェース４０４と、撮像画像記憶部４０５と、画像認識部４０６と、画像登録メモリ４０７と、外部インターフェース４０８と、表示画像生成部４０９と、携帯電話機能部４１０と、カメラ部４１１とが接続されている。
The
無線通信部４０２は、前述したように、この構成例では、Bluetooth（登録商標）規格の近距離無線通信機能を有し、電気掃除機３０との間で無線通信する。この無線通信部４０２は、携帯電話端末４０が携帯電話基地局を介して行う携帯電話通信とは全く独立した無線通信を行う。
As described above, in this configuration example, the
表示制御部４０３には、例えばＬＣＤからなる表示部４１２が接続されている。タッチパネルインターフェース４０４には、タッチパネル４１３が接続されている。タッチパネル４１３は、指やペン型の位置指示器によるタッチ操作入力を受け付け、そのタッチ操作入力がなされた位置情報を出力する。タッチパネル４１３は、透明のもので、表示部４１２の表示画面、この例ではＬＣＤ画面に重畳されて配設されている。利用者は、このタッチパネル４１３を通じて、表示部４１２の表示画面に表示されている表示画像を観視することができ、このタッチパネル４１３に対して、あたかも表示画像に対してタッチ操作入力するように指示操作入力をすることができる。タッチパネル４１３からのタッチ操作入力の位置情報は、表示画面に表示されている表示画像上の位置情報に対応している。
A
制御部４０１は、タッチパネルインターフェース４０４を通じてタッチパネル４１３からのタッチ操作入力の位置情報を受けて、利用者によるタッチパネル４１３での指示操作入力およびその操作位置に応じて設定された制御処理を判別して、その判別結果に応じた制御処理を実行する。なお、タッチパネル４１３からのタッチ操作入力の位置情報に応じた処理機能を制御部４０１が実行するための処理プログラムは、制御部４０１が内蔵するメモリに格納されている。
The
表示制御部４０３は、第１の構成例における表示制御部２０３と同様の機能を備え、表示部４１２の表示画面に表示する表示画像データを格納するビデオＲＡＭを有し、制御部４０１の制御に基づき、携帯電話端末４０としての画像表示を行うと共に、後述する掃除支援プログラムを起動させたときには前述したサムネイル画像等を表示する。
The
撮像画像記憶部４０５は、無線通信部４０２を通じて電気掃除機３０から送られてくる送信画像情報から、カメラ３８１〜３８４の撮像画像情報のそれぞれをデコードして分離して、画像認識部４０６での画像認識用として一時記憶する。そして、撮像画像記憶部４０６は、送信画像情報からカメラ３８１〜３８４の撮像画像情報のそれぞれをデコードして分離する機能を除くと、第１の構成例の撮像画像メモリ２０９と同様の機能を備える。
The captured
画像認識部４０６は、電気掃除機３０における掃除動作を支援するプログラムが起動されているときに起動されて、前述した第１の構成例の画像認識部２１０と同様の処理動作を実行する。ただし、この第２の構成例においては、画像認識部４０６で異物が認識された時には、制御部３０１は、認識された異物の異物ＩＤに対応して画像登録メモリ４０７に記憶されている吸引駆動制御態様を参照するが、当該吸引駆動制御態様が停止（強制停止）であったときには、強制停止制御信号を、無線通信部４０２を通じて電気掃除機３０に無線送信するようにする。
The
また、画像登録メモリ４０７も、前述した第１の構成例の画像登録メモリ２１１と同様の機能を有する。すなわち、この第２の構成例では、第１の構成例における表示部１６の代わりに、携帯電話端末４０の表示部４１２を用いることで、第１の構成例で説明したのと同様にして、カメラ３８１〜３８４で撮像した異物の撮像画像を、画像登録メモリ４０７に登録して記憶させることができる。また、この第２の構成例においては、第１の構成例と同様に、外部インターフェース４０８を通じて、ＵＳＢメモリやＳＤカードから異物の撮像画像を、画像登録メモリ４０７に登録して記憶させることができる。また、携帯電話端末４０が備えるカメラ部４１１で異物を撮像して、画像登録メモリ４０７に登録して記憶させることもできる。さらには、携帯電話機能部４１０により、インターネットを通じて異物の撮像画像を保持しているＷｅｂサイトのサーバにアクセスして、当該サーバから必要な異物の撮像画像を取得して、それを画像登録メモリ４０７に登録して記憶させることもできる。
The
以上の画像登録メモリ４０７への異物の画像の登録のための処理を支援するプログラムは、予め、インターネットを通じて電気掃除機３０の機能を支援するＷｅｂサイトのサーバからダウンロードされて、携帯電話端末４０の制御部４０１が内蔵するメモリに格納される。また、後述する電気掃除機３０の掃除動作時の異物認識を実行する掃除支援プログラムも、同様にして、前記サーバからダウンロードされて、携帯電話端末４０の制御部４０１が内蔵するメモリに格納される。
The program that supports the processing for registering the image of the foreign object in the
表示画像生成部４０９は、電気掃除機３０における掃除動作を支援するプログラムが起動されているときに起動されて、第１の構成例の表示画像生成部２１３と同様の処理動作を行う。
The display
携帯電話機能部４１０は、送話器部、受話器部を含み、携帯電話網を通じた通話や電子メールなどの携帯電話の機能を実行する処理機能部である。この構成例では、携帯電話の機能は、この発明とは直接には関係が無いので、この明細書では、その詳細な説明は省略する。
The cellular
なお、図７の携帯電話端末４０の構成において、画像認識部４０６、撮像画像記憶部４０５のメモリを除く処理機能部分及び表示画像生成部４０９の機能は、制御部４０１がソフトウエア機能として構成することができるものである。
In the configuration of the mobile phone terminal 40 of FIG. 7, the processing unit excluding the memory of the
［第２の構成例における掃除動作時の処理の説明］
この第２の構成例においては、使用者は、電気掃除機３０の操作部３０４の掃除開始ボタンを押下するに先立ち、携帯電話端末４０において、電気掃除機３０における掃除動作を支援するプログラムを起動させるようにする。そして、使用者が、電気掃除機３０の操作部３０４の掃除開始ボタンを押下すると、電気掃除機３０及び携帯電話端末４０において、以下に説明するような処理動作が実行される。
[Description of processing during cleaning operation in second configuration example]
In the second configuration example, the user activates a program that supports the cleaning operation in the
図８は、この時の電気掃除機３０における処理動作の流れの例を説明するためのフローチャートである。また、図９は、掃除支援プログラムが起動されているときの携帯電話端末４０の処理動作の流れの例を説明するためのフローチャートである。
FIG. 8 is a flowchart for explaining an example of the flow of processing operations in the
まず、図８を参照して、電気掃除機３０の処理動作について説明する。なお、以下の説明は、制御部３０１は、駆動制御部３０２及び送信画像生成部３０３の機能をソフトウエア機能として実行する場合としている。
First, the processing operation of the
制御部３０１は、掃除スタートボタンが押下されたか否か判別して、掃除スタートされるのを待つ（ステップＳ３０１）。ステップＳ３０１で、掃除スタートボタンが押下されたと判別したときには、制御部３０１は、吸引駆動部３０６及び走行駆動部３０７を駆動開始させると共に、カメラ３８１〜３８４のそれぞれに対して画像の撮像開始を指示する。さらに、無線通信部３０５により携帯電話端末４０との無線通信路を生成して、携帯電話端末４０と無線接続する（ステップＳ３０２）。
The
そして、制御部３０１は、掃除動作中のカメラ３８１〜３８４のそれぞれからの撮像画像を収集して、送信画像情報を生成し（ステップＳ３０３）、無線通信部３０５を通じて携帯電話端末４０に送信する（ステップＳ３０４）。
And the
そして、制御部３０１は、無線通信部３０５の受信信号を監視して、携帯電話端末４０から強制停止制御信号を受信したか否か判別する（ステップＳ３０５）。このステップＳ３０５で、強制停止制御信号を受信してはいないと判別したときには、制御部３０１は、掃除範囲の全ての掃除を完了したか否かにより、掃除の終了を検知したか否か判別し（ステップＳ３０６）、掃除の終了を検知していないときには、処理をステップＳ３０３に戻し、送信画像情報を生成して、携帯電話端末４０に無線送信しながら、掃除動作を継続するようにする。
Then, the
そして、ステップＳ３０５で、強制停止制御信号を携帯電話端末４０から受信したと判別したときには、制御部３０１は、吸引駆動部３０６及び走行駆動部３０７の駆動を停止させると共に、カメラ３８１〜３８４のそれぞれに対して画像の撮影停止を指示する。さらに、無線通信部３０５により携帯電話端末４０との無線通信路を切断する（ステップＳ３０７）。
When it is determined in step S305 that the forced stop control signal has been received from the mobile phone terminal 40, the
ステップＳ３０６で、掃除の終了を検知したときにも、制御部３０１は、処理をステップＳ３０７に進め、吸引駆動部３０６及び走行駆動部３０７の駆動を停止させると共に、カメラ３８１〜３８４のそれぞれに対して画像の撮影停止を指示し、さらに、無線通信部３０５により携帯電話端末４０との無線通信路を切断する。
Even when the end of cleaning is detected in step S306, the
以上で、電気掃除機３０での掃除動作時の処理は終了となる。
With the above, the process at the time of the cleaning operation in the
次に、図９を参照して、携帯電話端末４０での処理動作について説明する。なお、以下の説明は、制御部４０１は、画像認識部４０６、撮像画像記憶部４０５のメモリを除く処理機能部分及び表示画像生成部４０９の機能をソフトウエア機能として実行する場合としている。
Next, with reference to FIG. 9, the processing operation in the mobile phone terminal 40 will be described. In the following description, it is assumed that the
まず、制御部４０１は、掃除支援プログラムが起動されたか否か判別する（ステップＳ４０１）。このステップＳ４０１で、掃除支援プログラムが起動されてはいないと判別したときには、制御部４０１は、他の処理を実行し（ステップＳ４０２）、当該他の処理を終了した後、処理をステップＳ４０１に戻す。
First, the
そして、ステップＳ４０１で、掃除支援プログラムが起動されたと判別したときには、制御部４０１は、無線通信部４０２により電気掃除機３０との無線通信路を生成する（ステップＳ４０３）。その後、制御部４０１は、生成された無線通信路を通じて電気掃除機３０から送られてくる送信画像情報を受信して、カメラ３８１〜３８４のそれぞれからの撮像画像情報を分離して取得し、第１の構成例と同様にして、カメラ３８１〜３８４のそれぞれからの撮像画像と、画像登録メモリ４０７に記憶されている異物の画像とのパターンマッチングによる比較により画像認識処理を実行する（ステップＳ４０４）。
And when it determines with the cleaning assistance program having been started by step S401, the
そして、制御部４０１は、ステップＳ４０４での画像認識の結果、異物を認識したか否か判別する（ステップＳ４０５）。このステップＳ４０５で、異物を認識してはいないと判別したときには、制御部４０１は、電気掃除機３０により無線通信路が切断されたか否か判別する（ステップＳ４０９）。そして、このステップＳ４０９で、無線通信路が切断されたと判別したときには、制御部４０１は、電気掃除機３０における掃除動作が停止したと判断して、この処理ルーチンを終了する。
Then, the
また、ステップＳ４０９で、無線通信路が切断されてはいないと判別したときには、制御部４０１は、電気掃除機３０における掃除動作は継続していると判断して、処理をステップＳ４０４に戻し、このステップＳ４０４以降の処理を繰り返す。
If it is determined in step S409 that the wireless communication path is not disconnected, the
そして、ステップＳ４０５で、画像認識の結果、異物を認識したと判別したときには、制御部４０１は、アラームを鳴らすと共に、認識した異物のサムネイル画像を、表示部４１２の表示画面に表示する。アラームは、携帯電話機能部４１０が備える着信音のいずれかを用いたり、バイブレータによる振動を併用したりすることで行うことができる。このとき制御部４０１は、第１の構成例で説明したように、異物が集塵室３２内に在るか、吸い込まれずに外部に在るかを判定し、その判定結果を、図４（Ａ）に示したように、サムネイル画像に付加表示する（ステップＳ４０６）。
If it is determined in step S405 that the foreign object has been recognized as a result of the image recognition, the
次に、制御部４０１は、画像登録メモリ４０７の記憶内容を参照して、認識した異物の異物ＩＤに対応して記憶されている吸引駆動制御態様の情報を取得し、掃除動作の強制停止が必要か否か判別する（ステップＳ４０７）。
Next, the
このステップＳ４０７で、掃除動作の強制停止が必要ではないと判別したときには、制御部４０１は、強制停止制御信号を生成せずに、電気掃除機３０における掃除動作を継続させ、処理をステップＳ４０４に戻し、このステップＳ４０４以降の処理を繰り返す。
When it is determined in step S407 that the forced stop of the cleaning operation is not necessary, the
次に、ステップＳ４０７で、掃除動作の強制停止が必要であると判別したときには、制御部４０１は、吸引駆動部３０６及び走行駆動部の駆動を停止させる強制停止制御信号を生成し、無線通信部４０２を通じて電気掃除機３０に送信する（ステップＳ４０８）。その後、制御部４０１は、処理をステップＳ４０９に進め、このステップＳ４０９で、無線通信路が切断されたと判別するのを待って、この処理ルーチンを終了する。
Next, when it is determined in step S407 that the forced stop of the cleaning operation is necessary, the
［第２の構成例の効果］
以上のようにして、この第２の構成例の電気掃除装置によれば、自走式の電気掃除機３０による掃除動作中に、想定された掃除対象物以外の異物を画像認識により検出し、その検出した異物のサムネイル画像を、携帯電話端末４０の表示部４１２の表示画面に表示すると共に、アラームにより異物の検出を報知することができる。
[Effect of Second Configuration Example]
As described above, according to the electric vacuum cleaner of the second configuration example, during the cleaning operation by the self-propelled
したがって、使用者は、アラームにより自走式の電気掃除機３０が異物を検出したことを知り、携帯電話端末４０の表示画面のサムネイル画像を見ることにより、その異物が何であるかを即座に知ることができる。この場合に、使用者は、冒頭で説明した先行文献の場合のような再生操作は全く不要であり、非常に便利である。
Therefore, the user knows that the self-propelled
そして、この第２の構成例の場合には、表示部は、自走式の電気掃除機３０に設けられているのではなく、当該電気掃除機３０とは無線接続により離隔した位置にある携帯電話端末４０の表示部４１２を用いるようにするので、掃除中の自走式の電気掃除機３０のところに出向いて表示画面を見る必要がなく、便利である。
And in the case of this 2nd structural example, the display part is not provided in the self-propelled
そして、この第２の構成例においても、予め強制的に吸引動作を停止した方が良い異物については、そのことを登録しておくことで、自動的に吸引動作を停止させることができ、電気掃除機３０の破損や故障などを防止し、また、清浄に保ちたい異物が、集塵室３２に吸引されてしまわないようにすることができる。
Also in this second configuration example, for a foreign object that should be forcibly stopped in advance, it is possible to automatically stop the suction operation by registering it. It is possible to prevent the
また、認識された異物のサムネイル画像には、当該異物が集塵室３２に吸引されて存在しているか、あるいは、吸い込まれずに外部に在るかを示す付加表示がなされているので、使用者は、容易に異物の存在場所を知ることができる。
In addition, the thumbnail image of the recognized foreign matter is additionally displayed to indicate whether the foreign matter is sucked into the
なお、この第２の構成例においても、表示部４１２の表示画面に表示されているサムネイル画像が使用者によりクリックされると、検出された異物の実際の撮像画像が表示されると共に、その異物が画像認識された掃除位置の吸い込み部の前方及び後方の周辺撮像画像が表示されるようにされる。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを容易に知ることができて便利である。
Also in this second configuration example, when a thumbnail image displayed on the display screen of the
［第２の構成例の変形例］
なお、以上の第２の構成例の説明では、電気掃除機３０の掃除開始及び停止は、当該電気掃除機３０が備える操作部３０４に設けられる操作ボタンを操作することにより行うようにしたが、携帯電話端末４０で掃除支援プログラムが起動されているときには、電気掃除機３０の掃除開始及び停止も、携帯電話端末４０のタッチパネル４１３を通じて指示することができるように構成することができる。
[Modification of Second Configuration Example]
In the above description of the second configuration example, the cleaning start and stop of the
また、上述の第２の構成例では、電気掃除機３０は画像認識部を備えなかったが、電気掃除機３０にも、画像認識部を設けてもよい。その場合には、電気掃除機３０の画像登録メモリには、使用者が異物を画像登録するようにし、携帯電話端末４０の画像登録メモリ４０７には、Ｗｅｂサイトのサーバに保持されている異物の画像を、インターネットを通じて取得して、登録保持するようにするとよい。このようにすれば、使用者は、自分が特に異物として認識させたい物の画像のみを、電気掃除機３０に登録するようにすればよく、その他の一般的な異物は、使用者が登録しなくても、携帯電話端末４０で認識されるようにすることができる。
In the second configuration example described above, the
さらに、電気掃除機３０に画像認識部を設けた場合には、携帯電話端末４０には、画像認識部を設けずに、携帯電話端末４０は、表示機能のみを用いるようにしてもよい。
Furthermore, when the
なお、上述の第２の構成例の説明では、携帯機器は、携帯電話端末４０を用いた例としたが、表示部を備える携帯機器であればどのような携帯機器であってもよく、例えばパッド型携帯端末、タブレット型端末、ウェアラブル端末、パーソナルコンピュータであってもよい。また、携帯機器に限らず、デスクトップ型機器、据え置き型機器など、表示部を備える機器全般でも適用できる。 In the above description of the second configuration example, the mobile device is an example using the mobile phone terminal 40. However, any mobile device including a display unit may be used, for example, It may be a pad type portable terminal, a tablet type terminal, a wearable terminal, or a personal computer. Further, the present invention can be applied not only to portable devices but also to all devices including a display unit, such as desktop devices and stationary devices.
また、第１の構成例においても、第２の構成例と同様、別体の表示部として、携帯電話端末を利用することもできる。一方、第２の構成例においても、電気掃除機３０に表示部を持たせ、別体の携帯電話端末を利用せず、第１の構成例と同様の構成にすることもできる。
Also in the first configuration example, as in the second configuration example, a mobile phone terminal can be used as a separate display unit. On the other hand, also in the second configuration example, the
なお、第２の構成例においては、吸引駆動部３０６の吸引駆動制御態様については停止（強制停止）の例を示したが、第１の構成例同様、「吸引ターボ駆動」、「吸引駆動強め」または「吸引駆動弱め」、「吸引駆動最弱」など、種々の態様が考えられる。
In the second configuration example, the suction drive control mode of the
また、第２の構成例においては、吸引駆動制御態様のみならず、走行駆動部３０７の走行駆動制御態様も独立して、あるいは、吸引駆動制御と並行した制御態様として考えられ、停止（強制停止）の他、「走行駆動高速」、「走行駆動低速」、「走行駆動超低速」などの制御態様を用いることができる。また、走行駆動部３０７の走行駆動制御態様としては、例えばカメラ３８３の撮像画像から画像認識により検知した異物に応じて、電気掃除機が認識した異物を回避するように、「走行駆動右折」、「走行駆動左折」、あるいは「走行駆動前進」、「走行駆動後進」、さらに「走行駆動停止して右回転」、「走行駆動停止して左回転」など、多様な態様で走行駆動制御するようにしてもよい。この異物を回避するように走行制御する場合には、吸引駆動部３０６の吸引駆動制御は、合わせて行っても、また、行わなくてもよい。
Further, in the second configuration example, not only the suction drive control mode but also the travel drive control mode of the
［この発明の実施形態］
第２の構成例においては、画像認識処理が、電気掃除機３０とは無線通信路を通じて接続された携帯機器で行われるために、接続された携帯機器の能力によっては、高度な画像認識処理ができない場合が想定される。この発明の実施形態は、インターネット上のサーバ(クラウド)を用いて、その問題点を改善することができるように構成した例である。
[Embodiment of the Invention]
In the second configuration example, since the image recognition process is performed by a portable device connected to the
図１０は、この発明の実施形態の電気掃除装置の電気的構成例を示すものである。この発明の実施形態の電気掃除装置は、自走式の電気掃除機３０Ａと、当該電気掃除機３０Ａと通信ネットワーク５０を介して接続されるサーバ装置６０とから構成される。通信ネットワーク５０は、この例では、インターネットと、当該インターネットに接続可能である家庭内無線ＬＡＮを含む。サーバ装置６０は、例えば電気掃除機３０Ａに、掃除支援プログラムを提供する当該電気掃除機３０Ａの販売会社が運営するサーバ装置であり、この発明の実施形態では、後述するように、電気掃除機３０Ａから送られてくるカメラ３８１〜３８４のそれぞれからの撮像画像情報について、異物の画像認識処理をする機能を備えている。
FIG. 10 shows an example of the electrical configuration of the electric vacuum cleaner according to the embodiment of the present invention. The vacuum cleaner according to the embodiment of the present invention includes a self-propelled
自走式の電気掃除機３０Ａは、吸引掃除機能と走行機能に関しては、第２の構成例の自走式の電気掃除機３０と同様の構成を備える。しかし、この発明の実施形態の電気掃除機３０Ａは、画像認識された異物を表示するための表示部を備える点と、サーバ装置６０からの画像認識結果を待って吸引制御及び走行制御を行うように構成した点が、第２の構成例における電気掃除機３０とは異なる。
The self-propelled
図１０に示す電気掃除機３０Ａの構成において、第２の構成例の電気掃除機３０と同一部分には、同一参照符号を付して、その説明を省略する。すなわち、電気掃除機３０Ａにおいては、制御部３０１Ａに対して、システムバス３００を介して、第２の構成例と同様に、駆動制御部３０２と、送信画像生成部３０３と、操作部３０４とが接続されると共に、これに加えて、さらに、表示部３１２が接続されている表示制御部３１１と、無線通信部３１３と、非掃除対象物検出部３１４と、現在位置検出部３１５とが接続される。
In the configuration of the
表示部３１２は、例えばＬＣＤからなり、図示は省略するが、電気掃除機３０Ａの筐体の前記底面３０ａ（図６参照）とは反対側の上面に、その表示画面が露呈するように設けられている。
The
無線通信部３１３は、通信ネットワーク５０に含まれる当該電気掃除機３０Ａが使用される家庭などに設けられている無線ＬＡＮに接続され、インターネットを通じてサーバ装置６０との間で、通信ネットワーク５０を通じて画像データや画像認識結果のデータのやり取りをするための通信機能を備える。なお、この発明の実施形態の電気掃除機３０Ａは、掃除動作を開始したときには、記憶されているサーバ装置６０と通信路を接続するために、サーバ装置６０のアドレス情報などを保持している。
The
非掃除対象物検出部３１４は、登録されている画像と比較して画像認識するまでの機能は有しないが、カメラ３８１〜３８４のそれぞれからの撮像画像について、大きさが予め設定された大きさ以上のものであるか否か、また、貴金属のように光を当てた時の反射光の光度が所定以上であるものであるか否かなどを判定して、掃除対象物以外の非掃除対象物つまり異物であるか否かを認識するようにする機能を有する。すなわち、非掃除対象物検出部３１４は、異物検出部を構成する。非掃除対象物検出部３１４においては、カメラ３８３及び３８４のそれぞれからの撮像画像については、掃除対象の床面に存在する物のみを、検出対象とするように構成されている。床面以外に存在する物は、掃除動作において、吸引駆動及び走行駆動に影響を与えないからである。
The non-cleaning
現在位置検出部３１５は、この実施形態では、ＧＰＳ（Global Positioning System）測位機能部を備え、電気掃除機３０Ａの現在位置を検出する。この実施形態では、検出された現在位置情報は、後述するように、電気掃除機３０Ａからサーバ装置６０に送信するカメラ３８１〜３８４のそれぞれからの撮像画像情報に付加される。この現在位置情報は、サーバ装置６０における画像認識において、紙幣や身の回り品など、国や地域に応じた特有の物があることを考慮するために用いられる。
In this embodiment, the current
前述したように、サーバ装置６０は、電気掃除機３０Ａから送られてくるカメラ３８１〜３８４のそれぞれからの撮像画像情報について異物の画像認識処理をする機能を備えている。図１０に示すサーバ装置６０の構成は、便宜上、この異物の画像認識処理機能部のみの構成を示したものである。
As described above, the
すなわち、サーバ装置６０は、通信ネットワーク５０に接続されて、電気掃除機３０Ａと通信するための通信インターフェース６０１と、撮像画像記憶部６０２と、画像認識部６０３と、画像登録メモリ６０４と、認識異物情報生成部６０５を備えている。
That is, the
撮像画像記憶部６０２は、前述の第２の構成例の携帯電話端末４０における撮像画像記憶部４０５と同様の機能を備え、通信インターフェース６０１を通じて受信した電気掃除機３０Ａから送られてくる送信画像情報から、カメラ３８１〜３８４の撮像画像情報のそれぞれをデコードして分離して、画像認識部６０３での画像認識用として一時記憶する。そして、撮像画像記憶部６０２は、送信画像情報からカメラ３８１〜３８４の撮像画像情報のそれぞれをデコードして分離する機能を除くと、第１の構成例の撮像画像メモリ２０９と同様の機能を備える。
The captured
画像認識部６０３は、前述の第２の構成例の携帯電話端末４０における画像認識部４０６と同様の機能を備える。また、画像登録メモリ６０４も、前述した第１の構成例の画像登録メモリ２１１と同様の機能を有するが、この発明の実施形態の画像登録メモリ６０４は、多種多様な異物の画像を登録して記憶保持する。また、画像登録メモリ６０４には、国や地域によって異なる異物、例えば紙幣や硬貨などに関しては、それが発行される国などの情報も合わせて記憶されている。
The
なお、電気掃除機３０Ａからサーバ装置６０に送られてくる撮像画像情報には、電気掃除機３０Ａの現在位置の情報が含まれている。サーバ装置６０は、この現在位置の情報から、電気掃除機３０Ａが掃除を行っている国や地域を認識し、国や地域によって異なる異物、例えば紙幣や硬貨について、画像登録メモリ６０４から、その現在位置により特定される国の紙幣や硬貨を、画像認識の比較用として読み出すようにする。すなわち、例えば日本ならば、１万円札、５千円札、２千円札、千円札、５００円玉、１００円玉、５０円玉、１０円玉、５円玉、１円玉、米国ならば、ドル札、ドル貨、セント貨、さらに、ＥＵ圏ならばユーロ、中国ならば元というように、各国毎の比較画像を利用する。もちろん、旧札や古銭を含め、全ての国の、あらゆる年代の紙幣や硬貨を、画像認識の比較用として読み出すようにすることもできる。
Note that the captured image information sent from the vacuum cleaner 30A to the
認識異物情報生成部６０５は、画像認識部６０３からの画像認識結果に基づいて、画像認識部６０３が異物を画像認識したときに、画像登録メモリ６０４から、その認識した異物の異物ＩＤと、サムネイル画像と、吸引駆動制御態様の情報とを取得して、それらを認識した異物の情報として、通信インターフェース６０１を通じて電気掃除機３０Ａに送信するようにする。また、認識異物情報生成部６０５は、画像認識部６０３から認識した異物が電気掃除機３０Ａの集塵室内に存在するか、吸い込まれずに外部に在るかの所在情報も、認識異物情報に含めて電気掃除機３０Ａに送るようにする。
When the
そして、認識異物情報生成部６０５は、電気掃除機３０Ａから、使用者が表示部３１２に表示されたサムネイル画像をクリックしたことによる詳細画像情報の要求を受けたときには、撮像画像記憶部６０２に記憶されている撮像画像情報を、その要求に対応する情報をして、通信インターフェース６０１を通じて電気掃除機３０Ａに送信するようにする。
The recognized foreign object
なお、この発明の実施形態における画像登録メモリ６０４には、図示は省略するが、登録された異物について、それが高価値の骨董品、高価値の古銭、プレミアのついた高価な切手などのプレミア情報も記憶されている。サーバ装置６０は、認識異物情報に、これらのプレミア情報を含めて送信するようにする。
Although not shown in the
［この発明の実施形態における掃除動作時の処理の説明］
この発明の実施形態においては、使用者は、電気掃除機３０Ａの操作部３０４の掃除開始ボタンを押下する。すると、電気掃除機３０Ａ及びサーバ装置６０において、以下に説明するような処理動作が実行される。
[Description of Processing During Cleaning Operation in Embodiment of the Invention]
In the embodiment of the present invention, the user presses the cleaning start button of the
図１１及び図１２は、この時の電気掃除機３０Ａにおける処理動作の流れの例を説明するためのフローチャートである。また、図１３は、サーバ装置６０の処理動作の流れの例を説明するためのフローチャートである。
FIG.11 and FIG.12 is a flowchart for demonstrating the example of the flow of processing operation in the
まず、図１１及び図１２を参照して、電気掃除機３０Ａの処理動作について説明する。なお、以下の説明は、制御部３０１Ａは、駆動制御部３０２、送信画像生成部３０３及び非掃除対象物検出部３１４の機能をソフトウエア機能として実行する場合としている。
First, the processing operation of the
制御部３０１Ａは、掃除スタートボタンが押下されたか否か判別して、掃除スタートされるのを待つ（ステップＳ３１１）。ステップＳ３１１で、掃除スタートボタンが押下されたと判別したときには、制御部３０１Ａは、吸引駆動部３０６及び走行駆動部３０７を駆動開始させると共に、カメラ３８１〜３８４のそれぞれに対して画像の撮像開始を指示する。さらに、無線通信部３１３によりサーバ装置６０との通信路を生成する（ステップＳ３１２）。
The
そして、制御部３０１Ａは、掃除動作中のカメラ３８１〜３８４のそれぞれからの撮像画像を収集して、送信画像情報を生成し、現在位置検出部３１５で検出した現在位置情報と共に、無線通信部３１３を通じてサーバ装置６０に送信する（ステップＳ３１３）。
Then, the
次に、制御部３０１Ａは、カメラ３８１〜３８４のそれぞれからの撮像画像について、掃除対象物以外の異物を、前述したように、大きさや輝度に基づいて検出する処理を行う（ステップＳ３１４）。そして、制御部３０１Ａは、掃除対象物以外の異物の存在を検出したか否か判別し（ステップＳ３１５）、異物の存在を検出したと判別したときには、駆動制御部３０２を通じて吸引駆動部３０６及び走行駆動部３０７に、一時停止指示信号を供給して、掃除動作を一時停止する（ステップＳ３１６）。そして、制御部３０１Ａは、サーバ装置６０からの認識異物情報を受信したか否か判別する（ステップＳ３１７）。
Next, as described above, the
ステップＳ３１５で、異物の存在を検出してはいないと判別したときにも、制御部３０１Ａは、処理をステップＳ３１７にジャンプさせて、サーバ装置６０からの認識異物情報を受信したか否か判別する。
Even when it is determined in step S315 that the presence of a foreign object has not been detected, the
そして、ステップＳ３１７で、サーバ装置６０からの認識異物情報は受信してはいないと判別したときには、制御部３０１Ａは、掃除動作を一時停止してから一定時間以上経過したか否か判別し（ステップＳ３１８）、一定時間以上経過してはいないと判別したときには、処理をステップＳ３１７に戻し、このステップＳ３１７以降の処理を繰り返す。
When it is determined in step S317 that the recognized foreign substance information from the
また、ステップＳ３１８で、掃除動作を一時停止してから一定時間以上経過したと判別したときには、制御部３０１Ａは、駆動制御部３０２を通じて吸引駆動部３０６及び走行駆動部３０７に、駆動開始信号を供給して一時停止状態を解除し、掃除動作を再開させる（ステップＳ３１９）。そして、制御部３０１Ａは、処理をステップＳ３１３に戻し、このステップＳ３１３以降の処理を繰り返す。
In step S318, when it is determined that a predetermined time or more has elapsed since the cleaning operation was temporarily stopped, the
また、ステップＳ３１７で、サーバ装置６０からの認識異物情報を受信したと判別したときには、制御部３０１Ａは、受信したサムネイル画像を、表示部３１２の表示画面に、その所在情報（集塵室内か、外部か）と共に表示する（ステップＳ３２０）。なお、この発明の実施形態では、電気掃除機３０Ａは、異物のサムネイル画像を表示部３１２の表示画面に表示したときに、アラームによる報知は行わないが、上述の第１の構成例及び第２の構成例と同様に、アラーム報知も合わせて行うようにしても勿論よい。
If it is determined in step S317 that the recognized foreign object information from the
次に、制御部３０１Ａは、認識異物情報に強制停止制御信号が含まれているか否かにより掃除動作を停止するか否かを判別する（図１２のステップＳ３２１）。このステップＳ３２１で、強制停止制御信号が含まれていないと判別したときには、制御部３０１Ａは、掃除範囲の全ての掃除を完了したか否かにより、掃除の終了を検知したか否か判別し（ステップＳ３２２）、掃除の終了を検知していないときには、処理をステップＳ３１３に戻し、送信画像情報を生成して、サーバ装置６０に無線送信しながら、掃除動作を継続するようにする。
Next, the
そして、ステップＳ３２１で、強制停止制御信号が含まれていると判別したときには、制御部３０１Ａは、吸引駆動部３０６及び走行駆動部３０７の駆動を停止させると共に、カメラ３８１〜３８４のそれぞれに対して画像の撮影停止を指示する。さらに、サーバ装置６０との通信路を切断する（ステップＳ３２３）。
When it is determined in step S321 that the forced stop control signal is included, the
ステップＳ３２２で、掃除の終了を検知したときにも、制御部３０１Ａは、処理をステップＳ３２３に進め、吸引駆動部３０６及び走行駆動部３０７の駆動を停止させると共に、カメラ３８１〜３８４のそれぞれに対して画像の撮影停止を指示し、さらに、サーバ装置６０との通信路を切断する。
Even when the end of cleaning is detected in step S322, the
以上で、電気掃除機３０Ａでの掃除動作時の処理は終了となる。
Thus, the process during the cleaning operation in the
次に、図１３を参照して、サーバ装置６０の処理動作について説明する。
Next, the processing operation of the
まず、サーバ装置６０は、電気掃除機３０Ａから、通信路の生成要求を受信したか否か判別し（ステップＳ６０１）、通信路の生成要求を受信したと判別したときには、通信ネットワーク５０を通じた電気掃除機３０Ａとの通信路を生成する（ステップＳ６０２）。
First, the
次に、サーバ装置６０は、生成された無線通信路を通じて電気掃除機３０Ａから送られてくる送信画像情報を受信して、カメラ３８１〜３８４のそれぞれからの撮像画像情報を分離して取得し、第１の構成例と同様にして、カメラ３８１〜３８４のそれぞれからの撮像画像と、画像登録メモリ４０７に記憶されている異物の画像とのパターンマッチングによる比較により画像認識処理を実行する（ステップＳ６０３）。
Next, the
そして、サーバ装置６０は、ステップＳ６０３での画像認識の結果、異物を認識したか否か判別する（ステップＳ６０４）。このステップＳ６０４で、異物を認識してはいないと判別したときには、サーバ装置６０は、電気掃除機３０Ａにより通信路が切断されたか否か判別する（ステップＳ６０８）。そして、このステップＳ６０８で、通信路が切断されたと判別したときには、サーバ装置６０は、電気掃除機３０Ａにおける掃除動作が停止したと判断して、この処理ルーチンを終了する。
Then, the
また、ステップＳ６０８で、通信路が切断されてはいないと判別したときには、サーバ装置６０は、電気掃除機３０Ａにおける掃除動作は継続していると判断して、処理をステップＳ６０３に戻し、このステップＳ６０３以降の処理を繰り返す。
If it is determined in step S608 that the communication path is not disconnected, the
そして、ステップＳ６０４で、画像認識の結果、異物を認識したと判別したときには、認識した異物のサムネイル画像と、異物ＩＤと、所在情報と、プレミア情報を含めた認識異物情報を生成して、電気掃除機３０Ａに送信する（ステップＳ６０５）。 If it is determined in step S604 that the foreign object has been recognized as a result of the image recognition, the recognized foreign object information including the thumbnail image of the recognized foreign object, the foreign object ID, the location information, and the premier information is generated. It transmits to the cleaner 30A (step S605).
また、サーバ装置６０は、画像登録メモリ６０４の記憶内容を参照して、認識した異物の異物ＩＤに対応して記憶されている吸引駆動制御態様の情報を取得し、掃除動作の強制停止が必要か否か判別する（ステップＳ６０６）。
Further, the
このステップＳ６０６で、掃除動作の強制停止が必要ではないと判別したときには、サーバ装置６０は、強制停止制御信号を生成せずに、電気掃除機３０Ａにおける掃除動作を継続させ、処理をステップＳ６０３に戻し、このステップＳ６０３以降の処理を繰り返す。
When it is determined in step S606 that the forced stop of the cleaning operation is not necessary, the
次に、ステップＳ６０６で、掃除動作の強制停止が必要であると判別したときには、サーバ装置６０は、吸引駆動部３０６及び走行駆動部３０７の駆動を停止させる強制停止制御信号を生成し、電気掃除機３０Ａに送信する（ステップＳ６０７）。その後、サーバ装置６０は、処理をステップＳ６０８に進め、このステップＳ６０８で、通信路が切断されたと判別するのを待って、この処理ルーチンを終了する。
Next, when it is determined in step S606 that the forced stop of the cleaning operation is necessary, the
なお、この発明の実施形態においては、表示部３１２の表示画面に表示されているサムネイル画像が使用者によりクリックされると、そのサムネイル画像の異物ＩＤと共に、サムネイル画像に対応する詳細な撮像画像情報の取得要求を、電気掃除機３０Ａはサーバ装置６０に送る。サーバ装置６０は、この取得要求に応じて、異物ＩＤで特定される異物の実際の撮像画像情報及び周辺画像情報を撮像画像記憶部６０２から読み出して、その撮像画像情報を電気掃除機３０Ａに送信する。電気掃除機３０Ａは、受信した撮像画像情報を、表示部３１２の表示画面に表示すると共に、その異物が画像認識された掃除位置の吸い込み部の前方及び後方の周辺撮像画像が表示されるようにされる。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを容易に知ることができて便利である。また、電気掃除機３０Ａは、ステップＳ６０５で受信した認識異物情報にプレミア情報が含まれている場合、その異物のサムネイル画像の背景色を変えたり、表示画面を点滅させたり、アラームを報知することができる。これによって、使用者が、価値の高い異物や高額な異物を見逃さないようにできる。
In the embodiment of the present invention, when a thumbnail image displayed on the display screen of the
［この発明の実施形態の効果］
以上のようにして、この発明の実施形態の電気掃除装置においては、自走式の電気掃除機３０Ａが異物の存在を認識したときには、一時掃除動作を停止して、サーバ装置６０からの認識異物情報の到来を待つ。そして、電気掃除機３０Ａは、一定時間以上待っても、サーバ装置６０からの認識異物情報を受信しなかった時には、サーバ装置６０では、異物を認識しなかったので、掃除動作を継続しても問題がないと判断して、そのまま掃除動作を継続する。そして、サーバ装置６０で異物を認識したときには、認識異物情報が一定時間以内に送られて来るので、電気掃除機３０Ａは、その受信を待ち、その認識異物情報に強制停止制御信号が含まれる場合には、当該強制停止制御信号に応じて、掃除動作を停止するようにできる。
[Effect of the embodiment of the present invention]
As described above, in the electric vacuum cleaner according to the embodiment of the present invention, when the self-propelled
以上のように、自走式の電気掃除機３０Ａは、サーバ装置６０における画像認識処理の遅延を考慮して掃除動作を一時停止するので、サーバ装置６０における画像認識処理の遅延にかかわらず、所期の通りの制御を行うことができる。このため、自走式の電気掃除機３０Ａが、本来、吸い込むべきでない異物を吸い込んでしまうことによる故障の発生を未然に防止することができる。
As described above, the self-propelled
なお、一時停止した後、電気掃除機３０Ａ自身での判断やサーバ装置６０からの指示で、異物をズーム撮像したり、電気掃除機３０Ａが移動して異物を別の角度から撮像したりするようにしてもよい。また、電気掃除機３０Ａは、一時停止したら、自動的に異物をズーム撮像するように構成してもよい。このズーム撮像により撮像した撮像画像を、電気掃除機３０Ａから再度サーバ装置６０に送信することで、サーバ装置６０では、より高精度な画像認識を行うことができる。
In addition, after the temporary stop, the
上記の効果に加えて、この発明の実施形態においても、上述した第１の構成例及び第２の構成例と同様の効果が得られることは言うまでもない。 In addition to the above-described effects, it goes without saying that the same effects as those of the first and second configuration examples described above can also be obtained in the embodiment of the present invention.
［この発明の実施形態の変形例］
上述の実施形態では、ＧＰＳ測位機能部を備える現在位置検出部３１５を設けるようにしたが、要は、電気掃除機３０Ａが使用される国や地域をサーバ装置６０に伝達することができればよいので、例えば使用者により、電気掃除機３０Ａを使用する場所の住所を入力してもらうようにして、その入力された住所情報を、サーバ装置６０に送信するようにしてもよい。
[Modification of Embodiment of the Invention]
In the above-described embodiment, the current
また、上述の実施形態では、電気掃除機３０Ａは、画像認識部を備えなかったが、電気掃除機３０Ａにも、画像認識部を設けてもよい。その場合には、電気掃除機３０Ａの画像登録メモリには使用者が異物を画像登録するようにして、電気掃除機３０Ａの画像認識部では、この画像登録メモリに登録された異物の認識を行い、サーバ装置６０は、電気掃除機３０Ａの画像登録メモリに登録されてはいない異物をも認識するようにする。なお、サーバ装置は１台に限定されるものではなく、複数台のサーバ装置を連携させて利用することもできる。
In the above-described embodiment, the
また、この発明の実施形態においても、表示部３１２は、電気掃除機３０Ａと無線接続される携帯電話端末などの携帯機器や、タブレット型端末、ウェアラブル端末、パーソナルコンピュータに設けるようにしてもよい。また、デスクトップ型機器、据え置き型機器など、各種表示部を備える機器に設けるようにしてもよい。
Also in the embodiment of the present invention, the
［その他の実施形態又は変形例］
なお、以上の説明は、主として、家庭用の電気掃除装置を想定して説明したが、工場や商店、飲食店などで使用する業務用の電気掃除装置にも適用することができるものであることは言うまでもない。また、机の上専用の小型掃除機などの卓上用電気掃除装置や、ふとん専用クリーナーなど、各種形態の電気掃除装置にも適用できるのはもちろんである。
[Other Embodiments or Modifications]
In addition, although the above description was mainly demonstrated supposing the household vacuum cleaner, it can be applied also to the business vacuum cleaner used in a factory, a store, a restaurant, etc. Needless to say. Of course, the present invention can be applied to various types of vacuum cleaners such as a desktop vacuum cleaner such as a small vacuum cleaner dedicated to the desk, and a futon cleaner.
以上の実施形態及び構成例では、カメラ撮影を連続撮影(動画撮影)で行っているが、静止画での間欠撮影でもよい。また、両者が混在していてもよい。 In the above embodiment and configuration example, camera shooting is performed by continuous shooting (moving image shooting), but intermittent shooting may be performed by still images. Moreover, both may be mixed.
また、カメラ撮影の手法や解像度も同一でなく、モードや状況に応じて異ならせてもよい。例えば、落し物モード（探し物モード）を設け、カメラ撮影開始時から継続して、あるいは、カメラ撮影開始後、掃除対象物以外の異物（落し物候補、探し物候補）発見時に、フラッシュ撮影をする、ズーム撮影をする、複数の角度から撮影する、解像度を高くする、複数のカメラを利用するなど、落し物モードのときは通常撮影と異なるカメラ撮影動作をさせて、落し物（探し物）を発見しやすくすることができる。また、カメラ撮影された撮像画像の画像認識の処理方法や精度をモードや状況に応じて変えてもよい。 Also, the camera shooting method and resolution are not the same, and may be different depending on the mode and situation. For example, a lost article mode (searchable object mode) is provided, and the flash shooting is performed continuously when the camera shooting is started, or when a foreign object other than the object to be cleaned (lost object candidate, searchable object candidate) is detected after the camera shooting starts. When shooting in zoomed-out mode, shooting from multiple angles, increasing the resolution, using multiple cameras, etc., when using the lost item mode, you can use a different camera shooting mode from normal shooting to find lost items (search items). can do. Further, the processing method and accuracy of image recognition of a captured image taken by the camera may be changed according to the mode and the situation.
画像登録メモリに登録されている画像の内、落し物モードで探すよう指定された特定の異物については、多段階で画像認識してもよい。例えば、最初は、見落とし確率を極力下げるために、粗い画像を利用して、類似性の範囲を広げて探し、次に、見つかった対象物に対しては、絞り込むために、高精細な画像を利用して、複数の角度からの画像認識を行うようにする。また、画像認識のための特殊な処理を付け加えてもよい。例えば、輪郭（エッジ）抽出や強調、輝度抽出や強調、色相抽出や強調など、各種特徴抽出や各種フィルタリングを加えたり、各種強調処理をしたりして、画像認識に利用してもよい。さらに、撮像画像を圧縮せず、高精細画像のままで画像認識をしたり、画像認識処理時間を通常以上、例えば数倍の処理時間をかけることができる。 Of the images registered in the image registration memory, a specific foreign object designated to be searched in the lost article mode may be recognized in multiple stages. For example, to reduce the probability of oversight as much as possible, first use a coarse image to search for a range of similarities, and then find a high-definition image to narrow down the found objects. Utilizing this, image recognition from a plurality of angles is performed. Also, special processing for image recognition may be added. For example, various feature extraction and various filtering such as contour (edge) extraction and enhancement, luminance extraction and enhancement, hue extraction and enhancement, and various enhancement processes may be added and used for image recognition. Furthermore, it is possible to perform image recognition without compressing the captured image without changing the captured image, or to increase the image recognition processing time more than usual, for example, several times as long.
落し物が指輪の場合、例えばルビーのプラチナリングであれば、ルビーの赤色や、プラチナリングの銀色（光沢のある灰白色）を発見するよう、選択的に色や光沢（光の反射）の識別能力を高めるようにする。また、ルビーの石の形状や、内径サイズで規定されるリングの大きさで検出精度を高めるよう、選択的に形状の識別能力を高めることができる。 If the lost item is a ring, such as a ruby platinum ring, the color and luster (light reflection) can be selectively discriminated to detect the red color of the ruby and the silver color (glossy grayish white) of the platinum ring. Try to increase. Further, the shape discrimination ability can be selectively enhanced so as to increase the detection accuracy by the shape of the ruby stone or the size of the ring defined by the inner diameter size.
また、落し物が、サイズ等が規格化されている製品である場合が考えられる。例えばＳＤカードは、幅２４ｍｍ、長さ３２ｍｍ、厚さ２．１ｍｍ、マイクロＳＤカードは、幅１１ｍｍ、長さ１５ｍｍ、厚さ１．０ｍｍであり、形状はＳＤ規格で正確に規定されている。そのため、落し物がＳＤカードやマイクロＳＤカードの場合、その形状を元に、まず長方形の物体を探し、次に縦横比（長さと幅の比）が適合するか否かでフィルタリングした後、精密に画像認識すればよい。もちろん、距離計を用いれば、対象物の内径や長さ等の絶対値が計測できるので、その計測値を用いて識別が可能である。また、距離計がなくても、長さや大きさの基準となる比較対象物があれば、それとの相対比較で、長さや大きさの絶対値が把握できる。さらに、ＳＤカードやマイクロＳＤカードの表面のロゴや文字を文字認識して、識別することもできる。 Moreover, the case where a lost article is a product with which the size etc. are normalized can be considered. For example, the SD card has a width of 24 mm, a length of 32 mm, and a thickness of 2.1 mm, and the micro SD card has a width of 11 mm, a length of 15 mm, and a thickness of 1.0 mm, and the shape is precisely defined by the SD standard. Therefore, when the lost item is an SD card or a micro SD card, first search for a rectangular object based on the shape, then filter by whether the aspect ratio (length to width ratio) is appropriate, then precisely What is necessary is image recognition. Of course, if a distance meter is used, absolute values such as the inner diameter and length of the object can be measured, and therefore identification can be made using the measured values. Even if there is no distance meter, if there is an object to be compared which is a reference for length and size, the absolute value of the length and size can be grasped by relative comparison with the comparison object. Furthermore, the logo and characters on the surface of the SD card or micro SD card can be recognized and identified.
また、落し物が透明なコンタクトレンズの場合は、カメラ撮影した場合、背景の色が透過して撮影されるので、輝度や色の差分検出を、精密に行ったり、フラッシュなど光を当ててキラッと光る反射光を検出したりして、検出精度を高めた上で、コンタクトレンズに特有である薄い非球面レンズの形状の識別を行うようにすればよい。なお、通常、ハードコンタクトレンズは直径９ｍｍ前後、ソフトコンタクトレンズは直径１３ｍｍ前後であるため、落としたコンタクトレンズの種類がハードかソフトか指定することで、サイズに対する識別能力を高め、発見しやすくすることができる。 In the case of a contact lens with a transparent fallen object, when shooting with a camera, the background color is taken through, so the difference in brightness and color is detected accurately, or light such as a flash is applied to make it clear. The shape of the thin aspheric lens, which is peculiar to the contact lens, may be identified after detecting the reflected light that shines to improve the detection accuracy. Normally, hard contact lenses have a diameter of around 9 mm, and soft contact lenses have a diameter of around 13 mm. Therefore, by specifying whether the type of contact lens dropped is hard or soft, the identification ability for the size is enhanced and the detection is easy. be able to.
さらに、異物の撮像画像が、落し物との類似度が低く、落し物でない可能性が高くても、落し物を見逃す危険度を下げるため、類似度レベルの閾値を可変にして、その異物を落し物として検出を行うようにすることもできる。 Furthermore, even if the captured image of a foreign object has a low similarity to a lost object and there is a high possibility that it is not a lost object, the similarity level threshold is made variable to detect the foreign object as a lost object in order to reduce the risk of missing the lost object. It is also possible to perform.
なお、画像認識や類似度レベルの計算には、テンプレートマッチング、クラスタ分析、ニューラル・ネットワーク等、種々の手法が適用できることは言うまでもない。 Needless to say, various methods such as template matching, cluster analysis, and neural network can be applied to image recognition and similarity level calculation.
また、落し物モードのときは、吸引駆動制御の態様として、落し物を発見するまでは、「吸引駆動弱め」や「吸引駆動最弱」にしてもよい。さらに「吸引駆動停止」とすることもできる。また、自走式の電気掃除機の場合は、吸引駆動制御の態様のみならず、走行駆動制御の態様として、落し物を発見するまでは、「走行駆動低速」や「走行駆動超低速」などの制御態様を用いることができる。また、所定時間毎に、あるいは所定距離走行毎に「走行駆動停止（一時停止）」にしてもよい。この場合、一時停止の状態で、周囲を通常撮影のみならず、フラッシュ撮影やズーム撮影などを用いて、入念にカメラ撮影することができる。さらに、そこで回転駆動しながら、パノラマ撮影や３６０度撮影をし、落し物を探してもよい。 In the lost item mode, the suction drive control may be set to “weak suction drive” or “weakest suction drive” until a lost item is found. Furthermore, “suction drive stop” can be set. In addition, in the case of a self-propelled vacuum cleaner, not only the mode of suction drive control but also the mode of travel drive control, such as “running drive low speed” and “running drive ultra-low speed” until a lost item is discovered Control aspects can be used. Further, “travel drive stop (temporary stop)” may be performed every predetermined time or every predetermined distance. In this case, in a paused state, the camera can be carefully photographed using not only normal photographing but also flash photographing or zoom photographing. Furthermore, panoramic photography or 360-degree photography may be performed while searching for lost items while being rotated.
なお、落し物モードで探す異物、例えば指輪、ＳＤカードやマイクロＳＤカード、コンタクトレンズなどの画像は、画像登録メモリから読み出して、表示画面に表示させて指定するように構成することができる。 Note that foreign objects to be searched in the lost article mode, for example, images of a ring, an SD card, a micro SD card, a contact lens, etc., can be read from the image registration memory, displayed on the display screen, and designated.
また、以上の実施形態及び構成例では、掃除動作中の異物の認識（検出）は、カメラからの撮像画像情報を画像認識することによって行うようにしたが、例えば赤外線センサ、マイクロフォン、超音波センサ、触覚センサ、バイオセンサ、においセンサ、金属探知センサなど、他のセンサを用いることで、異物の認識（検出）を行うようにしてもよい。もちろん、これら複数種類のセンサを併用してもよい。 Further, in the above embodiments and configuration examples, the recognition (detection) of the foreign matter during the cleaning operation is performed by recognizing the captured image information from the camera. For example, an infrared sensor, a microphone, and an ultrasonic sensor The foreign object may be recognized (detected) by using other sensors such as a tactile sensor, a biosensor, an odor sensor, and a metal detection sensor. Of course, you may use these multiple types of sensors together.
センサとして、例えばマイクロフォンを用いる場合、マイクロフォンで音や音声を集音し、音や音声を発している対象物を検出したら、掃除対象物以外の異物であると認識することができる。この場合、図５、図８、図９、図１１、図１２または図１３のフローチャートにおける「カメラで撮影した画像の認識結果に基づく異物検出」を「マイクロフォンで集音した音や音声の認識結果に基づく異物検出」に置き換えれば、音声認識による異物検出が可能な電気掃除機が実現可能となる。音声認識による異物検出を行う態様としては、掃除動作中に集音部で吸い込み部近傍の音を集音して、異物が電気掃除機内に吸い込まれる前に検知する態様のほか、金属や袋類の異物が電気掃除機内に吸い込まれた後に発する異音を集音し、異物を検知する態様が考えられる。音声認識による異物検出を行うと、画像認識による異物検出の場合と同様に、吸引駆動停止等の吸引駆動制御の態様が考えられる。また、アラーム報知を表示制御、音声制御、振動制御等によって行う態様が考えられる。なお、電気掃除機自体が発する騒音は、音源分離の処理により除去することができる。 For example, when a microphone is used as the sensor, it is possible to recognize that the object is a foreign object other than the object to be cleaned if sound or sound is collected by the microphone and an object that emits sound or sound is detected. In this case, “foreign object detection based on recognition result of image taken by camera” in the flowchart of FIG. 5, FIG. 8, FIG. 9, FIG. 11, FIG. If it is replaced with “foreign matter detection based on”, a vacuum cleaner capable of foreign matter detection by voice recognition can be realized. As a mode of performing foreign object detection by voice recognition, in addition to a mode of collecting sound near the suction part by the sound collecting part during the cleaning operation and detecting it before the foreign object is sucked into the vacuum cleaner, metal or bags It is conceivable to detect the foreign matter by collecting the abnormal sound generated after the foreign matter is sucked into the vacuum cleaner. When foreign matter detection by voice recognition is performed, a mode of suction drive control such as suction drive stop can be considered as in the case of foreign matter detection by image recognition. Moreover, the aspect which performs alarm alerting | reporting by display control, audio | voice control, vibration control, etc. can be considered. Note that noise generated by the vacuum cleaner itself can be removed by the sound source separation process.
なお、カメラ１７１〜１７４及びカメラ３８１〜３８４として、赤外線カメラやビデオカメラを用いるようにしてもよい。また、それらを併用してもよい。以上の実施形態では、カメラが４個の例で説明したが、カメラの個数が限定されるものでないことはもちろんである。さらに、カメラの設置箇所も上述の実施形態及び構成例に限らず、各種態様が可能である。
Note that an infrared camera or a video camera may be used as the
以上の実施形態及び構成例では、掃除対象物や掃除対象物以外の異物として、静止している物を例示したが、虫などの生き物、モーター駆動の玩具など、動いている物でよいのはもちろんである。 In the above embodiments and configuration examples, the stationary object is exemplified as the foreign object other than the cleaning object or the cleaning object, but a moving object such as a creature such as an insect or a motor-driven toy may be used. Of course.
以上、図面を参照しながらこの発明の好適な実施形態について詳細に説明したが、この発明は、かかる例に限定されない。この発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然にこの発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present invention can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that it belongs to the technical scope of the present invention.
１：電気掃除装置
１０：掃除機本体
１１：吸引ホース
１２：取っ手
１３：継手管
１４：吸い込み部
１４１：吸い込み口
１５：操作部
１６：表示部
１６Ｄ：表示画面
１０１：集塵室
１０２：吸引駆動部
１７１〜１７４：カメラ
２０：制御回路部
２０１：制御部
２０２：駆動制御部
２１０：画像認識部
２１１：画像登録メモリ
２１３：表示画像生成部
２１４：アラーム発生部
３０：自走式の電気掃除機
３１：吸い込み部
３２：集塵室
３８１〜３８４：カメラ
４０６：画像認識部
４０７：画像登録メモリ
４０９：表示画像生成部
４１２：表示部
1: Vacuum cleaner 10: Vacuum cleaner body 11: Suction hose 12: Handle 13: Fitting pipe 14: Suction part 141: Suction port 15: Operation part 16:
Claims (20)
前記吸い込み口から前記掃除対象物を吸引して集塵室に取り込むようにするための吸引駆動部と、
自装置を自走させるための走行駆動部と、
前記掃除対象物以外の異物を検出する異物検出部と、
表示画面を備えた表示部と、
掃除動作中に、前記異物検出部で前記異物を検出したときに、前記吸引駆動部及び／または前記走行駆動部を一時停止するように制御すると共に、前記検出された前記異物に対応した撮像画像または表示画像を前記表示部の前記表示画面に表示するように制御する制御部と、
を備えることを特徴とする電気掃除装置。 A suction part having a suction port for sucking a cleaning object;
A suction drive unit for sucking the cleaning object from the suction port and taking it into a dust collection chamber;
A travel drive for self-propelling the device;
A foreign matter detector for detecting foreign matter other than the cleaning object;
A display unit having a display screen;
During the cleaning operation, when the foreign matter is detected by the foreign matter detection unit, the suction drive unit and / or the travel drive unit is controlled to be temporarily stopped, and a captured image corresponding to the detected foreign matter is controlled. Or a control unit that controls to display a display image on the display screen of the display unit;
An electric cleaning device comprising:
前記撮像画像または前記表示画像は、前記撮像部からの前記異物の撮像画像情報に基づいた画像である
ことを特徴とする請求項１に記載の電気掃除装置。 An imaging unit for imaging foreign objects other than the cleaning object and the cleaning object;
The electric cleaning device according to claim 1, wherein the captured image or the display image is an image based on captured image information of the foreign matter from the imaging unit.
ことを特徴とする請求項１または請求項２に記載の電気掃除装置。 The said control part forcibly stops the operation | movement of an own apparatus, when the forced stop control signal is detected after the suspension of the said suction drive part and / or the said travel drive part. 2. The electric vacuum cleaner according to 2.
ことを特徴とする請求項３に記載の電気掃除装置。 When the control unit does not detect the forced stop control signal for a certain period of time after the suction drive unit and / or the travel drive unit is temporarily stopped, the control unit temporarily stops the suction drive unit and / or the travel drive unit. The electric vacuum cleaner according to claim 3, wherein the stop is released.
ことを特徴とする請求項１〜請求項４のいずれかに記載の電気掃除装置。 The electric cleaning device according to any one of claims 1 to 4, wherein the captured image or display image corresponding to the foreign matter is an image and / or a thumbnail image of the foreign matter.
前記電気掃除機は、
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、
前記吸い込み口から前記掃除対象物を吸引して集塵室に取り込むようにするための吸引駆動部と、
自機を自走させるための走行駆動部と、
前記掃除対象物及び前記掃除対象物以外の異物を撮像するための撮像部と、
前記掃除対象物以外の異物を検出する異物検出部と、
前記別体の装置と前記通信ネットワークを通じて無線通信するための第１の無線通信部と、
前記撮像部で撮像された撮像画像を前記第１の無線通信部を通じて前記別体の装置に送信する手段と、
表示画面を備えた表示部と、
制御部と、
を備え、
前記別体の装置は、
前記電気掃除機と無線通信するための第２の無線通信部と、
前記異物の画像を記憶する記憶部と、
前記第２の無線通信部を通じて前記電気掃除機から受信した前記撮像部で撮像された撮像画像と、前記記憶部に記憶されている前記異物の画像とを比較することで画像認識を行い、前記異物検出部で検出した前記異物が前記記憶部に画像が記憶されている前記異物であるかどうかを認識する画像認識部と、
前記画像認識部において前記異物検出部で検出した前記異物が前記記憶部に画像が記憶されている前記異物であると認識したときに、前記認識した前記異物に対応した撮像画像または表示画像を含む認識結果の情報を前記第２の無線通信部を通じて前記電気掃除機に送信する手段と、
を備え、
前記電気掃除機の前記制御部は、掃除動作中に、前記異物検出部で前記異物を検出したときに、前記吸引駆動部及び／または前記走行駆動部を一時停止するように制御すると共に、前記別体の装置からの前記認識結果の情報に含まれる前記異物に対応した撮像画像または表示画像を前記表示部の前記表示画面に表示するように制御する
ことを特徴とする電気掃除装置。 A self-propelled vacuum cleaner, and a vacuum cleaner comprising a separate device connected to the vacuum cleaner through a communication network,
The vacuum cleaner is
A suction part having a suction port for sucking a cleaning object;
A suction drive unit for sucking the cleaning object from the suction port and taking it into a dust collection chamber;
A travel drive unit for self-propelled,
An imaging unit for imaging foreign objects other than the cleaning object and the cleaning object;
A foreign matter detector for detecting foreign matter other than the cleaning object;
A first wireless communication unit for wirelessly communicating with the separate device through the communication network;
Means for transmitting a captured image captured by the imaging unit to the separate device through the first wireless communication unit;
A display unit having a display screen;
A control unit;
With
The separate device is:
A second wireless communication unit for wirelessly communicating with the vacuum cleaner;
A storage unit for storing an image of the foreign matter;
Image recognition is performed by comparing a captured image captured by the imaging unit received from the vacuum cleaner through the second wireless communication unit and an image of the foreign matter stored in the storage unit, An image recognition unit for recognizing whether the foreign matter detected by the foreign matter detection unit is the foreign matter whose image is stored in the storage unit;
The image recognition unit includes a captured image or a display image corresponding to the recognized foreign object when the foreign object detected by the foreign object detection unit is recognized as the foreign object whose image is stored in the storage unit. Means for transmitting recognition result information to the vacuum cleaner through the second wireless communication unit;
With
The control unit of the vacuum cleaner controls the suction drive unit and / or the travel drive unit to temporarily stop when the foreign object is detected by the foreign object detection unit during a cleaning operation, An electric vacuum cleaner characterized by controlling to display a captured image or a display image corresponding to the foreign matter included in the information of the recognition result from a separate device on the display screen of the display unit.
前記電気掃除機は、
掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、
前記吸い込み口から前記掃除対象物を吸引して集塵室に取り込むようにするための吸引駆動部と、
自機を自走させるための走行駆動部と、
前記掃除対象物及び前記掃除対象物以外の異物を撮像するための撮像部と、
前記掃除対象物以外の異物を検出する異物検出部と、
前記別体の装置と前記通信ネットワークを通じて無線通信するための第１の無線通信部と、
前記撮像部で撮像された撮像画像を前記第１の無線通信部を通じて前記別体の装置に送信する手段と、
掃除動作中に、前記異物検出部で前記異物を検出したときに、前記吸引駆動部及び／または前記走行駆動部を一時停止するように制御する制御部と、
を備え、
前記別体の装置は、
前記電気掃除機と無線通信するための第２の無線通信部と、
前記異物の画像を記憶する記憶部と、
表示画面を備えた表示部と、
前記第２の無線通信部を通じて前記電気掃除機から受信した前記撮像部で撮像された撮像画像と、前記記憶部に記憶されている前記異物の画像とを比較することで画像認識を行い、前記異物検出部で検出した前記異物が前記記憶部に画像が記憶されている前記異物であるかどうかを認識する画像認識部と、
前記画像認識部において前記異物検出部で検出した前記異物が前記記憶部に画像が記憶されている前記異物であると認識したときに、前記画像認識部で認識された前記異物に対応した撮像画像または表示画像を、前記表示部の前記表示画面に表示すると共に、前記画像認識結果の情報を前記第２の無線通信部を通じて前記電気掃除機に送信する手段と、
を備えることを特徴とする電気掃除装置。 A self-propelled vacuum cleaner, and a vacuum cleaner comprising a separate device connected to the vacuum cleaner through a communication network,
The vacuum cleaner is
A suction part having a suction port for sucking a cleaning object;
A suction drive unit for sucking the cleaning object from the suction port and taking it into a dust collection chamber;
A travel drive unit for self-propelled,
An imaging unit for imaging foreign objects other than the cleaning object and the cleaning object;
A foreign matter detector for detecting foreign matter other than the cleaning object;
A first wireless communication unit for wirelessly communicating with the separate device through the communication network;
Means for transmitting a captured image captured by the imaging unit to the separate device through the first wireless communication unit;
A controller that controls to temporarily stop the suction drive unit and / or the travel drive unit when the foreign object is detected by the foreign object detection unit during a cleaning operation;
With
The separate device is:
A second wireless communication unit for wirelessly communicating with the vacuum cleaner;
A storage unit for storing an image of the foreign matter;
A display unit having a display screen;
Image recognition is performed by comparing a captured image captured by the imaging unit received from the vacuum cleaner through the second wireless communication unit and an image of the foreign matter stored in the storage unit, An image recognition unit for recognizing whether the foreign matter detected by the foreign matter detection unit is the foreign matter whose image is stored in the storage unit;
A captured image corresponding to the foreign matter recognized by the image recognition unit when the foreign matter detected by the foreign matter detection unit is recognized by the image recognition unit as the foreign matter having an image stored in the storage unit. Or a means for displaying a display image on the display screen of the display unit and transmitting information of the image recognition result to the vacuum cleaner through the second wireless communication unit;
An electric cleaning device comprising:
ことを特徴とする請求項６または請求項７に記載の電気掃除装置。 The control unit of the vacuum cleaner forcibly stops the operation of the own device when the information of the image recognition result is received from the separate device after the suction driving unit and / or the traveling driving unit is temporarily stopped. The electric cleaning device according to claim 6 or 7, wherein:
ことを特徴とする請求項６〜請求項８のいずれかに記載の電気掃除装置。 When the control unit does not receive the image recognition result information from the separate device for a certain period of time after the suction drive unit and / or the travel drive unit is temporarily stopped, the control unit and / or Or the temporary stop of the said travel drive part is cancelled | released. The electric cleaning apparatus in any one of Claims 6-8 characterized by the above-mentioned.
ことを特徴とする請求項６〜請求項９のいずれかに記載の電気掃除装置。 The display device corresponding to the foreign object is an image of the foreign object and / or a thumbnail image. The electric vacuum cleaner according to any one of claims 6 to 9.
ことを特徴とする請求項６〜請求項１０のいずれかに記載の電気掃除装置。 The peripheral display image of the foreign substance included in the captured image received by the second wireless communication unit is also displayed on the display screen. Electric vacuum cleaner.
ことを特徴とする請求項６〜請求項１１のいずれかに記載の電気掃除装置。 12. The information according to claim 6, wherein when the information of the image recognition result includes premier information, the information is notified by display control such as a change in color of the display screen and blinking of the display screen. A vacuum cleaner according to any one of the above.
前記電気掃除機の前記第１の無線通信部は、前記サーバ装置とインターネット接続するためのネットワーク接続機能部であり、
前記電気掃除機は、前記撮像部で撮像された撮像画像を前記ネットワーク接続機能部を通じて前記サーバ装置に送信する
ことを特徴とする請求項６〜請求項１２のいずれかに記載の電気掃除装置。 The separate device is a server device connected to the Internet,
The first wireless communication unit of the vacuum cleaner is a network connection function unit for connecting to the server device via the Internet,
The vacuum cleaner according to any one of claims 6 to 12, wherein the vacuum cleaner transmits a captured image captured by the imaging unit to the server device through the network connection function unit.
ことを特徴とする請求項６〜請求項１２のいずれかに記載の電気掃除装置。 The electric cleaning apparatus according to any one of claims 6 to 12, wherein the separate device is a portable device including a wearable terminal.
ことを特徴とする請求項１４に記載の電気掃除装置。 The electric cleaning device according to claim 14, wherein the separate device includes means for notifying an alarm when the image recognition unit recognizes the foreign matter whose image is stored in the storage unit. .
ことを特徴とする請求項６〜請求項１５のいずれかに記載の電気掃除装置。 The lost article mode which searches the lost article (search thing) corresponding to the foreign material designated by the user from among the foreign objects for which an image is stored in the storage unit is provided. The electric vacuum cleaner according to any one of 15.
前記異物検出部は、前記音声認識部での音声認識に基づいて、前記異物を検出する
ことを特徴とする請求項１〜請求項５のいずれかに記載の電気掃除装置。 A microphone and a voice recognition unit that performs voice recognition on the sound and voice collected by the microphone;
The electric cleaning device according to any one of claims 1 to 5, wherein the foreign matter detection unit detects the foreign matter based on voice recognition by the voice recognition unit.
前記異物検出部は、前記音声認識部での音声認識に基づいて、前記異物を検出する
ことを特徴とする請求項６〜請求項１６のいずれかに記載の電気掃除装置。 The vacuum cleaner includes a microphone and a voice recognition unit that performs voice recognition on sounds and voices collected by the microphone.
The vacuum cleaner according to any one of claims 6 to 16, wherein the foreign matter detection unit detects the foreign matter based on voice recognition by the voice recognition unit.
前記異物検出部は、前記画像認識部での画像認識に基づいて、前記異物を検出する
ことを特徴とする請求項１に記載の電気掃除装置。 An image recognition unit, and an image recognition unit that performs image recognition on an image captured by the image capture unit;
The electric cleaning device according to claim 1, wherein the foreign object detection unit detects the foreign object based on image recognition by the image recognition unit.
前記掃除対象物以外の異物を検出する異物検出部、
掃除動作中に、前記異物検出部で前記異物を検出したときに、前記吸引駆動部及び／または前記走行駆動部を一時停止するように制御すると共に、前記検出された前記異物に対応した撮像画像または表示画像を前記表示部の前記表示画面に表示するように制御する制御部、
として機能させるための電気掃除装置用プログラム。 A suction part having a suction port for sucking a cleaning object, a suction drive part for sucking the cleaning object from the suction port and taking it into a dust collecting chamber, and a self-propelled device A computer provided in a vacuum cleaner comprising a travel drive unit and a display unit provided with a display screen,
A foreign matter detector for detecting foreign matter other than the object to be cleaned;
During the cleaning operation, when the foreign matter is detected by the foreign matter detection unit, the suction drive unit and / or the travel drive unit is controlled to be temporarily stopped, and a captured image corresponding to the detected foreign matter is controlled. Or a control unit that controls to display a display image on the display screen of the display unit,
Program for electric vacuum cleaner to function as.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013116787 | 2013-06-03 | ||
| JP2013116787 | 2013-06-03 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015117576A Division JP6083905B2 (en) | 2013-06-03 | 2015-06-10 | Electric vacuum cleaner |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018126451A Division JP6706848B2 (en) | 2013-06-03 | 2018-07-03 | Electric cleaning device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017064529A true JP2017064529A (en) | 2017-04-06 |
| JP6369878B2 JP6369878B2 (en) | 2018-08-08 |
Family
ID=52007926
Family Applications (8)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014547610A Active JP5771885B2 (en) | 2013-06-03 | 2014-04-15 | Electric vacuum cleaner |
| JP2015114753A Active JP5839248B2 (en) | 2013-06-03 | 2015-06-05 | Electric vacuum cleaner |
| JP2015117576A Active JP6083905B2 (en) | 2013-06-03 | 2015-06-10 | Electric vacuum cleaner |
| JP2017008009A Active JP6369878B2 (en) | 2013-06-03 | 2017-01-20 | Electric vacuum cleaner |
| JP2018126451A Active JP6706848B2 (en) | 2013-06-03 | 2018-07-03 | Electric cleaning device |
| JP2020079906A Active JP7008354B2 (en) | 2013-06-03 | 2020-04-30 | Programs for electric cleaners and electric cleaners |
| JP2021213590A Pending JP2022031532A (en) | 2013-06-03 | 2021-12-28 | Vacuum cleaning device and program for vacuum cleaning device |
| JP2023197890A Pending JP2024012667A (en) | 2013-06-03 | 2023-11-22 | Vacuum cleaner and program for vacuum cleaner |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014547610A Active JP5771885B2 (en) | 2013-06-03 | 2014-04-15 | Electric vacuum cleaner |
| JP2015114753A Active JP5839248B2 (en) | 2013-06-03 | 2015-06-05 | Electric vacuum cleaner |
| JP2015117576A Active JP6083905B2 (en) | 2013-06-03 | 2015-06-10 | Electric vacuum cleaner |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018126451A Active JP6706848B2 (en) | 2013-06-03 | 2018-07-03 | Electric cleaning device |
| JP2020079906A Active JP7008354B2 (en) | 2013-06-03 | 2020-04-30 | Programs for electric cleaners and electric cleaners |
| JP2021213590A Pending JP2022031532A (en) | 2013-06-03 | 2021-12-28 | Vacuum cleaning device and program for vacuum cleaning device |
| JP2023197890A Pending JP2024012667A (en) | 2013-06-03 | 2023-11-22 | Vacuum cleaner and program for vacuum cleaner |
Country Status (2)
| Country | Link |
|---|---|
| JP (8) | JP5771885B2 (en) |
| WO (1) | WO2014196272A1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018143879A (en) * | 2013-06-03 | 2018-09-20 | みこらった株式会社 | Electric cleaner |
| WO2020001912A1 (en) * | 2018-06-27 | 2020-01-02 | Arcelik Anonim Sirketi | A stick vacuum cleaner |
| WO2020001911A1 (en) * | 2018-06-25 | 2020-01-02 | Arcelik Anonim Sirketi | A stick vacuum cleaner |
| JP2020017257A (en) * | 2018-07-27 | 2020-01-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Information processing method, information processing apparatus, and information processing program |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102314637B1 (en) | 2015-03-23 | 2021-10-18 | 엘지전자 주식회사 | Robot cleaner, and robot cleaning system |
| DE102015106536B4 (en) | 2015-04-28 | 2016-11-10 | Vorwerk & Co. Interholding Gmbh | Household robot and method for operating a household robot |
| JP6927345B2 (en) * | 2016-09-15 | 2021-08-25 | 三菱電機株式会社 | Bedding vacuum cleaner |
| JP7141220B2 (en) * | 2018-01-22 | 2022-09-22 | 東芝ライフスタイル株式会社 | self-propelled vacuum cleaner |
| WO2019216578A1 (en) | 2018-05-11 | 2019-11-14 | Samsung Electronics Co., Ltd. | Method and apparatus for executing cleaning operation |
| KR20190135394A (en) * | 2018-05-11 | 2019-12-06 | 삼성전자주식회사 | Method and apparatus for executing cleaning operation |
| US11357376B2 (en) | 2018-07-27 | 2022-06-14 | Panasonic Intellectual Property Corporation Of America | Information processing method, information processing apparatus and computer-readable recording medium storing information processing program |
| US11399682B2 (en) * | 2018-07-27 | 2022-08-02 | Panasonic Intellectual Property Corporation Of America | Information processing method, information processing apparatus and computer-readable recording medium storing information processing program |
| KR102100266B1 (en) * | 2018-10-30 | 2020-05-26 | 이관우 | Cleaners for recognizing hazardous materials and method for cleaning hazardous materials |
| CN111134570A (en) * | 2018-11-02 | 2020-05-12 | 添可智能科技有限公司 | Dust collector with image acquisition function and camera shooting equipment |
| GB2578872B (en) | 2018-11-09 | 2021-04-14 | Dyson Technology Ltd | Vacuum cleaner |
| CN109316120A (en) * | 2018-11-27 | 2019-02-12 | 小狗电器互联网科技（北京）股份有限公司 | A kind of anti-mite instrument structure and anti-mite instrument |
| JP7173846B2 (en) * | 2018-11-30 | 2022-11-16 | 日立グローバルライフソリューションズ株式会社 | Vacuum cleaner control system, autonomous vacuum cleaner, cleaning system, and vacuum cleaner control method |
| JP2020201583A (en) | 2019-06-06 | 2020-12-17 | ルネサスエレクトロニクス株式会社 | Semiconductor device, movable body device and method for controlling movable body device |
| WO2020262737A1 (en) * | 2019-06-28 | 2020-12-30 | 엘지전자 주식회사 | Intelligent robot cleaner |
| KR20210057582A (en) * | 2019-11-12 | 2021-05-21 | 삼성전자주식회사 | Mistakenly sucked object identifying robot cleaner and controlling method thereof |
| KR20210084129A (en) * | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | Robot cleaner and control method thereof |
| JP2022138485A (en) * | 2021-03-10 | 2022-09-26 | 東芝テック株式会社 | Reader and reading method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256041A (en) * | 2002-02-28 | 2003-09-10 | Matsushita Electric Ind Co Ltd | Self-contained travel device, its monitoring method and remote control method |
| JP2005211496A (en) * | 2004-01-30 | 2005-08-11 | Funai Electric Co Ltd | Self-propelled cleaner |
| JP2005312893A (en) * | 2004-03-30 | 2005-11-10 | Nec Corp | Cleaner control device, cleaner, robot and cleaner control method |
| JP2006141836A (en) * | 2004-11-24 | 2006-06-08 | Fuji Photo Film Co Ltd | Vacuum cleaner |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0546239A (en) * | 1991-08-10 | 1993-02-26 | Nec Home Electron Ltd | Autonomously travelling robot |
| JPH1151286A (en) * | 1997-08-04 | 1999-02-26 | Hitachi Ltd | Intra-pipe foreign matter checking and removing device |
| JP2002085305A (en) * | 2000-09-12 | 2002-03-26 | Toshiba Tec Corp | Robot cleaner and robot cleaner system |
| JP2003164401A (en) * | 2001-12-03 | 2003-06-10 | Konica Corp | Vacuum cleaner |
| JP2005211495A (en) * | 2004-01-30 | 2005-08-11 | Funai Electric Co Ltd | Self-propelled cleaner |
| JP2006198079A (en) * | 2005-01-19 | 2006-08-03 | Fuji Photo Film Co Ltd | Electric cleaner |
| EP1969437B1 (en) * | 2005-12-02 | 2009-09-09 | iRobot Corporation | Coverage robot mobility |
| JP2010092343A (en) * | 2008-10-09 | 2010-04-22 | Sharp Corp | Control system of self-propelled vehicle |
| JP2010131230A (en) * | 2008-12-05 | 2010-06-17 | Panasonic Corp | Vacuum cleaner, state announcing method, and program |
| CN101941012B (en) * | 2009-07-03 | 2012-04-25 | 泰怡凯电器(苏州)有限公司 | Cleaning robot, dirt identification device thereof and cleaning method of robot |
| EP2659260B1 (en) * | 2010-12-30 | 2019-11-20 | iRobot Corporation | Debris monitoring |
| EP2570067A1 (en) * | 2011-09-01 | 2013-03-20 | Samsung Electronics Co., Ltd. | Autonomous cleaning apparatus and method of controlling the same |
| WO2014196272A1 (en) * | 2013-06-03 | 2014-12-11 | Sako Yoichiro | Vacuum cleaner |
-
2014
- 2014-04-15 WO PCT/JP2014/060689 patent/WO2014196272A1/en active Application Filing
- 2014-04-15 JP JP2014547610A patent/JP5771885B2/en active Active
-
2015
- 2015-06-05 JP JP2015114753A patent/JP5839248B2/en active Active
- 2015-06-10 JP JP2015117576A patent/JP6083905B2/en active Active
-
2017
- 2017-01-20 JP JP2017008009A patent/JP6369878B2/en active Active
-
2018
- 2018-07-03 JP JP2018126451A patent/JP6706848B2/en active Active
-
2020
- 2020-04-30 JP JP2020079906A patent/JP7008354B2/en active Active
-
2021
- 2021-12-28 JP JP2021213590A patent/JP2022031532A/en active Pending
-
2023
- 2023-11-22 JP JP2023197890A patent/JP2024012667A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256041A (en) * | 2002-02-28 | 2003-09-10 | Matsushita Electric Ind Co Ltd | Self-contained travel device, its monitoring method and remote control method |
| JP2005211496A (en) * | 2004-01-30 | 2005-08-11 | Funai Electric Co Ltd | Self-propelled cleaner |
| JP2005312893A (en) * | 2004-03-30 | 2005-11-10 | Nec Corp | Cleaner control device, cleaner, robot and cleaner control method |
| JP2006141836A (en) * | 2004-11-24 | 2006-06-08 | Fuji Photo Film Co Ltd | Vacuum cleaner |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018143879A (en) * | 2013-06-03 | 2018-09-20 | みこらった株式会社 | Electric cleaner |
| WO2020001911A1 (en) * | 2018-06-25 | 2020-01-02 | Arcelik Anonim Sirketi | A stick vacuum cleaner |
| WO2020001912A1 (en) * | 2018-06-27 | 2020-01-02 | Arcelik Anonim Sirketi | A stick vacuum cleaner |
| JP2020017257A (en) * | 2018-07-27 | 2020-01-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Information processing method, information processing apparatus, and information processing program |
| JP7328773B2 (en) | 2018-07-27 | 2023-08-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Information processing method, information processing apparatus, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015163274A (en) | 2015-09-10 |
| JP2020110734A (en) | 2020-07-27 |
| JP6369878B2 (en) | 2018-08-08 |
| JP5839248B2 (en) | 2016-01-06 |
| JP6706848B2 (en) | 2020-06-10 |
| JP2015178022A (en) | 2015-10-08 |
| JP2024012667A (en) | 2024-01-30 |
| JP2018143879A (en) | 2018-09-20 |
| JP5771885B2 (en) | 2015-09-02 |
| JP7008354B2 (en) | 2022-01-25 |
| JP2022031532A (en) | 2022-02-18 |
| JPWO2014196272A1 (en) | 2017-02-23 |
| WO2014196272A1 (en) | 2014-12-11 |
| JP6083905B2 (en) | 2017-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6369878B2 (en) | Electric vacuum cleaner | |
| KR102314637B1 (en) | Robot cleaner, and robot cleaning system | |
| CN106725127A (en) | The cleaning method and device of sweeping robot | |
| KR102039427B1 (en) | Smart glass | |
| CN106651955A (en) | Method and device for positioning object in picture | |
| EP3685970B1 (en) | Mobile robot and control method for mobile robot | |
| US20120146906A1 (en) | Promotable intelligent display device and promoting method thereof | |
| CN110772177B (en) | Information processing method, information processing apparatus, and recording medium | |
| CN105278380A (en) | Control method and device of intelligent device | |
| CN109961594A (en) | Data object information processing method, apparatus and system | |
| CN106682163A (en) | Article information recommendation method and device and equipment | |
| CN106454093A (en) | Image processing method, image processing device and electronic equipment | |
| WO2018193653A1 (en) | Mobile device, object detection method, and program | |
| CN105426904A (en) | Photo processing method, apparatus and device | |
| KR20200030014A (en) | Cleaner for classifying cleaned area | |
| KR101429962B1 (en) | System and method for processing data for recalling memory | |
| CN114613069B (en) | Intelligent self-service terminal and intelligent auxiliary method thereof | |
| CN104954683B (en) | Determine the method and device of photographic device | |
| CN106557753A (en) | The method and device of output prompting | |
| US20080007402A1 (en) | Portable monitoring assembly | |
| CN114078279A (en) | Motion capture method, motion capture device, electronic device and storage medium | |
| US8577080B2 (en) | Object contour detection device and method | |
| WO2017154283A1 (en) | Information processing device, information processing method, and program | |
| TWI551886B (en) | Wearable device for looking for objects and method thereof | |
| JP2008199079A (en) | Data recording device and inspection system using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180704 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6369878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |