JP7346912B2 - Cleaning support device, cleaning support system, vacuum cleaner, and cleaning support method - Google Patents
Cleaning support device, cleaning support system, vacuum cleaner, and cleaning support method Download PDFInfo
- Publication number
- JP7346912B2 JP7346912B2 JP2019100537A JP2019100537A JP7346912B2 JP 7346912 B2 JP7346912 B2 JP 7346912B2 JP 2019100537 A JP2019100537 A JP 2019100537A JP 2019100537 A JP2019100537 A JP 2019100537A JP 7346912 B2 JP7346912 B2 JP 7346912B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- cleaning
- cleaned
- cleaning support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims description 449
- 238000000034 method Methods 0.000 title claims description 41
- 238000001514 detection method Methods 0.000 claims description 127
- 239000000428 dust Substances 0.000 claims description 58
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 10
- 210000003128 head Anatomy 0.000 description 168
- 239000003550 marker Substances 0.000 description 31
- 238000012545 processing Methods 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 239000004984 smart glass Substances 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000011347 resin Substances 0.000 description 5
- 229920005989 resin Polymers 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241000280258 Dyschoriste linearis Species 0.000 description 2
- 241000700605 Viruses Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007790 scraping Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010415 tidying Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Electric Vacuum Cleaner (AREA)
- Image Processing (AREA)
Description
本発明は、掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法に関する。 The present invention relates to a cleaning support device, a cleaning support system, a vacuum cleaner, and a cleaning support method.
特許文献１には、ハンディタイプの電気掃除機に関する技術が開示されている。この電気掃除機は、掃除機本体と、掃除機本体から前方に延びる延長管と、延長管の先端に取り付けられた吸込具とを有している。この電気掃除機で掃除をする場合、掃除機本体を手で持って宙に浮かせて操作し、この状態で掃除機全体を移動させる。
上記特許文献１の電気掃除機では、吸込具を移動させることによって掃除が完了した掃除済領域と未だ掃除が完了していない未掃除領域との判別が困難であるという課題がある。このため、上記特許文献１の電気掃除機では、掃除済領域を繰り返し掃除してしまうこと又は未掃除領域が残ってしまうことにより、掃除の効率及び掃除の質の低下が問題となる。
The vacuum cleaner of
本発明は、上述のような課題を解決するためになされたもので、掃除済領域と未掃除領域とを区別して使用者に分かりやすく提示することのできる掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法を提供することを目的とする。 The present invention has been made in order to solve the above-mentioned problems, and provides a cleaning support device, a cleaning support system, and an electric cleaning system that can distinguish cleaned areas and uncleaned areas and present them to the user in an easy-to-understand manner. The purpose is to provide a cleaning support method.
本発明に係る掃除支援装置は、掃除対象領域における吸込具の位置情報を検出する位置情報検出部と、位置情報に基づいて、掃除対象領域における掃除済の掃除済領域と未掃除の未掃除領域とを判別し、判別結果から得られる領域判別情報を出力する領域判別部と、領域判別情報に基づいて、掃除対象領域における掃除済領域と未掃除領域とを区別して表した作成画像を作成する画像作成部と、作成画像に、カメラによって撮像された掃除対象領域の撮像画像を重畳した重畳画像を作成する重畳部と、を備え、撮像画像は、掃除済領域においてカメラによる撮像位置と掃除済領域との間に遮蔽物がある死角掃除済領域と、掃除済領域において撮像位置と掃除済領域との間に遮蔽物がない撮像掃除済領域と、未掃除領域において撮像位置と未掃除領域との間に遮蔽物がある死角未掃除領域と、未掃除領域において撮像位置と未掃除領域との間に遮蔽物がない撮像未掃除領域と、を含み、画像作成部は、死角掃除済領域と撮像掃除済領域とを区別して表した画像又は死角未掃除領域と撮像未掃除領域とを区別して表した画像を作成画像として作成するように構成されるものである。 The cleaning support device according to the present invention includes a position information detection unit that detects position information of a suction tool in a cleaning target area, and a cleaned area that has been cleaned and an uncleaned area that has not been cleaned in the cleaning target area based on the position information. an area discriminator that outputs area discrimination information obtained from the discrimination results; and an area discrimination unit that generates an image that distinguishes cleaned areas and uncleaned areas in the cleaning target area based on the area discrimination information. an image creation unit; and a superimposition unit that creates a superimposed image by superimposing an image of the area to be cleaned taken by the camera on the created image, and the imaged image is arranged in the area where the image was taken by the camera in the area that has been cleaned, and A blind spot cleaned area where there is an obstruction between the area, an imaged cleaned area where there is no obstruction between the imaging position and the cleaned area in the cleaned area, and an imaged area where there is no obstruction between the imaging position and the cleaned area in the uncleaned area. The image creation unit includes an uncleaned blind area where there is an obstruction between the blind area and an imaged uncleaned area where there is no obstruction between the imaging position and the uncleaned area. The image forming apparatus is configured to create an image in which the imaged cleaned area is distinguished from the imaged area or an image in which the blind spot area not yet cleaned and the imaged uncleaned area are distinguished from each other as the created image.
また、本発明に係る掃除支援システムは、上記のように構成された掃除支援装置と、掃除支援装置が出力した領域判別情報から得られる画像を表示する表示装置と、を備えるものである。 Further, the cleaning support system according to the present invention includes the cleaning support device configured as described above, and a display device that displays an image obtained from the area discrimination information output by the cleaning support device.
また、本発明に係る電気掃除機は、吸込具から空気を吸い込む電動送風機と、上記のように構成された掃除支援装置と、を備えるものである。 Further, a vacuum cleaner according to the present invention includes an electric blower that sucks air from a suction tool, and a cleaning support device configured as described above.
さらに、本発明に係る掃除支援方法は、掃除対象領域における吸込具の位置情報を検出する工程と、位置情報に基づいて、掃除対象領域における掃除済の掃除済領域と未掃除の未掃除領域とを判別し、判別結果から得られる領域判別情報を出力する工程と、領域判別情報に基づいて、掃除対象領域における掃除済領域と未掃除領域とを区別して表した作成画像を作成する工程と、作成画像に、カメラによって撮像された掃除対象領域の撮像画像を重畳した重畳画像を作成する工程と、を備え、撮像画像は、掃除済領域においてカメラによる撮像位置と掃除済領域との間に遮蔽物がある死角掃除済領域と、掃除済領域において撮像位置と掃除済領域との間に遮蔽物がない撮像掃除済領域と、未掃除領域において撮像位置と未掃除領域との間に遮蔽物がある死角未掃除領域と、未掃除領域において撮像位置と未掃除領域との間に遮蔽物がない撮像未掃除領域と、を含み、作成画像を作成する工程は、死角掃除済領域と撮像掃除済領域とを区別して表した画像又は死角未掃除領域と撮像未掃除領域とを区別して表した画像を作成画像として作成するように構成されるものである。 Furthermore, the cleaning support method according to the present invention includes a step of detecting position information of the suction tool in the cleaning target area, and distinguishing between cleaned areas and uncleaned areas in the cleaning target area based on the position information. and outputting area discrimination information obtained from the discrimination result, and creating an image that distinguishes and represents cleaned areas and uncleaned areas in the cleaning target area based on the area discrimination information. creating a superimposed image by superimposing a captured image of the cleaning target area captured by the camera on the created image, and the captured image is shielded between the imaging position by the camera and the cleaned area in the cleaned area. A blind spot cleaned area where there is an object, an imaged cleaned area where there is no obstruction between the imaging position and the cleaned area in the cleaned area, and an imaged cleaned area where there is an obstruction between the imaging position and the uncleaned area in the uncleaned area. The step of creating a created image includes a certain blind spot uncleaned area and an imaged uncleaned area in which there is no obstruction between the imaging position and the uncleaned area in the uncleaned area, and the step of creating a created image includes a blind spot cleaned area and an imaged uncleaned area. The image forming apparatus is configured to create an image in which the areas are distinguished from each other, or an image in which the blind spot uncleaned area and the imaged uncleaned area are distinguished from each other, as the created image.
本発明の掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法によれば、掃除済領域と未掃除領域とを区別して使用者に分かりやすく提示することが可能となる。 According to the cleaning support device, the cleaning support system, the vacuum cleaner, and the cleaning support method of the present invention, it is possible to distinguish between cleaned areas and uncleaned areas and present them to the user in an easy-to-understand manner.
以下、図面を参照して本発明の実施の形態について説明する。ただし、各図において共通する要素には、同一の符号を付して重複する説明を省略する。なお、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合又は原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造は、特に明示した場合又は明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。さらに、本発明は、その発明の趣旨を逸脱しない範囲において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能であるものとする。 Embodiments of the present invention will be described below with reference to the drawings. However, common elements in each figure are given the same reference numerals and redundant explanations will be omitted. In addition, in the embodiments shown below, when referring to the number, amount, quantity, range, etc. of each element, the reference shall be made unless it is specifically specified or it is clearly specified in principle to the number. The present invention is not limited to this number. Further, the structures described in the embodiments shown below are not necessarily essential to the present invention, unless specifically specified or clearly specified in principle. Furthermore, the present invention allows for free combination of embodiments, modification of any component of each embodiment, or omission of any component of each embodiment without departing from the spirit of the invention. It shall be possible.
１．実施の形態１．
１－１．掃除支援システムの構成
図面を参照して、実施の形態１に係る掃除支援システムについて説明する。図１は、実施の形態１に係る掃除支援システムの構成を説明するためのブロック図である。掃除支援システム５は、使用者が手動で電気掃除機を操作しながら、部屋の床等の被清掃面を掃除する場合に、掃除済の領域又は未掃除の領域を使用者に提示するものである。以下の説明では、掃除が行われる対象となる領域を「掃除対象領域」と呼ぶ。掃除対象領域は、被清掃面、床、棚の上、壁、窓、天井、屋外、又は公共施設等、使用者が電気掃除機を操作して掃除する対象となるあらゆる領域を含んでいてもよい。以下の説明では、床を掃除対象領域とする場合を例示する。
1.
1-1. Configuration of Cleaning Support System A cleaning support system according to the first embodiment will be described with reference to the drawings. FIG. 1 is a block diagram for explaining the configuration of a cleaning support system according to the first embodiment. The
以下の説明では、塵埃及びその他のゴミを総称して単に「塵埃」と呼ぶ場合がある。また、塵埃が混じった空気を「含塵空気」と呼ぶ場合がある。そして、塵埃が取り除かれた空気を「清浄空気」と呼ぶ場合がある。また、掃除対象領域のうち、使用者が掃除済の領域を「掃除済領域」と呼び、未掃除の領域を「未掃除領域」と呼ぶ場合がある。 In the following description, dust and other debris may be collectively referred to simply as "dust." Furthermore, air mixed with dust is sometimes called "dust-containing air." Air from which dust has been removed is sometimes called "clean air." Further, among the areas to be cleaned, an area that has been cleaned by the user may be referred to as a "cleaned area", and an area that has not been cleaned may be referred to as an "uncleaned area".
図１に示すように、掃除支援システム５は、電気掃除機１と、位置情報取得装置６と、掃除支援装置８と、表示装置７とを備えている。以下、これらの構成要素について順に説明する。
As shown in FIG. 1, the
１－１－１．電気掃除機の構成
先ず、掃除支援システム５に含まれる電気掃除機１の構成について説明する。図２は、電気掃除機の斜視図である。図３は、電気掃除機の本体の断面図である。図４は、電気掃除機のヘッド部の側面図である。図５は、電気掃除機のヘッド部の底面図である。図２に示すように、電気掃除機１は、ヘッド部２を有する手持ち式の掃除具である。電気掃除機１は、例えば、コードレスタイプの縦型電気掃除具である。図２に示すように、電気掃除機１は、主な構成要素として、本体４、管体３及びヘッド部２を備えている。
1-1-1. Configuration of Vacuum Cleaner First, the configuration of the
本体４は、ハンドル４０１、外郭部４０４及び集塵部４１２を備えている。ハンドル４０１は、電気掃除機１の使用中に使用者が手で握る部位である。使用者は、ハンドル４０１を握ることで電気掃除機１の本体４を把持できる。またハンドル４０１には、操作部４０２および制御回路４０３が設けられている。操作部４０２は、複数個の図示しないキーボタンを含む。使用者は、ハンドル４０１を持って掃除を行う。この際、使用者は、操作部４０２のキーボタンを操作することで、電気掃除機１の吸引動作の実行、停止等を指示する。制御回路４０３は、操作部４０２と電気的に接続されるとともに、本体４の電動送風機４０５とも電気的に接続される。
The main body 4 includes a
外郭部４０４は、本体４の外郭すなわち外側の覆いをなす部材を有する。本体４の外郭部４０４には、電動送風機４０５及び制御基板４０８が内蔵されている。また外郭部４０４は電源部４０６、接続管部４０９及び排気部４１１を備えている。
The
電動送風機４０５は、電気掃除機１の吸引風を生成するためのものである。電気掃除機１は、電動送風機４０５の駆動により、塵埃又はゴミ等をヘッド部２の吸込口２０３から吸引して集塵部４１２に捕集する。また、制御基板４０８は、例えば、電動送風機４０５のファンの回転数を制御する。
The
電源部４０６は、電動送風機４０５を駆動するための電源を含んでいる。電源部４０６は、例えば本体４に対して着脱可能な電池を含んでいてもよい。また、電源部４０６は、例えば外部から電力を得るための電源コードを含んでいてもよい。
接続管部４０９は、管体３が着脱可能に連結される少なくとも一部が中空筒状の部材である。接続管部４０９は、塵埃を吸い込むための接続口４１０を有する。接続口４１０は、接続管部４０９の一端に形成された開口である。接続管部４０９の内部には、接続口４１０を通過した含塵空気の気流を集塵部４１２へ導く風路が形成されている。接続管部４０９の他端には、ハンドル４０１の一端が外見上連続するようにして配置されている。ハンドル４０１の他端側には、操作部４０２が設けられている。
The connecting
排気部４１１は、外郭部４０４に形成された開口である。集塵部４１２にて塵埃が取り除かれた気流は、排気部４１１から本体４の外部へ排出される。
The
集塵部４１２は、電動送風機４０５が生成した吸引風により本体４に吸い込んだ含塵空気中の塵埃を捕集するためのものである。集塵部４１２は、本体４に対し着脱可能に取り付けられている。集塵部４１２は、例えば紙パック式又はサイクロン式のものである。本実施の形態に係る集塵部４１２は、サイクロン分離装置を有している。
The
次に、図４及び図５を参照ながら、吸込具としてのヘッド部２の構成について説明する。ヘッド部２は、吸込口体２０２と、連結部２０１とを備える。ヘッド部２は、管体３の前述した他端側に連結部２０１を介して連結される。なお、以下の説明では、原則として、吸込口体２０２を水平な被清掃面に置いた状態、すなわち水平面を清掃する状態を基準に説明する。
Next, the configuration of the
吸込口体２０２の形状は、平面視において矩形状を呈する。また、吸込口体２０２の形状は、外観として略直方体形状を呈する。吸込口体２０２における清掃方向を、吸込口体２０２の短手方向と呼ぶ。平面視において、吸込口体２０２の短手方向に垂直な方向を、吸込口体２０２の長手方向と呼ぶ。平面視における吸込口体２０２の長手方向の中間には、連結部２０１の一端が回動可能に接続される。吸込口体２０２は、規定の大きさの断面積を有する吸込口２０３を有する。 吸込口２０３は、ヘッド部２の吸込口体２０２における、掃除対象領域と対向する面に開口を有するように設けられる。塵埃は、ヘッド部の吸込口体２０２の吸込口２０３から吸引される。実施の形態では、ヘッド部２から吸引すると表現することもあり、また、吸込口体２０２又は吸込口２０３から吸引すると表現することもある。
The shape of the
連結部２０１は、吸込口体２０２と管体３、又は吸込口体２０２と本体４とを着脱自在に接続可能とするための中継部である。連結部２０１は、本体４又は管体３に対する吸込口体２０２の姿勢又は角度を変更する機能を有する。
The connecting
ヘッド部２は、管体３の先端側に着脱自在に接続することが可能である。図６は、電気掃除機の本体の接続管部にヘッド部を接続した状態を示す図である。図６に示すように、ヘッド部２は、本体４の接続管部４０９に着脱自在に接続することも可能である。つまり、ヘッド部２は、管体３の先端側と本体４の接続管部４０９の何れか一方に択一的に接続することが可能である。
The
図５に示すように、ヘッド部２は、電動機２０４と回転ブラシ２０５を備えていてもよい。回転ブラシ２０５は、電動機２０４の駆動により回転する。電動機２０４および回転ブラシ２０５は、例えばギアを備える。ヘッド部２は、ベルトを備えていてもよい。ベルトは、電動機２０４のギアの回転を回転ブラシ２０５のギアに伝達する。また、ベルトを介さず、回転ブラシ２０５の内部に電動機２０４を内蔵したいわゆるアウターローター型の場合は、電動機２０４のギアの駆動を回転ブラシ２０５に直接伝達する。本体４からの電力が電動機２０４に供給されると、電動機２０４のギアが回転し、回転ブラシ２０５が回転する。電動機２０４は、ブラシ付き電動機でもブラシレス電動機でもよい。ブラシレス電動機の場合は、既存技術により、回転ブラシ２０５の回転数を変更可能である。
As shown in FIG. 5, the
管体３は内部が中空の管状部材である。管体３は、ヘッド部２と本体４を間接的に接続させるための中継機能を有する。なお、ヘッド部２を本体４に直接接続する場合には、管体３は使用しなくてもよい。
The tube body 3 is a hollow tubular member. The tube body 3 has a relay function for indirectly connecting the
電動送風機４０５は、ハンドル４０１に設けられた操作部４０２に対する操作に応じて駆動される。電動送風機４０５が駆動すると、集塵部４１２及び接続管部４０９の内部に吸引力が作用し、ヘッド部２の吸込口２０３を介して、接続口４１０から含塵空気が吸い込まれる。接続口４１０に吸い込まれた含塵空気は、接続管部４０９を通過して集塵部４１２の内部に取り込まれる。集塵部４１２では、含塵空気から塵埃が分離または捕集される。集塵部４１２から排出された清浄空気は、電動送風機４０５を通過する。電動送風機４０５を通過した清浄空気は、排気部４１１から本体４の外部に排出される。
The
なお、電動送風機４０５は、運転モードに応じて回転数が調整可能に構成されていてもよい。具体的には、電気掃除機１は、運転モードとして、例えば電動送風機４０５の回転数が高い強モードと、強モードよりも回転数が低い弱モードを備えている。さらに、電気掃除機１は、運転モードとして、強モードと弱モードを自動で調整する自動モードを備えていてもよい。運転モードは、ハンドル４０１に設けられた操作部４０２によって操作される。
Note that the
また、本体４は、外部からの入力を受け付ける受信部を備えていてもよい。受信部は、例えば既存技術により、外部からの入力を受け付ける。例えば、入力受信方法は、無線、赤外線、センサ等である。例えば、電気掃除機１は、受信部の外部入力受付部が外部からの入力を受け付けることにより、運転のＯＮ－ＯＦＦの切替、運転モードの切替、又は回転ブラシ２０５の回転数の調整を行う。このような構成によれば、外部入力によって、電気掃除機１の種々の動作を制御することができる。
Further, the main body 4 may include a receiving section that receives input from the outside. The receiving unit receives input from the outside using, for example, existing technology. For example, the input receiving method may be wireless, infrared, sensor, etc. For example, the
１－１－２．位置情報取得装置の構成
次に、掃除支援システム５に含まれる位置情報取得装置６について説明する。位置情報取得装置６は、掃除対象領域に対するヘッド部２の位置を検出するための情報を取得するための装置である。位置情報取得装置６は、例えばスチルカメラ又はビデオカメラである。位置情報取得装置６は、例えば使用者が手に持って使用する。また、位置情報取得装置６は、電気掃除機１に固定する構成でもよいし、また使用者の頭部等の身体に着用する構成でもよい。また、位置情報取得装置６を固定するホルダー部を備えた形状記憶可能なストラップを用いて、首にかける構成でもよい。
1-1-2. Configuration of Location Information Acquisition Device Next, the location
図７は、位置情報取得装置の機能構成を示す機能ブロック図である。図７に示すように、位置情報取得装置６は、その機能ブロックとして、撮像部６１と画像処理部６２とを備えている。撮像部６１は、例えばイメージセンサである。撮像部６１は、例えばＣＭＯＳ又はＣＣＤである。撮像部６１は、レンズが捉えた光の情報をデジタルデータに変換する。画像処理部６２は、変換されたデジタルデータを、画像として目に見える画像データに変換する。位置情報取得装置６は、変化された画像データを出力する。以下の説明では、位置情報取得装置６から出力される画像データを「撮像画像」と呼ぶ。
FIG. 7 is a functional block diagram showing the functional configuration of the position information acquisition device. As shown in FIG. 7, the position
１－１－３．表示装置の構成
次に、掃除支援システム５に含まれる表示装置７について説明する。表示装置７は、データを表示するためのものである。表示装置７に表示されるデータとしては、掃除領域に関する情報、掃除済領域又は未掃除領域に関する情報、位置情報取得装置６で撮像した撮像画像、又は掃除支援装置８が作成した画像等が例示される。
1-1-3. Configuration of Display Device Next, the
表示装置７は、例えばスマートフォンまたはタブレット等の携帯型端末のディスプレイとして構成されていてもよい。また、表示装置７は、電気掃除機１に取り外し自在に設置できるものであってもよい。この場合、表示装置７は、電気掃除機１の操作部４０２に設置するようにしてもよいし、電気掃除機１のヘッド部２に設置するようにしてもよい。また、表示装置７は、身体に着用可能なウェアラブル端末、ウェアラブルメガネ、スマートグラス等であってもよい。
The
表示装置７は、頭部装着型又は眼鏡型であってもよい。頭部装着型又は眼鏡型では表示装置７は顔、特に目の周囲に配置される。例えば光学透過型表示部を備える表示装置では、光透過型において、外界から通り抜ける光の強さを制御することが課題となる。そこで、例えば、調整可能なグローバルシャッタのＬＣＤマスクがビームスプリッタの前、つまり眼から最も遠い位置に配置されていてもよい。使用者はこのシャッタの透明度を調整することで、画像を見やすくすることができる。例えば、明るい陽射しのもとでは、シャッタを最大限に暗くし、屋内環境などの比較的暗い環境ではシャッタの透明度を最大にすればよい。なお、透過型表示部を備える表示装置を備える場合の特有の動作については、後述する他の実施の形態において詳しく説明する。
The
表示装置７は、使用者に視認可能な位置であればその配置に限定はない。また、表示装置７は、掃除対象領域を含む空間である部屋等に設置されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、または、テレビ等の装置が備えるディスプレイ等の表示部として構成されていてもよい。なお、実施の形態１では、表示装置７が携帯型端末の表示部である場合を例示する。表示装置７は、掃除中に手に持って使用してもよい。また、表示装置７は、位置情報取得装置６と共通の一体化された端末に備えてられていてもよい。
The
表示装置７のフレームレート数の閾値は、２０ｍｓから３００ｍｓの間、好ましくは３０ｍｓ以上、さらに好ましくは６０ｍｓ以上である。フレームレート数の数値が上がるほど、画像の変化が滑らかになり、使用者は画面酔いをし難くなる。
The threshold value of the frame rate number of the
１－１－４．掃除支援装置の構成
次に、掃除支援システム５に含まれる掃除支援装置８について説明する。掃除支援装置８は、位置情報取得装置６から取得した情報に基づき、掃除対象領域における電気掃除機１による掃除済領域と未掃除領域を判別するための画像を作成する。
1-1-4. Configuration of Cleaning Support Device Next, the
なお、掃除支援装置８は、例えばアプリケーションとして構成されていてもよい。つまり、掃除支援装置８は、端末にインストールまたはダウンロードすることで使用可能とする構成でもよい。また掃除支援装置８は、予め端末にダウンロードまたはインストールされていてもよい。
Note that the
図８は、掃除支援装置の機能構成を示す機能ブロック図である。図８に示すように、掃除支援装置８は、その主たる機能として、位置情報検出部１０と、位置履歴記憶部１４と、領域判別部１１と、画像作成部１２と、重畳部１３と、表示規則記憶部１６と、入力受付部１７と、を備えている。
FIG. 8 is a functional block diagram showing the functional configuration of the cleaning support device. As shown in FIG. 8, the
位置情報検出部１０は、掃除対象領域に対する電気掃除機１のヘッド部２の位置を検出するための機能ブロックである。より詳しくは、位置情報検出部１０は、使用者によって電気掃除機１の吸引動作が開始されると、位置情報取得装置６としてのカメラから撮像画像を取得する。そして、既存の画像処理技術を用いて撮像画像からヘッド部２の特徴点を抽出し、その位置情報を検出する。つまり、位置情報検出部１０は、掃除対象領域から特徴点を検出する特徴点検出部としての機能を含む。なお、ここでのヘッド部２の特徴点は、予め設定されたヘッド部２の特定位置又は特定範囲である。このようなヘッド部２の特徴点は、例えばヘッド部２の吸込口体２０２の中心位置、対角の２点の位置、又は四隅の位置等を用いることができる。また、位置情報検出部１０は、ヘッド部２の位置に加えて、例えば、既存の画像処理技術を用いて、ヘッド部２の大きさ又は移動方向を更に検出するようにしてもよい。
The position
電気掃除機１の動作状況は、例えば入力受付部１７から入力される情報から判断することができる。入力受付部１７は、使用者によって電気掃除機１の吸引操作が開始されたか否かに関する情報を受け付けるための機能ブロックである。入力受付部１７が受け付けるこの情報は、以下「操作開始指示情報」と呼ばれる。使用者によって操作部４０２が操作されることにより吸引動作が開始されると、操作開始指示情報が制御回路４０３を介して入力受付部１７へと出力される。入力受付部１７は、入力された操作開始指示情報を、位置情報検出部１０に出力する。位置情報検出部１０は、操作開始指示情報の入力を受けて、撮像画像の取得を開始する。
The operating status of the
なお、位置情報検出部１０は、他の手段を用いて電気掃除機１の動作状況を判断してもよい。すなわち、位置情報検出部１０は、例えば使用者が電気掃除機１の操作部４０２の操作により吸引動作の駆動を指示した際のランプの点滅を検知することで、使用者により電気掃除機１の操作が開始されたか否かを判断する構成でもよい。また、位置情報検出部１０は、適宜の方法で、使用者により電気掃除機１の操作が開始されたかどうかを判断すればよい。
Note that the position
位置履歴記憶部１４は、位置情報検出部１０が検出した検出結果であるヘッド部２の位置情報を、その取得日時の情報に対応付けて記憶するためのものである。位置履歴記憶部１４に記憶された情報を、以下「位置履歴情報」とも呼ぶ。位置情報検出部１０は、例えば、位置履歴記憶部１４に格納された位置履歴情報を用いて、ヘッド部２の移動軌跡等の移動情報を特定することができる。
The position
領域判別部１１は、位置情報検出部１０が検出したヘッド部２の位置情報に基づいて、掃除対象領域内における掃除済領域と未掃除領域を判別する。具体的には、領域判別部１１には、位置履歴記憶部１４から位置履歴情報が順次入力される。領域判別部１１は、入力された位置履歴情報に基づいて、ヘッド部２の移動軌跡を算出する。そして、領域判別部１１は、掃除対象領域におけるヘッド部２の移動軌跡を、電気掃除機１による掃除済領域として判別し、判別結果であるその移動軌跡の座標を領域判別情報として画像作成部１２に出力する。なお、領域判別部１１において用いられる座標系は、掃除対象領域内の空間を撮像する撮像画像の座標系と同じ座標系である。
The
領域判別部１１は、操作開始指示情報に基づいて、位置履歴情報が電気掃除機１の操作が開始された後の情報であるか否かを判別可能としてもよい。例えば、領域判別部１１は、ヘッド部２の移動情報と対応付けられている取得日時と、入力受付部１７から取得した操作開始指示情報の受付日時とを比較することによって、電気掃除機１の吸引動作中の位置履歴情報か否かを判断することができる。
The
画像作成部１２は、入力された領域判別情報を反映した画像を作成する。画像作成部１２により作成される画像を、以下「作成画像」とも呼ぶ。画像作成部１２は、予め定められた表示規則に従い、領域判別情報から特定される掃除済領域と未掃除領域とを区別可能な状態で表示した画像を作成する。表示規則は、表示規則記憶部１６に予め記憶されている。表示規則記憶部１６に記憶されている表示規則には、例えばヘッド部２の長手方向の幅が２０ｃｍである場合、ヘッド部２の移動軌跡に沿った方向と直角に幅２０ｃｍを青色で配色する、といった表示規則がある。この場合、青色で塗りつぶされた領域が掃除済領域に対応し、それ以外の領域が未掃除領域に対応することとなる。画像作成部１２は、表示規則記憶部１６から読み込まれた表示規則に従い、掃除済領域と未掃除領域とが区別された作成画像を作成する。作成された作成画像は、重畳部１３に出力される。
The
なお、表示規則記憶部１６は、掃除済領域と未掃除領域とを視覚的に判別可能な表示規則が記憶されていれば、その内容に限定はない。すなわち、表示規則は、掃除済領域を塗りつぶす又は塗り消す回数で色が変わる、濃くなる、薄くなる等、内容を変更した画像を作成する表示規則でもよい。ここでの「塗りつぶすまたは塗り消す回数」とは、掃除対象領域が掃除された掃除回数、つまり、ヘッド部２がその位置を通過した通過回数を表している。また、ここでの「塗りつぶすまたは塗り消す」との表現は、単色で塗りつぶす又は塗り消すものだけでなく、ドット柄、水玉、半透明といった配色の態様も含んでいる。
Note that the display
領域判別部１１は、例えば位置履歴情報に基づいて、ヘッド部２の位置の移動軌跡を検出するとともに、ヘッド部２の位置が同じ位置となる通過回数を算出する。そして、領域判別部１１は、算出した通過回数をヘッド部２の通過回数として、その位置情報とあわせて画像作成部１２へ出力する。画像作成部１２は、領域判別部１１から取得した情報に基づいて、ヘッド部２の通過回数に応じて色が変わる又は色が濃くなる等の内容を変更した画像を作成する。
The
また、他の例では、画像作成部１２は、画像履歴記憶部１５を参照して、以前に同じ位置の画像を作成した履歴があれば、当該履歴をカウントする。そして、画像作成部１２は、当該カウントの回数が多いほど、色が変わる又は色が濃くなる等の内容を変更した画像を作成するようにしてもよい。
In another example, the
重畳部１３は、撮像画像と作成画像を重畳した画像を作成する。重畳部１３により作成される画像を、以下「重畳画像」と呼ぶ。重畳部１３には、位置情報取得装置６において取得された撮像画像と、画像作成部１２において作成された作成画像が入力される。重畳部１３は、既存の画像処理技術を用いてこれらの画像を重ね合わせた重畳画像を作成する。領域判別部が判別した掃除済領域又は未掃除領域に基づいて作成された作成画像を重畳する。なお、重畳部１３は、重畳画像を表示装置７のアスペクト比にあわせて拡大又は縮小するように補正してもよい。作成された重畳画像は、表示装置７へと出力される。これにより、掃除済領域または未掃除領域を示す画像が表示装置７を介して使用者に提示される。
The superimposing
なお、作成された重畳画像は、表示日時の情報とともに、画像履歴記憶部１５に履歴として記憶させるようにしてもよい。ここでの表示日時の情報とは、例えば重畳部１３が、表示装置７に対して重畳画像を出力した日時とすればよい。
Note that the created superimposed image may be stored as a history in the image
１－２．実施の形態１に係る掃除支援システムの動作
次に、図を参照して、実施の形態１に係る掃除支援システムの動作について説明する。図９は、実施の形態１に係る掃除支援システムにおいて実行されるルーチンのフローチャートである。
1-2. Operation of the cleaning support system according to the first embodiment Next, the operation of the cleaning support system according to the first embodiment will be described with reference to the drawings. FIG. 9 is a flowchart of a routine executed in the cleaning support system according to the first embodiment.
まず、ステップＳ１００では、電気掃除機１の操作が開始されたか否かが判定される。ここでは、入力受付部１７が電気掃除機１から操作開始情報を受け付けたか否かが判定される。その結果、入力受付部１７が操作開始情報を受け付けていない場合には、ステップＳ１００の処理が繰り返し実行される。一方、入力受付部１７が操作開始情報を受け付けた場合には、処理は次のステップＳ１０２へと移行する。
First, in step S100, it is determined whether or not operation of the
ステップＳ１０２では、位置情報検出部１０においてヘッド部２の位置情報が検出される。次のステップＳ１０４では、検出された位置情報にその取得日時の情報を対応付けた位置履歴情報が位置履歴記憶部１４に順次記憶される。
In step S102, position information of the
次のステップＳ１０４では、領域判別部１１において領域判別情報が作成される。ここでは、領域判別部１１は、ヘッド部２の位置情報及びその取得日時を含んだ位置履歴情報を順次取得し、掃除対象領域内におけるヘッド部２の移動軌跡を掃除済領域として判別する。そして、領域判別部１１は、掃除済領域に対応する座標を領域判別情報として出力する。
In the next step S104, area discrimination information is created in the
次のステップＳ１０６では、画像作成部１２において作成画像が作成される。画像作成部１２には、領域判別部１１において作成された領域判別情報と、表示規則記憶部１６に記憶されている表示規則とが入力される。領域判別部１１は、入力された表示規則に従い、領域判別情報から判別される掃除済領域と未掃除領域とを視覚的に区別可能とした作成画像を作成する。
In the next step S106, a created image is created in the
次のステップＳ１０８では、重畳部１３において重畳画像が作成される。重畳部１３には、画像作成部１２において作成された作成画像と、位置情報取得装置６において取得された撮像画像とが入力される。重畳部１３は、入力された撮像画像に作成画像を重ね合わせることにより、重畳画像を作成する。
In the next step S108, a superimposed image is created in the superimposing
次のステップＳ１１０では、重畳画像が表示装置７に出力される。次のステップＳ１１２では、電気掃除機１の操作が終了されたか否かが判定される。なお、ここで判断される操作の終了とは、一連の掃除動作の終了をいう。位置情報検出部１０は、例えば、操作開始情報に基づいて、電気掃除機１の操作部４０２の操作により吸引動作の停止が指示されたか否か、一定時間吸引動作の停止の状態が継続したか否か、又は、日付が変わったか否か等の情報とに基づき、一連の掃除動作が終了したかどうかを判定する。その結果、電気掃除機１の操作が未だ終了されていない場合には、処理は再びステップＳ１０２の処理に移行し、以降の処理を繰り返し行う。一方、電気掃除機１の操作が終了された場合には、本ルーチンの処理は終了される。
In the next step S110, the superimposed image is output to the
以上のような制御工程による掃除支援方法によれば、使用者は、電気掃除機１を用いた掃除動作中にリアルタイムで掃除済領域と未掃除領域を一別することができ、掃除の質及び効率が向上する。
According to the cleaning support method using the control process as described above, the user can distinguish between the cleaned area and the uncleaned area in real time during the cleaning operation using the
１－３．実施の形態１に係る掃除支援システムの変形例
実施の形態１に係る掃除支援システム５は、例えば以下のように変形した形態を採用してもよい。
1-3. Modifications of the cleaning support system according to the first embodiment The
掃除支援システム５の動作は、電気掃除機１の動作と連動していなくてもよい。すなわち、掃除支援システム５による動作開始は、例えば電気掃除機１の操作を開始した際に手動でシステムを起動させることとしてもよい。なお、上述のシステムの起動のタイミングは掃除動作の開始時に限らず、前もって起動していてもよい。また、電気掃除機１の操作開始後の任意のタイミングでシステムを起動することとしてもよい。
The operation of the
位置情報取得装置６は、３Ｄ距離センサでもよい。この場合、位置情報検出部１０は、位置情報取得装置６としての３Ｄ距離センサから取得したヘッド部２の色又は形状を、既存の画像認識の技術で追跡するようにしてもよい。
The position
また、位置情報取得装置６は、掃除対象領域、電気掃除機１、又は表示装置７等に複数配置された超音波送受信センサ、ｗｉｆｉ通信センサ、又は屋内ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等でもよい。この場合、位置情報検出部１０は、これらのセンサ類から得られる情報に基づいて、ヘッド部２の位置等を検出するようにしてもよい。なお、上述の位置情報取得装置６は一例に過ぎず、例えば、位置情報取得装置６をカメラとし、カメラを掃除対象領域に複数台設置するようにしてもよい。位置情報取得装置６が単一のカメラで構成されていると、例えば遮蔽物がある場合にヘッド部２を精度よく検出できない場合がある。この点、位置情報取得装置６としてのカメラを複数個配置することで、位置情報検出部１０は、複数の情報に基づいてヘッド部２の位置を精度よく検出することができる。
Further, the position
位置情報取得装置６は、ヘッド部２の位置情報を取得可能な配置であれば、電気掃除機１の操作部４０２の周辺に設置される構成でもよいし、また、他の場所に設置される構成でもよい。例えば、位置情報取得装置６は、ヘッド部２に設置するようにしてもよい。位置情報検出部１０は、ヘッド部２に設置された位置情報取得装置６からの情報に基づいて、掃除対象領域の形状又は色等を追跡する。これにより、位置情報検出部１０は、掃除対象領域に対するヘッド部の位置又は方向を検知する。この際、加速度センサ又は方位センサを合わせて用いるようにしてもよい。
The position
このように、位置情報取得装置６を電気掃除機１の構成部品に設置することにより、例えば複数の部屋に分かれた掃除対象領域のそれぞれに位置情報取得装置６を設置することが不要となる。これにより、複数の部屋を掃除する場合であっても、単一の位置情報取得装置６によって対応することが可能となる。また、位置情報取得装置６の設置を簡易化することも可能となる。
By installing the position
操作部４０２の周辺に位置情報取得装置６を設置するようにした場合、位置情報取得装置６とヘッド部２の間に遮蔽物がある場合に、位置情報を取得できないおそれがある。この点、ヘッド部２に位置情報取得装置６を設置するようにした場合、位置情報取得装置６とヘッド部２の間に遮蔽物が入り込むことがないため、位置情報取得装置６が位置情報を取得できない事態を回避することができる。
In the case where the position
また、位置情報取得装置６として、例えば絶対的な位置を検知する装置と相対的な位置を検知する装置とを組み合わせて用いることとしてもよい。すなわち、掃除支援システム５は、位置情報取得装置６として、掃除対象領域を撮像可能な位置にカメラを設置し、さらに、ヘッド部２の位置に相対位置取得センサを設置するようにしてもよい。相対位置取得センサは、例えば、センサ自身の移動前の位置からの相対位置を検出する。カメラのみを用いてヘッド部２の位置を検出する場合、例えば、カメラとヘッド部２との間に遮蔽物が存在する場合、当該遮蔽物に遮られてヘッド部の位置を検出できないことがある。これに対し、ヘッド部２の位置に設置された相対位置取得センサによれば、ヘッド部２の相対位置を常に把握することができるため、遮蔽物の問題は解決する。
Further, as the position
ただし、相対位置取得センサは、検出される相対位置に、徐々に誤差が蓄積してしまうという問題がある。そこで、カメラと相対位置取得センサをあわせて用い、掃除支援装置８の制御部（図示省略）において、カメラで撮像された撮像画像に基づいて、予め定められた間隔で、相対位置取得センサに蓄積された誤差のリセットを行う。このように、絶対的な位置を検知する装置と、相対的な位置を検知する装置とを組み合わせて用いることにより、カメラのみでは遮蔽物によってヘッド部の位置を検出できないという問題、および、相対位置取得センサのみでは検出した自身の相対的な位置に誤差が生じるという問題をともに解決し、ヘッド部２の位置検知精度をより高めることができる。
However, the relative position acquisition sensor has a problem in that errors gradually accumulate in the detected relative position. Therefore, a camera and a relative position acquisition sensor are used together, and in the control unit (not shown) of the
位置情報検出部１０は、位置情報取得装置６から取得した情報に加えて、更に地図情報を用いてヘッド部２の位置を検出してもよい。より詳しくは、掃除支援装置８は、予め部屋又は建物等の地図を記憶した地図記憶部を備えている。位置情報検出部１０は、位置情報取得装置６から取得した情報に基づき得られたヘッド部２の位置情報と、地図記憶部に記憶されている地図情報とを照らし合わせることで、床座標系に対するヘッド部２の位置を取得する。このような構成によれば、位置情報検出部１０は、位置情報取得装置６から取得した情報だけでなく、地図情報も参照してヘッド部２の位置の検出を行うため、位置検出の精度を向上させることができる。なお、このような構成の場合、画像作成部１２は、掃除済領域だけでなく、地図情報も表示させる画像を作成するようにしてもよい。また、重畳部１３は、作成した重畳画像を表示装置７に表示させる際、当該重畳画像とあわせて地図情報記憶部から取得した情報に基づく建物のフロア図等を示す画像を表示させるようにしてもよい。
In addition to the information acquired from the position
さらに、例えば、複数の使用者が同一の掃除対象領域を掃除する場合、重畳部１３は、各使用者が視認する表示装置７に対して、建物のフロア図等とあわせて、掃除対象領域における他の使用者も含めた掃除済領域に基づく画像を表示させてもよい。この場合、掃除支援装置８の制御部は、各使用者からの指示を受け付る。そして、制御部は、受け付けた指示に応じて、例えば「使用者－１」と「使用者－２」等、各使用者が視認する表示装置７に表示させている画像の切り替えを行うようにすることもできる。これにより、例えば、複数の使用者が同一の掃除対象領域を掃除する場合、他の使用者が視認する表示装置７に表示されているフロア図等を参考にして、掃除領域を分担して協調作業を行うことが可能となる。
Further, for example, when a plurality of users clean the same area to be cleaned, the superimposing
位置情報検出部１０が、ヘッド部２の位置情報としてヘッド部２の大きさを検出している場合には、ヘッド部２の移動範囲を位置情報として領域判別部１１に出力することとしてもよい。この場合、領域判別部１１は、位置情報として入力されたヘッド部２の移動範囲を、掃除済領域と判別する。表示規則記憶部１６には、ヘッド部２の移動範囲を赤色で塗りつぶす、といった表示規則が記憶されている。画像作成部１２は、このような表示規則に従い、掃除済領域を赤色で塗りつぶした作成画像を作成する。
When the position
位置情報検出部１０は、掃除対象領域の特徴点又は特徴線を検出する構成を備えていてもよい。掃除対象領域の特徴点又は特徴線とは、掃除対象領域の座標を把握することが可能な点または線である。位置情報検出部１０は、撮像画像に含まれる背景から特徴的な点または線、つまり特徴点または特徴線を抽出し、掃除対象領域の位置の把握を行う。このように、位置情報検出部１０は、掃除対象領域の特徴点又は特徴線を認識することによって、ヘッド部２の位置と、掃除対象領域の特徴点又は特徴線を対応付けてもよい。なお、特徴点の抽出の方法に限定はない。位置情報検出部１０は、例えば点群データを用いて特徴点を抽出してもよい。
The position
掃除支援装置８は、平面検出部をさらに備えていてもよい。例えば平面検出部は、３点の座標を抽出することによりこれらの点を含む特定平面を検出することができる。また、掃除支援装置８は、以下の方法によって、４点以上からなる点群から平面を検出することもできる。
The
４点以上からなる点群から平面を検出する場合、平面検出部は、まず点群の各点の座標を抽出する。次に、平面検出部は、例えばＲＡＮＳＡＣを用いて、それらしい平面を見つける。次に、平面検出部は、最小二乗法を用いて、点群に対して残差の二乗和が最小となる、つまり最もフィットする平面を算出する。演算に用いる点群は、例えば特徴点を用いてもよい。点群は、例えば特徴線の一部を用いてもよい。特徴点は、カメラ等の位置情報取得装置６の映像から取得する。特徴点の座標は、例えばジャイロ又は距離を加味した上で三角測量によって算出する。このような技術によれば、毎秒１００以上の座標を取得することができる。また、現実空間の物体の位置を点座標の集合として取得できる。また、開始から数秒程度で検出可能である。
When detecting a plane from a point group consisting of four or more points, the plane detection unit first extracts the coordinates of each point in the point group. Next, the plane detection unit finds a suitable plane using, for example, RANSAC. Next, the plane detection unit uses the least squares method to calculate a plane with the minimum sum of squares of residual errors, that is, a plane that best fits the point group. For example, feature points may be used as the point group used in the calculation. For example, a part of a characteristic line may be used as the point group. The feature points are acquired from images captured by a position
画像作成部１２は、ヘッド部２の位置の移動軌跡等に基づいて掃除済領域に配色を施した作成画像を作成することとしていた。しかしながら、画像作成部１２は、移動軌跡等に基づいて、未掃除領域に配色を施した作成画像を作成することとしてもよい。この場合、画像作成部１２は、未掃除領域における未掃除領域を塗りつぶした作成画像を作成する。重畳部１３では、撮像画像と作成画像を重畳した重畳画像が作成される。表示装置７には重畳画像が表示される。全ての領域が未掃除領域である掃除開始前には、掃除対象領域の全体が塗りつぶされた重畳画像が表示される。未掃除領域の掃除を行うことにより、掃除済領域となった箇所は、塗りつぶしが塗り消されるように表示される。
The
掃除支援装置８は、撮像画像に含まれる平面を検出する平面検出部を備えていてもよい。平面検出部は、位置情報取得装置６により取得された撮像画像から、既存の平面検出技術によって特定の平面を検出する。より詳しくは、平面検出部は、既存の技術により、撮像画像から３点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる平面を検出する。これにより、３点以上の特徴点を含む特定平面を検出することが可能となる。
The
例えば画像作成部１２が未掃除領域を塗りつぶした作成画像を作成する場合、床面以外にも、例えば壁面、机又はモノ等も塗りつぶされてしまう。この場合、全てをヘッド部２で掃除し、塗り消すことは困難であり、また、わずらわしくもある。そこで、平面検出部により、塗り消す範囲を限定してもよい。より詳しくは、平面検出部は、特定平面として床面を検出する。そして、画像作成部１２は、平面検出部によって検出された床面において、未掃除領域と掃除済領域とを区別した作成画像を作成する。これにより、例えば、床面のみが塗りつぶされた状態となり、塗りつぶされた領域を掃除することで、掃除済領域が塗り消される。このため、掃除しない床面以外の場所が塗りつぶされているというわずらわしさがなく、快適に使用できる。また、塗りつぶされた画像が消えていくことの爽快感が得られる。
For example, when the
重畳部１３は、位置情報取得装置６から取得した撮像画像に作成画像を重畳させた重畳画像を、使用者の視点から見た画像に変換してもよい。具体的には、例えば、重畳部１３は、既存の画像処理技術を用いて、位置情報取得装置６から取得した撮像画像から使用者の頭部、顔又は眼球を検出する。そして、頭部又は顔の向き、位置、又は眼球の動きから使用者の視線方向を算出し、その算出結果に基づいて、作成した重畳画像を使用者の視点から見た画像に変換するようにすればよい。なお、重畳画像を使用者の視点から見た画像に変換する動作については、後述する他の実施の形態において詳しく説明する。
The superimposing
位置情報取得装置６と表示装置７と掃除支援装置８は、一体化された共通の端末に含まれるように構成されていてもよい。このような端末としては、例えばカメラ付きの携帯型端末を利用することができる。図１０は、携帯型端末として構成された掃除支援装置の構成を示す図である。この図に示す例では、掃除支援装置８としての携帯型端末は、正面側に表示装置７としてのタッチパネルが設けられ、背面側に位置情報取得装置６としてのカメラが設けられている。このような構成によれば、掃除対象領域を撮像するカメラの設置が不要となる。また、重畳部１３が、重畳画像を表示装置７のアスペクト比にあわせて拡大又は縮小する処理も不要となる。
The position
位置情報取得装置６は、掃除対象領域となる部屋に設置されたＰＣ又はテレビ等の装置が備えるカメラを利用してもよい。この場合、表示装置７は、当該ＰＣ又はテレビ等の装置が備える表示装置を利用し、重畳画像を当該ＰＣ又はテレビ等の画面に表示させるようにしてもよい。
The position
上述のように位置情報取得装置６と表示装置７の共通の端末としてＰＣ又はテレビ等の装置を用いる場合、具体的には、重畳部１３は、領域判別部１１が判別した掃除済領域又は未掃除領域に対応する作成画像を取得する。そして、重畳部１３は、ＰＣまたはテレビ等の装置に搭載されているカメラから撮像画像を取得し、取得した作成画像を撮像画像に重畳させた重畳画像を作成する。重畳部１３は、当該重畳画像を、ＰＣまたはテレビ等の装置に搭載されている表示部に表示させる。
When a device such as a PC or a television is used as a common terminal for the location
ＰＣまたはテレビ等の装置が搭載している表示部に重畳画像を表示させる際、重畳部１３は、使用者から見て表示部に表示される重畳画像が、鏡に映る画像のように表示されるように、重畳画像を左右反転させて表示部に表示させるように補正する。また、重畳部１３は、重畳画像を、表示部のアスペクト比にあわせて拡大または縮小するように補正する。このように、部屋等に設置されているＰＣまたはテレビ等の装置が搭載しているカメラを位置情報取得装置６とする場合も、既存の装置が備えるカメラを利用することができ、掃除対象領域を撮像するカメラの設置を不要とすることができる。また、重畳部１３は、重畳画像を左右反転させて表示させることで、使用者がより掃除状況を把握しやすくすることができる。
When displaying a superimposed image on a display unit installed in a device such as a PC or a television, the superimposing
また、重畳部１３は、ＰＣまたはテレビ等の装置に搭載されているカメラから取得した撮像画像に掃除済領域または未掃除領域に対応する作成画像を重畳させた重畳画像を、使用者の視点から見た画像に変換して、ＰＣまたはテレビ等の装置に搭載されている表示部に表示させるようにしてもよい。この場合、具体的には、重畳部１３は、既存の画像処理技術を用いて、ＰＣまたはテレビ等の装置に搭載されているカメラから取得した撮像画像から使用者の頭部、顔又は眼球を検出する。そして、使用者の頭部又は顔の向き、位置、又は眼球の動きから視線方向を算出し、その算出結果に基づいて、作成した重畳画像を使用者の視点から見た画像に変換するようにすればよい。
The superimposing
重畳部１３が作成した重畳画像を、通信Ｉ／Ｆ装置を介して、表示装置７に表示させてもよい。例えば、表示装置７が掃除対象領域を含む空間の外部に存在する場合、重畳部１３は、作成した重畳画像を通信Ｉ／Ｆ装置を介して外部の表示装置７に表示させるようにすることができる。これにより、例えば、掃除の管理者等の第三者が、掃除対象領域を含む部屋等の空間の外部からでも、掃除の状況を確認することが可能となる。
The superimposed image created by the superimposing
掃除支援システム５は、さらに発光手段９を備えていてもよい。発光手段９は、例えば掃除対象領域、被清掃面、ヘッド部２およびその周辺を明るくするためのものである。発光手段９は、例えば表示装置７とは異なる位置に備えられている。図１０に示すように、例えば、発光手段９、位置情報取得装置６及び表示装置７が同一の携帯型端末に備えられている場合、発光手段９は、表示装置７と異なる位置、例えば、表裏反対となる面に配置されていてもよい。発光手段９は、例えばＬＥＤである。発光手段９の照射方向と位置情報取得装置６としてのカメラの光軸は、平行または略平行に設けられる。発光手段９は、必要に応じて既存技術によりＯＮ－ＯＦＦが変更できるように構成されていてもよい。これにより、撮像画像の明度が向上するので、精度よく特徴点を取得することが可能となる。
The
掃除支援システム５の構成及び機能は、一つの端末に集約されていてもよい。位置情報取得装置６は光軸を有するレンズを有する。また、表示装置７は、例えば、平面部を有し、平面部に画像が表示される。表示装置７は、少なくとも一部が平らな平面部を有する。表示装置７は、例えば大部分が丸みのない平面状に形成される。光軸は、表示部、または表示部の平面に対して、垂直または略垂直な位置関係としてもよい。また、位置情報取得装置６による撮影方向または撮像方向は、表示部または表示部の平面に対して、垂直または略垂直な位置関係としてもよい。光軸は、例えば生き物でいう視線である。光軸と表示部が垂直な位置関係であることにより、表示された情報を視認しやすい。略垂直とは垂直に対して、±１０°、好ましくは±５°の範囲である。
The configuration and functions of the
掃除支援システム５の掃除支援装置８が備える各機能は、例えば以下のように構成されていてもよい。図１１は、実施の形態１に係る掃除支援装置のハードウェア構成の一例を示す図である。また、図１２は、実施の形態１に係る掃除支援装置のハードウェア構成の他の例を示す図である。実施の形態１において、掃除支援装置８の各機能は、処理回路２２により実現される。例えば、掃除支援装置８は、位置情報取得装置６により撮像画像を取得し、撮像画像から領域判別部１１により領域を判別し、領域判別部１１の結果から画像作成部１２にて作成画像を作成し、重畳部１３により撮像画像と作成画像を重畳した重畳画像を作成し、重畳画像を表示装置７に表示させる制御を行うための処理回路２２を備える。処理回路２２は、図１１に示すように専用のハードウェアであってもよいし、図１２に示すようにメモリ２５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６であってもよい。
Each function provided in the
処理回路２２が専用のハードウェアである場合、処理回路２２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
When the
処理回路２２がＣＰＵ２６の場合、位置情報検出部と、領域判別部と、画像作成部の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、例えば、位置情報検出部１０と、領域判別部１１と、画像作成部１２と、重畳部１３とは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２３、メモリ２５等に記憶されたプログラムを実行するＣＰＵ２６、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路２２により実現される。また、ＨＤＤ２３、メモリ２５等に記憶されたプログラムは、位置情報検出部１０と、領域判別部１１と、画像作成部１２の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリ、又は磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
When the
なお、位置情報検出部１０と、領域判別部１１と、画像作成部１２と重畳部１３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、一部は専用のハードウェアとしての処理回路２２でその機能を実現し、位置情報検出部１０と、領域判別部１１と、画像作成部１２と重畳部１３については処理回路２２がメモリ２５に格納されたプログラムを読み出して実行することによってその機能を実現してもよい。位置履歴記憶部１４と、表示規則記憶部１６と、画像履歴記憶部１５は、例えば、ＨＤＤ２３を使用する。なお、これは一例にすぎず、位置履歴記憶部１４と、表示規則記憶部１６は、ＤＶＤ、メモリ等によって構成されるものであってもよい。また、掃除支援装置８は、位置情報取得装置６、表示装置７等の外部機器との通信を行う通信Ｉ／Ｆ装置２４を有する。例えば、位置情報検出部１０は、通信Ｉ／Ｆ装置２４を利用して、位置情報取得装置６が撮像した映像を取得する。また、例えば、画像作成部１２は、作成した画像を、通信Ｉ／Ｆ装置２４を利用して、表示装置７に出力する。
Note that some of the functions of the position
掃除支援装置８は、使用者に対して、掃除対象領域における掃除済領域または未掃除領域の領域をグレー等の色で提示するものとしてもよい。具体的には、画像作成部１２は、領域判別部１１が判別した掃除済領域に基づき、掃除対象領域において当該掃除済領域を除く領域を未掃除領域と判断し、掃除未実施の領域をグレー等の色とした画像を作成してもよい。
The
掃除支援装置８は、電気掃除機１の外部に設置されていてもよい。例えば、掃除支援装置８は、電気掃除機１と通信Ｉ／Ｆ装置２４を介して通信し、電気掃除機１の駆動、停止等の制御情報等を取得するようにしてもよい。また、電気掃除機１との間で特別な通信手段を持たなくてもよい。また、掃除支援装置８は、電気掃除機１に搭載されるものとしてもよい。電気掃除機１と掃除支援装置８の間で特別な通信手段を持たない場合は、掃除の支援を任意に行う。また、掃除支援装置８が電気掃除機１と通信Ｉ／Ｆ装置２４を介して通信する場合、又は掃除支援装置８が電気掃除機１に搭載される場合は、電気掃除機１と連携したより高度な支援が可能となる。
The
また、掃除支援システム５の少なくとも一部は、例えばアプリケーションである。このようなアプリケーションは、例えば、コンピュータ、スマートフォン、スマートグラスなどの端末にダウンロードすることにより使用する。これにより、専用の端末を用いることなく、掃除を支援することができる。
Moreover, at least a part of the
掃除支援装置８は、電気掃除機１に搭載されていてもよい。図１３は、電気掃除機の構成の変形例を示すブロック図である。この図に示すように、電気掃除機１は、ヘッド部２から空気を吸い込む電動送風機４０５と、掃除支援装置８と、を備えている。図１４は、電気掃除機の構成の他の変形例を示すブロック図である。図１４に示す例では、電気掃除機１は、上述の電動送風機４０５と、掃除支援装置８とに加えて、更に表示装置７を搭載している。このような構成を備えた電気掃除機１においても、使用者の掃除の支援を行うことができる。
The
２．実施の形態２．
次に、実施の形態２の掃除支援システムについて説明する。
2.
Next, a cleaning support system according to a second embodiment will be explained.
２－１．実施の形態２の掃除支援システムの特徴
実施の形態２に係る掃除支援システムは、位置情報検出部１０の構成を除き、実施の形態１の掃除支援システムと同じである。
2-1. Features of the cleaning support system according to the second embodiment The cleaning support system according to the second embodiment is the same as the cleaning support system according to the first embodiment except for the configuration of the position
実施の形態２に係る掃除支援装置８の位置情報検出部１０は、特定色を認識することによってヘッド部２の位置情報を検出することに特徴を有している。位置情報検出部１０は、使用者によって電気掃除機１の吸引動作が開始されると、位置情報取得装置６としてのカメラから撮像画像を取得する。そして、既存の画像処理技術を用いて撮像画像からヘッド部２のみに割り当てられている特定色を抽出し、その位置情報を検出する。つまり、位置情報検出部１０は、掃除具に割り当てられた特定色を検出する特定色検出部としての機能を含む。ヘッド部２は、その全体が特定色に配色されていてもよいし、またその一部が特定色に配色されていてもよい。なお、特定色は、使用者が色設定部から設定可能である。
The positional
領域判別部１１は、特定色から検出されたヘッド部２の位置情報を順次取得し、掃除対象領域内におけるヘッド部２の移動軌跡を算出する。そして、領域判別部１１は、算出された移動軌跡に基づいて、掃除済領域と未掃除領域を判別し、掃除済領域に対応する座標を領域判別情報として出力する。表示規則記憶部１６には、特定色から検出された位置情報から作成画像を作成するための表示規則が記憶されている。このような表示規則としては、例えばヘッド部２の移動軌跡に対して、吸込口体２０２の平面視に対する長手方向の幅Ｘｃｍに相当する範囲を塗りつぶす、といった規則が記憶されていてもよい。この場合、画像作成部１２は、表示規則記憶部１６に記憶されている表示規則に従い、ヘッド部２の移動軌跡に対して、幅Ｘｃｍ広い範囲を掃除済領域として塗りつぶした画像を作成する。また表示規則記憶部１６は、吸込口体２０２の平面視に対する長手方向の幅および短手方向の幅を考慮した画像を作成する際の規則が予め記憶されていてもよい。
The
なお、上述した表示規則は一例に過ぎない。すなわち、表示規則記憶部１６には、例えば、画像の色、ヘッド部２の位置を中心とした塗りつぶし範囲等、画像作成部１２が当該表示規則記憶部１６に記憶された規則に則って作成した作成画像が表示装置７に表示された際に、使用者が、掃除済領域及び未掃除領域を認識可能な画像になるような規則が記憶されていればよい。表示規則記憶部に記憶されている規則は、予め使用者等によって適宜設定可能である。
Note that the display rules described above are merely examples. That is, the display
以上のように構成された掃除支援装置８によれば、ヘッド部２に割り当てられた特定色を検知することによって、掃除済領域と未掃除領域とを精度良く判別することが可能となる。
According to the
２－２．実施の形態２に係る掃除支援システムの変形例
実施の形態２に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
2-2. Modifications of the cleaning support system according to the second embodiment The cleaning support system according to the second embodiment may be modified as follows, for example.
表示装置７がタッチパネル式の表示装置である場合、特定色の設定は、位置情報取得装置６とタッチパネルを用いてもよい。例えば、色設定部は、位置情報取得装置６から取得した画像をタッチパネルの表示部に表示させ、使用者が表示部に触れることで、その接触位置の色を特定色として設定するように構成されればよい。使用者は、登録を望む色を有するもの、例えばヘッド部２を位置情報取得装置６により撮像すればよい。そして撮像されたヘッド部２の撮像画像をタッチパネルの表示部に表示させた状態で、タッチパネルを介して選択することで、ヘッド部２の色を特定色として登録すればよい。これにより、空間の明るさによりヘッド部２が認識しづらいと感じた場合に適宜特定色を変更することができる。
If the
３．実施の形態３．
次に、実施の形態３の掃除支援システムについて説明する。
3. Embodiment 3.
Next, a cleaning support system according to Embodiment 3 will be explained.
３－１．実施の形態３の掃除支援システムの特徴
実施の形態３に係る掃除支援システムは、表示装置７としてスマートグラス等の透過型表示部を有する表示装置を用いた場合に特化した動作に特徴を有している。本実施の形態に係る掃除支援システムの基本的な構成は、表示装置７が透過型表示部を有する表示装置であることを除き、実施の形態１の掃除支援システムと同じである。
3-1. Features of the cleaning support system according to the third embodiment The cleaning support system according to the third embodiment is characterized by specialized operation when a display device having a transmissive display section such as smart glasses is used as the
実施の形態３の掃除支援システムは、表示装置７として、スマートグラスのように顔または頭部に着用する表示装置を備える。このような透過型の表示装置７は、現実と仮想の融合機能を有する透過型表示部を有している。より詳しくは、表示装置７としてのスマートグラスは、透過型表示部に作成画像を表示することにより、掃除対象領域の実空間に作成画像が重畳した画像を使用者に提供することができる。つまり、スマートグラスのような表示装置７は、透過型表示部に作成画像を表示することにより、掃除対象領域の実空間に作成画像が重畳した画像を使用者に提供することができる。
The cleaning support system of Embodiment 3 includes, as the
表示装置７にスマートグラスを用いた場合、画像作成部１２は、掃除済領域と未掃除領域を判別可能に表示した作成画像を生成する。画像作成部１２は、作成された作成画像を使用者の視点から見た画像に変換する。具体的には、例えば、画像作成部１２は、既存の画像処理技術を用いて、位置情報取得装置６から取得した撮像画像から使用者の頭部、顔又は眼球を検出する。そして、頭部又は顔の向き、位置、又は眼球の動きから使用者の視線方向を算出し、その算出結果に基づいて、作成した作成画像を使用者の視点から見た画像に変換する。作成した作成画像は、表示装置７としてのスマートグラスに出力される。スマートグラスは、入力された作成画像を透過型表示部に表示することによって、使用者の視点から見た実画像に作成画像を重畳した画像を使用者に提供する。つまり、実施の形態３に係る掃除支援装置８では、撮像画像に作成画像を重畳させた重畳画像を作成する重畳部の構成が不要となる。
When smart glasses are used as the
このように、実施の形態３に係る掃除支援システムによれば、スマートグラス等の透過型表示部を有する表示装置を用いて、使用者に掃除済領域及び未掃除領域を提供することが可能となる。 As described above, according to the cleaning support system according to the third embodiment, it is possible to provide the user with the cleaned area and the uncleaned area using a display device such as smart glasses having a transparent display section. Become.
３－２．実施の形態３の掃除支援システムの変形例
実施の形態３に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
3-2. Modifications of the cleaning support system according to the third embodiment The cleaning support system according to the third embodiment may be modified as follows, for example.
透過型表示部は、実世界からの光を通すことができ、実世界を直接見ることができる光学透過型表示部に限らず、ビデオ透過型表示部でもよい。ビデオ透過型表示部は、現実と仮想の融合が電子的になされる。つまり、カメラ等の位置情報取得装置６によって取得された撮像画像が電子的に画像処理され、現実と仮想の融合像が表示される。例えば、実世界を変換した撮像画像が位置情報取得装置６により取得され、重畳部１３に送られる。重畳部１３は例えば、単に撮像画像を背景像としてフレームバッファにコピーすることで撮像画像と作成画像を融合する。融合された画像は透過型表示部に表示される。また、撮像画像と作成画像の奥行を認識し、背景にする部位を考慮してもよい。
The transmissive display section is not limited to an optical transmissive display section through which light from the real world can pass and the real world can be directly viewed, but may also be a video transmissive display section. The video transmissive display is an electronic fusion of reality and virtuality. That is, a captured image acquired by the position
画像作成部１２が作成画像を使用者の視点から見た画像に変換する場合、適宜位置合わせしてもよい。ここでの位置合わせとは、仮想物体と実物体との間の座標系を一致させることを指す。ここでは、使用者の知覚において、実シーンに置かれた物体に仮想情報を正確に位置合わせすることが目標となる。具体的には、透過型表示部においては、コンピュータグラフィクスの要素が実世界の物体と揃うように表示する必要がある。これは、使用者の頭部、背景映像を撮影するカメラ、又はその両方のトラッキングを必要とする。
When the
使用者またはカメラが動いていないときに静的位置合わせを実現するためには、仮想物体と実物体との間に共通の座標系を確立するようにトラッキングシステムを構成することが必要である。使用者またはカメラが動いているときに動的位置合わせを実現するには、トラッキングが必要である。トラッキングの対象は、自然特徴と人工的特徴の２つに分類できる。人工的特徴はマーカ又は基準と呼ばれる。拡張現実（ＡＲ）を実行する前には周囲環境を計測してもよい。例えば、事前計測することで、より単純で頑健なトラッキングアルゴリズムを使用することができる。マーカを用いずに手を加えていない環境をトラッキングする場合、この手法は自然トラッキングに利用できる。 To achieve static alignment when the user or camera is not moving, it is necessary to configure the tracking system to establish a common coordinate system between the virtual object and the real object. Tracking is required to achieve dynamic alignment when the user or camera is moving. Tracking targets can be classified into two types: natural features and artificial features. Artificial features are called markers or fiducials. The surrounding environment may be measured before performing augmented reality (AR). For example, pre-measurement allows the use of simpler and more robust tracking algorithms. This technique can be used for natural tracking when tracking an unaltered environment without markers.
自然特徴を用いる方法では、物理的な対象が最初に存在し、それに適合するデジタルモデルを得るために、スキャナが使用される。多くの場合、同一のカメラを用いて、まず環境をスキャンし、その後連続的な光学式トラッキングを行う。 In methods using natural features, a physical object is first present and a scanner is used to obtain a digital model that fits it. Often, the same camera is used to first scan the environment and then perform continuous optical tracking.
また、自然特徴により、自然に存在している特徴をトラッキングに用いてもよい。自然特徴は、例えば対象物体上の顕著な点特徴、いわゆる特徴点またはキーポイントである。特徴点は、簡単に見つけられなければならず、物体上のそれらの位置は視点変化に対して安定していなければならない。特徴点を利用するには、十分で密で不規則な表面上の模様が装飾されていない街並みや工業用物体など、テクスチャがあまりない物体に対しては、その輪郭が容易に観察可能であると仮定すれば、エッジ特徴を使用してトラッキングしてもよい。但し、エッジの場合、信頼性の高い対象検出のためには、複数のエッジを合わせて解釈する必要がある。 Also, natural features may be used for tracking. Natural features are, for example, prominent point features on the target object, so-called feature points or key points. Feature points must be easy to find and their position on the object must be stable with respect to viewpoint changes. To use minutiae points, there is sufficient dense and irregular surface pattern for objects with little texture, such as undecorated cityscapes and industrial objects, whose contours are easily observable. Assuming that, edge features may be used for tracking. However, in the case of edges, multiple edges must be interpreted together for highly reliable target detection.
また、さらに特徴マッチングを実行してもよい、モデル内の特徴点が新たに得られた画像内のどの点に対応するかを、特定することができる。十分な数の対応点から、シーンを識別することができる。一般に人工的なマーカは景観を損ねることがある。そこで、自然特徴のトラッキングによって、環境にマーカを設置することなく、画像からの観測情報からカメラ位置姿勢を決定することができる。また、自然特徴トラッキングでは、実際の環境をスキャンすることによって、適切なデジタルモデルの位置を把握する。そして、実行時にカメラからの観測とトラッキングモデルを対応付ける。 Additionally, it is possible to identify which point in the newly obtained image corresponds to a feature point in the model, which may also be subjected to feature matching. A scene can be identified from a sufficient number of corresponding points. Generally, artificial markers can spoil the landscape. Therefore, by tracking natural features, the camera position and orientation can be determined from observation information from images without installing markers in the environment. Natural feature tracking also involves scanning the real environment to locate the appropriate digital model. Then, at runtime, the observations from the camera and the tracking model are associated.
また、単眼カメラによるトラッキングにより、カメラ画像中の二次元点と世界座標における三次元点の対応を決定してもよい。このような二次元－三次元の対応付けは密なものと疎なものに分けることができる。密な対応付けとは、画像中のすべての画素に対して対応を見つけることを意味する。また、疎な対応付けは画像中から選択された少数だが十分な数の顕著な特徴点の対応を見つけることを指す。 Alternatively, the correspondence between a two-dimensional point in a camera image and a three-dimensional point in world coordinates may be determined by tracking using a monocular camera. Such two-dimensional-three-dimensional correspondence can be divided into dense and sparse. A tight correspondence means finding a correspondence for every pixel in the image. In addition, sparse correspondence refers to finding correspondence between a small but sufficient number of prominent feature points selected from an image.
掃除支援装置８は、例えば疎な対応付けを行う。特徴点は離散的な位置に複数現れるという性質を有する。このため背景が複雑であっても影響されにくく、頑健さにつながる。つまり、十分な正しい対応が残っている限り、誤対応は外れ値として分類され、位置推定に影響を与えることなく排除される。このため、疎な対応付けでも問題がなく、また密な対応付けに比べデータ数が少ないため、処理速度が速いという優位性を持つ。
The
疎な対応付けに用いられる、検出型トラッキングについて説明する。カメラ位置姿勢は、前のフレームから得られる事前情報に頼ることなく、新しいフレームで特徴点を対応付けることで決定される。特徴点は、記述子によって表される。記述子とは、素早く信頼性の高い対応付けのために設計されたデータ構造である。記述子は、新しいカメラ画像中の各特徴点に対して作成され、トラッキングモデル内の特徴点と対応付けられる。この方法は、簡潔でカメラの動きの種類に関する過程は特にない。例えば、使用者が誤ってカメラを覆ってしまった場合など、あるフレームでカメラの位置姿勢が推定できない場合、このような位置姿勢推定の抜けが次のフレームのトラッキングに影響しない。また、検出型トラッキングは、履歴を維持する必要がないため、過去情報を用いた逐次的トラッキングよりも実装が簡単である。 Detection type tracking used for sparse correspondence will be explained. The camera position and orientation are determined by associating feature points in a new frame without relying on prior information obtained from the previous frame. Feature points are represented by descriptors. A descriptor is a data structure designed for quick and reliable mapping. A descriptor is created for each feature point in the new camera image and associated with the feature point in the tracking model. This method is simple and does not involve any particular process regarding the type of camera movement. For example, if the position and orientation of the camera cannot be estimated in a certain frame, such as when the user accidentally covers the camera, such omission in position and orientation estimation will not affect tracking in the next frame. Detection-based tracking is also easier to implement than sequential tracking using past information because it does not require maintaining history.
掃除支援装置８は磁気センサを備えていてもよい。磁気センサは、水平方向の推定に適している。例えば、特徴点に対する法線方向を地平面に投影した際の方向によって事前にソートすることができる。磁気センサを用いることで、対応点の探索対象を法線が使用者に向いている点のみに絞り込むことができる。
The
また、掃除支援装置８は加速度センサを備えていてもよい。例えば、加速度センサを用いて、重力方向を取得することで、鉛直方向の推定結果が得られる。これにより、例えば家具などの鉛直方向に延びる物体において、特徴点が複数得られた場合、重力方向に沿った特徴の利用によって、対応付けの精度が向上する。また、これにより垂直面を検知してもよい。垂直面を検知することで、垂直面への塗りつぶし又は塗り消しの条件設定を行うことができる。
Further, the
４．実施の形態４．
次に、実施の形態４の掃除支援システムについて説明する。
4. Embodiment 4.
Next, a cleaning support system according to a fourth embodiment will be explained.
４－１．実施の形態４の掃除支援システムの特徴
図１５は、実施の形態４に係る掃除支援システムが備える掃除支援装置の機能を示すブロック図である。実施の形態４に係る掃除支援システムは、掃除支援装置８の構成を除き、実施の形態１の掃除支援システムと同じである。
4-1. Features of the cleaning support system according to the fourth embodiment FIG. 15 is a block diagram showing the functions of the cleaning support device included in the cleaning support system according to the fourth embodiment. The cleaning support system according to the fourth embodiment is the same as the cleaning support system according to the first embodiment except for the configuration of the
実施の形態４に係る掃除支援装置８は、実施の形態１に係る掃除支援装置８の構成に加えて、更にオブジェクト画像作成部１８を備える点に特徴を有している。オブジェクト画像作成部１８は、掃除対象領域に無作為にオブジェクトを並べた画像を生成する。例えば、オブジェクトは、ドット状のオブジェクトである。オブジェクトは、例えば、ゴミ、ウィルス、バイキン、花粉等を模擬したイメージ画像である。作成されたオブジェクト画像は、重畳部１３に送られる。重畳部１３は、入力された撮像画像に作成画像を重畳した後に、更にオブジェクト画像を重ねた画像を生成する。オブジェクト画像を含んだ重畳画像は、表示装置７に表示される。また、実施の形態４では作成画像を作成しなくてもよく、重畳部１３は撮像画像に作成画像を重畳しなくてもよい。例えば、重畳部１３は、入力された撮像画像に直接オブジェクト画像を重ねた画像を生成してもよい。つまり、塗りつぶし又は塗り消した画像の代わりに、オブジェクト画像を含んだ重畳画像が表示装置７に表示されてもよい。
The
オブジェクト画像作成部１８は、時間の経過とともにオブジェクトを変化させる。例えば、オブジェクト画像作成部１８には、位置情報取得装置６から撮像画像を受け取る。また、併せて画像作成部１２から作成画像を受け取る場合もある。そして、オブジェクト画像作成部１８は、掃除済領域に包含されたオブジェクト画像を変化させる。オブジェクト画像の変化は、例えば小さくなる、消滅する、向き又は画像が変化する等が例示される。また、オブジェクトから判断しうる清掃度合を数値化または評価してもよい。また、数値や評価結果をＳＮＳ等へ投稿することができてもよい。このようなオブジェクト画像の変化によれば、使用者による清掃が進行して未掃除領域が減少していることをオブジェクト画像の変化から視覚的に認識することが可能となる。これにより、使用者の掃除の達成感を高めることができる。
The object
掃除支援装置８は、オブジェクト画像のある位置を清掃した際に、振動または音によって使用者に報知する報知手段を備えていてもよい。図１０に例示されるように、掃除支援装置８が表示装置７を備えた携帯型端末である場合、例えば当該端末に内蔵された既存技術の振動発生手段４０または音声発生手段４１を報知手段として利用すればよい。
The
掃除支援装置８のオブジェクト画像作成部１８は、ゴミセンサと連動して動作させてもよい。例えば、オブジェクト画像作成部１８は、ゴミセンサの反応時間又は反応回数に応じてオブジェクトを出現させるように画像を作成してもよい。また、ゴミの量と清掃位置に対するゴミの有無やゴミ量を併せて記憶し、ゴミが多い場所と記憶した場所には、例えば次回以降、オブジェクトを多数出現させる、大きいオブジェクトを出現させる、又は複数回の清掃を必要とすることを示すオブジェクトを出現させるように画像を作成してもよい。また、過去の掃除した場所と日時を記憶し、掃除していない期間に応じて、オブジェクトの数又は大きさを変化させるように画像を作成してもよい。例えば期間が長いほどオブジェクトの数を増やす又はオブジェクトのサイズを大きくするように画像を作成してもよい。更に、掃除対象領域にである部屋の角部や辺を検知し、角部や辺にオブジェクトを多数出現させるように画像を作成してもよい。
The object
また、オブジェクト画像作成部１８は、清掃状況に応じてオブジェクト画像を変化させることとしてもよい。例えば、オブジェクト画像作成部１８は、掃除済領域には出現させないようにしてもよい。この場合、オブジェクト画像作成部１８は、領域判別部１１から入力される領域判別情報に基づいて、未掃除領域に含まれるオブジェクトのみを出現させるように画像を作成する。また、掃除支援装置８は、掃除済領域を記憶する掃除済領域記憶部を更に備えていてもよい。掃除済領域記憶部は、領域判別部１１から入力される領域判別情報に含まれる掃除済領域を記憶する。そして、オブジェクト画像作成部１８は、掃除済領域記憶部に記憶されている情報に則り掃除済領域以外の未掃除掃除領域にオブジェクトを表示させるように画像を作成すればよい。このようにすることで、一度掃除した領域にはオブジェクト画像が表示されないので、使用者はオブジェクトがある位置を掃除していくことによって掃除対象領域を清掃することができる。また、同じ場所に何度もオブジェクト画像が表示されることがないため、掃除の効率が低下することがない。
Further, the object
このように、上述したオブジェクト画像作成部１８によれば、使用者は表示装置に表示されるオブジェクト画像を見て楽しみながら掃除をすることができる。
In this way, according to the object
４－２．実施の形態４の掃除支援システムの変形例
実施の形態４に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
4-2. Modification of the cleaning support system according to the fourth embodiment The cleaning support system according to the fourth embodiment may be modified as follows, for example.
掃除支援装置８は、撮像画像に含まれる面を検出する面検出部を備えていてもよい。面検出部は、例えば、平面検出部、水平面検出部、又は鉛直面検出部である。以下、各面検出部にについて説明する。
The
平面検出部は、位置情報取得装置６により取得された撮像画像から、既存の平面検出技術によって平面を検出する。より詳しくは、平面検出部は、既存の技術により、撮像画像から３点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる平面を検出する。これにより、３点以上の特徴点を含む平面を検出することが可能となる。
The plane detection unit detects a plane from the captured image acquired by the position
オブジェクト画像作成部１８は、平面検出部において検出された平面のうち、特定の条件を満たす特定平面に限りオブジェクト画像を表示するように画像を作成してもよい。このような特定平面の条件は、例えば、水平面に対する平面の角度をしきい値としてもよい。より詳しくは、オブジェクト画像作成部１８は、例えば４５°をしきい値として、それより角度の小さい特定平面上に限りオブジェクト画像を表示する。他の例としては、オブジェクト画像作成部１８は、例えば水平面に対する平面の角度が０°から１０°、すなわち平面検出部により検出した平面が水平面に対して平行又は略平行な場合に、オブジェクト画像を表示してもよい。これにより、例えば床又は机等にオブジェクトが表示され、壁などの掃除しない場所にはオブジェクトが表示されないため、使用者はオブジェクトを目印として掃除することで、床や机を綺麗にすることができる。
The object
また、オブジェクト画像作成部１８は、例えば水平面に対する平面の角度が８０°から９０°、すなわち平面検出部により検出した平面が水平面に対して垂直又は略垂直な場合に、オブジェクト画像を表示してもよい。
Further, the object
このように、平面検出部を備えた掃除支援装置８は、平面に対応してオブジェクトを表示することができる。これにより、例えば凹凸のある物体又は円筒の物体など、ヘッド部２によって掃除しないような場所にオブジェクト画像が表示されることを抑制することができる。つまり、掃除困難な場所にオブジェクト画像が表示され難くなるため、使用者がストレスを感じにくい。
In this way, the
面検出部が水平面検出部として構成されている場合、水平面検出部は水平な面を検出する。水平面検出部は、既存の水平な面を検出する技術によって水平な面を検出してもよい。また、上述した平面検出部による面検出方法を応用してもよい。例えば、水平面検出部は、既存の技術により、撮像画像から３点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる水平面を検出する。これにより、３点以上の特徴点を含む水平面を検出することが可能となる。 When the surface detection section is configured as a horizontal surface detection section, the horizontal surface detection section detects a horizontal surface. The horizontal surface detection unit may detect a horizontal surface using an existing horizontal surface detection technique. Furthermore, the surface detection method using the above-mentioned plane detection section may be applied. For example, the horizontal plane detection unit extracts three or more feature points from the captured image using existing technology. Then, from the coordinates of the acquired feature points, a horizontal plane with a minimum sum of squares of residuals is detected for a group of a plurality of feature points using the least squares method. This makes it possible to detect a horizontal plane that includes three or more feature points.
オブジェクト画像作成部１８は、水平面検出部によって検出された水平面にオブジェクトが表示されるように画像を作成する。この際、オブジェクト画像作成部１８は、検出した１又は複数の水平面のうち最も低い位置にある水平面にオブジェクト画像を表示してもよいし、また、最も大きい面積を有する水平面にオブジェクト画像を表示してもよい。
The object
また、オブジェクト画像作成部１８は、高さと面積を考慮して、オブジェクトを表示する水平面を決定してもよい。例えば、オブジェクト画像作成部１８は、比較的低い位置かつ比較的大きい面積を有する水平面にオブジェクト画像を表示してもよい。これにより、床等の水平面にオブジェクトが表示されるため、使用者はオブジェクトを目印として掃除することで、床面を綺麗にすることができる。
Furthermore, the object
また、オブジェクト画像作成部１８は、特定の水平面の掃除が終わった場合は、次に当該水平面よりも高い位置にある他の水平面等にオブジェクトを表示してもよい。このように、異なる水平面に順次オブジェクトを表示させることにより、使用者はオブジェクトを目印として掃除対象領域を順に掃除することができる。また、面積の大きい面から順にオブジェクトを表示させることとすれば、面積の大きい順に優先的に掃除することができる。
Moreover, when cleaning of a specific horizontal surface is finished, the object
また、オブジェクト画像作成部１８は、最も低い高さにある水平面から特定の高さまでの範囲の水平面にのみにオブジェクトを表示するように画像を作成してもよい。このような特定の高さとしては、例えば１０ｃｍから２０ｃｍの高さが例示される。これにより、使用者は、表示されるオブジェクトを目印にして清掃を行うことにより、床面を含む低い範囲の領域を掃除できる。特に、フローリングと畳等、床面の高さが数ｃｍ異なる位置にあるような場合であっても、床面に特化してオブジェクトを表示することができる。なお、上述したような平面検出の方法は予め開発者が設定してもよく、また、使用者が設定変更できるようにしておいてもよい。
Further, the object
面検出部が鉛直面検出部として構成されている場合、鉛直面検出部は鉛直な面を検出する。鉛直面検出部は、既存の鉛直な面を検出する技術によって鉛直な面を検出してもよい。また、上述した平面検出部による面検出方法を応用してもよい。例えば、鉛直面検出部は、既存の技術により、撮像画像から３点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる鉛直面を検出する。これにより、３点以上の特徴点を含む鉛直面を検出することが可能となる。 When the surface detection section is configured as a vertical surface detection section, the vertical surface detection section detects a vertical surface. The vertical surface detection unit may detect a vertical surface using an existing vertical surface detection technique. Furthermore, the surface detection method using the above-mentioned plane detection section may be applied. For example, the vertical plane detection unit extracts three or more feature points from the captured image using existing technology. Then, from the coordinates of the acquired feature points, a vertical plane with a minimum sum of squares of residual errors is detected for a group of a plurality of feature points using the least squares method. This makes it possible to detect a vertical plane that includes three or more feature points.
オブジェクト画像作成部１８は、鉛直面検出部によって検出された鉛直面にオブジェクトが表示されるように画像を作成する。この際、オブジェクト画像作成部１８は、検出した１又は複数の鉛直面のうち最も面積の大きい鉛直面にオブジェクト画像を表示してもよいし、これにより、壁面等の鉛直面にオブジェクトが表示されるため、使用者はオブジェクトを目印として掃除することで、壁面を綺麗にすることができる。
The object
５．実施の形態５．
次に、実施の形態５の掃除支援システムについて説明する。
5.
Next, a cleaning support system according to a fifth embodiment will be explained.
５－１．実施の形態５の掃除支援システムの特徴
図１６は、実施の形態５に係る掃除支援システムが備える電気掃除機の構成を示す図である。実施の形態５に係る掃除支援システムは、電気掃除機１の構成を除き、実施の形態１の掃除支援システムと同じである。
5-1. Features of the cleaning support system according to the fifth embodiment FIG. 16 is a diagram showing the configuration of a vacuum cleaner included in the cleaning support system according to the fifth embodiment. The cleaning support system according to the fifth embodiment is the same as the cleaning support system according to the first embodiment except for the configuration of the
図１６に示すように、本実施の形態に係る掃除具としての電気掃除機１は、キャニスタタイプの電気掃除機である。電気掃除機１は、ヘッド部２、本体４、管体３、及びホース４１３を備えている。管体３の一端はヘッド部２と接続され、管体３の他端はホース４１３の一端と接続される。ホースの他端は本体と接続される。ホース４１３の一端は、把持可能な形状を呈していてもよい。ホース４１３は、把持部を有していてもよい。本体４は把持部を有していてもよい。例えば、ホース４１３の一部を把持して掃除する。
As shown in FIG. 16, a
掃除支援システム５の電気掃除機は、上述したようなキャニスタタイプの電気掃除機１にも適用することが可能である。この場合、実施の形態１の掃除支援システム５と同様に、位置情報取得装置６により撮像画像を取得し、位置情報検出部１０によりヘッド部２の位置情報を検出すればよい。また、上述した構成においても、掃除済領域と未掃除領域を一別でき、掃除の質と効率を向上することができる。
The vacuum cleaner of the
なお、本実施の形態のキャニスタタイプの電気掃除機１は、管体３を備えずにヘッド部２と本体４が直接接続されていてもよい。この場合も位置検出方法は同様である。
In addition, the canister
５－２．実施の形態５の掃除支援システムの変形例
実施の形態５に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
5-2. Modified Example of Cleaning Support System of
実施の形態５に係る掃除支援システムは、キャニスタタイプの電気掃除機１だけでなく、他の掃除具を用いることもできる。このような掃除具は、例えばモップである。掃除具としてのモップは、ヘッド部と持ち手としてのハンドルを備える。ヘッド部は、電気掃除機１のヘッド部２に相当し、床面を清掃する機能を有する。モップのヘッド部は、清掃部材と、ボディとを備える。清掃部材は、例えば繊維状部材又は軟質部材である。繊維状部材の場合、例えば樹脂よりも吸水性を有する。軟質部材は、例えば樹脂よりも弾性限界が大きい。ヘッド部は、連結部を備えていてもよい。ヘッド部とハンドルは、直接接続されていてもよいし、ヘッド部に設けられた連結部を介して接続されていてもよい。また、ヘッド部とハンドルは、それらの間に中継部を設けていてもよい。中継部は、例えば柄のようなものである。位置情報取得装置６により、例えばヘッド部の一部、又は使用者が掃除具のハンドルを持って掃除する際に視認可能なヘッド部の撮像画像を取得し、位置情報検出部１０により、ヘッド部の位置情報を検出すればよい。
The cleaning support system according to the fifth embodiment can use not only the canister
また、ヘッド部２またはヘッド部２の一部が交換、着脱、付け替え可能な清掃用部材を備えた掃除具であってもよい。このような掃除具の清掃用部材は、水拭き、乾拭き、剥がし掃除、磨き掃除、削り掃除、除電掃除、掻き取り掃除等ができるものである。また、このような掃除具の清掃用部材または付け替え部は、例えば、モップ、クロス、パッド、ブラシ、スポンジ、はたき、シート、粘着部材、粘着シート、粘着ローラー、除電部材、回転ブラシ、電気塵取り等である。また、ヘッド部２を丸ごと付け替え可能なものであってもよい。このような掃除具は例えば、アタッチメントや吸引風によりブラシが回転するタービンブラシを備えたタービンヘッドである。
Further, the cleaning tool may include a cleaning member in which the
例えば、掃除具、好ましくはヘッド部、さらに好ましくは清掃用部材は、位置情報取得装置６によって位置を認識できる識別情報を備えていることが望ましい。好ましくは、付け替え可能な位置に、位置情報取得装置６によって位置を認識できる識別情報を備えていることが望ましい。例えば、ヘッド部２又は清掃用部材は、特殊な色、複数の色、ロゴ、企業名、ブランド名、商標登録されたもの、といった識別情報が含まれていてもよい。また、例えば、ヘッド部２又は清掃用部材は、模様、凹凸、刻印、実施の形態６に記載した識別情報、既存技術による識別情報であってもよい。好ましくは、ヘッド部２や清掃用部材は複雑な識別情報が含まれていることが望ましい。これにより、模倣品では位置情報を検出困難になり、純正品の使用により、位置情報を検出でき、オリジナル性を出すことができる。
For example, it is desirable that the cleaning tool, preferably the head part, and more preferably the cleaning member, be provided with identification information that allows the location
また、ヘッド部２は、他の掃除具に接続可能なものであってもよい。これにより、一般的な掃除具のヘッド部を位置情報取得装置６で位置情報を取得可能なヘッド部２に変更することで、一般的な掃除具が掃除支援装置８に対応可能となる。
Further, the
また、実施の形態５に係る掃除支援システムは、自律走行型のロボット掃除機に適用することも可能である。ロボット掃除機は、例えば電動送風機を備え、吸引することで被清掃面の塵埃を除去するものであってもよいし、電動送風機を備えず、拭き掃除をするものであってもよい。ロボット掃除機の位置情報は、上述した、または後述する技術、または既存技術によって、検出可能である。ロボット掃除機による掃除領域は、例えば上面視におけるロボット掃除機全体の範囲、吸込口がある範囲、清掃部材がある範囲、ロボット掃除機の中心から半径ｘ［ｍ］等、適宜使用者が設定してもよく、表示規則記憶部１６にて設定しておいてもよい。これにより、ロボット掃除機による、掃除済領域を確認でき、また掃除のやり残した位置を確認できる。掃除結果に応じて、部屋の整理、配置やレイアウト変更、片づけをすることで、ロボット掃除機による掃除のやり残し箇所を減らすことができる。
Further, the cleaning support system according to the fifth embodiment can also be applied to an autonomous robot cleaner. For example, the robot cleaner may be equipped with an electric blower and remove dust from the surface to be cleaned by suction, or it may be equipped with no electric blower and perform wiping. The location information of the robot vacuum cleaner can be detected by the techniques described above or below, or by existing techniques. The cleaning area of the robot vacuum cleaner can be set by the user as appropriate, such as the range of the entire robot vacuum cleaner when viewed from above, the range of the suction port, the range of the cleaning member, or the radius x [m] from the center of the robot vacuum cleaner. Alternatively, the display
６．実施の形態６．
次に、実施の形態６の掃除支援システムについて説明する。
6.
Next, a cleaning support system according to a sixth embodiment will be described.
６－１．実施の形態６の掃除支援システムの特徴
実施の形態６に係る掃除支援システムは、位置情報検出部１０の構成を除き、実施の形態１の掃除支援システムと同じである。
6-1. Features of the cleaning support system according to the sixth embodiment The cleaning support system according to the sixth embodiment is the same as the cleaning support system according to the first embodiment except for the configuration of the position
実施の形態６に係る掃除支援装置８の位置情報検出部１０は、特定の識別情報を識別することによってヘッド部２の位置情報を検出することに特徴を有している。識別情報は、例えばヘッド部２に設けられたＡＲマーカ、色マーカ、又は特殊パターンで点滅するＬＥＤ、文字、記号、マーク、名詞、固有名詞、企業名、ブランド名、ロゴ又は商標登録されたもの、およびその組み合わせ等である。位置情報検出部１０は、使用者によって電気掃除機１の吸引動作が開始されると、可視光カメラ等の位置情報取得装置６から撮像画像を取得する。そして、既存の画像処理技術を用いて、撮像画像から当該識別情報の位置情報を検知する。識別情報は、識別画像からヘッド部２の位置の特定を行うことができる場所であれば、その設置場所に限定はない。識別情報によってヘッド部２の位置等をより検出しやすくすることができる。特に、掃除対象領域に掃除具が複数台存在する場合には、複雑な画像処理を行うことなく当該複数台のヘッド部の位置を区別して検出することができるため、複数台の掃除具を一度に追跡しやすくすることができる。
The positional
また、識別情報としてのマーカは、電気掃除機１に対して取外し困難なものであってもよい。マーカは、ヘッド部２の例えば上面や樹脂部品に設けられていてもよい。マーカは、例えばヘッド部２に印刷された情報であってもよい。マーカは、例えばヘッド部２の樹脂部品に印刷された情報であってもよい。印刷とは、例えばホットスタンプによるものである。また、ヘッド部２の樹脂部品の凹凸をマーカとして認識する構成でもよい。例えばシールのように取外し可能なものであれば、様々な掃除具において利用することができる。一方取外し困難なものであれば、オリジナル性を出すことができる。
Further, the marker serving as the identification information may be one that is difficult to remove from the
なお、識別情報の認識手段は、使用者が設定部により設定可能である。例えば、色の認識からＡＲマーカによるヘッド部２の位置情報検出に使用者が任意に変更可能である。これにより、空間の明るさ等の外部環境に応じて、認識しやすい認識方法に変更することで、より快適に使用することができる。また、複数の識別情報を同時に認識可能であってもよい。これにより認識精度をさらに向上することができる。また、複数の掃除具での掃除を行うときにも対応することができる。
Note that the identification information recognition means can be set by the user using the setting section. For example, the user can arbitrarily change from color recognition to positional information detection of the
また、識別情報としてのマーカは、ＱＲコード（登録商標）等の二次元バーコードであってもよい。また、マーカは、ＱＲコード（登録商標）のような矩形のマーカであってもよい。矩形マーカのトラッキングでは、単純な閾値処理により、画像から矩形を抽出し、マーカの四隅から推定される平面射影変換を用いて位置姿勢を計算することができる。ここでは、このような手法により推定された位置姿勢を初期推定結果としてさらに改善することも可能である。 Further, the marker serving as the identification information may be a two-dimensional barcode such as a QR code (registered trademark). Further, the marker may be a rectangular marker such as a QR code (registered trademark). In tracking a rectangular marker, a rectangle is extracted from an image by simple threshold processing, and the position and orientation can be calculated using plane projective transformation estimated from the four corners of the marker. Here, it is also possible to further improve the position and orientation estimated by such a method as the initial estimation result.
また、識別情報としてのマーカは、電気掃除機１に搭載されたゴミセンサから取得する情報に基づいて発光する発光部として構成されていてもよい。すなわち、電気掃除機１のヘッド部２から塵埃が吸い込まれたことをゴミセンサが検知すると、ヘッド部２に設けられている発光部が発光する。このような構成によれば、発光した発光部をマーカとして認識することが可能となる。
Further, the marker serving as the identification information may be configured as a light emitting section that emits light based on information acquired from a dust sensor mounted on the
識別情報としてのマーカは、上記の例示の他、種々の形態を適用することができる。例を挙げると、マーカは多角形又は円形のものからなる。マーカは略四角形形状である。マーカは正方形形状である。マーカは２色の色からなる。マーカはコントラストの差が大きい複数の色からなる。マーカは白と黒の２色で構成される。位置情報検出部１０は、マーカの色と形の両方を認識してもよい。
The marker serving as the identification information can take various forms other than the above example. For example, the marker may be polygonal or circular. The marker has a substantially rectangular shape. The marker has a square shape. The marker consists of two colors. The marker consists of multiple colors with large contrast differences. The marker consists of two colors, white and black. The position
また、識別情報は、例えば複数のマーカにより構成されていてもよい。例えば複数のマーカは、離間した位置に配置されていてもよい。このようにすることで、撮像画像から位置情報取得装置６としてのカメラの位置又は姿勢を推定することができる。
Further, the identification information may be composed of, for example, a plurality of markers. For example, a plurality of markers may be placed at separate positions. By doing so, the position or orientation of the camera as the position
以上のように構成された掃除支援装置８によれば、ヘッド部２に設けられた識別情報を検知することによって、掃除済領域と未掃除領域とを精度良く判別することが可能となる。
According to the
６－２．実施の形態６に係る掃除支援システムの変形例
実施の形態６に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
6-2. Modified Example of Cleaning Support System According to
識別情報としてのマーカは、例えば床面等の掃除対象領域全体に付与しておく構成でもよい。この場合、位置情報取得装置６をヘッド部２の位置に設置されたカメラとし、ＡＲマーカのような細かい模様を床全体に付与しておく。位置情報検出部１０は、カメラが当該マーカを読み取った情報を取得し、当該読み取った情報から床全体におけるヘッド部２の位置を導出する。これにより、位置情報検出部１０は、床面に対するヘッド部２の位置を一意に特定し、ヘッド部２の絶対位置、すなわち床座標系で表される実空間における位置を取得することができる。
The marker serving as the identification information may be provided, for example, on the entire area to be cleaned, such as the floor surface. In this case, the position
また、例えば、位置情報取得装置６をヘッド部２に設置されたカメラとし、さらに掃除対象領域にＡＲマーカのような細かい模様の光又は人間が認知できない程度の符号化された点滅光を照射する照明を設置するようにしてもよい。この場合、位置情報検出部１０は、カメラが読み取ったこれらの光の情報を用いて、掃除対象領域におけるヘッド部２の位置を導出すればよい。
Further, for example, the position
７．実施の形態７．
次に、実施の形態７の掃除支援システムについて説明する。
7.
Next, a cleaning support system according to a seventh embodiment will be explained.
７－１．実施の形態７の掃除支援システムの特徴
実施の形態７に係る掃除支援システムは、表示装置７が表示と入力の２つの機能を備えたタッチパネルである場合の動作に特徴を有している。タッチパネルは、表示部としての液晶パネルと位置入力装置としてのタッチパッドを備えた表示装置である。タッチパネルは、既存技術を用いてもよい。タッチパネルは、位置情報取得装置６等の外部から受けた画像情報を表示部に表示すると共に、使用者が手又はスタイラスなどの入力デバイスを用いて、触れられた画面位置の情報を感知して外部へ情報信号として出力する。
7-1. Features of the cleaning support system according to the seventh embodiment The cleaning support system according to the seventh embodiment is characterized in its operation when the
掃除支援装置８は、タッチパネルから入力される位置情報に基づいて、操作者が望む適切な動作を行なう。例えば、タッチパネルから入力される位置情報は、画像作成部１２に入力される。画像作成部１２は、使用者がタッチパネルの表示部から入力した領域を塗り消しまたは塗りつぶす画像を作成してもよい。これにより、使用者の意思によって、塗りつぶしまたは塗り消しを行うことができる。このような機能は、例えば、使用者が意図しない塗りつぶし又は塗り消しの画像が作成された場合に、その塗りつぶしの領域を変更することができる。
The
掃除支援装置８が撮像画像に含まれる面を検出する面検出部を備える場合、タッチパネルから入力される位置情報を用いて面検出部を動作させてもよい。例えば、面検出部は、表示部に表示された画像の特定の位置に触れることにより、その位置の面を検出するように構成されていてもよい。また、画像作成部１２が、検出された面を塗りつぶしてもよく、また塗り消してもよい。
When the
また、画像作成部１２は、表示部に表示されている塗りつぶされた領域に触れると塗り消され、反対に塗りつぶされていない領域、塗り消された領域、又は作成画像が重畳されていない領域に触れると塗りつぶされるように構成されていてもよい。より詳しくは、未掃除領域が塗りつぶされた画像が表示部に表示されている場合、使用者は、塗りつぶされていない掃除済領域に触れることにより、その領域を塗りつぶされた未掃除領域に変更することができる。つまり、使用者は、再度掃除を望む掃除済領域を未掃除領域に変更することができるので、再度入念に掃除することができる。
In addition, when the
また、使用者は、掃除する予定のない未掃除領域を掃除済領域に変更することもできる。これにより、掃除する予定のない領域又は壁面等が未掃除領域として塗りつぶされることによる煩わしさを解消することが可能となる。 The user can also change an uncleaned area that is not scheduled to be cleaned to a cleaned area. This makes it possible to eliminate the inconvenience caused by areas or wall surfaces that are not scheduled to be cleaned being painted over as uncleaned areas.
掃除支援装置８は、使用者によるタッチパネルの操作情報を記憶する手動操作記憶部を備えていてもよい。手動操作記憶部は、例えば使用者が表示部に触れることによって塗りつぶし又は塗り消しを行ったことに関連する情報、より詳しくは、日時、対象領域、面、点、回数、塗り消しと塗りつぶしのどちらを行ったか等の情報を記憶する。
The
また、掃除支援装置８は、手動操作記憶部で取得した情報に基づいて学習を行う手動操作学習部を備えていてもよい。手動操作学習部は、手動操作記憶部から情報を取得する。手動操作学習部は、入力された情報に基づいて、その状況を判断する。例えば、手動操作学習部は、使用者が行う頻度の多い状況を判断する。そして、掃除支援装置８は、手動操作学習部における判断結果に基づいて、面検出部による面検出動作を変更する。例えば、手動操作学習部は、掃除済領域を塗り消す塗り消しモードの際に、予め塗りつぶされている未掃除領域に不満があり、使用者がその塗りつぶし領域を手動で変更していた場合に、そのような状況を学習している。この場合、掃除支援装置８は、手動操作学習部における判断結果に基づいて、塗り消しモードの初期塗りつぶし領域を変更する。これにより、使用者が求める塗り消しモードの状態を作りこむことができる。
Further, the
８．実施の形態８．
次に、実施の形態８の掃除支援システムについて説明する。
8.
Next, a cleaning support system according to an eighth embodiment will be described.
８－１．実施の形態８の掃除支援システムの特徴
実施の形態８の運転支援システムは、掃除支援装置８が送信部を備える点に特徴を有している。送信部は、外部に信号を送るためのものである。また、送信部は、外部に命令の情報を送るためのものであってもよい。例えば、送信部は、予め定められた条件を満たすと、電気掃除機１に信号を送信する。送信部からの信号を受信すると、電気掃除機１は、入力された信号に基づいて運転の状態を変更する。例えば、電動送風機４０５への入力の変更、回転数の変更又は運転モードの変更、電動機２０４への入力の変更、回転数の変更を行う。予め定められた条件とは、例えば掃除済領域を掃除しているか、未掃除領域を掃除しているかである。掃除済領域を掃除しているか未掃除領域を掃除しているかは、ヘッド部２の位置が掃除済領域及び未掃除領域の何れに属しているかによって判断することができる。電気掃除機１は、例えば、未掃除領域を掃除している状態では掃除済領域を掃除している状態に比べ、電動送風機４０５の回転数または電動機２０４の回転数を高い状態に調整する。このようにすることで、未掃除領域を掃除するときは、高い塵埃除去性能を期待できる。また、掃除済領域を掃除するときは、未掃除領域を掃除するときに比べ、省エネ効果が高い。これにより、例えば、バッテリを用いて運転しているときは運転時間を長くすることができる。また、電源コードを用いているときは電気料金を低くすることができる。
8-1. Features of the Cleaning Support System of
これにより、ゴミの多い場所等、特に念入りに掃除をしたい箇所について、電気掃除機１のヘッド部２による掃除回数を知ることができ、使用者は、意図どおりの掃除ができているかを確認できるようになる。
This allows the user to know the number of times the
９．実施の形態９．
次に、実施の形態９の掃除支援システムについて説明する。
9. Embodiment 9.
Next, a cleaning support system according to a ninth embodiment will be explained.
９－１．実施の形態９の掃除支援システムの特徴
実施の形態９の掃除支援システムは、画像作成部１２において掃除の効率を高めるための種々の画像を作成する動作に特徴を有している。表示規則記憶部１６には、これらの画像を作成するための様々な表示規則が記憶されている。画像作成部１２は、当該表示規則に従い、使用者の望む様々な画像を作成する。以下、画像作成部１２の動作について更に詳しく説明する。
9-1. Features of the Cleaning Support System of Embodiment 9 The cleaning support system of Embodiment 9 is characterized by the operation of creating various images in the
画像作成部１２は、ヘッド部２の位置が、掃除対象領域内を移動する速度に応じて、表示される色又は濃度を変更する等、表示画像の内容を変更するようにしてもよく、また、振動または音によって使用者に報知する報知手段を備えていてもよい。なお、電気掃除機１のヘッド部２が掃除対象領域内を移動する速度は、例えば、位置情報取得装置６と掃除支援装置８からヘッド部２の速度を算出してもよい。例えば、撮像画像の画像処理により速度を算出してもよい。より具体的には、複数の撮像画像を用いて、撮像画像に撮像されたヘッド部２の位置と時刻の変化から速度を算出する。より具体的には、撮像画像の取得間隔［ｆｐｓ］、撮像画像におけるヘッド部２の移動量［ピクセル］、位置情報取得装置の床からの距離［ｍ］および画角［°]等を用いて速度を算出してもよい。また、例えば、ヘッド部２の位置に加速度センサ、又は角速度センサを設置しておき、いずれかのセンサから取得した情報に基づき判断するようにすればよい。
The
また、画像作成部１２は、さらにヘッド部２の位置の速度にあわせて再生速度を調整した音楽を音声出力部から出力させるようにしてもよい。このように、画像作成部１２は、画像の表示に加え、音声情報を作成するようにすることもできる。
Furthermore, the
使用者がヘッド部２を動かす速度が速すぎると、ゴミが十分吸い込めないこともあり得る。しかし、上述したような表示規則に従って、画像作成部１２が、ヘッド部２の位置の移動速度に応じて内容を変更した画像等を作成するようにすることで、使用者は、ヘッド部２を動かす速度が速すぎることを察知し、ヘッド部を動かす速度を調整して、効果的に掃除ができるようになる。
If the speed at which the user moves the
また、画像作成部１２は、電気掃除機１に搭載されたゴミセンサから取得する情報に基づいて、画像の内容を変更するようにしてもよい。具体的には、画像作成部１２は、ゴミセンサから、電気掃除機１のゴミ吸引量を示すデータを取得し、取得したゴミ吸引量に応じて、掃除対象領域における掃除済領域を示す画像の内容を変更する。例えば、画像作成部１２は、ゴミ吸引量に応じて、掃除済領域を示す配色又は濃度を変更した画像を作成してもよいし、さらに、「ジャリジャリ」等、何かを吸い込む効果音を音声情報として作成し、音声出力部から出力させるようにしてもよい。
Further, the
このように、ゴミセンサの情報を利用して、汚れ具合に応じた掃除の必要性を見える化又は聞こえる化することで、使用者は、ゴミの多い箇所は念入りに掃除する等、必要性に応じて、掃除を効率よく行うことができるようになる。 In this way, by using information from the dust sensor to make visible or audible the need for cleaning depending on the level of dirt, the user can take action according to necessity, such as carefully cleaning areas with a lot of dust. This will allow you to clean more efficiently.
画像作成部１２は、ゴミセンサから取得したゴミ吸引量を示すデータと、当該ゴミ吸引量を取得した際のヘッド部の位置とを紐付けた情報の履歴を記憶しておく。そして、画像作成部１２は、当該記憶しておいた履歴から、ゴミ吸引量の多いヘッド部の位置を掃除対象領域内の汚れやすい箇所に該当すると判断し、当該判断した箇所について画像の濃淡等を変更した画像を作成してもよい。濃淡等の変更方法としては、例えば、ゴミ吸引量が多いほど、すなわち、汚れやすい箇所ほど、画像の色を濃くする等が挙げられる。
The
また、汚れやすさに応じて画像の内容を変更する他の例としては、例えば、画像作成部１２は、領域判別部１１からヘッド部２の位置の通過回数および当該通過回数とヘッド部２の位置とが紐付けられた情報を取得して履歴として記憶しておく。そして、画像作成部１２は、当該記憶しておいた履歴から、汚れやすい箇所を判断し、汚れやすいと判断した箇所ほど、画像の色を濃くする等、画像の濃淡等を変更するようにしてもよい。この場合、画像作成部１２は、ヘッド部２の位置の通過回数が多いヘッド部２の位置を、掃除対象領域内の汚れやすい箇所に該当すると判断すればよい。ヘッド部２の位置が何回も通過するということは、使用者が、汚れが気になって何度も掃除を試みた箇所であり、汚れやすい箇所と推定できる。
In addition, as another example of changing the content of the image depending on the degree of dirtiness, for example, the
また、画像作成部１２は、領域判別部１１によって判別される掃除済領域を塗りつぶすまたは塗り消す等の画像を作成することに加え、領域判別部１１によって判別されるヘッド部２の位置の移動軌跡を示す画像をさらに作成するようにしてもよい。例えば、画像作成部１２は、領域判別部１１からヘッド部２の位置の移動軌跡の情報を取得し、当該取得した移動軌跡を矢印等で示す画像を作成するようにしてもよい。また、例えば、画像作成部１２は、領域判別部１１からヘッド部２の位置の移動軌跡の情報を取得して当該移動軌跡を示す画像を作成すると、当該作成した画像を画像履歴記憶部に記憶しておき、過去の移動軌跡の画像もあわせて表示装置７に表示させるようにしてもよい。
In addition to creating an image of filling in or erasing the cleaned area determined by the
これにより、使用者は、過去に同じ掃除対象領域が掃除された際のヘッド部２の位置の移動軌跡と見比べながら、又は過去に同じ掃除対象領域が掃除された際のヘッド部２の位置の移動軌跡をなぞりながら、掃除を行うことができる。
As a result, the user can compare the movement trajectory of the position of the
また、画像作成部１２は、ヘッド部２の位置の移動軌跡をキャラクター等に置き換えた画像を作成するようにしてもよい。例えば、画像作成部１２は、過去に同じ掃除対象領域が掃除された際のヘッド部の位置の移動軌跡を示す画像を、キャラクター等に置き換えた画像として作成する。これにより、使用者は、表示装置７に表示されたキャラクター等を追いかけているうちに楽しく掃除ができる。なお、画像作成部１２は、ヘッド部２の位置の移動軌跡を示す画像のみを作成し、表示装置７に表示させるようにしてもよい。
Further, the
また、例えば、位置情報検出部１０が、電気掃除機１の制御回路からの情報に基づいて、使用者が掃除を行う際のストロークの長さ、すなわち、一度のハンドル操作で動かされたヘッド部２の位置の移動距離の長さ、速度、又は掃除終了までのストローク回数等の履歴を位置履歴記憶部１４に記憶させておく。画像作成部１２は、当該履歴を参照して、ヘッド部２の位置の移動軌跡のトータルの長さ、掃除に要した時間等の履歴、ランキング、又は効率性評価等を算出し、表示装置７に表示させる画像を作成するようにしてもよい。なお、この場合、掃除支援装置８は、予め比較対象となる他者の掃除実行時の履歴情報、又は模範となる掃除実行時の情報等を蓄積しておく。そして、画像作成部１２は、当該蓄積しておいた履歴情報からランキング、又は効率性評価等を算出するようにすればよい。
For example, the position
このように、使用者自身または他者等の過去の掃除の履歴、模範となる情報、又は比較対象となる情報等を記憶しておき、当該情報を分析して活用することで、掃除の効率化を図ることができる。また、使用者は、競争意識を持って掃除を行うことができ、飽きない。また、例えば、ベテランの掃除業者の掃除の仕方のノウハウを記憶しておくようにすれば、当該記憶された情報に基づいて、新米の使用者がベテランの掃除業者の真似をできるようになる。具体的には、例えば、ベテランの掃除業者が過去に掃除を行った際のヘッド部２の位置の履歴を位置履歴記憶部に記憶させておく。そして、画像作成部１２は、当該履歴から、ベテランの掃除業者が過去に掃除を行った際のヘッド部２の位置の軌跡を表示装置７に表示させる画像を作成する。これにより、新米の使用者等は、表示装置７に表示された軌跡をなぞって掃除を行うことができる。
In this way, by memorizing past cleaning history, model information, or comparison information of the user or others, and analyzing and utilizing the information, cleaning efficiency can be improved. It is possible to aim for In addition, users can clean with a sense of competition and never get bored. Further, for example, if the cleaning know-how of a veteran cleaner is memorized, a novice user can imitate the veteran cleaner based on the stored information. Specifically, for example, the history of the position of the
画像作成部１２は、上述したようなヘッド部２の位置の移動軌跡のトータルの長さ、掃除に要した時間等の履歴、ランキング、又は効率性評価等を算出し、算出した結果を表示装置７に表示される画像のみを作成してもよい。また、当該算出した結果を、掃除済領域を塗りつぶすまたは塗り消す等の画像とをあわせて表示部に表示してもよい。
The
また、画像作成部１２は、移動軌跡等の時間経過がわかるように、ヘッド部２の位置の時間的な変化に応じて、作成する画像の内容を変更するようにしてもよい。具体的には、例えば、領域判別部１１は、位置情報検出部１０が検出したヘッド部２の位置の時間的な変化に基づいて、ヘッド部２の位置の移動軌跡等を検出する。そして、領域判別部１１は、検出された移動軌跡等に基づいて掃除済領域を判別すると、判別した掃除対象領域の情報と対応付けて、検出されたヘッド部２の位置の情報を画像作成部１２へ出力するようにする。画像作成部１２は、領域判別部１１から取得した情報から、ヘッド部２の位置の時間的な変化を検出し、移動軌跡等に基づいて作成する画像について、時間経過とともに消えるように表示装置７に表示することもできる。
Furthermore, the
また、画像作成部１２は、掃除対象領域に対する掃除済領域、又は未掃除領域の割合を示す画像を作成するようにしてもよい。例えば、画像作成部１２は、「あと○％」等、掃除対象領域に対する未掃除領域の割合を算出し、算出した割合を示す画像を作成するようにしてもよい。具体的には、例えば、領域判別部１１が掃除済領域を判別する際に、掃除対象領域を１００とした場合の掃除済領域の割合を算出し、当該掃除済領域の割合の情報を画像作成部１２に出力する。画像作成部１２は、領域判別部１１から取得した割合の情報から、掃除対象領域に対する未掃除領域の割合を算出し、算出した割合を示す画像を作成する。なお、この動作は一例に過ぎず、画像作成部１２は、その他の方法で、掃除対象領域に対する掃除済領域、又は未掃除領域の割合を示す画像を作成するものであってもよい。このようにすることで、使用者は、あとどれぐらいで掃除が完了するのかを把握することができ、過剰な掃除を防ぎ、掃除の効率を向上させることができる。
Further, the
画像作成部１２は、上述したような、掃除対象領域に対する掃除済領域、又は掃除対象領域に対する未掃除領域の割合等を示す画像のみを作成し、表示装置７に表示してもよいし、領域判別部１１によって判別される掃除済領域を塗りつぶすまたは塗り消す等の画像とあわせて、表示装置７に表示してもよい。
The
また、画像作成部１２は、掃除対象領域に対する掃除済領域を示す画像と未掃除領域を示す画像を同時に作成するようにしてもよい。掃除済領域を示す画像と、未掃除領域を示す画像とを同時に表示させる場合は、例えば、塗りつぶしの色を変える等、画像作成部１２は、これらの領域が互いに区別できるような画像を作成する。
Further, the
また、画像作成部１２は、領域判別部１１によって判別される掃除済領域を塗りつぶす又は塗り消す等の画像を表示装置７に表示させることに加え、掃除対象領域を全て塗りつぶすまたは塗り消す画像となった場合には、予め決められたキャラクター等の絵を表示装置７に表示させるようにしてもよい。これにより、使用者は、掃除対象領域の掃除を終了した時点の達成感をより味わうことができる。
In addition to displaying an image on the
また、画像作成部１２は、領域判別部１１によって判別される掃除済領域を塗りつぶすまたは塗り消す等の画像を表示装置７に表示させる過程で、予め設定されたアイテムを表示させる画像を作成するようにしてもよい。例えば、画像作成部１２は、掃除対象領域全体の半分の領域が掃除された場合、予め決められたキャラクター等の絵を表示装置７に表示させるようにする。なお、画像作成部１２は、掃除対象領域全体に対する掃除済領域の割合に関する情報を、例えば、領域判別部１１から取得するようにすればよい。これにより、使用者は、掃除状況の途中経過を把握しながら掃除をすることができる。また、例えば、掃除対象領域全体の半分の領域を掃除した時点等、予め目標となる時点を設定しておくようにすれば、使用者は、掃除しながら当該目標となる時点に到達したことを知ることができる。これにより、使用者は、ゲームをしているような感覚で、より楽しく掃除をすることができるようになる。
The
また、画像作成部１２は、表示装置７に表示される画像を、掃除履歴によって変更させるようにしてもよい。例えば、画像作成部１２は、領域判別部１１によって判別される掃除済領域を塗りつぶす又は塗り消す等の画像を、生き物の映像となるような画像とし、掃除済領域が増えるに従って、当該生き物が大きくなっていく画像を作成するようにしてもよい。また、例えば、画像作成部１２は、領域判別部１１によって判別される、ヘッド部２の位置の移動軌跡等に基づく掃除済領域を塗りつぶすまたは塗り消す等の画像を、乗物の映像となるような画像とし、掃除済領域が増えるに従って、乗物の機体の装備が派手になる画像を作成するようにしてもよい。また、例えば、画像作成部１２は、領域判別部１１によって判別される掃除済領域を塗りつぶす等の画像を電車の画像とし、さらに、ヘッド部２の位置の移動軌跡が線路の映像となるような画像を作成するようにしてもよい。掃除済領域には、掃除済領域が増えるに従って、線路上を電車が進んでいく画像が表示されるようになる。このようにしても、使用者は、ゲームをしているような感覚で、より楽しく掃除をすることができる。
Further, the
以上のように、表示規則記憶部１６には、予め、様々な表示規則を設定しておくことができ、画像作成部１２は、当該表示規則に則って、様々な方法で表示装置７に表示させる画像を作成することができる。
As described above, various display rules can be set in advance in the display
９－２．実施の形態９に係る掃除支援システムの変形例
実施の形態９に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
9-2. Modified Example of Cleaning Support System According to Embodiment 9 The cleaning support system according to Embodiment 9 may be modified as follows, for example.
上述した画像作成部１２における種々の動作は、組み合わせて実行してもよい。例えば、画像作成部１２は、ヘッド部２の位置が通過した回数に応じて塗りつぶす又は塗り消す色を変更する画像を作成して表示させるとともに、「あと○％」等、掃除対象領域に対する掃除済領域の割合を示す画像を作成して表示させるようにしてもよい。また、画像作成部１２は、さらに掃除対象領域を全て塗りつぶす画像となった場合には、予め決められたキャラクター等の絵を表示装置７に表示させるようにしてもよい。
The various operations in the
また、上述の画像作成部１２における画像の作成に用いられた表示規則は、例えば重畳部１３が重畳画像を作成する際にも適用できる。すなわち、重畳部１３は、予め設定された表示規則に基づいて内容を変更した画像を撮像画像に重畳させた重畳画像を作成し、表示装置７に表示させることもできる。例えば、画像作成部１２が、掃除対象領域が掃除された掃除回数に応じて塗りつぶす又は塗り消す色が変わる等、内容を変更した画像を作成し、表示装置７に表示させるようにした場合に、重畳部１３は、掃除対象領域が掃除された回数に応じて塗りつぶすまたは塗り消す色が変わる等、内容を変更した画像を撮像画像に重畳させた重畳画像を作成し、表示装置７に表示させることもできる。
Furthermore, the display rules used for creating images in the
また、例えば、画像作成部１２が、ゴミセンサから取得する情報に基づき、内容を変更した画像を作成して表示させるようにした場合、重畳部１３は、ゴミセンサから取得したゴミ吸引量を示す画像を撮像画像に重畳させた重畳画像を作成して表示装置７に表示させることもできる。重畳部１３は、例えば、携帯型端末のスピーカ等から、ゴミ吸引量に応じて「ジャリジャリ」等、何かを吸い込む効果音を出力させるようにしてもよい。例えば、重畳部１３は、ゴミ吸引量が多いほど、出力させる効果音の音量を大きくするようにしてもよい。また、ゴミ吸引量に応じて出力させる効果音を変化させるようにしてもよい。
Further, for example, when the
なお、本実施の形態では位置情報検出部１０はヘッド部２の位置を検出したが、検出する位置はヘッド部２に限定されない。例えば、位置情報検出部１０は電気掃除機１の一部または管体３または管体３の一部を検出し、当該位置からヘッド部２の位置を推定することとしてもよい。
Note that in this embodiment, the position
１０．実施の形態１０．
次に、実施の形態１０の掃除支援システムについて説明する。
10.
Next, a cleaning support system according to a tenth embodiment will be described.
１０－１．実施の形態１０の掃除支援システムの特徴
実施の形態１０の掃除支援システムは、掃除支援装置８としての携帯型端末を用いて重畳画像を使用者の視点の画像に変換する動作に特徴を有している。実施の形態１０の掃除支援システムは、表示装置７としての表示部と位置情報取得装置６としてのカメラが一つの携帯型端末に備えられている。このような携帯型端末は、例えば図１０に示す掃除支援装置８として構成することができる。
10-1. Features of the cleaning support system according to the tenth embodiment The cleaning support system according to the tenth embodiment is characterized by the operation of converting a superimposed image into an image from the user's viewpoint using a portable terminal as the
画像の視点変換は、例えば使用者の頭部、視点又は目線をトラッキングすることにより実現する。例えば、使用者の頭部、顔又は眼球を検出する。そして、頭部又は顔の向き、位置、又は眼球の動きから使用者の視線方向を算出する。掃除支援装置８は、例えば、端末に内蔵された位置情報取得装置６としての背面カメラを利用して、掃除対象領域又はヘッド部２の位置情報を取得し、正面カメラ６４を使用して、使用者のトラッキングを実行してもよい。つまり、正面カメラ６４は、使用者の視線の方向を認識する視線認識装置として機能する。つまり掃除支援システムは、二つの別々の追跡システムが必要であるだけでなく、背面カメラの撮像画像から新しい視点の像の描画を行う必要がある。これは、背面カメラからの撮像画像をワーピングすることによって実現できる。重畳部１３は、少なくとも正面カメラ６４によって認識された視線の方向の撮像画像が含まれるように重畳画像を作成する。このため、背面カメラは、使用者の頭部位置が変化したときに変化する視線の方向の画像をカバーできる広い視野角のカメラが好ましい。また、端末から見える三次元シーンを、例えば奥行きセンサの利用又はステレオ再構成を行うことでも実現可能である。
The viewpoint conversion of the image is realized, for example, by tracking the user's head, viewpoint, or line of sight. For example, the user's head, face, or eyeballs are detected. Then, the direction of the user's line of sight is calculated from the direction and position of the head or face, or the movement of the eyeballs. The
１１．実施の形態１１．
次に、実施の形態１１の掃除支援システムについて説明する。
11.
Next, a cleaning support system according to an eleventh embodiment will be explained.
１１－１．実施の形態１１の掃除支援システムの特徴
実施の形態１１に係る掃除支援システムは、位置情報取得装置６と掃除済領域との間に遮蔽物がある場合の重畳画像の作成動作に特徴を有している。以下の説明において、位置情報取得装置６と掃除済領域との間に遮蔽物があり、遮蔽物により位置情報取得装置６が撮像できない掃除済領域は、「死角となる掃除済領域」と呼ぶ。また、位置情報取得装置６と掃除済領域との間に遮蔽物がなく、撮像可能な掃除済領域は、「撮像される掃除済領域」と呼ぶ。また、位置情報取得装置６と未掃除領域との間に遮蔽物があり、遮蔽物により位置情報取得装置６が撮像できない未掃除領域は、「死角となる未掃除領域」と呼ぶ。さらに、位置情報取得装置６と未掃除領域との間に遮蔽物がなく、撮像可能な未掃除領域は、「撮像される未掃除領域」と呼ぶ。
11-1. Features of the cleaning support system according to the eleventh embodiment The cleaning support system according to the eleventh embodiment has a feature in the operation of creating a superimposed image when there is an obstruction between the position
上述したとおり、重畳部１３は、撮像画像に作成画像を重畳する。ここで作成される重畳画像は、作成画像が撮像画像よりも前面に配置された画像である。このため、位置情報取得装置６と掃除済領域との間に遮蔽物があり、掃除済領域が死角になる場合、表示装置７には、遮蔽物が掃除済領域であるかのように表示される。つまり、撮像される掃除済領域に、死角となる掃除済領域の領域判別情報が表示されてしまう。具体的には、例えば位置情報取得装置６と掃除済領域の間に机が配置されている場合、机の下又は机の下の床周辺を掃除した後、表示装置７を確認すると、あたかも机が塗りつぶされているかのように表示装置７に表示されてしまうことがある。また、例えば、壁または仕切のような鉛直面より遠い位置を掃除して掃除済領域となった際に、位置情報取得装置６と掃除済領域の間に仕切りが配置されている場合、位置情報取得装置６からは掃除済領域が鉛直面に隠されて認識できず、あたかも仕切りが掃除済領域であるかのように表示装置７に表示されてしまうことがある。また１階の掃除を終了後に２階の掃除を行う際に、２階の未掃除領域に１階の掃除済領域の結果が表示されてしまうことがある。これにより、使用者は違和感を感じ、また誤認識をする可能性がある。
As described above, the superimposing
本実施の形態では、死角となる掃除済領域と撮像される掃除済領域とは、異なる画像が作成される。異なる画像とは、例えば死角となる掃除済領域と撮像される掃除済領域とが、色彩、明度、透明度、柄、塗りつぶしと水玉、ドット柄の間隔、点滅等によって区別された作成画像である。また、一方を複数の画像により点滅しているような表示にしてもよい。また、例えば、死角となる掃除済領域は半透明、透明な作成画像であってもよく、作成画像を非表示にしてもよく、作成画像を作成しなくてもよい。 In this embodiment, different images are created for the cleaned area that is a blind spot and the cleaned area that is imaged. The different images are, for example, created images in which a cleaned area that is a blind spot and a cleaned area that is to be imaged are distinguished by color, brightness, transparency, pattern, fill and polka dots, spacing between dot patterns, blinking, etc. Alternatively, one of the images may be displayed as if it were blinking using a plurality of images. Further, for example, the cleaned area serving as a blind spot may be a semi-transparent or transparent created image, the created image may be hidden, or the created image does not need to be created.
表示装置７には、死角となる掃除済領域と撮像される掃除済領域が、異なる画像又は表示方法で表示される。また、死角となる掃除済領域に対応した位置に透明な作成画像の作成、また当該位置の作成画像を非表示にすることで、少なくとも、撮像される未掃除領域が掃除済領域であるかのように表示されることがない。これにより、使用者が死角となる掃除済領域と撮像される掃除済領域を判別できるので、違和感を感じず、誤認識が発生することもなく、掃除の質や効率が向上する。
On the
なお、位置情報取得装置６の位置や姿勢が変化し、死角となる掃除済領域が撮像される掃除済領域に変化した場合は、その変化が逐次表示部に反映される。なお、省略するが、「死角となる未掃除領域」と「撮像される未掃除領域」についても死角となる掃除済領域と撮像される掃除済領域との関係と同様の考えである。例えば、塗り消しモードの際に未掃除領域に画像を作成する際に、死角となる掃除済領域と撮像される掃除済領域との関係と同様の考えである。
Note that if the position or posture of the position
１２．実施の形態１２．
次に、実施の形態１２の掃除支援システムについて説明する。
12.
Next, a cleaning support system according to a twelfth embodiment will be described.
１２－１．実施の形態１２の掃除支援システムの特徴
実施の形態１２の掃除支援システムは、複数の掃除具と一つまたは複数の掃除支援装置８を用いた点に特徴を有している。例えば、複数人による掃除、複数の掃除具による掃除、複数の掃除機による掃除、複数のロボット掃除機による掃除、ロボット掃除機と人が手にもって使用する掃除機による掃除をする場合が例示される。また、複数の使用者が各々に掃除支援装置８を有していて、複数の掃除支援装置８が連携可能であってもよい。
12-1. Features of the cleaning support system according to the twelfth embodiment The cleaning support system according to the twelfth embodiment is characterized in that a plurality of cleaning tools and one or more
例えば、１つの掃除支援装置８で複数の掃除具の情報を処理してもよい。例えば、広範囲における掃除具の位置情報を取得することができれば、複数の掃除具により、協調作業ができ、重複する箇所の掃除を防ぐことができる。また、例えば、上述した技術や既存技術により、複数の掃除支援装置８が相互に通信してもよい。これにより、他の掃除支援装置８で取得した掃除状況を他の掃除支援装置８とは異なる掃除支援装置８で確認することができ、協調作業ができ、重複する箇所の掃除を防ぐことができる。
For example, one
また、複数の掃除具は、異なる識別情報を有し、掃除済領域が異なる色や表示方法で作成画像が作成されてもよい。例えば、複数の掃除具が異なる識別情報として、異なる色を検出してもよく、また、掃除具Ａが色を識別情報とし、掃除具ＢがＡＲマーカを識別情報として有していてもよい。この場合、掃除支援装置ａは色を検出し、掃除支援装置ｂはＡＲマーカを検出することとすればよい。これにより、掃除支援装置ａは掃除具Ａの色を検出し、掃除支援装置ｂは掃除具ＢのＡＲマーカを検出する。さらに、掃除支援装置ａは掃除支援装置ｂには含まれない色を検出するように設定しておき、掃除具ＡにはＡＲマーカを備えないようにしておいてもよい。これにより、掃除支援装置ａが掃除具Ｂの位置情報を検出することを防ぐことができる。このことは、逆の組み合わせ又は３つ以上掃除具および掃除支援装置の連携においても同様である。これにより、複数の掃除具による協調、協力作業ができるとともに、各々の掃除具における清掃範囲を区別することもできる。 Further, a plurality of cleaning tools may have different identification information, and images may be created with different colors and display methods for cleaned areas. For example, a plurality of cleaning tools may detect different colors as different identification information, or cleaning tool A may have a color as identification information, and cleaning tool B may have an AR marker as identification information. In this case, the cleaning support device a may detect the color, and the cleaning support device b may detect the AR marker. Thereby, the cleaning support device a detects the color of the cleaning tool A, and the cleaning support device b detects the AR marker of the cleaning tool B. Furthermore, the cleaning support device a may be set to detect colors that are not included in the cleaning support device b, and the cleaning tool A may not be provided with an AR marker. Thereby, it is possible to prevent the cleaning support device a from detecting the position information of the cleaning tool B. This also applies to the reverse combination or the cooperation of three or more cleaning tools and cleaning support devices. This makes it possible to cooperate and cooperate with a plurality of cleaning tools, and also to distinguish the cleaning range of each cleaning tool.
また、掃除支援システム５はさらにサーバを備えていてもよい。また、掃除支援装置８は、情報をサーバに送る送信手段を備えていてもよい。また、掃除支援装置８は、サーバから情報を受信する受信手段を備えていてもよい。また、サーバは送信手段を備えていてもよい。また、サーバは、受信手段を備えていてもよい。また、サーバは、通信手段等の介在手段を介して送信できる送信手段、又は受信できる受信手段を備えていてもよい。これにより、掃除支援装置８で掃除した情報をサーバへ送信することができ、また、掃除支援装置８はサーバからの情報を受信することができる。例えば、掃除支援装置ｃがサーバへ送信した情報を掃除支援装置ｄが受信することができる。この場合の情報とは、例えば掃除済領域の情報である。これにより、掃除済領域を共有することができ、また、異なる掃除支援装置８又は掃除具によって、掃除済領域の情報を引き継いだ掃除をすることも可能である。また、掃除支援装置ｃで掃除した情報を一旦サーバ送信しておき、のちに掃除支援装置ｃでダウンロードして表示することで、掃除済領域の情報を保存しておくことができる。これにより、例えば、こども又はロボット掃除機で掃除し残した領域を後で掃除することができる。また、掃除を一時中断したとしても、中断した掃除済領域の情報から再開することができる。
Moreover, the
また、他の掃除具又は他の掃除支援装置８で取得した掃除情報と比較して掃除度合いを評価、又は点数化してもよい。例えば、掃除済領域の範囲の大きさ、掃除中のヘッド部２の移動距離を比較し、競争することができる。また、複数の掃除具又は複数の掃除支援装置８で合わせて、どの程度の掃除ができたかを確認することもできる。このため、やりがい、達成感、面白みを得ることができ、ゲーム感覚で掃除をすることもできる。
Further, the degree of cleaning may be evaluated or scored by comparing with cleaning information acquired by other cleaning tools or other
また、移動を掃除ロボットに記憶又は学習させてもよい。例えば、使用者が掃除具で被清掃面を掃除する様子を位置情報取得装置６から掃除支援装置８に出力し、掃除具、特にヘッド部の移動情報を記憶しておき、ロボット掃除機は掃除機、特にヘッド部の移動情報を入手すればよい。移動情報は、サーバを介して、または掃除支援装置８から受信すればよい。移動情報とは、移動速度、移動経路、移動順路、移動道筋、移動方向、方向転換、向きの回転、位置座標、運転モード等である。ロボットは、移動情報に倣って移動する。例えば、使用者が操作した移動情報と同様に掃除を行う。これにより、ロボット掃除機が段差やペットがいる位置、ストーブ等の火器類のある場所等掃除したくない場所を掃除することがない。また、ロボット掃除機に安心して掃除を任せられるため、使用者の作業負担が減る。
Further, the cleaning robot may be made to memorize or learn the movement. For example, the location
１ 電気掃除機、 ２ ヘッド部、 ３ 管体、 ４ 本体、 ５ 掃除支援システム、 ６ 位置情報取得装置、 ７ 表示装置、８ 掃除支援装置、 ９ 発光手段、 １０ 位置情報検出部、 １１ 領域判別部、 １２ 画像作成部、 １３ 重畳部、 １４ 位置履歴記憶部、 １５ 画像履歴記憶部、 １６ 表示規則記憶部、 １７ 入力受付部、 １８ オブジェクト画像作成部、 ２２ 処理回路、 ２４ 通信Ｉ／Ｆ装置、 ２５ メモリ、 ４０ 振動発生手段、 ４１ 音声発生手段、 ６１ 撮像部、 ６２ 画像処理部、 ６４ 正面カメラ、 ２０１ 連結部、 ２０２ 吸込口体、 ２０３ 吸込口、 ２０４ 電動機、 ２０５ 回転ブラシ、 ４０１ ハンドル、 ４０２ 操作部、 ４０３ 制御回路、 ４０４ 外郭部、 ４０５ 電動送風機、 ４０６ 電源部、 ４０８ 制御基板、 ４０９ 接続管部、 ４１０ 接続口、 ４１１ 排気部、４１２ 集塵部、 ４１３ ホース 1 vacuum cleaner, 2 head section, 3 tube body, 4 main body, 5 cleaning support system, 6 position information acquisition device, 7 display device, 8 cleaning support device, 9 light emitting means, 10 position information detection section, 11 area discrimination section , 12 image creation unit, 13 superimposition unit, 14 position history storage unit, 15 image history storage unit, 16 display rule storage unit, 17 input reception unit, 18 object image creation unit, 22 processing circuit, 24 communication I/F device, 25 memory, 40 vibration generating means, 41 sound generating means, 61 imaging section, 62 image processing section, 64 front camera, 201 connecting section, 202 suction port body, 203 suction port, 204 electric motor, 205 rotating brush, 401 handle, 402 Operation part, 403 Control circuit, 404 Outer part, 405 Electric blower, 406 Power supply part, 408 Control board, 409 Connection pipe part, 410 Connection port, 411 Exhaust part, 412 Dust collection part, 413 Hose
Claims (29)
前記位置情報に基づいて、前記掃除対象領域における掃除済の掃除済領域と未掃除の未掃除領域とを判別し、判別結果から得られる領域判別情報を出力する領域判別部と、
前記領域判別情報に基づいて、前記掃除対象領域における前記掃除済領域と前記未掃除領域とを区別して表した作成画像を作成する画像作成部と、
前記作成画像に、カメラによって撮像された前記掃除対象領域の撮像画像を重畳した重畳画像を作成する重畳部と、
を備え、
前記撮像画像は、
前記掃除済領域において前記カメラによる撮像位置と前記掃除済領域との間に遮蔽物がある死角掃除済領域と、
前記掃除済領域において前記撮像位置と前記掃除済領域との間に遮蔽物がない撮像掃除済領域と、
前記未掃除領域において前記撮像位置と前記未掃除領域との間に遮蔽物がある死角未掃除領域と、
前記未掃除領域において前記撮像位置と前記未掃除領域との間に遮蔽物がない撮像未掃除領域と、を含み、
前記画像作成部は、
前記死角掃除済領域と前記撮像掃除済領域とを区別して表した画像又は前記死角未掃除領域と前記撮像未掃除領域とを区別して表した画像を前記作成画像として作成するように構成されることを特徴とする掃除支援装置。 a position information detection unit that detects position information of the suction tool in the cleaning target area;
an area discriminator that discriminates between a cleaned area and an uncleaned area in the cleaning target area based on the position information, and outputs area discrimination information obtained from the discrimination result;
an image creation unit that creates an image that distinguishes and represents the cleaned area and the uncleaned area in the cleaning target area based on the area discrimination information;
a superimposing unit that creates a superimposed image by superimposing a captured image of the cleaning target area captured by a camera on the created image;
Equipped with
The captured image is
a blind spot cleaned area in which there is a shield between the imaging position by the camera and the cleaned area in the cleaned area;
an imaged cleaned area in which there is no obstruction between the imaged position and the cleaned area;
a blind uncleaned area where there is a shield between the imaging position and the uncleaned area in the uncleaned area;
an imaged uncleaned area where there is no obstruction between the imaging position and the uncleaned area in the uncleaned area;
The image creation unit includes:
An image that distinguishes and represents the blind spot cleaned area and the imaged and cleaned area, or an image that distinguishes and represents the blind area that has not been cleaned and the imaged and uncleaned area is created as the created image. A cleaning support device featuring:
前記掃除対象領域における特徴点を検出する特徴点検出部を含み、
前記特徴点の検出結果に基づいて、前記吸込具の前記位置情報を検出するように構成されることを特徴とする請求項１に記載の掃除支援装置。 The position information detection unit includes:
including a feature point detection unit that detects feature points in the cleaning target area,
The cleaning support device according to claim 1 , wherein the cleaning support device is configured to detect the position information of the suction tool based on the detection results of the feature points.
前記吸込具に割り当てられた特定色を検出する特定色検出部を含み、
前記特定色の検出結果に基づいて、前記吸込具の前記位置情報を検出するように構成されることを特徴とする請求項１に記載の掃除支援装置。 The position information detection unit includes:
including a specific color detection unit that detects a specific color assigned to the suction tool,
The cleaning support device according to claim 1 , wherein the cleaning support device is configured to detect the position information of the suction tool based on the detection result of the specific color.
前記領域判別部は、前記特定平面における前記掃除済領域と前記未掃除領域とを判別するように構成されることを特徴とする請求項１から請求項５の何れか１項に記載の掃除支援装置。 further comprising a plane detection unit that detects a specific plane of the cleaning target area,
The cleaning assistance according to any one of claims 1 to 5 , wherein the area determination unit is configured to determine the cleaned area and the uncleaned area on the specific plane. Device.
前記重畳画像に重畳させる特定のオブジェクト画像を作成するオブジェクト画像作成部を更に備え、
前記オブジェクト画像作成部は、前記オブジェクト画像の属する領域が前記未掃除領域から前記掃除済領域となった場合、前記オブジェクト画像の状態を変化させるように構成されることを特徴とする請求項１に記載の掃除支援装置。 The image creation unit includes:
further comprising an object image creation unit that creates a specific object image to be superimposed on the superimposed image,
2. The object image creation unit is configured to change the state of the object image when the area to which the object image belongs changes from the uncleaned area to the cleaned area. Cleaning support device as described.
前記掃除対象領域の特定平面を検出する平面検出部を含み、
前記特定平面に前記オブジェクト画像を表示させるように構成されることを特徴とする請求項７から請求項１０の何れか１項に記載の掃除支援装置。 The object image creation unit includes:
including a plane detection unit that detects a specific plane of the cleaning target area,
The cleaning support device according to any one of claims 7 to 10 , wherein the cleaning support device is configured to display the object image on the specific plane.
前記掃除支援装置が出力した前記領域判別情報から得られる画像を表示する表示装置と、
を備えることを特徴とする掃除支援システム。 A cleaning support device according to any one of claims 1 to 13 ;
a display device that displays an image obtained from the area discrimination information output by the cleaning support device;
A cleaning support system comprising:
前記掃除支援装置は、
前記領域判別情報に基づいて、前記掃除対象領域における前記掃除済領域と前記未掃除領域とを区別して表した作成画像を作成する画像作成部と、
前記作成画像に前記撮像画像を重畳した重畳画像を作成する重畳部と、
を更に備えるように構成されることを特徴とする請求項１４又は請求項１５に記載の掃除支援システム。 further comprising a position information acquisition device that acquires a captured image of the cleaning target area,
The cleaning support device includes:
an image creation unit that creates an image that distinguishes and represents the cleaned area and the uncleaned area in the cleaning target area based on the area discrimination information;
a superimposing unit that creates a superimposed image by superimposing the captured image on the created image;
The cleaning support system according to claim 14 or 15 , further comprising: a cleaning support system;
前記位置情報取得装置は、前記表示装置の表示部を含む平面に対して前記光軸が垂直となる向きに配置されていることを特徴とする請求項１７に記載の掃除支援システム。 The position information acquisition device has a lens having an optical axis,
18. The cleaning support system according to claim 17 , wherein the position information acquisition device is arranged with the optical axis perpendicular to a plane including a display section of the display device.
前記表示装置は、前記携帯型端末の正面側に配置され、
前記位置情報取得装置は、前記携帯型端末の背面側に配置され、
前記携帯型端末の正面側に、使用者の視線の方向を認識するための視線認識装置が配置され、
前記重畳部は、少なくとも前記視線の方向の前記撮像画像が含まれるように前記重畳画像を作成することを特徴とする請求項１７又は請求項１８に記載の掃除支援システム。 The terminal is a mobile terminal,
The display device is arranged on the front side of the portable terminal,
The position information acquisition device is arranged on the back side of the portable terminal,
A line of sight recognition device for recognizing the direction of the user's line of sight is disposed on the front side of the portable terminal,
The cleaning support system according to claim 17 or 18 , wherein the superimposing unit creates the superimposed image so that at least the captured image in the direction of the line of sight is included.
前記吸込具に割り当てられた特定色を検出する特定色検出部を含み、
前記特定色の検出結果に基づいて、前記吸込具の前記位置情報を検出するように構成され、
前記特定色検出部が検出する特定色を使用者が設定するための色設定部を備えることを特徴とする請求項１４から請求項１９の何れか１項に記載の掃除支援システム。 The position information detection unit includes:
including a specific color detection unit that detects a specific color assigned to the suction tool,
configured to detect the position information of the suction tool based on the detection result of the specific color,
20. The cleaning support system according to claim 14 , further comprising a color setting section for a user to set a specific color to be detected by the specific color detection section.
前記色設定部は、前記表示装置における接触位置に対応する画像の色を前記特定色として設定するように構成されていることを特徴とする請求項２０に記載の掃除支援システム。 The display device is configured as a touch panel display device,
21. The cleaning support system according to claim 20 , wherein the color setting section is configured to set a color of an image corresponding to a contact position on the display device as the specific color.
前記電気掃除機は、前記信号が前記吸込具の位置が前記未掃除領域に属することを表す信号である場合、前記掃除済領域に属することを表す信号である場合に比して前記回転数を大きくするように構成されることを特徴とする請求項２３に記載の掃除支援システム。 The vacuum cleaner is configured to be able to adjust the rotation speed of the electric blower based on a signal input from the cleaning support device,
When the signal indicates that the position of the suction tool belongs to the uncleaned area, the vacuum cleaner lowers the rotational speed compared to when the signal indicates that the position of the suction tool belongs to the cleaned area. 24. The cleaning support system according to claim 23 , wherein the cleaning support system is configured to be enlarged.
前記位置情報検出部は、
前記識別情報の識別結果に基づいて、前記吸込具の前記位置情報を検出するように構成されることを特徴とする請求項２３又は請求項２４に記載の掃除支援システム。 The suction device is configured to include specific identification information,
The position information detection unit includes:
The cleaning support system according to claim 23 or 24, wherein the cleaning support system is configured to detect the position information of the suction tool based on the identification result of the identification information.
前記吸込具に配置され、前記ゴミセンサによりゴミが吸い込まれたことを検知した場合に発光する発光部と、を備え、
前記位置情報検出部は、発光した前記発光部を前記識別情報として識別するように構成されることを特徴とする請求項２５に記載の掃除支援システム。 a dust sensor that detects that dust is sucked in from the suction tool;
a light-emitting part disposed on the suction tool and emitting light when the dust sensor detects that dust has been sucked in;
26. The cleaning support system according to claim 25 , wherein the position information detection section is configured to identify the light emitting section that has emitted light as the identification information.
請求項１から請求項１３の何れか１項に記載の掃除支援装置と、
を備えることを特徴とする電気掃除機。 an electric blower that sucks air from the suction device;
A cleaning support device according to any one of claims 1 to 13 ;
A vacuum cleaner characterized by comprising:
前記位置情報に基づいて、前記掃除対象領域における掃除済の掃除済領域と未掃除の未掃除領域とを判別し、判別結果から得られる領域判別情報を出力する工程と、
前記領域判別情報に基づいて、前記掃除対象領域における前記掃除済領域と前記未掃除領域とを区別して表した作成画像を作成する工程と、
前記作成画像に、カメラによって撮像された前記掃除対象領域の撮像画像を重畳した重畳画像を作成する工程と、
を備え、
前記撮像画像は、
前記掃除済領域において前記カメラによる撮像位置と前記掃除済領域との間に遮蔽物がある死角掃除済領域と、
前記掃除済領域において前記撮像位置と前記掃除済領域との間に遮蔽物がない撮像掃除済領域と、
前記未掃除領域において前記撮像位置と前記未掃除領域との間に遮蔽物がある死角未掃除領域と、
前記未掃除領域において前記撮像位置と前記未掃除領域との間に遮蔽物がない撮像未掃除領域と、を含み、
前記作成画像を作成する工程は、
前記死角掃除済領域と前記撮像掃除済領域とを区別して表した画像又は前記死角未掃除領域と前記撮像未掃除領域とを区別して表した画像を前記作成画像として作成するように構成されることを特徴とする掃除支援方法。 Detecting position information of the suction tool in the area to be cleaned;
Based on the position information, distinguish between a cleaned area and an uncleaned area in the cleaning target area, and output area discrimination information obtained from the discrimination result;
creating an image that distinguishes and represents the cleaned area and the uncleaned area in the cleaning target area based on the area discrimination information;
creating a superimposed image by superimposing an image of the area to be cleaned taken by a camera on the created image;
Equipped with
The captured image is
a blind spot cleaned area in which there is a shield between the imaging position by the camera and the cleaned area in the cleaned area;
an imaged cleaned area in which there is no obstruction between the imaged position and the cleaned area;
a blind uncleaned area where there is a shield between the imaging position and the uncleaned area in the uncleaned area;
an imaged uncleaned area where there is no obstruction between the imaging position and the uncleaned area in the uncleaned area;
The step of creating the created image includes:
An image that distinguishes and represents the blind spot cleaned area and the imaged and cleaned area, or an image that distinguishes and represents the blind area that has not been cleaned and the imaged and uncleaned area is created as the created image. A cleaning support method characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019100537A JP7346912B2 (en) | 2019-05-29 | 2019-05-29 | Cleaning support device, cleaning support system, vacuum cleaner, and cleaning support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019100537A JP7346912B2 (en) | 2019-05-29 | 2019-05-29 | Cleaning support device, cleaning support system, vacuum cleaner, and cleaning support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020192171A JP2020192171A (en) | 2020-12-03 |
| JP7346912B2 true JP7346912B2 (en) | 2023-09-20 |
Family
ID=73546502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019100537A Active JP7346912B2 (en) | 2019-05-29 | 2019-05-29 | Cleaning support device, cleaning support system, vacuum cleaner, and cleaning support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7346912B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022163754A (en) * | 2021-04-15 | 2022-10-27 | 日立グローバルライフソリューションズ株式会社 | Vacuum cleaner management device and program |
| GB2618847A (en) * | 2022-05-20 | 2023-11-22 | Dyson Technology Ltd | Augmented reality cleaning system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005204872A (en) | 2004-01-22 | 2005-08-04 | Matsushita Electric Ind Co Ltd | Self-running vacuum cleaner and its program |
| JP2012050564A (en) | 2010-08-31 | 2012-03-15 | Sanyo Electric Co Ltd | Handy type vacuum cleaner |
| JP2014013551A (en) | 2012-07-05 | 2014-01-23 | Sharp Corp | Self-propelled apparatus |
| JP2015027345A (en) | 2013-07-30 | 2015-02-12 | 佐古 曜一郎 | Vacuum cleaning device |
| US20160135655A1 (en) | 2014-11-17 | 2016-05-19 | Samsung Electronics Co., Ltd. | Robot cleaner, terminal apparatus, and method of controlling the same |
| JP2018079134A (en) | 2016-11-17 | 2018-05-24 | 三菱電機株式会社 | Cleaning support device, cleaning support method, and cleaning support system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2946242B2 (en) * | 1991-02-28 | 1999-09-06 | 松下電器産業株式会社 | Electric vacuum cleaner |
-
2019
- 2019-05-29 JP JP2019100537A patent/JP7346912B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005204872A (en) | 2004-01-22 | 2005-08-04 | Matsushita Electric Ind Co Ltd | Self-running vacuum cleaner and its program |
| JP2012050564A (en) | 2010-08-31 | 2012-03-15 | Sanyo Electric Co Ltd | Handy type vacuum cleaner |
| JP2014013551A (en) | 2012-07-05 | 2014-01-23 | Sharp Corp | Self-propelled apparatus |
| JP2015027345A (en) | 2013-07-30 | 2015-02-12 | 佐古 曜一郎 | Vacuum cleaning device |
| US20160135655A1 (en) | 2014-11-17 | 2016-05-19 | Samsung Electronics Co., Ltd. | Robot cleaner, terminal apparatus, and method of controlling the same |
| JP2018079134A (en) | 2016-11-17 | 2018-05-24 | 三菱電機株式会社 | Cleaning support device, cleaning support method, and cleaning support system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020192171A (en) | 2020-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7442063B2 (en) | Vacuum cleaner control method and control system | |
| CA2918318C (en) | Auto-cleaning system, cleaning robot and method of controlling the cleaning robot | |
| JP6680453B2 (en) | Traveling vacuum cleaner and method of operating such a device | |
| TWI687784B (en) | Moving robot and control method thereof | |
| CN110313863B (en) | Autonomous mobile cleaning machine, cleaning method for autonomous mobile cleaning machine, and program | |
| CN105310604B (en) | The method of robot cleaner system and control machine people's cleaner | |
| CN110313867B (en) | Autonomous mobile cleaner, cleaning method for autonomous mobile cleaner, and recording medium | |
| RU2727215C2 (en) | Apparatus and method of tracking cleaning operations performed | |
| US11687092B2 (en) | Techniques for bounding cleaning operations of a robotic surface cleaning device within a region of interest | |
| US8842096B2 (en) | Interactive projection system | |
| KR20190030197A (en) | System and method for initializing a robot to autonomously traverse a trained path | |
| JP2019171001A (en) | Autonomous mobile cleaner, cleaning method and program | |
| JP7346912B2 (en) | Cleaning support device, cleaning support system, vacuum cleaner, and cleaning support method | |
| CN106264384A (en) | The support of surface cleaning | |
| JP2018079134A (en) | Cleaning support device, cleaning support method, and cleaning support system | |
| KR20200144382A (en) | Moving Robot and controlling method | |
| JP2020087240A (en) | Control system for cleaner, autonomous travel type cleaner, cleaning system, and control method for cleaner | |
| KR20200030014A (en) | Cleaner for classifying cleaned area | |
| KR20170129559A (en) | Cleaner and controlling method | |
| CN114829085B (en) | Mobile robot and control method thereof | |
| CN113876241A (en) | Reminding method, cleaning robot and computer readable storage medium | |
| KR102535025B1 (en) | Electronic cleaner and control method thereof | |
| KR20240001343A (en) | A system and method for providing a game for cleaning and a storage medium therefor | |
| CN116635807A (en) | Map creation device for traveling, autonomous traveling robot, traveling control system for autonomous traveling robot, traveling control method for autonomous traveling robot, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220506 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7346912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |