以下、図面を参照して本発明の実施の形態について説明する。ただし、各図において共通する要素には、同一の符号を付して重複する説明を省略する。なお、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合又は原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造は、特に明示した場合又は明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。さらに、本発明は、その発明の趣旨を逸脱しない範囲において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能であるものとする。
1.実施の形態1.
1-1.掃除支援システムの構成
図面を参照して、実施の形態1に係る掃除支援システムについて説明する。図1は、実施の形態1に係る掃除支援システムの構成を説明するためのブロック図である。掃除支援システム5は、使用者が手動で電気掃除機を操作しながら、部屋の床等の被清掃面を掃除する場合に、掃除済の領域又は未掃除の領域を使用者に提示するものである。以下の説明では、掃除が行われる対象となる領域を「掃除対象領域」と呼ぶ。掃除対象領域は、被清掃面、床、棚の上、壁、窓、天井、屋外、又は公共施設等、使用者が電気掃除機を操作して掃除する対象となるあらゆる領域を含んでいてもよい。以下の説明では、床を掃除対象領域とする場合を例示する。
以下の説明では、塵埃及びその他のゴミを総称して単に「塵埃」と呼ぶ場合がある。また、塵埃が混じった空気を「含塵空気」と呼ぶ場合がある。そして、塵埃が取り除かれた空気を「清浄空気」と呼ぶ場合がある。また、掃除対象領域のうち、使用者が掃除済の領域を「掃除済領域」と呼び、未掃除の領域を「未掃除領域」と呼ぶ場合がある。
図1に示すように、掃除支援システム5は、電気掃除機1と、位置情報取得装置6と、掃除支援装置8と、表示装置7とを備えている。以下、これらの構成要素について順に説明する。
1-1-1.電気掃除機の構成
先ず、掃除支援システム5に含まれる電気掃除機1の構成について説明する。図2は、電気掃除機の斜視図である。図3は、電気掃除機の本体の断面図である。図4は、電気掃除機のヘッド部の側面図である。図5は、電気掃除機のヘッド部の底面図である。図2に示すように、電気掃除機1は、ヘッド部2を有する手持ち式の掃除具である。電気掃除機1は、例えば、コードレスタイプの縦型電気掃除具である。図2に示すように、電気掃除機1は、主な構成要素として、本体4、管体3及びヘッド部2を備えている。
本体4は、ハンドル401、外郭部404及び集塵部412を備えている。ハンドル401は、電気掃除機1の使用中に使用者が手で握る部位である。使用者は、ハンドル401を握ることで電気掃除機1の本体4を把持できる。またハンドル401には、操作部402および制御回路403が設けられている。操作部402は、複数個の図示しないキーボタンを含む。使用者は、ハンドル401を持って掃除を行う。この際、使用者は、操作部402のキーボタンを操作することで、電気掃除機1の吸引動作の実行、停止等を指示する。制御回路403は、操作部402と電気的に接続されるとともに、本体4の電動送風機405とも電気的に接続される。
外郭部404は、本体4の外郭すなわち外側の覆いをなす部材を有する。本体4の外郭部404には、電動送風機405及び制御基板408が内蔵されている。また外郭部404は電源部406、接続管部409及び排気部411を備えている。
電動送風機405は、電気掃除機1の吸引風を生成するためのものである。電気掃除機1は、電動送風機405の駆動により、塵埃又はゴミ等をヘッド部2の吸込口203から吸引して集塵部412に捕集する。また、制御基板408は、例えば、電動送風機405のファンの回転数を制御する。
電源部406は、電動送風機405を駆動するための電源を含んでいる。電源部406は、例えば本体4に対して着脱可能な電池を含んでいてもよい。また、電源部406は、例えば外部から電力を得るための電源コードを含んでいてもよい。
接続管部409は、管体3が着脱可能に連結される少なくとも一部が中空筒状の部材である。接続管部409は、塵埃を吸い込むための接続口410を有する。接続口410は、接続管部409の一端に形成された開口である。接続管部409の内部には、接続口410を通過した含塵空気の気流を集塵部412へ導く風路が形成されている。接続管部409の他端には、ハンドル401の一端が外見上連続するようにして配置されている。ハンドル401の他端側には、操作部402が設けられている。
排気部411は、外郭部404に形成された開口である。集塵部412にて塵埃が取り除かれた気流は、排気部411から本体4の外部へ排出される。
集塵部412は、電動送風機405が生成した吸引風により本体4に吸い込んだ含塵空気中の塵埃を捕集するためのものである。集塵部412は、本体4に対し着脱可能に取り付けられている。集塵部412は、例えば紙パック式又はサイクロン式のものである。本実施の形態に係る集塵部412は、サイクロン分離装置を有している。
次に、図4及び図5を参照ながら、吸込具としてのヘッド部2の構成について説明する。ヘッド部2は、吸込口体202と、連結部201とを備える。ヘッド部2は、管体3の前述した他端側に連結部201を介して連結される。なお、以下の説明では、原則として、吸込口体202を水平な被清掃面に置いた状態、すなわち水平面を清掃する状態を基準に説明する。
吸込口体202の形状は、平面視において矩形状を呈する。また、吸込口体202の形状は、外観として略直方体形状を呈する。吸込口体202における清掃方向を、吸込口体202の短手方向と呼ぶ。平面視において、吸込口体202の短手方向に垂直な方向を、吸込口体202の長手方向と呼ぶ。平面視における吸込口体202の長手方向の中間には、連結部201の一端が回動可能に接続される。吸込口体202は、規定の大きさの断面積を有する吸込口203を有する。 吸込口203は、ヘッド部2の吸込口体202における、掃除対象領域と対向する面に開口を有するように設けられる。塵埃は、ヘッド部の吸込口体202の吸込口203から吸引される。実施の形態では、ヘッド部2から吸引すると表現することもあり、また、吸込口体202又は吸込口203から吸引すると表現することもある。
連結部201は、吸込口体202と管体3、又は吸込口体202と本体4とを着脱自在に接続可能とするための中継部である。連結部201は、本体4又は管体3に対する吸込口体202の姿勢又は角度を変更する機能を有する。
ヘッド部2は、管体3の先端側に着脱自在に接続することが可能である。図6は、電気掃除機の本体の接続管部にヘッド部を接続した状態を示す図である。図6に示すように、ヘッド部2は、本体4の接続管部409に着脱自在に接続することも可能である。つまり、ヘッド部2は、管体3の先端側と本体4の接続管部409の何れか一方に択一的に接続することが可能である。
図5に示すように、ヘッド部2は、電動機204と回転ブラシ205を備えていてもよい。回転ブラシ205は、電動機204の駆動により回転する。電動機204および回転ブラシ205は、例えばギアを備える。ヘッド部2は、ベルトを備えていてもよい。ベルトは、電動機204のギアの回転を回転ブラシ205のギアに伝達する。また、ベルトを介さず、回転ブラシ205の内部に電動機204を内蔵したいわゆるアウターローター型の場合は、電動機204のギアの駆動を回転ブラシ205に直接伝達する。本体4からの電力が電動機204に供給されると、電動機204のギアが回転し、回転ブラシ205が回転する。電動機204は、ブラシ付き電動機でもブラシレス電動機でもよい。ブラシレス電動機の場合は、既存技術により、回転ブラシ205の回転数を変更可能である。
管体3は内部が中空の管状部材である。管体3は、ヘッド部2と本体4を間接的に接続させるための中継機能を有する。なお、ヘッド部2を本体4に直接接続する場合には、管体3は使用しなくてもよい。
電動送風機405は、ハンドル401に設けられた操作部402に対する操作に応じて駆動される。電動送風機405が駆動すると、集塵部412及び接続管部409の内部に吸引力が作用し、ヘッド部2の吸込口203を介して、接続口410から含塵空気が吸い込まれる。接続口410に吸い込まれた含塵空気は、接続管部409を通過して集塵部412の内部に取り込まれる。集塵部412では、含塵空気から塵埃が分離または捕集される。集塵部412から排出された清浄空気は、電動送風機405を通過する。電動送風機405を通過した清浄空気は、排気部411から本体4の外部に排出される。
なお、電動送風機405は、運転モードに応じて回転数が調整可能に構成されていてもよい。具体的には、電気掃除機1は、運転モードとして、例えば電動送風機405の回転数が高い強モードと、強モードよりも回転数が低い弱モードを備えている。さらに、電気掃除機1は、運転モードとして、強モードと弱モードを自動で調整する自動モードを備えていてもよい。運転モードは、ハンドル401に設けられた操作部402によって操作される。
また、本体4は、外部からの入力を受け付ける受信部を備えていてもよい。受信部は、例えば既存技術により、外部からの入力を受け付ける。例えば、入力受信方法は、無線、赤外線、センサ等である。例えば、電気掃除機1は、受信部の外部入力受付部が外部からの入力を受け付けることにより、運転のON-OFFの切替、運転モードの切替、又は回転ブラシ205の回転数の調整を行う。このような構成によれば、外部入力によって、電気掃除機1の種々の動作を制御することができる。
1-1-2.位置情報取得装置の構成
次に、掃除支援システム5に含まれる位置情報取得装置6について説明する。位置情報取得装置6は、掃除対象領域に対するヘッド部2の位置を検出するための情報を取得するための装置である。位置情報取得装置6は、例えばスチルカメラ又はビデオカメラである。位置情報取得装置6は、例えば使用者が手に持って使用する。また、位置情報取得装置6は、電気掃除機1に固定する構成でもよいし、また使用者の頭部等の身体に着用する構成でもよい。また、位置情報取得装置6を固定するホルダー部を備えた形状記憶可能なストラップを用いて、首にかける構成でもよい。
図7は、位置情報取得装置の機能構成を示す機能ブロック図である。図7に示すように、位置情報取得装置6は、その機能ブロックとして、撮像部61と画像処理部62とを備えている。撮像部61は、例えばイメージセンサである。撮像部61は、例えばCMOS又はCCDである。撮像部61は、レンズが捉えた光の情報をデジタルデータに変換する。画像処理部62は、変換されたデジタルデータを、画像として目に見える画像データに変換する。位置情報取得装置6は、変化された画像データを出力する。以下の説明では、位置情報取得装置6から出力される画像データを「撮像画像」と呼ぶ。
1-1-3.表示装置の構成
次に、掃除支援システム5に含まれる表示装置7について説明する。表示装置7は、データを表示するためのものである。表示装置7に表示されるデータとしては、掃除領域に関する情報、掃除済領域又は未掃除領域に関する情報、位置情報取得装置6で撮像した撮像画像、又は掃除支援装置8が作成した画像等が例示される。
表示装置7は、例えばスマートフォンまたはタブレット等の携帯型端末のディスプレイとして構成されていてもよい。また、表示装置7は、電気掃除機1に取り外し自在に設置できるものであってもよい。この場合、表示装置7は、電気掃除機1の操作部402に設置するようにしてもよいし、電気掃除機1のヘッド部2に設置するようにしてもよい。また、表示装置7は、身体に着用可能なウェアラブル端末、ウェアラブルメガネ、スマートグラス等であってもよい。
表示装置7は、頭部装着型又は眼鏡型であってもよい。頭部装着型又は眼鏡型では表示装置7は顔、特に目の周囲に配置される。例えば光学透過型表示部を備える表示装置では、光透過型において、外界から通り抜ける光の強さを制御することが課題となる。そこで、例えば、調整可能なグローバルシャッタのLCDマスクがビームスプリッタの前、つまり眼から最も遠い位置に配置されていてもよい。使用者はこのシャッタの透明度を調整することで、画像を見やすくすることができる。例えば、明るい陽射しのもとでは、シャッタを最大限に暗くし、屋内環境などの比較的暗い環境ではシャッタの透明度を最大にすればよい。なお、透過型表示部を備える表示装置を備える場合の特有の動作については、後述する他の実施の形態において詳しく説明する。
表示装置7は、使用者に視認可能な位置であればその配置に限定はない。また、表示装置7は、掃除対象領域を含む空間である部屋等に設置されたPC(Personal Computer)、または、テレビ等の装置が備えるディスプレイ等の表示部として構成されていてもよい。なお、実施の形態1では、表示装置7が携帯型端末の表示部である場合を例示する。表示装置7は、掃除中に手に持って使用してもよい。また、表示装置7は、位置情報取得装置6と共通の一体化された端末に備えてられていてもよい。
表示装置7のフレームレート数の閾値は、20msから300msの間、好ましくは30ms以上、さらに好ましくは60ms以上である。フレームレート数の数値が上がるほど、画像の変化が滑らかになり、使用者は画面酔いをし難くなる。
1-1-4.掃除支援装置の構成
次に、掃除支援システム5に含まれる掃除支援装置8について説明する。掃除支援装置8は、位置情報取得装置6から取得した情報に基づき、掃除対象領域における電気掃除機1による掃除済領域と未掃除領域を判別するための画像を作成する。
なお、掃除支援装置8は、例えばアプリケーションとして構成されていてもよい。つまり、掃除支援装置8は、端末にインストールまたはダウンロードすることで使用可能とする構成でもよい。また掃除支援装置8は、予め端末にダウンロードまたはインストールされていてもよい。
図8は、掃除支援装置の機能構成を示す機能ブロック図である。図8に示すように、掃除支援装置8は、その主たる機能として、位置情報検出部10と、位置履歴記憶部14と、領域判別部11と、画像作成部12と、重畳部13と、表示規則記憶部16と、入力受付部17と、を備えている。
位置情報検出部10は、掃除対象領域に対する電気掃除機1のヘッド部2の位置を検出するための機能ブロックである。より詳しくは、位置情報検出部10は、使用者によって電気掃除機1の吸引動作が開始されると、位置情報取得装置6としてのカメラから撮像画像を取得する。そして、既存の画像処理技術を用いて撮像画像からヘッド部2の特徴点を抽出し、その位置情報を検出する。つまり、位置情報検出部10は、掃除対象領域から特徴点を検出する特徴点検出部としての機能を含む。なお、ここでのヘッド部2の特徴点は、予め設定されたヘッド部2の特定位置又は特定範囲である。このようなヘッド部2の特徴点は、例えばヘッド部2の吸込口体202の中心位置、対角の2点の位置、又は四隅の位置等を用いることができる。また、位置情報検出部10は、ヘッド部2の位置に加えて、例えば、既存の画像処理技術を用いて、ヘッド部2の大きさ又は移動方向を更に検出するようにしてもよい。
電気掃除機1の動作状況は、例えば入力受付部17から入力される情報から判断することができる。入力受付部17は、使用者によって電気掃除機1の吸引操作が開始されたか否かに関する情報を受け付けるための機能ブロックである。入力受付部17が受け付けるこの情報は、以下「操作開始指示情報」と呼ばれる。使用者によって操作部402が操作されることにより吸引動作が開始されると、操作開始指示情報が制御回路403を介して入力受付部17へと出力される。入力受付部17は、入力された操作開始指示情報を、位置情報検出部10に出力する。位置情報検出部10は、操作開始指示情報の入力を受けて、撮像画像の取得を開始する。
なお、位置情報検出部10は、他の手段を用いて電気掃除機1の動作状況を判断してもよい。すなわち、位置情報検出部10は、例えば使用者が電気掃除機1の操作部402の操作により吸引動作の駆動を指示した際のランプの点滅を検知することで、使用者により電気掃除機1の操作が開始されたか否かを判断する構成でもよい。また、位置情報検出部10は、適宜の方法で、使用者により電気掃除機1の操作が開始されたかどうかを判断すればよい。
位置履歴記憶部14は、位置情報検出部10が検出した検出結果であるヘッド部2の位置情報を、その取得日時の情報に対応付けて記憶するためのものである。位置履歴記憶部14に記憶された情報を、以下「位置履歴情報」とも呼ぶ。位置情報検出部10は、例えば、位置履歴記憶部14に格納された位置履歴情報を用いて、ヘッド部2の移動軌跡等の移動情報を特定することができる。
領域判別部11は、位置情報検出部10が検出したヘッド部2の位置情報に基づいて、掃除対象領域内における掃除済領域と未掃除領域を判別する。具体的には、領域判別部11には、位置履歴記憶部14から位置履歴情報が順次入力される。領域判別部11は、入力された位置履歴情報に基づいて、ヘッド部2の移動軌跡を算出する。そして、領域判別部11は、掃除対象領域におけるヘッド部2の移動軌跡を、電気掃除機1による掃除済領域として判別し、判別結果であるその移動軌跡の座標を領域判別情報として画像作成部12に出力する。なお、領域判別部11において用いられる座標系は、掃除対象領域内の空間を撮像する撮像画像の座標系と同じ座標系である。
領域判別部11は、操作開始指示情報に基づいて、位置履歴情報が電気掃除機1の操作が開始された後の情報であるか否かを判別可能としてもよい。例えば、領域判別部11は、ヘッド部2の移動情報と対応付けられている取得日時と、入力受付部17から取得した操作開始指示情報の受付日時とを比較することによって、電気掃除機1の吸引動作中の位置履歴情報か否かを判断することができる。
画像作成部12は、入力された領域判別情報を反映した画像を作成する。画像作成部12により作成される画像を、以下「作成画像」とも呼ぶ。画像作成部12は、予め定められた表示規則に従い、領域判別情報から特定される掃除済領域と未掃除領域とを区別可能な状態で表示した画像を作成する。表示規則は、表示規則記憶部16に予め記憶されている。表示規則記憶部16に記憶されている表示規則には、例えばヘッド部2の長手方向の幅が20cmである場合、ヘッド部2の移動軌跡に沿った方向と直角に幅20cmを青色で配色する、といった表示規則がある。この場合、青色で塗りつぶされた領域が掃除済領域に対応し、それ以外の領域が未掃除領域に対応することとなる。画像作成部12は、表示規則記憶部16から読み込まれた表示規則に従い、掃除済領域と未掃除領域とが区別された作成画像を作成する。作成された作成画像は、重畳部13に出力される。
なお、表示規則記憶部16は、掃除済領域と未掃除領域とを視覚的に判別可能な表示規則が記憶されていれば、その内容に限定はない。すなわち、表示規則は、掃除済領域を塗りつぶす又は塗り消す回数で色が変わる、濃くなる、薄くなる等、内容を変更した画像を作成する表示規則でもよい。ここでの「塗りつぶすまたは塗り消す回数」とは、掃除対象領域が掃除された掃除回数、つまり、ヘッド部2がその位置を通過した通過回数を表している。また、ここでの「塗りつぶすまたは塗り消す」との表現は、単色で塗りつぶす又は塗り消すものだけでなく、ドット柄、水玉、半透明といった配色の態様も含んでいる。
領域判別部11は、例えば位置履歴情報に基づいて、ヘッド部2の位置の移動軌跡を検出するとともに、ヘッド部2の位置が同じ位置となる通過回数を算出する。そして、領域判別部11は、算出した通過回数をヘッド部2の通過回数として、その位置情報とあわせて画像作成部12へ出力する。画像作成部12は、領域判別部11から取得した情報に基づいて、ヘッド部2の通過回数に応じて色が変わる又は色が濃くなる等の内容を変更した画像を作成する。
また、他の例では、画像作成部12は、画像履歴記憶部15を参照して、以前に同じ位置の画像を作成した履歴があれば、当該履歴をカウントする。そして、画像作成部12は、当該カウントの回数が多いほど、色が変わる又は色が濃くなる等の内容を変更した画像を作成するようにしてもよい。
重畳部13は、撮像画像と作成画像を重畳した画像を作成する。重畳部13により作成される画像を、以下「重畳画像」と呼ぶ。重畳部13には、位置情報取得装置6において取得された撮像画像と、画像作成部12において作成された作成画像が入力される。重畳部13は、既存の画像処理技術を用いてこれらの画像を重ね合わせた重畳画像を作成する。領域判別部が判別した掃除済領域又は未掃除領域に基づいて作成された作成画像を重畳する。なお、重畳部13は、重畳画像を表示装置7のアスペクト比にあわせて拡大又は縮小するように補正してもよい。作成された重畳画像は、表示装置7へと出力される。これにより、掃除済領域または未掃除領域を示す画像が表示装置7を介して使用者に提示される。
なお、作成された重畳画像は、表示日時の情報とともに、画像履歴記憶部15に履歴として記憶させるようにしてもよい。ここでの表示日時の情報とは、例えば重畳部13が、表示装置7に対して重畳画像を出力した日時とすればよい。
1-2.実施の形態1に係る掃除支援システムの動作
次に、図を参照して、実施の形態1に係る掃除支援システムの動作について説明する。図9は、実施の形態1に係る掃除支援システムにおいて実行されるルーチンのフローチャートである。
まず、ステップS100では、電気掃除機1の操作が開始されたか否かが判定される。ここでは、入力受付部17が電気掃除機1から操作開始情報を受け付けたか否かが判定される。その結果、入力受付部17が操作開始情報を受け付けていない場合には、ステップS100の処理が繰り返し実行される。一方、入力受付部17が操作開始情報を受け付けた場合には、処理は次のステップS102へと移行する。
ステップS102では、位置情報検出部10においてヘッド部2の位置情報が検出される。次のステップS104では、検出された位置情報にその取得日時の情報を対応付けた位置履歴情報が位置履歴記憶部14に順次記憶される。
次のステップS104では、領域判別部11において領域判別情報が作成される。ここでは、領域判別部11は、ヘッド部2の位置情報及びその取得日時を含んだ位置履歴情報を順次取得し、掃除対象領域内におけるヘッド部2の移動軌跡を掃除済領域として判別する。そして、領域判別部11は、掃除済領域に対応する座標を領域判別情報として出力する。
次のステップS106では、画像作成部12において作成画像が作成される。画像作成部12には、領域判別部11において作成された領域判別情報と、表示規則記憶部16に記憶されている表示規則とが入力される。領域判別部11は、入力された表示規則に従い、領域判別情報から判別される掃除済領域と未掃除領域とを視覚的に区別可能とした作成画像を作成する。
次のステップS108では、重畳部13において重畳画像が作成される。重畳部13には、画像作成部12において作成された作成画像と、位置情報取得装置6において取得された撮像画像とが入力される。重畳部13は、入力された撮像画像に作成画像を重ね合わせることにより、重畳画像を作成する。
次のステップS110では、重畳画像が表示装置7に出力される。次のステップS112では、電気掃除機1の操作が終了されたか否かが判定される。なお、ここで判断される操作の終了とは、一連の掃除動作の終了をいう。位置情報検出部10は、例えば、操作開始情報に基づいて、電気掃除機1の操作部402の操作により吸引動作の停止が指示されたか否か、一定時間吸引動作の停止の状態が継続したか否か、又は、日付が変わったか否か等の情報とに基づき、一連の掃除動作が終了したかどうかを判定する。その結果、電気掃除機1の操作が未だ終了されていない場合には、処理は再びステップS102の処理に移行し、以降の処理を繰り返し行う。一方、電気掃除機1の操作が終了された場合には、本ルーチンの処理は終了される。
以上のような制御工程による掃除支援方法によれば、使用者は、電気掃除機1を用いた掃除動作中にリアルタイムで掃除済領域と未掃除領域を一別することができ、掃除の質及び効率が向上する。
1-3.実施の形態1に係る掃除支援システムの変形例
実施の形態1に係る掃除支援システム5は、例えば以下のように変形した形態を採用してもよい。
掃除支援システム5の動作は、電気掃除機1の動作と連動していなくてもよい。すなわち、掃除支援システム5による動作開始は、例えば電気掃除機1の操作を開始した際に手動でシステムを起動させることとしてもよい。なお、上述のシステムの起動のタイミングは掃除動作の開始時に限らず、前もって起動していてもよい。また、電気掃除機1の操作開始後の任意のタイミングでシステムを起動することとしてもよい。
位置情報取得装置6は、3D距離センサでもよい。この場合、位置情報検出部10は、位置情報取得装置6としての3D距離センサから取得したヘッド部2の色又は形状を、既存の画像認識の技術で追跡するようにしてもよい。
また、位置情報取得装置6は、掃除対象領域、電気掃除機1、又は表示装置7等に複数配置された超音波送受信センサ、wifi通信センサ、又は屋内GPS(Global Positioning System)等でもよい。この場合、位置情報検出部10は、これらのセンサ類から得られる情報に基づいて、ヘッド部2の位置等を検出するようにしてもよい。なお、上述の位置情報取得装置6は一例に過ぎず、例えば、位置情報取得装置6をカメラとし、カメラを掃除対象領域に複数台設置するようにしてもよい。位置情報取得装置6が単一のカメラで構成されていると、例えば遮蔽物がある場合にヘッド部2を精度よく検出できない場合がある。この点、位置情報取得装置6としてのカメラを複数個配置することで、位置情報検出部10は、複数の情報に基づいてヘッド部2の位置を精度よく検出することができる。
位置情報取得装置6は、ヘッド部2の位置情報を取得可能な配置であれば、電気掃除機1の操作部402の周辺に設置される構成でもよいし、また、他の場所に設置される構成でもよい。例えば、位置情報取得装置6は、ヘッド部2に設置するようにしてもよい。位置情報検出部10は、ヘッド部2に設置された位置情報取得装置6からの情報に基づいて、掃除対象領域の形状又は色等を追跡する。これにより、位置情報検出部10は、掃除対象領域に対するヘッド部の位置又は方向を検知する。この際、加速度センサ又は方位センサを合わせて用いるようにしてもよい。
このように、位置情報取得装置6を電気掃除機1の構成部品に設置することにより、例えば複数の部屋に分かれた掃除対象領域のそれぞれに位置情報取得装置6を設置することが不要となる。これにより、複数の部屋を掃除する場合であっても、単一の位置情報取得装置6によって対応することが可能となる。また、位置情報取得装置6の設置を簡易化することも可能となる。
操作部402の周辺に位置情報取得装置6を設置するようにした場合、位置情報取得装置6とヘッド部2の間に遮蔽物がある場合に、位置情報を取得できないおそれがある。この点、ヘッド部2に位置情報取得装置6を設置するようにした場合、位置情報取得装置6とヘッド部2の間に遮蔽物が入り込むことがないため、位置情報取得装置6が位置情報を取得できない事態を回避することができる。
また、位置情報取得装置6として、例えば絶対的な位置を検知する装置と相対的な位置を検知する装置とを組み合わせて用いることとしてもよい。すなわち、掃除支援システム5は、位置情報取得装置6として、掃除対象領域を撮像可能な位置にカメラを設置し、さらに、ヘッド部2の位置に相対位置取得センサを設置するようにしてもよい。相対位置取得センサは、例えば、センサ自身の移動前の位置からの相対位置を検出する。カメラのみを用いてヘッド部2の位置を検出する場合、例えば、カメラとヘッド部2との間に遮蔽物が存在する場合、当該遮蔽物に遮られてヘッド部の位置を検出できないことがある。これに対し、ヘッド部2の位置に設置された相対位置取得センサによれば、ヘッド部2の相対位置を常に把握することができるため、遮蔽物の問題は解決する。
ただし、相対位置取得センサは、検出される相対位置に、徐々に誤差が蓄積してしまうという問題がある。そこで、カメラと相対位置取得センサをあわせて用い、掃除支援装置8の制御部(図示省略)において、カメラで撮像された撮像画像に基づいて、予め定められた間隔で、相対位置取得センサに蓄積された誤差のリセットを行う。このように、絶対的な位置を検知する装置と、相対的な位置を検知する装置とを組み合わせて用いることにより、カメラのみでは遮蔽物によってヘッド部の位置を検出できないという問題、および、相対位置取得センサのみでは検出した自身の相対的な位置に誤差が生じるという問題をともに解決し、ヘッド部2の位置検知精度をより高めることができる。
位置情報検出部10は、位置情報取得装置6から取得した情報に加えて、更に地図情報を用いてヘッド部2の位置を検出してもよい。より詳しくは、掃除支援装置8は、予め部屋又は建物等の地図を記憶した地図記憶部を備えている。位置情報検出部10は、位置情報取得装置6から取得した情報に基づき得られたヘッド部2の位置情報と、地図記憶部に記憶されている地図情報とを照らし合わせることで、床座標系に対するヘッド部2の位置を取得する。このような構成によれば、位置情報検出部10は、位置情報取得装置6から取得した情報だけでなく、地図情報も参照してヘッド部2の位置の検出を行うため、位置検出の精度を向上させることができる。なお、このような構成の場合、画像作成部12は、掃除済領域だけでなく、地図情報も表示させる画像を作成するようにしてもよい。また、重畳部13は、作成した重畳画像を表示装置7に表示させる際、当該重畳画像とあわせて地図情報記憶部から取得した情報に基づく建物のフロア図等を示す画像を表示させるようにしてもよい。
さらに、例えば、複数の使用者が同一の掃除対象領域を掃除する場合、重畳部13は、各使用者が視認する表示装置7に対して、建物のフロア図等とあわせて、掃除対象領域における他の使用者も含めた掃除済領域に基づく画像を表示させてもよい。この場合、掃除支援装置8の制御部は、各使用者からの指示を受け付る。そして、制御部は、受け付けた指示に応じて、例えば「使用者-1」と「使用者-2」等、各使用者が視認する表示装置7に表示させている画像の切り替えを行うようにすることもできる。これにより、例えば、複数の使用者が同一の掃除対象領域を掃除する場合、他の使用者が視認する表示装置7に表示されているフロア図等を参考にして、掃除領域を分担して協調作業を行うことが可能となる。
位置情報検出部10が、ヘッド部2の位置情報としてヘッド部2の大きさを検出している場合には、ヘッド部2の移動範囲を位置情報として領域判別部11に出力することとしてもよい。この場合、領域判別部11は、位置情報として入力されたヘッド部2の移動範囲を、掃除済領域と判別する。表示規則記憶部16には、ヘッド部2の移動範囲を赤色で塗りつぶす、といった表示規則が記憶されている。画像作成部12は、このような表示規則に従い、掃除済領域を赤色で塗りつぶした作成画像を作成する。
位置情報検出部10は、掃除対象領域の特徴点又は特徴線を検出する構成を備えていてもよい。掃除対象領域の特徴点又は特徴線とは、掃除対象領域の座標を把握することが可能な点または線である。位置情報検出部10は、撮像画像に含まれる背景から特徴的な点または線、つまり特徴点または特徴線を抽出し、掃除対象領域の位置の把握を行う。このように、位置情報検出部10は、掃除対象領域の特徴点又は特徴線を認識することによって、ヘッド部2の位置と、掃除対象領域の特徴点又は特徴線を対応付けてもよい。なお、特徴点の抽出の方法に限定はない。位置情報検出部10は、例えば点群データを用いて特徴点を抽出してもよい。
掃除支援装置8は、平面検出部をさらに備えていてもよい。例えば平面検出部は、3点の座標を抽出することによりこれらの点を含む特定平面を検出することができる。また、掃除支援装置8は、以下の方法によって、4点以上からなる点群から平面を検出することもできる。
4点以上からなる点群から平面を検出する場合、平面検出部は、まず点群の各点の座標を抽出する。次に、平面検出部は、例えばRANSACを用いて、それらしい平面を見つける。次に、平面検出部は、最小二乗法を用いて、点群に対して残差の二乗和が最小となる、つまり最もフィットする平面を算出する。演算に用いる点群は、例えば特徴点を用いてもよい。点群は、例えば特徴線の一部を用いてもよい。特徴点は、カメラ等の位置情報取得装置6の映像から取得する。特徴点の座標は、例えばジャイロ又は距離を加味した上で三角測量によって算出する。このような技術によれば、毎秒100以上の座標を取得することができる。また、現実空間の物体の位置を点座標の集合として取得できる。また、開始から数秒程度で検出可能である。
画像作成部12は、ヘッド部2の位置の移動軌跡等に基づいて掃除済領域に配色を施した作成画像を作成することとしていた。しかしながら、画像作成部12は、移動軌跡等に基づいて、未掃除領域に配色を施した作成画像を作成することとしてもよい。この場合、画像作成部12は、未掃除領域における未掃除領域を塗りつぶした作成画像を作成する。重畳部13では、撮像画像と作成画像を重畳した重畳画像が作成される。表示装置7には重畳画像が表示される。全ての領域が未掃除領域である掃除開始前には、掃除対象領域の全体が塗りつぶされた重畳画像が表示される。未掃除領域の掃除を行うことにより、掃除済領域となった箇所は、塗りつぶしが塗り消されるように表示される。
掃除支援装置8は、撮像画像に含まれる平面を検出する平面検出部を備えていてもよい。平面検出部は、位置情報取得装置6により取得された撮像画像から、既存の平面検出技術によって特定の平面を検出する。より詳しくは、平面検出部は、既存の技術により、撮像画像から3点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる平面を検出する。これにより、3点以上の特徴点を含む特定平面を検出することが可能となる。
例えば画像作成部12が未掃除領域を塗りつぶした作成画像を作成する場合、床面以外にも、例えば壁面、机又はモノ等も塗りつぶされてしまう。この場合、全てをヘッド部2で掃除し、塗り消すことは困難であり、また、わずらわしくもある。そこで、平面検出部により、塗り消す範囲を限定してもよい。より詳しくは、平面検出部は、特定平面として床面を検出する。そして、画像作成部12は、平面検出部によって検出された床面において、未掃除領域と掃除済領域とを区別した作成画像を作成する。これにより、例えば、床面のみが塗りつぶされた状態となり、塗りつぶされた領域を掃除することで、掃除済領域が塗り消される。このため、掃除しない床面以外の場所が塗りつぶされているというわずらわしさがなく、快適に使用できる。また、塗りつぶされた画像が消えていくことの爽快感が得られる。
重畳部13は、位置情報取得装置6から取得した撮像画像に作成画像を重畳させた重畳画像を、使用者の視点から見た画像に変換してもよい。具体的には、例えば、重畳部13は、既存の画像処理技術を用いて、位置情報取得装置6から取得した撮像画像から使用者の頭部、顔又は眼球を検出する。そして、頭部又は顔の向き、位置、又は眼球の動きから使用者の視線方向を算出し、その算出結果に基づいて、作成した重畳画像を使用者の視点から見た画像に変換するようにすればよい。なお、重畳画像を使用者の視点から見た画像に変換する動作については、後述する他の実施の形態において詳しく説明する。
位置情報取得装置6と表示装置7と掃除支援装置8は、一体化された共通の端末に含まれるように構成されていてもよい。このような端末としては、例えばカメラ付きの携帯型端末を利用することができる。図10は、携帯型端末として構成された掃除支援装置の構成を示す図である。この図に示す例では、掃除支援装置8としての携帯型端末は、正面側に表示装置7としてのタッチパネルが設けられ、背面側に位置情報取得装置6としてのカメラが設けられている。このような構成によれば、掃除対象領域を撮像するカメラの設置が不要となる。また、重畳部13が、重畳画像を表示装置7のアスペクト比にあわせて拡大又は縮小する処理も不要となる。
位置情報取得装置6は、掃除対象領域となる部屋に設置されたPC又はテレビ等の装置が備えるカメラを利用してもよい。この場合、表示装置7は、当該PC又はテレビ等の装置が備える表示装置を利用し、重畳画像を当該PC又はテレビ等の画面に表示させるようにしてもよい。
上述のように位置情報取得装置6と表示装置7の共通の端末としてPC又はテレビ等の装置を用いる場合、具体的には、重畳部13は、領域判別部11が判別した掃除済領域又は未掃除領域に対応する作成画像を取得する。そして、重畳部13は、PCまたはテレビ等の装置に搭載されているカメラから撮像画像を取得し、取得した作成画像を撮像画像に重畳させた重畳画像を作成する。重畳部13は、当該重畳画像を、PCまたはテレビ等の装置に搭載されている表示部に表示させる。
PCまたはテレビ等の装置が搭載している表示部に重畳画像を表示させる際、重畳部13は、使用者から見て表示部に表示される重畳画像が、鏡に映る画像のように表示されるように、重畳画像を左右反転させて表示部に表示させるように補正する。また、重畳部13は、重畳画像を、表示部のアスペクト比にあわせて拡大または縮小するように補正する。このように、部屋等に設置されているPCまたはテレビ等の装置が搭載しているカメラを位置情報取得装置6とする場合も、既存の装置が備えるカメラを利用することができ、掃除対象領域を撮像するカメラの設置を不要とすることができる。また、重畳部13は、重畳画像を左右反転させて表示させることで、使用者がより掃除状況を把握しやすくすることができる。
また、重畳部13は、PCまたはテレビ等の装置に搭載されているカメラから取得した撮像画像に掃除済領域または未掃除領域に対応する作成画像を重畳させた重畳画像を、使用者の視点から見た画像に変換して、PCまたはテレビ等の装置に搭載されている表示部に表示させるようにしてもよい。この場合、具体的には、重畳部13は、既存の画像処理技術を用いて、PCまたはテレビ等の装置に搭載されているカメラから取得した撮像画像から使用者の頭部、顔又は眼球を検出する。そして、使用者の頭部又は顔の向き、位置、又は眼球の動きから視線方向を算出し、その算出結果に基づいて、作成した重畳画像を使用者の視点から見た画像に変換するようにすればよい。
重畳部13が作成した重畳画像を、通信I/F装置を介して、表示装置7に表示させてもよい。例えば、表示装置7が掃除対象領域を含む空間の外部に存在する場合、重畳部13は、作成した重畳画像を通信I/F装置を介して外部の表示装置7に表示させるようにすることができる。これにより、例えば、掃除の管理者等の第三者が、掃除対象領域を含む部屋等の空間の外部からでも、掃除の状況を確認することが可能となる。
掃除支援システム5は、さらに発光手段9を備えていてもよい。発光手段9は、例えば掃除対象領域、被清掃面、ヘッド部2およびその周辺を明るくするためのものである。発光手段9は、例えば表示装置7とは異なる位置に備えられている。図10に示すように、例えば、発光手段9、位置情報取得装置6及び表示装置7が同一の携帯型端末に備えられている場合、発光手段9は、表示装置7と異なる位置、例えば、表裏反対となる面に配置されていてもよい。発光手段9は、例えばLEDである。発光手段9の照射方向と位置情報取得装置6としてのカメラの光軸は、平行または略平行に設けられる。発光手段9は、必要に応じて既存技術によりON-OFFが変更できるように構成されていてもよい。これにより、撮像画像の明度が向上するので、精度よく特徴点を取得することが可能となる。
掃除支援システム5の構成及び機能は、一つの端末に集約されていてもよい。位置情報取得装置6は光軸を有するレンズを有する。また、表示装置7は、例えば、平面部を有し、平面部に画像が表示される。表示装置7は、少なくとも一部が平らな平面部を有する。表示装置7は、例えば大部分が丸みのない平面状に形成される。光軸は、表示部、または表示部の平面に対して、垂直または略垂直な位置関係としてもよい。また、位置情報取得装置6による撮影方向または撮像方向は、表示部または表示部の平面に対して、垂直または略垂直な位置関係としてもよい。光軸は、例えば生き物でいう視線である。光軸と表示部が垂直な位置関係であることにより、表示された情報を視認しやすい。略垂直とは垂直に対して、±10°、好ましくは±5°の範囲である。
掃除支援システム5の掃除支援装置8が備える各機能は、例えば以下のように構成されていてもよい。図11は、実施の形態1に係る掃除支援装置のハードウェア構成の一例を示す図である。また、図12は、実施の形態1に係る掃除支援装置のハードウェア構成の他の例を示す図である。実施の形態1において、掃除支援装置8の各機能は、処理回路22により実現される。例えば、掃除支援装置8は、位置情報取得装置6により撮像画像を取得し、撮像画像から領域判別部11により領域を判別し、領域判別部11の結果から画像作成部12にて作成画像を作成し、重畳部13により撮像画像と作成画像を重畳した重畳画像を作成し、重畳画像を表示装置7に表示させる制御を行うための処理回路22を備える。処理回路22は、図11に示すように専用のハードウェアであってもよいし、図12に示すようにメモリ25に格納されるプログラムを実行するCPU(Central Processing Unit)26であってもよい。
処理回路22が専用のハードウェアである場合、処理回路22は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路22がCPU26の場合、位置情報検出部と、領域判別部と、画像作成部の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、例えば、位置情報検出部10と、領域判別部11と、画像作成部12と、重畳部13とは、HDD(Hard Disk Drive)23、メモリ25等に記憶されたプログラムを実行するCPU26、システムLSI(Large-Scale Integration)等の処理回路22により実現される。また、HDD23、メモリ25等に記憶されたプログラムは、位置情報検出部10と、領域判別部11と、画像作成部12の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ25とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の、不揮発性または揮発性の半導体メモリ、又は磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、位置情報検出部10と、領域判別部11と、画像作成部12と重畳部13の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、一部は専用のハードウェアとしての処理回路22でその機能を実現し、位置情報検出部10と、領域判別部11と、画像作成部12と重畳部13については処理回路22がメモリ25に格納されたプログラムを読み出して実行することによってその機能を実現してもよい。位置履歴記憶部14と、表示規則記憶部16と、画像履歴記憶部15は、例えば、HDD23を使用する。なお、これは一例にすぎず、位置履歴記憶部14と、表示規則記憶部16は、DVD、メモリ等によって構成されるものであってもよい。また、掃除支援装置8は、位置情報取得装置6、表示装置7等の外部機器との通信を行う通信I/F装置24を有する。例えば、位置情報検出部10は、通信I/F装置24を利用して、位置情報取得装置6が撮像した映像を取得する。また、例えば、画像作成部12は、作成した画像を、通信I/F装置24を利用して、表示装置7に出力する。
掃除支援装置8は、使用者に対して、掃除対象領域における掃除済領域または未掃除領域の領域をグレー等の色で提示するものとしてもよい。具体的には、画像作成部12は、領域判別部11が判別した掃除済領域に基づき、掃除対象領域において当該掃除済領域を除く領域を未掃除領域と判断し、掃除未実施の領域をグレー等の色とした画像を作成してもよい。
掃除支援装置8は、電気掃除機1の外部に設置されていてもよい。例えば、掃除支援装置8は、電気掃除機1と通信I/F装置24を介して通信し、電気掃除機1の駆動、停止等の制御情報等を取得するようにしてもよい。また、電気掃除機1との間で特別な通信手段を持たなくてもよい。また、掃除支援装置8は、電気掃除機1に搭載されるものとしてもよい。電気掃除機1と掃除支援装置8の間で特別な通信手段を持たない場合は、掃除の支援を任意に行う。また、掃除支援装置8が電気掃除機1と通信I/F装置24を介して通信する場合、又は掃除支援装置8が電気掃除機1に搭載される場合は、電気掃除機1と連携したより高度な支援が可能となる。
また、掃除支援システム5の少なくとも一部は、例えばアプリケーションである。このようなアプリケーションは、例えば、コンピュータ、スマートフォン、スマートグラスなどの端末にダウンロードすることにより使用する。これにより、専用の端末を用いることなく、掃除を支援することができる。
掃除支援装置8は、電気掃除機1に搭載されていてもよい。図13は、電気掃除機の構成の変形例を示すブロック図である。この図に示すように、電気掃除機1は、ヘッド部2から空気を吸い込む電動送風機405と、掃除支援装置8と、を備えている。図14は、電気掃除機の構成の他の変形例を示すブロック図である。図14に示す例では、電気掃除機1は、上述の電動送風機405と、掃除支援装置8とに加えて、更に表示装置7を搭載している。このような構成を備えた電気掃除機1においても、使用者の掃除の支援を行うことができる。
2.実施の形態2.
次に、実施の形態2の掃除支援システムについて説明する。
2-1.実施の形態2の掃除支援システムの特徴
実施の形態2に係る掃除支援システムは、位置情報検出部10の構成を除き、実施の形態1の掃除支援システムと同じである。
実施の形態2に係る掃除支援装置8の位置情報検出部10は、特定色を認識することによってヘッド部2の位置情報を検出することに特徴を有している。位置情報検出部10は、使用者によって電気掃除機1の吸引動作が開始されると、位置情報取得装置6としてのカメラから撮像画像を取得する。そして、既存の画像処理技術を用いて撮像画像からヘッド部2のみに割り当てられている特定色を抽出し、その位置情報を検出する。つまり、位置情報検出部10は、掃除具に割り当てられた特定色を検出する特定色検出部としての機能を含む。ヘッド部2は、その全体が特定色に配色されていてもよいし、またその一部が特定色に配色されていてもよい。なお、特定色は、使用者が色設定部から設定可能である。
領域判別部11は、特定色から検出されたヘッド部2の位置情報を順次取得し、掃除対象領域内におけるヘッド部2の移動軌跡を算出する。そして、領域判別部11は、算出された移動軌跡に基づいて、掃除済領域と未掃除領域を判別し、掃除済領域に対応する座標を領域判別情報として出力する。表示規則記憶部16には、特定色から検出された位置情報から作成画像を作成するための表示規則が記憶されている。このような表示規則としては、例えばヘッド部2の移動軌跡に対して、吸込口体202の平面視に対する長手方向の幅Xcmに相当する範囲を塗りつぶす、といった規則が記憶されていてもよい。この場合、画像作成部12は、表示規則記憶部16に記憶されている表示規則に従い、ヘッド部2の移動軌跡に対して、幅Xcm広い範囲を掃除済領域として塗りつぶした画像を作成する。また表示規則記憶部16は、吸込口体202の平面視に対する長手方向の幅および短手方向の幅を考慮した画像を作成する際の規則が予め記憶されていてもよい。
なお、上述した表示規則は一例に過ぎない。すなわち、表示規則記憶部16には、例えば、画像の色、ヘッド部2の位置を中心とした塗りつぶし範囲等、画像作成部12が当該表示規則記憶部16に記憶された規則に則って作成した作成画像が表示装置7に表示された際に、使用者が、掃除済領域及び未掃除領域を認識可能な画像になるような規則が記憶されていればよい。表示規則記憶部に記憶されている規則は、予め使用者等によって適宜設定可能である。
以上のように構成された掃除支援装置8によれば、ヘッド部2に割り当てられた特定色を検知することによって、掃除済領域と未掃除領域とを精度良く判別することが可能となる。
2-2.実施の形態2に係る掃除支援システムの変形例
実施の形態2に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
表示装置7がタッチパネル式の表示装置である場合、特定色の設定は、位置情報取得装置6とタッチパネルを用いてもよい。例えば、色設定部は、位置情報取得装置6から取得した画像をタッチパネルの表示部に表示させ、使用者が表示部に触れることで、その接触位置の色を特定色として設定するように構成されればよい。使用者は、登録を望む色を有するもの、例えばヘッド部2を位置情報取得装置6により撮像すればよい。そして撮像されたヘッド部2の撮像画像をタッチパネルの表示部に表示させた状態で、タッチパネルを介して選択することで、ヘッド部2の色を特定色として登録すればよい。これにより、空間の明るさによりヘッド部2が認識しづらいと感じた場合に適宜特定色を変更することができる。
3.実施の形態3.
次に、実施の形態3の掃除支援システムについて説明する。
3-1.実施の形態3の掃除支援システムの特徴
実施の形態3に係る掃除支援システムは、表示装置7としてスマートグラス等の透過型表示部を有する表示装置を用いた場合に特化した動作に特徴を有している。本実施の形態に係る掃除支援システムの基本的な構成は、表示装置7が透過型表示部を有する表示装置であることを除き、実施の形態1の掃除支援システムと同じである。
実施の形態3の掃除支援システムは、表示装置7として、スマートグラスのように顔または頭部に着用する表示装置を備える。このような透過型の表示装置7は、現実と仮想の融合機能を有する透過型表示部を有している。より詳しくは、表示装置7としてのスマートグラスは、透過型表示部に作成画像を表示することにより、掃除対象領域の実空間に作成画像が重畳した画像を使用者に提供することができる。つまり、スマートグラスのような表示装置7は、透過型表示部に作成画像を表示することにより、掃除対象領域の実空間に作成画像が重畳した画像を使用者に提供することができる。
表示装置7にスマートグラスを用いた場合、画像作成部12は、掃除済領域と未掃除領域を判別可能に表示した作成画像を生成する。画像作成部12は、作成された作成画像を使用者の視点から見た画像に変換する。具体的には、例えば、画像作成部12は、既存の画像処理技術を用いて、位置情報取得装置6から取得した撮像画像から使用者の頭部、顔又は眼球を検出する。そして、頭部又は顔の向き、位置、又は眼球の動きから使用者の視線方向を算出し、その算出結果に基づいて、作成した作成画像を使用者の視点から見た画像に変換する。作成した作成画像は、表示装置7としてのスマートグラスに出力される。スマートグラスは、入力された作成画像を透過型表示部に表示することによって、使用者の視点から見た実画像に作成画像を重畳した画像を使用者に提供する。つまり、実施の形態3に係る掃除支援装置8では、撮像画像に作成画像を重畳させた重畳画像を作成する重畳部の構成が不要となる。
このように、実施の形態3に係る掃除支援システムによれば、スマートグラス等の透過型表示部を有する表示装置を用いて、使用者に掃除済領域及び未掃除領域を提供することが可能となる。
3-2.実施の形態3の掃除支援システムの変形例
実施の形態3に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
透過型表示部は、実世界からの光を通すことができ、実世界を直接見ることができる光学透過型表示部に限らず、ビデオ透過型表示部でもよい。ビデオ透過型表示部は、現実と仮想の融合が電子的になされる。つまり、カメラ等の位置情報取得装置6によって取得された撮像画像が電子的に画像処理され、現実と仮想の融合像が表示される。例えば、実世界を変換した撮像画像が位置情報取得装置6により取得され、重畳部13に送られる。重畳部13は例えば、単に撮像画像を背景像としてフレームバッファにコピーすることで撮像画像と作成画像を融合する。融合された画像は透過型表示部に表示される。また、撮像画像と作成画像の奥行を認識し、背景にする部位を考慮してもよい。
画像作成部12が作成画像を使用者の視点から見た画像に変換する場合、適宜位置合わせしてもよい。ここでの位置合わせとは、仮想物体と実物体との間の座標系を一致させることを指す。ここでは、使用者の知覚において、実シーンに置かれた物体に仮想情報を正確に位置合わせすることが目標となる。具体的には、透過型表示部においては、コンピュータグラフィクスの要素が実世界の物体と揃うように表示する必要がある。これは、使用者の頭部、背景映像を撮影するカメラ、又はその両方のトラッキングを必要とする。
使用者またはカメラが動いていないときに静的位置合わせを実現するためには、仮想物体と実物体との間に共通の座標系を確立するようにトラッキングシステムを構成することが必要である。使用者またはカメラが動いているときに動的位置合わせを実現するには、トラッキングが必要である。トラッキングの対象は、自然特徴と人工的特徴の2つに分類できる。人工的特徴はマーカ又は基準と呼ばれる。拡張現実(AR)を実行する前には周囲環境を計測してもよい。例えば、事前計測することで、より単純で頑健なトラッキングアルゴリズムを使用することができる。マーカを用いずに手を加えていない環境をトラッキングする場合、この手法は自然トラッキングに利用できる。
自然特徴を用いる方法では、物理的な対象が最初に存在し、それに適合するデジタルモデルを得るために、スキャナが使用される。多くの場合、同一のカメラを用いて、まず環境をスキャンし、その後連続的な光学式トラッキングを行う。
また、自然特徴により、自然に存在している特徴をトラッキングに用いてもよい。自然特徴は、例えば対象物体上の顕著な点特徴、いわゆる特徴点またはキーポイントである。特徴点は、簡単に見つけられなければならず、物体上のそれらの位置は視点変化に対して安定していなければならない。特徴点を利用するには、十分で密で不規則な表面上の模様が装飾されていない街並みや工業用物体など、テクスチャがあまりない物体に対しては、その輪郭が容易に観察可能であると仮定すれば、エッジ特徴を使用してトラッキングしてもよい。但し、エッジの場合、信頼性の高い対象検出のためには、複数のエッジを合わせて解釈する必要がある。
また、さらに特徴マッチングを実行してもよい、モデル内の特徴点が新たに得られた画像内のどの点に対応するかを、特定することができる。十分な数の対応点から、シーンを識別することができる。一般に人工的なマーカは景観を損ねることがある。そこで、自然特徴のトラッキングによって、環境にマーカを設置することなく、画像からの観測情報からカメラ位置姿勢を決定することができる。また、自然特徴トラッキングでは、実際の環境をスキャンすることによって、適切なデジタルモデルの位置を把握する。そして、実行時にカメラからの観測とトラッキングモデルを対応付ける。
また、単眼カメラによるトラッキングにより、カメラ画像中の二次元点と世界座標における三次元点の対応を決定してもよい。このような二次元-三次元の対応付けは密なものと疎なものに分けることができる。密な対応付けとは、画像中のすべての画素に対して対応を見つけることを意味する。また、疎な対応付けは画像中から選択された少数だが十分な数の顕著な特徴点の対応を見つけることを指す。
掃除支援装置8は、例えば疎な対応付けを行う。特徴点は離散的な位置に複数現れるという性質を有する。このため背景が複雑であっても影響されにくく、頑健さにつながる。つまり、十分な正しい対応が残っている限り、誤対応は外れ値として分類され、位置推定に影響を与えることなく排除される。このため、疎な対応付けでも問題がなく、また密な対応付けに比べデータ数が少ないため、処理速度が速いという優位性を持つ。
疎な対応付けに用いられる、検出型トラッキングについて説明する。カメラ位置姿勢は、前のフレームから得られる事前情報に頼ることなく、新しいフレームで特徴点を対応付けることで決定される。特徴点は、記述子によって表される。記述子とは、素早く信頼性の高い対応付けのために設計されたデータ構造である。記述子は、新しいカメラ画像中の各特徴点に対して作成され、トラッキングモデル内の特徴点と対応付けられる。この方法は、簡潔でカメラの動きの種類に関する過程は特にない。例えば、使用者が誤ってカメラを覆ってしまった場合など、あるフレームでカメラの位置姿勢が推定できない場合、このような位置姿勢推定の抜けが次のフレームのトラッキングに影響しない。また、検出型トラッキングは、履歴を維持する必要がないため、過去情報を用いた逐次的トラッキングよりも実装が簡単である。
掃除支援装置8は磁気センサを備えていてもよい。磁気センサは、水平方向の推定に適している。例えば、特徴点に対する法線方向を地平面に投影した際の方向によって事前にソートすることができる。磁気センサを用いることで、対応点の探索対象を法線が使用者に向いている点のみに絞り込むことができる。
また、掃除支援装置8は加速度センサを備えていてもよい。例えば、加速度センサを用いて、重力方向を取得することで、鉛直方向の推定結果が得られる。これにより、例えば家具などの鉛直方向に延びる物体において、特徴点が複数得られた場合、重力方向に沿った特徴の利用によって、対応付けの精度が向上する。また、これにより垂直面を検知してもよい。垂直面を検知することで、垂直面への塗りつぶし又は塗り消しの条件設定を行うことができる。
4.実施の形態4.
次に、実施の形態4の掃除支援システムについて説明する。
4-1.実施の形態4の掃除支援システムの特徴
図15は、実施の形態4に係る掃除支援システムが備える掃除支援装置の機能を示すブロック図である。実施の形態4に係る掃除支援システムは、掃除支援装置8の構成を除き、実施の形態1の掃除支援システムと同じである。
実施の形態4に係る掃除支援装置8は、実施の形態1に係る掃除支援装置8の構成に加えて、更にオブジェクト画像作成部18を備える点に特徴を有している。オブジェクト画像作成部18は、掃除対象領域に無作為にオブジェクトを並べた画像を生成する。例えば、オブジェクトは、ドット状のオブジェクトである。オブジェクトは、例えば、ゴミ、ウィルス、バイキン、花粉等を模擬したイメージ画像である。作成されたオブジェクト画像は、重畳部13に送られる。重畳部13は、入力された撮像画像に作成画像を重畳した後に、更にオブジェクト画像を重ねた画像を生成する。オブジェクト画像を含んだ重畳画像は、表示装置7に表示される。また、実施の形態4では作成画像を作成しなくてもよく、重畳部13は撮像画像に作成画像を重畳しなくてもよい。例えば、重畳部13は、入力された撮像画像に直接オブジェクト画像を重ねた画像を生成してもよい。つまり、塗りつぶし又は塗り消した画像の代わりに、オブジェクト画像を含んだ重畳画像が表示装置7に表示されてもよい。
オブジェクト画像作成部18は、時間の経過とともにオブジェクトを変化させる。例えば、オブジェクト画像作成部18には、位置情報取得装置6から撮像画像を受け取る。また、併せて画像作成部12から作成画像を受け取る場合もある。そして、オブジェクト画像作成部18は、掃除済領域に包含されたオブジェクト画像を変化させる。オブジェクト画像の変化は、例えば小さくなる、消滅する、向き又は画像が変化する等が例示される。また、オブジェクトから判断しうる清掃度合を数値化または評価してもよい。また、数値や評価結果をSNS等へ投稿することができてもよい。このようなオブジェクト画像の変化によれば、使用者による清掃が進行して未掃除領域が減少していることをオブジェクト画像の変化から視覚的に認識することが可能となる。これにより、使用者の掃除の達成感を高めることができる。
掃除支援装置8は、オブジェクト画像のある位置を清掃した際に、振動または音によって使用者に報知する報知手段を備えていてもよい。図10に例示されるように、掃除支援装置8が表示装置7を備えた携帯型端末である場合、例えば当該端末に内蔵された既存技術の振動発生手段40または音声発生手段41を報知手段として利用すればよい。
掃除支援装置8のオブジェクト画像作成部18は、ゴミセンサと連動して動作させてもよい。例えば、オブジェクト画像作成部18は、ゴミセンサの反応時間又は反応回数に応じてオブジェクトを出現させるように画像を作成してもよい。また、ゴミの量と清掃位置に対するゴミの有無やゴミ量を併せて記憶し、ゴミが多い場所と記憶した場所には、例えば次回以降、オブジェクトを多数出現させる、大きいオブジェクトを出現させる、又は複数回の清掃を必要とすることを示すオブジェクトを出現させるように画像を作成してもよい。また、過去の掃除した場所と日時を記憶し、掃除していない期間に応じて、オブジェクトの数又は大きさを変化させるように画像を作成してもよい。例えば期間が長いほどオブジェクトの数を増やす又はオブジェクトのサイズを大きくするように画像を作成してもよい。更に、掃除対象領域にである部屋の角部や辺を検知し、角部や辺にオブジェクトを多数出現させるように画像を作成してもよい。
また、オブジェクト画像作成部18は、清掃状況に応じてオブジェクト画像を変化させることとしてもよい。例えば、オブジェクト画像作成部18は、掃除済領域には出現させないようにしてもよい。この場合、オブジェクト画像作成部18は、領域判別部11から入力される領域判別情報に基づいて、未掃除領域に含まれるオブジェクトのみを出現させるように画像を作成する。また、掃除支援装置8は、掃除済領域を記憶する掃除済領域記憶部を更に備えていてもよい。掃除済領域記憶部は、領域判別部11から入力される領域判別情報に含まれる掃除済領域を記憶する。そして、オブジェクト画像作成部18は、掃除済領域記憶部に記憶されている情報に則り掃除済領域以外の未掃除掃除領域にオブジェクトを表示させるように画像を作成すればよい。このようにすることで、一度掃除した領域にはオブジェクト画像が表示されないので、使用者はオブジェクトがある位置を掃除していくことによって掃除対象領域を清掃することができる。また、同じ場所に何度もオブジェクト画像が表示されることがないため、掃除の効率が低下することがない。
このように、上述したオブジェクト画像作成部18によれば、使用者は表示装置に表示されるオブジェクト画像を見て楽しみながら掃除をすることができる。
4-2.実施の形態4の掃除支援システムの変形例
実施の形態4に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
掃除支援装置8は、撮像画像に含まれる面を検出する面検出部を備えていてもよい。面検出部は、例えば、平面検出部、水平面検出部、又は鉛直面検出部である。以下、各面検出部にについて説明する。
平面検出部は、位置情報取得装置6により取得された撮像画像から、既存の平面検出技術によって平面を検出する。より詳しくは、平面検出部は、既存の技術により、撮像画像から3点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる平面を検出する。これにより、3点以上の特徴点を含む平面を検出することが可能となる。
オブジェクト画像作成部18は、平面検出部において検出された平面のうち、特定の条件を満たす特定平面に限りオブジェクト画像を表示するように画像を作成してもよい。このような特定平面の条件は、例えば、水平面に対する平面の角度をしきい値としてもよい。より詳しくは、オブジェクト画像作成部18は、例えば45°をしきい値として、それより角度の小さい特定平面上に限りオブジェクト画像を表示する。他の例としては、オブジェクト画像作成部18は、例えば水平面に対する平面の角度が0°から10°、すなわち平面検出部により検出した平面が水平面に対して平行又は略平行な場合に、オブジェクト画像を表示してもよい。これにより、例えば床又は机等にオブジェクトが表示され、壁などの掃除しない場所にはオブジェクトが表示されないため、使用者はオブジェクトを目印として掃除することで、床や机を綺麗にすることができる。
また、オブジェクト画像作成部18は、例えば水平面に対する平面の角度が80°から90°、すなわち平面検出部により検出した平面が水平面に対して垂直又は略垂直な場合に、オブジェクト画像を表示してもよい。
このように、平面検出部を備えた掃除支援装置8は、平面に対応してオブジェクトを表示することができる。これにより、例えば凹凸のある物体又は円筒の物体など、ヘッド部2によって掃除しないような場所にオブジェクト画像が表示されることを抑制することができる。つまり、掃除困難な場所にオブジェクト画像が表示され難くなるため、使用者がストレスを感じにくい。
面検出部が水平面検出部として構成されている場合、水平面検出部は水平な面を検出する。水平面検出部は、既存の水平な面を検出する技術によって水平な面を検出してもよい。また、上述した平面検出部による面検出方法を応用してもよい。例えば、水平面検出部は、既存の技術により、撮像画像から3点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる水平面を検出する。これにより、3点以上の特徴点を含む水平面を検出することが可能となる。
オブジェクト画像作成部18は、水平面検出部によって検出された水平面にオブジェクトが表示されるように画像を作成する。この際、オブジェクト画像作成部18は、検出した1又は複数の水平面のうち最も低い位置にある水平面にオブジェクト画像を表示してもよいし、また、最も大きい面積を有する水平面にオブジェクト画像を表示してもよい。
また、オブジェクト画像作成部18は、高さと面積を考慮して、オブジェクトを表示する水平面を決定してもよい。例えば、オブジェクト画像作成部18は、比較的低い位置かつ比較的大きい面積を有する水平面にオブジェクト画像を表示してもよい。これにより、床等の水平面にオブジェクトが表示されるため、使用者はオブジェクトを目印として掃除することで、床面を綺麗にすることができる。
また、オブジェクト画像作成部18は、特定の水平面の掃除が終わった場合は、次に当該水平面よりも高い位置にある他の水平面等にオブジェクトを表示してもよい。このように、異なる水平面に順次オブジェクトを表示させることにより、使用者はオブジェクトを目印として掃除対象領域を順に掃除することができる。また、面積の大きい面から順にオブジェクトを表示させることとすれば、面積の大きい順に優先的に掃除することができる。
また、オブジェクト画像作成部18は、最も低い高さにある水平面から特定の高さまでの範囲の水平面にのみにオブジェクトを表示するように画像を作成してもよい。このような特定の高さとしては、例えば10cmから20cmの高さが例示される。これにより、使用者は、表示されるオブジェクトを目印にして清掃を行うことにより、床面を含む低い範囲の領域を掃除できる。特に、フローリングと畳等、床面の高さが数cm異なる位置にあるような場合であっても、床面に特化してオブジェクトを表示することができる。なお、上述したような平面検出の方法は予め開発者が設定してもよく、また、使用者が設定変更できるようにしておいてもよい。
面検出部が鉛直面検出部として構成されている場合、鉛直面検出部は鉛直な面を検出する。鉛直面検出部は、既存の鉛直な面を検出する技術によって鉛直な面を検出してもよい。また、上述した平面検出部による面検出方法を応用してもよい。例えば、鉛直面検出部は、既存の技術により、撮像画像から3点以上の特徴点を抽出する。そして、取得した特徴点の座標から、最小二乗法により、複数の特徴点の点群に対して、残差の二乗和が最小となる鉛直面を検出する。これにより、3点以上の特徴点を含む鉛直面を検出することが可能となる。
オブジェクト画像作成部18は、鉛直面検出部によって検出された鉛直面にオブジェクトが表示されるように画像を作成する。この際、オブジェクト画像作成部18は、検出した1又は複数の鉛直面のうち最も面積の大きい鉛直面にオブジェクト画像を表示してもよいし、これにより、壁面等の鉛直面にオブジェクトが表示されるため、使用者はオブジェクトを目印として掃除することで、壁面を綺麗にすることができる。
5.実施の形態5.
次に、実施の形態5の掃除支援システムについて説明する。
5-1.実施の形態5の掃除支援システムの特徴
図16は、実施の形態5に係る掃除支援システムが備える電気掃除機の構成を示す図である。実施の形態5に係る掃除支援システムは、電気掃除機1の構成を除き、実施の形態1の掃除支援システムと同じである。
図16に示すように、本実施の形態に係る掃除具としての電気掃除機1は、キャニスタタイプの電気掃除機である。電気掃除機1は、ヘッド部2、本体4、管体3、及びホース413を備えている。管体3の一端はヘッド部2と接続され、管体3の他端はホース413の一端と接続される。ホースの他端は本体と接続される。ホース413の一端は、把持可能な形状を呈していてもよい。ホース413は、把持部を有していてもよい。本体4は把持部を有していてもよい。例えば、ホース413の一部を把持して掃除する。
掃除支援システム5の電気掃除機は、上述したようなキャニスタタイプの電気掃除機1にも適用することが可能である。この場合、実施の形態1の掃除支援システム5と同様に、位置情報取得装置6により撮像画像を取得し、位置情報検出部10によりヘッド部2の位置情報を検出すればよい。また、上述した構成においても、掃除済領域と未掃除領域を一別でき、掃除の質と効率を向上することができる。
なお、本実施の形態のキャニスタタイプの電気掃除機1は、管体3を備えずにヘッド部2と本体4が直接接続されていてもよい。この場合も位置検出方法は同様である。
5-2.実施の形態5の掃除支援システムの変形例
実施の形態5に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
実施の形態5に係る掃除支援システムは、キャニスタタイプの電気掃除機1だけでなく、他の掃除具を用いることもできる。このような掃除具は、例えばモップである。掃除具としてのモップは、ヘッド部と持ち手としてのハンドルを備える。ヘッド部は、電気掃除機1のヘッド部2に相当し、床面を清掃する機能を有する。モップのヘッド部は、清掃部材と、ボディとを備える。清掃部材は、例えば繊維状部材又は軟質部材である。繊維状部材の場合、例えば樹脂よりも吸水性を有する。軟質部材は、例えば樹脂よりも弾性限界が大きい。ヘッド部は、連結部を備えていてもよい。ヘッド部とハンドルは、直接接続されていてもよいし、ヘッド部に設けられた連結部を介して接続されていてもよい。また、ヘッド部とハンドルは、それらの間に中継部を設けていてもよい。中継部は、例えば柄のようなものである。位置情報取得装置6により、例えばヘッド部の一部、又は使用者が掃除具のハンドルを持って掃除する際に視認可能なヘッド部の撮像画像を取得し、位置情報検出部10により、ヘッド部の位置情報を検出すればよい。
また、ヘッド部2またはヘッド部2の一部が交換、着脱、付け替え可能な清掃用部材を備えた掃除具であってもよい。このような掃除具の清掃用部材は、水拭き、乾拭き、剥がし掃除、磨き掃除、削り掃除、除電掃除、掻き取り掃除等ができるものである。また、このような掃除具の清掃用部材または付け替え部は、例えば、モップ、クロス、パッド、ブラシ、スポンジ、はたき、シート、粘着部材、粘着シート、粘着ローラー、除電部材、回転ブラシ、電気塵取り等である。また、ヘッド部2を丸ごと付け替え可能なものであってもよい。このような掃除具は例えば、アタッチメントや吸引風によりブラシが回転するタービンブラシを備えたタービンヘッドである。
例えば、掃除具、好ましくはヘッド部、さらに好ましくは清掃用部材は、位置情報取得装置6によって位置を認識できる識別情報を備えていることが望ましい。好ましくは、付け替え可能な位置に、位置情報取得装置6によって位置を認識できる識別情報を備えていることが望ましい。例えば、ヘッド部2又は清掃用部材は、特殊な色、複数の色、ロゴ、企業名、ブランド名、商標登録されたもの、といった識別情報が含まれていてもよい。また、例えば、ヘッド部2又は清掃用部材は、模様、凹凸、刻印、実施の形態6に記載した識別情報、既存技術による識別情報であってもよい。好ましくは、ヘッド部2や清掃用部材は複雑な識別情報が含まれていることが望ましい。これにより、模倣品では位置情報を検出困難になり、純正品の使用により、位置情報を検出でき、オリジナル性を出すことができる。
また、ヘッド部2は、他の掃除具に接続可能なものであってもよい。これにより、一般的な掃除具のヘッド部を位置情報取得装置6で位置情報を取得可能なヘッド部2に変更することで、一般的な掃除具が掃除支援装置8に対応可能となる。
また、実施の形態5に係る掃除支援システムは、自律走行型のロボット掃除機に適用することも可能である。ロボット掃除機は、例えば電動送風機を備え、吸引することで被清掃面の塵埃を除去するものであってもよいし、電動送風機を備えず、拭き掃除をするものであってもよい。ロボット掃除機の位置情報は、上述した、または後述する技術、または既存技術によって、検出可能である。ロボット掃除機による掃除領域は、例えば上面視におけるロボット掃除機全体の範囲、吸込口がある範囲、清掃部材がある範囲、ロボット掃除機の中心から半径x[m]等、適宜使用者が設定してもよく、表示規則記憶部16にて設定しておいてもよい。これにより、ロボット掃除機による、掃除済領域を確認でき、また掃除のやり残した位置を確認できる。掃除結果に応じて、部屋の整理、配置やレイアウト変更、片づけをすることで、ロボット掃除機による掃除のやり残し箇所を減らすことができる。
6.実施の形態6.
次に、実施の形態6の掃除支援システムについて説明する。
6-1.実施の形態6の掃除支援システムの特徴
実施の形態6に係る掃除支援システムは、位置情報検出部10の構成を除き、実施の形態1の掃除支援システムと同じである。
実施の形態6に係る掃除支援装置8の位置情報検出部10は、特定の識別情報を識別することによってヘッド部2の位置情報を検出することに特徴を有している。識別情報は、例えばヘッド部2に設けられたARマーカ、色マーカ、又は特殊パターンで点滅するLED、文字、記号、マーク、名詞、固有名詞、企業名、ブランド名、ロゴ又は商標登録されたもの、およびその組み合わせ等である。位置情報検出部10は、使用者によって電気掃除機1の吸引動作が開始されると、可視光カメラ等の位置情報取得装置6から撮像画像を取得する。そして、既存の画像処理技術を用いて、撮像画像から当該識別情報の位置情報を検知する。識別情報は、識別画像からヘッド部2の位置の特定を行うことができる場所であれば、その設置場所に限定はない。識別情報によってヘッド部2の位置等をより検出しやすくすることができる。特に、掃除対象領域に掃除具が複数台存在する場合には、複雑な画像処理を行うことなく当該複数台のヘッド部の位置を区別して検出することができるため、複数台の掃除具を一度に追跡しやすくすることができる。
また、識別情報としてのマーカは、電気掃除機1に対して取外し困難なものであってもよい。マーカは、ヘッド部2の例えば上面や樹脂部品に設けられていてもよい。マーカは、例えばヘッド部2に印刷された情報であってもよい。マーカは、例えばヘッド部2の樹脂部品に印刷された情報であってもよい。印刷とは、例えばホットスタンプによるものである。また、ヘッド部2の樹脂部品の凹凸をマーカとして認識する構成でもよい。例えばシールのように取外し可能なものであれば、様々な掃除具において利用することができる。一方取外し困難なものであれば、オリジナル性を出すことができる。
なお、識別情報の認識手段は、使用者が設定部により設定可能である。例えば、色の認識からARマーカによるヘッド部2の位置情報検出に使用者が任意に変更可能である。これにより、空間の明るさ等の外部環境に応じて、認識しやすい認識方法に変更することで、より快適に使用することができる。また、複数の識別情報を同時に認識可能であってもよい。これにより認識精度をさらに向上することができる。また、複数の掃除具での掃除を行うときにも対応することができる。
また、識別情報としてのマーカは、QRコード(登録商標)等の二次元バーコードであってもよい。また、マーカは、QRコード(登録商標)のような矩形のマーカであってもよい。矩形マーカのトラッキングでは、単純な閾値処理により、画像から矩形を抽出し、マーカの四隅から推定される平面射影変換を用いて位置姿勢を計算することができる。ここでは、このような手法により推定された位置姿勢を初期推定結果としてさらに改善することも可能である。
また、識別情報としてのマーカは、電気掃除機1に搭載されたゴミセンサから取得する情報に基づいて発光する発光部として構成されていてもよい。すなわち、電気掃除機1のヘッド部2から塵埃が吸い込まれたことをゴミセンサが検知すると、ヘッド部2に設けられている発光部が発光する。このような構成によれば、発光した発光部をマーカとして認識することが可能となる。
識別情報としてのマーカは、上記の例示の他、種々の形態を適用することができる。例を挙げると、マーカは多角形又は円形のものからなる。マーカは略四角形形状である。マーカは正方形形状である。マーカは2色の色からなる。マーカはコントラストの差が大きい複数の色からなる。マーカは白と黒の2色で構成される。位置情報検出部10は、マーカの色と形の両方を認識してもよい。
また、識別情報は、例えば複数のマーカにより構成されていてもよい。例えば複数のマーカは、離間した位置に配置されていてもよい。このようにすることで、撮像画像から位置情報取得装置6としてのカメラの位置又は姿勢を推定することができる。
以上のように構成された掃除支援装置8によれば、ヘッド部2に設けられた識別情報を検知することによって、掃除済領域と未掃除領域とを精度良く判別することが可能となる。
6-2.実施の形態6に係る掃除支援システムの変形例
実施の形態6に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
識別情報としてのマーカは、例えば床面等の掃除対象領域全体に付与しておく構成でもよい。この場合、位置情報取得装置6をヘッド部2の位置に設置されたカメラとし、ARマーカのような細かい模様を床全体に付与しておく。位置情報検出部10は、カメラが当該マーカを読み取った情報を取得し、当該読み取った情報から床全体におけるヘッド部2の位置を導出する。これにより、位置情報検出部10は、床面に対するヘッド部2の位置を一意に特定し、ヘッド部2の絶対位置、すなわち床座標系で表される実空間における位置を取得することができる。
また、例えば、位置情報取得装置6をヘッド部2に設置されたカメラとし、さらに掃除対象領域にARマーカのような細かい模様の光又は人間が認知できない程度の符号化された点滅光を照射する照明を設置するようにしてもよい。この場合、位置情報検出部10は、カメラが読み取ったこれらの光の情報を用いて、掃除対象領域におけるヘッド部2の位置を導出すればよい。
7.実施の形態7.
次に、実施の形態7の掃除支援システムについて説明する。
7-1.実施の形態7の掃除支援システムの特徴
実施の形態7に係る掃除支援システムは、表示装置7が表示と入力の2つの機能を備えたタッチパネルである場合の動作に特徴を有している。タッチパネルは、表示部としての液晶パネルと位置入力装置としてのタッチパッドを備えた表示装置である。タッチパネルは、既存技術を用いてもよい。タッチパネルは、位置情報取得装置6等の外部から受けた画像情報を表示部に表示すると共に、使用者が手又はスタイラスなどの入力デバイスを用いて、触れられた画面位置の情報を感知して外部へ情報信号として出力する。
掃除支援装置8は、タッチパネルから入力される位置情報に基づいて、操作者が望む適切な動作を行なう。例えば、タッチパネルから入力される位置情報は、画像作成部12に入力される。画像作成部12は、使用者がタッチパネルの表示部から入力した領域を塗り消しまたは塗りつぶす画像を作成してもよい。これにより、使用者の意思によって、塗りつぶしまたは塗り消しを行うことができる。このような機能は、例えば、使用者が意図しない塗りつぶし又は塗り消しの画像が作成された場合に、その塗りつぶしの領域を変更することができる。
掃除支援装置8が撮像画像に含まれる面を検出する面検出部を備える場合、タッチパネルから入力される位置情報を用いて面検出部を動作させてもよい。例えば、面検出部は、表示部に表示された画像の特定の位置に触れることにより、その位置の面を検出するように構成されていてもよい。また、画像作成部12が、検出された面を塗りつぶしてもよく、また塗り消してもよい。
また、画像作成部12は、表示部に表示されている塗りつぶされた領域に触れると塗り消され、反対に塗りつぶされていない領域、塗り消された領域、又は作成画像が重畳されていない領域に触れると塗りつぶされるように構成されていてもよい。より詳しくは、未掃除領域が塗りつぶされた画像が表示部に表示されている場合、使用者は、塗りつぶされていない掃除済領域に触れることにより、その領域を塗りつぶされた未掃除領域に変更することができる。つまり、使用者は、再度掃除を望む掃除済領域を未掃除領域に変更することができるので、再度入念に掃除することができる。
また、使用者は、掃除する予定のない未掃除領域を掃除済領域に変更することもできる。これにより、掃除する予定のない領域又は壁面等が未掃除領域として塗りつぶされることによる煩わしさを解消することが可能となる。
掃除支援装置8は、使用者によるタッチパネルの操作情報を記憶する手動操作記憶部を備えていてもよい。手動操作記憶部は、例えば使用者が表示部に触れることによって塗りつぶし又は塗り消しを行ったことに関連する情報、より詳しくは、日時、対象領域、面、点、回数、塗り消しと塗りつぶしのどちらを行ったか等の情報を記憶する。
また、掃除支援装置8は、手動操作記憶部で取得した情報に基づいて学習を行う手動操作学習部を備えていてもよい。手動操作学習部は、手動操作記憶部から情報を取得する。手動操作学習部は、入力された情報に基づいて、その状況を判断する。例えば、手動操作学習部は、使用者が行う頻度の多い状況を判断する。そして、掃除支援装置8は、手動操作学習部における判断結果に基づいて、面検出部による面検出動作を変更する。例えば、手動操作学習部は、掃除済領域を塗り消す塗り消しモードの際に、予め塗りつぶされている未掃除領域に不満があり、使用者がその塗りつぶし領域を手動で変更していた場合に、そのような状況を学習している。この場合、掃除支援装置8は、手動操作学習部における判断結果に基づいて、塗り消しモードの初期塗りつぶし領域を変更する。これにより、使用者が求める塗り消しモードの状態を作りこむことができる。
8.実施の形態8.
次に、実施の形態8の掃除支援システムについて説明する。
8-1.実施の形態8の掃除支援システムの特徴
実施の形態8の運転支援システムは、掃除支援装置8が送信部を備える点に特徴を有している。送信部は、外部に信号を送るためのものである。また、送信部は、外部に命令の情報を送るためのものであってもよい。例えば、送信部は、予め定められた条件を満たすと、電気掃除機1に信号を送信する。送信部からの信号を受信すると、電気掃除機1は、入力された信号に基づいて運転の状態を変更する。例えば、電動送風機405への入力の変更、回転数の変更又は運転モードの変更、電動機204への入力の変更、回転数の変更を行う。予め定められた条件とは、例えば掃除済領域を掃除しているか、未掃除領域を掃除しているかである。掃除済領域を掃除しているか未掃除領域を掃除しているかは、ヘッド部2の位置が掃除済領域及び未掃除領域の何れに属しているかによって判断することができる。電気掃除機1は、例えば、未掃除領域を掃除している状態では掃除済領域を掃除している状態に比べ、電動送風機405の回転数または電動機204の回転数を高い状態に調整する。このようにすることで、未掃除領域を掃除するときは、高い塵埃除去性能を期待できる。また、掃除済領域を掃除するときは、未掃除領域を掃除するときに比べ、省エネ効果が高い。これにより、例えば、バッテリを用いて運転しているときは運転時間を長くすることができる。また、電源コードを用いているときは電気料金を低くすることができる。
これにより、ゴミの多い場所等、特に念入りに掃除をしたい箇所について、電気掃除機1のヘッド部2による掃除回数を知ることができ、使用者は、意図どおりの掃除ができているかを確認できるようになる。
9.実施の形態9.
次に、実施の形態9の掃除支援システムについて説明する。
9-1.実施の形態9の掃除支援システムの特徴
実施の形態9の掃除支援システムは、画像作成部12において掃除の効率を高めるための種々の画像を作成する動作に特徴を有している。表示規則記憶部16には、これらの画像を作成するための様々な表示規則が記憶されている。画像作成部12は、当該表示規則に従い、使用者の望む様々な画像を作成する。以下、画像作成部12の動作について更に詳しく説明する。
画像作成部12は、ヘッド部2の位置が、掃除対象領域内を移動する速度に応じて、表示される色又は濃度を変更する等、表示画像の内容を変更するようにしてもよく、また、振動または音によって使用者に報知する報知手段を備えていてもよい。なお、電気掃除機1のヘッド部2が掃除対象領域内を移動する速度は、例えば、位置情報取得装置6と掃除支援装置8からヘッド部2の速度を算出してもよい。例えば、撮像画像の画像処理により速度を算出してもよい。より具体的には、複数の撮像画像を用いて、撮像画像に撮像されたヘッド部2の位置と時刻の変化から速度を算出する。より具体的には、撮像画像の取得間隔[fps]、撮像画像におけるヘッド部2の移動量[ピクセル]、位置情報取得装置の床からの距離[m]および画角[°]等を用いて速度を算出してもよい。また、例えば、ヘッド部2の位置に加速度センサ、又は角速度センサを設置しておき、いずれかのセンサから取得した情報に基づき判断するようにすればよい。
また、画像作成部12は、さらにヘッド部2の位置の速度にあわせて再生速度を調整した音楽を音声出力部から出力させるようにしてもよい。このように、画像作成部12は、画像の表示に加え、音声情報を作成するようにすることもできる。
使用者がヘッド部2を動かす速度が速すぎると、ゴミが十分吸い込めないこともあり得る。しかし、上述したような表示規則に従って、画像作成部12が、ヘッド部2の位置の移動速度に応じて内容を変更した画像等を作成するようにすることで、使用者は、ヘッド部2を動かす速度が速すぎることを察知し、ヘッド部を動かす速度を調整して、効果的に掃除ができるようになる。
また、画像作成部12は、電気掃除機1に搭載されたゴミセンサから取得する情報に基づいて、画像の内容を変更するようにしてもよい。具体的には、画像作成部12は、ゴミセンサから、電気掃除機1のゴミ吸引量を示すデータを取得し、取得したゴミ吸引量に応じて、掃除対象領域における掃除済領域を示す画像の内容を変更する。例えば、画像作成部12は、ゴミ吸引量に応じて、掃除済領域を示す配色又は濃度を変更した画像を作成してもよいし、さらに、「ジャリジャリ」等、何かを吸い込む効果音を音声情報として作成し、音声出力部から出力させるようにしてもよい。
このように、ゴミセンサの情報を利用して、汚れ具合に応じた掃除の必要性を見える化又は聞こえる化することで、使用者は、ゴミの多い箇所は念入りに掃除する等、必要性に応じて、掃除を効率よく行うことができるようになる。
画像作成部12は、ゴミセンサから取得したゴミ吸引量を示すデータと、当該ゴミ吸引量を取得した際のヘッド部の位置とを紐付けた情報の履歴を記憶しておく。そして、画像作成部12は、当該記憶しておいた履歴から、ゴミ吸引量の多いヘッド部の位置を掃除対象領域内の汚れやすい箇所に該当すると判断し、当該判断した箇所について画像の濃淡等を変更した画像を作成してもよい。濃淡等の変更方法としては、例えば、ゴミ吸引量が多いほど、すなわち、汚れやすい箇所ほど、画像の色を濃くする等が挙げられる。
また、汚れやすさに応じて画像の内容を変更する他の例としては、例えば、画像作成部12は、領域判別部11からヘッド部2の位置の通過回数および当該通過回数とヘッド部2の位置とが紐付けられた情報を取得して履歴として記憶しておく。そして、画像作成部12は、当該記憶しておいた履歴から、汚れやすい箇所を判断し、汚れやすいと判断した箇所ほど、画像の色を濃くする等、画像の濃淡等を変更するようにしてもよい。この場合、画像作成部12は、ヘッド部2の位置の通過回数が多いヘッド部2の位置を、掃除対象領域内の汚れやすい箇所に該当すると判断すればよい。ヘッド部2の位置が何回も通過するということは、使用者が、汚れが気になって何度も掃除を試みた箇所であり、汚れやすい箇所と推定できる。
また、画像作成部12は、領域判別部11によって判別される掃除済領域を塗りつぶすまたは塗り消す等の画像を作成することに加え、領域判別部11によって判別されるヘッド部2の位置の移動軌跡を示す画像をさらに作成するようにしてもよい。例えば、画像作成部12は、領域判別部11からヘッド部2の位置の移動軌跡の情報を取得し、当該取得した移動軌跡を矢印等で示す画像を作成するようにしてもよい。また、例えば、画像作成部12は、領域判別部11からヘッド部2の位置の移動軌跡の情報を取得して当該移動軌跡を示す画像を作成すると、当該作成した画像を画像履歴記憶部に記憶しておき、過去の移動軌跡の画像もあわせて表示装置7に表示させるようにしてもよい。
これにより、使用者は、過去に同じ掃除対象領域が掃除された際のヘッド部2の位置の移動軌跡と見比べながら、又は過去に同じ掃除対象領域が掃除された際のヘッド部2の位置の移動軌跡をなぞりながら、掃除を行うことができる。
また、画像作成部12は、ヘッド部2の位置の移動軌跡をキャラクター等に置き換えた画像を作成するようにしてもよい。例えば、画像作成部12は、過去に同じ掃除対象領域が掃除された際のヘッド部の位置の移動軌跡を示す画像を、キャラクター等に置き換えた画像として作成する。これにより、使用者は、表示装置7に表示されたキャラクター等を追いかけているうちに楽しく掃除ができる。なお、画像作成部12は、ヘッド部2の位置の移動軌跡を示す画像のみを作成し、表示装置7に表示させるようにしてもよい。
また、例えば、位置情報検出部10が、電気掃除機1の制御回路からの情報に基づいて、使用者が掃除を行う際のストロークの長さ、すなわち、一度のハンドル操作で動かされたヘッド部2の位置の移動距離の長さ、速度、又は掃除終了までのストローク回数等の履歴を位置履歴記憶部14に記憶させておく。画像作成部12は、当該履歴を参照して、ヘッド部2の位置の移動軌跡のトータルの長さ、掃除に要した時間等の履歴、ランキング、又は効率性評価等を算出し、表示装置7に表示させる画像を作成するようにしてもよい。なお、この場合、掃除支援装置8は、予め比較対象となる他者の掃除実行時の履歴情報、又は模範となる掃除実行時の情報等を蓄積しておく。そして、画像作成部12は、当該蓄積しておいた履歴情報からランキング、又は効率性評価等を算出するようにすればよい。
このように、使用者自身または他者等の過去の掃除の履歴、模範となる情報、又は比較対象となる情報等を記憶しておき、当該情報を分析して活用することで、掃除の効率化を図ることができる。また、使用者は、競争意識を持って掃除を行うことができ、飽きない。また、例えば、ベテランの掃除業者の掃除の仕方のノウハウを記憶しておくようにすれば、当該記憶された情報に基づいて、新米の使用者がベテランの掃除業者の真似をできるようになる。具体的には、例えば、ベテランの掃除業者が過去に掃除を行った際のヘッド部2の位置の履歴を位置履歴記憶部に記憶させておく。そして、画像作成部12は、当該履歴から、ベテランの掃除業者が過去に掃除を行った際のヘッド部2の位置の軌跡を表示装置7に表示させる画像を作成する。これにより、新米の使用者等は、表示装置7に表示された軌跡をなぞって掃除を行うことができる。
画像作成部12は、上述したようなヘッド部2の位置の移動軌跡のトータルの長さ、掃除に要した時間等の履歴、ランキング、又は効率性評価等を算出し、算出した結果を表示装置7に表示される画像のみを作成してもよい。また、当該算出した結果を、掃除済領域を塗りつぶすまたは塗り消す等の画像とをあわせて表示部に表示してもよい。
また、画像作成部12は、移動軌跡等の時間経過がわかるように、ヘッド部2の位置の時間的な変化に応じて、作成する画像の内容を変更するようにしてもよい。具体的には、例えば、領域判別部11は、位置情報検出部10が検出したヘッド部2の位置の時間的な変化に基づいて、ヘッド部2の位置の移動軌跡等を検出する。そして、領域判別部11は、検出された移動軌跡等に基づいて掃除済領域を判別すると、判別した掃除対象領域の情報と対応付けて、検出されたヘッド部2の位置の情報を画像作成部12へ出力するようにする。画像作成部12は、領域判別部11から取得した情報から、ヘッド部2の位置の時間的な変化を検出し、移動軌跡等に基づいて作成する画像について、時間経過とともに消えるように表示装置7に表示することもできる。
また、画像作成部12は、掃除対象領域に対する掃除済領域、又は未掃除領域の割合を示す画像を作成するようにしてもよい。例えば、画像作成部12は、「あと○%」等、掃除対象領域に対する未掃除領域の割合を算出し、算出した割合を示す画像を作成するようにしてもよい。具体的には、例えば、領域判別部11が掃除済領域を判別する際に、掃除対象領域を100とした場合の掃除済領域の割合を算出し、当該掃除済領域の割合の情報を画像作成部12に出力する。画像作成部12は、領域判別部11から取得した割合の情報から、掃除対象領域に対する未掃除領域の割合を算出し、算出した割合を示す画像を作成する。なお、この動作は一例に過ぎず、画像作成部12は、その他の方法で、掃除対象領域に対する掃除済領域、又は未掃除領域の割合を示す画像を作成するものであってもよい。このようにすることで、使用者は、あとどれぐらいで掃除が完了するのかを把握することができ、過剰な掃除を防ぎ、掃除の効率を向上させることができる。
画像作成部12は、上述したような、掃除対象領域に対する掃除済領域、又は掃除対象領域に対する未掃除領域の割合等を示す画像のみを作成し、表示装置7に表示してもよいし、領域判別部11によって判別される掃除済領域を塗りつぶすまたは塗り消す等の画像とあわせて、表示装置7に表示してもよい。
また、画像作成部12は、掃除対象領域に対する掃除済領域を示す画像と未掃除領域を示す画像を同時に作成するようにしてもよい。掃除済領域を示す画像と、未掃除領域を示す画像とを同時に表示させる場合は、例えば、塗りつぶしの色を変える等、画像作成部12は、これらの領域が互いに区別できるような画像を作成する。
また、画像作成部12は、領域判別部11によって判別される掃除済領域を塗りつぶす又は塗り消す等の画像を表示装置7に表示させることに加え、掃除対象領域を全て塗りつぶすまたは塗り消す画像となった場合には、予め決められたキャラクター等の絵を表示装置7に表示させるようにしてもよい。これにより、使用者は、掃除対象領域の掃除を終了した時点の達成感をより味わうことができる。
また、画像作成部12は、領域判別部11によって判別される掃除済領域を塗りつぶすまたは塗り消す等の画像を表示装置7に表示させる過程で、予め設定されたアイテムを表示させる画像を作成するようにしてもよい。例えば、画像作成部12は、掃除対象領域全体の半分の領域が掃除された場合、予め決められたキャラクター等の絵を表示装置7に表示させるようにする。なお、画像作成部12は、掃除対象領域全体に対する掃除済領域の割合に関する情報を、例えば、領域判別部11から取得するようにすればよい。これにより、使用者は、掃除状況の途中経過を把握しながら掃除をすることができる。また、例えば、掃除対象領域全体の半分の領域を掃除した時点等、予め目標となる時点を設定しておくようにすれば、使用者は、掃除しながら当該目標となる時点に到達したことを知ることができる。これにより、使用者は、ゲームをしているような感覚で、より楽しく掃除をすることができるようになる。
また、画像作成部12は、表示装置7に表示される画像を、掃除履歴によって変更させるようにしてもよい。例えば、画像作成部12は、領域判別部11によって判別される掃除済領域を塗りつぶす又は塗り消す等の画像を、生き物の映像となるような画像とし、掃除済領域が増えるに従って、当該生き物が大きくなっていく画像を作成するようにしてもよい。また、例えば、画像作成部12は、領域判別部11によって判別される、ヘッド部2の位置の移動軌跡等に基づく掃除済領域を塗りつぶすまたは塗り消す等の画像を、乗物の映像となるような画像とし、掃除済領域が増えるに従って、乗物の機体の装備が派手になる画像を作成するようにしてもよい。また、例えば、画像作成部12は、領域判別部11によって判別される掃除済領域を塗りつぶす等の画像を電車の画像とし、さらに、ヘッド部2の位置の移動軌跡が線路の映像となるような画像を作成するようにしてもよい。掃除済領域には、掃除済領域が増えるに従って、線路上を電車が進んでいく画像が表示されるようになる。このようにしても、使用者は、ゲームをしているような感覚で、より楽しく掃除をすることができる。
以上のように、表示規則記憶部16には、予め、様々な表示規則を設定しておくことができ、画像作成部12は、当該表示規則に則って、様々な方法で表示装置7に表示させる画像を作成することができる。
9-2.実施の形態9に係る掃除支援システムの変形例
実施の形態9に係る掃除支援システムは、例えば以下のように変形した形態を採用してもよい。
上述した画像作成部12における種々の動作は、組み合わせて実行してもよい。例えば、画像作成部12は、ヘッド部2の位置が通過した回数に応じて塗りつぶす又は塗り消す色を変更する画像を作成して表示させるとともに、「あと○%」等、掃除対象領域に対する掃除済領域の割合を示す画像を作成して表示させるようにしてもよい。また、画像作成部12は、さらに掃除対象領域を全て塗りつぶす画像となった場合には、予め決められたキャラクター等の絵を表示装置7に表示させるようにしてもよい。
また、上述の画像作成部12における画像の作成に用いられた表示規則は、例えば重畳部13が重畳画像を作成する際にも適用できる。すなわち、重畳部13は、予め設定された表示規則に基づいて内容を変更した画像を撮像画像に重畳させた重畳画像を作成し、表示装置7に表示させることもできる。例えば、画像作成部12が、掃除対象領域が掃除された掃除回数に応じて塗りつぶす又は塗り消す色が変わる等、内容を変更した画像を作成し、表示装置7に表示させるようにした場合に、重畳部13は、掃除対象領域が掃除された回数に応じて塗りつぶすまたは塗り消す色が変わる等、内容を変更した画像を撮像画像に重畳させた重畳画像を作成し、表示装置7に表示させることもできる。
また、例えば、画像作成部12が、ゴミセンサから取得する情報に基づき、内容を変更した画像を作成して表示させるようにした場合、重畳部13は、ゴミセンサから取得したゴミ吸引量を示す画像を撮像画像に重畳させた重畳画像を作成して表示装置7に表示させることもできる。重畳部13は、例えば、携帯型端末のスピーカ等から、ゴミ吸引量に応じて「ジャリジャリ」等、何かを吸い込む効果音を出力させるようにしてもよい。例えば、重畳部13は、ゴミ吸引量が多いほど、出力させる効果音の音量を大きくするようにしてもよい。また、ゴミ吸引量に応じて出力させる効果音を変化させるようにしてもよい。
なお、本実施の形態では位置情報検出部10はヘッド部2の位置を検出したが、検出する位置はヘッド部2に限定されない。例えば、位置情報検出部10は電気掃除機1の一部または管体3または管体3の一部を検出し、当該位置からヘッド部2の位置を推定することとしてもよい。
10.実施の形態10.
次に、実施の形態10の掃除支援システムについて説明する。
10-1.実施の形態10の掃除支援システムの特徴
実施の形態10の掃除支援システムは、掃除支援装置8としての携帯型端末を用いて重畳画像を使用者の視点の画像に変換する動作に特徴を有している。実施の形態10の掃除支援システムは、表示装置7としての表示部と位置情報取得装置6としてのカメラが一つの携帯型端末に備えられている。このような携帯型端末は、例えば図10に示す掃除支援装置8として構成することができる。
画像の視点変換は、例えば使用者の頭部、視点又は目線をトラッキングすることにより実現する。例えば、使用者の頭部、顔又は眼球を検出する。そして、頭部又は顔の向き、位置、又は眼球の動きから使用者の視線方向を算出する。掃除支援装置8は、例えば、端末に内蔵された位置情報取得装置6としての背面カメラを利用して、掃除対象領域又はヘッド部2の位置情報を取得し、正面カメラ64を使用して、使用者のトラッキングを実行してもよい。つまり、正面カメラ64は、使用者の視線の方向を認識する視線認識装置として機能する。つまり掃除支援システムは、二つの別々の追跡システムが必要であるだけでなく、背面カメラの撮像画像から新しい視点の像の描画を行う必要がある。これは、背面カメラからの撮像画像をワーピングすることによって実現できる。重畳部13は、少なくとも正面カメラ64によって認識された視線の方向の撮像画像が含まれるように重畳画像を作成する。このため、背面カメラは、使用者の頭部位置が変化したときに変化する視線の方向の画像をカバーできる広い視野角のカメラが好ましい。また、端末から見える三次元シーンを、例えば奥行きセンサの利用又はステレオ再構成を行うことでも実現可能である。
11.実施の形態11.
次に、実施の形態11の掃除支援システムについて説明する。
11-1.実施の形態11の掃除支援システムの特徴
実施の形態11に係る掃除支援システムは、位置情報取得装置6と掃除済領域との間に遮蔽物がある場合の重畳画像の作成動作に特徴を有している。以下の説明において、位置情報取得装置6と掃除済領域との間に遮蔽物があり、遮蔽物により位置情報取得装置6が撮像できない掃除済領域は、「死角となる掃除済領域」と呼ぶ。また、位置情報取得装置6と掃除済領域との間に遮蔽物がなく、撮像可能な掃除済領域は、「撮像される掃除済領域」と呼ぶ。また、位置情報取得装置6と未掃除領域との間に遮蔽物があり、遮蔽物により位置情報取得装置6が撮像できない未掃除領域は、「死角となる未掃除領域」と呼ぶ。さらに、位置情報取得装置6と未掃除領域との間に遮蔽物がなく、撮像可能な未掃除領域は、「撮像される未掃除領域」と呼ぶ。
上述したとおり、重畳部13は、撮像画像に作成画像を重畳する。ここで作成される重畳画像は、作成画像が撮像画像よりも前面に配置された画像である。このため、位置情報取得装置6と掃除済領域との間に遮蔽物があり、掃除済領域が死角になる場合、表示装置7には、遮蔽物が掃除済領域であるかのように表示される。つまり、撮像される掃除済領域に、死角となる掃除済領域の領域判別情報が表示されてしまう。具体的には、例えば位置情報取得装置6と掃除済領域の間に机が配置されている場合、机の下又は机の下の床周辺を掃除した後、表示装置7を確認すると、あたかも机が塗りつぶされているかのように表示装置7に表示されてしまうことがある。また、例えば、壁または仕切のような鉛直面より遠い位置を掃除して掃除済領域となった際に、位置情報取得装置6と掃除済領域の間に仕切りが配置されている場合、位置情報取得装置6からは掃除済領域が鉛直面に隠されて認識できず、あたかも仕切りが掃除済領域であるかのように表示装置7に表示されてしまうことがある。また1階の掃除を終了後に2階の掃除を行う際に、2階の未掃除領域に1階の掃除済領域の結果が表示されてしまうことがある。これにより、使用者は違和感を感じ、また誤認識をする可能性がある。
本実施の形態では、死角となる掃除済領域と撮像される掃除済領域とは、異なる画像が作成される。異なる画像とは、例えば死角となる掃除済領域と撮像される掃除済領域とが、色彩、明度、透明度、柄、塗りつぶしと水玉、ドット柄の間隔、点滅等によって区別された作成画像である。また、一方を複数の画像により点滅しているような表示にしてもよい。また、例えば、死角となる掃除済領域は半透明、透明な作成画像であってもよく、作成画像を非表示にしてもよく、作成画像を作成しなくてもよい。
表示装置7には、死角となる掃除済領域と撮像される掃除済領域が、異なる画像又は表示方法で表示される。また、死角となる掃除済領域に対応した位置に透明な作成画像の作成、また当該位置の作成画像を非表示にすることで、少なくとも、撮像される未掃除領域が掃除済領域であるかのように表示されることがない。これにより、使用者が死角となる掃除済領域と撮像される掃除済領域を判別できるので、違和感を感じず、誤認識が発生することもなく、掃除の質や効率が向上する。
なお、位置情報取得装置6の位置や姿勢が変化し、死角となる掃除済領域が撮像される掃除済領域に変化した場合は、その変化が逐次表示部に反映される。なお、省略するが、「死角となる未掃除領域」と「撮像される未掃除領域」についても死角となる掃除済領域と撮像される掃除済領域との関係と同様の考えである。例えば、塗り消しモードの際に未掃除領域に画像を作成する際に、死角となる掃除済領域と撮像される掃除済領域との関係と同様の考えである。
12.実施の形態12.
次に、実施の形態12の掃除支援システムについて説明する。
12-1.実施の形態12の掃除支援システムの特徴
実施の形態12の掃除支援システムは、複数の掃除具と一つまたは複数の掃除支援装置8を用いた点に特徴を有している。例えば、複数人による掃除、複数の掃除具による掃除、複数の掃除機による掃除、複数のロボット掃除機による掃除、ロボット掃除機と人が手にもって使用する掃除機による掃除をする場合が例示される。また、複数の使用者が各々に掃除支援装置8を有していて、複数の掃除支援装置8が連携可能であってもよい。
例えば、1つの掃除支援装置8で複数の掃除具の情報を処理してもよい。例えば、広範囲における掃除具の位置情報を取得することができれば、複数の掃除具により、協調作業ができ、重複する箇所の掃除を防ぐことができる。また、例えば、上述した技術や既存技術により、複数の掃除支援装置8が相互に通信してもよい。これにより、他の掃除支援装置8で取得した掃除状況を他の掃除支援装置8とは異なる掃除支援装置8で確認することができ、協調作業ができ、重複する箇所の掃除を防ぐことができる。
また、複数の掃除具は、異なる識別情報を有し、掃除済領域が異なる色や表示方法で作成画像が作成されてもよい。例えば、複数の掃除具が異なる識別情報として、異なる色を検出してもよく、また、掃除具Aが色を識別情報とし、掃除具BがARマーカを識別情報として有していてもよい。この場合、掃除支援装置aは色を検出し、掃除支援装置bはARマーカを検出することとすればよい。これにより、掃除支援装置aは掃除具Aの色を検出し、掃除支援装置bは掃除具BのARマーカを検出する。さらに、掃除支援装置aは掃除支援装置bには含まれない色を検出するように設定しておき、掃除具AにはARマーカを備えないようにしておいてもよい。これにより、掃除支援装置aが掃除具Bの位置情報を検出することを防ぐことができる。このことは、逆の組み合わせ又は3つ以上掃除具および掃除支援装置の連携においても同様である。これにより、複数の掃除具による協調、協力作業ができるとともに、各々の掃除具における清掃範囲を区別することもできる。
また、掃除支援システム5はさらにサーバを備えていてもよい。また、掃除支援装置8は、情報をサーバに送る送信手段を備えていてもよい。また、掃除支援装置8は、サーバから情報を受信する受信手段を備えていてもよい。また、サーバは送信手段を備えていてもよい。また、サーバは、受信手段を備えていてもよい。また、サーバは、通信手段等の介在手段を介して送信できる送信手段、又は受信できる受信手段を備えていてもよい。これにより、掃除支援装置8で掃除した情報をサーバへ送信することができ、また、掃除支援装置8はサーバからの情報を受信することができる。例えば、掃除支援装置cがサーバへ送信した情報を掃除支援装置dが受信することができる。この場合の情報とは、例えば掃除済領域の情報である。これにより、掃除済領域を共有することができ、また、異なる掃除支援装置8又は掃除具によって、掃除済領域の情報を引き継いだ掃除をすることも可能である。また、掃除支援装置cで掃除した情報を一旦サーバ送信しておき、のちに掃除支援装置cでダウンロードして表示することで、掃除済領域の情報を保存しておくことができる。これにより、例えば、こども又はロボット掃除機で掃除し残した領域を後で掃除することができる。また、掃除を一時中断したとしても、中断した掃除済領域の情報から再開することができる。
また、他の掃除具又は他の掃除支援装置8で取得した掃除情報と比較して掃除度合いを評価、又は点数化してもよい。例えば、掃除済領域の範囲の大きさ、掃除中のヘッド部2の移動距離を比較し、競争することができる。また、複数の掃除具又は複数の掃除支援装置8で合わせて、どの程度の掃除ができたかを確認することもできる。このため、やりがい、達成感、面白みを得ることができ、ゲーム感覚で掃除をすることもできる。
また、移動を掃除ロボットに記憶又は学習させてもよい。例えば、使用者が掃除具で被清掃面を掃除する様子を位置情報取得装置6から掃除支援装置8に出力し、掃除具、特にヘッド部の移動情報を記憶しておき、ロボット掃除機は掃除機、特にヘッド部の移動情報を入手すればよい。移動情報は、サーバを介して、または掃除支援装置8から受信すればよい。移動情報とは、移動速度、移動経路、移動順路、移動道筋、移動方向、方向転換、向きの回転、位置座標、運転モード等である。ロボットは、移動情報に倣って移動する。例えば、使用者が操作した移動情報と同様に掃除を行う。これにより、ロボット掃除機が段差やペットがいる位置、ストーブ等の火器類のある場所等掃除したくない場所を掃除することがない。また、ロボット掃除機に安心して掃除を任せられるため、使用者の作業負担が減る。