JP2018181338A - 自律走行する走行車の動作方法 - Google Patents

自律走行する走行車の動作方法 Download PDF

Info

Publication number
JP2018181338A
JP2018181338A JP2018075191A JP2018075191A JP2018181338A JP 2018181338 A JP2018181338 A JP 2018181338A JP 2018075191 A JP2018075191 A JP 2018075191A JP 2018075191 A JP2018075191 A JP 2018075191A JP 2018181338 A JP2018181338 A JP 2018181338A
Authority
JP
Japan
Prior art keywords
display
user
traveling vehicle
information
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018075191A
Other languages
English (en)
Inventor
ローレンツ・ヒレン
Hillen Lorenz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vorwerk and Co Interholding GmbH
Original Assignee
Vorwerk and Co Interholding GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vorwerk and Co Interholding GmbH filed Critical Vorwerk and Co Interholding GmbH
Publication of JP2018181338A publication Critical patent/JP2018181338A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002Installations of electric equipment
    • A47L11/4008Arrangements of switches, indicators or the like
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

【課題】周囲環境内で自律走行する無人の走行車、特に掃除ロボットの動作方法を提供する。【解決手段】走行車1が周囲環境内に位置する障害物及び/又は人を検知し、走行車1の動作中に通常は表示面が水平に向く走行車1のディスプレイ4にてユーザ2に対し情報3が表示される。走行車1のユーザに対し、そのいる場所に関係なく、その情報3を常に最適に読み取り可能とするために、ユーザ2の存在を検知することに応じて走行車1に対するユーザ2の空間的位置が判定され、表示される情報3の向きがユーザ2の空間的位置に応じて変更されることが提示される。【選択図】図4

Description

本発明は、周囲環境内で自律走行する無人の走行車、特に掃除ロボットの動作方法に関し、走行車は、周囲環境内に存在する障害物及び/又は人を検知し、走行車の動作中に通常は表示面が水平に向く走行車のディスプレイにてユーザに対し情報が表示される。
さらに本発明は、周囲環境内で自律的に走行する無人の走行車、特に掃除ロボットに関し、周囲環境内に存在する障害物及び/又は人を検知するための画像捕捉装置を有し、その走行車は、情報を表示するために、走行車の動作中に通常は表示面が水平に向くディスプレイを有する。
自律走行する走行車は従来知られた技術である。掃除ロボットとして構成された走行車が、例えば特許文献1に開示されている。特許文献1には、マンマシンインタフェースを有する掃除機が記載され、それは掃除ロボットのハウジング上に設けられたディスプレイを有することができる。ディスプレイには、掃除ロボットの処理動作に関する情報に加え、掃除環境に関する情報等も表示することができる。
さらに、特許文献2及び特許文献3から、検知装置を有する掃除ロボットのような自律走行する走行車も知られている。それは、掃除ロボットの周囲環境内の障害物を検知することができる。周囲環境の、例えば住居の部屋の部分領域を走行中、検知装置は障害物までの距離を計測し、それは周囲環境マップの作成のベースとして利用される。障害物までの計測された距離に応じて走行車は、障害物と衝突しないように適切な切換動作や回避動作により対応することができる。
さらに従来技術において、掃除ロボット用の異なる種類の検知装置が知られており、例えば超音波センサ、接触センサ、カメラシステム等である。
従来技術においては、走行車の動作、周囲環境の特徴、又は、走行車の動作のための選択肢に関する情報が、走行車のディスプレイに一定の固定された向きで表示される。通常の表示の向きは、ユーザが走行車の主たる走行の向きにおいて走行車の前方にいるときにそのユーザが情報を、特に文字情報を最適に読むことができるような向きとなっている。
しかしながら、例えば走行車の操作を、走行車の側方から又は走行車の後方から行わなければならない場合は、上述した表示の向きは走行車のユーザにとって不便である。
独国特許出願公開第102012109004号公報 独国特許出願公開第102008014912号公報 独国特許出願公開第102011000250号公報
従って、本発明の目的は、自律走行する走行車の操作性が最適化され、特に走行車の異なるサイドからの操作時にも走行車の操作性が最適化される、自律走行する走行車の動作方法又はそのような自律走行する走行車を提供することである。
上記目的を達成するために、先ず、ユーザの存在を検知したとき、走行車に対するユーザの空間的位置が判定され、そして判定されたユーザの空間的位置に応じて表示される情報の向きが変更されることが提示される。
本発明により、ここでユーザに対して走行車のディスプレイに情報がそのように表示できることによって、ユーザは自分の現在の位置及び向きからその情報を常に快適に読むことができ、走行車又はディスプレイに対して自分が移動したり向きを変えたりする必要がない。このために、走行車の検知装置又は走行車に対して外部に配置された検知装置が、走行車に対するユーザの位置を検知する。現在ディスプレイに表示されている情報が、(表示面において)ユーザが通常通り上から下へ情報を読めるような表示の向きで提供されていないと判定された場合、ユーザが自分の位置又は向きを変えることなく、自分の現在の空間的位置から走行車及び/又はディスプレイを視るその対応する視野角をもって情報を最適に読むことができるように、表示の向きが変更される。表示の向きの変更を生じさせることにおいて、又は、少なくとも現在の表示の向きが適切か否かをチェックすることにおいて、人が走行車の近くにきたときが十分なトリガー事象となり得る。このとき、ユーザが走行車の方に向きを変えたり走行車を視ることさえ必要ない。この実施形態では、ディスプレイ上の情報の表示が早めに予備的に調整され、特に、存在する人が直ちに走行車の操作を行いたいか、又は、ディスプレイから情報を読み取りたいような状況において表示が調整される。
ユーザの存在が、画像捕捉装置により検知されることが提示される。画像捕捉装置は、カメラ又は少なくともカメラチップであることが特に好適であり、画像捕捉領域内に人がいるか否かを判定するためにそれらの画像データが解析される。通常の画像処理方法により、その物体が物であるか人の形であるかを、規定された特徴に基づいて判定することができる。走行車の規定された周囲環境領域内に人が存在すると検知されたならば、更なる方法ステップにおいて、ユーザが走行車に対する自分の現在の空間的位置からディスプレイに表示された情報を最適にかつ通常の態様で読むことができるように、ディスプレイの情報の表示の向きが適切か否かを判定することができる。もし、適切でない場合は、提示した通り、表示される情報の向きが、判定されたユーザの空間的位置に応じて調整される。
特に、ユーザの視線が顔認識法を用いて判定されることが提示される。この実施形態によれば、走行車に対するユーザの存在又は位置が判定されるだけでなく、ユーザが現在視ている方向も判定される。それは特に、ユーザが走行車を視ているか否かを解析することができる。ユーザが走行車の方を視ておらず、走行車から外れた方を視ている場合、走行車のディスプレイ上の表示の向きが調整されないようにすることができる。もし、ユーザの視線が走行車の方に、特に走行車のディスプレイ及び/又は画像捕捉装置の方に向いている場合、表示されている情報の向きの調整が行われる。その場合、顔認識法は、ユーザの個人を判定すること、すなわちユーザが走行車に登録されたユーザであるか否か、そして走行車の操作する権限があるか否かを判定することを含めることもできる。上述した、走行車に対するユーザの空間的位置の純粋な判定によるものと同様に、顔認識のしくみによって、その時点でユーザが走行車又はそのディスプレイの前方、側方又は後方のいずれにいるのかを判定することもできる。
さらに、ユーザが走行車を操作する操作の向きが検知されることが提示される。この実施形態では、ユーザがどの向きから、例えば走行車の入力インタフェースを、特にタッチスクリーンを操作するのかが判定される。操作の向きの検知においては、ユーザが走行車の操作を直ちに又は検知の瞬間に行うために走行車の入力インタフェース及び/又はディスプレイに例えば手を近づけることを必要とする。それに替えて、操作の向きを、画像捕捉装置を用いて検知することができる。さらに、接触センサ、タッチ感知ディスプレイ等を用いることもできる。
特に、走行車に触れたユーザの手の向きが検知されることが提示される。ユーザの手の向きに基づいて、ユーザが走行車を操作しようとしている又は操作している操作の向きを推定することができ、それにより、周囲環境内におけるユーザの現在の空間的位置及び向きも推定することができる。例えば、ユーザの画像捕捉装置は、走行車に触れるユーザの手の画像、又は少なくとも走行車の近くにあるユーザの手の画像を捕捉する。続いて、捕捉された画像が、画像処理によって、手が走行車に対していずれの向きを向いているかを解析される。
特に、手の向きが、容量性センサを用いて、特に容量性ディスプレイを用いて検知されることが提示される。ユーザの手が容量性センサの方に動くとその静電容量が変化し、手の存在が推定される。容量性センサは、特に走行車のディスプレイに一体化される、すなわち容量性タッチスクリーンの形態で一体化されることが好適である。従って、ディスプレイにより計測された信号に基づいて、ユーザが現在どの向きから走行車を操作しているかを判定することができる。静電容量が増加したセンサ又はディスプレイの個々の部分領域は、例えば操作の向きと見なすことができる方に向いている。それに替えて、かつ/又はそれに加えて、操作の向き又はユーザの手の向きは、例えばカメラである画像捕捉装置を用いて検知することができる。
さらに、ディスプレイにおける複数の可能な表示の向きの1つが、判定されたユーザの空間的位置に応じて選択されることが提示される。例えば、ディスプレイ上の表示のために複数の好適な向きが規定される。長方形のディスプレイの場合、例えば、辺に対して平行に向いた表示の向き、すなわち4つの互いに90°回転した表示の向きとすることができる。ディスプレイ上での表示のために不連続な表示の向きが規定されている場合、ユーザの視線又は操作の向きの判定後に、どの表示の向きが現在の視線又は操作の向きに最も近いかをチェックすることが提示される。予め規定されたディスプレイの表示の向きの中にユーザの視線又は操作の向きと平行に向いているものがない場合、視線又は操作の向きに対して最小の角度差を有する表示の向きを選択することが好適である。しかしながら、さらに、表示の向きを段階的に選択可能とすること、すなわち例えばディスプレイによって不連続でない表示の向きが設けられることも提示される。これは、ディスプレイが例えば円形に形成される場合であり、それにより、例えば情報フィールドの隅領域がディスプレイの外郭から切り取られることなく、情報の表示を各々の可能な向きで行うことができる。表示される情報がディスプレイ上で回転させられるとき、ディスプレイの外郭によって情報が切り取られることを回避するために、ディスプレイにおいて方向付けが行われる表示面を、情報の表示のために必要な面よりも大きくすることも提示できる。従って、情報の表示サイズが一定の場合、ディスプレイ内容の配列を所望する全ての向きで行うこともできる。
さらに、ディスプレイに表示された情報及び/又はディスプレイに表示された操作要素の複数の部分領域が、ユーザの空間的位置に応じて互いに再グループ化されることが、提示される。この実施形態によれば、ディスプレイに、例えば少なくとも1つの操作要素が示され、その場合、その操作要素の向き及び/又は位置が、表示された情報及び/又はその他の操作要素に対する判定されたユーザの空間的位置に応じて変更される。特に、操作要素は、ディスプレイの表示面におけるユーザの方に向いた辺に沿って表示され、特に、表示面におけるユーザの方に向いた辺と、表示された情報との間に表示されることが好適である。従って、ユーザの空間的位置に応じて、ディスプレイに表示される情報及び/又は操作要素が少なくとも部分的に再グループ化されることによって、表示面上でのそれらの位置が変更され、そしてここで、例えばそれまではユーザの視線に沿った別の部分領域に配置されていた情報の部分領域が、この部分領域の隣に配置される。操作要素は、例えばタッチ面タイプのディスプレイに表示され、例えばメニュー選択を行うためにその上をユーザが押すことができる。操作要素は、好適にはディスプレイの表示面の辺領域に配置することができ、特に好適にはテキストとして表示された情報の手前にユーザの視線に沿ってそれぞれ配置されることができ、それによってユーザは、操作要素の1つを操作する際にディスプレイに表示された情報を自分の手で隠してしまうことがない。従って、情報がディスプレイに好適に配置可能であることによって、操作要素が常にユーザの方を向くと共に、例えばテキスト要素であるその他の表示情報とユーザとの間に位置することとなる。さらに、ディスプレイにおいて、表示面とは別個にその外側にボタンタイプのアクチュエータ要素を設けることもできる。ディスプレイに表示された操作要素は、この場合、関係するアクチュエータ要素のための説明及び/又は標識を含むことができ、それによってユーザは、そのアクチュエータ要素がどのような機能を有するかについての情報を取得する。従って、操作要素は、ディスプレイ上で情報の向きが変わった場合であっても、例えば関係するアクチュエータ要素の隣に常に留まり、操作要素は、表示面における、アクチュエータ要素と隣り合う辺上に常に表示することができる。
特に好適な実施形態によれば、本発明の方法を実行するために、時系列的に続けて実行される以下の方法ステップが提示される。
− 画像捕捉装置を用いて走行車の周囲環境を捕捉するステップ
− 走行車の周囲環境内におけるユーザの存在を検知するステップ
− ユーザの視線及び/又は手の操作の向きを判定するステップ
− 判定された視線及び/又は操作の向きをディスプレイの表示の向きに割り当てるステップ
− 割り当てられた表示の向きの方に情報を表示するステップ
上記の方法ステップは、表示内容の最適な配列のために繰り返し行うことができる。先ず、例えば走行車の周囲環境のカメラ画像が捕捉され、それに続いてユーザの顔を認識しかつユーザの視線を判定するために顔認識法が実行され、その後、判定された視線に最も対応する可能な表示の向きがディスプレイに割り当てられる。それに従って、ディスプレイに表示された情報が最適な表示の向きに回転させられることにより、ユーザはその視線から最適に情報を読むことができる。
上述した方法に加え、さらに本発明により、周囲環境内で自律走行する無人の走行車、特に掃除ロボットが提示される。走行車は、周囲環境内に存在する障害物及び/又は人を検知するための画像捕捉装置を有する。走行車は、情報の表示のために、走行車の動作中に通常は表示面が水平に向くディスプレイを有する。そして走行車は、ユーザの存在を検知したとき、走行車に対するユーザの空間的位置を判定し、かつ、判定されたユーザの空間的位置に応じてディスプレイに表示される情報の表示の向きを変更するように構成された演算装置を有する。
従って、走行車、特にそのように構成された掃除ロボットは、上述した方法を実行するように構成されており、そして、走行車のディスプレイに表示された情報の向きを調整するように構成されており、それによってユーザは現在の視線で最適に読むことができかつ/又は現在の操作の向きで最適に操作できる。
ディスプレイ上の情報の表示及び向きを最大限良好とするために、ディスプレイが、ディスプレイに表示される情報の最大可能な対角線と同じ大きさの辺長をもつ表示面を有すること、及び/又は、ディスプレイが、ディスプレイに表示される情報の対角線と少なくとも同じ大きさの直径をもつ円形表示面を有することが、特に提示される。この実施形態によれば、ディスプレイの表示面全体と、表示される情報が占めるディスプレイ部分面との間の割合は、表示される情報が、ディスプレイ上で回転するときにも表示面の辺から飛び出さないにように大きさが設定され、それによって現在の表示の向きに関係なく、特に隅領域が欠けることなく情報を全体的に表示できる。
図1は、本発明の自律走行する走行車を示す。 図2は、ユーザによる第1の向きからの走行車の操作状況を示す。 図3は、ユーザによる第2の向きからの走行車の操作状況を示す。 図4は、1又は複数のユーザが異なる空間的位置に存在する場合の走行車の概略図である。 図5は、第1の実施形態における、情報が表示されたディスプレイの表示面の概略図である。 図6は、第2の実施形態におけるディスプレイの表示面の概略図である。 (a)(b)(c)は、それぞれ異なる表示の向きで情報が表示されたディスプレイの第1の実施形態を示す。 (a)(b)(c)は、それぞれ異なる表示の向きで情報が表示されたディスプレイの第2の実施形態を示す。
以下、実施例を示した図面を参照して、本発明をさらに詳細に説明する。
図1は、ここでは掃除ロボットとして構成されている、周囲環境内で自律走行する走行車1を示している。走行車1は、ハウジング11を有し、その上面に、表示面7を具備するディスプレイ4が形成されている。さらに走行車1は、周囲環境内で移動するためのモータ駆動される車輪12(図2〜図4参照)と、掃除作業を行うための1又は複数の掃除要素とを備えている。さらに走行車1は、図示しない三角測量装置を有し、それは角度範囲360°で、すなわち走行車1の全方位に亘る検知面内で距離計測を行うことができる。三角測量装置は、例えば光ビームを照射するためのレーザを有する。光ビームは、走行車1のハウジング11の開口を通って出て行き、走行車1の周囲環境を360°の角度範囲で走査する。光ビームが障害物に当たったとき、少なくともその一部が反射され、三角測量装置のセンサにより検知される。三角測量装置と光ビームを反射した障害物との間の距離によって、反射された部分光がセンサにおける異なる位置に当たる。この位置に基づいて、走行車1までの障害物の距離を決定することができる。さらに走行車1は、三角測量装置に加えて、同じく図示しないが、走行車1の車輪12に設けられかつ移動した距離と移動の向きを計測できるオドメトリ計測装置を有する。走行車1は、内部の制御装置と演算装置とを有し、それらを用いて計測データから走行車1の周囲の周囲環境マップを作成することができる。この周囲環境マップに基づいて走行車1は、周囲環境内で方向付けを行うことができ、例えば目的とする住居内の床掃除のために走行経路を計画することができる。周囲環境マップを作成するために、オドメトリ計測装置により取得された計測データが三角測量装置の周囲環境データと比較される。作成された周囲環境マップは、その後、走行車1のディスプレイ4に、所望に応じて走行車1のユーザに対して表示することができる。
さらに、走行車1は、画像捕捉装置5すなわちカメラを有し、それは、画像捕捉装置5の検知領域を走行車1の周りの角度範囲360°で走査できるように旋回可能に配置されている。画像捕捉装置5が走行車1の演算装置と通信可能に接続されることによって、捕捉した画像データを演算装置により解析することができる。
図2は、走行車1のユーザ2の操作手順を示している。走行車1は、ここでは例えばバッテリの充電のためにベースステーション13と接続されている。図示された空間状況において、ユーザ2は、(走行車1の主たる走行の向きに関して)走行車1の前方に存在し、すなわち走行車1の掃除要素10が向いている方に存在している。掃除要素10は、ここでは例えば、電気モータ駆動される掃除ローラ及び側方ブラシである。ユーザ2は、ディスプレイ4に表示された情報3から選択しようとしている。この情報3は、例えば、走行車1のモータファンユニットの調整可能な異なる電源レベルとすることができる。情報3は、表示の向きrでディスプレイ4の表示面7に表示されている。この表示の向きrは、実質的に、走行車1のユーザ2の現在の視線rに対応する。ユーザ2の視線rは、走行車1の異なる部分面に向けることができ、例えばディスプレイ4の方に、走行車1のハウジング11の一部に、又は画像捕捉装置5の方に向けることができる。図示の実施例においては、ユーザ2が画像捕捉装置5の方を視ていると想定され、従って視線rは、ユーザ2の眼と画像捕捉装置5の間の直線に沿って延在する。同時にユーザ2が、その手6をディスプレイ4の方に伸ばした結果、その手6の位置及び向きにより操作の向きrが規定される。ここでの操作の向きrは、手6の人差し指の向きに対応する。情報3の表示の向きrが実質的に視線r及び/又は操作の向きrと平行になるという図2に示した状況に鑑みると、走行車1のユーザ2はまた、異なる空間的位置及び向きから操作することもできる。この状況は、図3に示されている。
図3は、ユーザ2が(走行車1の主たる走行の向きに関して)走行車1の後方に位置しているときの走行車1とユーザ2を示している。この場合もユーザ2がこの空間的位置からディスプレイ4の情報3を最適に読むことができるように、特に走行車1に対して動く必要なく読むことができるように、図2に示した状況から開始して、次に続く方法ステップが実行される。
先ず、ユーザ2が、走行車に対して回り込む。その場合、ユーザ2は走行車1を視ながら、ここでは例えば走行車1の中央に配置された画像捕捉装置5を視ながら、その手6をディスプレイ4の方に伸ばし、その上でユーザ2は、表示された情報3から選択しようとする。そのときの視線r及び操作の向きrは、走行車1の後方のユーザ2の位置から走行車1へと向けられる。画像捕捉装置5は、走行車1の動作中に、予め規定された時間間隔で走行車1の周囲環境の画像を記録する。画像捕捉装置5は、捕捉した画像データを走行車1の演算装置に送信し、そこでそれらが解析され、特に、走行車1の直ぐ近くにいるユーザ2の存在を検知することに関して解析される。画像処理は、ここでは例えば顔認識法を用いて行われ、それは、一方では画像に表示された顔をそのまま認識し、もう一方ではその顔を走行車1の登録されたユーザ2に当て嵌めることができる。このために、画像データが、対応する記憶された参照データと比較される。顔認識法は、現在ユーザ2が走行車1を視ているか、又はそうではなく走行車1から離れて別の方向に移動しているかについてデータをさらに解析する。ここでは、ユーザ2が視線rにより走行車1を視ており、そのことはユーザ2の操作要求として解釈される。さらに、容量性タッチスクリーンとして形成されたディスプレイ4が、ユーザ2の手6のディスプレイ4への接近を検知し、同様にそのことからもユーザ2の操作要求が推定される。ディスプレイ4の個々の部分領域の静電容量の値に基づいて、走行車1の演算装置が操作の向きrを認識し、それはここではユーザ2の手6の人差し指の向きに対応する。その後、視線の向きrと操作の向きrがベクトル的に比較される。それは視線の向きrと操作の向きrの演算手段に相当する。その後、平均的な向きがディスプレイ4の表示の向きrに割り当てられ、その場合、ディスプレイ4に表示される情報3は、走行車1のハウジング11に対して方向付けられる。図2に示した状況から開始して、図3の状況に従って情報3が180°回転させられることによって、ユーザ2は、走行車1に対して動く必要がなく情報3を通常の方式で読むことができる。
図4は、走行車1と1又は複数のユーザ2による走行車1に対する異なる視線r、r、rを概略的に示している。第1の視線rは、ユーザ2が前方から走行車1を視ている図2に示した状況に対応する。視線rは、ユーザ2が走行車1の後方に存在する状況に対応する。この視線rは、実質的に図3に示した状況に対応する。さらに、ユーザ2が側方から走行車1を視ている視線rが示されている。図示した視線r、r、rに加えて、さらに多数の別の視線r、r、rが可能である。画像捕捉装置5の旋回性により、又は、例えば広角レンズや魚眼レンズ等の検出角度を拡大する光学系を備えた画像捕捉装置5により、走行車1の全周囲におけるユーザ2の位置を検知することができる。ディスプレイ4は、対向する4つの予め設定された表示の向きr、r、rを有し、それらの向きで情報3を表示することができる。これらの表示の向きr、r、rが、ディスプレイ4の側辺に対して平行に向いていることによって、ディスプレイ4の表示面7を最適に利用することができる。
図5及び図6は、走行車1のディスプレイ4の2つの別の実施形態を示している。これらの場合、情報3は、任意に、連続的に選択可能な表示の向きr、r、rで表示することができる。
図5は、ここでは円形の表示面7を備えたディスプレイ4の実施形態を示している。表示面7は、各部分領域に情報3が表示されるように構成されている。表示面7は直径dを有し、それは情報3が表示される部分領域の対角線Dに対応する。情報3を含む部分領域は正方形に形成されており、その正方形の頂点は、ディスプレイ4上で情報3が回転するとき、円形のディスプレイ4の周縁に沿って移動する。ディスプレイ4上の情報3の現在の向きに関わらず、情報3は常に表示面7に完全に表示される。
図6は、表示面7を備えた正方形に形成されたディスプレイ4を示しており、情報3を表示するためにその縦及び横の長さ全体を利用することができる。表示面7には、同様に正方形の領域が中央に位置し、表示された情報3により占められている。情報3は、検知されたユーザ2の空間的位置に応じて、表示面7の中心の周りで回転させることができる。表示面7は、辺長8を有し、それは情報3により占められたディスプレイ4の部分領域の対角線Dと同じ長さである。情報3により占められた部分領域は、最大の辺長9を有する。情報3も同様に正方形の面を占めるので、全ての辺長9は同じ大きさである。表示された情報3の向きが変わるとき、正方形の頂点が(点線で示す)円周経路を移動する。この円周経路が表示面7に含まれることによって、表示される情報3における最も外側の頂点領域も常に表示面7の中にあるので、情報3の向きが変わるときに欠けてしまう情報3はない。
図7及び図8は、表示された情報3の配置が異なるディスプレイ4の様々な実施形態を示している。
図7(a)、(b)、(c)は、それぞれディスプレイ4を示している。ディスプレイ4に、一方では情報3がテキスト形式で表示され、そして他方では操作要素15が表示されている。操作要素15は、ディスプレイ4にタッチ面タイプで表示されており、その上をユーザ2が、例えばメニュー選択するために押すことができる。そのとき、操作要素15は、ディスプレイ4の表示面の辺領域に配置され、すなわち表示されたテキストの下方に表示の向きr、r、rに従って配置されることによって、ユーザ2が操作要素15の一つを操作するとき、ディスプレイ4に表示されたその他の情報3がユーザの手6によって隠されることがない。図7(a)、(b)、(c)は、情報3の異なる表示の向きr、r、rをそれぞれ示しており、走行車2に対するユーザ2の異なる位置に対応する。図7(a)に示された情報3の表示の向きrは、ユーザ2が、図示された図面において上辺側に位置する状況に対応する。図7(b)は、ユーザ2がディスプレイ4の右辺の近くに位置する状況に対応し、そして最後に図7(c)は、ユーザ2が下辺側からの向きで走行車1を視ている状況を示している。図示された全ての場合において、操作要素15が常にユーザの方に向き、従ってここではテキスト要素であるその他の表示された情報3とユーザ2との間に操作要素15が位置するように、情報3がディスプレイ4に配置されている。
図8(a)、(b)、(c)は、ディスプレイ4のさらに別の実施形態を示している。この場合、表示面7とは別にその外側にボタンタイプのアクチュエータ要素14が設置されている。この場合は、ディスプレイ4に表示された操作要素15は、設置されたアクチュエータ要素14のための説明及び/又は標識であり、それによってユーザ2は、アクチュエータ要素14が保有する機能についての情報を受け取る。従って、操作要素15は設置されたアクチュエータ要素14の近くに常に留まり、ディスプレイ4上の情報3の向きが変わるときでさえ操作要素15は、図示された図面においてディスプレイ4の上辺に常に配置される。しかしながら、操作要素15に示された標識の向きを変更することによって、それらはその他の情報3の向きに対応する。すなわち、それぞれの表示の向きr(図8(a))、r(図8(b))及びr(図8(a))に対応する。
1 走行車
2 ユーザ
3 情報
4 ディスプレイ
5 画像捕捉装置
6 手
7 表示面
8、9 辺長
10 掃除要素
11 ハウジング
12 車輪
13 ベースステーション
14 アクチュエータ要素
15 操作要素
、r、r 表示の向き
、r、r 視線
、r 操作の向き
d 直径
D 対角線

Claims (11)

  1. 周囲環境内で自律走行する無人の走行車(1)、特に掃除ロボットの動作方法であって、前記走行車(1)が周囲環境内に存在する障害物及び/又は人を検知し、前記走行車(1)の動作中に通常は表示面が水平に向く前記走行車(1)のディスプレイ(4)にてユーザ(2)に対し情報(3)が表示される、前記動作方法において、
    ユーザ(2)を検知したとき、前記走行車(1)に対する前記ユーザ(2)の空間的位置が判定され、そして判定された前記ユーザ(2)の空間的位置に応じて、表示される前記情報(3)の向きが変更されることを特徴とする動作方法。
  2. 前記ユーザ(2)の存在が、画像捕捉装置(5)を用いて検知されることを特徴とする請求項1に記載の動作方法。
  3. 前記ユーザ(2)の視線(r、r、r)が、顔認識法を用いて判定されることを特徴とする請求項1又は2に記載の動作方法。
  4. 前記走行車(1)のユーザ(2)が操作しようとする操作の向き(r、r)が検知されることを特徴とする請求項1〜3のいずれかに記載の動作方法。
  5. 前記走行車(1)に触れる前記ユーザ(2)の手(6)の向きが検知されることを特徴とする請求項1〜4のいずれかに記載の動作方法。
  6. 前記手(6)の向きが、特に容量性ディスプレイ(4)である容量性センサを用いて、かつ/又は、画像捕捉装置(5)を用いて検知されることを特徴とする請求項5に記載の動作方法。
  7. 前記ディスプレイ(4)における1又は複数の可能な表示の向き(r、r、r)が、判定された前記ユーザ(2)の空間的位置に応じて選択されることを特徴とする請求項1〜6のいずれかに記載の動作方法。
  8. 前記ディスプレイ(4)に表示される前記情報(3)及び/又は前記ディスプレイ(4)に表示される操作要素(15)の複数の部分領域が、前記ユーザ(2)の空間的位置に応じて互いに再グループ化されることを特徴とする請求項1〜7のいずれかに記載の動作方法。
  9. 画像捕捉装置(5)を用いて前記走行車(1)の周囲環境を捕捉するステップと、
    前記走行車(1)の周囲環境内におけるユーザ(2)の存在を検知するステップと、
    前記ユーザ(2)の視線(r)及び/又は手(6)の操作の向き(r)を判定するステップと、
    判定された前記視線(r)及び/又は前記操作の向き(r)を前記ディスプレイ(4)の表示の向き(r、r、r)に割り当てるステップと、
    割り当てられた前記表示の向き(r、r、r)の方に情報を表示するステップとを有することを特徴とする請求項1〜8のいずれかに記載の動作方法。
  10. 周囲環境内で自律走行する無人の走行車(1)、特に掃除ロボットであって、周囲環境内に存在する障害物及び/又は人を検知するための画像捕捉装置(5)を備え、前記走行車(1)が、情報の表示のために、前記走行車(1)の動作中に通常は表示面が水平に向くディスプレイ(4)を有する、前記走行車(1)において、
    ユーザ(2)の存在を検知したとき、前記走行車(1)に対する前記ユーザ(2)の空間的位置を判定し、そして前記ディスプレイ(4)に表示されている情報(3)の表示の向き(r、r、r)を、判定された前記ユーザ(2)の空間的位置に応じて変更させるように構成された演算装置を備えたことを特徴とする走行車。
  11. 前記ディスプレイ(4)が表示面(7)を有し、その辺長(8)が少なくとも前記ディスプレイ(4)に表示される情報(3)における可能な最大の対角線(D)の大きさであること、及び/又は、前記ディスプレイ(4)が、少なくとも前記ディスプレイ(4)に表示される情報(3)の対角線(D)の大きさである直径(d)をもつ円形の表示面(7)を有することを特徴とする請求項10に記載の走行車。
JP2018075191A 2017-04-18 2018-04-10 自律走行する走行車の動作方法 Pending JP2018181338A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017108194.1A DE102017108194A1 (de) 2017-04-18 2017-04-18 Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Fahrzeugs
DE102017108194.1 2017-04-18

Publications (1)

Publication Number Publication Date
JP2018181338A true JP2018181338A (ja) 2018-11-15

Family

ID=61952532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018075191A Pending JP2018181338A (ja) 2017-04-18 2018-04-10 自律走行する走行車の動作方法

Country Status (7)

Country Link
US (1) US10895880B2 (ja)
EP (1) EP3392738B1 (ja)
JP (1) JP2018181338A (ja)
CN (1) CN108720731B (ja)
DE (1) DE102017108194A1 (ja)
ES (1) ES2894289T3 (ja)
TW (1) TW201841586A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017108194A1 (de) * 2017-04-18 2018-10-18 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Fahrzeugs
BR112021007260A2 (pt) * 2018-10-19 2021-08-10 Bissell Inc. aparelho para limpar superfície
USD938115S1 (en) * 2018-11-30 2021-12-07 Irobot Corporation Autonomous floor cleaning robot
CN112596602A (zh) * 2019-09-17 2021-04-02 奥迪股份公司 用于调整显示屏上的信息显示的装置及相应的方法和介质
DE102020128096A1 (de) 2020-10-26 2022-04-28 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung Mobiles Haushaltsgerät mit einem Display
CN114557649B (zh) * 2022-01-28 2023-04-14 北京顺造科技有限公司 清洁设备及清洁设备用户界面显示方法
US20240180382A1 (en) * 2022-12-01 2024-06-06 Nilfisk A/S On-board information display

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152504A (ja) * 2006-12-18 2008-07-03 Hitachi Ltd 案内ロボット装置及び案内システム
JP2011192030A (ja) * 2010-03-15 2011-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置
JP2011240468A (ja) * 2010-05-21 2011-12-01 Toyota Motor Corp ロボットの接触種類判別システム
US20120221187A1 (en) * 2009-11-16 2012-08-30 Hyeongshin Jeon Robot cleaner and method for controlling the same
US20130167320A1 (en) * 2011-12-30 2013-07-04 Andrew Q. Liu Vacuum cleaner with display
JP2015536489A (ja) * 2012-09-24 2015-12-21 ロブアート ゲーエムベーハーROBART GmbH 床面を自律式に点検または処理するロボットおよび方法
JP2016087106A (ja) * 2014-11-05 2016-05-23 シャープ株式会社 掃除支援装置及び掃除機
WO2016174784A1 (ja) * 2015-04-28 2016-11-03 シャープ株式会社 制御装置および表示装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
SE516034C2 (sv) * 2000-03-28 2001-11-12 It Clean I Aastorp Ab Anordning och metod vid städning
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
CN100374062C (zh) * 2003-07-29 2008-03-12 乐金电子(天津)电器有限公司 真空吸尘器的安全装置
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
CN100461212C (zh) * 2004-06-04 2009-02-11 松下电器产业株式会社 显示控制方法及装置以及便携设备
US8152071B2 (en) * 2008-02-08 2012-04-10 Motion Computing, Inc. Multi-purpose portable computer with integrated devices
DE102008014912B4 (de) 2008-03-19 2023-01-19 Vorwerk & Co. Interholding Gmbh Selbsttätig verfahrbares Bodenstaub-Aufsammelgerät
CN102046059A (zh) * 2008-08-08 2011-05-04 松下电器产业株式会社 吸尘器的控制装置及控制方法、吸尘器、吸尘器的控制程序以及集成电子电路
JP2010117260A (ja) * 2008-11-13 2010-05-27 Epson Toyocom Corp 姿勢検出装置の補正パラメーター作成方法、姿勢検出装置の補正パラメーター作成用装置及び姿勢検出装置
KR101641237B1 (ko) * 2009-11-20 2016-07-21 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
US8757490B2 (en) * 2010-06-11 2014-06-24 Josef Bigun Method and apparatus for encoding and reading optical machine-readable data codes
DE102011000250A1 (de) 2011-01-21 2012-07-26 Vorwerk & Co. Interholding Gmbh Verfahren zur Bestimmung der Position eines selbsttätig verfahrbaren Geräts
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US20130038437A1 (en) * 2011-08-08 2013-02-14 Panasonic Corporation System for task and notification handling in a connected car
US9123142B2 (en) * 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
KR101428877B1 (ko) * 2012-12-05 2014-08-14 엘지전자 주식회사 로봇 청소기
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US9659403B1 (en) * 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US10209779B2 (en) * 2014-02-21 2019-02-19 Samsung Electronics Co., Ltd. Method for displaying content and electronic device therefor
KR102072387B1 (ko) * 2014-03-20 2020-02-03 삼성전자주식회사 로봇 청소기 및 로봇 청소기의 제어방법
US9971492B2 (en) * 2014-06-04 2018-05-15 Quantum Interface, Llc Dynamic environment for object and attribute display and interaction
JP6826804B2 (ja) * 2014-08-29 2021-02-10 東芝ライフスタイル株式会社 自律走行体
US10317992B2 (en) * 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
US10817172B2 (en) * 2015-03-27 2020-10-27 Intel Corporation Technologies for graphical user interface manipulations using multi-finger touch interactions
KR102427836B1 (ko) * 2015-06-26 2022-08-02 삼성전자주식회사 로봇 청소기, 정보 제공 시스템 및 정보 제공 방법
DE102017108194A1 (de) * 2017-04-18 2018-10-18 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Fahrzeugs
WO2019182378A1 (en) * 2018-03-21 2019-09-26 Lg Electronics Inc. Artificial intelligence server

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152504A (ja) * 2006-12-18 2008-07-03 Hitachi Ltd 案内ロボット装置及び案内システム
US20120221187A1 (en) * 2009-11-16 2012-08-30 Hyeongshin Jeon Robot cleaner and method for controlling the same
JP2011192030A (ja) * 2010-03-15 2011-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置
JP2011240468A (ja) * 2010-05-21 2011-12-01 Toyota Motor Corp ロボットの接触種類判別システム
US20130167320A1 (en) * 2011-12-30 2013-07-04 Andrew Q. Liu Vacuum cleaner with display
JP2015536489A (ja) * 2012-09-24 2015-12-21 ロブアート ゲーエムベーハーROBART GmbH 床面を自律式に点検または処理するロボットおよび方法
JP2016087106A (ja) * 2014-11-05 2016-05-23 シャープ株式会社 掃除支援装置及び掃除機
WO2016174784A1 (ja) * 2015-04-28 2016-11-03 シャープ株式会社 制御装置および表示装置

Also Published As

Publication number Publication date
EP3392738A1 (de) 2018-10-24
ES2894289T3 (es) 2022-02-14
TW201841586A (zh) 2018-12-01
DE102017108194A1 (de) 2018-10-18
CN108720731A (zh) 2018-11-02
CN108720731B (zh) 2022-01-25
US10895880B2 (en) 2021-01-19
US20180299902A1 (en) 2018-10-18
EP3392738B1 (de) 2021-08-18

Similar Documents

Publication Publication Date Title
JP2018181338A (ja) 自律走行する走行車の動作方法
US10542859B2 (en) Cleaning robot and controlling method thereof
US10265858B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
US11468983B2 (en) Time-dependent navigation of telepresence robots
KR102527645B1 (ko) 청소 로봇 및 그 제어 방법
US8718837B2 (en) Interfacing with a mobile telepresence robot
CN105310604A (zh) 机器人清洁***以及控制机器人清洁器的方法
CN102754048A (zh) 用于位置探测的成像方法和***
JP6636260B2 (ja) 自律移動体の走行経路教示システムおよび走行経路教示方法
US10620752B2 (en) System and method for predicting a touch position of a pointer on a touch-enabled unit or determining a pointing direction in 3D space
JP2018106695A (ja) 自律走行する移動車の動作方法
US20200089252A1 (en) Guide robot and operating method thereof
US20220063096A1 (en) Mobile robot and driving method thereof
JP2019145039A (ja) 自走式ロボットおよび自走式ロボットの制御方法
CN105759955B (zh) 输入装置
JP4979895B2 (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
JP2019051811A (ja) 駐車支援装置および車両
WO2022137796A1 (ja) 走行用地図作成装置、自律走行型ロボット、自律走行型ロボットの走行制御システム、自律走行型ロボットの走行制御方法、及び、プログラム
JP2022086593A (ja) 走行地図作成装置、ユーザ端末装置、自律走行型ロボット、自律走行型ロボットの走行制御システム、自律走行型ロボットの走行制御方法、および、プログラム
JP2013047899A (ja) 入力装置
JP2011227510A (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200722