JP7374581B2 - ロボット、画像処理方法及びプログラム - Google Patents
ロボット、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7374581B2 JP7374581B2 JP2018186685A JP2018186685A JP7374581B2 JP 7374581 B2 JP7374581 B2 JP 7374581B2 JP 2018186685 A JP2018186685 A JP 2018186685A JP 2018186685 A JP2018186685 A JP 2018186685A JP 7374581 B2 JP7374581 B2 JP 7374581B2
- Authority
- JP
- Japan
- Prior art keywords
- detection process
- predetermined
- detection
- satisfied
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 claims description 341
- 238000000034 method Methods 0.000 claims description 218
- 230000008569 process Effects 0.000 claims description 205
- 238000003384 imaging method Methods 0.000 claims description 155
- 230000008859 change Effects 0.000 claims description 114
- 238000004891 communication Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 description 47
- 230000002093 peripheral effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
また、本発明に係る第2の態様のロボットは、撮像手段を備えたロボットであって、前記撮像手段による連続した撮像により画像を取得する取得手段と、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段と、を備え、前記変化検出手段は、前記所定の対象が前記ロボットを向いていない場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第3の態様のロボットは、撮像手段を備えたロボットであって、前記撮像手段による連続した撮像により画像を取得する取得手段と、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段と、を備え、前記変化検出手段は、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第4の態様のロボットは、撮像手段と音声取得手段とを備えたロボットであって、前記撮像手段による連続した撮像により画像を取得する取得手段と、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段と、を備え、前記変化検出手段は、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に、前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第1の態様の画像処理方法は、撮像手段を備えているとともにコミュニケーションすることが可能なロボットが実行する画像処理方法であって、前記撮像手段による連続した撮像により画像を取得する取得ステップと、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、を有し、前記変化検出ステップは、前記ロボットが前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第2の態様の画像処理方法は、撮像手段を備えたロボットが実行する画像処理方法であって、前記撮像手段による連続した撮像により画像を取得する取得ステップと、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、を有し、前記変化検出ステップは、前記所定の対象が前記ロボットを向いていない場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第3の態様の画像処理方法は、撮像手段を備えたロボットが実行する画像処理方法であって、前記撮像手段による連続した撮像により画像を取得する取得ステップと、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、を有し、前記変化検出ステップは、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第4の態様の画像処理方法は、撮像手段と音声取得手段とを備えたロボットが実行する画像処理方法であって、前記撮像手段による連続した撮像により画像を取得する取得ステップと、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、を有し、前記変化検出ステップは、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に、前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第1の態様のプログラムは、撮像手段を備えているとともにコミュニケーションすることが可能なロボットのコンピュータを、前記撮像手段による連続した撮像により画像を取得する取得手段、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、として機能させ、前記変化検出手段は、前記ロボットが前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第2の態様のプログラムは、撮像手段を備えたロボットのコンピュータを、前記撮像手段による連続した撮像により画像を取得する取得手段、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、として機能させ、前記変化検出手段は、前記所定の対象が前記ロボットを向いていない場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第3の態様のプログラムは、撮像手段を備えたロボットのコンピュータを、前記撮像手段による連続した撮像により画像を取得する取得手段、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、として機能させ、前記変化検出手段は、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、ことを特徴とする。
また、本発明に係る第4の態様のプログラムは、撮像手段と音声取得手段とを備えたロボットのコンピュータを、前記撮像手段による連続した撮像により画像を取得する取得手段、前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、として機能させ、前記変化検出手段は、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に、前記所定の条件が成立していると判別する、ことを特徴とする。
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない部分での種々の修正は勿論可能である。
連続して撮像された画像を取得する取得手段と、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、
前記取得された画像の前記中央領域以外の他の領域における経時的な変化を、前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出する変化検出手段と、
を備えることを特徴とする画像処理装置。
前記変化検出手段は、前記第2検出処理の実行により、前記他の領域内の特徴点に基づいて、前記他の領域における経時的な変化を検出する、
ことを特徴とする、付記1に記載の画像処理装置。
前記変化検出手段は、前記第2検出処理の実行により、前記連続して撮像された画像間における前記他の領域の差分に基づいて、前記他の領域における経時的な変化を検出する、
ことを特徴とする、付記1に記載の画像処理装置。
前記所定の対象は、人物の顔である、
ことを特徴とする、付記1から3のいずれか1つに記載の画像処理装置。
前記取得手段は、撮像手段により連続して撮像された画像を取得し、
前記対象検出手段による検出結果、及び、前記変化検出手段による検出結果の少なくとも一方に応じて、所定の処理を実行する制御手段をさらに備える、
ことを特徴とする、付記1から4のいずれか1つに記載の画像処理装置。
付記5に記載の画像処理装置と、
前記撮像手段と、
を備えるロボット。
前記撮像手段は、前記取得手段が取得する画像を所定の撮像範囲で撮像可能に構成され、
前記制御手段は、前記変化検出手段により前記他の領域における経時的な変化が検出されたときに、当該変化があった部分が前記撮像範囲の中央に位置するように、前記撮像手段の撮像方向を制御する、
ことを特徴とする付記6に記載のロボット。
所定の条件が成立しているか否かを判別する判別手段をさらに備え、
前記制御手段は、前記第1検出処理で前記所定の対象を検出している間は、前記判別手段により前記所定の条件が成立していると判別された場合にのみ、前記撮像方向を制御可能である、
ことを特徴とする付記7に記載のロボット。
自装置はコミュニケーションすることが可能であり、
前記判別手段は、前記自装置が前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記8に記載のロボット。
前記判別手段は、前記所定の対象が自装置を向いていない場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記8に記載のロボット。
前記判別手段は、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記8に記載のロボット。
音声取得手段をさらに備え、
前記判別手段は、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に前記所定の条件が成立していると判別する、
ことを特徴とする付記8に記載のロボット。
撮像された画像の中央領域から所定の対象を検出する第1検出処理を実行し、
前記画像の前記中央領域以外の他の領域における経時的な変化を、前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出する、
画像処理方法。
コンピュータを、
連続して撮像された画像を取得する取得手段、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、
前記取得された画像の前記中央領域以外の他の領域における経時的な変化を、前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出する変化検出手段、
として機能させるプログラム。
Claims (15)
- 撮像手段を備えているとともにコミュニケーションすることが可能なロボットであって、
前記撮像手段による連続した撮像により画像を取得する取得手段と、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段と、
を備え、
前記変化検出手段は、前記ロボットが前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、
ことを特徴とするロボット。 - 撮像手段を備えたロボットであって、
前記撮像手段による連続した撮像により画像を取得する取得手段と、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段と、
を備え、
前記変化検出手段は、前記所定の対象が前記ロボットを向いていない場合に前記所定の条件が成立していると判別する、
ことを特徴とするロボット。 - 撮像手段を備えたロボットであって、
前記撮像手段による連続した撮像により画像を取得する取得手段と、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段と、
を備え、
前記変化検出手段は、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、
ことを特徴とするロボット。 - 撮像手段と音声取得手段とを備えたロボットであって、
前記撮像手段による連続した撮像により画像を取得する取得手段と、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段と、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段と、
を備え、
前記変化検出手段は、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に、前記所定の条件が成立していると判別する、
ことを特徴とするロボット。 - 前記対象検出手段による検出結果、及び、前記変化検出手段による検出結果の少なくとも一方に応じて、所定の処理を実行する制御手段を備える、
ことを特徴とする請求項1から4のいずれか1項に記載のロボット。 - 前記制御手段は、前記変化検出手段により前記他の領域における経時的な変化が検出されたときに、当該変化があった部分が画像の中央に位置するように、前記撮像手段の撮像方向を制御する、
ことを特徴とする請求項5に記載のロボット。 - 前記所定の対象は、人物の顔である、
ことを特徴とする請求項1から6のいずれか1項に記載のロボット。 - 撮像手段を備えているとともにコミュニケーションすることが可能なロボットが実行する画像処理方法であって、
前記撮像手段による連続した撮像により画像を取得する取得ステップと、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、
前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、
を有し、
前記変化検出ステップは、前記ロボットが前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、
ことを特徴とする画像処理方法。 - 撮像手段を備えたロボットが実行する画像処理方法であって、
前記撮像手段による連続した撮像により画像を取得する取得ステップと、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、
前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、
を有し、
前記変化検出ステップは、前記所定の対象が前記ロボットを向いていない場合に前記所定の条件が成立していると判別する、
ことを特徴とする画像処理方法。 - 撮像手段を備えたロボットが実行する画像処理方法であって、
前記撮像手段による連続した撮像により画像を取得する取得ステップと、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、
前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、
を有し、
前記変化検出ステップは、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、
ことを特徴とする画像処理方法。 - 撮像手段と音声取得手段とを備えたロボットが実行する画像処理方法であって、
前記撮像手段による連続した撮像により画像を取得する取得ステップと、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出ステップと、
前記対象検出ステップによる前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出ステップと、
を有し、
前記変化検出ステップは、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に、前記所定の条件が成立していると判別する、
ことを特徴とする画像処理方法。 - 撮像手段を備えているとともにコミュニケーションすることが可能なロボットのコンピュータを、
前記撮像手段による連続した撮像により画像を取得する取得手段、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、
として機能させ、
前記変化検出手段は、前記ロボットが前記所定の対象に対応する対象物とコミュニケーションしていない場合に前記所定の条件が成立していると判別する、
ことを特徴とするプログラム。 - 撮像手段を備えたロボットのコンピュータを、
前記撮像手段による連続した撮像により画像を取得する取得手段、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、
として機能させ、
前記変化検出手段は、前記所定の対象が前記ロボットを向いていない場合に前記所定の条件が成立していると判別する、
ことを特徴とするプログラム。 - 撮像手段を備えたロボットのコンピュータを、
前記撮像手段による連続した撮像により画像を取得する取得手段、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、
として機能させ、
前記変化検出手段は、前記所定の対象の大きさが所定の閾値以下である場合に前記所定の条件が成立していると判別する、
ことを特徴とするロボット。 - 撮像手段と音声取得手段とを備えたロボットのコンピュータを、
前記撮像手段による連続した撮像により画像を取得する取得手段、
前記取得された画像の中央領域から所定の対象を検出する第1検出処理を実行する対象検出手段、
前記対象検出手段による前記第1の検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していると判別すると、前記取得された画像の前記中央領域以外の他の領域における経時的な変化を前記第1検出処理よりも負荷が小さい第2検出処理を実行することにより検出し、前記第1検出処理の実行によって前記所定の対象が検出され、かつ、前記所定の対象について所定の条件が成立していないと判別すると、前記第2の検出処理を実行しない変化検出手段、
として機能させ、
前記変化検出手段は、前記音声取得手段が前記所定の対象から予め定めた期間、音声を継続して取得していない場合に、前記所定の条件が成立していると判別する、
ことを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186685A JP7374581B2 (ja) | 2018-10-01 | 2018-10-01 | ロボット、画像処理方法及びプログラム |
US16/570,798 US11400607B2 (en) | 2018-10-01 | 2019-09-13 | Image processing device, robot, image processing method, and recording medium |
CN201910879412.XA CN110971815B (zh) | 2018-10-01 | 2019-09-17 | 图像处理装置、机器人、图像处理方法以及存储介质 |
JP2023114802A JP2023133343A (ja) | 2018-10-01 | 2023-07-13 | ロボット、方向制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186685A JP7374581B2 (ja) | 2018-10-01 | 2018-10-01 | ロボット、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023114802A Division JP2023133343A (ja) | 2018-10-01 | 2023-07-13 | ロボット、方向制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020057149A JP2020057149A (ja) | 2020-04-09 |
JP7374581B2 true JP7374581B2 (ja) | 2023-11-07 |
Family
ID=69947075
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186685A Active JP7374581B2 (ja) | 2018-10-01 | 2018-10-01 | ロボット、画像処理方法及びプログラム |
JP2023114802A Pending JP2023133343A (ja) | 2018-10-01 | 2023-07-13 | ロボット、方向制御方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023114802A Pending JP2023133343A (ja) | 2018-10-01 | 2023-07-13 | ロボット、方向制御方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11400607B2 (ja) |
JP (2) | JP7374581B2 (ja) |
CN (1) | CN110971815B (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011152593A (ja) | 2010-01-26 | 2011-08-11 | Nec Corp | ロボット操作装置 |
JP2013118712A (ja) | 2013-03-19 | 2013-06-13 | Sumitomo Electric Ind Ltd | 複数の移動対象物の追跡撮影システム及び撮影制御方法 |
JP2013193149A (ja) | 2012-03-16 | 2013-09-30 | Fujitsu Ltd | ロボット制御装置、ロボットシステム、ロボット制御方法、及びロボット制御プログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002072317A1 (fr) * | 2001-03-09 | 2002-09-19 | Japan Science And Technology Corporation | Systeme de robot audiovisuel |
JP2004288100A (ja) * | 2003-03-25 | 2004-10-14 | Minolta Co Ltd | 撮像装置及び移動体カメラ |
JP4692006B2 (ja) * | 2005-02-15 | 2011-06-01 | トヨタ自動車株式会社 | 画像処理装置及び画像処理方法 |
JP4650381B2 (ja) * | 2006-09-08 | 2011-03-16 | 日本ビクター株式会社 | 電子機器 |
JP2008075360A (ja) * | 2006-09-22 | 2008-04-03 | Saxa Inc | 自動ドア用センサ |
WO2008077132A1 (en) * | 2006-12-19 | 2008-06-26 | California Institute Of Technology | Imaging model and apparatus |
JP4998122B2 (ja) | 2007-07-10 | 2012-08-15 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
US8818556B2 (en) * | 2011-01-13 | 2014-08-26 | Microsoft Corporation | Multi-state model for robot and user interaction |
US9259842B2 (en) * | 2011-06-10 | 2016-02-16 | Microsoft Technology Licensing, Llc | Interactive robot initialization |
JP2013164834A (ja) * | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5966778B2 (ja) * | 2012-09-05 | 2016-08-10 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
CN103400157B (zh) | 2013-07-23 | 2017-02-08 | 青岛海信网络科技股份有限公司 | 一种基于视频分析的道路行人及非机动车检测方法 |
EP2933064A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | System, method and computer program product for handling humanoid robot interaction with human |
EP2988248B1 (en) * | 2014-07-22 | 2019-09-18 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, information processing apparatus, information processing method, and program |
JP6577738B2 (ja) * | 2015-04-09 | 2019-09-18 | キヤノン株式会社 | 焦点検出装置及びその制御方法、プログラム、記憶媒体 |
CN105957300B (zh) * | 2016-07-18 | 2019-04-30 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别可疑张贴遮蔽报警方法和装置 |
JP6715463B2 (ja) * | 2016-09-30 | 2020-07-01 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法、プログラムおよび記録媒体 |
CN108073271A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 基于预定区域识别手部区域的方法及装置 |
WO2018177561A1 (en) * | 2017-03-31 | 2018-10-04 | Intel Corporation | Management of human-machine dialogue involving multiple parties |
JP6817557B2 (ja) * | 2017-05-22 | 2021-01-20 | パナソニックIpマネジメント株式会社 | 通信制御方法、通信制御装置、及び通信制御プログラム |
JP6642523B2 (ja) * | 2017-06-19 | 2020-02-05 | カシオ計算機株式会社 | 表情判定装置、表情判定方法及びプログラム |
CN108230366B (zh) | 2017-12-28 | 2021-09-07 | 厦门市美亚柏科信息股份有限公司 | 一种目标物的追踪方法 |
US20190246038A1 (en) * | 2018-02-02 | 2019-08-08 | Essel-T Co., Ltd. | Camera having subject maintenance function |
CN108447303B (zh) * | 2018-03-20 | 2021-01-15 | 武汉理工大学 | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 |
-
2018
- 2018-10-01 JP JP2018186685A patent/JP7374581B2/ja active Active
-
2019
- 2019-09-13 US US16/570,798 patent/US11400607B2/en active Active
- 2019-09-17 CN CN201910879412.XA patent/CN110971815B/zh active Active
-
2023
- 2023-07-13 JP JP2023114802A patent/JP2023133343A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011152593A (ja) | 2010-01-26 | 2011-08-11 | Nec Corp | ロボット操作装置 |
JP2013193149A (ja) | 2012-03-16 | 2013-09-30 | Fujitsu Ltd | ロボット制御装置、ロボットシステム、ロボット制御方法、及びロボット制御プログラム |
JP2013118712A (ja) | 2013-03-19 | 2013-06-13 | Sumitomo Electric Ind Ltd | 複数の移動対象物の追跡撮影システム及び撮影制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020057149A (ja) | 2020-04-09 |
US20200101630A1 (en) | 2020-04-02 |
CN110971815B (zh) | 2021-07-30 |
CN110971815A (zh) | 2020-04-07 |
JP2023133343A (ja) | 2023-09-22 |
US11400607B2 (en) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11000952B2 (en) | More endearing robot, method of controlling the same, and non-transitory recording medium | |
CA2945896C (en) | System, method and computer program product for handling humanoid robot interaction with human | |
US9662788B2 (en) | Communication draw-in system, communication draw-in method, and communication draw-in program | |
US10130873B2 (en) | Method and apparatus for preventing a collision between subjects | |
EP3178617A2 (en) | Hybrid reality based i-bot navigation and control | |
WO2018028200A1 (zh) | 电子机器设备 | |
KR102463806B1 (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
US11931906B2 (en) | Mobile robot device and method for providing service to user | |
JP2009045692A (ja) | コミュニケーションロボットとその動作方法 | |
EP3989118A1 (en) | Target tracking method and system, readable storage medium and moving platform | |
US20180376069A1 (en) | Erroneous operation-preventable robot, robot control method, and recording medium | |
US10576633B2 (en) | Communication device | |
JP2009166184A (ja) | ガイドロボット | |
US10809715B2 (en) | Apparatus, robot, method, and recording medium | |
US11029753B2 (en) | Human computer interaction system and human computer interaction method | |
KR20140009900A (ko) | 로봇 제어 시스템 및 그 동작 방법 | |
JP2007130691A (ja) | コミュニケーションロボット | |
JP7374581B2 (ja) | ロボット、画像処理方法及びプログラム | |
KR102613040B1 (ko) | 영상 통화 방법 및 이를 구현하는 로봇 | |
JP2020092370A (ja) | 撮影制御装置、撮影システム及び撮影制御方法 | |
KR102360857B1 (ko) | 특정인을 추적하는 로봇시스템 | |
JP7258438B2 (ja) | ロボット、ロボット制御プログラムおよびロボット制御方法 | |
US20160260353A1 (en) | Object recognition for the visually impaired | |
KR20240086905A (ko) | 특정인을 추적하는 로봇시스템 | |
JP2021089693A (ja) | 行動ベースの構成方法及び行動ベースの構成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230208 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230208 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230221 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230228 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230414 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230418 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7374581 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |