JPH0973543A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH0973543A
JPH0973543A JP7229039A JP22903995A JPH0973543A JP H0973543 A JPH0973543 A JP H0973543A JP 7229039 A JP7229039 A JP 7229039A JP 22903995 A JP22903995 A JP 22903995A JP H0973543 A JPH0973543 A JP H0973543A
Authority
JP
Japan
Prior art keywords
image
robot
plane
image processing
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7229039A
Other languages
English (en)
Inventor
Hiroshi Hattori
寛 服部
Kazunori Onoguchi
一則 小野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP7229039A priority Critical patent/JPH0973543A/ja
Publication of JPH0973543A publication Critical patent/JPH0973543A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】例えばロボットがある対象物を確認し、その対
象物に対して何らかの作業を行なうような場合に、たと
えロボットと対象物との間の距離が大きい場合であって
も、常に安定した状態で対象物を画像上で追跡して常に
対象物を視野に捕らえながらロボットを誘導させる。 【解決手段】略平面上を移動する移動体に載置され、そ
の移動に際して該平面上に存在する対象物を順次撮像す
る画像入力部1と、この画像入力部1で得られた画像中
の対象物を画像中の平面に投影した投影画像を画像毎に
作成する投影画像作成部2と、この投影画像作成部2で
作成された投影画像毎に投影画像中の対象物の位置を示
す位置情報を算出する画像処理部3と、この画像処理部
3で得た位置情報に基づいて上記移動体を対象物に移動
させるための移動情報を出力する出力部4とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、自律移動ロボット
の視覚制御や画像監視等に応用される画像処理装置に関
する。
【0002】
【従来の技術】近年、TVカメラ等の視覚センサから得
られる情報を用いて、環境や物体の3次元形状、位置、
動き等を計算するコンピュータビジョンの研究が盛んに
行なわれている。この技術により、例えば、ロボットが
視覚機能を備え、周囲の環境変化に柔軟に対応して行動
したり、より高度な作業を行なうことができる。
【0003】ロボットがある物体を確認し、その物体に
対して何らかの作業を行なうことを考えた場合、対象と
なる物体が遠くにある際には、作業を遂行するのに十分
な場所までロボットが移動する必要がある。その移動方
法として、視覚情報を用いない方法と視覚情報を用いる
方法の2つが考えられる。
【0004】視覚情報を用いない方法は、ロボットが初
期位置において対象物の3次元位置を計測し、その対象
物に至るまでのロボットの移動量を視覚情報以外の情報
を用いて計測しながら対象物まで誘導するというもので
ある。ロボットの移動量を計測する一般的な手法として
は、エンコーダを車輪に取り付ける手法が採られること
が多い。
【0005】また、視覚情報を用いる方法は、ロボット
が移動するのに伴って得られる画像中の対象物を追跡
し、常に対象物を視野に捉えながらロボットを誘導する
ものである。
【0006】
【発明が解決しようとする課題】しかしながら、上記前
者の視覚情報を用いない方法では、初期位置において計
測した対象物の3次元位置は、ロボットと対象物の間の
距離が大きい場合には誤差が大きくなるため、ロボット
を対象物に正確に誘導することは困難である。特に、実
際にはロボットの車輪のスリップ等の影響で車輪の回転
数とロボットの移動量にずれを生じるため、エンコーダ
を用いた場合のロボットの移動量の計測値はかなり誤差
が大きくなり、ロボットを正確に対象物に誘導すること
はより困難なものとなる。
【0007】また、上記後者の視覚情報を用いる方法で
は、上記視覚情報を用いない方法のような問題は生じな
いものの、ロボットと対象物との間の距離や対象物の画
像上の投影位置によって、対象物の画像中での動きや大
きさが変化するため、安定した状態で追跡を行なうこと
はやはり困難であった。
【0008】本発明は上記のような実情に鑑みてなされ
たもので、その目的とするところは、例えば視覚センサ
を有するロボットがある対象物を視覚センサで得た画像
中で確認し、その対象物の位置まで移動して何らかの作
業を行なう際に、たとえロボットと対象物との間の距離
が大きい場合であっても、常に安定した状態で対象物を
画像中で追跡して常に対象物を視野に捕らえながらロボ
ットを対象物まで誘導させることが可能な画像処理装置
を提供することにある。
【0009】
【課題を解決するための手段】すなわち本発明は、 (1) 略平面上を移動する移動体に載置され、その移
動に際して該平面上に存在する対象物を順次撮像する撮
像手段と、この撮像手段で得られた画像中の対象物を画
像中の平面に投影した投影画像を画像毎に作成する投影
画像作成手段と、この投影画像作成手段で作成された投
影画像毎に投影画像中の対象物の位置を示す位置情報を
算出する画像処理手段と、この画像処理手段で得た位置
情報に基づいて上記移動体を対象物に移動させるための
移動情報を出力する出力手段とを備えるようにしたもの
である。
【0010】このような構成とすることで、既知平面上
を移動する移動体に対して相対運動する対象物を追跡す
る際に、移動体に取付けられたTVカメラ等の撮像手段
で得た画像を平面上に投影した投影画像中での該対象物
の位置を算出し、その位置に基づいて移動体を移動させ
て対象物を追跡することによって、投影画像中において
は対象物の大きさが移動体と対象物との間の距離や画像
中での位置によらず相対的に常に一定であり、対象物の
動きと移動体の動きとは確実に一致するから、安定した
状態で対象物の追跡を行なうべく移動体を移動させるこ
とができるようになる。
【0011】(2) 上記(1)項において、上記画像
処理手段は、予め設定しておいた対象物の条件を基に局
所相関演算を行なうことで投影画像中から該条件を満た
す領域を抽出して対象物の位置を示す位置情報を算出す
るようにしたものである。
【0012】このような構成とすることで、上記(1)
項の作用に加えて、上記画像処理手段が投影画像中から
対象物の位置を示す位置情報を確実に算出することがで
きる。
【0013】
【発明の実施の形態】以下本発明の実施の一形態につい
て図面を参照して説明する。図1はその概略回路構成を
示すものであり、ここでは画像入力部1、投影画像作成
部2、画像処理部3、出力部4から構成している。
【0014】画像入力部1は、ロボットに搭載した視覚
センサとしてのTVカメラを含み、ロボットの移動に伴
って得られる画像を入力してデジタル化し、次段の投影
画像作成部2に送出する。
【0015】投影画像作成部2は、上記画像入力部1か
ら送られてきたデジタル値の画像データを用いて後述す
る投影画像作成方法により投影画像を作成し、画像処理
部3へ送出する。
【0016】画像処理部3では、投影画像作成部2から
の投影画像中での対象物の位置を後述する演算により算
出し、その位置情報を出力部4へと出力する。しかして
出力部4では、画像処理部3から送られてくる対象物の
投影画像中での位置情報に基づいて、ロボットを対象物
まで移動させるための情報、つまりロボット座標系に対
する対象物の2次元座標(x,y)を出力する。
【0017】次に上記実施の形態の動作について説明す
る。いま、図2に示すように上記画像入力部1を構成す
るTVカメラを搭載した移動ロボットRBが、平面α上
を移動し、同平面上に存在する、画像中で近傍の平面か
ら判別可能な対象物Pの位置まで到達する場合を考え
る。
【0018】ロボットRBが持つ座標系o−xyz(以
下「ロボット座標系」と称する)のxy平面を平面αと
し、ロボットRBの走行環境には対象物Pも含めて平面
α上には高さが微小な物体しか存在しないものと仮定す
る。
【0019】画像入力部1が、ロボットRBに搭載した
TVカメラから平面α上の移動に伴って得られる画像を
デジタル化して投影画像作成部2に送出すると、投影画
像作成部2では送られてきた画像を用いて投影画像を作
成する。
【0020】ここで投影画像とは、図3(a)に摸式的
に示すように、TVカメラから得られた画像を既知平面
αに投影して得られる画像であり、投影画像作成方法を
以下に示す。すなわち、画像中の任意の点(u,v)と
その点のロボット座標系に対する位置(x,y,z)と
の間には一般に以下の関係式が成り立つ。
【0021】
【数1】
【0022】ここで、ロボットRBの走行環境には平面
αからの高さが非常に小さい物体しか存在しないものと
しているから、zの値はほとんど「0(ゼロ)」とな
る。この事実と上記式(1)により、近似的に
【0023】
【数2】 なる関係式が成り立つこととなる。
【0024】この式(2)中で、h11,h12,h21,h
22,h31,h32、t1 〜t3 はいずれもロボット座標系
に対するTVカメラの位置や方向等を表すパラメータで
あり、これらは予め計測しておくことが可能である。
【0025】ここで、上記式(2)を u=f1 (x,y),v=f2 (x,y) …(3) とおくと、画像入力部1により入力された画像I(u,
v)(0≦u≦U,0≦v≦V)(U,V:画像サイ
ズ)から、投影画像J(x,y)(0≦x≦X,0≦y
≦Y)(X,Y:画像サイズ)は上記式(3)を用い
て、以下の式で求めることができる。すなわち、
【0026】
【数3】 となるもので、ここで、(u,v)が 0≦u≦U,0≦v≦V …(5) の条件を満たさなければ、その点は画像中に存在しない
ことになるから、任意の値(例えば0)を設定してお
く。図3(c)の投影画像におけるハッチングを施した
部分が画像中に存在しない領域である。
【0027】ロボットRBの移動に伴って時系列に入力
された各画像における対象物Pの動きと、これに対応し
て時系列に作成される各投影画像における対象物Pの動
きを図3(b),(c)に示す。図3(b)に示す原画
像では、対象物Pの動きと大きさはカメラとの距離と画
像中の位置に応じて変化するが、図3(c)に示すよう
に投影画像中ではこれらは相対的に常に一定となり、変
化しない。
【0028】そこで画像処理部3では、投影画像作成部
2で作成された投影画像中の対象物Pの位置を以下の演
算により抽出する。これはすなわち、対象物Pの抽出が
あらかじめ用意しておいた対象物Pの条件、例えばロボ
ットRBからの距離、ロボットRBの大きさ、形状、
色、輝度パターン等を最も満たす領域を抽出することに
より容易に可能であり、以下に示す局所相関によって行
なうことができるものである。すなわちこの局所相関で
は、
【0029】
【数4】 となるもので、この式(6)中、It (x,y),I
t+1 (x,y)は各々時刻t,t+1において得られた
投影画像中の点位置(x,y)での輝度を、at ,a
t+1 とvt ,vt+1 はウィンドウ領域内の平均と分散を
表す。ある探索範囲内で上記式(6)における値Cを計
算し、値Cが最大となる位置を求めることによって、画
像中の対象物Pを順次抽出することができる。上記探索
範囲はロボットRBの走行速度に応じて設定する。
【0030】こうして画像処理部3で得た対象物Pの投
影画像中での位置情報により、出力部4がロボットを対
象物Pに対して移動させるための情報、つまりロボット
座標系に対する対象物Pの2次元座標(x,y)を出力
するもので、以上のようにして、ある既知平面上でTV
カメラに対して相対運動する対象物Pを安定した状態で
追跡することができる。
【0031】なお、本実施の形態では、静止した対象物
を移動しながら観測する場合について説明したが、移動
する対象物を観測し、追跡する場合も同様に行なうこと
ができる。
【0032】また、上記画像処理部3における対象物P
の画像中の抽出を自動的に行なっているが、人間がロボ
ットRBに教示しても良い。さらに、対象物Pとロボッ
トRBとの間の距離が大きい場合には、対象物Pの画像
中の動きと大きさの変化は小さくなるので、このような
場合には原画像中で対象物Pの追跡を行ない、ロボット
RBが対象物Pにある程度まで近付いてから投影画像中
で対象物Pの追跡を行なっても良い。
【0033】また、カメラの光軸方向と対象物が存在す
る平面の法線方法がほぼ一致する場合には、投影画像は
原画像とほぼ同じになるので、この場合にも原画像中で
追跡処理を行なっても良い。その他、本発明の要旨を逸
脱しない範囲で変形を実施できるものとする。
【0034】
【発明の効果】以上に述べた如く本発明によれば、例え
ば視覚センサを有するロボットがある対象物を視覚セン
サで得た画像中で確認し、その対象物の位置まで移動し
て何らかの作業を行なう際に、たとえロボットと対象物
との間の距離が大きい場合であっても、常に安定した状
態で対象物を画像中で追跡して常に対象物を視野に捕ら
えながらロボットを対象物まで誘導させることが可能な
画像処理装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態に係る概略回路構成を示
すブロック図。
【図2】同実施の形態に係る動作を説明する図。
【図3】同実施の形態に係る動作を説明する図。
【符号の説明】
1…画像入力部 2…投影画像作成部 3…画像処理部 4…出力部 RB…ロボット P…対象物

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 略平面上を移動する移動体上に撮像方向
    を固定した状態で載置され、その移動に際して該平面上
    に存在する対象物を順次撮像する撮像手段と、 この撮像手段で得られた画像中の対象物を画像中の平面
    に投影した投影画像を画像毎に作成する投影画像作成手
    段と、 この投影画像作成手段で作成された投影画像毎に投影画
    像中の対象物の位置を示す位置情報を算出する画像処理
    手段と、 この画像処理手段で得た位置情報に基づいて上記移動体
    を対象物に移動させるための移動情報を出力する出力手
    段とを具備したことを特徴とする画像処理装置。
  2. 【請求項2】 上記画像処理手段は、予め設定しておい
    た対象物の条件を基に局所相関演算を行なうことで投影
    画像中から該条件を満たす領域を抽出して対象物の位置
    を示す位置情報を算出することを特徴とする請求項1記
    載の画像処理装置。
JP7229039A 1995-09-06 1995-09-06 画像処理装置 Pending JPH0973543A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7229039A JPH0973543A (ja) 1995-09-06 1995-09-06 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7229039A JPH0973543A (ja) 1995-09-06 1995-09-06 画像処理装置

Publications (1)

Publication Number Publication Date
JPH0973543A true JPH0973543A (ja) 1997-03-18

Family

ID=16885793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7229039A Pending JPH0973543A (ja) 1995-09-06 1995-09-06 画像処理装置

Country Status (1)

Country Link
JP (1) JPH0973543A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295416A (ja) * 2003-03-26 2004-10-21 Matsushita Electric Works Ltd 画像処理装置
JP2006221610A (ja) * 2004-12-14 2006-08-24 Samsung Electronics Co Ltd 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器
JP2010101807A (ja) * 2008-10-24 2010-05-06 Shimizu Corp 移動***置検出システム
JP2013093738A (ja) * 2011-10-26 2013-05-16 Nippon Hoso Kyokai <Nhk> 移動距離計測装置及び撮影カメラ
JP2017503226A (ja) * 2014-07-30 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 目標追跡システム、デバイスおよび方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57129080A (en) * 1981-02-03 1982-08-10 Toshiba Corp Picture normalizing device
JPS62221077A (ja) * 1986-03-24 1987-09-29 Agency Of Ind Science & Technol パタ−ン検出装置
JPS62286189A (ja) * 1986-06-04 1987-12-12 Omron Tateisi Electronics Co 高速視覚認識装置
JPS63314622A (ja) * 1987-06-17 1988-12-22 Nissan Motor Co Ltd 自律走行車両制御装置
JPH01188909A (ja) * 1988-01-22 1989-07-28 Toyota Autom Loom Works Ltd 画像式無人車の走行経路決定処理方法
JPH02129799A (ja) * 1988-11-09 1990-05-17 Aisin Seiki Co Ltd 移動体上目標表示装置
JPH05143156A (ja) * 1991-11-21 1993-06-11 Mazda Motor Corp 環境認識装置
JPH05229758A (ja) * 1992-02-20 1993-09-07 Hitachi Building Syst Eng & Service Co Ltd エレベータ用情報表示装置
JPH0674732A (ja) * 1992-06-22 1994-03-18 Hamamatsu Photonics Kk 走路認識装置
JPH0689085A (ja) * 1992-09-08 1994-03-29 Fuji Xerox Co Ltd 電子会議装置
JPH06319141A (ja) * 1993-05-10 1994-11-15 Toshiba Corp 監視装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57129080A (en) * 1981-02-03 1982-08-10 Toshiba Corp Picture normalizing device
JPS62221077A (ja) * 1986-03-24 1987-09-29 Agency Of Ind Science & Technol パタ−ン検出装置
JPS62286189A (ja) * 1986-06-04 1987-12-12 Omron Tateisi Electronics Co 高速視覚認識装置
JPS63314622A (ja) * 1987-06-17 1988-12-22 Nissan Motor Co Ltd 自律走行車両制御装置
JPH01188909A (ja) * 1988-01-22 1989-07-28 Toyota Autom Loom Works Ltd 画像式無人車の走行経路決定処理方法
JPH02129799A (ja) * 1988-11-09 1990-05-17 Aisin Seiki Co Ltd 移動体上目標表示装置
JPH05143156A (ja) * 1991-11-21 1993-06-11 Mazda Motor Corp 環境認識装置
JPH05229758A (ja) * 1992-02-20 1993-09-07 Hitachi Building Syst Eng & Service Co Ltd エレベータ用情報表示装置
JPH0674732A (ja) * 1992-06-22 1994-03-18 Hamamatsu Photonics Kk 走路認識装置
JPH0689085A (ja) * 1992-09-08 1994-03-29 Fuji Xerox Co Ltd 電子会議装置
JPH06319141A (ja) * 1993-05-10 1994-11-15 Toshiba Corp 監視装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295416A (ja) * 2003-03-26 2004-10-21 Matsushita Electric Works Ltd 画像処理装置
JP2006221610A (ja) * 2004-12-14 2006-08-24 Samsung Electronics Co Ltd 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器
JP2010101807A (ja) * 2008-10-24 2010-05-06 Shimizu Corp 移動***置検出システム
JP2013093738A (ja) * 2011-10-26 2013-05-16 Nippon Hoso Kyokai <Nhk> 移動距離計測装置及び撮影カメラ
JP2017503226A (ja) * 2014-07-30 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 目標追跡システム、デバイスおよび方法
US20170108877A1 (en) * 2014-07-30 2017-04-20 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US9846429B2 (en) 2014-07-30 2017-12-19 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US11106201B2 (en) 2014-07-30 2021-08-31 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US11194323B2 (en) * 2014-07-30 2021-12-07 SZ DJI Technology Co., Ltd. Systems and methods for target tracking

Similar Documents

Publication Publication Date Title
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
US10133279B2 (en) Apparatus of updating key frame of mobile robot and method thereof
JP5122887B2 (ja) 実写基盤移動機器の制御方法、装置および媒体
US20170151675A1 (en) Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
JP2018522348A (ja) センサーの3次元姿勢を推定する方法及びシステム
Feyrer et al. Detection, tracking, and pursuit of humans with an autonomous mobile robot
Nair et al. Moving obstacle detection from a navigating robot
JP2007333690A (ja) モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
JP2009536731A (ja) 深度マップによるヒューマノイド形状のモデル化
KR20150144730A (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
EP3193229B1 (en) Mobile body control device and mobile body
US10991105B2 (en) Image processing device
EP2851868A1 (en) 3D Reconstruction
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
JP2559939B2 (ja) 3次元情報入力装置
JP3288086B2 (ja) 動物体抽出装置
JPH1144533A (ja) 先行車両検出装置
JP2001076128A (ja) 障害物検出装置及び方法
JPH0973543A (ja) 画像処理装置
Vincze et al. Edge-projected integration of image and model cues for robust model-based object tracking
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP3063481B2 (ja) 車両用物体検出装置
US20020171757A1 (en) Adjustable image capturing system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050830