JP3429194B2 - 自動追尾装置 - Google Patents
自動追尾装置Info
- Publication number
- JP3429194B2 JP3429194B2 JP12922998A JP12922998A JP3429194B2 JP 3429194 B2 JP3429194 B2 JP 3429194B2 JP 12922998 A JP12922998 A JP 12922998A JP 12922998 A JP12922998 A JP 12922998A JP 3429194 B2 JP3429194 B2 JP 3429194B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- tracking
- tracking target
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Automatic Focus Adjustment (AREA)
- Steering Controls (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Focusing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position Or Direction (AREA)
Description
象物を自動追尾する自動追尾装置に関し、特に、ブロッ
クマッチングを用いた追跡を行う場合に、追跡対象物の
カメラ光軸方向の動きを効率良く追尾する自動追尾装置
に関する。
御、移動ロボット・自律走行車の制御、ジェスチャ・表
情・視線の認識、監視、観測の自動化等の分野では、画
面内の運動物体を画像処理を用いて自動追尾する技術が
知られている。例えば、実開昭58−178773号公
報には、モニタテレビ上の目標の大きさが常に一定とな
るようにズーム機構を制御することにより、目標の接近
若しくは離遠を追尾できるよう構成したテレビ追尾装置
が開示されている。また、特開平3−174671号公
報には、フーリエ変換に基づいた相関処理を行うことに
より、移動物体の大きさや方向が変化しても、目標物を
自動的に追尾するよう構成した光学的自動追尾装置が開
示されている。
とのコントラスト差を利用しているので、黒い背景の中
の白い目標物を追尾する程度の追尾能力しかないという
問題がある。また、後者は、カメラからの画像を一括処
理する方式を採用するため、追跡するためのウインドウ
処理ができず、複数の移動物体が存在する場合にはどち
らを追跡すべきかが不明になるという問題がある。
No.1,P134-140,1995“局所相関演算に基づく実時間ビジ
ョンシステムの開発”」では、ブロックマッチングに基
づく相関演算を行うことにより、上記問題を招くことな
く自動追尾を行っている。具体的には、追尾対象の画像
と現在注視している局所的な画像領域との間で密に相関
演算を行い、追尾対象物の動きの変化をとらえ、動きの
変化量を現在注視しているポイントに反映することによ
って、頑強かつ高速な追尾を実現している。
尾装置は、動きをとらえるための相関演算を固定された
テンプレート画像で行なっているため、上下左右の動き
には対応できる反面、前後(奥行き方向)の動きには追
尾しきれないという問題がある。すなわち、この追尾装
置が採用するブロックマッチングは、その追跡能力の頑
強さと速度面から有効である反面、このブロックマッチ
ングにおける目標物のカメラ光軸方向の動きの追跡をす
ることができないという問題を有する。
て、特開平1−24577号公報には、撮像装置の光軸
と並行に移動してくる遠方の移動物体に対しても再生画
面上で追尾することができる移動物体追尾装置が開示さ
れている。しかし、撮像装置の光軸と垂直な平面を移動
する移動物体の追跡技術が示されていないため、かかる
問題の現実的解決には至っていない。
ブロックマッチングを用いた追跡を行う場合に、目標物
のカメラ光軸方向の動きを効率良く自動追尾することが
できる自動追尾装置を提供することを目的とする。
め、第1の発明は、追跡対象物を局所相関方式で追尾す
る主カメラと、ズームレンズ及びパンチルト機構を少な
くとも有し、前記追尾対象物を拡大画像として捉えるサ
ブカメラと、前記主カメラからの画像情報とテンプレー
ト画像とのマッチングにより前記追跡対象物の移動量を
算出する第1の算出手段と、前記サブカメラが捉えた追
跡対象物の奥行き方向の動きを示すオプティカルフロー
を算出する第2の算出手段と、前記第2の算出手段によ
る算出結果に基づいて前記サブカメラのパンチルト動作
角及びズームレンズ並びに前記第1の算出手段が用いる
追跡対象物のテンプレート画像の大きさを制御する制御
手段とを具備することを特徴とする。このため、ブロッ
クマッチングを用いた追跡を行う場合に、目標物のカメ
ラ光軸方向の動きを効率良く自動追尾することができ
る。
記サブカメラのズームレンズの倍率が前記追跡対象物が
サブカメラの視野角に収まる最大倍率となるよう制御す
ることを特徴とする。このため、追跡対象物のカメラ光
軸方向の動きを検出するためのオプティカルフローを精
度良く求めることができる。
が、局所相関演算に基づいて追跡対象物の画像の大きさ
の変化を算出することを特徴とする。このため、高速に
オプティカルフローを求め、カメラ光軸方向のすばやい
動きにも追随することができる。
記第2の算出手段が算出したオプティカルフローのダイ
バージェンスを用いて前記サブカメラのズームレンズの
倍率を制御することを特徴とする。このため、計算量の
少ないダイバージェンスを利用した一層高速な自動追尾
が可能となる。
て図面を参照して説明する。まず最初に、本実施の形態
で用いる自動追尾装置の概念について説明する。本実施
の形態で用いる自動追尾装置は、図1に示すように、主
カメラ1の他にサブカメラ2を設け、このサブカメラ2
により追跡対象物の奥行き方向の移動を検出し、検出し
た変化量に基づいて主カメラ1が追跡する追跡対象物の
テンプレート画像の大きさを変え、もって追跡対象物の
奥行き方向への動きに追随できるようにしている。
する際には、追跡対象物のテンプレート画像を画像メモ
リのデータとずらしマッチングし、追跡対象物の移動方
向及び移動量を求めるため、追跡対象物の奥行き方向の
移動によって追跡対象物の大きさが変動すると、テンプ
レート画像をそのまま用いることができなくなる。この
ため、この自動追尾装置では、追跡対象物の奥行き方向
の移動に応答して、テンプレート画像の大きさを拡大又
は縮小することとしている。なお、この自動追尾装置で
は、追跡対象物の動きをオプティカルフローとして算定
し、フローベクトル場を解析することにより、追跡対象
物がカメラに近づいてくるのか離れて行くのかを算出し
ている。
2を用いて追跡対象物の奥行き方向の動きであるオプテ
ィカルフローを算出するため、追跡対象物をサブカメラ
2の画面全体で捉えることが精度上望ましい。このた
め、追跡対象物の奥行き方向の動きに連動してサブカメ
ラ2のズーム倍率及びパンチルト運動を調整し、視野の
狭いサブカメラ2の視界に追跡対象物が入るようにして
いる。したがって、もし追跡対象物が奥行き方向に遠の
いたり近づいたりした場合は、その画像全体のオプティ
カルフローの変化としてとらえることができる。
常にオプティカルフローが推定されており、得られるフ
ローベクトル場のダイバージェンス(div=du/d
x+dv/dy)を計算している。そして、このダイバ
ージェンス(div)の絶対値があるしきい値を超えた
場合には、追跡対象物が奥行き方向に動いたとみなし、
ダイバージェンス(div)の値に比例した倍率でテン
プレート画像の拡大あるいは縮小を行なう。このように
テンプレート画像を変える事によって主カメラ1は奥行
き方向の動きも含めて対象物を追尾することができる。
の構成について説明する。図1は、本実施の形態で用い
る自動追尾装置の全体構成を示す図である。同図に示す
ように、この自動追尾装置は、主カメラ1、サブカメラ
2、画像追尾演算装置3、オプティカルフロー演算部
4、制御部5からなる。
追尾する比較的視野角が広いCCDカメラモジュールで
あり、サブカメラ2は、パンチルト台7によるパンチル
ト動作が可能であり、電気信号により拡大縮小率が変化
するズームレンズ6を有するCCDカメラである。主カ
メラ1の他にサブカメラ2を設けた理由は、主カメラ1
のみでは、ウインドウ内の画像情報が少なく、追跡対象
物の動き情報であるオプティカルフローを精度良く求め
ることができないためである。すなわち、このオプティ
カルフローは、追跡対象物が存在する追跡ウインドウ内
で計算により求まるため、ウインドウ内の画像情報が多
ければ、その精度が向上する。このため、この自動追尾
装置では、追跡対象物のみを大きくとらえる補助的なカ
メラ(サブカメラ2)を設けている。なお、主カメラ1
の映像信号は画像追尾演算処理装置3に入力され、サブ
カメラ2からの映像信号はオプティカルフロー演算部4
に入力される。また、サブカメラ2のズームレンズ6を
制御する信号線は制御部5に接続され、またサブカメラ
2が載るパンチルト台7の制御信号も制御部5に接続さ
れる。
画像情報に基づいて対象物の動き量を算出する処理部で
あり、図2に示すように、画像メモリ3a、相関演算処
理部3b及びテンプレート画像3cからなる。オプティ
カルフロー演算部4は、対象画像の大きさの変化を含む
オプティカルフローを算出する処理部であり、図3に示
すように、画像メモリ4a及び相関演算処理部4bから
なる。このように、画像追尾演算処理装置3及びオプテ
ィカルフロー演算部4は、同一の機能を有する相関演算
部3b及び相関演算部4bをそれぞれ内在する。
るテンプレート画像及びその座標値を受け付け、図4に
示すように、その座標の近傍に位置する候補画像とテン
プレート画像のずれ量を求める。例えば、8×8ピクセ
ルのテンプレート画像に対して24×24ピクセルのウ
インドウの中のあらゆるずらし量に対する候補画像とテ
ンプレート画像との間で相関をとり、最も一致度が高い
ずれ量の画像を探し出しそのずれ量を求める。そして、
画像追尾演算処理装置3では、相関演算部3bが求めた
ずれ量を追跡対象の移動量とみなし、オプティカルフロ
ー演算部4では、テンプレート画像を1つ前の処理時の
画像として相関演算部4bが求めたずれ量を移動ベクト
ルとみなす。
は、例えば特開平9−73540号公報に開示される改
良型相関法を用いることもでき、この場合には、局所相
関演算に基づいて追跡対象物の動きベクトルの信頼度を
計算し、信頼度の高いフローベクトルから信頼度の低い
フローベクトルを補完により求めることになる。この改
良型相関法を用いると、若干の速度低下を伴うものの、
信頼度が低くノイズ成分の多い動きベクトルを信頼度が
高い動きベクトルで補完することができるため、オプテ
ィカルフローを正確に求め、もってノイズに強い追跡処
理を行うことができる。
プティカルフロー演算部4の出力に基づいて、サブカメ
ラ2のパンチルト動作角及びズームレンズ6と、主カメ
ラ1で追跡する追跡対象物のテンプレート画像の大きさ
を制御する制御部であり、図5に示すように、パンチル
ト機構制御部5a、ダイバージェンス計算部5b、ズー
ムレンズ制御部5c及びテンプレート画像拡大縮小処理
部5dからなる。
像追尾演算処理部3からのデータに基づいて、サブカメ
ラ2のパンチルト台7の制御を行なう処理部である。ま
た、ダイバージェンス計算部5bは、オプティカルフロ
ー演算部4からのフローベクトル場データ(u,v)に
基づいて、ダイバージェンスすなわち div=du/dx+dv/dy(スカラー量) を計算する処理部である。なお、この計算結果は、ズー
ムレンズ制御部5c及びテンプレート画像拡大縮小処理
部5dに出力される。ズームレンズ制御部5cは、この
ダイバージェンスを用いてサブカメラ2のズームレンズ
6の最適倍率の決定を行い、またテンプレート画像拡大
縮小処理部5dは、追跡対象物の奥行き方向への移動に
応答する大きさの変化に対応するために、テンプレート
画像3cの拡大縮小を行う。
跡する場合に、画像追尾演算処理装置3が、追跡対象物
の現在の座標と追尾演算処理の単位時間における対象物
の移動方向および移動量を制御部5に送り、制御部5
は、その移動量に応じた分だけパンチルト台7を動か
し、サブカメラ2に常に追跡対象物がその視野内におさ
まるようにする。このため、図6に示すように、主カメ
ラ1は追跡対象物を広視野角で追跡し、サブカメラ2は
追跡対象物を常に視野角いっぱいに得ることができる。
場合すなわちカメラに近づいたり離れたりする場合につ
いて説明する。すでに説明したように、制御部5のズー
ムレンズ制御部5cにより、サブカメラ2は常に追跡対
象物を視野角全体で捉えることができるので、追跡対象
物の奥行き方向の移動を敏感に把握できる。
の移動は、オプティカルフロー演算部4から得られるフ
ローベクトル場の変化として捉えることができるため、
ダイバージェンス計算部5bは、このフローベクトル場
の変化からベクトル場のダイバージェンス(div)を
計算して、奥行き方向の移動量を検出する。そして、主
カメラ1に写っている追跡対象物は、このダイバージェ
ンス(div)に比例した大きさに変化していることに
なるので、テンプレート画像拡大縮小処理部5dが追跡
対象物の比較の対象となるテンプレート画像3cをこの
ダイバージェンス(div)に比例した倍率で拡大又は
縮小処理する。また、サブカメラ2に写る画像の大きさ
もダイバージェンス(div)に応答して変化している
ので、ズームレンズ制御部5cが、ダイバージェンス
(div)に基づいてズームレンズ6の倍率を変化させ
る。
物の奥行き方向への移動に伴う追跡対象物の大きさの変
化を、テンプレート画像3cの拡大縮小及びズームレン
ズ6の倍率変更により吸収するため、主カメラ1及びサ
ブカメラ2がともに追跡対象物を適切に捕らえることが
でき、3次元トラッキングが可能となる。
は、主カメラの他にサブカメラを設け、サブカメラが捉
えた追跡対象物の奥行き方向の動きに基づいて、サブカ
メラのパンチルト動作角及びズームレンズ並びに追跡対
象物のテンプレート画像の大きさを制御するよう構成し
たので、下記に示す効果が得られる。 1)ブロックマッチングを用いた追跡を行う場合に、追
跡対象物のカメラ光軸方向の動きを効率良く自動追尾す
ることができる。 2)従来弱点とされてきた奥行き方向の動きについて、
オプティカルフローを求めることのできるサブカメラを
加え奥行き方向の動きを推定し、それをテンプレート画
像の拡大縮小倍率に反映させることで正確な3次元的ト
ラッキングが可能となる。
レンズの倍率を追跡対象物がサブカメラの視野角に収ま
る最大倍率となるよう制御するよう構成したので、下記
に示す効果が得られる。 1)追跡対象物のカメラ光軸方向の動きを検出するため
のオプティカルフローを精度良く求めることができる。 2)追跡対象物のカメラ光軸方向の動き情報をサブカメ
ラの全視野で求めるため動き情報が精密に求まり、それ
がテンプレート画像の拡大縮小率に反映されるためより
正確な追跡が可能となる。
いて追跡対象物の画像の大きさの変化を算出するよう構
成したので、高速にオプティカルフローを求め、カメラ
光軸方向のすばやい動きにも追随することができる。
のダイバージェンスを用いてサブカメラのズームレンズ
の倍率を制御するよう構成したので、下記に示す効果が
得られる。 1)計算量の少ないダイバージェンスをもとに光軸方向
の動きを求めているので、さらに高速にカメラ光軸方向
の動きを求めることができ、より一層高速な追跡処理が
可能となる。 2)ノイズに強くかつ対象物体のカメラ光軸方向の動き
に対応できる追跡処理が可能となる。
を示すブロック図である。
ブロック図である。
示すブロック図である。
明する説明図である。
る。
を示す説明図である。
Claims (4)
- 【請求項1】 追跡対象物を局所相関方式で追尾する主
カメラと、 ズームレンズ及びパンチルト機構を少なくとも有し、前
記追尾対象物を拡大画像として捉えるサブカメラと、 前記主カメラからの画像情報とテンプレート画像とのマ
ッチングにより前記追跡対象物の移動量を算出する第1
の算出手段と、 前記サブカメラが捉えた追跡対象物の奥行き方向の動き
を示すオプティカルフローを算出する第2の算出手段
と、 前記第2の算出手段による算出結果に基づいて前記サブ
カメラのパンチルト動作角及びズームレンズ並びに前記
第1の算出手段が用いる追跡対象物のテンプレート画像
の大きさを制御する制御手段と、 を具備することを特徴とする自動追尾装置。 - 【請求項2】 前記制御手段は、前記サブカメラのズー
ムレンズの倍率が前記追跡対象物がサブカメラの視野角
に収まる最大倍率となるよう制御することを特徴とする
請求項1記載の自動追尾装置。 - 【請求項3】 前記第2の算出手段は、局所相関演算に
基づいて追跡対象物の画像の大きさの変化を算出するこ
とを特徴とする請求項1又は2記載の自動追尾装置。 - 【請求項4】 前記制御手段は、前記第2の算出手段が
算出したオプティカルフローのダイバージェンスを用い
て前記サブカメラのズームレンズの倍率を制御すること
を特徴とする請求項3記載の自動追尾装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12922998A JP3429194B2 (ja) | 1998-05-12 | 1998-05-12 | 自動追尾装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12922998A JP3429194B2 (ja) | 1998-05-12 | 1998-05-12 | 自動追尾装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11331828A JPH11331828A (ja) | 1999-11-30 |
JP3429194B2 true JP3429194B2 (ja) | 2003-07-22 |
Family
ID=15004364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12922998A Expired - Fee Related JP3429194B2 (ja) | 1998-05-12 | 1998-05-12 | 自動追尾装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3429194B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100434877B1 (ko) * | 2002-03-23 | 2004-06-07 | (주)맥스소프트 | 변이 움직임 벡터를 이용한 스테레오 물체 추적 방법 및장치 |
KR100434876B1 (ko) * | 2002-03-23 | 2004-06-07 | (주)맥스소프트 | 스테레오 물체 추적 방법 및 시스템 |
KR100457302B1 (ko) * | 2002-10-31 | 2004-11-16 | 전자부품연구원 | 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법 |
JP4241742B2 (ja) | 2006-01-31 | 2009-03-18 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
JP5041757B2 (ja) * | 2006-08-02 | 2012-10-03 | パナソニック株式会社 | カメラ制御装置およびカメラ制御システム |
KR101082329B1 (ko) * | 2009-04-28 | 2011-11-10 | 칩스브레인글로벌주식회사 | 위치추정 영상정보 획득장치 및 이를 이용한 위치추정 영상정보 획득방법 |
CN110802594B (zh) * | 2019-11-08 | 2020-12-29 | 珠海市一微半导体有限公司 | 一种手势控制方法、芯片及遛娃机器人 |
CN111526340A (zh) * | 2020-06-21 | 2020-08-11 | 深圳天海宸光科技有限公司 | 一种球机接力追踪的***及方法 |
CN116745719A (zh) * | 2021-02-18 | 2023-09-12 | 深圳市大疆创新科技有限公司 | 控制可移动平台的方法、装置及可移动平台 |
-
1998
- 1998-05-12 JP JP12922998A patent/JP3429194B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11331828A (ja) | 1999-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3279479B2 (ja) | 映像監視方法及び装置 | |
KR101964861B1 (ko) | 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법 | |
US8170277B2 (en) | Automatic tracking apparatus and automatic tracking method | |
JP4699040B2 (ja) | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム | |
US20100245589A1 (en) | Camera control system to follow moving objects | |
US8284239B2 (en) | Asynchronous photography automobile-detecting apparatus | |
US8532191B2 (en) | Image photographing apparatus and method of controlling the same | |
US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
JP3429194B2 (ja) | 自動追尾装置 | |
WO2017101292A1 (zh) | 自动对焦的方法、装置和*** | |
CN113194253A (zh) | 去除图像反光的拍摄方法、装置和电子设备 | |
JP2002374521A (ja) | 移動体の監視方法および装置 | |
Ribaric et al. | Real-time active visual tracking system | |
JPH1169342A (ja) | 侵入物体追尾画像処理システム | |
JP3475026B2 (ja) | 形状追跡方法および装置 | |
JP2596631B2 (ja) | 自動合焦装置 | |
WO2011096571A1 (ja) | 入力装置 | |
JP3828096B2 (ja) | 物体追跡装置 | |
JP4185271B2 (ja) | 位置検出装置及び位置検出プログラム | |
JP2006012013A (ja) | 移動物体追跡装置 | |
CN115170615B (zh) | 一种基于智能摄像机的高速视觉***及其目标跟踪算法 | |
EP4228277A1 (en) | Automatic tracking method and tracking system applied to ptz camera device | |
WO2023223704A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2006293629A (ja) | 移動物体の高さ検出方法及び装置並びに物体形状判定方法 | |
JP2004242048A (ja) | 広視野角・高解像度映像撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080516 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090516 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100516 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |