JP3668092B2 - 画像処理装置及びこれを用いた目標検出追随装置 - Google Patents
画像処理装置及びこれを用いた目標検出追随装置 Download PDFInfo
- Publication number
- JP3668092B2 JP3668092B2 JP2000080409A JP2000080409A JP3668092B2 JP 3668092 B2 JP3668092 B2 JP 3668092B2 JP 2000080409 A JP2000080409 A JP 2000080409A JP 2000080409 A JP2000080409 A JP 2000080409A JP 3668092 B2 JP3668092 B2 JP 3668092B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- label
- feature
- frame
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
Description
【発明の属する技術分野】
この発明は、画像処理装置であり、テレビカメラや赤外線撮像装置等の撮像装置から供給される映像信号から領域毎に抽出した特徴情報に基づいて目標を検出し、撮像装置の向きを制御することで視野内の目標を追随させることができる目標検出追随装置に関する。
【0002】
【従来の技術】
最近、誘導弾の誘導精度において高い水準が求められてきており、そのための撮像装置の目標検出追随装置においても高い信頼性が望まれている。目標検出追随装置とは、目標物を含んだ映像信号を解析し抽出した目標情報に基づいて、対象物を捉える撮像装置の方向を制御させる装置である。
【0003】
つまり目標検出追随装置においては、テレビカメラや赤外線撮像装置から供給される映像信号をデジタル信号化し領域分割して、画像信号内に目標候補となるべき画像が検出されれば、画像毎にラベルを与えラベルテーブルを作成する。そして、ラベル毎に画像信号から、特徴信号、例えば領域毎の濃度最大値、最小値、それらの座標、大きさ、総和等の特徴を抽出する。そしてこの特徴情報に基づいて目標を抽出し撮像装置の方向を制御しており、これにより撮像装置は目標の追随を可能とする。
【0004】
【発明が解決しようとする課題】
しかしながらこのような目標検出追随装置において、ラベリング処理により作成されるラベルテーブルは、フレーム毎に独立して扱われているため、同一の目標物の画像に各フレーム間で必ずしも同一のラベルが与えられてはいない。従って例えば、あるフレームでは3番目のラベルが与えられている目標物は、次のフレームでは2番目のラベルが与えられることになる。従ってラベル毎に特徴情報を編集しても、この目標物がどのように移動しているか等の情報としては用いることができない。従って、ラベルテーブルに基づく特徴情報は、各フレームごとに独立した瞬間的なデータとしてしか利用できず、各ラベルに対応した目標物の時間的に連続した運動を示すデータとしては制御に利用することができないという問題がある。
【0005】
本発明は、目標物に与えられるラベルを1フレームごとの指標として扱うのではなく、複数のフレーム間で同一の目標物に同一ラベルが与えられるようにラベルテーブルを修正しラベル毎の特徴情報を連続した目標物の運動情報として利用することにより、更に信頼性が向上した目標検出追随装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は、撮像装置で得られた映像信号を、フレーム毎のデジタル信号の画像信号に変換する変換部と、前記変換部が変換した画像信号について仮ラベルを付け、仮ラベル付けされた画像について特徴情報を取得する特徴抽出部と、前記特徴抽出部が抽出した特徴情報と、供給されるフレーム連結情報とに基づき、目標物の特徴情報を抽出する目標抽出と、前記目標抽出部が抽出した目標物の特徴情報に基づいて、当該撮像装置の方向を制御するサーボ回路部と、前記特徴抽出部による前記仮ラベルを、一塊りの画素に対してラベルが必ず一つとなるように1フレームの画像信号の処理の後に正式ラベルとするリラベリング処理を行い、前記正式ラベルを、複数のフレーム間で同一の目的物の候補画像について同一のラベルが割り当てられるように修正することで前記フレーム連結情報を取得し、これを前記目標抽出部に供給するリラベリング・フレーム連結修正部とを有することを特徴とする目標検出追随装置である。
【0007】
本発明の目標検出追随装置は上述したように、目標物の候補画像を検出してラベル付けを行った後に、フレーム連結調査回路8によって複数のフレーム間でこのラベル付けが同一の目標の候補画像について行われているかを調査しこれを共通なものに更新するものである。これにより、ラベル毎に抽出された画像特徴情報は、1フレームだけの瞬間的に有効な情報ではなく複数フレームに渡って有効となるので、例えば目標物がある速度である方向に移動していくという連続的な情報を得ることができこれにより従来以上に信頼性の向上した撮像装置の目標検出追随装置を提供することが可能となる。
【0014】
【発明の実施の形態】
以下、この発明の実施形態を図面を用いて詳細に説明する。
【0015】
本発明の第1の実施形態は、従来装置では1フレームごとに他のフレームとは無関係に求められていた目標物の候補画像に対応されるラベル付けによるラベルテーブルを、複数のフレームに渡って共通のものとして修正し、これによりラベル毎の画像特徴情報を活用して高い信頼性をもつ目標検出追随装置を提供するものである。
【0016】
図1は、本発明の第1の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラムであり、図3は、この目標検出追随装置の動作の一例を示すタイミングチャートである。図1において、本発明に係る目標検出追随装置の一例であるこの装置は、目標物を捉えようとする撮像装置1と、ここから与えられる映像信号を受けてデジタル信号とするためのA/D変換回路2と、ここからのデジタル信号化された映像信号を受け必要な前処理を行う前処理回路3とを有している。更にこの前処理回路3に接続される画像特徴部分を強調処理するための特徴強調回路4と、ここからの画像信号を所定の領域に分割する領域分割回路5と、更に画素の連結状態を調査してラベル付けが必要と判断した画像に対してラベル付けを行う連結踏査回路6とを有している。
【0017】
更に目標検出追随装置は、連結調査回路6からラベル情報が供給されるラベルテーブルT1と、この仮ラベルデータを格納するための画像メモリM1と、このラベルテーブルT1に必要な修正を加えるテーブル修正制御回路9と、更に再びラベリングを行うリラベリング回路12と、このリラベリングしたラベルテーブルを格納する画像メモリM2と、前処理回路3からの画像情報を受ける画像メモリ特徴強調M3と、このラベルテーブルに基づいてラベル毎の画像の特徴演算を行う特徴演算部7と、ここで求められたラベル毎の特徴演算による特徴テーブルを格納するための特徴テーブルT2と、同様にこのラベルテーブルに基づいて複数のフレーム間の連結調査とを行い、複数のフレーム間に渡り共通したラベルが与えられるべくラベルテーブルを変更するフレーム連結調査回路8と、変更したラベルテーブルが格納されるためのフレーム連結テーブルT3と、特徴テーブルT2とフレーム連結テーブルT3とに基づいて目標物の特徴情報を抽出する目標抽出処理回路13とを有しており、更にこの目標抽出処理回路13から制御信号を受け撮像装置の方向を制御するサーボ回路14とを更に有している。
【0018】
このような構成において、図3のタイミングチャートを用いならが動作の概要を説明すると、撮像装置1で得られた映像信号は、A/D変換回路2によりデジタル信号化され、前処理回路3にて必要な前処理が行われ、特徴強調回路4により画像特徴部分を強調処理され、更に領域分割回路5により画像信号を所定の領域に分割され、最後に、連結踏査回路6によって画素の連結状態を調査してラベル付けが必要と判断した画像に対してラベル付けが行われる。この動作がタイミングチャートの(1)〜(6)の部分で示されている。次に与えられたラベルテーブルは、テーブル修正制御回路9により必要なテーブル修正を受け、その後、この仮ラベルはリラベリング回路12によって、正式なラベルへと置き換えられる。そしてラベル信号が本来の物となると、このラベルテーブルに基づいてラベル毎の濃度最大値、最小値、それらの座標、大きさ、総和等の特徴演算の処理が行われその結果が特徴テーブルT2として格納される。この処理と並行して、各フレームの間で同一の目的物の候補画像について同一のラベルが割り当てられいるかの調査処理がフレーム連結調査回路8により行われ、必要なラベルテーブルの修正が行われてその結果はフレーム連結テーブルT3へと格納される。
【0019】
このフレーム連結調査回路8の処理により、従来は1フレームごとに独立して時間的に分断されていたラベルテーブル情報も、時間的に連続して一貫したラベルとして整理されることによって、一つの目標物の移動速度や移動方向、その移動の軌跡等の特徴テーブルT2を目標抽出処理回路13によって利用することが可能となる。そして、最後にこの目標抽出処理回路13により抽出された目標物の特徴情報によって、撮像装置1の方向がサーボ回路14により制御することができる。サーボ回路14は常時所定の目標のデータが得られるように与えられる誤差信号に基づいて撮像装置1の向きを制御するもので、これによって撮像装置1の撮像方向は所定の目標を追随するようになる。
【0020】
このように、本発明の第1の実施形態に係る目標検出追随装置によれば、複数のフレーム間に渡ってフレーム連結調査回路8の処理によりラベルテーブルを統一することによって、特徴テーブルの情報が連続した目標物の移動速度や移動方向、その移動の軌跡等として扱うことができるため、高い信頼性をもつ目標検出追随装置を提供することができる。
【0021】
更に本発明の第2実施形態について、図面を用いて詳細に説明する。第2実施形態は上述した第1実施形態のフレーム連結調査処理、つまり、複数のフレーム間で同一の目標候補画像に同一のラベルを与えることで目標候補画像の特徴情報を複数フレームに渡るものとして利用することを可能とする処理を行うものであり、更に処理速度の向上を意図するものである。
【0022】
つまり、目標候補画像のラベリング処理にとって比較的時間を要している工程として、一塊りの画素に対してラベルが必ず一つとなるように1フレームの画像信号を全て処理した後に行うリラベリング処理があるが、第1実施形態では、この処理が完了した後に上述した特徴演算部7による特徴演算処理やフレーム連結調査回路8によるフレーム連結調査処理がなされている。しかしながら第2の実施形態では、この時間を要するリラベリング処理を待つことなく、連結調査回路6にて目標候補画像に仮ラベルを付与した時点で特徴演算処理やフレーム連結処理を行い、その後、ラベルテーブルで必要なラベルの訂正をするという方法を実施するものである。こうすることにより、比較的時間のかかるリラベリング処理の完了を待たずに特徴演算処理を終えサーボ回路を制御することができるため、全体の処理時間を短縮することが可能となるものである。
【0023】
図2は、本発明の第2の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム、図4は、その動作の一例を示すタイミングチャートである。但し、図2において図1と同一部分には同一符号を付して示し、ここでは異なる部分についてのみ述べる。
【0024】
第2実施形態においては、リラベリング処理の完了を待たずに、連結調査回路6にて目標候補画像に仮ラベルを付与した時点で特徴演算処理やフレーム連結処理を行うものであり、前処理回路3の出力から与えられる画像情報は、画像メモリ特徴強調M3を介さずに直接に特徴演算部7へと供給される。更に、連結調査回路6に特徴演算回路7とフレーム連結調査回路8とが接続されており、連結調査回路6により仮ラベルが付与された直後に、この仮ラベル毎に特徴演算回路7により特徴演算処理がなされ、これと並行してフレーム連結調査回路8によりフレーム連結調査処理がなされる。その後、テーブル修正制御回路9により必要なテーブルの修正が行われると、この修正と同様の修正が、特徴テーブル修正制御回路10により特徴テーブルT2へ、更にフレーム連結修正回路11によりフレーム連結テーブルT3へと与えられる。
【0025】
そして、それぞれ修正が加えられた特徴テーブルT2とフレーム連結テーブルT3とに基づいて、目標抽出処理回路13により目標部の画像が抽出される。そして、この抽出結果がサーボ回路14により撮像装置1の方向の制御を行う。一方、リラベリング処理がリラベリング回路12により行われ、この結果が画像メモリM2を介してフレーム連結調査回路8に与えられるが、この結果は、次のフレームの仮ラベルが与えられる以前までに与えられてフレーム連結処理が行われれるのであれば、第1実施形態と同等の処理結果を得ることができることとなる。
【0026】
従って第2実施形態の処理は、図4のタイミングチャートが示すように非常に時間がかかるリベラリング処理(12)を後回しにして、先にテーブル修正の処理(9)やこれと同等のテーブル修正(10)、フレーム連結修正(11)を先に行うことで、目標抽出処理(13)やサーボ回路14による制御(14)が処理時間t2によって行うことができる。これは、第1実施形態の処理時間t1の場合と比較するとき、処理時間が非常に短縮されたことが判る。
【0027】
従って第2実施形態に係る目標検出追随装置は、仮ラベル画像からフレーム連結調査を行うことにより、実時間での目標検出が可能となり、これによって所定の対象物を良好に追随することが可能になる。
【0028】
なお、これらの実施形態の記載は、本発明の製造・使用をこの技術分野の当業者に容易にするものであり、これらの様々な変形例が、発明的な飛躍なしに当業者により可能である。
【0029】
例えば上記実施形態では、ハードウェアで構成した場合について説明したが、この発明はこれに限らずソフトウェアで実現する場合にも実施可能であることは言うまでもない。このように本発明は、記載された実施形態に限定されるものではなく、この原理と新規な特徴に対応した広い範囲での形態に応じるものであることは言うまでもない。
【0030】
【発明の効果】
以上詳述したように本発明によれば、第1実施形態において、複数のフレーム間に渡ってフレーム連結調査回路の処理によりラベルテーブルを統一することによって、特徴テーブルの情報が連続した目標物の移動速度や移動方向、その移動の軌跡等として扱うことができるため、高い信頼性をもつ目標検出追随装置を提供することができる。
【0031】
又更に第2実施形態においては、仮ラベルが与えられた段階でフレーム連結調査や特徴抽出を行い時間のかかるリラベリング処理を後に行うことにより全体の処理時間を短縮化することができ、これにより実時間での目標検出を可能とする高い信頼性をもつ目標検出追随装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム。
【図2】本発明の第2の実施形態に係る目標検出追随装置の一例を示すブロックダイアグラム。
【図3】本発明の第1の実施形態に係る目標検出追随装置の動作の一例を示すタイミングチャート。
【図4】本発明の第2の実施形態に係る目標検出追随装置の動作の一例を示すタイミングチャート。
【符号の説明】
1 … 撮像装置
2 … A/D変換回路
3 … 前処理回路
4 … 特徴強調回路
5 … 領域分割回路
6 … 連結調査回路
7 … 特徴演算部
8 … フレーム連結調査回路
9 … テーブル修正制御回路
10 … 特徴テーブル修正制御回路
11 … フレーム連結修正回路
12 … リラベリング回路
13 … 目標抽出回路
14 … サーボ回路
T1 … 目標抽出回路
T2 … 特徴テーブル
T3 … フレーム連結テーブル
M1 … 画像メモリ(仮ラベル)
M2 … 画像メモリ
M3 … 画像メモリ特徴強調
Claims (2)
- 撮像装置で得られた映像信号を、フレーム毎のデジタル信号の画像信号に変換する変換部と、
前記変換部が変換した画像信号について仮ラベルを付け、仮ラベル付けされた画像について特徴情報を取得する特徴抽出部と、
前記特徴抽出部が抽出した特徴情報と、供給されるフレーム連結情報とに基づき、目標物の特徴情報を抽出する目標抽出部と、
前記目標抽出部が抽出した目標物の特徴情報に基づいて、当該撮像装置の方向を制御するサーボ回路部と、
前記特徴抽出部による前記仮ラベルを、一塊りの画素に対してラベルが必ず一つとなるように1フレームの画像信号の処理の後に正式ラベルとするリラベリング処理を行い、前記正式ラベルを、複数のフレーム間で同一の目的物の候補画像について同一のラベルが割り当てられるように修正することで前記フレーム連結情報を取得し、これを前記目標抽出部に供給するリラベリング・フレーム連結修正部と、
を有することを特徴とする目標検出追随装置。 - 前記特徴抽出部は、前記仮ラベルのラベルテーブル、前記特徴情報である特徴テーブル、前記フレーム連結情報であるフレーム連結テーブルをそれぞれ生成し、これらを用いることを特徴とする請求項1記載の目標検出追随装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000080409A JP3668092B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置及びこれを用いた目標検出追随装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000080409A JP3668092B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置及びこれを用いた目標検出追随装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001266157A JP2001266157A (ja) | 2001-09-28 |
JP3668092B2 true JP3668092B2 (ja) | 2005-07-06 |
Family
ID=18597514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000080409A Expired - Lifetime JP3668092B2 (ja) | 2000-03-22 | 2000-03-22 | 画像処理装置及びこれを用いた目標検出追随装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3668092B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042808A (ja) * | 2006-08-10 | 2008-02-21 | Toshiba Corp | 目標検出追随装置 |
-
2000
- 2000-03-22 JP JP2000080409A patent/JP3668092B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042808A (ja) * | 2006-08-10 | 2008-02-21 | Toshiba Corp | 目標検出追随装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2001266157A (ja) | 2001-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160286138A1 (en) | Apparatus and method for stitching panoramaic video | |
US7024020B2 (en) | Apparatus and method for generating object-labeled image in video sequence | |
US11715280B2 (en) | Object detection device and control method | |
WO2005055008A3 (en) | Automated segmentation, visualization and analysis of medical images | |
CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及*** | |
JP2000295532A (ja) | 画像処理装置及び画像処理方法及び記録媒体及び画像処理システム | |
CN106447607A (zh) | 一种图像拼接方法及装置 | |
JPH09102910A (ja) | 動画像処理装置および方法 | |
US5887083A (en) | Method of processing image information based on object model | |
KR20200096426A (ko) | 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램 | |
JP3668092B2 (ja) | 画像処理装置及びこれを用いた目標検出追随装置 | |
CN111160340A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
JP3845561B2 (ja) | 画像処理装置、及びこれを用いた目標検出追随装置 | |
CN113688680B (zh) | 一种智能识别与追踪*** | |
WO1998012869A1 (fr) | Appareil de mesure de mouvement | |
JP6350331B2 (ja) | 追尾装置、追尾方法及び追尾プログラム | |
JPH0664614B2 (ja) | 階層化構造的テンプレ−ト・マツチング方法 | |
CN111242087B (zh) | 物体识别方法及装置 | |
CN106934363A (zh) | 应用于视频品牌识别***的实时跟踪模块 | |
JP2006187386A (ja) | 内視鏡装置、動体検出方法、及びそのプログラム | |
JP4537645B2 (ja) | 物体追跡装置および物体追跡装置制御方法 | |
JPH10336506A (ja) | 画像処理システム、追尾システム,追尾方法,記憶媒体 | |
JP2004110542A (ja) | 目標検出装置および目標検出方法 | |
JP3836666B2 (ja) | 移動目標検出装置及び移動目標検出方法 | |
JPS61145689A (ja) | 領域ラベリング回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050407 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3668092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |