JP6934386B2 - 動体追尾装置及びそのプログラム - Google Patents
動体追尾装置及びそのプログラム Download PDFInfo
- Publication number
- JP6934386B2 JP6934386B2 JP2017193646A JP2017193646A JP6934386B2 JP 6934386 B2 JP6934386 B2 JP 6934386B2 JP 2017193646 A JP2017193646 A JP 2017193646A JP 2017193646 A JP2017193646 A JP 2017193646A JP 6934386 B2 JP6934386 B2 JP 6934386B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- moving object
- aircraft
- sensitivity mode
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 113
- 238000013459 approach Methods 0.000 claims description 40
- 230000035945 sensitivity Effects 0.000 claims description 36
- 230000002265 prevention Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
特許文献1に記載の発明は、航空機が発するADS-B(Automatic Dependent Surveillance-Broadcast)信号を用いて、航空機の進入路や滑走方向を特定し、特定した方向にロボットカメラを向け、テンプレートマッチングにより航空機を追尾するものである。
また、特許文献2に記載の発明は、風向きや風速の計測データから航空機の進入路や滑走方向を予測し、特定した方向にロボットカメラを向け、テンプレートマッチングにより航空機を追尾するものである。
本発明にかかる動体追尾装置は、センサ映像を用いると共に、フレーム間差分による動体検出と、エリア情報による追尾対象の決定を行うので、昼夜を問わずに様々な動体を追尾することができる。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図1を参照し、本発明の実施形態にかかる航空機追尾撮影システム1の概略について説明する。
なお、図2では、センサカメラ10R,10C,10Lの撮影画角が重複しないように破線で図示したが、実際には重複している。
動体検出装置20は、センサカメラ10からのセンサ映像を画像解析し、動体を検出し、その検出結果(動体検出情報)を位置特定・雲台制御装置30に出力する。本実施形態では、動体検出装置20は、追尾対象となる航空機の他、自動車、人物、鳥などの動体についても検出し、その動体についての動体検出情報を出力する。
なお、追尾対象とは、航空機追尾撮影システム1で追尾する対象となる1つの動体のことである。本実施形態では、空港にいる航空機のうち、離発着中の航空機が追尾対象であることとする。
本実施形態では、ロボットカメラ40は、センサカメラ10と同様、空港中央の建物屋上に1台設置している。
図4を参照し、動体検出装置20の構成について説明する。
動体検出装置20は、図4に示すように、昼夜判定手段21と、記憶手段22と、差分画像生成手段23と、差分領域検出手段24と、ライト検出手段25と、動体検出手段26とを備える。
なお、3台の動体検出装置20は、同一構成のため、1台のみ説明する。
図5を参照し、エリア情報の設定を具体的に説明する。
ここでは、センサカメラ10Rのセンサ映像90Rにエリア情報を設定することとして説明する。
滑走路エリアRは、センサ映像90Rに含まれる滑走路の領域を表す。
上空エリアSは、進入路エリアAL以外の空域を表す。
マスクエリアMは、例えば、展望デッキ、空港施設、鳥が多い箇所、草木、水溜りなど、誤検出が多かったり、航空機を追尾する必要がない領域を表す。
進入路エリアAHは、図5の進入路エリアALと同様、離発着する航空機が進入する領域を表す。高感度モードでは低感度モードに比べてノイズなどを誤検出する可能性が高いので、進入路エリアAH,ALは、異なる位置及び大きさでセンサ映像90R内に設定できる。
誘導路エリアTは、センサ映像90Rに含まれる誘導路の領域を表す。本実施形態では、誘導路エリアTが誤検出防止エリアに対応する。
夜間用進入路エリアANは、進入路エリアAH,ALと同様、離発着する航空機が進入する領域を表す。夜間の場合、夜間用進入路エリアANは、航空機のライトを検出する領域となるので、航空機のライト以外を誤検出しないように設定することが好ましい。
図8に示すように、低感度モードでは、エリア情報として、滑走路エリアRと、マスクエリアMと、上空エリアSとをセンサ映像90C内に設定する。また、図9に示すように、高感度モードでは、エリア情報として、誘導路エリアTをセンサ映像90R内に設定する。
なお、センサ映像90Cに進入路が映らないので、進入路エリアを設定していない。
また、センサ映像90Lは、センサ映像90Rと同様にエリア情報を設定できるので、説明を省略する。
変換情報は、センサカメラ10とロボットカメラ40との画角を変換するパラメータの情報である。この変換情報は、センサカメラ10で検出した航空機の速度やサイズをロボットカメラ40に映る航空機の速度やサイズに合わせるために必要な情報である。本実施形態では、変換情報は、各センサカメラ10の撮影画角に応じて、センサカメラ10毎に予め算出することとする。
なお、ライト検出手段25は、昼夜判定手段21からの判定結果が昼間の場合、処理を行わない。
なお、以下の例では、航空機が動体であることとして説明するが、実際には、航空機以外の動体が検出される場合もある。
昼間の場合、動体検出手段26は、記憶手段22のエリア情報を参照し、抽出した差分領域の所属エリアに応じて動体を検出する。本実施形態では、動体検出手段26は、マスクエリアM以外の各エリア(進入路エリアAL、上空エリアS、滑走路エリアR、誘導路エリアT)から、動体を検出する。
なお、図12,図13では、航空機Obj3のうち、動体として検出された箇所を一点鎖線で図示した。
夜間の場合、動体検出手段26は、昼間と同様、低感度モードのみで動体を検出する。具体的には、動体検出手段26は、低感度モードにおいて、マスクエリアM以外の各エリア(進入路エリアAL、上空エリアS)に含まれる動体を検出する。一方、動体検出手段26は、低感度モードにおいて、マスクエリアMに含まれる動体を検出しない。
なお、夜間の場合、動体検出手段26は、低感度モード及び高感度モードを併用しないので、滑走路エリアR及び誘導路エリアTの動体を検出することがない。
離陸での滑走開始時や着陸での滑走路進入時など、航空機が遠方に位置し、速度が遅い場合、差分領域の検出精度が低くなる。このとき、ロボットカメラ40で撮影を行うと、差分領域の誤検出により航空機が撮影画角から外れてしまう可能性が高い。そこで、追尾制御の代わりに、遠方の航空機が撮影画角から外れないように定位置制御を行う必要がある。
夜間の場合、航空機の機体がセンサ映像90に映らず、航空機を検出できる可能性が低い。そこで、動体検出手段26は、低感度モードで動体が検出されない場合、ライト検出手段25で検出された夜間用進入路エリアAN内のライトを、遠方の航空機として検出する。これにより、航空機追尾撮影システム1では、夜間でも定位置制御が可能となる。
図4に戻り、位置特定・雲台制御装置30の構成について説明する。
位置特定・雲台制御装置30は、図4に示すように、情報集約手段31と、識別情報付加手段33と、追尾対象決定手段(追尾手段)35と、雲台制御手段(ロボットカメラ制御手段)37とを備える。
その後、識別情報付加手段33は、動体検出情報を追尾対象決定手段35に出力する。
以下、スコアに基づいた航空機の決定について、具体的に説明する。
本実施形態では、追尾対象決定手段35は、特定情報が付加されている動体検出情報について、スコアを算出する。つまり、追尾対象決定手段35は、特定情報が付加されていない動体検出情報から、スコアを算出しない。
ここで、追尾対象決定手段35は、スコアに基づいた航空機の決定の他、以下の処理を行ってもよい。
例えば、追尾対象決定手段35は、追尾対象となる航空機が存在せず、かつ、動体検出装置20(動体検出手段26)から遠方動体検出情報が入力された場合、定位置制御を行うと決定する。この場合、追尾対象決定手段35は、定位置制御指令を雲台制御手段37に出力する。この定位置制御とは、例えば、図6の進入路エリアAHを撮影映像に収めるように予め設定された撮影方向及び撮影画角で、ロボットカメラ40に撮影させることである。
雲台制御手段37は、追尾対象決定手段35からの追尾対象の位置に基づいて、ロボットカメラ40(雲台43)を制御するものである。本実施形態では、雲台制御手段37は、追尾対象となる航空機をロボットカメラ40が追尾して撮影できるように、一般的なフィードバック制御を行う。
なお、図15,図16では、添え字tが時刻を表し、航空機として検出された領域を一点鎖線で図示した。
図17を参照し、航空機追尾撮影システム1の動作について説明する。
なお、図17では、図面を見やすくするため、センサカメラ10及び動体検出装置20を1台のみ図示した。また、各センサカメラ10及び各動体検出装置20の処理は同一のため、重複説明を省略する。
また、図17では、記憶手段22がエリア情報及び変換情報を記憶しており、昼夜判定手段21が昼間と判定したこととする。
差分画像生成手段23は、センサ映像から差分画像を生成する。つまり、差分画像生成手段23は、センサ映像で前後するフレーム間で画素毎に輝度差を求め、求めた輝度差を表す差分画像を生成する(ステップS2)。
動体検出手段26は、ステップS4で生成した動体検出情報を情報集約手段31に出力する(ステップS5)。
ロボットカメラ40は、制御信号に基づいて航空機を追尾、撮影する(ステップS11)。
以上のように、本発明の実施形態にかかる航空機追尾撮影システム1は、フレーム間差分による動体検出と、エリア情報による追尾対象の決定を行うので、テンプレートマッチングのように夜間で急激に検出精度が低下せず、昼夜を問わずに航空機を正確に追尾することができる。
さらに、航空機追尾撮影システム1は、センサ映像90を用いるので、ADS-B信号を発しない航空機も追尾することができる。
前記した実施形態では、センサカメラが3台であることとして説明したが、本発明は、これに限定されない。例えば、1台の超広角カメラをセンサカメラとして用いてもよく、2台以上のセンサカメラを用いてもよい。
また、前記した実施形態では、動体検出装置及び位置特定・雲台制御装置が別々の構成であることとして説明したが、本発明は、動体検出装置及び位置特定・雲台制御装置を一体化してもよい。
10,10R,10C,10L センサカメラ
20,20R,20C,20L 動体検出装置
21 昼夜判定手段
22 記憶手段
23 差分画像生成手段
24 差分領域検出手段
25 動体検出手段
26 ライト検出手段
30 位置特定・雲台制御装置
31 情報集約手段
33 識別情報付加手段
35 追尾対象決定手段(追尾手段)
37 雲台制御手段(ロボットカメラ制御手段)
40 ロボットカメラ
Claims (8)
- センサカメラで動体を撮影したセンサ映像を用いて、追尾対象となる前記動体を追尾する動体追尾装置であって、
前記センサ映像から差分画像を生成する差分画像生成手段と、
低感度モード及び前記低感度モードより検出感度が高い高感度モードのそれぞれで、前記差分画像から差分領域を検出する差分領域検出手段と、
前記低感度モードにおいて、前記センサ映像内で前記動体を前記追尾対象として特定するための追尾対象特定エリア及び前記追尾対象が通過しないマスクエリアと、前記高感度モードにおいて、前記追尾対象の検出エリア誤りを防止するための誤検出防止エリアとを表すエリア情報を予め記憶する記憶手段と、
予め設定されたフレーム数以上にわたり位置が変化する前記差分領域を抽出し、前記エリア情報を参照し、抽出した前記差分領域の位置及び前記検出感度により前記動体を検出し、検出した当該動体の位置及び所属エリアを表す動体検出情報を生成する動体検出手段と、
前記動体検出情報に基づいて前記動体毎にスコアを算出し、算出した前記スコアに基づいて前記追尾対象を決定する追尾手段と、
を備えることを特徴とする動体追尾装置。 - 前記追尾対象は、航空機であり、
前記記憶手段は、前記追尾対象特定エリアとして前記センサ映像内の進入路エリア及び滑走路エリアを表し、前記誤検出防止エリアとして前記センサ映像内の誘導路エリアを表す前記エリア情報を記憶し、
前記動体検出情報に基づいて前記動体が同一であるか否かを判定し、同一の前記動体に同一の識別情報を付加し、前記動体が前記進入路エリア又は前記滑走路エリアを過去に通過した場合、当該動体を航空機として特定する識別情報付加手段、をさらに備え、
前記追尾手段は、前記識別情報付加手段が航空機として特定した動体のスコアを算出することを特徴とする請求項1に記載の動体追尾装置。 - 前記記憶手段は、前記低感度モードにおいて、前記センサ映像内の上空エリアがさらに設定された前記エリア情報を記憶し、
前記動体検出手段は、
前記低感度モードで前記進入路エリア又は前記上空エリアに含まれる動体を検出し、
前記低感度モードで前記滑走路エリアに含まれ、かつ、前記高感度モードで前記誘導路エリアに含まれない動体を前記滑走路エリアの動体として検出し、
前記低感度モードで前記滑走路エリアに含まれ、かつ、前記高感度モードで前記誘導路エリアに含まれる動体を前記誘導路エリアの動体として検出し、
前記低感度モードで前記マスクエリアに含まれる動体を検出しないことを特徴とする請求項2に記載の動体追尾装置。 - 前記識別情報付加手段は、同一の前記識別情報が付与された動体検出情報について、前記動体の位置変化量に基づいて前記動体の速度を算出し、
前記追尾手段は、
前記動体に応じて予め設定された速度スコアを加算し、
前記動体の所属エリアが前記上空エリアの場合、前記速度スコアよりも高い第1のエリアスコアを加算し、
前記動体の所属エリアが前記進入路エリア又は前記滑走路エリアの場合、前記第1のエリアスコアよりも高い第2のエリアスコアを加算し、
前記速度スコア及びエリアスコアの合計値が最も高くなる動体を前記追尾対象として決定することを特徴とする請求項3に記載の動体追尾装置。 - 時刻に基づいて夜間であるか否かを判定する昼夜判定手段、をさらに備え、
前記差分領域検出手段は、夜間と判定されたときに前記低感度モードのみで前記差分領域を検出し、
前記動体検出手段は、夜間と判定されたときに、前記低感度モードで前記進入路エリアに含まれる動体を検出し、前記低感度モードで前記マスクエリアに含まれる動体を検出しないことを特徴とする請求項2から請求項4の何れか一項に記載の動体追尾装置。 - 前記追尾手段が出力した追尾対象の位置に基づいて、前記動体を撮影するロボットカメラを制御するロボットカメラ制御手段、をさらに備えることを特徴とする請求項2から請求項5の何れか一項に記載の動体追尾装置。
- 前記記憶手段は、前記高感度モードにおいて前記進入路エリアと、夜間用進入路エリアとがさらに設定された前記エリア情報を記憶し、
夜間と判定されたとき、前記センサ映像内の前記夜間用進入路エリアにおいて、予め設定された輝度値以上の画素エリアを、前記航空機のライトとして検出するライト検出手段、をさらに備え、
前記動体検出手段は、
昼間と判定されたときに、前記低感度モードで前記進入路エリアに含まれず、かつ、前記高感度モードで前記進入路エリアに含まれる動体を遠方動体としてさらに検出し、
夜間と判定されたときに、前記低感度モードで前記動体が検出されない場合、前記ライト検出手段が検出した航空機のライトを前記遠方動体としてさらに検出し、
前記追尾手段は、前記追尾対象が存在せず、かつ、前記遠方動体を検出した場合、定位置制御を行うと決定し、
前記ロボットカメラ制御手段は、前記追尾手段が前記定位置制御を行うと決定した場合、予め設定された撮影方向及び撮影画角で撮影するように前記ロボットカメラを制御することを特徴とする請求項6に記載の動体追尾装置。 - コンピュータを、請求項1から請求項7の何れか一項に記載の動体追尾装置として機能させるための動体追尾プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017193646A JP6934386B2 (ja) | 2017-10-03 | 2017-10-03 | 動体追尾装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017193646A JP6934386B2 (ja) | 2017-10-03 | 2017-10-03 | 動体追尾装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019068325A JP2019068325A (ja) | 2019-04-25 |
JP6934386B2 true JP6934386B2 (ja) | 2021-09-15 |
Family
ID=66340786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017193646A Active JP6934386B2 (ja) | 2017-10-03 | 2017-10-03 | 動体追尾装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6934386B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200388171A1 (en) * | 2019-06-04 | 2020-12-10 | Sucxess LLC | System for recording images of landing and departing aircraft |
JP7447417B2 (ja) * | 2019-09-27 | 2024-03-12 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0514898A (ja) * | 1991-06-28 | 1993-01-22 | Toshiba Corp | 画像監視装置 |
JP4145558B2 (ja) * | 2002-04-24 | 2008-09-03 | 株式会社東芝 | 空港管制支援システム |
JP4723896B2 (ja) * | 2005-04-20 | 2011-07-13 | 株式会社東芝 | 走行誘導支援システム及び走行誘導支援方法 |
JP4311457B2 (ja) * | 2007-02-15 | 2009-08-12 | ソニー株式会社 | 動き検出装置、動き検出方法、撮像装置および監視システム |
JP6131519B2 (ja) * | 2012-01-31 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置、及び画像処理プログラム |
US8929603B1 (en) * | 2013-03-15 | 2015-01-06 | Puretech Systems, Inc. | Autonomous lock-on target tracking with geospatial-aware PTZ cameras |
WO2015122161A1 (ja) * | 2014-02-14 | 2015-08-20 | 日本電気株式会社 | 映像解析システム |
JP6413530B2 (ja) * | 2014-09-12 | 2018-10-31 | 沖電気工業株式会社 | 監視システム、映像解析装置、映像解析方法およびプログラム |
JP6593995B2 (ja) * | 2015-01-26 | 2019-10-23 | 三菱電機株式会社 | 空港監視装置 |
-
2017
- 2017-10-03 JP JP2017193646A patent/JP6934386B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019068325A (ja) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102581779B1 (ko) | 교차로충돌방지시스템 및 교차로충돌방지방법 | |
CN106874854B (zh) | 基于嵌入式平台的无人机车辆跟踪方法 | |
US8554462B2 (en) | Unmanned aerial vehicle and method for controlling the unmanned aerial vehicle | |
US11010622B2 (en) | Infrastructure-free NLoS obstacle detection for autonomous cars | |
CN110675592B (zh) | 一种基于目标识别的高空抛物预警防护***和控制方法 | |
KR102177655B1 (ko) | Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템 | |
US20160232410A1 (en) | Vehicle speed detection | |
US20130329052A1 (en) | Surveillance system and a method for detecting a foreign object, debris, or damage in an airfield | |
US11436839B2 (en) | Systems and methods of detecting moving obstacles | |
JP5904069B2 (ja) | 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム | |
US11483484B2 (en) | Systems and methods for imaging of moving objects using multiple cameras | |
Gulati et al. | Image processing in intelligent traffic management | |
CN114359714A (zh) | 基于事件相机的无人体避障方法、装置及智能无人体 | |
KR102479959B1 (ko) | 인공지능 기반 통합 경계 방법 및 객체 모니터링 장치 | |
JP6934386B2 (ja) | 動体追尾装置及びそのプログラム | |
US8929603B1 (en) | Autonomous lock-on target tracking with geospatial-aware PTZ cameras | |
JP7035272B2 (ja) | 撮影システム | |
US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
GB2605675A (en) | Event-based aerial detection vision system | |
GB2582988A (en) | Object classification | |
JP2006168421A (ja) | 飛来飛行物体監視装置 | |
US20190068943A1 (en) | Environment Perception System for Autonomous Vehicle | |
JP2022061059A (ja) | 動体追尾装置及びそのプログラム | |
JP7147464B2 (ja) | 画像選択装置及び画像選択方法 | |
TWI773112B (zh) | 道路監測系統、裝置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20171018 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6934386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |