JP5983209B2 - 移動体検出方法 - Google Patents

Description

本発明は、撮影画像から移動体を検出する方法に関するものである。

運用されることなく地球周回軌道上を周回している人工物であるスペースデブリの宇宙空間上における存在を検出することは、宇宙機（人工衛星や宇宙ステーション、スペースシャトル等）の円滑な運用を実現する上で重要である。従来から行われているスペースデブリの検出方法の一つとして、地球上や軌道上においてＣＣＤ（電荷結合素子）カメラにより撮影した画像中の高輝度部分を抽出することで、スペースデブリの存在を特定する方法がある。

この方法では、時間をおいて撮影した３コマ以上の画像から、スペースデブリ等の移動体の画像上での動作（例えば、ｘ，ｙの２次元方向の移動ベクトル（速度）を持つ等速運動等）に合わせた領域の画像を同じ大きさで切り取り、切り取った画像に対して重ね合わせ法を適用している。具体的には、切り取った各画像を重ね合わせて、同じ画素について画素値の中央値を求める。そして、求めた中央値が一定値以上となる画素を、移動体が存在する画素として抽出する（例えば、特許文献１，２）。

重ね合わせ法は、スペースデブリに限らず、画像上の輝度レベルの低い移動体を検出する方法として広く有効な方法である。そして、上述したように中央画素値を移動体検出の評価値に用いた上述の重ね合わせ法では、平均画素値を評価値に用いた場合のように、一部の画像にたまたま写ったノイズ成分（例えば、天体の恒星や宇宙線による映り込み等）によって評価値が上昇することがない。このため、恒星や宇宙線による映り込み等の存在による移動体の誤検出を抑制できる利点がある。

特開２００２−１３９３１９号公報 特開２００３−３２３６２５号公報

このように、時間をおいて撮影した複数の画像から重ね合わせ法を用いて移動体を検出する場合には、各画像に写った検出対象の移動体が重なるように、画像の撮影間隔の間に移動体が移動する分だけ各画像から切り取る領域をずらして重ね合わせる必要がある。ところが、例えばスペースデブリの場合のように、移動体の動作（ベクトル方向、スカラー量）は事前に分かっていないことがある。

そのため、各画像から切り取る領域を様々な方向に様々な量ずつずらして重ね合わせる試行錯誤を繰り返して、検出対象のスペースデブリが重なる画像の切り取り領域を見つけなければならない。それに要する処理は膨大な量となる。

例えば、画像の重ね合わせ期間中に移動する距離で移動体の移動速度Ｖを表すと、画像のｘ、ｙ座標方向にそれぞれＶ＝（±Ｖｘ，±Ｖｙ）とし、画像サイズＬ＝（Ｌｘ，Ｌｙ）のｎコマの画像から、上述した重ね合わせ法による移動体の検出を行う場合を想定する。ここで、移動速度Ｖと画像サイズＬをそれぞれ画素数で表した場合、それぞれの値が、Ｖｘ＝Ｖｙ＝２００（Ｖ＝（±２００，±２００））、Ｌｘ＝Ｌｙ＝２０００であり、検出に用いる画像のコマ数ｎ＝３２であるとする。

そして、重ね合わせ期間中に移動する距離を１画素ずつ変化させて重ね合わせて計算すると、移動体の移動速度Ｖが（±Ｖｘ）×（±Ｖｙ）種類想定できるので、各種類について、（Ｌｘ×Ｌｙ）画素について画素値を求めるには、
（２Ｖｘ）×（２Ｖｙ）×（Ｌｘ）×（Ｌｙ）
＝４００×４００×２０００×２０００＝６．４×１０＾１１
回の演算処理が必要な計算になる。これを、ｎコマの画像分行うので、全画像の画素値を全て求めるには、さらに３２倍して、おおよそ、
２．０×１０＾１３
回の演算処理が必要な計算になる。

また、ｎコマの画像の同一画素位置の画素値から中央値を求める処理は、ｎ個の画素値をソートする演算処理と、ソートの結果昇順（又は降順）に並んだ画素値列の中央に位置する値を取り出す処理となる。このため、計算時間はソートに必要な計算に依存し、
ｎｌｏｇ（ｎ）
回の比較と、代入演算とを行うのに要する時間となる。この処理の演算回数は、比較の結果値の入れ替えがない最小の場合でも、単純な平均画素値を求める処理の演算回数（ｎ回）のｌｏｇ（ｎ）倍である。そして、通常は、比較の結果値の入れ替えが発生し、その度に３回の代入が追加で必要となるため、さらにその数倍となる。したがって、非常に時間のかかる処理となる。

しかも、ｎ個の画素値をソートする比較演算の際にプロセッサは、比較処理の後に投機的実行を行う。この投機的実行では、プロセッサは、ｎ個の画素値から選択した２つの画素値のペアについて比較を実行し、比較の結果に依存する「２つの画素値の順番を入れ替える」投機的実行と、「２つの画素値の順番を入れ替えない」投機的実行とのどちらかを行う。

ここで、ある画素値のペアに対してプロセッサが「２つの画素値の順番を入れ替える」投機的実行を行った場合を想定する。投機的実行を行った対象の画素値がたまたまソートする順番とは逆の大小関係に並んでいた場合は、プロセッサが行った投機的実行は成功となる。

しかし、投機的実行を行った画素値のペアが、ソートしたい順番に元々並んでいた場合は、投機的実行以降に処理を中断し、先行して実施した作業（間違った結果を基にした作業を）を巻き戻して処理を再開するので、プロセッサが行った投機的実行は失敗となる。

投機的実行は、前回の実行結果と同じ分岐が発生すると仮定して、条件が確定する前に実行の内容を決定して以降の処理を進める場合が多い。しかし、画素値の並びはランダムであるので、前回の比較結果と同じ結果が続く確率は５０％である。したがって、プロセッサが行う投機的実行は半分の確率で失敗する。そして、投機的実行が失敗する５０％の確率で、先行して実施した間違った結果に基づく作業を巻き戻して作業を再開するまでに、四則計算の１０〜２０倍の作業中断時間を発生させなければならない。

以上のように、移動体検出の評価値としてｎコマの画像の同一画素位置の画素値の中央値を用いるのは、平均値を用いるよりも検出精度が向上する大きな利点を有する。しかし、その代わりに、中央値を求めるためにプロセッサは、平均値を求めるよりも膨大な演算処理を行わなければならなくなってしまう。

本発明は前記事情に鑑みなされたもので、本発明の目的は、重ね合わせ法により移動体を検出するのに当たり、撮影した全ての画像を同時に重ね合わせて同一画素位置の各画素値から移動体検出の評価値を求めて行うよりも少ない演算処理で、移動体又はその候補を精度よく検出することができる移動体検出方法を提供することにある。

上記目的を達成するため、請求項１に記載した本発明の移動体検出方法は、
一定間隔で撮影された画像を、前記一定間隔の間における観測対象の移動体の推定した移動内容に対応する内容で順次移動させ、前記各画像の互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出する方法において、
前記各画像を、時系列上で連続する所定コマ数ずつにグループ分けし、各グループにおいて、前記推定した移動内容に対応する内容で順次移動させた前記所定コマ数の画像の互いに重なる同一位置の画素値から求めた評価値に基づいて、前記観測対象の移動体が写った画素の候補であるか否かをそれぞれ判定する判定ステップと、
前記各グループに、前記推定した移動内容が一致し移動軌跡が重なる前記観測対象の移動体が写った画素の候補が存在するか否かを確認する確認ステップと、
前記推定した移動内容が一致し移動軌跡が重なると確認された前記各グループの前記観測対象の移動体が写った画素の候補から、前記各画像中の前記観測対象の移動体を検出する検出ステップとを含む、
ことを特徴とする。

請求項１に記載した本発明の移動体検出方法によれば、一定間隔で撮影された画像を時系列上で連続する所定コマ数ずつに分けた各グループにおいて、画像中の観測対象の移動体であるとそれぞれ判定した候補が、推定した移動内容が一致し移動軌跡が重なるならば、同一の移動体であるものとして、観測対象の移動体であると最終的に認識し検出することになる。

このとき、重ね合わせた画像の同一画素位置の画素値の中央値を求める演算回数は、画像のコマ数がｎである場合、全コマ数の画像を重ね合わせて中央値を求める場合のｎｌｏｇ（ｎ）回から、グループ単位のコマ数（ｎ／ｐ）に応じた（ｎ／ｐ）ｌｏｇ（ｎ／ｐ）回のｐグループ倍（＝ｎｌｏｇ（ｎ／ｐ）回）に減る。また、観測対象の移動体が写った画素の候補の推定した移動内容や移動軌跡がグループ間で一致するか否かの演算処理は、各値の比較によって行うので、その演算回数は大した回数にならない。

このため、撮影した画像をグループ分けしてグループ毎に重ね合わせ法により観測対象の移動体の評価値を求めるようにすることで、撮影した全ての画像を同時に重ね合わせて同一画素位置の各画素値から移動体検出の評価値を求めて行うよりも少ない演算処理で、移動体を精度よく検出することができる
なお、請求項１に記載した本発明の移動体検出方法において、請求項２に記載した本発明の移動体検出方法のように、
前記評価値を、前記推定した移動内容に対応する内容で順次移動させた前記所定コマ数の画像の互いに重なる同一位置の画素値から、相互の画素値の変化が急激でないことを仮定したロバスト推定によって求め、
前記判定ステップでは、前記各グループについて、前記ロバスト推定によって求めた評価値が基準値以上である前記各画像の同一画素位置の画素を、前記観測対象の移動体が写った画素の候補であると判定する、
ようにしてもよい。

また、請求項３に記載した本発明の移動体検出方法は、請求項１に記載した本発明の移動体検出方法において、
前記各グループにおいて、前記所定コマ数の各画像の前記同一画素位置の画素値のうち、前記観測対象の移動体とそれよりも高輝度の発光要素とを区別するためのしきい値以下の画素値の平均値を算出する限定画素平均値算出ステップをさらに含んでおり、
前記判定ステップでは、前記各グループについて、前記限定画素平均値算出ステップにおける算出平均値が基準値以上である前記各画像の同一画素位置の画素を、前記観測対象の移動体が写った画素の候補であると判定する、
ことを特徴とする。

請求項３に記載した本発明の移動体検出方法によれば、請求項１に記載した本発明の移動体検出方法において、限定画素平均値算出ステップにおける算出平均値は、各画像の同一画素位置の画素値のうち、観測対象の移動体の画像上における輝度（画素値）に比べると大幅に輝度（画素値）が高い高輝度の発光要素に対応する画素値を除外した平均値である。したがって、各画像の同一画素位置の画素値の単なる平均値よりは、例えば、天体における恒星や宇宙線による映り込み等の高輝度発光要素（ノイズ成分）の輝度（画素値）が反映されていない平均画素値となる。即ち、限定画素平均値算出ステップにおいて算出する平均画素値は、重ね合わせた各画像の同一画素位置の画素値を単に平均した平均画素値よりは、観測対象の移動体の輝度（画素値）に近い値となる。

また、平均画素値を演算する際にプロセッサは、各画像の同一画素位置の画素値に対して、「平均値を算出するための加算演算を実行する」投機的実行と、「平均値を算出するための加算演算を実行しない」投機的実行とのどちらかを行う。そして、画像中の多くの画素が高輝度発光要素を表示するほどには高輝度発光要素の画像中における存在割合が高くない限り、プロセッサが行う投機的実行は、半分よりも充分に高い確率で、「平均値を算出するための加算演算を実行する」投機的実行が実施され、かつ、半分よりも充分に高い割合で成功する。よって、投機的実行の失敗による演算処理量の増加の影響も少ない。

このため、限定画素平均値算出ステップにおいて算出する平均画素値を移動体検出の評価値とすることで、重ね合わせ法により移動体を検出するのに当たり、重ね合わせた各画像の同一位置の各画素値から求めた中央値を移動体検出の評価値に用いるよりも少ない演算処理で、観測対象の移動体又はその候補が写った画素を、精度よく検出することができる。

さらに、請求項４に記載した本発明の移動体検出方法は、請求項１、２又は３に記載した本発明の移動体検出方法において、
前記各グループにおいて、前記各画像の前記同一画素位置の全画素値の平均値を算出する全画素平均値算出ステップと、
前記各グループにおいて、前記全画素平均値算出ステップにおける算出平均値を所定倍して前記しきい値を算出するしきい値算出ステップとをさらに含む、
ことを特徴とする。

請求項４に記載した本発明の移動体検出方法によれば、請求項１、２又は３に記載した本発明の移動体検出方法において、観測対象の移動体とそれ以外の高輝度発光要素とを区別するためのしきい値をどのような値にするかは、観測対象の移動体に比べて突飛な輝度（画素値）の高輝度発光要素の輝度（画素値）を、限定画素平均値算出ステップの算出平均値に、より反映させないようにする上で、非常に重要な要素となる。

そして、重ね合わせた各画像の同一画素位置の全画素値の平均値に基づいて（全画素値の平均値を所定倍して）しきい値とすることで、観察対象の移動体の輝度（画素値）を基準にして、その輝度（画素値）とはかけ離れた輝度（画素値）の画素を高輝度発光要素が存在する画素として、観察対象の移動体が存在する画素と精度よく区別できるようにすることができる。

なお、請求項１、２、３又は４に記載した本発明の移動体検出方法において、請求項５に記載した本発明の移動体検出方法のように、前記推定した移動内容は、前記観測対象の移動体の推定移動方向への推定移動量による等速直線運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた前記評価値に基づいて、前記各画像から前記観測対象の移動体を検出するようにしてもよい。

また、請求項１、２、３又は４に記載した本発明の移動体検出方法において、請求項６に記載した本発明の移動体検出方法のように、前記推定した移動内容は、前記観測対象の移動体の推定移動方向への、時間の経過と共に一定量ずつ増加又は減少する推定移動量による等加速度運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた前記評価値に基づいて、前記各画像から前記観測対象の移動体を検出するようにしてもよい。

さらに、請求項７に記載した本発明の移動体検出方法は、請求項１、２、３、４、５又は６に記載した本発明の移動体検出方法において、前記観測対象の移動体は地球周回軌道上の物体であり、前記各画像は定点観測中に時間をおいて撮影された画像であることを特徴とする。

請求項７に記載した本発明の移動体検出方法によれば、請求項１、２、３、４、５又は６に記載した本発明の移動体検出方法において、恒星や宇宙線による映り込み等が観測対象の移動体である地球周回軌道上の物体より高い輝度で画像に一緒に写っていても、その画像から地球周回軌道上の物体を、少ない演算処理で精度よく検出することができる。

本発明によれば、重ね合わせ法により移動体を検出するのに当たり、撮影した全ての画像を同時に重ね合わせて同一画素位置の各画素値から移動体検出の評価値を求めて行うよりも少ない演算処理で、移動体を精度よく検出することができる。

本発明の移動体検出方法を天体の撮影画像からスペースデブリを検出するのに適用した場合の手順を示すフローチャートである。 図１のフローチャートにおける撮影及び画像読み込み処理ステップの具体的な手順を示すフローチャートである。 図１のフローチャートにおける前処理ステップの具体的な手順を示すフローチャートである。 図１のフローチャートにおける重ね合わせ処理ステップの具体的な手順を示すフローチャートである。 図１のフローチャートにおける連続性評価処理ステップの具体的な手順を示すフローチャートである。 図５の連続性評価処理ステップで行う手順の内容を模式的に示す説明図である。 図１のフローチャートにおける結果確認処理ステップの具体的な手順を示すフローチャートである。

以下、本発明の移動体検出方法を天体の撮影画像からスペースデブリを検出するのに適用した実施形態について、図面を参照しながら説明する。

天体の撮影画像からスペースデブリ（請求項中の観測対象の移動体に相当）を検出する本実施形態の方法では、図１のフローチャートに示すように、撮影及び画像読み込み処理ステップ（ステップＳ１）、前処理ステップ（ステップＳ３）、重ね合わせ処理ステップ（ステップＳ５）、連続性評価処理ステップ（ステップＳ７）、及び、結果確認処理ステップ（ステップＳ９）の各ステップを行う。

このうち、ステップＳ１の撮影及び画像読み込み処理ステップでは、図２のフローチャートに示すように、まず、観測対象の移動体であるスペースデブリの静止軌道を含む空間（天空）を、一定時間毎に予め定められた露光時間で繰り返し連続撮影する（ステップＳ１１）。続いて、撮影した画像の画像信号を取り込んで（ステップＳ１３）、画像読み込みステップ（図１のステップＳ１）を終了する。

なお、天空の画像を撮影するには、例えば、天体望遠鏡にＣＣＤカメラなどを接続した撮影装置（図示せず）を用いることができる。また、本実施形態では、後述する重ね合わせ処理ステップ（図１のステップＳ５）をｍコマずつの画像でｐ回行うために、ｐ×ｍコマの画像を撮影装置で連続撮影して取り込む。

次に、図１のステップＳ３の前処理ステップでは、図３のフローチャートに示すように、まず、不図示の撮影装置から取り込んだ画像信号中に含まれるノイズ成分を除去する補正を行う（ステップＳ３１）。続いて、補正後の画像信号の画像サイズを、後述する重ね合わせ処理ステップ（図１のステップＳ５）で取り扱う画像サイズに縮小する（ステップＳ３３）。本実施形態では、画像サイズを縦横それぞれ２分の１（面積ベースで４分の１）に縮小する。そして、縮小前の２×２画素内の最大画素値を縮小後の１画素の画素値に当てはめる。以上で、前処理ステップ（図１のステップＳ３）を終了する。

ここで、ステップＳ３１のノイズ成分の除去補正では、不図示の撮影装置で撮影した画像信号に含まれるノイズ成分を除去する補正を行う。ここで除去するノイズ成分の代表的なものとしては、例えば、撮影装置のＣＣＤカメラのＣＣＤ素子のオフセット成分がある。

このＣＣＤ素子のオフセット成分は、不図示の撮影装置で天体望遠鏡により捉えた被写体像をＣＣＤカメラのＣＣＤ素子で電気信号に変換する際に発生するノイズ成分である。即ち、ＣＣＤ素子には、輝度０に応じた出力であるべき状態（被写体の光量が０である場合）で実際の出力が０点からシフト（オフセット）する場合がある。しかも、その内容はＣＣＤ素子の個体毎に異なる。

そこで、光量０の対象の撮影時に撮影装置が出力する画像信号が「０」となるように、ＣＣＤ素子のオフセット成分を補正（オフセット補正）する。なお、この場合のオフセット補正は、ダーク補正とよばれ、その補正値は、受光部を遮光して撮影した時のＣＣＤ素子の出力値を求めることで得ることができる。

そして、求めた補正値を、移動体検出の際に撮影装置で撮影した天空部分の各画素の画素値から差し引くことで、上述したＣＣＤ素子のオフセット成分を補正することができる。

また、ステップＳ３１で画像信号から除去するノイズ成分の代表的なものとしては、他に、例えば、恒星によるノイズ成分がある。この恒星によるノイズ成分は、不図示の撮影装置による撮影画像中に天空に存在する恒星が、その移動速度に応じて周辺がぼやけた点又は線となって写り込むことで発生する。

この恒星によるノイズ成分は、不図示の撮影装置により撮影された各画像と、この画像の前又は後に連続して撮影装置により撮影されたもう一つの画像とを、恒星の既知の移動方向に既知の移動量だけ平行移動させて、両画像の互いに重なる同一画素位置の画素値を差し引くことで、各画像からなくすことができる。

そこで、上述したＣＣＤ素子のオフセット成分をダーク補正した後の、移動体検出の際に撮影装置で撮影した連続２コマの天空部分の画像を、恒星の移動方向及び移動量に応じて平行移動させて重ね合わせ、重なった同一画素の画素値を差し引くことで、画像信号に含まれる恒星によるノイズ成分をなくす。以上を、例えば、図３のステップＳ３１のノイズ成分の除去補正において行う補正内容とすることができる。

次に、図１のステップＳ５の重ね合わせ処理ステップでは、図４のフローチャートに示すように、まず、不図示の撮影装置が冒頭に説明したように一定間隔でｐ×ｍコマ連続撮影した画像（画像サイズＬ＝（Ｌｘ，Ｌｙ））を、連続ｍコマずつのｐグループ（組）にグループ分けして、各グループ（ｐ＝０〜ｐ−１）毎に、ｍコマずつの画像に対して重ね合わせ法によるスペースデブリの候補の抽出処理をそれぞれ実行する（ステップＳ５１）。

ｍコマの画像からスペースデブリの候補を抽出する処理を行うに当たっては、各画像をスペースデブリの推定移動速度ずつ順次平行移動させて、互いに重なる同一画素位置の画素値を用いて演算を行う。この演算は、スペースデブリの推定移動速度を（−Ｖｘ／ｐ，−Ｖｙ／ｐ）〜（Ｖｘ／ｐ，Ｖｙ／ｐ）の範囲で順次変えながら、それぞれの推定移動速度について行う（ステップＳ５３）。ここで、推定移動速度の範囲が１／ｐとなるのは、期間が１／ｐとなり、期間全体で移動する距離も１／ｐとなるためである。

また、ｍコマの画像の互いに重なる同一画素位置の画素値を用いた演算は、画像の各画素位置（画素座標＝（０，０）〜（Ｌｘ，Ｌｙ））についてそれぞれ行う。具体的には、スペースデブリの推定移動速度Ｖずつ順次平行移動させたｍコマの画像の互いに重なる同一画素位置について、各画素の画素値のうち条件を満たさない画素（外れ値）を除外した画素値の平均処理を実施する（ステップＳ５５）。ここで、条件とは、「各画素の画素値の平均値を所定倍したしきい値未満であること」である。

上述したしきい値は、スペースデブリとそれ以外のスペースデブリよりも高輝度で発光する物体（請求項中における高輝度発光要素に相当）とを区別するためのものである。このしきい値をどのような値にするかは、スペースデブリに比べて突飛な輝度（画素値）の移動体の輝度（画素値）を、後述する処理で算出する値に、より反映させないようにする上で、非常に重要な要素となる。

そして、重ね合わせた各画像の同一画素位置の全画素値の平均値に基づいて（全画素値の平均値を所定倍して）しきい値とすることで、スペースデブリの輝度（画素値）を基準にして、その輝度（画素値）とはかけ離れた輝度（画素値）の画素を、スペースデブリ以外の発光する物体が存在する画素として、スペースデブリが存在する画素と精度よく区別できるようにすることができる。

なお、しきい値の値を左右する上述の所定倍は、例えば１．５〜３倍とすることができ、この値は、統計的手法により適切な値に設定することができる。本実施形態では、以下、所定倍を２倍とした場合について説明する。

まず、ステップＳ５１で設定した１つのグループ（ｐ＝０〜ｐ−１）に属するｍコマの画像を、ステップＳ５３で設定したスペースデブリの推定移動速度（（−Ｖｘ／ｐ，−Ｖｙ／ｐ）〜（Ｖｘ／ｐ，Ｖｙ／ｐ）のいずれか）ずつ順次平行移動させる。そして、ステップＳ５５で設定した、重ね合わせた状態で互いに重なる対象の画素位置（（０，０）〜（Ｌｘ，Ｌｙ））について、各画素値の平均値を求める（ステップＳ５７）。

続いて、求めた平均値の２倍（所定倍）を上述したしきい値として、このしきい値以下の画素値の画素を選び（ステップＳ５９）、選んだ画素の画素値の平均値を算出する（ステップＳ６１）。但し、ステップＳ５７で求めた平均値の０．５倍以下の画素値の画素が全体の半分以上を占める場合は、ステップＳ６１の平均値算出を算出不能とする。

そして、重ね合わせたｍコマの画像の互いに重なる同一画素位置の画素値を用いた演算を、各画素位置（画素座標＝（０，０）〜（Ｌｘ，Ｌｙ））についてそれぞれ行ったならば（ステップＳ５５乃至ステップＳ６１）、ｍコマの画像を順次平行移動させるスペースデブリの推定移動速度Ｖ（Ｖ＝（−Ｖｘ／ｐ，−Ｖｙ／ｐ）〜（Ｖｘ／ｐ，Ｖｙ／ｐ））を変える度に（ステップＳ５３）、ステップＳ６１で求めた平均値が最大となる推定移動速度Ｖを選択（又は更新）する（ステップＳ６３）。

また、ステップＳ６１で求めた平均値が最大となる推定移動速度Ｖを、全ての推定移動速度Ｖ（Ｖ＝（−Ｖｘ／ｐ，−Ｖｙ／ｐ）〜（Ｖｘ／ｐ，Ｖｙ／ｐ））についてステップＳ６１でそれぞれ求めた平均値の中から選択（又は更新）したならば（ステップＳ５３乃至ステップＳ６３）、以上の処理を、全てのグループ（ｐ＝０〜ｐ−１）について実行する。

全グループ（ｐ＝０〜ｐ−１）について処理を実行したならば（ステップＳ５１乃至ステップＳ６３）、以上で、重ね合わせ処理ステップ（図１のステップＳ５）を終了する。

なお、ステップＳ５５乃至６１において、スペースデブリを検出するために、ｍコマの画像の互いに重なる同一画素位置の画素値の平均値に基づいた評価値を求める代わりに、ｍコマの画像の互いに重なる同一画素位置の画素値の中央値や平均値を評価値として求めてもよい。

次に、図１のステップＳ７の連続性評価処理ステップでは、図５のフローチャートに示すように、まず、スペースデブリの候補とするのに必要なしきい値（候補基準値、請求項中の基準値に相当）以上となる、図４のステップＳ６１で求めた画素毎の平均値のステップＳ６３で選択した推定移動速度Ｖにおける最大値の画素を、スペースデブリの候補点として検出する（ステップＳ７１）。

続いて、ｐグループから任意の２グループ（ｑ，ｒ∈［１〜ｐ］）を選択して（ステップＳ７３）、それぞれのグループｑ，ｒ毎のステップＳ７１で検出したスペースデブリの候補が、共通の所定時刻に画像中のどの画素を通過したかを、計算により割り出す（ステップＳ７５）。

そして、所定時刻に同じ画素位置（一定範囲内の近接画素位置としてもよい）を通過する、グループｑのスペースデブリの候補とグループｒのスペースデブリの候補とのペアを抽出する（ステップＳ７７）。例えば、図６の模式図では、図中下側のグループの一番上の画像に写っている３つのスペースデブリの候補点のうち２つが、図中上側のグループの各画像に写っている３つのスペースデブリの候補点のうち２つの移動軌跡の延長線上に位置している。したがって、これらは、所定時刻に同じ画素位置を通過するペアに該当する。

次に、図５のステップＳ７７で抽出したペアのうち、グループｑ，ｒ毎のスペースデブリの候補の推定移動速度Ｖどうしが近い（一定の誤差範囲内に収まる）ペアを、スペースデブリの最終候補として抽出する（ステップＳ７９）。例えば、図６の模式図では、「ＯＫ：位置方向一致」と記したスペースデブリの候補点が、図中上側のグループでも下側のグループでも同じ移動方向となっている。したがって、このペアは、方向成分を含んでいる推定移動速度Ｖが一致したペアに該当する。

一方、「ＮＧ：移動方向違い」と記したスペースデブリの候補点は、図中上側のグループと下側のグループとで移動方向が異なっている。したがって、このペアは、方向成分を含んでいる推定移動速度Ｖが一致したペアには該当しない。

また、「ＮＧ：位置違い」と記したスペースデブリの候補点は、図中上側のグループでも下側のグループでも同じ移動方向となっている。しかし、図中上側のグループの各画像に写っているスペースデブリの候補点の移動軌跡の延長線上には、図中下側のグループの一番上の画像に写っているスペースデブリの候補点が位置していない。したがって、このペアは、所定時刻に同じ画素位置を通過するペアに該当しない。

なお、ステップＳ７９では、ステップＳ７７で抽出した各グループｑ，ｒのスペースデブリの候補の推定輝度ｃを併せて算出する。このうち、ステップＳ７９でスペースデブリの最終候補として抽出したペアについては、対応する各グループｑ，ｒのスペースデブリの候補の推定輝度ｃを、各候補点に関する平均画素値の最大値（図４のステップＳ６３で選択）ａ，ｂから、式ｃ＝√（ａ×ｂ）によって算出する。スペースデブリの最終候補とならなかった各グループｑ，ｒのスペースデブリの候補点については、推定輝度ｃをｃ＝０とする。

グループｑ，ｒについて、スペースデブリの最終候補を抽出し、推定輝度ｃを算出したならば（ステップＳ７３乃至ステップＳ７９）、他の２つのグループの間で、同様にスペースデブリの最終候補を抽出し、推定輝度ｃを算出する。この際、例えばグループｐの数が３つである場合は、グループ１とグループ２、グループ２とグループ３について、スペースデブリの最終候補の抽出と推定輝度ｃの算出とを行う。なお、グループ１とグループ３についてもさらに、スペースデブリの最終候補の抽出と推定輝度ｃの算出とを行ってもよい。以上で、連続性評価処理ステップ（図１のステップＳ７）を終了する。

次に、図１のステップＳ９の結果確認処理ステップでは、図７のフローチャートに示すように、まず、ステップＳ７７でスペースデブリの最終候補として抽出した全てのペアについて、そのペアが属する各グループのｍコマの画像を、図３のステップＳ３３で縮小する前の、ステップＳ３１で補正を行った直後の内容で用意する（ステップＳ９１）。そして、用意した画像を用いて、各最終候補についてスペースデブリとして検出するか否かの確認処理をそれぞれ実行する（ステップＳ９３）。

この確認処理を行うに当たっては、スペースデブリの各最終候補について、ステップＳ９１で用意した縮小前の画像を用いて、図１のステップＳ５の重ね合わせ処理ステップで行った重ね合わせ処理をそれぞれ実行する（ステップＳ９５）。このとき、スペースデブリの各最終候補とした対応する各グループのスペースデブリの候補の画素値は、図５のステップＳ７９で算出した推定輝度ｃとする。

そして、重ね合わせ処理の結果得られたスペースデブリの候補点の平均画素値が、図５のステップＳ７１の処理で用いた、スペースデブリの候補とするのに必要なしきい値（候補基準値、請求項中の基準値に相当）以下か、又は、隣接する画素の過半数が平均的な画素値以下であるか、あるいは、隣接する画素の過半数が上述したしきい値の７０％を下回る画素値である、とした条件に該当する場合は（ステップＳ９７でＹＥＳ）、ステップＳ９３にリターンする。

一方、上記のいずれにも該当せず、スペースデブリの候補点の平均画素値が、スペースデブリの候補とするのに必要なしきい値（候補基準値、請求項中の基準値に相当）以下でなく、かつ、隣接する画素の過半数が上述した条件に該当しない場合は（ステップＳ９７でＮＯ）、その候補点に写ったのが、周辺画素にも同様の画素値が隣接して全体で円形や楕円形を構成するスペースデブリであるものとして、その旨の検出結果を、ステップＳ９５の重ね合わせ処理に用いた画像と共に保存する（ステップＳ９９）。

なお、本実施形態では、ステップＳ９７において、スペースデブリの候補点とその隣接画素との両方の明るさを、スペースデブリであるか否かの判断材料としたが、どちらか一方のみでスペースデブリであるか否かを判断するようにしてもよい。

以上のステップＳ９３乃至ステップＳ９９の処理を、全てのスペースデブリの最終候補について行ったならば、結果確認処理ステップ（図１のステップＳ９）を終了する。

以上の説明からも明らかなように、本実施形態では、図５のフローチャートにおけるステップＳ７１が、請求項中の判定ステップに対応する処理となっている。また、本実施形態では、図１のフローチャートにおけるステップＳ７とステップＳ９が、請求項中の検出ステップに対応する処理となっている。さらに、本実施形態では、図４のフローチャートにおけるステップＳ６１が、請求項中の限定画素平均値算出ステップに対応する処理となっている。

また、本実施形態では、図４中のステップＳ５７が、請求項中の全画素平均値算出ステップに対応する処理となっている。さらに、本実施形態では、図４中のステップＳ５９が、請求項中のしきい値算出ステップに対応する処理となっている。

このような手順で行う本実施形態のスペースデブリの検出方法では、撮影した画像を連続ｍコマずつのｐグループにグループ分けし、各グループのｍコマの画像毎に、重ね合わせ法を用いて行う図１のステップＳ５の重ね合わせ処理ステップを実行している。そして、重ね合わせ処理ステップで抽出した各グループのスペースデブリの候補について、図５の連続性評価処理ステップにおいて、移動方向及び移動速度の一致又は近似を基準にして、スペースデブリの最終候補とするかどうかを判定するようにしている。

ここで、スペースデブリの推定移動速度（重ね合わせ期間中に移動する距離）Ｖが、Ｖ＝（±Ｖｘ，±Ｖｙ）、画像サイズＬが、Ｌ＝（Ｌｘ，Ｌｙ）であり、それぞれの値が、Ｖｘ＝Ｖｙ＝２００（Ｖ＝（±２００，±２００））、Ｌｘ＝Ｌｙ＝２０００であり、検出に用いる画像のコマ数ｎ＝３２、画像のグループ分け数ｐ＝２であるとする。

そこで、まず、スペースデブリ検出の評価値として、図４のステップＳ５９で選んだしきい値以下の画素値の平均値を、図４のステップＳ６１のように求める場合について考える。

そして、重ね合わせ期間中に移動する距離を１画素ずつ変化させて重ね合わせて計算すると、移動体の移動速度Ｖが（±Ｖｘ）×（±Ｖｙ）種類想定できるので、各種類について、（Ｌｘ×Ｌｙ）画素について画素値の平均値を求めるには、
（２Ｖｘ）×（２Ｖｙ）×（Ｌｘ）×（Ｌｙ）
＝４００×４００×２０００×２０００＝６．４×１０＾１１
回の演算処理を、各画像当たり２回ずつ（位置成分、速度成分）行う必要がある。したがって、さらに、３２コマの２回分で６４倍して、おおよそ、
４．１×１０＾１３
回の演算処理が必要になる。

これを、２つのグループに分けて行うと、移動体の移動速度（重ね合わせ期間中に移動する距離）Ｖがグループ分けしない場合の半分になるので、（±Ｖｘ／２）×（±Ｖｙ／２）種類想定できることになる。したがって、各種類について、（Ｌｘ×Ｌｙ）画素について画素値の平均値を求めるには、
（２Ｖｘ／２）×（２Ｖｙ／２）×（Ｌｘ）×（Ｌｙ）
＝２００×２００×２０００×２０００＝１．６×１０＾１１
回の演算処理を、各画像当たり２回ずつ（位置成分、速度成分）行うことになる。したがって、さらに、３２コマの２回分で６４倍して、おおよそ、
１．０×１０＾１３
回の演算処理（２つにグループ分けしない場合の４分の１）で済むようになる。

次に、スペースデブリ検出の評価値として、重ね合わせた３２コマの画像の同一画素位置の画素値の中央値を求める場合について考える。

ｎコマの画像の同一画素の画素値から中央値を求める処理は、ｎ個の画素値をソートする演算処理であるため、
ｎｌｏｇ（ｎ）
回の比較、代入演算を行う処理となる。ｎ＝３２を代入すると、
３２ｌｏｇ３２
となり、おおよそ、
１．０×１０＾１４
回の演算処理を行うことになる。

これを、ｎコマの画像をｐグループに分けて、各グループ毎に行うと、各グループ毎にｎ／ｐコマの画像について画素値の中央値を求めることになるので、
ｐ×（ｎ／ｐ）ｌｏｇ（ｎ／ｐ）＝ｎｌｏｇ（ｎ／ｐ）
回の比較、代入演算を行うことになる。ｎ＝３２、ｐ＝２を代入すると、
３２ｌｏｇ１６
となり、おおよそ、
２．０×１０＾１３
回の演算処理（２つにグループ分けしない場合の５分の１）で済むようになる。

このように、重ね合わせ法によるスペースデブリの候補点検出をグループ分けして行い、各グループで検出された候補点どうしの移動量や移動軌跡の一致によってスペースデブリかどうかを判定する。これにより、重ね合わせ法によりスペースデブリを検出するのに当たり、撮影した全ての画像を同時に重ね合わせて同一画素位置の各画素値からスペースデブリ検出の評価値を求めて行うよりも少ない演算処理で、スペースデブリが写った画素の候補、ひいてはスペースデブリを、精度よく検出することができる。

そして、本実施形態のように、撮影した画像をグループ分けして、各グループ毎に重ね合わせ処理ステップを実行すれば、各グループで検出したスペースデブリの候補が移動方向や移動速度、移動位置において連続するか否かを、スペースデブリであるか否かの判断に加えることができる。これにより、スペースデブリ検出の評価値に、演算処理が少なくて済む平均画素値を用いても、スペースデブリを精度よく検出することができる。

また、スペースデブリ検出の評価値として、中央値を用いず平均値又はそれを基準にした評価値とすると、平均値の演算処理を行う際にプロセッサが行う投機的実行では、恒星等のスペースデブリ以外の移動体が写った画素の画像中に存在する確率が大体２％前後であることから、恒星等が写ってプロセッサの投機的実行が失敗する確率も２％前後となる。この失敗確率は、ｎｌｏｇ（ｎ／ｐ）回の比較、代入演算処理によって中央値を演算処理する際の５０％の確率よりも遙かに低く、投機的実行に失敗により余分な演算処理が発生する度合いが、中央値の演算に比べると格段に少ない。このため、演算処理の負担をより軽減することができる。

なお、本実施形態のスペースデブリの検出方法では、重ね合わせた各画像の同一画素位置の画素値の平均値を所定倍（例えば２倍）したしきい値を、スペースデブリとそれ以外のスペースデブリよりも高輝度で発光する物体（請求項中における高輝度発光要素に相当）とを区別するために用いた。

このため、重ね合わせた各画像の同一画素位置の画素値を単純に平均した平均値よりは、例えば、天体における恒星や宇宙線による映り込み等の高輝度発光要素（ノイズ成分）の輝度（画素値）が反映されていない平均画素値となる。即ち、重ね合わせた各画像の同一画素位置の画素値の平均値を所定倍（例えば２倍）したしきい値以下の画素値に限って平均した平均値は、重ね合わせた各画像の同一画素位置の画素値を単に平均した平均画素値よりは、スペースデブリの輝度（画素値）に近い値となる。

よって、しきい値以下の画素値の平均値をスペースデブリ検出の評価値とすることで、重ね合わせ法によりスペースデブリを検出するのに当たり、重ね合わせた各画像の同一位置の各画素値から求めた中央値をスペースデブリ検出の評価値に用いるよりも少ない演算処理で、スペースデブリが写った画素の候補、ひいてはスペースデブリを、精度よく検出することができる。

なお、上述したように、重ね合わせた各画像の同一画素位置の画素値からスペースデブリ又はその候補点を検出するための評価値を計算する際には、同一画素位置の画素値の平均値等の統計的な値を用いることが望ましい。さらには、中央値やＲＡＮＳＡＣ、ＬＭｅｄＳ等の外れ値を考慮したロバスト推定法により求めたしきい値以上の画素値の点を、スペースデブリの候補点として検出することが望ましい。

但し、上述したしきい値は、重ね合わせた各画像の同一画素位置の画素値の平均値とは無関係に決定してもよい。また、このようなしきい値そのものを必ずしも用いなくてもよい。

また、上述した実施形態では、スペースデブリの検出方法として本発明を実施した場合について説明したが、本発明は、例えば、スペースデブリ以外の地球周回軌道上を周回する人工衛星等の物体や、着色した微生物を撮影画面上で特定し検出する場合等、スペースデブリ以外の移動体を一定間隔で撮影した画像から重ね合わせ法により検出する場合に、広く適用可能である。

さらに、本実施形態では、画像上で推定移動方向及び推定移動量による等速直線運動を行う移動体を観測対象とした重ね合わせ法の場合を例に取って説明した。しかし、本発明は、時間の経過と共に一定量ずつ増加又は減少する推定移動量による等速加速度運動を画像上で行う移動体を観測対象とした重ね合わせ法を行う場合にも適用可能である。

Claims (7)

1. 一定間隔で撮影された画像を、前記一定間隔の間における観測対象の移動体の推定した移動内容に対応する内容で順次移動させ、前記各画像の互いに重なる同一画素位置の画素値から求めた評価値に基づいて、前記各画像から前記観測対象の移動体を検出する方法において、
   前記各画像を、時系列上で連続する所定コマ数ずつにグループ分けし、各グループにおいて、前記推定した移動内容に対応する内容で順次移動させた前記所定コマ数の画像の互いに重なる同一位置の画素値から求めた評価値に基づいて、前記観測対象の移動体が写った画素の候補であるか否かをそれぞれ判定する判定ステップと、
   前記各グループに、前記推定した移動内容が一致し移動軌跡が重なる前記観測対象の移動体が写った画素の候補が存在するか否かを確認する確認ステップと、
   前記推定した移動内容が一致し移動軌跡が重なると確認された前記各グループの前記観測対象の移動体が写った画素の候補から、前記各画像中の前記観測対象の移動体を検出する検出ステップとを含む、
   ことを特徴とする移動体検出方法。
2. 前記評価値を、前記推定した移動内容に対応する内容で順次移動させた前記所定コマ数の画像の互いに重なる同一位置の画素値から、相互の画素値の変化が急激でないことを仮定したロバスト推定によって求め、
   前記判定ステップでは、前記各グループについて、前記ロバスト推定によって求めた評価値が基準値以上である前記各画像の同一画素位置の画素を、前記観測対象の移動体が写った画素の候補であると判定する、
   ことを特徴とする請求項１記載の移動体検出方法。
3. 前記各グループにおいて、前記所定コマ数の各画像の前記同一画素位置の画素値のうち、前記観測対象の移動体とそれよりも高輝度の発光要素とを区別するためのしきい値以下の画素値の平均値を算出する限定画素平均値算出ステップをさらに含んでおり、
   前記判定ステップでは、前記各グループについて、前記限定画素平均値算出ステップにおける算出平均値が基準値以上である前記各画像の同一画素位置の画素を、前記観測対象の移動体が写った画素の候補であると判定する、
   ことを特徴とする請求項１記載の移動体検出方法。
4. 前記各グループにおいて、前記各画像の前記同一画素位置の全画素値の平均値を算出する全画素平均値算出ステップと、
   前記各グループにおいて、前記全画素平均値算出ステップにおける算出平均値を所定倍して前記しきい値を算出するしきい値算出ステップとをさらに含む、
   ことを特徴とする請求項１、２又は３記載の移動体検出方法。
5. 前記推定した移動内容は、前記観測対象の移動体の推定移動方向への推定移動量による等速直線運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた前記評価値に基づいて、前記各画像から前記観測対象の移動体を検出することを特徴とする請求項１、２、３又は４記載の移動体検出方法。
6. 前記推定した移動内容は、前記観測対象の移動体の推定移動方向への、時間の経過と共に一定量ずつ増加又は減少する推定移動量による等加速度運動であり、前記観測対象の移動体の前記推定移動方向に前記推定移動量だけ順次平行移動させた前記各画像の、互いに重なる同一画素位置の画素値から求めた前記評価値に基づいて、前記各画像から前記観測対象の移動体を検出することを特徴とする請求項１、２、３又は４記載の移動体検出方法。
7. 前記観測対象の移動体は地球周回軌道上の物体であり、前記各画像は定点観測中に時間をおいて撮影された画像であることを特徴とする請求項１、２、３、４、５又は６記載の移動体検出方法。

Images