JP4071412B2

JP4071412B2 - 駐機位置表示装置

Info

Publication number: JP4071412B2
Application number: JP37427699A
Authority: JP
Inventors: 雄二穂積; 俊浩菅澤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-12-28
Filing date: 1999-12-28
Publication date: 2008-04-02
Anticipated expiration: 2019-12-28
Also published as: JP2001187599A

Description

【０００１】
【発明の属する技術分野】
この発明は空港において航空機の駐機位置近傍におけるビル壁面などに設置され、エプロンを走行する航空機を駐機位置まで誘導する駐機位置表示装置に関するものである。
【０００２】
【従来の技術】
図３に従来の駐機位置表示装置の構成図を示す。図において１は定められた駐機位置に自機を停止させるためにエプロンを走行してスポットに進入する航空機、２は航空機のノーズギアのタイヤ、３は航空機下面のノーズギア格納庫の扉、４は航空機走行方向に沿って路面にマーキングしてある走行中心表示線、５は航空機進入方向に直交して路面にマーキングしてある停止位置表示線、６は航空機１のノーズギア近傍を撮像するように進入する航空機に対向してターミナルビルの壁面に設置したカメラ、７はノーズギアのタイヤの存在が予想されるタイヤ候補の位置を検出する画像処理部、８は最終的に航空機１を誘導すべき駐機位置の座標データを保持する駐機座標記憶部、９は現在のタイヤ座標と駐機位置の座標との差異を求める誘導誤差検出部、10はこの結果の残距離と左右ずれ情報をパイロットに提示する表示部である。
【０００３】
ここで駐機位置表示装置の概要について説明する。航空機１は着陸した後、エプロンを走行し、あらかじめ指定してあったスポットに向かう。そのスポットには風雨や寒暖から乗客を保護するボーディングブリッヂがあり、このボーディングブリッヂは専属の操作員によって操縦される。しかしボーディングブリッヂの片側は空港ビルに固定されているために前後左右の方向に自由自在に移動できるわけではない。このため、駐機位置に対して航空機１の位置が大きくずれて停止してしまった機体の場合、操作員はボーディングブリッヂの他方の側について進行と後退を何度も繰り返し、その度に左右操舵を実施して少しずつ航空機のドアに接近して行く。このため上記誤差が大きい場合では航空機ドアとのドッキングに時間がかかったり、最悪の場合は機体との間に若干の隙間を生じてしまう場合があった。一般的に速やかでしかも安全にボーディングブリッヂを航空機とドッキングさせるためには、航空機は定められた駐機位置に対して、500ｍｍ以内の誤差に停止させることが必要だといわれている。このため、空港ではマーシャラや駐機位置表示装置によって駐機位置と航空機のタイヤ位置との誤差情報をパイロットに提供し、上記誤差をできる限り少なくするようにしている。パイロットはこれらの提供された情報に従って、自分の機体の左右偏差と残距離とを認識しながら定められた駐機位置に航空機を操縦して行くこととなる。
【０００４】
次に図3を用いて従来の駐機位置表示装置の動作例について説明する。スポットに進入してくる航空機１に対向して、やや上方に設置されたカメラ６は航空機１におけるノーズギアのタイヤ２の近傍を撮像し、その映像信号は画像処理部７へ伝送される。画像処理部７では、カメラ６で取得された航空機のいない状態での背景画像と新たに取得された画像との差分画像を抽出する処理（背景差分処理）や、背景差分処理後の二値化処理などを行い、タイヤ２を背景のコンクリートの画像と区別して認識し、この認識されたタイヤに関して、左右方向は2本のタイヤの中心を、また残距離方向はタイヤが路面と接している点をタイヤ位置の座標として算出する。一方、航空機１のタイヤ２を誘導すべき駐機位置の座標は予め算出してあり、駐機座標記憶部８に記録されている。ここで誘導誤差検出部９は、タイヤ位置座標と駐機位置座標との両者の差を、常に誤差情報として計算している。この結果、たとえば左右方向は左に0.2m、残距離方向は15mなどと計算された誤差情報を、表示部10を通じて航空機１のパイロットにリアルタイムに提供する。パイロットはこの表示部10の表示を見て、航空機１を予め定められている駐機位置に一致するように操縦して航空機１を停止させる。カメラ６によって撮像されるカメラ出力画像例を図４に示す。また、この画像を画像処理した例を図５に示す。図５において、11はカメラ６の出力画像を処理した結果検出したタイヤ候補を示す枠であり、そして1２は左右方向が認識された2本のタイヤの中心、また残距離方向が認識されたタイヤと路面とが接地している点（タイヤ位置）を示す十字カーソルである。なお、この図では説明のためにタイヤ候補を示す枠11はタイヤと重ならないようにやや広く、また十字カーソル12と重なる部分の枠11は切り欠いて図示してある。また、参考として航空機１の全体像も示してある。図５に示すように、この例ではタイヤ候補を示す枠11は正しく2本のタイヤを囲い込んでいる。また十字カーソル12に関しても、左右方向は2本のタイヤの中心で、残距離方向はタイヤが路面と接している位置を正しく示している。
【０００５】
【発明が解決しようとする課題】
ここで通常撮像される映像では、路面は灰色のコンクリートであり、一方タイヤ２は黒いゴムである。よって映像では灰色の背景の中に黒いタイヤ２が存在することになる。このため、例えば図４の映像に背景差分処理を行って走行中心表示線４や停止位置表示線５などの像を除去した後、全画面に白黒の2値化処理を施すと、タイヤ２に相当する部分では横方向に白から黒への変化のエッジが上下に直線的な塊りを有する矩形状の像が生成される。この特徴を利用して、全画面の内、左右方向の画素の明るさの変化を生じるエッジ部分が上下方向に直線的な塊を有する部分を検出することによって、タイヤ２を認識することができる。
【０００６】
ところが、例えば夜間に雨の降る状況下では、路面は暗く撮像され、またタイヤ２は黒く撮像される。すなわち背景となる路面とタイヤ２との差異が著しく少なくなり、全画面について二値化処理等を施す場合に、タイヤ２を明確に検出できる二値化の閾値が自動的に設定されないことがあった。
この状況下では、図４のようにノーズギアの格納庫の扉３が下方にほぼ垂直に開いていると、上述のタイヤ２と非常に良く似通った白黒のエッジを生じる。ここで問題となるのは、実際のタイヤ２と路面との左右方向における画素の明るさの変化よりも、開いたノーズギア格納庫の扉３と路面の方が明確な変化を有してしまうことである。この場合、図６に示すように、雨でぬれた暗い路面では扉３をタイヤと誤認識する恐れがあった。すなわち、図6のように誤ったタイヤ候補を示す枠13は上方向にずれ、ノーズギアの格納庫の扉３を捕らえてしまう。ここで画像処理部７における残距離の計算は、タイヤ２の座標が図の上方向に存在する場合は残距離がまだ遠いと計算してしまい、一方、図の下方向に存在する場合には残距離が近い計算となる。このため、図６では、例えばすでに停止線をオーバランしてしまっているにも関わらず、残距離がまだ遠いと誤認識してしまい、さらに勢い良く前進しても良い旨の誤った表示をしてしまう。この表示に従うと停止位置を大きくオーバランしてしまい、翼端をボーディングブリッヂにぶつけたり、地上作業員の避難場所にまで達して地上作業員に接触したり、地上の車両や地上からの電源や空気供給設備用ステップなどにノーズギアをぶつけて破損したりすると言った問題を引き起こすような誤追尾と誤表示を行なう恐れがあった。
【０００７】
この発明はかかる問題を解決するためになされたものであり、夜間に雨の降るような悪状況下であっても航空機のタイヤ位置を誤りなく検出し、航空機を誘導すべき駐機位置とタイヤ位置との正確な誤差情報をパイロットに提供する駐機位置表示装置を得るものである。
【０００８】
【課題を解決するための手段】
この発明による駐機位置表示装置は、パイロットに対して駐機位置に対する方位ずれ情報および残距離情報を提供することによってエプロンを走行する航空機を停止すべき駐機位置へ誘導する駐機位置表示装置において、前記航空機を撮像して映像信号を出力するカメラと、この映像信号を画像処理してタイヤの存在位置の候補を検出する画像処理部と、前記航空機における特定の位置を検出する位置検出手段と、この位置検出手段で検出された特定の位置に基づいて航空機のタイヤが存在する領域を算出するタイヤ存在領域演算部と、前記画像処理部で検出されたタイヤ存在位置の候補と前記タイヤ存在領域演算部で検出されたタイヤの存在領域との比較に基づいてタイヤ位置を検出し、この検出されたタイヤ位置と前記航空機の駐機位置との差異を検出する誘導誤差検出部と、前記誘導誤差検出部で検出された差異をパイロットに表示する表示部とを備え、
前記誘導誤差検出部は、前記タイヤ存在領域演算部で検出されたタイヤの存在領域に前記画像処理部で検出されたタイヤの存在位置の候補を有していないときに、前記タイヤの存在領域内の画像からタイヤの存在位置を検出する手段を備えたものである。
【００１１】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１を示した構成図であり、図において14はレーザ光を出射し物体からの反射光を受光するレーザレーダ、15は航空機先端のレドーム、16はタイヤ存在領域演算部、そして17は誤追尾弁別部であり、１から10までは上述の従来装置と同じである。
【００１２】
次に動作について説明する。レーザレーダ１４はエプロン上の物体までの距離と、反射波の受光レベルの情報を得ることができるものである。図１でレーザレーダ14は航空機先端のレドーム15に対向して、例えばターミナルビルの壁面に設置してある。航空機１がスポットに進入して来ていない場合は、エプロン上に障害物はなく、このためレーザレーダ１４のレーザ光を反射する物体は無い。レーザ光の反射物としては、わずかに地上整備員の反射テープを縫い付けた安全ベストや、地上電源や地上設備からのフレッシュエア供給用のダクトや、停止した航空機にアクセスするためのタラップ程度はあるにせよ、航空機１のレドーム１５の面積と比べると微々たるものであり、その大きさやレーザ光の反射強度、または物体の塊の大きさによって、容易に航空機との識別が可能である。航空機１がスポットに進入した場合、レーザレーダ14は反射波の受光レベルが所定値以上となることから航空機のレドーム15に相当する物体の存在を検知し、この検知された物体の周辺における、レーザレーダ１４の検出距離がもっとも小さい部分、即ちもっとも近い位置がレドームの先端であると認識する。
【００１３】
ここで、航空機の種類によって、レドーム先端とノーズギアとの高さと距離は定まっており、レーザレーダ１４によってレドーム先端の位置が分かれば、ノーズギアの位置も判明する。したがって、レーザレーダ１４によって航空機１のノーズギアの概略位置とそのタイヤ位置が推定できることとなる。ただし、レーザレーダ１４はノーズギアのタイヤ２がどのあたりの領域に存在するということを安定して検出することができる半面、距離データの精度は数十センチと低い。一方、カメラ６を用いた画像処理によるノーズギアのタイヤ２の検出誤差は、数センチメートルと高精度であるものの、上述した雨の夜のように特定の悪い環境条件が重なると、例えば残距離方向での大きな誤差を生じることがある。
【００１４】
このため、この実施の形態ではこの2種類のセンシング手法を組み合わせて用いることによってそれぞれの短所を補う。すなわち、レーザレーダ１4はスポットに進入する航空機１のレドーム15の先端を検出し、レーザレーダ１４の基準位置（例えばターミナルビルの壁面）からレドーム１５の先端までの距離を出力する。ここで、タイヤ存在領域演算部１６は、あらかじめ内部の記憶回路において航空機の機種に対応付けられたレドーム１５の先端とノーズギア間の距離及び高さの情報を記憶している。タイヤ存在領域演算部１6は、あらかじめ判明している航空機の機種に基づいて内部の記憶回路に有する情報を参照し、この機種に対応するレドーム１５とノーズギア間の距離と高さを認識した後、この認識された距離及び高さとレーザレーダ１４で得られたレドーム１５までの距離とから、予め設定された換算表や換算式に基づいてレーザレーダ１４の基準位置からノーズギアまでの距離を求める。次にタイヤ存在領域演算部１6は、既知であるレーザレーダ１４の基準位置からカメラ６までの距離（この例では、カメラ６とレーザレーダ１４を同一の壁面に設けてあるので０となる）と、既知であるカメラ６の設置高さ及びその視野方向と、求められたレーザレーダ１４の基準位置からノーズギアまでの距離などに基づき、予め設定された換算表や換算式を用いてカメラ６で撮像された画像内の座標に換算した場合に、どの座標を中心にしてどの範囲まで画像処理を実施すればノーズギアのタイヤ２を捕らえることができるかを予測し、この予測されたタイヤを捕らえるべき領域（以下タイヤ存在領域とする）の中心位置の座標、及びこの領域の境界位置を計算する。一方、並行して、航空機１におけるノーズギアのタイヤ２の位置は従来通りカメラ６で撮像し、これにより従来通りのエッジ検出によるタイヤ認識を実施し、この結果が誤追尾弁別部17に入力される。これと同時に画像処理と異なる手法、即ち上述のタイヤ存在領域演算部１６の出力も、誤追尾弁別部17に入力される。
ここで、正常に追尾が実行されている通常の状態であれば画像処理部7が出力するタイヤ位置の座標と、タイヤ存在領域演算部16で予測されたタイヤ存在領域の中心位置の座標とは概ね一致する。この両者が概ね一致した場合は、異なるセンシング手法によるタイヤ位置の計算結果が一致したことに相当し、この状態でのタイヤ追尾の信頼性は高く、画像処理部７の出力するタイヤ位置の座標と予め駐機座標記憶部８に記憶された駐機位置座標との差を誘導誤差検出部９で計算し、誤差情報を表示部10に出力することによって航空機を正しく誘導する。航空機１のパイロットは表示部10の表示情報に従って航空機１を操縦し、左右方向を走行中心表示線４に合致させ、また残距離方向を定められた停止位置表示線５に合致させて航空機１を停止させる。
【００１５】
一方、画像処理部７からのタイヤ位置座標とタイヤ存在領域演算部16からのタイヤ存在領域の中心位置座標が異なった場合（座標間の位置ずれが所定以上となった場合）、誤追尾弁別部17は追尾が異常になったことを認識する。誤追尾弁別部17はこの認識に応じて、タイヤ存在領域演算部16で得られたタイヤ存在領域内のみについて再度画像処理を実施するように、画像処理部７に指令する。例えば図２のように画像全体を処理してタイヤ候補を検出した場合に、ノーズギア格納庫の扉３のほうが左右方向のエッジが強く、画像処理部３で画像処理した結果のタイヤ候補の座標も上方に外れる。しかし、タイヤ存在領域演算部１６が図２に点線で示すようなタイヤ存在領域１８を予測し、誤追尾弁別部１７の指令に応じて画像処理部７がこの存在領域１８内のみで再度画像処理することにより、路面の濡れた暗い夜間であっても路面とその中の黒いタイヤとの間に、微少ながらもエッジの差異が顕在化するので、真のタイヤを認識することが可能となる。
【００１６】
なお、一般にレーザレーダ14は進入してくる航空機１のパイロットに対向して設置されるため、パイロットが目に受けても影響がないような低いレベルの強度を有するレーザ光しか出射できず、遠距離における航空機の認識性能は画像にくらべて低くなる（すなわち、遠方では反射光の受光レベルが常に所定値以下となる）。このため、航空機が遠方に位置してレーザレーダ１４における反射光の受光レベルがどの方向でも所定値以下となる場合は、航空機１のタイヤの追尾を画像処理部７のみで行い、その後に航空機が接近して反射光の受光レベルが所定値以上となる領域の存在が検知された場合は、環境の悪条件によって生じるノーズギア格納庫の扉３の誤認識を避けるために、上述のようにタイヤ存在領域演算部１６からのタイヤ存在領域１８について画像処理部７でタイヤの検出を行うことによって、この近距離での精密なタイヤ追尾を行う。
【００１７】
また、上述では説明が煩雑となることをさけるため、レーザレーダ１４による情報を距離情報のみとしたが、レーザレーダ１４によって得られる航空機１のレドーム１５の位置情報として、残距離方向の情報の他に方位方向の情報も得られる。したがって、図１に示すレーザレーダ１４によってレドーム先端における方位方向の情報を取得し、その結果に基づいてタイヤ存在領域演算部１６ではタイヤ存在領域１８における方位方向の位置を予測する。誤追尾弁別部１７では、タイヤ存在領域演算部１６からのタイヤ存在領域１８の方位方向と画像処理部７からのタイヤ候補の方位方向とを比較して、カメラ６の画像処理結果に方位方向の偏差が生じたことを検知する。この検知に応じて、タイヤ存在領域演算部１６から得られるタイヤ存在領域１８内で画像処理部７によるタイヤの検出を行ってタイヤ位置を検出する。これを用いることによって、何らかの悪条件によってカメラ６の画像処理結果に方位方向の偏差を生じた場合でも、画像処理部７からの検出結果の異常を検知し、精度良くタイヤ位置を検出することが可能となる。
【００１８】
さらに、ここで用いるレーザレーダ１４としては、ペンシルビームを用いてアジマスとエレベーション方向に走査するもの、あるいは空間的にエレベーション方向が扇型となるレーザビームをアジマス方向のみに走査するものなどを用いる。後者の場合は光学系が簡素化し、またポリゴンミラーの駆動を行う必要がないことから、低いコストで長期動作時の高信頼性を確保でき、また１走査あたりの時間を短くできることから高いデータレートを実現できる。
【００１９】
また、ここでは説明し易さのために駐機座標記憶部８は1種類の航空機の機種に対応する座標の情報を記憶することとしたが、もちろん複数の駐機位置を記憶しても良い。この場合、切替えスイッチによって複数の機種を切り替えることとし、この切替え操作はそのスポットに次に進入する機種をあらかじめ知らされている地上作業員が実施すれば良い。さらに、例えばこの駐機座標記憶部８と例えば地上走行を管制するランプコントロールとをネットワークで接続しても良い。これによってランプコントロールからの遠隔操作によって機種の切替えが集中管理することが実現できる。また、タイヤ存在領域演算部１6についても、駐機座標記憶部８と同様、ランプコントロールからの遠隔操作などによって航空機の機種を切替えるものであってもよい。この場合タイヤ存在領域演算部１6は、内部の記憶回路からその機種に対応する機種情報（例えばレドーム１５の先端とノーズギアとの距離と高さ）を得ることができる。
【００２０】
この実施の形態では、誤追尾弁別部１７によりタイヤ存在領域演算部１６で得られた正しいと思われるタイヤ存在位置の座標近傍について、画像処理部７で再度タイヤ検出のための画像処理を実施する例について説明したが、他の例として、例えば受信性能を改善して遠距離まで航空機のレドーム１５を認識できるレーザレーダ１４を用いることにより、航空機の進入の初期段階からレーザレーダ１４が示すタイヤ存在領域１８のみを画像処理するような処理を行っても良い。また、レーザレーダ１４による航空機のレドーム１５の位置検出に関しては、レーザレーダ以外の他の位置検出手段として、例えばマイクロ波やミリ波レーダによって航空機における特定の位置を検出するものを用いても良い。この場合、タイヤ存在領域演算部１６ではこの検出位置に基づいてタイヤ存在領域１８を予測する。
【００２１】
【発明の効果】
この発明によれば、夜間の降雨時などのように画像による路面とタイヤの識別が困難な環境下であっても、信頼性の高い誘導が可能な駐機位置表示装置を提供できる。
【図面の簡単な説明】
【図１】この発明の実施の形態１を示す構成図。
【図２】この発明による追尾中の画像例を示す図。
【図３】従来のこの種の装置を示す構成図。
【図４】カメラ出力の画像例を示す図。
【図５】正常にタイヤを追尾している画像処理結果の例を示す図。
【図６】誤ってタイヤを追尾している画像処結果の例を示す図。
【符号の説明】
１航空機
２タイヤ
３扉
４走行中心表示線
５停止位置表示線
６カメラ
７画像処理部
８駐機座標記憶部
９誘導誤差検出部
１０表示部
１１タイヤ候補を示す枠
１２十字カーソル
１３誤ったタイヤ候補を示す枠
１４レーザレーダ
１５レドーム
１６タイヤ存在領域演算部
１７誤追尾弁別部
１８タイヤ存在領域

Claims

パイロットに対して駐機位置に対する方位ずれ情報および残距離情報を提供することによってエプロンを走行する航空機を停止すべき駐機位置へ誘導する駐機位置表示装置において、前記航空機を撮像して映像信号を出力するカメラと、この映像信号を画像処理してタイヤの存在位置の候補を検出する画像処理部と、前記航空機における特定の位置を検出する位置検出手段と、この位置検出手段で検出された特定の位置に基づいて航空機のタイヤが存在する領域を算出するタイヤ存在領域演算部と、前記画像処理部で検出されたタイヤ存在位置の候補と前記タイヤ存在領域演算部で検出されたタイヤの存在領域との比較に基づいてタイヤ位置を検出し、この検出されたタイヤ位置と前記航空機の駐機位置との差異を検出する誘導誤差検出部と、前記誘導誤差検出部で検出された差異をパイロットに表示する表示部とを備え、
前記誘導誤差検出部は、前記タイヤ存在領域演算部で検出されたタイヤの存在領域に前記画像処理部で検出されたタイヤの存在位置の候補を有していないときに、前記タイヤの存在領域内の画像からタイヤの存在位置を検出する手段を備えたことを特徴とする駐機位置表示装置。